[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2007063808A1 - 画像符号化／画像復号化方法及び画像符号化／画像復号化装置 - Google Patents

画像符号化／画像復号化方法及び画像符号化／画像復号化装置 Download PDF

Info

Publication number
WO2007063808A1
WO2007063808A1 PCT/JP2006/323606 JP2006323606W WO2007063808A1 WO 2007063808 A1 WO2007063808 A1 WO 2007063808A1 JP 2006323606 W JP2006323606 W JP 2006323606W WO 2007063808 A1 WO2007063808 A1 WO 2007063808A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
pixel
image
mode
signal
Prior art date
Application number
PCT/JP2006/323606
Other languages
English (en)
French (fr)
Inventor
Akiyuki Tanizawa
Takeshi Chujoh
Original Assignee
Kabushiki Kaisha Toshiba
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kabushiki Kaisha Toshiba filed Critical Kabushiki Kaisha Toshiba
Priority to BRPI0619193-2A priority Critical patent/BRPI0619193A2/pt
Priority to EP06833410A priority patent/EP1965589A1/en
Priority to CA 2631336 priority patent/CA2631336A1/en
Priority to CN2006800512728A priority patent/CN101361370B/zh
Priority to AU2006320064A priority patent/AU2006320064B2/en
Priority to JP2007547928A priority patent/JP5044415B2/ja
Publication of WO2007063808A1 publication Critical patent/WO2007063808A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding method, an image decoding method, an image encoding device, and an image decoding device for moving images or still images.
  • H.264 a moving picture coding method that has greatly improved coding efficiency has been developed in collaboration with ITU-T and ISO / IEC in accordance with ITU-TRec. H.264 and ISOZIEC14496-10 (hereinafter, "H.264").
  • Conventional encoding methods such as ISO / IECMPEG-1, 2, 4, ITU—TH. 2 61, H. 263 perform intra-frame prediction on the frequency domain (DCT coefficient) after orthogonal transform, and code the transform coefficient.
  • H. 2 64 is designed to reduce the amount
  • the conventional (ISOZlECMPEG-l, 2, 4) video is adopted by incorporating the direction prediction (Non-patent Document 1) in the spatial domain (pixel domain). Compared with the intra-frame prediction of the image coding method, it achieves high prediction efficiency.
  • intra-frame prediction methods are defined for luminance signals, and one of them can be selected in units of macroblocks (16x16 pixel blocks). .
  • the prediction methods are called 4x4 pixel prediction, 8x8 pixel prediction, and 16x1 6 pixel prediction, respectively.
  • 16x16 pixel prediction In 16x16 pixel prediction, four encoding modes are defined, which are called vertical prediction, horizontal prediction, DC prediction, and plane prediction.
  • the pixel value of the surrounding macroblock before applying the deblocking filter after the decoding process is used as the reference pixel value and used for the prediction process.
  • 4x4 pixel prediction a luminance signal in a macroblock is divided into 16 4x4 pixel blocks, and one of nine modes is selected in block units for each 4x4 pixel block. Each of the nine modes has a prediction direction of 22.5 degrees, except for DC prediction (mode 2), which predicts with the average value of available reference pixels. A prediction value is generated by performing interpolation.
  • mode 2 DC prediction
  • One mode information for 4x4 pixel prediction 16 per macroblock are required.
  • 4x4 pixel prediction is the unit power of the prediction process. Therefore, relatively efficient prediction can be performed even for images with complex textures, but prediction by simply copying the interpolated value in the prediction direction. There is a problem that the prediction error increases as the distance of the reference pixel force increases.
  • 8x8 pixel prediction a luminance signal in a macroblock is divided into four 8x8 pixel blocks, and one of nine modes is selected in units of blocks for each 8x8 pixel block.
  • the prediction mode is designed with the same framework as 4x4 pixel prediction, but encoding is performed by performing 3-tap filtering on the already encoded reference pixels and flattening the reference pixels used for prediction. A process of averaging the distortion is included.
  • 4x4 pixel prediction there is a problem that the predicted value does not hit as the reference pixel force distance increases. In particular, since the distance power from the reference pixel is longer than the prediction of ⁇ 4 pixels, there is a problem that prediction accuracy cannot be expected for an image having a complex texture.
  • 8x8 pixel prediction is a prediction unit defined only in V.264 high profile, and has been introduced especially for improving code efficiency in high-resolution images.
  • the 4x4 pixel transform quantization block size is applied, and for 8x8 pixel prediction, the 8x8 pixel transform quantization block size is applied. That is, the transform quantization block size is defined by the predicted block shape. Since the prediction block shape considers the compatibility between the main profile and the high profile, it is possible to mix 4x4 pixel prediction and 8x8 pixel prediction in a macroblock!
  • mode information is predicted by using the high correlation of mode information of adjacent blocks. Reduce the amount of code.
  • the mode information is predicted, the 1-bit flag is encoded.
  • the prediction is unsuccessful, the 3-bit data is encoded to reduce the code amount of the mode information.
  • 4x4 pixel prediction is selected when there is almost no error signal in the macroblock, at least 16 bits (up to 64 bits) must be signed, which greatly increases the coding efficiency. May decrease.
  • JP-A-2005-159947 as a technique for improving the prediction efficiency of an intra-frame prediction method, performs block matching in a screen and calculates a prediction block from an encoded reference image. Proposes a method to make predictions by supplementing the predicted values.
  • This method is a prediction method based on the assumption that the image of an arbitrary coded block in the screen is similar to the image of the block to be predicted, and the prediction accuracy is low when the correlation in the screen is low. There is a problem that is bad.
  • the amount of misregistration indicating the position of the reference image used for prediction must be encoded, and the amount of code of mode information may increase.
  • an interpolation pixel corresponding to the encoded reference image power prediction mode is generated by the method specified in the H.264 high profile, and the direction specified in the prediction mode.
  • the prediction error increases as the prediction pixel is further away from the prediction direction.
  • Prediction block shapes cannot be mixed in the macroblock. There was a problem that the amount of code of information could not be reduced o
  • an input image signal corresponding to one screen is divided into a plurality of pixel block signals, and the number of references changed according to the distance between the predicted pixel and the encoded reference pixel
  • a prediction signal generating step for performing prediction within a screen to extrapolate the prediction pixel according to a direction defined by a plurality of prediction modes using pixels, and generating a prediction image signal and prediction mode information
  • a prediction error signal is calculated from the block signal and the prediction image signal, a prediction mode selection step of selecting one prediction mode using the prediction error signal, and the selected! Based on the prediction mode
  • a coding step of performing coding using a prediction error signal is
  • a step of decoding an input encoded image signal to generate a decoded image signal including prediction mode information, and selective prediction based on prediction mode information of the decoded image signal Prediction is performed by changing the number of reference pixels used for prediction and the prediction pixel generation order according to the distance between the encoded reference pixel and the prediction pixel according to the mode, and by performing intra-screen prediction with extrapolation in units of pixels.
  • a prediction signal generation step for generating an image signal, a prediction error signal generation step for generating a prediction error signal based on the decoded image signal, and a prediction image signal and the prediction error signal are added to generate a decoded image And a decoded image generation step.
  • FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of an intra-frame prediction unit according to the embodiment.
  • FIG. 3 is a flowchart of the image encoding device according to the embodiment.
  • FIG. 4A is a diagram showing an outline of a prediction order according to the embodiment.
  • FIG. 4B is a diagram showing an outline of a block shape according to the embodiment.
  • FIG. 4C is a diagram showing an outline of a block shape according to the embodiment.
  • FIG. 4D is a diagram showing an outline of a block shape according to the embodiment.
  • FIG. 4E is a diagram showing an outline of a block shape according to the embodiment.
  • FIG. 5A is a diagram showing direction prediction according to the embodiment.
  • FIG. 5B is a diagram showing a relationship between a prediction block and a reference image in direction prediction according to the embodiment.
  • FIG. 5C is a diagram showing a prediction method according to the embodiment.
  • FIG. 5D is a diagram showing a prediction method according to the embodiment.
  • FIG. 6A is a diagram showing a relationship between a prediction block and a reference image in pixel adaptive prediction according to the embodiment.
  • FIG. 6B is a diagram showing pixel adaptive vertical prediction according to the embodiment.
  • FIG. 6C is a diagram showing pixel adaptive prediction according to the embodiment.
  • FIG. 7 is a view showing a weighting table of the number of reference images and filter coefficients used in pixel adaptive vertical prediction according to the embodiment.
  • FIG. 8 is a diagram showing adjacent blocks used for prediction in the prediction mode according to the embodiment.
  • FIG. 9 is a view showing mode names of direction prediction and pixel adaptive prediction according to the embodiment.
  • FIG. 10 is a diagram showing a configuration of a moving image encoding apparatus according to the second embodiment of the present invention.
  • FIG. 11 is a block diagram showing a configuration of an intra-frame prediction unit according to the embodiment.
  • FIG. 12 is a flowchart of the image encoding device according to the embodiment.
  • FIG. 13 is a schematic diagram of a syntax structure according to the embodiment.
  • FIG. 14 is a diagram showing a data structure of sequence parameter set syntax according to the embodiment.
  • FIG. 15 is a diagram showing a data structure of picture parameter set syntax according to the embodiment.
  • FIG. 16 is a diagram showing a data structure of slice header syntax according to the embodiment.
  • FIG. 17 is a diagram showing a data structure of macroblock layer syntax according to the embodiment.
  • FIG. 18 is a diagram showing a data structure of sequence parameter set syntax according to the embodiment.
  • FIG. 19 is a diagram showing a data structure of picture parameter set syntax according to the embodiment.
  • FIG. 20 is a diagram showing a data structure of slice header syntax according to the embodiment.
  • FIG. 21A is a diagram showing a data structure of macroblock layer syntax according to the embodiment.
  • FIG. 21B is a diagram showing a data structure of the macroblock prediction syntax according to the embodiment.
  • FIG. 22 is a block diagram showing a configuration of a moving picture encoding apparatus according to the third embodiment of the present invention.
  • FIG. 23 is a diagram showing a data structure of sequence parameter set syntax according to the embodiment.
  • FIG. 24 is a diagram showing a data structure of picture parameter set syntax according to the embodiment.
  • FIG. 25 is a diagram showing a data structure of slice header syntax according to the embodiment.
  • FIG. 26 is a diagram showing a data structure of macroblock layer syntax according to the embodiment.
  • FIG. 27 is a diagram showing an mb-type data structure according to the embodiment.
  • FIG. 28A is a diagram showing a data structure of block size switching according to the embodiment.
  • FIG. 28B is a diagram showing a data structure of block size switching according to the embodiment.
  • FIG. 29 is a block diagram showing a configuration of a video decoding apparatus according to the fourth embodiment of the present invention.
  • FIG. 30 is a block diagram showing an intra-frame prediction unit in the video decoding apparatus according to the embodiment.
  • FIG. 31 is a block diagram showing a configuration of a moving picture decoding apparatus according to the fifth embodiment of the present invention.
  • a moving image encoding apparatus 100 shown in FIG. 1 is configured to encode a moving image signal by dividing it into a plurality of small pixel blocks.
  • the moving image encoding device 100 is provided with a plurality of frame prediction modes having different block sizes and prediction image signal generation methods.
  • Intraframe prediction is a prediction method in which prediction is closed within a frame, and a prediction target block is predicted using already encoded reference pixels.
  • FIG. 4A it is assumed that sign left / right processing is performed toward the upper left force and lower right as shown in FIG. 4A.
  • the moving image signal input to the moving image encoding apparatus 100 is divided into a plurality of small pixel blocks as the input image signal 115 by the screen dividing unit 101.
  • a part of the divided input image signal 115 is input to the intra-frame prediction unit 102, and finally encoded by the encoding processing unit 107 via the mode selection unit 103, the transform and quantization unit 107.
  • Sign It is output as digitized data 113.
  • the screen dividing unit 101 divides a moving image signal into a plurality of pixel blocks for the purpose of each pixel block becoming a 16 ⁇ 16 pixel block shown in FIG. 4B.
  • This 16x16 pixel block is called a macroblock and has the basic processing block size of the following encoding process.
  • the moving picture encoding apparatus 100 performs an encoding process for each macroblock.
  • the intra-frame prediction unit 102 extrapolates all the prediction modes that can be selected in units of macroblocks using the reference pixels temporarily stored in the reference image memory 106, and generates a prediction image signal 114. That is, the intra-frame prediction unit 102 generates all the predicted image signals 114 in modes that can be taken by the prediction pixel block by intra-screen prediction, for example, intra-frame prediction. However, the next prediction cannot be performed unless a locally decoded image is created in the macroblock as in H.264 intra-frame prediction (4x4 pixel prediction (see Fig. 4C) or 8x8 pixel prediction (see Fig. 4D)). In such a case, transformation and quantization, inverse quantization and inverse transformation may be performed within the intra-frame prediction unit 102, but a predicted image signal is generated only by the intra-frame prediction unit 102.
  • the predicted image signal 114 generated by the intra-frame prediction unit 102 is sent to the mode selection unit 103.
  • the mode selection unit 103 generates a prediction error signal 116 obtained by subtracting the prediction image signal 114 from the input image signal 115. Further, the mode selection unit 103 selects a prediction mode based on the mode information predicted by the intra-frame prediction unit 102 and the generated prediction error signal 116. More specifically, this embodiment uses a cost such as the following equation.
  • the mode information is OH and the absolute sum of the prediction error signals is SAD, the following equation is used.
  • ⁇ is given as a constant and is determined based on the quantization width and the value of the quantization parameter.
  • the prediction mode is determined based on the cost obtained in this way. The prediction mode that gives the smallest cost repulsion is selected as the optimal prediction mode.
  • the absolute sum of the mode information and the prediction error is used, but the prediction mode may be selected using only the mode information or only the absolute sum of the prediction errors.
  • the absolute sum of mode information and prediction error may be Hadamard transformed, or values approximated to these may be used.
  • the cost may be created using the activity of the input image signal, or the cost function may be created using the quantization width and the quantization parameter.
  • the mode selection unit 103 is connected to the transform / quantization unit 104, and the mode information and the prediction error signal selected by the mode selection unit 103 are input to the transform / quantization unit 104.
  • the transform / quantization unit 104 orthogonally transforms the input prediction error signal to generate transform coefficient data.
  • the transform and quantization unit 104 converts the prediction error signal into a coefficient using discrete cosine transform or the like, but the prediction error signal is converted into a coefficient using a method such as wavelet transform or independent component analysis. May be converted to
  • the transform and quantization unit 104 quantizes the transform coefficient.
  • the quantization parameter required for the quantization is set by the sign key control unit 108.
  • the quantized transform coefficient 117 is output to the code processing unit 107 together with prediction information 109 and information on a prediction method such as a quantization parameter.
  • the code key processing unit 107 receives the prediction information and the like and inputs the quantized transform coefficient 117 as an entropy code (for example, Huffman code or arithmetic code).
  • the data that has been entropy-encoded by the code processing unit 107 is multiplexed by the multiplexing unit 111, and is output as the code key data 113 through the output acknowledger 112.
  • the inverse quantization and inverse transform unit 105 inversely quantizes the transform coefficient 117 quantized by the transform and quantization unit 104 according to the quantization parameter set by the sign key control unit 108,
  • the obtained transform coefficient is subjected to inverse transform (for example, inverse discrete cosine transform), and the transform coefficient is decoded into the prediction error signal 116.
  • inverse transform for example, inverse discrete cosine transform
  • the prediction error signal 116 decoded by the inverse quantization and inverse transform unit 105 is added to the prediction image signal 114 of the selected prediction mode supplied from the mode selection unit 103 by the adder 118.
  • the addition signal becomes a decoded image signal 119 and is input to the reference image memory 106.
  • the reference image memory 106 stores the decoded image signal 119 as a reference image. In this way, the reference image stored in the reference image memory 106 is referred to when the prediction error signal or the like is generated by the intra-frame prediction unit 102.
  • the encoding loop (in-frame prediction unit 102 ⁇ mode selection unit 103 ⁇ transformation and quantization unit 104 ⁇ inverse transform and inverse quantization unit 105 ⁇ reference image memory in FIG. Processing) is performed once for all prediction modes that can be selected in the macroblock.
  • the input image signal 115 of the next block is input, and encoding is performed.
  • the encoding control unit 108 performs feedback control of generated code amount, quantization characteristic control, mode control, and the like. Further, the code key control unit 108 controls rate control for controlling the amount of generated code.
  • the control of the prediction unit and the control of the entire code are performed.
  • FIG. 2 An example in which the moving image encoding apparatus 100 implements the moving image encoding method according to the present invention will be described with reference to FIG. As shown in FIG. 2, the same components as those in FIG.
  • the intra-frame prediction unit 102 also performs an internal mode selection unit 204, an internal transform / quantization unit 206, an internal inverse quantization / inverse transform unit 207, A reference image memory 209 is included.
  • the pixel adaptive prediction unit 201 and the direction prediction unit 202 each have a plurality of prediction modes, but the prediction methods are different.
  • the fixed mode prediction unit 203 executes one of prediction modes in which mode information is not transmitted at the power macroblock level for performing prediction using the prediction methods of the pixel adaptive prediction unit 201 and the direction prediction unit 202.
  • the direction prediction unit 202 and the pixel adaptive prediction unit 201 will be described in detail. These prediction units use the already decoded reference pixels stored in the reference image memory 106 to predict a block to be predicted. There are 9 prediction modes. As shown in Fig. 5A, except for mode 2, each has a different prediction direction by 22.5 degrees. Modes 0 to 8 excluding mode 2 are defined, and mode 2 is DC prediction in the direction prediction unit 202. The names of the direction prediction modes performed in the direction prediction unit 202 and the pixel adaptive prediction modes performed in the pixel adaptive prediction unit 201 are shown in FIG. The relationship between the prediction block for 4x4 pixel prediction and the reference pixel is shown in Fig. 5B. Pixels from uppercase A to M are reference pixels, and pixels from lowercase a to p are prediction pixels.
  • the direction prediction unit 202 operates in mode 2 When the DC prediction is selected, the prediction pixel is calculated according to the following equation (2).
  • the direction prediction unit 202 uses a prediction method that copies the prediction value supplemented from the reference pixel with respect to the prediction direction shown in FIG. 5A. Specifically, the prediction value generation method when mode 0 (vertical prediction) is selected will be described based on the following equation (3).
  • This prediction mode can be selected only when reference pixels A to D are available.
  • the details of the prediction method are shown in Fig. 5 (c).
  • the luminance values of the reference pixels A to D are copied as they are to the prediction pixel in the vertical direction and supplemented as the prediction value.
  • This prediction mode can only be selected when reference pixels A to D and I to M are available.
  • the details of this prediction mode are shown in Fig. 5 (d).
  • the value generated by the 3-tap filter is copied to the predicted pixel in the direction of 45 degrees to the lower right and compensated as the predicted value.
  • the pixel application prediction unit 201 will be described.
  • the pixel adaptive prediction unit 201 performs prediction by changing the number of reference pixels to be used according to the distance between the prediction pixel and the reference pixel, and the prediction value changes in units of pixels.
  • Intraframe prediction is prediction that uses the spatial correlation of images, and the prediction value is created on the assumption that the luminance values between adjacent pixels are similar. If the distance between the predicted pixel and the available reference pixel is increased, this assumption is not satisfied, and the prediction error tends to increase. Therefore, when the distance between the prediction pixel and the reference pixel is increased, the decrease in the prediction error is reduced by increasing the number of reference pixels to be used according to the distance. Further, by changing the weighting table of the reference pixels to be used according to the distance, it is possible to generate a predicted value with high accuracy.
  • FIG. 6A shows the relationship between the reference pixel and the prediction block.
  • the reference pixels and prediction pixels shown in Fig. 6A and Fig. 5B have different indexes to facilitate explanation of the force prediction formulas corresponding to one-to-one.
  • Pre-pixels ⁇ and pixels xlO force xl3, xl9 force et al. X22, x28 force et al. X31, x37 force et al. 16 pixels from pixel xl4 force xl7, x23 force etc. x26, x32 force etc. x35, x41 force etc. x44 are prediction auxiliary pixels and are used to improve the prediction accuracy.
  • Figure 6B shows the prediction method for pixel adaptive vertical prediction.
  • the prediction value is determined using more reference pixels as the distance between the reference pixel and the prediction pixel increases.
  • a prediction value is generated using three reference pixels of ⁇ , ⁇ 1, and x02.
  • a prediction value is generated using five reference pixels xOO, x01, x02, x03, and x04 at a prediction pixel x20 that is two distances away from the reference pixel in the prediction direction.
  • prediction is performed using seven reference pixels xOO, x01, x02, x03, x04, x05, and x06. A value is generated.
  • a prediction value is generated using nine reference pixels of ⁇ 0, x01, x02, x03, x04, x05, x06, x07, and x08.
  • the predicted value generation method will be specifically described by the following equation (5).
  • the predicted pixel is calculated using the following equation (5).
  • X (n) (X (n-d- 1) + (X (n—d) ⁇ 1) + X (n— d + 1) + 2)>> 2 (5)
  • blk—num is 4 for a 4x4 pixel block and 8 for an 8x8 pixel block.
  • L represents the distance between the reference pixel and the prediction pixel.
  • Vi is an index determined according to the corresponding prediction mode.
  • hi represents the filter coefficient, and the number of taps varies with L. Specifically, hi and Vi will be described regarding pixel adaptive vertical prediction.
  • Figure 7 shows an example of the weighting filter coefficient hi (weighting table) used according to the distance between the reference pixel and the predicted image during 4x4 pixel prediction.
  • a prediction pixel that is one distance away from the reference pixel in the prediction direction is predicted by the following equation (8) using three reference pixels.
  • X (n) (X (nd- 1) + (X (n—d) ⁇ 1) + X (n— d + 1) + 2)>> 2 (8)
  • Reference pixel force The prediction pixel that is two distances from the prediction direction uses five reference pixels and
  • X (n) (X (n— (d ⁇ 1) 2) + (X (n— (d ⁇ 1) 1) ⁇ 2) + (6X (n— (d ⁇ 1 ))) + (X (n— (d ⁇ 1) + 1) ⁇ 2) + X (n— (d ⁇ 1) +2) +8)>> 4 (9)
  • Reference pixel force Prediction pixels that are three distances from the prediction direction use seven reference pixels.
  • X (n) (X (n— 3d— 3) + (6X (n— 3d— 2)) + (15X (n— 3d— 1)) + (20X (n— 3d)) + ( 15X (n-3d + l)) + (6X (n— 3d + 2)) + X (n— 3d + 3) +32) >> 6 (10)
  • the prediction pixel that is four distances from the reference pixel in the prediction direction uses nine reference pixels.
  • X (n) (X (n— (d ⁇ 2) 4) + (X (n— (d ⁇ 2) — 3) ⁇ 3) + (28X (n— (d ⁇ 2) -2)) + (56X (n— (d ⁇ 2) — 1)) + (70X (n— (d ⁇ 2))) + (56X (n— (d ⁇ 2) +1 )) + (28X (n- (d ⁇ 2) +2)) + (X (n— (d ⁇ 2) + (X (n— (d ⁇ 2) + 3) ⁇ 3) + X (n— (d ⁇ 2) +4 ) + 128)>> 8 (11)
  • the reference pixels used for prediction, the number of reference pixels, and the weighting table can be obtained by expanding Equation (5).
  • X (31) (X (01) + (6X (02)) + (15X (03)) + (20X (04)) + (15X (05)) + (6
  • prediction is performed by supplementing the last reference pixel value with the prediction formula. For example, when predicting xl9, the left reference pixel of xOO cannot be used. However, since a reference pixel of x09 can be used, it is predicted as the following equation (13).
  • Eq. (12) can be derived by determining the pixels used for prediction in Eq. (5) and developing the necessary predicted values.
  • the prediction formula for pixel adaptive horizontal prediction (mode 1) is expressed by the following equation (14).
  • the necessary predicted image is assigned and developed, so that the necessary reference pixels, the number of reference pixels, and the weighting table are obtained. Bull can be determined.
  • the reference pixel is compensated as in the pixel adaptive vertical prediction. For example, when x37 is predicted by pixel adaptive horizontal prediction, the reference pixel of ⁇ 45 cannot be used! Therefore, as shown in the following equation (22), this reference pixel is filled with ⁇ 36.
  • the code efficiency can be improved. Due to improved prediction accuracy, the predicted image becomes closer to the input image, and this is a highly effective prediction method visually.
  • the fixed mode prediction unit 203 performs prediction of mode information, and performs pixel adaptive prediction or direction prediction in a predetermined prediction mode.
  • mode information of adjacent prediction blocks is used for prediction of mode information.
  • Figure 8 shows the relationship between adjacent blocks in the case of 4x4 pixel prediction. Let the left adjacent block of prediction block C be ⁇ and the upper adjacent block be ⁇ . Given these two prediction mode forces 3 ⁇ 4rev-left-mode and prev-upper-mode, the prediction mode of the block C is determined by the following equation (23).
  • current-mode is the prediction mode of prediction block C.
  • the function min (A, B) returns the smaller of A and B.
  • this mode is capable of greatly reducing the amount of code for encoding the prediction mode information.
  • whether to generate a prediction image using the pixel adaptation prediction unit 201 or to generate a prediction image using the direction prediction unit 202 is determined by an ex-direct-intra flag described later. It is determined based on the ex-direct-intra flag information given from the encoding control unit 108.
  • the prediction mode information of the current prediction block is determined based on the prediction mode information of adjacent prediction blocks A and B.
  • the determination may be made based on prediction mode information of surrounding prediction blocks.
  • the mode may be determined.
  • the prediction mode with the highest frequency among the prediction modes of the peripheral prediction block, the median value of the prediction mode of the peripheral prediction block, or the average value of the prediction modes of the peripheral prediction block is determined as the prediction mode of the current prediction block. You can do it.
  • the intra-frame prediction unit 102 shown in FIG. 2 A detailed operation of the intra-frame prediction unit 102 shown in FIG. 2 will be described.
  • the input image signal 115 is input to the intra-frame prediction unit 102
  • the signal is input to the pixel adaptive prediction unit 201, the direction prediction unit 202, and the fixed mode prediction unit 203.
  • the pixel adaptive prediction unit 201, the direction prediction unit 202, and the fixed mode prediction unit 203 generate corresponding prediction image signals 114.
  • the corresponding prediction unit when prediction prohibition information is input from the sign key control unit 108, the corresponding prediction unit does not generate a predicted image signal. Specifically, when the prediction prohibition information is input to the pixel adaptive prediction unit 201, the pixel adaptive prediction unit 201 does not perform the generation process of the predicted image signal 114. When the prediction prohibition information is input to the direction prediction unit 202, the direction prediction unit 202 does not generate the predicted image signal 114. When the prediction prohibition information is input to the fixed mode prediction unit 203, the prediction image signal 114 is not generated by the fixed mode prediction unit 203.
  • the corresponding prediction unit and prediction switching switch 205 are not connected. It is not allowed to input prediction prohibition information to the pixel adaptive prediction unit 201 and the direction prediction unit 202 at the same time.
  • the predicted image signal 114 and the prediction mode information predicted by each prediction unit are input to the internal mode selection unit 204.
  • the internal mode selection unit 204 generates a prediction error signal 116 obtained by subtracting the prediction image signal 114 from the input image signal 115.
  • the internal mode selection unit 204 performs mode selection based on the prediction error signal 116 generated by the prediction mode information generated by each prediction unit.
  • the prediction mode is selected using the cost used in Equation (1).
  • the selected directional prediction mode is the prediction mode predicted by the pixel adaptive prediction unit 201.
  • the internal mode selection unit 204 transmits mode information representing the force that is the prediction mode predicted by the measurement unit 202 to the sign key control unit 108.
  • ex-adaptive-intra-flag (described later) is TRUE, and when direction prediction is used, the flag is FALSE.
  • the sign key control unit 108 controls the prediction switching switch 205 according to the given mode information. Whether or not the fixed mode prediction is performed is judged by ex- direct- intra- flag. When this flag is TRUE, fixed mode prediction is performed, and when it is FALSE, this prediction is not performed.
  • the prediction switching switch 205 When the ex-adaptive-intra-flag is TRUE, the prediction switching switch 205 is connected to the pixel adaptive prediction unit 201. When the ex-adaptive-intra-flag is FALSE, the prediction switching switch 205 is connected to the direction prediction unit 202. If the ex-direct-intra-flag is TRUE, the sign control unit 108 connects the switch 205 to the fixed mode determination unit 203, respectively.
  • the internal mode selection unit 204 When prediction has been completed for all small pixel blocks, the internal mode selection unit 204 outputs the predicted image signal 114 and mode information for the macroblock from the intra-frame prediction unit 102.
  • the prediction switching switch 205 is connected to the internal conversion and quantization unit 206, and the mode information selected by the internal mode selection unit 204 and the prediction error signal 114 pass through the prediction switching switch 205. Input to the internal conversion and quantization unit 206.
  • the internal transform / quantization unit 206 converts the input prediction error signal 114 into a transform coefficient using a discrete cosine transform or the like, and generates transform coefficient data.
  • the prediction error signal 114 may be converted using a method such as wavelet conversion or independent component analysis.
  • the internal transform / quantization unit 206 quantizes the transform coefficient.
  • the quantization parameter required for the quantization is set by the encoding control unit 108.
  • the internal inverse quantization and inverse transform unit 207 converts the transform coefficient 117 quantized by the internal transform and quantization unit 206 according to the quantization parameter set by the sign key control unit 108. Inverse quantization is performed, and inverse transform (for example, inverse discrete cosine transform) is performed on the obtained transform coefficient, and a prediction error signal 116 is output.
  • the prediction error signal 116 decoded by the internal inverse quantization and inverse transform unit 207 is selected by the internal adder 208 to select the internal mode.
  • the prediction image signal 114 of the mode supplied from the selection unit 204 is added. The added signal is input to the internal reference image memory 209 as a decoded image signal 119.
  • the internal reference image memory 209 stores the decoded image signal 119 as a reference image.
  • the reference image power pixel adaptive prediction unit 201 or the direction prediction unit 202 stored in the internal reference image memory 209 is referred to when the prediction image signal 114 and the like are generated by the fixed mode prediction unit 203.
  • Internal prediction loop pixel adaptive prediction unit 201 or direction prediction unit 202 in FIG. 2, fixed mode prediction 203 ⁇ internal mode selection unit 204 ⁇ prediction switching switch 205 ⁇ internal conversion and quantization unit 206 ⁇ internal inverse conversion and inverse quantization
  • the processing that flows in the order of section 207 ⁇ internal reference image memory 209) is a single loop when processing is performed for all the prediction modes that can be selected in the small pixel block in the macroblock.
  • the encoding control unit 108 first connects the prediction switching switch 205 to the pixel adaptive prediction unit 201, performs 16 internal prediction loops, and selects an optimal mode for each macroblock of pixel adaptive prediction. Determine the combination.
  • the sign key control unit 108 connects the prediction switching switch 205 to the direction prediction unit 202, and similarly performs 16 internal prediction loops.
  • the sign key control unit 108 connects the prediction switching switch 205 to the fixed mode prediction unit 203, determines which prediction method the fixed mode prediction is predicted from the state of the internal flag, and determines the determined prediction. Make predictions with the method.
  • the three modes obtained here are input to the mode selection unit 103, and the optimum mode of the macroblock is selected.
  • the image dividing unit 101 divides one frame into a plurality of macroblocks and further divides it into a plurality of small pixel blocks. (Step S2).
  • One divided macroblock is input to the intraframe prediction unit 102 as an input image signal 115.
  • the mode selection unit 103 initializes an index indicating the mode and a cost (step S3).
  • the intra-frame prediction unit 102 uses the input image signal 115 to generate a prediction image signal 114 for one prediction mode that can be selected in the prediction block (step S4).
  • the mode selection unit 103 takes the difference between the predicted image signal 114 and the input image signal 115 and generates a prediction error signal 116.
  • the cost cost is calculated from the absolute value sum SAD of the prediction mode code amount OH and the prediction error signal 116 (step S5).
  • the mode selection unit 103 determines whether or not the calculated cost cost is smaller than the minimum cost min—cost (step S6). If it is smaller (YES), the minimum cost is updated with that cost. At the same time, the code mode at that time is held as the best_mode index (step S7). If the calculated cost cost is greater than the minimum cost min—cost (NO), the index indicating the mode number is incremented, and it is determined whether the index after the increment is the last mode (step S8).
  • index is greater than MAX, which is the last number of the mode! /, (YES)
  • the best-mode code key mode information and the prediction error signal 116 are sent to the transform and quantization unit 104, and the change is made. Conversion and quantization are performed (step S9).
  • the quantized transform coefficient 117 is input to the code processor 107 and entropy-encoded by the code processor 107 together with the prediction information 109 and the prediction switching information 110 (step S10).
  • the index is smaller than MAX, which is the last number of the mode (NO)
  • the prediction image signal 114 of the sign key mode indicated by the next index is generated (step S4).
  • the quantized transform coefficient 117 is input to the inverse quantization and inverse transform unit 105, and is inversely quantized and inverse transformed to be decoded into the prediction error signal 116. Is done.
  • the decoded prediction error signal 116 is added by the adder 118 with the best-mode prediction image signal 114 provided from the mode selection unit 103, and the decoded image signal 119 is generated. Made.
  • the decoded image signal 119 is stored in the reference image memory 106 as a reference image.
  • step Sl l It is determined whether or not the sign of one frame has been completed (step Sl l). If the encoding process has been completed (YES), the next frame is input and the encoding process is performed again. When the encoding process for one frame is not completed (NO), the input signal of the next small pixel block is input to the intra-frame prediction unit 102, and the encoding process is continued.
  • the moving image encoding device 100 encodes a moving image.
  • prediction pixel calculation is performed using the filter weighting table shown in Fig. 7 in pixel adaptive prediction.
  • prediction is performed from the prediction pixel !, and the pixel value after prediction is stored in the memory, this pixel value increases the distance between the reference pixel and the prediction pixel.
  • pixel adaptive horizontal prediction (mode 1) generates prediction pixels from left to right. The generated prediction pixel is stored in a memory and used as a reference pixel for the next prediction as needed. As a result, the distance between the reference pixel and the predicted pixel is large, the calculation cost for generating the predicted value of the pixel can be suppressed, and the hardware cost can be reduced.
  • the same prediction may be performed for the power 8x8 pixel block and the 16x16 pixel block, and the color difference signal described in detail for the pixel adaptive intra-frame prediction regarding the 4x4 pixel prediction.
  • the distance between the reference pixel and the prediction pixel increases, so that the effect of pixel adaptive prediction is high.
  • the number of reference pixels used in prediction has been increased according to the distance, but may be reduced to reduce the calculation cost.
  • the processing target frame is divided into rectangular blocks of 16 ⁇ 16 pixel size, and the block force at the upper left of the screen is also directed toward the lower right, and sequentially encoded.
  • the sign order may be another order. Encoding may be performed from the lower right to the upper left, or may be performed in a screen center force spiral. Upper-right force The process may be performed in the lower-left direction, or processing may be performed by directing power from the periphery of the screen to the center.
  • a processing target frame is divided into macro blocks each having a size of 16 ⁇ 16 pixels, and an 8 ⁇ 8 pixel block or a 4 ⁇ 4 pixel block is used as a processing unit for intra-frame prediction.
  • the processing target block does not need to be a uniform block shape. It can also be applied to block sizes such as 16x8 pixels, 8x16 pixels, 8x4 pixels, and 4x8 pixels. For example, 8x4 pixel prediction and 2x2 pixel prediction can be realized in the same framework.
  • the transform quantization block size need not be a uniform block size, and can be applied to block sizes of 16x8 pixels, 8x16 pixels, 8x4 pixels, 4x8 pixels, and the like. Furthermore, it is possible to select different block sizes within a single macroblock, as long as it is not necessary to have a uniform block size. For example, as shown in Fig. 4E, 8x8 pixel prediction and 4x4 pixel prediction may be mixed in a macroblock. In this case, when the number of divided blocks increases, intra-frame prediction with higher prediction efficiency can be realized by the power of increasing the amount of codes for coding the divided blocks, and the prediction error can be reduced. Therefore, the block size may be selected in consideration of the balance between the code amount of the transform coefficient and the locally decoded image.
  • the prediction mode has been described only with intra-frame prediction.
  • the present method may be used as an intra-frame prediction method selected in a slice code in an inter-frame code that may be predicted using inter-frame prediction using correlation between screens.
  • switching between intra-frame prediction and inter-frame prediction does not need to be performed in units of macro blocks, and may be performed for each 8 ⁇ 8 pixel block, or may be divided for each 8 ⁇ 4 pixel block.
  • the transform and quantization unit 104 and the inverse quantization and inverse transform unit 105 are provided.
  • transform quantization and inverse quantization and inverse transform are not necessarily performed for all prediction error signals. It is possible to code the prediction error signal as it is without being performed by the code processing unit 107 as it is, or to omit the quantization and inverse quantization processing. Similarly, the conversion process and inverse change It is not necessary to perform the conversion process.
  • FIG. 13 shows an outline of the syntax structure used in the present embodiment.
  • the syntax mainly consists of three parts: high level syntax (1301), slice level syntax (1304), and macroblock level syntax (1307).
  • the high level syntax (1301) is packed with syntax information of higher layers above the slice.
  • the slice level syntax (1304) specifies the information required for each slice, and the macro block level syntax (1307) specifies the quantization parameter change value and mode information required for each macro block. Has been.
  • the high-level syntax includes sequence parameter set syntax (1302) and picture parameter set syntax (1303), etc. It consists of syntax.
  • the slice level syntax (1304) includes a slice header syntax (1305), a slice data syntax (1306), and the like.
  • Macroblock level syntax (130 7) is composed of macroblock layer syntax (1308), macroblock prediction syntax (1309), and more! RU
  • required syntax information is sequence parameter set syntax (1302), picture parameter set syntax (1303), slice header syntax (1305), and macroblock layer syntax (1308).
  • sequence parameter set syntax (1302)
  • picture parameter set syntax (1303)
  • slice header syntax (1305
  • macroblock layer syntax (1308). The syntax of is described below.
  • ex_adaptive—intra—in—seq—flag shown in the sequence parameter set syntax of FIG. 14 is a flag indicating whether or not the pixel adaptive prediction is changed for each sequence.
  • the flag is TRUE Pixel adaptive prediction and direction prediction can be switched in sequence units.
  • the flag is FALSE, pixel adaptive prediction cannot be used in the sequence.
  • the ex-adaptive-intra-in-pic-flag shown in the picture parameter set syntax of FIG. 15 is a flag indicating whether or not the pixel adaptive prediction is changed for each picture.
  • the flag is TRUE, pixel adaptive prediction and direction prediction can be switched on a picture-by-picture basis.
  • the flag force is FALSE, pixel adaptive prediction cannot be used in the picture.
  • ex-adaptive-intra-in-slice-flag shown in the slice header syntax of Fig. 16 is a flag indicating whether or not the pixel adaptive prediction is changed for each slice, and the flag is TRUE. Sometimes, pixel adaptive prediction and direction prediction can be switched in slice units. When the flag is FALSE, pixel adaptive prediction cannot be used in the slice.
  • the ex-adaptive-intra-flag shown in the macroblock layer syntax in FIG. 17 is a flag indicating whether or not pixel adaptive prediction is used in the macroblock.
  • the flag When the flag is TRUE, Use pixel adaptive prediction.
  • the flag When the flag is FALSE, direction prediction is used. This flag is used when at least one of ex_adaptive-intra-in-seq-flag, ex-adaptive-intra-in-pic-flag, ex-adaptive-intra-in-slice-flag is TRUE Only valid. Available only when the macroblock prediction type is intraframe prediction.
  • ex_direct—intra—in—seq—flag shown in the sequence parameter set syntax of FIG. 18 is a flag indicating whether or not the fixed mode prediction is changed for each sequence.
  • the flag is TRUE It is possible to switch the availability of fixed mode prediction on a sequence basis.
  • the flag is FALSE, fixed mode prediction cannot be used in the sequence.
  • ex-direct-intra-in-pic-flag shown in the picture parameter set syntax of FIG. 19 is a flag indicating whether or not the fixed mode prediction is changed for each picture, and the flag is TRUE.
  • the availability of fixed mode prediction can be switched on a picture-by-picture basis.
  • the flag is FALSE, fixed mode prediction cannot be used in the picture.
  • ex-direct-intra-in-slice-f lag shown in the slice header syntax in Figure 20 is a flag that indicates whether to change the fixed mode prediction for each slice. In some cases, the availability of fixed mode prediction can be switched on a slice-by-slice basis. Is possible. When the flag is FALSE, fixed mode prediction cannot be used within a slice.
  • the ex-direct-intra-flag shown in the macroblock layer syntax in Fig. 21A is a flag that indicates whether or not to use fixed mode prediction in the macroblock. When the flag is TRUE Uses fixed mode prediction. When the flag is FALSE, fixed mode prediction is not available. This flag is used when at least one of ex_direct- intra- in- seq-flag, ex- direct- intra- in- pic- flag, ex- direct- intra- in- slice- flag is TRUE Valid only for. Only available when the macroblock prediction type is intraframe prediction.
  • FIG. 21B shows the macroblock prediction syntax.
  • prediction mode information in the corresponding macroblock is stored.
  • the corresponding prediction mode information is set by this syntax.
  • the prev- intra4x4- pred- mode- flag shown in this syntax is not used when ex- direct -intra- flag is TRUE!
  • the prev—intra4x4—pred—mode—flag is based on the prediction mode (current—mode) estimated from the adjacent prediction block and the prediction mode (pred—mode) actually selected in the prediction target block. This flag indicates whether or not. If they match (TRUE), rem_intra4x4_pred-mode is not used. On the other hand, if they do not match, rem—intra4x4—pred one mode) ⁇ lj is used.
  • the rem 1 mtra4x4 1 pred 1 mode represents the amount of deviation between the current 1 mode and the prediction mode (pred-mode) actually selected in the prediction target block.
  • the value of is stored.
  • ex-direct-intra-flag and ex-adaptive-intra-flag are TRUE, it becomes a code mode that does not send mode information in pixel adaptive prediction.
  • the prediction accuracy for a prediction pixel far from the reference pixel is improved, and the prediction error is improved.
  • the moving image coding unit 1000 according to the second embodiment shown in FIG. 10 adds the provisional coding Z code amount measuring unit 1001, the coding distortion measuring unit 1002, and the coding.
  • a switching switch 1003 is further provided. Since the functions of the intra-frame prediction unit and the mode selection unit are different from those of the first embodiment, reference numbers different from those of the first embodiment are assigned. In the present embodiment, the same components as those in FIG.
  • the moving image signal input to the moving image encoding device 1000 is divided into a plurality of small pixel blocks by the screen dividing unit 101, and each block is subjected to intraframe prediction as the input image signal 115.
  • Part 1004 is input.
  • the intra-frame prediction unit 1004 uses the reference image temporarily stored in the reference image memory 106 to generate the predicted image signal 114 in all prediction modes that can be selected in the macroblock.
  • H.264 intra-frame prediction (4x4 pixel prediction (Fig. 4C) or 8x8 pixel prediction (Fig. 4D)
  • the intra-frame prediction unit 1004 may perform transformation and quantization, inverse quantization, and inverse transformation.
  • the predicted image signal 114 generated by the intra-frame prediction unit 1004 is sent to the mode selection unit 105.
  • the mode selection unit 1005 generates a prediction error signal 116 obtained by subtracting the prediction image signal 114 from the input image signal 115.
  • the mode selection unit 1005 receives, as inputs, the code amount 1006 accumulated by the provisional encoding Z code amount measurement unit 1001 and the code distortion 1007 calculated by the code distortion measurement unit 1002. Calculate the cost.
  • the coding cost is expressed by the following equation (24), where R is the code amount and D is the code distortion.
  • ⁇ is given as a constant and is determined based on the quantization width and the value of the quantization parameter.
  • a mode is selected on the basis of the code cost thus obtained. Cost J force S smallest The mode giving the value is selected as the optimum mode.
  • code amount 1006 and coding distortion 1007 are used.
  • a mode may be selected using only the code amount or only code distortion.
  • a cost may be created using the activity of the input image signal 115, or a cost function may be created using a quantization width and a quantization meter.
  • the sign frequency distortion is weighted by visual frequency characteristics and sensitivity, etc., and the sign key cost is also good.
  • the mode selection unit 1005 is connected to the transform and quantization unit 104, and the mode information selected by the mode selection unit 105 and the prediction error signal 116 are input to the transform and quantization unit 104.
  • the transform and quantization unit 104 transforms and quantizes the prediction error signal 116 to output a quantized transform coefficient 117.
  • the conversion coefficient 117 is sent to the temporary code key changeover switch 1003.
  • the temporary code key switching switch 1003 sends the output of the transform and quantization unit 104 to the temporary encoding Z code amount measuring unit 1001. Connecting.
  • the conversion coefficient 117 is input to the temporary code Z code amount measuring unit 1001, and temporary entropy encoding is performed.
  • the provisional encoding Z code amount measuring unit 1001 cumulatively adds the code amounts, estimates the total code amount generated in the actual code, and does not output the code data.
  • the code amount 1006 measured by the temporary code Z code amount measuring unit 1001 is sent to the code amount distortion measuring unit 1002.
  • the sign distortion measurement unit 1002 receives as input the decoded image signal 119 generated by the sum of the prediction error signal 116 decoded by the inverse quantization and inverse conversion unit 105 and the prediction image signal 114.
  • the input image signal 115 is simply received, and a square error (sign distortion 1007) between the decoded image signal 119 and the input image signal 115 is calculated.
  • Coding distortion measuring section 1002 sends code amount 1006 received as input and code distortion 1007 obtained by calculation to mode determining section 1005.
  • Temporary coding loop (intra-frame prediction unit 1004 in FIG. 10 ⁇ mode selection unit 1005 ⁇ transformation and quantization unit 104 ⁇ temporary code key switching switch 1003 ⁇ temporary code key Z code amount measurement unit 1001 ⁇ code key (Processing that flows in the order of ⁇ distortion measurement unit 1002) is a single loop when processing is performed for one mode that can be selected by the macroblock. mode If there are 10 types of force S, the provisional coding loop is repeated 10 times. When the temporary encoding loop is completed for all modes selectable in the macro block, the mode selection unit 1005 sets the temporary code key flag of the code key control unit 108 to FALSE.
  • the temporary code switching switch 1003 connects the output of the transform and quantization unit 104 to the code processing unit 107.
  • the mode determination unit 1005 calculates the code cost for all modes, and among them, the transform coefficient 117 and the mode information of the mode that gives the smallest code cost are sent to the encoding processing unit 107.
  • the encoding processing unit 107 actually encodes the quantized transform coefficient 117 by the method specified in the input mode information.
  • the code processing unit 107 may perform the t processing, in which the code data stored in the memory is called and copied without executing the encoding.
  • the input image signal 115 of the next block is input to the intra-frame prediction unit 1004, and the coding of the next block is performed.
  • the code control unit 108 performs feedback control of the generated code amount, quantization characteristic control, mode control, and the like, and performs rate control for controlling the generated code amount, control of the prediction unit, and control of the entire encoding.
  • each unit described above can be realized by a program stored in a computer.
  • a moving picture coding method that works in the present embodiment will be described with reference to the intra-frame prediction unit 1004 shown in FIG. In the present embodiment, the same components as those in FIG.
  • the signal is input to the pixel adaptation prediction unit 201, the direction prediction unit 202, and the fixed mode prediction unit 203.
  • a prediction image signal 114 corresponding to the prediction mode and the prediction block shape is generated by the pixel adaptive prediction unit 201, the direction prediction unit 202, and the fixed mode prediction unit 203.
  • Predicted image signals 114 predicted by the prediction units 201, 202, and 203, respectively.
  • the prediction mode information is input to the internal mode selection unit 1104.
  • the internal mode selection unit 1104 generates a prediction error signal 116 obtained by subtracting the prediction image signal 114 from the input image signal 115.
  • the internal mode selection unit 1104 is calculated by the internal temporary code amount Z code amount measuring unit 1101 and is calculated by the internal code amount 1105 and the internal code amount distortion measuring unit 1102, and the internal coding distortion 1106 is calculated. Based on the above, the inner code key cost is calculated using equation (24), and the mode that gives the smallest coding cost J is selected as the optimum mode.
  • the mode may be determined using only the force code amount using the inner code amount 1105 and the inner code distortion 1006 or using only the code distortion.
  • the cost may be created using the activity of the input image signal, or the cost function may be created using the quantization width and the quantization parameter.
  • the coding distortion may be weighted by adding visual frequency characteristics and sensitivity to the coding distortion.
  • the selected mode force is a mode predicted by the pixel adaptive prediction unit 201 or a mode predicted by the force fixed mode prediction unit 203 that is a mode predicted by the direction prediction unit 202.
  • the internal mode selection unit 1104 transmits mode information indicating the force to the sign control unit 108.
  • the sign key control unit 108 controls the prediction switching switch 205 according to the given mode information.
  • the mode information and prediction error signal selected by internal mode selection section 1104 are input to internal conversion and quantization section 206.
  • the transform / quantization unit 206 performs orthogonal transform on the input prediction error signal 116 to generate transform coefficient data 117.
  • the transform and quantization unit 206 quantizes the transform coefficient.
  • the quantization parameter required for quantization is set by the code control unit 108.
  • the sign key control unit 108 refers to the temporary sign key flag. If this flag is TRUE, the sign key control unit 108 switches the internal temporary code key switch 1103 to the internal temporary code key Z code amount measuring unit 1101. Connecting. As a result, the conversion coefficient and mode information of the mode are input to the internal temporary code Z code amount measurement unit 1101. The internal tentative encoding Z code amount measurement unit 1101 performs entropy encoding of the input data. In this case, the internal temporary encoding Z code amount measurement unit HOI
  • the code amount 1105 is sent to the internal coding distortion measurement unit 1102.
  • the inner code distortion measurement unit 1102 adds the prediction error signal 116 decoded by the inner inverse quantization and inverse transformation unit 207 and the predicted image signal 114, and generates a decoded image signal 1 19 Is received as an input, and a square error (internal code distortion 1106) between the decoded image signal 119 and the input image signal 115 is calculated.
  • the internal code distortion measurement unit 1102 sends the internal code amount 1105 received as input and the internal code distortion 1106 obtained by calculation to the internal mode determination unit 1104.
  • Internal tentative coding loop (respective prediction units in FIG. 11 ⁇ internal mode selection unit 1104 ⁇ prediction switching switch 205 ⁇ internal conversion and quantization unit 206 ⁇ internal tentative code switching switch 1103 ⁇ internal tentative coding
  • the processing that flows in the order of the Z code amount measurement unit 1101 ⁇ the internal coding distortion measurement unit 1102) is performed once when processing is performed for one mode that can be selected in a small pixel block below the macro block. It becomes the loop of. If there are 10 modes, the inner temporary coding loop is repeated 10 times.
  • the internal mode selection unit 1104 sets the temporary encoding flag of the encoding control unit 108 to FALSE.
  • the internal temporary code switch 1103 When the temporary code flag is set to FALSE in the code controller 108, the internal temporary code switch 1103 outputs the output of the internal transformer / quantizer 206 to the intra-frame predictor 1004. Connect to outside. At this time, the coding cost for all modes is calculated in the internal mode determination unit 1104, and the transform coefficient 117 and mode information of the mode that gives the smallest coding cost among them are stored in the intra-frame prediction unit 1004. Sent outside.
  • the image dividing unit 101 divides one frame of the moving image into a plurality of macro blocks. One that is divided The macroblock is input to the intraframe prediction unit 102 as the input image signal 115 (step S002).
  • the mode selection unit 1005 and the internal mode selection unit 1104 initialize the index indicating the mode and the cost (step S003).
  • the intra-frame prediction unit 1004 uses the input image signal 115 to generate a predicted image signal 114 for one mode that can be selected by the prediction block (step S004).
  • the mode selection unit 1005 calculates a difference between the predicted image signal 114 and the input image signal 115 and generates a prediction error signal 116.
  • the transform and quantization unit 104 transforms and quantizes the prediction error signal 116, and the quantized transform coefficient 117 is input to the temporary code Z code amount measurement unit 1001.
  • the temporary code Z Z code amount measuring unit 1001 temporarily encodes the conversion coefficient (step S005), and cumulatively adds the code amount.
  • the transform coefficient is locally decoded, and a sign error measurement unit 1002 calculates a square error between the input image signal and the decoded image signal. Based on the obtained code amount R and code distortion D, the encoding cost is calculated (step S006).
  • the mode selection unit 1005 determines whether or not the calculated coding cost cost is smaller than the minimum coding cost min_cos (step S007).
  • the minimum code key cost is updated, the corresponding code key mode is held as the best-mode index, and the temporary code key data is stored in the temporary memory (step S008).
  • the mode selection unit 1005 increments the index indicating the mode number and increments it. It is determined whether the subsequent index is the last mode (step S009).
  • index is greater than MAX, which is the last number of the mode! /, (YES)
  • index is the best-mode code key mode information, prediction information 109, prediction switching information 110 and code key processing unit 107 Is entropy-encoded (step S010).
  • the index is smaller than MAX, which is the last number of the mode (NO)
  • the prediction image signal 115 of the encoding mode indicated by the next index is generated (step S004).
  • the quantized transform coefficient 117 is input to the inverse quantization and inverse transform unit 105, and inverse quantization and inverse transform are performed.
  • the decoded prediction error signal 116 is added by the adder 118 with the best-mode prediction image signal 114 provided from the mode selection unit 1004, and the decoded image signal 119 is added to the reference image memory 10. Saved to 6.
  • step SI 1 It is determined whether or not one frame has been encoded.
  • the input image signal of the next frame is input to the screen dividing unit 101, and the encoding process of the next frame is performed. If the encoding process for one frame has not been completed (NO), the input signal of the next macroblock is input and the encoding process is continued.
  • the moving image encoding method according to the present embodiment is executed by the moving image encoding apparatus 1000.
  • the code amount can be appropriately allocated for each block by using the temporary code and the index, and the code efficiency is improved.
  • a first intra-frame prediction unit 2202 and a second intra-frame prediction unit 2203 are further provided. Since the function of the screen dividing unit 2201 is different from that of the second embodiment, different reference numerals are given. In the embodiment of FIG. 10, the same reference numerals are given to the same components as those of the embodiment of FIG. 1, and description thereof is omitted.
  • first intra-frame prediction unit 2202 and second intra-frame prediction unit 2203 differ only in the prediction block size, and the prediction method is shown in Fig. 11. This is the same as the intra-frame prediction unit 1004.
  • the screen dividing unit 2201 divides the input moving image signal into small pixel blocks. At this time, the macroblock is divided into different block shapes. One is divided into a block shape composed of 16 4x4 pixel blocks, and the other is divided into a block shape composed of 4 8x8 pixel blocks.
  • the divided blocks are input as input image signals 115 to the first intra-frame prediction unit 2202 and the second intra-frame prediction unit 2203.
  • the first intra-frame prediction unit 2202 performs 4 ⁇ 4 pixel prediction.
  • the second intra-frame prediction unit 2203 performs 8 ⁇ 8 pixel prediction. That is, the second intra-frame prediction unit 2203 performs one 8 ⁇ 8 pixel prediction four times.
  • a prediction image signal based on 4x4 pixel prediction and a prediction image signal based on 8x8 pixel prediction are input to the mode selection unit 1005.
  • the mode selection unit 1005 is a code encoder according to a predetermined method. The prediction mode with the lowest encoding cost is selected from the calculated encoding costs.
  • the decoded image corresponding to the selected mode is stored in the reference image memory 106 via the transform / quantization unit 104 and the inverse quantization / inverse transform unit 105.
  • the encoding control unit 108 connects the temporary encoding switching switch 1003 to the encoding processing unit 107 and performs encoding.
  • the information of the force encoded by the 8x8 pixel block force 4x4 pixel prediction and the force encoded by the 8x8 pixel prediction is also encoded at the same time. This information is encoded by the encoding processing unit 107 as 4-bit data for the macroblock.
  • the ex_adaptive—blocksiz e— in— seq— flag shown in the sequence parameter set syntax of Figure 23 is a flag that indicates whether the block size switching prediction is changed for each sequence. When this flag is TRUE, Whether block size switching prediction can be used can be switched in sequence units. When the flag is FALSE, block size switching prediction cannot be used in the sequence.
  • ex-adaptive- blocksi ze- in-pic-flag shown in the picture parameter set syntax in Fig. 24 is a flag indicating whether or not to change block size switching prediction for each picture.
  • TRUE the availability of block size switching prediction can be switched on a picture-by-picture basis.
  • FALSE block size switching prediction cannot be used in the picture.
  • ex—adaptive—blocksize—in—slice—flag shown in the slice header syntax of FIG. 25 is a flag indicating whether or not to change the block size switching prediction for each slice, and this flag is TRUE. At this time, it is possible to switch the availability of block size switching prediction in units of slices. When the flag is FALSE, block size switching prediction cannot be used in a slice! /.
  • ex-adaptive-blocksize-mode shown in the macroblock layer syntax in FIG. 26 is 4-bit data and corresponds to block size switching information.
  • FIG. 28A shows 8 ⁇ 8 pixel block power in the order of A, B, C, and D ⁇ power that is ⁇ 4 pixel prediction, and whether it is 8 ⁇ 8 pixel prediction.
  • ex-adaptive-blocksize-mode indicates 1100
  • blocks A and B are encoded with 8x8 pixel prediction and blocks C and D are encoded with 4x4 pixel prediction as shown in Fig. 28B.
  • FIG. 27 shows an example in which block size switching information is added to the macroblock type.
  • macroblock prediction is performed only with 4 ⁇ 4 pixel prediction.
  • mb_type 1
  • macroblock prediction is performed only with 8x8 pixel prediction.
  • mb If the type is 1 to 5, block size switching is predicted.
  • Intra-A-B-C-D shows which block force S8x8 pixel prediction is used.
  • Figure 28A shows the block positions of A, B, C, and D, respectively. For example, when mb-type is 3, it indicates that blocks A and B are predicted with 8x8 pixel prediction.
  • provisional code processing is actually performed in units of 8x8 pixels.
  • the mode with the lowest coding cost that also obtains the code amount and code distortion power of the key data is selected, and the coded data is output based on the selected mode.
  • mode selection is performed by switching the prediction block size for each 8x8 pixel block in the macro block! /, So that code efficiency can be increased with high code efficiency according to the prediction method.
  • the lock shape can be selected, that is, suitable encoding can be performed according to the contents of the pixel block.
  • the decoded image signal is generated only in the selected mode in the loop for prediction mode determination. It does not necessarily have to be executed.
  • a video decoding device corresponding to the above video encoding device will be described.
  • the code data transmitted from the video encoding apparatus and sent via the transmission system or the storage system is once stored in the input buffer 901 and multiplexed and separated. After being separated into a plurality of pixel blocks based on the syntax for each frame by the device 902, they are input to the code string decoding unit 903.
  • the code sequence decoding unit 903 sequentially decodes the code sequence of each status of the code data for each of the high level syntax, slice level syntax, and macroblock level syntax according to the syntax structure shown in FIG. .
  • the quantized transform coefficient, quantization matrix, quantization meter, prediction mode information, prediction switching information, etc. are restored.
  • the quantized transform coefficient is restored and the inverse quantization and inverse transform unit 904 performs inverse quantization using the quantization matrix and quantization parameter of each piece of information.
  • inverse orthogonal transform for example, inverse discrete cosine transform.
  • the inverse orthogonal transform has been described.
  • the inverse quantization and inverse transform unit 904 performs the corresponding inverse quantization and inverse wavelet transform or the like. Also good.
  • the coefficient converted by the inverse quantization and inverse conversion unit 904 is sent to the adder 905 as an error signal 911.
  • the adder 905 adds the prediction signal 916 output from the intra-frame prediction unit 907 and the error signal 911, and inputs the addition signal to the reference image memory 906 as a decoded signal 912.
  • the decoded signal 912 is further sent to the output buffer 913 and output at a timing managed by the decoding control unit 908.
  • Prediction mode information 909 and prediction switching information 910 decoded by code string decoding section 903 Input to the intra-frame prediction unit 907.
  • the reference signal 914 that has already been encoded is read from the reference image memory 906 to the intra-frame prediction unit 907.
  • the intra-frame prediction unit 907 generates a prediction signal 916 based on the input information and inputs it to the adder 905.
  • the decoding key control unit 908 controls the input buffer 901 and the output buffer 913, controls the decoding timing, and the like.
  • the moving picture decoding method according to the present embodiment will be described with reference to FIG. 30 by the intra-frame prediction unit 907 of the moving picture decoding apparatus 900.
  • the same components as those of the embodiment of FIG. 29 are denoted by the same reference numerals and description thereof is omitted.
  • the prediction switching switch 3001 is operated based on the prediction switching information 910. Specifically, ex-adaptive-intra-flag and ex-direct-intra-flag are input to the prediction control unit 3007 as prediction switching information.
  • ex—adaptive—intra-flag is a flag indicating whether the image is predicted by pixel adaptive prediction or directional prediction.
  • the prediction switching switch 3001 is set to the pixel adaptive prediction unit. Connect to 300-2.
  • the flag is FALSE, the prediction switching switch 3001 is connected to the direction prediction unit 3003.
  • ex- direct- intra- flag is a flag that indicates whether fixed mode prediction has been performed! /, and has not been performed. If this flag is TRUE, the ex-adaptive-intra-flag state is set. Regardless, the prediction switching switch 3001 is connected to the fixed mode prediction unit. When the prediction switching switch 3001 is switched according to the respective information, the reference signal 914 is input to the intra-frame prediction unit 907.
  • the reference signal 914 is input to the prediction unit corresponding to the flag via the prediction switching switch 3001.
  • the prediction control unit 3007 inputs prediction mode information 909 to the pixel adaptive prediction unit 3002. Based on this information, the pixel adaptive prediction unit 3002 performs pixel adaptive prediction and generates a prediction signal 913.
  • the prediction control unit 3007 inputs the prediction mode information 909 to the direction prediction unit 3003. Based on this information, the direction prediction unit 3003 Measurement is performed and a prediction signal 913 is generated.
  • prediction control unit 3007 inputs prediction mode information 909 to fixed mode prediction unit 3004.
  • the fixed mode prediction 3004 performs a fixed mode prediction and generates a prediction signal 913.
  • the prediction signal 916 that has been predicted by the prediction U ⁇ 3002, 3003, 3004 is output to the outside of the intra-frame prediction unit 907.
  • each prediction unit 3002, 3003, 3004 will be described. These prediction units are stored in the reference image memory 906 and perform prediction of a block to be predicted using the already decoded reference signal 914. There are nine prediction modes, each with a different prediction direction of 22.5 degrees as shown in Figure 5A. Mode 0 to mode 8 are specified, and mode 2 is DC prediction in the direction prediction unit 3003. The names of the direction prediction mode performed in the direction prediction unit 3003 and the pixel adaptive prediction mode performed in the pixel adaptive prediction unit 3002 are shown in FIG. The relationship between the prediction block of 4x4 pixel prediction and the reference pixel is shown in FIG. 5B. Pixels from uppercase A to M are reference pixels, and pixels from lowercase a to p are prediction pixels.
  • the direction prediction unit 3003 uses a prediction method that copies the prediction value interpolated from the reference pixel in the prediction direction shown in FIG. 5A.
  • Equation (3) is used as the prediction value generation method when mode 0 (vertical prediction) is selected. This mode can only be selected when reference pixels A through D are available. In this prediction method, as shown in FIG. 5C, the luminance values of the reference pixels A to D are copied as they are in the vertical direction and compensated as predicted values.
  • Prediction modes For prediction methods other than 0 and 2, almost the same framework is used. Interpolated values are generated from reference pixels that can be used in the prediction direction, and the values are copied according to the prediction direction. Make a prediction that [0153]
  • the pixel adaptive prediction unit 3002 will be described. The prediction mode is the same as described in Fig. 5A.
  • the pixel adaptive prediction unit 3002 performs prediction in which the number of reference pixels to be used changes according to the distance between the prediction pixel and the reference pixel, and the prediction value changes in units of pixels. By changing the weighting table of the reference pixels to be used according to the distance, it is possible to generate more accurate predicted values.
  • FIG. 6A shows the relationship between the reference pixel and the prediction block.
  • the reference pixels and prediction pixels shown in Fig. 6A and Fig. 5B have a one-to-one correspondence, but different indexes are given to these pixels to facilitate explanation of the prediction formula.
  • the reference pixels are xOO force and up to x08, and 13 evens of x09, xl 8, x27, and x36.
  • the total number of pixels is 16 even from xlO force xl3, xl9 force x22, x28 force x31, x37 force x40.
  • the 16 pixels from xl4 force to xl7, x23 force to x26, x32 force to x35, and x41 force to x44 are prediction auxiliary pixels, and are used to improve prediction accuracy.
  • FIG. 6B shows the prediction method for pixel adaptive vertical prediction. As can be seen from FIG. 6B, as the distance between the reference pixel and the target prediction pixel increases, the predicted value is determined using more reference pixels.
  • the predicted value generation method will be specifically described.
  • the prediction pixel is calculated using Eq. (5).
  • n indicates an index corresponding to the predicted pixel position (xlO to xl3, xl9 force, etc. x22, x28 force, etc. x31, x37 force, etc. x40) shown in FIG. 6A.
  • equation (5) is expanded according to the distance between the reference pixel and the prediction pixel, the prediction equation becomes equation (7).
  • L represents the distance between the reference pixel and the prediction pixel.
  • Vi is an index determined according to the corresponding prediction mode.
  • hi represents the filter coefficient, and the number of taps varies with L.
  • the prediction pixel that is one distance away from the reference pixel in the prediction direction uses three reference pixels.
  • a prediction pixel that is two distances away from the reference pixel in the prediction direction is predicted by Equation (9) using five reference pixels.
  • a prediction pixel that is three distances away from the reference pixel in the prediction direction is predicted by Equation (10) using seven reference pixels.
  • Prediction pixels that are four distances away from the reference pixel in the prediction direction are predicted by Equation (10) using nine reference pixels.
  • Pixel adaptive horizontal prediction (mode 1) is predicted using Eq. (14).
  • Pixel adaptive upper left prediction (mode 2) is predicted using equation (15).
  • Pixel adaptive orthogonal lower left prediction (mode 3) performs prediction using equation (16).
  • Pixel adaptive orthogonal lower right prediction (mode 4) is predicted using Eq. (17).
  • Pixel-adapted vertical left prediction (mode 5) is predicted using equation (18).
  • Pixel adaptive horizontal prediction (mode 6) is predicted using Eq. (19).
  • Pixel-adapted vertical left prediction (mode 7) is predicted using equation (20).
  • Pixel-adapted horizontal prediction (mode 8) is predicted using Eq. (21).
  • the number of reference pixels, and a weighting table can be determined by substituting and developing necessary predicted images.
  • the reference pixel is compensated as in the pixel adaptive vertical prediction. For example, when x37 is predicted by pixel adaptive horizontal prediction, ⁇ 45 reference pixels cannot be used. Therefore, this reference pixel is filled with ⁇ 36.
  • the predicted image generation method is executed by the pixel adaptive prediction unit 3002.
  • the fixed mode prediction unit 3004 will be described in detail.
  • the fixed mode prediction unit 3004 performs prediction of mode information, and performs pixel adaptive prediction or direction prediction in a predetermined prediction mode.
  • mode information of a prediction block adjacent to the prediction target block is used.
  • Fig. 8 shows the relationship between a prediction target block and adjacent blocks in the case of 4x4 pixel prediction.
  • prediction The left adjacent block of the target block C is A, and the upper adjacent block is B.
  • ⁇ prev-left-mode and prev-upper-mode the prediction mode of the block is determined by Equation (23).
  • current—mode is the prediction mode of the prediction block.
  • the function min (A, B) returns the smaller of A and B. Since the prediction mode information of the prediction block is predicted from the prediction mode information of the surrounding blocks in this way, it is one of the code modes that can greatly reduce the amount of code for encoding the prediction mode information. It is.
  • Whether to generate a prediction image using the pixel adaptive prediction unit 201 or to generate a prediction image using the direction prediction unit 202 is determined by the ex-direct-intra flag, and the encoding control unit 108 It is determined based on ex-direct-intra flag information given by.
  • the prediction mode information of the current prediction block is determined based on the prediction mode information of adjacent prediction blocks A and B.
  • the determination may be made based on prediction mode information of surrounding prediction blocks. For example, using the prediction mode information of the right block of prediction block B, the upper block of prediction block B, the left block of prediction block A, and the upper block of prediction block A, The prediction mode of the prediction block may be determined. For example, the prediction mode with the highest frequency among the prediction modes of the peripheral prediction block, the median value of the prediction mode of the peripheral prediction block, or the average value of the prediction modes of the peripheral prediction block is determined as the prediction mode of the current prediction block. You can do it.
  • a decryption apparatus 3100 according to the second embodiment will be described with reference to FIG.
  • the intra-frame prediction unit 907 is changed to a first intra-frame prediction unit 3102 and a second intra-frame prediction unit 3103 with respect to the fourth embodiment.
  • a new block size switch 3101 has been introduced.
  • the same components as those in FIG. 29 are denoted by the same reference numerals and description thereof is omitted.
  • Prediction mode information 909, prediction switching information 910, block size switching information 915, and the like decoded by the code string decoding unit 903 are sent to the block size switching switch 3101 and the decoding key control unit 908.
  • the decoding control unit 908 connects the block size switching switch 3101 to an appropriate end point based on the block size switching information.
  • the block size is determined based on the ex-adaptive-block size-mode power given from the code string decoding unit 903.
  • This information is composed of 4 bits, and indicates whether 4x4 pixel prediction or 8x8 pixel prediction is performed within 8x8 pixels in the macroblock. Bits are assigned in the order of upper left force and lower right, in order of A, B, C, D, as shown in Figure 28A. ex—adaptive —1) 10.1 ⁇ 126—1110 (When the value of 16 is 1100, as shown in Figure 28B, 8x8 pixel prediction is assigned to blocks A and B, and blocks C and D Is assigned a 4x4 pixel prediction!
  • decoding control section 903 connects the output end of block size switching switch 3101 to first intra-frame prediction section 3102.
  • the first intra-frame prediction unit 3102 performs 4 ⁇ 4 pixel prediction on the four 4 ⁇ 4 pixel blocks, and sends the predicted image to the adder 905.
  • the decoding key control unit 908 connects the output terminal of the block size switching switch 3101 to the second intra-frame prediction unit 3103.
  • Second intra-frame prediction section 3103 performs 8 ⁇ 8 pixel prediction on one 8 ⁇ 8 pixel block, and sends the predicted image to adder 905.
  • the first intra-frame prediction unit 3102 and the second intra-frame prediction unit 3103 perform prediction of the determined block size based on the prediction switching information input in the internal structure equal to that in FIG. !, Output a prediction signal.
  • the decoding key control unit 908 controls the block size switching switch in addition to the control of the input buffer 901 and the output buffer 913 and the control of the decoding timing.
  • the syntax of the block size switching information required when switching the prediction information in the present embodiment is the same as in FIGS. You can get the information from the macroblock type that doesn't get the block size switching information from the macroblock layer.
  • FIG. 27 is an example of obtaining block size switching information from the macroblock type.
  • mb_type When mb_type is 0, macroblock prediction is performed only with 4x4 pixel prediction.
  • mb—type macroblock prediction is performed with 8x8 pixel prediction only.
  • Intra-A-B-C-D shows which block uses 8x8 pixel prediction.
  • Figure 28A shows the block positions of A, B, C, and D, respectively.
  • the prediction mode to be used is set for each sequence, each slice, or each macroblock. Because it can be changed, it is possible to generate a predicted image that also considers subjective image quality.
  • the present invention can be applied to encoding and decoding of moving images, still images, voices, and the like in various fields such as video, audio devices, mopile devices, broadcasting, information terminals, and networks.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　画像符号化方法は、１画面に対応する入力画像信号を複数の画素ブロック信号に分割するステップと、予測画素と符号化済み参照画素との距離に応じて変更される数の参照画素を用いて複数の予測モード毎に規定されている方向に従って予測画素を外挿する画面内予測を行い、予測画像信号と予測モード情報を生成する予測信号生成ステップと、画素ブロック信号と前記予測画像信号とから予測誤差信号を計算するステップと、予測誤差信号を用いて１つの予測モードを選択する予測モード選択ステップと、選択予測モードに基づく予測誤差信号を用いて符号化を行う符号化ステップとを含む。

Description

明 細 書
画像符号化 Z画像復号化方法及び画像符号化 Z画像復号化装置 技術分野
[0001] 本発明は、動画像または静止画像のための画像符号化方法及び画像復号化方法 及び画像符号化装置及び画像復号化装置に関する。
背景技術
[0002] 近年、従来より大幅に符号化効率を向上させた動画像符号化方法が、 ITU— Tと I SO/IECとの共同で、 ITU— TRec. H. 264及び ISOZIEC14496— 10(以下、「 H. 264」という)として勧告されている。 ISO/IECMPEG- 1, 2, 4、 ITU— TH. 2 61、 H. 263といった従来の符号化方式は直交変換後の周波数領域 (DCT係数)上 でのフレーム内予測を行い，変換係数の符号量削減を図っているのに対して、 H. 2 64は空間領域 (画素領域)での方向予測 (非特許文献 1)を取り入れることにより，従 来（ISOZlECMPEG—l, 2, 4)の動画像符号化方式のフレーム内予測と比較して 高 ヽ予測効率を実現して 、る。
[0003] H. 264ハイプロファイルなどでは、輝度信号に対して 3種類のフレーム内予測方式 が規定されており、そのうちの 1つをマクロブロック（16x16画素ブロック）単位に選択 できる方式となっている。予測方式はそれぞれ 4x4画素予測、 8x8画素予測、 16x1 6画素予測と呼ばれて 、る。
[0004] 16x16画素予測では、 4つの符号化モードが規定されており、垂直予測、水平予 測、 DC予測、平面予測と呼ばれている。復号処理を終えたデブロッキングフィルタ適 用前の周囲のマクロブロックの画素値を参照画素値として用 、、予測処理に使用す る。
[0005] 4x4画素予測は、マクロブロック内の輝度信号を 16個の 4x4画素ブロックに分割し 、それぞれの 4x4画素ブロックに対して、 9つのモードのいずれかをブロック単位に選 択する。 9つのモードは、利用可能な参照画素の平均値で予測する DC予測（モード 2)を除いて、それぞれ 22. 5度づつの予測方向を持っており、参照画素を用いて予 測方向に外挿補間を行って予測値を生成する。 4x4画素予測のモード情報は 1つの マクロブロック当たり 16個必要になる。 4x4画素予測は予測処理の単位力 、さいた めに、複雑なテクスチャを持つ画像に対しても比較的効率の高い予測が行えるが、 予測方向に対して単純に補間値をコピーするだけの予測であり、参照画素力 の距 離が離れるほど、予測誤差が増大するという問題点がある。
[0006] 8x8画素予測は、マクロブロック内の輝度信号を 4個の 8x8画素ブロックに分割し、 それぞれの 8x8画素ブロックに対して 9つのモードのいずれかをブロック単位に選択 する。予測モードは、 4x4画素予測と同じ枠組みで設計されているが、既に符号化済 みの参照画素に対して 3タップのフィルタリングを行い、予測に用いる参照画素の平 坦化を行うことで符号化歪みを平均化する処理が含まれている。しかし、 4x4画素予 測と同様、参照画素力 距離が離れるに従って、予測値が当たらなくなる問題がある 。特に参照画素からの距離力 χ4画素予測より遠くなるため、複雑なテクスチャを持 つ画像では予測精度が期待できな 、と 、う問題がある。
[0007] 8x8画素予測は、 Η. 264ハイプロファイルにのみ規定されている予測単位であり、 特に高解像度画像での符号ィ匕効率向上のために導入されて 、る。 4x4画素予測で は、 4x4画素変換量子化ブロックサイズが適用され、 8x8画素予測では 8x8画素変 換量子化ブロックサイズが適用される。つまり、予測ブロック形状によって変換量子化 ブロックサイズが規定されている。予測ブロック形状は、メインプロファイルとハイプロ ファイルの互換性を考慮したため、マクロブロック内で 4x4画素予測と 8x8画素予測 を混在することが規格上出来な!/ヽ構造となって!/ヽる。
[0008] Η. 264の 4x4画素予測又は 8x8画素予測ではモード情報の符号量を削減するた めに、隣接ブロックのモード情報の相関の高さを利用して、モード情報の予測を行う ことで符号量の削減を行って 、る。モード情報の予測が当たった時は 1ビットのフラグ を符号化し、予測が当たらな力つた時にはさらに 3ビットのデータを符号ィ匕することで 、モード情報の符号量を削減している。しかし、マクロブロック内で誤差信号がほとん ど発生しない時に、 4x4画素予測が選択されている場合、最低でも 16ビット（最大 64 ビット)を符号ィ匕しなければならず、符号ィ匕効率が大幅に低下することがある。
[0009] 特開 2005— 159947は、フレーム内予測方法の予測効率を向上させる手法として 、画面内でのブロックマッチングを行い、符号化済みの参照画像から予測ブロックの 予測値を補填して予測を行う方式を提案して ヽる。この方式は画面内の既に符号ィ匕 済みの任意のブロックの画像と予測対象とするブロックの画像とが似ていることを前 提にした予測方法であり、画面内の相関が低い時に予測精度が悪いという問題があ る。また、予測に用いる参照画像の位置を示す、位置ずれ量を符号化せねばならず 、モード情報の符号量が増加する場合がある。
発明の開示
[0010] 以上説明したように、 H. 264ハイプロファイルに規定されている方法で、符号ィ匕済 みの参照画像力 予測モードに応じた補間画素を生成し、予測モードで規定されて いる方向に対して補間画素をコピーして予測画像信号を生成する場合、予測方向に 対して距離が離れた予測画素ほど予測誤差が増大する、マクロブロック内で予測ブ ロック形状の混在が出来ない、モード情報の符号量を削減できない、という問題があ つた o
[0011] 本発明の形態は、 1画面に対応する入力画像信号を複数の画素ブロック信号に分 割するステップと、予測画素と符号化済み参照画素との距離に応じて変更される数 の参照画素を用いて複数の予測モード毎に規定されて 、る方向に従って前記予測 画素を外挿する画面内予測を行 、、予測画像信号と予測モード情報を生成する予 測信号生成ステップと、前記画素ブロック信号と前記予測画像信号とから予測誤差 信号を計算するステップと、前記予測誤差信号を用いて 1つの予測モードを選択す る予測モード選択ステップと、前記選択されて!、る予測モードに基づく予測誤差信号 を用いて符号化を行う符号化ステップと、を含む、画像符号化方法を提供する。
[0012] 本発明の第 2の形態は、予測モード情報を含む復号化画像信号を生成するため入 力符号化画像信号を復号するステップと、復号化画像信号の予測モード情報に基 づき選択予測モードに従って符号化済み参照画素と予測画素との距離に応じて予 測に用いる参照画素の数及び予測画素生成順を変更するステップと、画素単位で 外揷を行う画面内予測を行うことによって予測画像信号を生成する予測信号生成ス テツプと、前記復号化画像信号を基に予測誤差信号を生成する予測誤差信号生成 ステップと、予測画像信号と予測誤差信号を加算して、復号画像を生成する復号画 像生成ステップと、を含む画像復号化方法を提供する。 図面の簡単な説明
[図 1]図 1は、本発明の第 1の実施形態に従う動画像符号化装置の構成を示すブロッ ク図である。
[図 2]図 2は、同実施形態に従うフレーム内予測部の構成を示すブロック図である。
[図 3]図 3は、同実施形態に従う画像符号化装置のフローチャートである。
[図 4A]図 4Aは、同実施形態に係わる予測順序の概略を示す図である。
[図 4B]図 4Bは、同実施形態に係わるブロック形状の概略を示す図である。
[図 4C]図 4Cは、同実施形態に係わるブロック形状の概略を示す図である。
[図 4D]図 4Dは、同実施形態に係わるブロック形状の概略を示す図である。
[図 4E]図 4Eは、同実施形態に係わるブロック形状の概略を示す図である。
[図 5A]図 5Aは、同実施形態に係わる方向予測を示す図である。
[図 5B]図 5Bは、同実施形態に係わる方向予測における予測ブロックと参照画像の 関係を示す図である。
[図 5C]図 5Cは、同実施形態に係わる予測方法を示す図である。
[図 5D]図 5Dは、同実施形態に係わる予測方法を示す図である。
[図 6A]図 6Aは、同実施形態に係わる画素適応予測における予測ブロックと参照画 像の関係を示す図である。
[図 6B]図 6Bは、同実施形態に係わる画素適応垂直予測を示す図である。
[図 6C]図 6Cは、同実施形態に係わる画素適応予測を示す図である。
[図 7]図 7は、同実施形態に係わる画素適応垂直予測時に利用される参照画像の数 とフィルタ係数の重み付けテーブルを示す図である。
[図 8]図 8は、同実施形態に係わる予測モードの予測に利用される隣接ブロックを示 す図である。
[図 9]図 9は、同実施形態に係わる方向予測と画素適応予測のモード名称を示す図 である。
[図 10]図 10は、本発明の第 2の実施形態に係わる動画像符号ィ匕装置の構成を示す 図である。
[図 11]図 11は、同実施形態に従うフレーム内予測部の構成を示すブロック図である。 [図 12]図 12は、同実施形態に従う画像符号化装置のフローチャートである。
[図 13]図 13は、同実施形態に従うシンタクス構造の概略図である。
[図 14]図 14は、同実施形態に従うシーケンスパラメータセットシンタクスのデータ構造 を示す図である。
[図 15]図 15は、同実施形態に従うピクチャパラメータセットシンタクスのデータ構造を 示す図である。
[図 16]図 16は、同実施形態に従うスライスヘッダシンタクスのデータ構造を示す図で ある。
[図 17]図 17は、同実施形態に従うマクロブロックレイヤーシンタクスのデータ構造を 示す図である。
[図 18]図 18は、同実施形態に従うシーケンスパラメータセットシンタクスのデータ構造 を示す図である。
[図 19]図 19は、同実施形態に従うピクチャパラメータセットシンタクスのデータ構造を 示す図である。
[図 20]図 20は、同実施形態に従うスライスヘッダシンタクスのデータ構造を示す図で ある。
[図 21A]図 21Aは、同実施形態に従うマクロブロックレイヤーシンタクスのデータ構造 を示す図である。
[図 21B]図 21Bは、同実施形態に従うマクロブロックプレディクシヨンシンタクスのデー タ構造を示す図である。
[図 22]図 22は、本発明の第 3の実施形態に従う動画像符号化装置の構成を示すブ ロック図である。
[図 23]図 23は、同実施形態に従うシーケンスパラメータセットシンタクスのデータ構造 を示す図である。
[図 24]図 24は、同実施形態に従うピクチャパラメータセットシンタクスのデータ構造を 示す図である。
[図 25]図 25は、同実施形態に従うスライスヘッダシンタクスのデータ構造を示す図で ある。 [図 26]図 26は、同実施形態に従うマクロブロックレイヤーシンタクスのデータ構造を 示す図である。
[図 27]図 27は、同実施形態に従う mb— typeのデータ構造を示す図である。
[図 28A]図 28Aは、同実施形態に従うブロックサイズ切替のデータ構造を示す図であ る。
[図 28B]図 28Bは、同実施形態に従うブロックサイズ切替のデータ構造を示す図であ る。
[図 29]図 29は、本発明の第 4の実施形態に従う動画像復号化装置の構成を示すブ ロック図である。
[図 30]図 30は、同実施形態に従う動画像復号ィ匕装置内のフレーム内予測部を示す ブロック図である。
[図 31]図 31は、本発明の第 5の実施形態に従う動画像復号化装置の構成を示すブ ロック図である。
発明を実施するための最良の形態
[0014] 以下に添付図面を参照して、この発明に係る動画像符号化方法及び動画像符号 化装置、動画像復号化方法及び動画像復号化装置の最良な実施形態を詳細に説 明する。
[0015] (第 1の実施の形態）
図 1に示す動画像符号ィ匕装置 100は、動画像信号を複数の小画素ブロックに分割 して符号ィ匕するように構成される。この動画像符号ィ匕装置 100には、ブロックサイズ や予測画像信号の生成方法が異なる複数のフレーム予測モードが用意されている。 フレーム内予測は、フレーム内で予測が閉じている予測方式であり、既に符号化済 みの参照画素を利用して予測対象ブロックを予測する。本実施の形態では、図 4Aに 示されて!/、るように左上力 右下に向かって符号ィ匕処理がなされて 、くものとする。
[0016] 動画像符号化装置 100に入力されている動画像信号は、画面分割部 101によって 入力画像信号 115として複数の小画素ブロックに分割される。分割されている入力画 像信号 115の一部がフレーム内予測部 102へと入力され、モード選択部 103、変換 及び量子化部 107を介して、最終的に符号化処理部 107によって符号化され、符号 化データ 113として出力される。
[0017] 画面分割部 101は、各画素ブロックが図 4 (b)に示される 16x16画素のブロックに なる目的で動画像信号を複数の画素ブロックに分割する。この 16x16画素ブロック はマクロブロックと呼ばれ、以下の符号化処理の基本的な処理ブロックサイズとなつ ている。動画像符号ィ匕装置 100は、このマクロブロック毎に符号ィ匕処理を行う。
[0018] フレーム内予測部 102は、参照画像メモリ 106に一時保存されている参照画素を 用いて、マクロブロック単位で選択可能な全ての予測モードについて外挿し、予測画 像信号 114を生成する。即ち、フレーム内予測部 102では、画面内予測、例えばフレ ーム内予測により予測画素ブロックで取り得るモードの全ての予測画像信号 114が 生成される。ただし、 H. 264のフレーム内予測（4x4画素予測（図 4C参照）又は 8x8 画素予測（図 4D参照））のようにマクロブロック内で局所復号画像を作成しな 、と次 の予測が行えないような場合には、フレーム内予測部 102内部で変換及び量子化、 逆量子化及び逆変換を行っても良いが、予測画像信号はフレーム内予測部 102の みで生成される。
[0019] フレーム内予測部 102で生成されている予測画像信号 114は、モード選択部 103 へ送られる。モード選択部 103は、入力画像信号 115から予測画像信号 114を差し 引いた予測誤差信号 116を生成する。更に、モード選択部 103は、フレーム内予測 部 102で予測されているモード情報と生成されている予測誤差信号 116を基に予測 モードを選択する。より具体的に説明すると本実施の形態では次式のようなコストを 用いる。
[0020] K=SAD+ λ X OH (l)
但し、モード情報を OH、予測誤差信号の絶対和を SADとすると次式を用いる。 λ は定数で与えられ、量子化幅や量子化パラメータの値に基づいて決められる。このよ うにして得られたコストを基に予測モードが決定される。コスト Κ力もっとも小さい値を 与える予測モードが最適予測モードとして選択される。
[0021] 本実施の形態では、モード情報と予測誤差の絶対和を用いたが、モード情報のみ 、または予測誤差の絶対和のみを用いて予測モードを選択しても良い。モード情報と 予測誤差の絶対和をアダマール変換したり、これらに近似した値を利用しても良 、。 更に、入力画像信号のァクテビティを用いてコストを作成しても良いし、量子化幅、量 子化パラメータを利用してコスト関数を作成しても良 、。
[0022] モード選択部 103は変換及び量子化部 104に接続されており、モード選択部 103 で選択されているモード情報と予測誤差信号は、変換及び量子化部 104へ入力され る。変換及び量子化部 104は、入力されている予測誤差信号を直交変換し、変換係 数データを生成する。本実施形態では、変換及び量子化部 104は、離散コサイン変 換などを用いて予測誤差信号を係数に変換しているが、ゥヱーブレット変換や独立 成分解析などの手法を用いて予測誤差信号を係数に変換しても良い。変換及び量 子化部 104は、変換係数を量子化する。量子化に必要とされる量子化パラメータは、 符号ィ匕制御部 108によって設定されている。
[0023] 量子化後の変換係数 117は、予測情報 109、量子化パラメータなどの予測方法に 関する情報とともに符号ィ匕処理部 107へと出力される。符号ィ匕処理部 107は、入力さ れて 、る予測情報等とともに、量子化後の変換係数 117をエントロピー符号ィ匕 (例え ばハフマン符号ィ匕若しくは算術符号ィ匕など)する。符号ィ匕処理部 107でエントロピー 符号化されて 、るデータは多重化部 111により多重化され、出カノ ッファ 112を通し て符号ィ匕データ 113として出力される。
[0024] 逆量子化及び逆変換部 105は、変換及び量子化部 104によって量子化されている 変換係数 117を、符号ィ匕制御部 108にて設定されている量子化パラメータに従って 逆量子化し、得られた変換係数に対して逆変換 (例えば逆離散コサイン変換など)を 行い、変換係数を予測誤差信号 116に復号する。
[0025] 逆量子化及び逆変換部 105によって復号されている予測誤差信号 116は、加算器 118によりモード選択部 103から供給される選択予測モードの予測画像信号 114と 加算される。加算信号は復号画像信号 119となり、参照画像メモリ 106へ入力される 。参照画像メモリ 106は復号画像信号 119を参照画像として蓄積する。このように参 照画像メモリ 106に蓄積されている参照画像が、フレーム内予測部 102による予測 誤差信号等の生成の際に参照される。
[0026] 符号化ループ（図 1におけるフレーム内予測部 102→モード選択部 103→変換及 び量子化部 104→逆変換及び逆量子化部 105→参照画像メモリといった順序で流 れる処理）は、そのマクロブロックで選択可能な全ての予測モードに対して処理を行 つた場合に 1回のループになる。予測マクロブロックに対して当該符号化ループが終 了すると、次のブロックの入力画像信号 115が入力され、符号ィ匕が行われる。
[0027] 符号化制御部 108は発生符号量のフィードバック制御及び量子化特性制御、モー ド制御などを行う。また、符号ィ匕制御部 108は発生符号量の制御を行うレート制御や
、予測部の制御、符号ィヒ全体の制御を行う。
[0028] 上述した各部の機能は、コンピュータに記憶されているプログラムによって実現でき る。
[0029] 本発明にかかる動画像符号化方法を動画像符号化装置 100が実施する例を図 2 を参照して説明する。図 2に示されるように、図 1と共通する構成要素には同一の符 号を付けてその説明を省略する。
[0030] フレーム内予測部 102は、マクロブロックサイズより小さいブロックサイズの予測も行 うために、内部モード選択部 204、内部変換及び量子化部 206、内部逆量子化及び 逆変換部 207、内部参照画像メモリ 209を有する。画素適応予測部 201と方向予測 部 202はそれぞれ複数の予測モードを有するが、予測方法が異なる。固定モード予 測部 203は、画素適応予測部 201と方向予測部 202の予測方法を利用して予測を 行っている力 マクロブロックレベルでモード情報を送らない予測モードの 1つを実行 する。
[0031] 方向予測部 202と画素適応予測部 201について詳細に説明する。これらの予測部 は参照画像メモリ 106に保持されている既に復号済みの参照画素を用いて、予測対 象になるブロックを予測する。予測モードは 9通りあり、図 5Aに示されるように、モード 2を除いてそれぞれ 22. 5度づっ異なる予測方向を持っている。モード 2を除くモード 0からモード 8まで規定されており、モード 2は、方向予測部 202では DC予測となって いる。方向予測部 202で行われる方向予測のモードと画素適応予測部 201で行わ れる画素適応予測のモードの名称が図 9で示されている。 4x4画素予測の予測ブロ ックと参照画素との関係が図 5Bに示されている。大文字 Aから Mまでの画素が参照 画素であり、小文字 aから pまでの画素が予測画素である。
[0032] 最初に、方向予測部 202による予測方法を説明する。方向予測部 202は、モード 2 の DC予測が選択されている場合、次式 (2)に従って予測画素を計算する。
[0033] H= (A+B + C + D)、 V= (I+J+K+L) (2)
a〜p=(H+V+4)>>3
参照画素が利用できない時は、予測画素は利用できる参照画素の平均値で予測 される。利用できる参照画素が 1つも存在しない場合は、符号化装置の最大輝度値 の半分の値 (8ビットなら 128)で予測値が計算される。その他のモードが選択されて いる場合、方向予測部 202は、図 5Aで示される予測方向に対して、参照画素から補 間されている予測値をコピーする予測方法を用いる。具体的には、モード 0(垂直予 測）が選択されている場合の予測値生成方法を次式 (3)に基づいて説明する。
[0034] a, e, i, m=A
b, f, j, n=B
c, g, k, o = C
d, h, 1, p = D (3)
この予測モードは、参照画素 Aから Dまで利用できるときだけ、選択することが可能 である。予測方法の詳細を図 5(c)に示す。参照画素 A〜Dの輝度値がそのまま垂直 方向に予測画素にコピーされ、予測値として補填される。
[0035] 予測モード 4 (直交右下予測）が選択されて 、るときの予測方法を次式 (4)に基づ いて説明する。
[0036] d=(B+(C<<l)+D + 2)>>2
c, h= (A+ (B< < 1) +C + 2) >>2
b, g, 1= (M+ (Aく < 1) +B+2) >>2
a, f, k, p= (1+ (M< < 1) +A+2) >>2
e, j, o=(j+(K<l)+M + 2)>>2
i, n= (K+ (J< < 1) +1 + 2) >>2
m= (L+ (K< < 1) +J + 2) >>2(4)
この予測モードは、参照画素 Aから D並びに Iから Mまで利用できるときにのみ選択 することが可能である。本予測モードの詳細を図 5(d)に示す。 3タップのフィルタによ つて生成されている値を右下 45度方向へ予測画素にコピーし、予測値として補填す る。
[0037] 予測モード 0, 2, 4以外の予測方法に関してもほぼ同様の形態が用いられており、 予測方向に対して利用できる参照画素から補間値を生成し、その値を予測方向に応 じて予測画素にコピーするという予測を行う。
[0038] 画素適用予測部 201について説明する。画素適応予測部 201は、予測画素と参 照画素の距離に応じて、利用する参照画素の数を変える予測を行っており、画素単 位に予測値が変わる。フレーム内予測は、画像の空間相関を利用した予測であり、 隣接画素間の輝度値は似ている、という前提の下で予測値を作成している。予測画 素と利用可能な参照画素との距離が離れるとこの前提が成り立たなくなり、予測誤差 が増大する傾向がある。そこで、予測画素と参照画素との距離が離れた場合、その 離れた距離に応じて、利用する参照画素を増やすことで、予測誤差の低下を軽減す る。さらに、利用する参照画素の重み付けテーブルを、距離に応じて変更することで より、精度の高い予測値生成が可能になる。
[0039] 予測モードに関しては図 5Aで説明したものと同一である。図 6Aに参照画素と予測 ブロックの関係を示している。図 6Aと図 5Bで示される参照画素と予測画素は 1対 1に 対応している力 予測式の説明をしやすくするため、異なるインデックスを与えている 。参照画素は画素 χΟΟ力ら x08までと、画素 x09、 xl8、 x27、 x36の 13個である。予 ¾画素 ίま画素 xlO力ら xl3、 xl9力ら x22、 x28力ら x31、 x37力ら x40までの 16偶 である。画素 xl4力ら xl7、 x23力ら x26、 x32力ら x35、 x41力ら x44までの 16画素 は、予測補助画素であり、予測精度を高めるために利用される。
[0040] 画素適応垂直予測 (モード 0)に関して予測値生成方法を詳細に説明する。図 6B に画素適応垂直予測の予測方法を示している。図から判るとおり、参照画素と予測 画素との距離が離れるほど、多くの参照画素を利用して予測値が決定される。例え ば、参照画素と予測画素の距離が予測方向に対して 1つ離れた χΐθでは、 χΟΟ、 χθ 1、 x02の 3つの参照画素を用いて予測値が生成される。参照画素から予測方向に 対して 2つ離れた予測画素 x20では、 xOO、 x01、 x02、 x03、 x04の 5つの参照画素 を用いて予測値が生成される。参照画素から予測方向に対して 3つ離れた予測画素 x30では、 xOO、 x01、 x02、 x03、 x04、 x05、 x06の 7つの参照画素を用いて予測 値が生成される。参照画素力も予測方向に対して 4つ離れた予測画素 x40では、 χθ 0、 x01、 x02、 x03、 x04、 x05、 x06、 x07、 x08の 9つの参照画素を用いて予測値 が生成される。
[0041] 具体的に予測値生成方法を次式 (5)で説明する。画素適応垂直予測では、次式（ 5)を用いて予測画素を計算する。
[0042] X(n) = (X(n-d- 1) + (X(n—d) < < 1) +X(n— d+ 1) + 2) > > 2 (5)
ここで、 ηίま図 6Aで示される予¾画素立置（xlO力ら xl3、 xl9力ら x22、 x28力ら x 31、 x37カゝら x40)に対応するインデックスを示す。 dは次式で与えられる。
[0043] d= (blk_num< < 1) + 1 (6)
blk— numは 4x4画素ブロックのときは 4、そして 8x8画素ブロックのときは 8を取る。
[0044] この予測方式は、既に符号化済みの参照画素を用いて予測するだけでなぐ既に 予測済みの予測画素を利用して次の画素の予測を行っていると考えることも出来る。 図 6Cはこの概念を示している。対象とする予測画素を求めるためには、参照画素と 予測画素の距離が 1つ小さい予測画素を用いて予測することに等しぐ式 (5)に予測 値を代入して展開していくと図 6Bで示される予測方法が得られる。
[0045] 実際に、参照画素と予測画素の距離に応じて式 (5)を展開すると次のような予測式
(7)になる。
[数 1]
X(n) = Y h^in - V^
L ( 7 )
[0046] Lは参照画素と予測画素の距離を表している。 Viは対応する予測モードに応じて 決定されるインデックスである。 hiはフィルタ係数を表しており、 Lによってタップ数が 変化する。具体的に画素適応垂直予測に関して hi、Viを説明する。図 7は 4x4画素 予測のときの参照画素と予測画像の距離に応じて使用する重みフィルタ係数 hi (重 み付けテーブル)の 1例を示す。
[0047] 参照画素から予測方向に対して 1つ離れた予測画素は、 3つの参照画素を用い次 式 (8)で予測される。
[0048] X(n) = (X(n-d- 1) + (X(n—d) < < 1) +X(n— d+ 1) + 2) > > 2 (8) ここで nには L=l (xlOから xl3)に対応するインデックスが入る。フィルタ係数は hi = (1、 2、 1)であり、 Vi=(d+1、 d、 d— 1)が対応する。
[0049] 参照画素力 予測方向に対して 2つ離れた予測画素は 5つの参照画素を用い次式
(9)で予測される。
[0050] X(n) = (X(n— (d< < 1) 2) + (X(n— (d< < 1) 1) < < 2) + (6X(n— (d< < 1) ) ) + (X(n— (d< < 1) + 1) < < 2) +X(n— (d< < 1) +2) +8) > >4(9) ここで nには L=2(xl9から x22)に対応するインデックスが入る。フィルタ係数は hi = (1、 4、 6、 4、 1)であり、 Vi= (2d+2、 2d+l、 2d、 2d— 1、 2d— 2)力対応する。
[0051] 参照画素力 予測方向に対して 3つ離れた予測画素は 7つの参照画素を用い次式
(10)で予測される。
[0052] X(n) = (X(n— 3d— 3) + (6X(n— 3d— 2)) + (15X(n— 3d— 1)) + (20X(n— 3d)) + (15X(n-3d+l)) + (6X(n— 3d+2)) +X(n— 3d+3) +32) >>6(10 )
ここで nには L=3(x28力 x31)に対応するインデックスが入る。フィルタ係数は hi = (1、 6、 15、 20、 15、 6、 1)であり、 Vi= (3d+3、 3d+2、 3d+l、 3d、 3d— 1、 3d —2、 3d— 3)に対応する。
[0053] 参照画素から予測方向に対して 4つ離れた予測画素は 9つの参照画素を用い次式
(11)で予測される。
[0054] X(n) = (X(n— (d< < 2) 4) + (X(n— (d< < 2)— 3) < < 3) + (28X(n— (d <<2)-2)) + (56X(n— (d< < 2)— 1) ) + (70X(n— (d<<2))) + (56X(n— (d< <2)+1))+ (28X(n- (d< <2)+2)) + (X(n— (d< < 2) + 3) < < 3) +X (n— (d< < 2) +4) + 128) > >8 (11)
ここで nには L=4(x37から x40)に対応するインデックスが入る。フィルタ係数は hi = (1、 8、 28、 56、 70、 56、 28、 8、 1)であり、 Vi= (4d+4、 4d+3、 4d+2、 4d+l 、 4d、 4d— 1、 4d— 2、 4d— 3、 4d— 4)〖こ対応する。
[0055] 予測に用いる参照画素及び参照画素の数と重み付けテーブルは式（5)を展開して いけば得られる。このテーブルを用いて予測画素の補間値を計算する。例として、 x3 1の補間値を計算すると、図 7のテーブルより、 L = 3でフィルタ係数 hi= (1、 6、 15、 20、 15、 6、 1)を用いる。式（9)より以下の予測式（12)が成り立つ。
[0056] X(31) = (X(01) + (6X(02)) + (15X(03)) + (20X(04)) + (15X(05)) + (6
X(06))+X(07) +32) >>6(12)
対応する参照画素が存在しな!ヽ場合は、その最後の参照画素値を予測式に補填 することで予測を行う。例えば、 xl9を予測するとき、 xOOの左の参照画素が利用でき ない。しかし、 x09の参照画素が利用できるため、次式（13)のように予測する。
[0057] X(19) = (X(09) + (X(OO) < < 1) + (5X(01)) + (X(02) <<2) +X(03) +8
) >>4(13)
この場合も同様に式 (5)で予測に使われる画素を割り出し、必要な予測値を展開 することで式（12)が導き出せる。
[0058] 画素適応水平予測（モード 1)の予測式は次式（14)で表される。
X(n) = (X(n-d-l) + (X(n-l) < < 1) +X(n+d— 1) +2) >>2(14) 画素適応隣接予測 (モード 2)の予測式は次式（15)で表される。
X(n) = (X(n— 1) +X(n+d) + 1) > > 1 (15)
画素適応直交左下予測 (モード 3)の予測式は次式（16)で表される。
X(n) = (X(n-d) + (X(n— d+1) < < 1) +X(n— d+2) +2) >>2(16) 画素適応直交右下予測 (モード 4)の予測式は次式（17)で表される。
X(n) = (X(n-d) + (X(n—d— 1) < < 1) +X(n— 1) +2) >>2(17) 画素適応垂直左予測 (モード 5)の予測式は次式（18)で表される。
X(n) = (X(n-d) +X(n— d— 1) + 1) > > 1 (18)
画素適応水平下予測（モード 6)の予測式は次式（19)で表される。
X(n) = (X(n— d— 1)+X(n— 1)+1)>>1(19)
画素適応垂直左予測 (モード 7)の予測式は次式 (20)で表される。
X(n) = (X(n-d) +X(n— d+ 1) + 1) > > 1 (20)
画素適応水平上予測（モード 8)の予測式は次式（21)で表される。
X(n) = (X(n-l) +X(n+d— 1) +1) >>1(21)
画素適応垂直予測の時と同様、予測画素値を求めるためには、必要な予測済み画 像を代入して展開することで、必要になる参照画素及び参照画素数、重み付けテー ブルが割り出せる。
[0059] 参照画素が存在しない場合には、画素適応垂直方向予測と同様、参照画素の補 填を行う。例えば、画素適応水平予測で x37を予測する場合、 χ45の参照画素が利 用できな!ヽ。よって次式（22)で示すようにこの参照画素を χ36で補填する。
[0060] Χ (37) = (Χ (36) + (Χ (36) < < 1) +Χ (27) + 2) > > 2 = (3Χ (36) +Χ (27) +
2) > > 2 (22)
このように予測画素と参照画素との距離に応じて、利用する参照画素の数を変え、 より精度の高い予測を行っているので、符号ィ匕効率を向上させることが可能と成る。 予測精度の向上により、予測画像がより入力画像に近くなり、視覚的にも効果の高い 予測方式である。
[0061] 次に、固定モード予測部 203に関して詳細に説明を行う。固定モード予測部 203 は、モード情報の予測を行い、決められた予測モードで、画素適応予測もしくは方向 予測を行う。モード情報の予測は、隣接する予測ブロックのモード情報を利用する。 図 8に 4x4画素予測の場合の隣接ブロックの関係を示す。予測ブロック Cの左の隣接 ブロックを Α、上の隣接ブロックを Βとする。これら 2つの予測モード力 ¾rev— left— m ode及び prev— upper— modeとして与えられると当該ブロック Cの予測モードは次 式（23)で決定される。
[0062] current― mode = min (prev― left― mode, prev― upper― modeノ (2d)
ここで current— modeは予測ブロック Cの予測モードである。関数 min (A, B)は A と Bの小さい方の値を返す。このように周囲のブロックの予測モード情報から予測ブロ ックの予測モード情報を予測するので、このモードは予測モード情報を符号化するた めの符号量を大幅に減らすことが可能な符号ィ匕モードの 1つである。ここで、画素適 応予測部 201を用 ヽて予測画像を生成するか、方向予測部 202を用 ヽて予測画像 を生成するか、は後述する ex— direct— intraフラグで決められており、符号化制御 部 108から与えられた ex— direct— intraフラグ情報に基づいて決定される。
[0063] 本実施形態では、現在の予測ブロックの予測モード情報は隣接予測ブロック Aおよ び Bの予測モード情報に基づいて決定された。本実施形態の変形例として、周囲の 予測ブロックの予測モード情報に基づいて決定しても構わない。例えば、予測ブロッ ク Bの右側のブロック、予測ブロック Bの上側のブロック、予測ブロック Aの左側のブロ ック、および、予測ブロック Aの上側のブロック、の予測モード情報を利用して、現在 の予測ブロックの予測モードを決定しても構わない。例えば、周辺予測ブロックの予 測モードのうち最も頻度が高い予測モード、周辺予測ブロックの予測モードのメディ アン値あるいは周辺予測ブロックの予測モードの平均値を、現在の予測ブロックの予 測モードとして決定しても構わな 、。
[0064] 図 2で示されるフレーム内予測部 102の詳細な動作について説明を行う。フレーム 内予測部 102に入力画像信号 115が入力されると、その信号は、画素適応予測部 2 01と方向予測部 202及び固定モード予測部 203に入力される。予測モードと予測ブ ロック形状に従って、画素適応予測部 201と方向予測部 202及び固定モード予測部 203にて、対応する予測画像信号 114が生成される。
[0065] このとき、符号ィ匕制御部 108から、予測禁止情報が入力されている場合には、対応 する予測部は予測画像信号を生成しない。具体的には、画素適応予測部 201に対 して予測禁止情報が入力されている場合には、画素適応予測部 201で予測画像信 号 114の生成処理が行われない。方向予測部 202に対して予測禁止情報が入力さ れている場合には、方向予測部 202では、予測画像信号 114が生成されない。固定 モード予測部 203に対して予測禁止情報が入力されている場合には、固定モード予 測部 203で予測画像信号 114が生成されな 、。
[0066] 予測禁止情報が送られた場合、対応する予測部と予測切替スィッチ 205が接続さ れることは無い。画素適応予測部 201と方向予測部 202に同時に予測禁止情報が 入力されることは許されない。
[0067] それぞれの予測部によって予測されている予測画像信号 114及び予測モード情報 は内部モード選択部 204へ入力される。内部モード選択部 204は、入力画像信号 1 15から予測画像信号 114を差し引いた予測誤差信号 116の生成を行う。内部モード 選択部 204は、それぞれの予測部で予測されて!、るモード情報と生成されて 、る予 測誤差信号 116を基にモード選択を行う。
[0068] ここでも、式（1)で用いられたコストを用いて予測モードを選択する。選択されている 予測モードが、画素適応予測部 201で予測されている予測モードである力 方向予 測部 202で予測されている予測モードである力 を表すモード情報を、内部モード選 択部 204は符号ィ匕制御部 108に伝達する。画素適応予測が用いられている場合に は、後述する ex— adaptive— intra— flagが TRUEであり、方向予測が用いられる 時は、フラグが FALSEとなっている。符号ィ匕制御部 108は、与えられたモード情報 に従って、予測切替スィッチ 205を制御する。固定モード予測が行われているかどう 力は、 ex— direct— intra— flagによって判断する。当該フラグが TRUEの時は、固 定モード予測が行われており、 FALSEの場合は、この予測は行われていない。
[0069] ex— adaptive— intra— flagが TRUEの場合、予測切替スィッチ 205は、画素適 応予測部 201へと接続される。 ex— adaptive— intra— flagが FALSEのとき、予測 切替スィッチ 205は、方向予測部 202へと接続される。 ex— direct— intra— flagが TRUEならば、符号ィ匕制御部 108は切替スィッチ 205を、固定モード判定部 203へ と夫々接続する。
[0070] 全ての小画素ブロックにおける予測が完了している場合、内部モード選択部 204は マクロブロック分の予測画像信号 114及びモード情報をフレーム内予測部 102から 出力する。
[0071] 予測切替スィッチ 205は内部変換及び量子化部 206に接続されており、内部モー ド選択部 204で選択されて ヽるモード情報と予測誤差信号 114は、予測切替スイツ チ 205を経て、内部変換及び量子化部 206へと入力される。内部変換及び量子化 部 206は、入力されている予測誤差信号 114を離散コサイン変換などを用いて変換 係数に変換し、変換係数データを生成する。予測誤差信号 114はウェーブレット変 換ゃ独立成分解析などの手法を用いて変換しても良い。内部変換及び量子化部 20 6は、変換係数を量子化する。量子化に必要とされる量子化パラメータは、符号化制 御部 108によって設定されている。
[0072] 内部逆量子化及び逆変換部 207は、内部変換及び量子化部 206によって量子化 されている変換係数 117を、符号ィ匕制御部 108にて設定されている量子化パラメ一 タに従って逆量子化し、得られた変換係数に対して逆変換 (例えば逆離散コサイン 変換など)を行い、予測誤差信号 116を出力する。内部逆量子化及び逆変換部 207 によって復号されて!、る予測誤差信号 116は、内部加算器 208により内部モード選 択部 204から供給される当該モードの予測画像信号 114と加算される。加算信号は 復号画像信号 119として、内部参照画像メモリ 209へ入力される。
[0073] 内部参照画像メモリ 209は復号画像信号 119を参照画像として蓄積する。このよう に内部参照画像メモリ 209に蓄積されている参照画像力 画素適応予測部 201或い は方向予測部 202、固定モード予測部 203による予測画像信号 114等の生成の際 に参照される。内部予測ループ（図 2における画素適応予測部 201或いは方向予測 部 202、固定モード予測 203→内部モード選択部 204→予測切替スィッチ 205→内 部変換及び量子化部 206→内部逆変換及び逆量子化部 207→内部参照画像メモリ 209といった順序で流れる処理）は、そのマクロブロック内の小画素ブロックで選択可 能な全ての予測モードに対して処理を行った場合に 1回のループになる。
[0074] 例えば、 4x4画素予測に対して、画素適応予測と方向予測と固定モード予測を切り 替える場合、合計 16x3回の内部予測ループを行うことになる。この場合、符号化制 御部 108は、最初に予測切替スィッチ 205を画素適応予測部 201に接続して、 16回 の内部予測ループを行 、、画素適応予測のマクロブロック単位の最適なモードの組 み合わせを決定する。
[0075] 符号ィ匕制御部 108は、予測切替スィッチ 205を方向予測部 202へと接続し、同様 に 16回の内部予測ループを行う。符号ィ匕制御部 108は、予測切替スィッチ 205を固 定モード予測部 203に接続し、内部フラグの状態から固定モード予測がどちらの予 測方法で予測されているかを判断し、決定された予測方法で予測を行う。ここで得ら れた 3つのモードはモード選択部 103に入力され、当該マクロブロックの最適モード が選択される。
[0076] 同様に 8x8画素予測の場合では、 4x3回の内部予測ループを行うことになる。 16x 16画素予測では、局所復号画像を生成する必要がないので、内部予測ループを行 う必要が無い。よって、画素適応予測部 201又は方向予測部 202で予測されている モード及び予測画像信号がそのままフレーム内予測部 102から出力される。マクロブ ロックに対して内部予測ループが終了すると、次のマクロブロックの入力画像信号 11 5が入力され、符号化が行われる。
[0077] 動画像符号ィ匕装置 100によって実施される動画像符号ィ匕方法が図 3を参照して説 明される。
動画像符号ィ匕装置 100に動画像信号の 1フレームが入力されると (ステップ SI)、 画像分割部 101は、 1フレームを複数のマクロブロックに分割し、更に複数の小画素 ブロックに分割する (ステップ S2)。分割されている 1つのマクロブロックを入力画像信 号 115としてフレーム内予測部 102へ入力される。このとき、モード選択部 103は、モ ードを示すインデックスやコストを初期化する (ステップ S3)。
[0078] フレーム内予測部 102は入力画像信号 115を用いて、予測ブロックで選択可能な 1 つの予測モードに対する予測画像信号 114を生成する (ステップ S4)。モード選択部 103は、予測画像信号 114と入力画像信号 115との差分を取って、予測誤差信号 1 16を生成する。予測モードの符号量 OHと予測誤差信号 116の絶対値和 SADから コスト costを計算する（ステップ S5)。
[0079] モード選択部 103は、計算されているコスト costが、最小コスト min— costより小さ いか否かを判別し (ステップ S6)、小さい場合 (YES)にはそのコストで最小コストを更 新するとともに、その際の符号ィ匕モードを best_modeインデックスとして保持する (ス テツプ S7)。計算されているコスト costが、最小コスト min— costより大きい場合（NO )、モード番号を示す indexをインクリメントし、インクリメント後の indexがモードの最後 かどうかを判定する (ステップ S8)。
[0080] indexがモードの最後の番号である MAXより大き!/、場合 (YES)、 best— modeの 符号ィ匕モード情報及び予測誤差信号 116が変換及び量子化部 104へと送られ、変 換及び量子化が行われる (ステップ S9)。量子化されて!/ヽる変換係数 117が符号ィ匕 処理部 107へと入力され、予測情報 109、予測切替情報 110とともに符号ィ匕処理部 107でエントロピー符号化される（ステップ S 10)。 indexがモードの最後の番号であ る MAXより小さい場合 (NO)、次の indexで示される符号ィ匕モードの予測画像信号 114が生成される（ステップ S4)。
[0081] best— modeでの符号化が行われると、量子化されている変換係数 117は逆量子 化及び逆変換部 105へ入力され、逆量子化及び逆変換され、予測誤差信号 116に 復号される。この復号化予測誤差信号 116はモード選択部 103から提供される best —modeの予測画像信号 114と加算器 118により加算され、復号画像信号 119が生 成される。この復号画像信号 119が、参照画像として参照画像メモリ 106に保存され る。
[0082] 1フレームの符号ィ匕が終了しているかどうかが判定される (ステップ Sl l)。符号ィ匕 処理が完了している場合 (YES)、次のフレームが入力され、再び符号化処理が行わ れる。 1フレームの符号化処理が完了していない場合 (NO)、次の小画素ブロックの 入力信号がフレーム内予測部 102に入力され、符号化処理が継続される。
上述のようにして本実施の形態の動画像符号ィ匕装置 100が動画像を符号ィ匕する。
[0083] 上記の実施の形態においては、画素適応予測において、図 7で示されるフィルタの 重み付けテーブルを用いて、予測画素の計算を行っている。この場合、参照画素と 予測画素の距離が小さ 1、予測画素から予測を行!、、予測後の画素値をメモリに保存 しておくと、この画素値は参照画素と予測画素の距離が増加とたとき参照画素として 利用できる。そこで、予測方向に応じて、予測画素の生成順を参照画素と予測画素 の距離が小さい方向力 大きい方向へと進めてもよい。例えば、図 6Aにおいて、画 素適応垂直予測（モード 0)では、上から下方向に予測画素を生成すると、 L = 2の予 測時に L= lで生成されている予測画素を参照することが可能である。同様に、画素 適応水平予測（モード 1)では、左から右方向へ予測画素を生成する。生成されてい る予測画素はメモリに保存され、随時、次の予測の参照画素として利用される。これ によって、参照画素と予測画素の距離が大き!、画素の予測値を生成するための演算 コストを抑えることができ、ハードウェアコストを低減することができる。
[0084] 本実施の形態においては、 4x4画素予測に関して詳細な画素適応フレーム内予測 について説明を行った力 8x8画素ブロックや 16x16画素ブロック、及び色差信号に 関して同様の予測を行っても良い。特に画素ブロックサイズが大きくなるにつれて、 参照画素と予測画素との距離が遠くなるため、画素適応予測の効果が高い。予測で 使用する参照画素の数は、距離に応じて増やしていたが、演算コストを抑えるために 減らしても良い。予測に利用するフィルタの組み合わせは予測画素毎に複数あって も良い。
[0085] 本実施の形態においては、処理対象フレームを 16x16画素サイズなどの矩形ブロ ックに分割し、画面左上のブロック力も右下に向力つて、順に符号化する場合につい て説明しているが、符号ィ匕順は他の順序であっても良い。符号化は、右下から左上 に行っても良いし、画面中央力 渦巻状に行っても良い。右上力 左下に行っても良 いし、画面の周辺部から中心部に向力つて処理を行っても良い。
[0086] 本実施の形態においては、処理対象フレームを 16x16画素単位のマクロブロックと して分割し、さらにフレーム内予測の処理単位として、 8x8画素ブロックや 4x4画素ブ ロックの場合について説明している力 処理対象ブロックは均一なブロック形状にす る必要は無ぐ 16x8画素、 8x16画素、 8x4画素、 4x8画素、などのブロックサイズに 関しても適用可能である。例えば、 8x4画素予測や 2x2画素予測も、同様の枠組み で実現が可能である。
[0087] また、変換量子化ブロックサイズは均一なブロックサイズである必要は無ぐ 16x8画 素、 8x16画素、 8x4画素、 4x8画素、などのブロックサイズにしても適用可能である。 更に、 1つのマクロブロック中で、均一なブロックサイズを取る必要はなぐそれぞれ異 なるブロックの大きさを選択しても良い。例えば、図 4Eで示されるように、マクロブロッ ク内で 8x8画素予測と 4x4画素予測を混在させても良い。この場合、分割ブロック数 が増えると、分割ブロックを符号ィ匕するための符号量が増加する力 より予測効率の 高いフレーム内予測が実現可能であり、予測誤差を削減することが可能である。よつ て、変換係数の符号量と局所復号画像とのバランスを考慮して、ブロックサイズを選 択すればよい。
[0088] 本実施の形態においては、予測モードをフレーム内予測のみで説明した。しかし、 画面間の相関を用いて予測するフレーム間予測を用いても良ぐフレーム間符号ィ匕 におけるスライス符号ィ匕中で選択されるフレーム内予測方法として本方式を用いても 良い。この場合、フレーム内予測とフレーム間予測の切替は、マクロブロック単位であ る必要は無ぐ 8x8画素ブロック毎に切り替えても良いし、 8x4画素ブロックで分ける などしても良い。
[0089] 本実施の形態においては、変換及び量子化部 104、逆量子化及び逆変換部 105 が設けられているが、必ずしも全ての予測誤差信号に対して変換量子化及び逆量子 化逆変換を行う必要は無ぐ予測誤差信号をそのまま符号ィ匕処理部 107で符号ィ匕し てもよいし、量子化及び逆量子化処理を省略しても良い。同様に、変換処理と逆変 換処理を行わなくても良い。
[0090] 画素適応予測と方向予測を切り替える ex— adaptive— intra— flagと、固定モード 予測を行う ex— direct— intra— flagの符号ィ匕方法について説明する。
[0091] 図 13に本実施の形態で用いられるシンタクスの構造の概略を示す。シンタクスは主 に 3つのパート、即ちハイレベルシンタクス（1301)、スライスレベルシンタクス（1304 )、マクロブロックレベルシンタクス（1307)からなる。ハイレベルシンタクス（1301)は スライス以上の上位レイヤのシンタクス情報が詰め込まれて 、る。スライスレベルシン タクス（1304)では、スライス毎に必要な情報が明記されており、マクロブロックレベル シンタクス (1307)では、マクロブロック毎に必要とされる量子化パラメータの変更値 やモード情報などが明記されている。
[0092] それぞれのシンタックスは、さらに詳細なシンタクスで構成されており、ハイレベルシ ンタクス（1301)は、シーケンスパラメータセットシンタクス（1302)とピクチャパラメ一 タセットシンタクス（1303)などのシーケンス、ピクチャレベルのシンタクスから構成さ れている。スライスレベルシンタクス（1304)は、スライスヘッダーシンタクス（1305)、 スライスデータシンタクス（ 1306)などから成る。マクロブロックレベルシンタクス ( 130 7)は、マクロブロックレイヤーシンタクス（1308)、マクロブロックプレディクシヨンシン タクス (1309)など力 構成されて！、る。
[0093] 本実施の形態で、必要になるシンタクス情報はシーケンスパラメータセットシンタク ス（ 1302)、ピクチャパラメータセットシンタクス（1303)、スライスヘッダーシンタクス（ 1305)、マクロブロックレイヤーシンタクス（1308)であり、それぞれのシンタクスを以 下で説明する。
[0094] 図 14のシーケンスパラメータセットシンタクス内に示される ex_adaptive— intra— i n— seq— flagは、画素適応予測をシーケンス毎に変更するかどうかを示すフラグで あり、当該フラグが TRUEであるときは、画素適応予測と方向予測を、シーケンス単 位で切り替えることが可能である。フラグが FALSEであるときは、シーケンス内では 画素適応予測を用いることが出来な 、。
[0095] 図 15のピクチャーパラメータセットシンタクス内に示される ex— adaptive— intra— i n— pic— flagは、画素適応予測をピクチャ毎に変更するかどうかを示すフラグであり 、当該フラグが TRUEであるときは、画素適応予測と方向予測を、ピクチャ単位で切 り替えることが可能である。フラグ力FALSEであるときは、ピクチャ内では画素適応 予測を用いることが出来な 、。
[0096] 図 16のスライスヘッダーシンタクス内に示される ex— adaptive— intra— in— slice —flagは、画素適応予測をスライス毎に変更するかどうかを示すフラグであり、当該フ ラグが TRUEであるときは、画素適応予測と方向予測を、スライス単位で切り替えるこ とが可能である。フラグが FALSEであるときは、スライス内では画素適応予測を用い ることが出来ない。
[0097] 図 17のマクロブロックレイヤーシンタクス内に示される ex— adaptive— intra— flag は、画素適応予測を当該マクロブロックで利用するかどうかを示すフラグであり、当該 フラグが TRUEであるときは、画素適応予測を利用する。フラグが FALSEであるとき は、方向予測を利用する。このフラグは、 ex_adaptive— intra— in— seq—flag、 ex ― adaptive― intra― in― pic― flag、 ex― adaptive― intra― in― slice― flagの 少なくとも 1つ以上のフラグが TRUEであるときにのみ有効である。マクロブロックの予 測タイプがフレーム内予測のときのみ利用できる。
[0098] 図 18のシーケンスパラメータセットシンタクス内に示される ex_direct— intra— in— seq— flagは、固定モード予測をシーケンス毎に変更するかどうかを示すフラグであり 、当該フラグが TRUEであるときは、固定モード予測の使用可否を、シーケンス単位 で切り替えることが可能である。フラグが FALSEであるときは、シーケンス内では固 定モード予測を用いることが出来な 、。
[0099] 図 19のピクチャーパラメータセットシンタクス内に示される ex— direct— intra— in —pic— flagは、固定モード予測をピクチャ毎に変更するかどうかを示すフラグであり 、当該フラグが TRUEであるときは、固定モード予測の使用可否をピクチャ単位で切 り替えることが可能である。フラグが FALSEであるときは、ピクチャ内では固定モード 予測を用いることが出来な 、。
[0100] 図 20のスライスヘッダーシンタクス内に示される ex— direct— intra— in— slice— f lagは、固定モード予測をスライス毎に変更するかどうかを示すフラグであり、当該フラ グが TRUEであるときは、固定モード予測の使用可否を、スライス単位で切り替えるこ とが可能である。フラグが FALSEであるときは、スライス内では固定モード予測を用 いることが出来ない。
[0101] 図 21 Aのマクロブロックレイヤーシンタクス内に示される ex— direct— intra— flag は、固定モード予測を当該マクロブロックで利用するかどうかを示すフラグであり、当 該フラグが TRUEであるときは、固定モード予測を利用する。フラグが FALSEである ときは、固定モード予測が利用できない。このフラグは、 ex_direct— intra— in— seq ― flag、 ex― direct― intra― in― pic― flag、 ex― direct― intra― in― slice― fla gの少なくとも 1つ以上のフラグが TRUEであるときにのみ有効である。マクロブロック の予測タイプがフレーム内予測のときのみ利用できる。
[0102] 図 21Bはマクロブロックプレディクシヨンシンタックスを示している。本シンタクス内に は、対応するマクロブロック内の予測モード情報が格納される。固定モード予測以外 の予測モードが選択されているときは本シンタクスによって、夫々対応する予測モー ド情報が設定される。
[0103] 本シンタクス内に示される prev— intra4x4— pred— mode— flagは、 ex— direct —intra— flagが TRUEのときには利用されな!ヽ。当該 prev— intra4x4— pred— m ode— flagは隣接予測ブロックから推定された予測モード（current— mode)と、当 該予測対象ブロックで実際に選択された予測モード (pred— mode)がー致して 、る かどうかを示すフラグである。一致している（TRUE)場合は、 rem_intra4x4_pre d— modeは利用されない。一方、一致していない場合は更に rem— intra4x4— pre d一 mode )禾 lj用 れる。当 rem一 mtra4x4一 pred一 modeは、 current一 mode と当該予測対象ブロックで実際に選択された予測モード (pred— mode)とのずれ量 を現して 、る。 pred— mode力 Current— modeよりも大き ヽときは
rem― mtra4x4― pred― mode = current― mode
一方、 pred _ mode力 ^current _ modeに等しい力、、 /J、さいときは
rem― mtra4x4― pred― mode = current― mode + 1
の値が格納されている。
[0104] ex— direct— intra— flagと ex— adaptive— intra— flagがどちらも TRUEの場合 は、画素適応予測でモード情報を送らない符号ィ匕モードになる。 ex— direct— intra —flagが TRUEで ex— adaptive— intra— flagが FALSEの場合は、方向予測でモ ード情報を送らな!/、符号化モードになる。
本実施形態により、参照画素から離れた予測画素に対する予測精度が向上し、予 測誤差が改善される。
[0105] (第 2の実施の形態 (符号化) )
図 10に示される第 2の実施形態に係る動画像符号ィ匕部 1000では、第 1の実施の 形態に加えて、仮符号化 Z符号量計測部 1001、符号化歪み計測部 1002、符号化 切替スィッチ 1003が更に設けられている。フレーム内予測部及びモード選択部の機 能が第 1の実施形態とは異なるために第 1の実施形態とは異なる参照番号が割り当て られている。本実施形態においては、図 1と共通する構成要素には同一の符号を付 けてその説明を省略する。
[0106] 動画像符号ィ匕装置 1000に入力されている動画像信号は、画面分割部 101によつ て、複数の小画素ブロックに分割され、各ブロックが入力画像信号 115としてフレー ム内予測部 1004へ入力される。フレーム内予測部 1004は、参照画像メモリ 106に 一時保存されて ヽる参照画像を用いて、マクロブロックで選択可能な全ての予測モ ードで予測画像信号 114を生成する。ただし、 H. 264のフレーム内予測（4x4画素 予測（図 4C)又は 8x8画素予測（図 4D) )のようにマクロブロック内で局所復号画像を 作成しないと次の予測が行えないような場合には、フレーム内予測部 1004は変換及 び量子化、逆量子化及び逆変換を行っても良い。
[0107] フレーム内予測部 1004で生成されている予測画像信号 114は、モード選択部 10 05へ送られる。モード選択部 1005は、入力画像信号 115から予測画像信号 114を 差し引いた予測誤差信号 116を生成する。モード選択部 1005は、仮符号化 Z符号 量計測部 1001で累積加算されている符号量 1006と符号ィ匕歪み計測部 1002で計 算されている符号ィ匕歪み 1007を入力として受け取り、符号化コストを計算する。符号 化コストは、符号量を R、符号ィ匕歪みを Dとすると次式（24)で表される。
[0108] J = D+ λ XR (24)
λは定数で与えられ、量子化幅や量子化パラメータの値に基づいて決められる。こ のようにして得られた符号ィ匕コストを基にモードが選択される。コスト J力 Sもっとも小さい 値を与えるモードが最適モードとして選択される。
[0109] 本実施の形態では、符号量 1006と符号化歪み 1007を用いたが、別の実施の形 態として、符号量のみ、又は符号ィ匕歪みのみを用いてモードを選択しても良い。入力 画像信号 115のァクテビティを用いてコストを作成しても良いし、量子化幅、量子化 ノ メータを利用してコスト関数を作成しても良い。更に符号ィ匕歪みに視覚的な周波 数特性や感度などの重み付けを行 、、符号ィ匕コストとしても良 、。
[0110] モード選択部 1005は変換及び量子化部 104に接続されており、モード選択部 10 05で選択されているモード情報と予測誤差信号 116は、変換及び量子化部 104へ 入力される。変換及び量子化部 104は、予測誤差信号 116を変換及び量子化するこ とによって量子化変換係数 117を出力する。
[0111] 変換係数 117は仮符号ィ匕切替スィッチ 1003へと送られる。符号化制御部 108で 仮符号ィ匕フラグが TRUEに設定されている場合には、仮符号ィ匕切替スィッチ 1003 は、変換及び量子化部 104の出力を仮符号化 Z符号量計測部 1001へ接続する。 変換係数 117が仮符号ィ匕 Z符号量計測部 1001に入力され、仮のエントロピー符号 化が行われる。この場合、仮符号化 Z符号量計測部 1001は符号量を累積加算し、 実際の符号ィ匕で発生する総符号量の見積もりを行い、符号ィ匕データを出力しない。 仮符号ィ匕 Z符号量計測部 1001で計測されている符号量 1006は、符号ィ匕歪み計測 部 1002へ送られる。
[0112] 符号ィ匕歪み計測部 1002は、逆量子化及び逆変換部 105で復号されている予測 誤差信号 116と予測画像信号 114との和によって生成されている復号画像信号 119 を入力として受けるだけでなぐ入力画像信号 115を受け、復号画像信号 119と入力 画像信号 115との二乗誤差 (符号ィ匕歪み 1007)を計算する。符号化歪み計測部 10 02は、入力として受ける符号量 1006と計算により得られる符号ィ匕歪み 1007をモー ド判定部 1005に送る。
[0113] 仮符号化ループ（図 10におけるフレーム内予測部 1004→モード選択部 1005→ 変換及び量子化部 104→仮符号ィ匕切替スィッチ 1003→仮符号ィ匕 Z符号量計測部 1001→符号ィ匕歪み計測部 1002といった順序で流れる処理）は、そのマクロブロック で選択可能な 1つのモードに対して処理を行った場合に 1回のループになる。モード 力 S 10種類存在する場合は、仮符号化ループが 10回繰り返される。マクロブロックで 選択可能な全てのモードに対して仮符号化ループが終了すると、モード選択部 100 5は、符号ィ匕制御部 108の仮符号ィ匕フラグを FALSEに設定する。
[0114] 符号化制御部 108で仮符号化フラグが FALSEに設定されている場合、仮符号ィ匕 切替スィッチ 1003は、変換及び量子化部 104の出力を符号ィ匕処理部 107に接続す る。この時、モード判定部 1005は全てのモードに対する符号ィ匕コストを計算しおり、 その中で最も小さい符号ィ匕コストを与えるモードの変換係数 117及びモード情報が 符号化処理部 107へと送られる。符号化処理部 107は、入力されているモード情報 に規定されている方法で実際に量子化変換係数 117を符号ィ匕する。この場合、最終 的に符号化されるデータは、仮符号ィ匕時に既に一度符号化されているので、仮符号 化時に符号化コストが良力つたモードの、変換係数及びモード情報をメモリに保持し ておき、符号ィ匕処理部 107は、符号化を実行せずに、メモリに保持されている符号ィ匕 データを呼び出してコピーする、 t 、う処理を行っても良 、。
[0115] 対象マクロブロックに対して当該符号化ループが終了すると、次のブロックの入力 画像信号 115がフレーム内予測部 1004に入力され、次のブロックの符号ィ匕が行わ れる。符号ィ匕制御部 108は発生符号量のフィードバック制御及び量子化特性制御、 モード制御などを行い、発生符号量の制御を行うレート制御や、予測部の制御、符 号化全体の制御を行う。
上述した各部の機能は、コンピュータに記憶されているプログラムによって実現でき る。
[0116] 本実施形態に力かる動画像符号ィ匕方法を、図 11に示されるフレーム内予測部 100 4を参照して説明する。本実施の形態において、図 2と同じ構成要素には同一の符 号を付けてその説明を省略する。
フレーム内予測部 1004に入力画像信号 115が入力されると、その信号は、画素適 応予測部 201と方向予測部 202及び固定モード予測部 203に入力される。予測モ ードと予測ブロック形状に対応する予測画像信号 114が、画素適応予測部 201と方 向予測部 202及び固定モード予測部 203にて生成される。
[0117] 予測部 201, 202, 203によってそれぞれ予測されている予測画像信号 114及び 予測モード情報は内部モード選択部 1104へ入力される。内部モード選択部 1104 は、入力画像信号 115から予測画像信号 114を差し引いた予測誤差信号 116を生 成する。内部モード選択部 1104は、内部仮符号ィ匕 Z符号量計測部 1101で算出さ れて 、る内部符号量 1105と内部符号ィ匕歪み計測部 1102で算出されて 、る内部符 号化歪み 1106を基に式（24)を用いて内部符号ィ匕コストを算出し、符号化コスト Jが 最も小さい値を与えるモードを最適モードとして選択する。
[0118] 本実施の形態では、内部符号量 1105と内部符号ィ匕歪み 1006を用いた力 符号 量のみ、又は符号ィ匕歪みのみを用いてモードを判定しても良い。入力画像信号のァ クテビティを用いてコストを作成しても良いし、量子化幅、量子化パラメータを利用し てコスト関数を作成しても良い。符号化歪みに視覚的な周波数特性や感度などの重 み付けを行い、符号ィ匕コストとしても良い。
[0119] 選択されているモード力 画素適応予測部 201で予測されているモードであるか、 方向予測部 202で予測されているモードである力 固定モード予測部 203で予測さ れて 、るモードである力 を示すモード情報を内部モード選択部 1104は符号ィ匕制 御部 108に伝達する。符号ィ匕制御部 108は、与えられたモード情報に従って、予測 切替スィッチ 205を制御する。
[0120] 内部モード選択部 1104で選択されているモード情報と予測誤差信号は、内部変 換及び量子化部 206へ入力される。変換及び量子化部 206は、入力されている予測 誤差信号 116を直交変換し、変換係数データ 117を生成する。変換及び量子化部 2 06は、変換係数を量子化する。量子化に必要とされる量子化パラメータは、符号ィ匕 制御部 108によって設定される。
[0121] 符号ィ匕制御部 108は、仮符号ィ匕フラグを参照し、このフラグが TRUEであれば、内 部仮符号ィ匕切替スィッチ 1103を内部仮符号ィ匕 Z符号量計測部 1101へ接続する。 これにより、当該モードの変換係数とモード情報が内部仮符号ィ匕 Z符号量計測部 11 01へ入力される。内部仮符号化 Z符号量計測部 1101は、これら入力されているデ ータのエントロピー符号ィ匕を行う。この場合、内部仮符号化 Z符号量計測部 HOIは
、符号量を累積加算し、実際の符号化で発生する総符号量の見積もりを行い、符号 化データを出力しな 、。内部仮符号ィ匕 Z符号量計測部 1101で計測されて 、る内部 符号量 1105は、内部符号化歪み計測部 1102へ送られる。
[0122] 内部符号ィ匕歪み計測部 1102は、内部逆量子化及び逆変換部 207で復号される 予測誤差信号 116と予測画像信号 114とを加算して生成されて ヽる復号画像信号 1 19を入力として受けるだけでなぐ入力画像信号 115を受け、復号画像信号 119と 入力画像信号 115との二乗誤差 (内部符号ィ匕歪み 1106)を計算する。内部符号ィ匕 歪み計測部 1102は、入力として受ける内部符号量 1105と計算により得られる内部 符号ィ匕歪み 1106を内部モード判定部 1104に送る。
[0123] 内部仮符号化ループ（図 11におけるそれぞれの予測部→内部モード選択部 1104 →予測切替スィッチ 205→内部変換及び量子化部 206→内部仮符号ィ匕切替スイツ チ 1103→内部仮符号化 Z符号量計測部 1101→内部符号化歪み計測部 1102と いった順序で流れる処理）は、マクロブロック以下の小画素ブロックで選択可能な 1つ のモードに対して処理を行った場合に 1回のループになる。モードが 10種類存在す る場合は、内部仮符号化ループが 10回繰り返される。当該小画素ブロックで選択可 能な全てのモードに対して内部仮符号化ループが終了すると、内部モード選択部 11 04は、符号化制御部 108の仮符号化フラグを FALSEに設定する。
[0124] 例えば、 4x4画素予測を行う場合、 1つの 4x4画素ブロックに対して、画素適応予 測、方向予測、固定モード予測が行われる。この場合、 9 + 9 + 1回の仮符号化ルー プが繰り返される。 4x4画素予測では 16個ブロックに対して上記予測が行われること になり、合計 16x (9 + 9 + l)回内部仮符号化ループが繰り返される。
[0125] 符号ィ匕制御部 108で仮符号ィ匕フラグが FALSEに設定されている場合、内部仮符 号ィ匕切替スィッチ 1103は、内部変換及び量子化部 206の出力をフレーム内予測部 1004の外部に接続する。この時、内部モード判定部 1104内では全てのモードに対 する符号化コストが計算されており、その中で最も小さい符号化コストを与えるモード の変換係数 117及びモード情報がフレーム内予測部 1004の外部へ送られる。
[0126] 動画像符号ィ匕装置 1000が実施する動画像符号ィ匕方法を図 12を参照して説明す る。
動画像符号ィ匕装置 1000に動画像が入力されると (ステップ S001)、画像分割部 1 01は、動画像の 1フレームを複数のマクロブロックに分割する。分割されている 1つの マクロブロックが入力画像信号 115としてフレーム内予測部 102へ入力される (ステツ プ S002)。このとき、モード選択部 1005、内部モード選択部 1104は、モードを示す インデックスやコストを初期化する（ステップ S003)。
[0127] フレーム内予測部 1004は、入力画像信号 115を用いて、予測ブロックで選択可能 な 1つのモードに対する予測画像信号 114を生成する (ステップ S004)。モード選択 部 1005は、予測画像信号 114と入力画像信号 115の差分を計算し、予測誤差信号 116を生成する。変換及び量子化部 104が予測誤差信号 116を変換 '量子化し、量 子化されている変換係数 117が仮符号ィ匕 Z符号量計測部 1001へと入力される。仮 符号ィ匕 Z符号量計測部 1001は変換係数を仮符号化し (ステップ S005)、符号量を 累積加算する。変換係数は局所復号され、符号ィ匕歪み計測部 1002にて入力画像 信号と復号画像信号との二乗誤差を計算する。得られた符号量 Rと符号ィ匕歪み Dに 基づ 、て符号化コストを計算する (ステップ S006)。
[0128] モード選択部 1005は、計算されている符号化コスト costが、最小符号化コスト min _cos り小さいか否かを判別し (ステップ S007)、小さい場合 (YES)にはその符号 化コストで最小符号ィ匕コストを更新するとともに、対応する符号ィ匕モードを best— mo deインデックスとして保持し、仮符号ィ匕データを一時メモリに保存する (ステップ S008 )。計算されている符号ィ匕コスト costが、最小符号ィ匕コスト min— cos り大きい場合 (寸 zわち、判定が NO)、モード選択部 1005は、モード番号を示す indexをインクリメ ントし、インクリメント後の indexがモードの最後かどうかを判定する（ステップ S009)。
[0129] indexがモードの最後の番号である MAXより大き!/、場合 (YES)、 indexは best— modeの符号ィ匕モード情報、予測情報 109、予測切替情報 110とともに符号ィ匕処理 部 107によってエントロピー符号化される（ステップ S010)。 indexがモードの最後の 番号である MAXより小さい場合 (NO)、次の indexで示される符号化モードの予測 画像信号 115が生成される (ステップ S004)。
[0130] best— modeでの符号化が行われると、量子化されている変換係数 117が逆量子 化及び逆変換部 105へと入力され、逆量子化及び逆変換が行われる。復号されてい る予測誤差信号 116がモード選択部 1004から提供される best— modeの予測画像 信号 114と加算器 118により加算され、復号画像信号 119として、参照画像メモリ 10 6へ保存される。
[0131] 1フレームの符号化が終了しているかどうかの判定が行なわれる（ステップ SI 1)。
符号化が完了している場合 (YES)、次のフレームの入力画像信号が画面分割部 10 1に入力され、次のフレームの符号化処理が行われる。 1フレームの符号化処理が完 了していない場合 (NO)、次のマクロブロックの入力信号が入力され、符号化処理が 継続される。
[0132] 以上のように本実施の形態の動画像符号ィ匕方法が動画像符号ィ匕装置 1000により 実行される。本実施形態のように仮符号ィ匕及びインデックスの利用により符号量がブ ロック毎に適切に割り付けることができ符号ィ匕効率が改善される。
[0133] (第 3の実施の形態 (符号化) )
図 22に示す第 3の実施形態では、第 2の実施の形態に加えて、第 1フレーム内予 測部 2202、第 2フレーム内予測部 2203が更に設けられている。画面分割部 2201 の機能が第 2の実施形態とは異なるために異なる参照番号を与えて 、る。図 10の実 施形態では、図 1の実施形態と共通する構成要素には同一の符号を付けてその説 明を省略する。
[0134] 図 22に示される動画像符号ィ匕装置 2200では、第 1フレーム内予測部 2202と第 2 フレーム内予測部 2203は、予測ブロックサイズが異なるだけで、予測方法は図 11で 示されるフレーム内予測部 1004と同一である。画面分割部 2201は入力動画像信 号を小画素ブロックに分割する。この時、マクロブロックを異なるブロック形状で分割 する。一方は 4x4画素ブロックを 16個組み合わせたブロック形状で分割し、もう一方 は、 8x8画素ブロックを 4個組み合わせたブロック形状で分割する。それぞれ分割し たブロックを入力画像信号 115として第 1フレーム内予測部 2202及び第 2フレーム 内予測部 2203へ入力する。第 1フレーム内予測部 2202は、 4x4画素予測を行う。こ こで、 4x4画素ブロックを 4つ集めて 8x8画素ブロック単位の予測画像を 4つ生成する 。第 2フレーム内予測部 2203は、 8x8画素予測を行う。即ち、第 2フレーム内予測部 2203は、 1つの 8x8画素予測を 4回行う。最初の 8x8画素ブロックの予測が完了した 時点で、 4x4画素予測による予測画像信号と 8x8画素予測による予測画像信号がモ ード選択部 1005へ入力される。モード選択部 1005は所定の方式に従って符号ィ匕コ ストを計算し、算出された符号化コストから符号化コストが最も小さい予測モードを選 択する。選択されているモードに対応する復号画像が変換及び量子化部 104、逆量 子化及び逆変換部 105を経て、参照画像メモリ 106に蓄積される。
[0135] 最初の 8x8画素ブロックのモードが決定されると、次の 8x8画素ブロックの予測を同 様に行う。つまり、マクロブロック内の 8x8画素単位で 4x4画素予測と 8x8画素予測を 切り替えることが可能である。図 4Eは、マクロブロック内で予測ブロックサイズを切り替 える例を示す。 8x8画素ブロック 4つのモードが全て決定されると、符号化制御部 10 8は、仮符号化切替スィッチ 1003を符号化処理部 107へ接続し、符号化が行われる 。このとき、 8x8画素ブロック力 4x4画素予測で符号化されている力、 8x8画素予測 で符号ィ匕されている力、の情報も同時に符号ィ匕される。この情報はマクロブロックに 対して 4ビットのデータとして、符号化処理部 107で符号化される。
[0136] 以下に予測情報を切り替えるときに必要とされるブロックサイズ切り替え情報のシン タクスについて説明する。
図 23のシーケンスパラメータセットシンタクス内に示される ex_adaptive—blocksiz e— in— seq— flagは、ブロックサイズ切替予測をシーケンス毎に変更するかどうかを 示すフラグであり、当該フラグが TRUEであるときは、ブロックサイズ切替予測の使用 可否を、シーケンス単位で切り替えることが可能である。フラグが FALSEであるとき は、シーケンス内ではブロックサイズ切替予測を用いることが出来ない。
[0137] 図 24のピクチャーパラメータセットシンタクス内に示される ex— adaptive— blocksi ze— in— pic— flagは、ブロックサイズ切替予測をピクチャ毎に変更するかどうかを示 すフラグであり、当該フラグが TRUEであるときは、ブロックサイズ切替予測の使用可 否をピクチャ単位で切り替えることが可能である。フラグが FALSEであるときは、ピク チヤ内ではブロックサイズ切替予測を用いることが出来ない。
[0138] 図 25のスライスヘッダーシンタクス内に示される ex— adaptive— blocksize— in— slice— flagは、ブロックサイズ切替予測をスライス毎に変更するかどうかを示すフラグ であり、当該フラグが TRUEであるときは、ブロックサイズ切替予測の使用可否を、ス ライス単位で切り替えることが可能である。フラグが FALSEであるときは、スライス内 ではブロックサイズ切替予測を用いることが出来な!/、。 [0139] 図 26のマクロブロックレイヤーシンタクス内に示される ex— adaptive— blocksize —modeは、 4ビットのデータであり、ブロックサイズ切替情報に対応する。図 28Aは A , B, C, Dの順で 8x8画素ブロック力 χ4画素予測である力、 8x8画素予測であるか 、を示している。例えば、 ex— adaptive— blocksize— modeが 1100を示している時 、図 28Bにあるように、ブロック A, Bが 8x8画素予測で符号化され、ブロック C, Dが 4 x4画素予測で符号化されていることが判る。このデータは、 ex_adaptive_blocksiz e― in― seq― flag、 ex― adaptive― olocksize― in― pic― flag、 ex― adaptive― blocksize— in— slice— flagの少なくとも 1つ以上のフラグが TRUEであるときにの み有効である。
[0140] マクロブロックレイヤーでシンタクスを送るのではなぐマクロブロックタイプで送って も良 、。図 27はマクロブロックタイプにブロックサイズ切替情報を付与する例である。 mb— type力 Oの場合は 4x4画素予測のみでマクロブロックの予測を行う。 mb_typ eが 1の場合は 8x8画素予測のみでマクロブロックの予測を行う。 mb— typeが 1から 5 の場合はブロックサイズ切替予測を行う。ここで Intra— A— B— C— Dはどのブロック 力 S8x8画素予測を用いているかを示している。図 28Aにそれぞれ A, B, C, Dのブロ ック位置を示す。例えば、 mb— typeが 3であるとき、 Aと Bのブロックが 8x8画素予測 で予測されていることを示している。 mb— typeが 6である時は 16x16画素予測が行 われることを示している。このように mb— typeにブロックサイズ切替情報を付与し、選 択頻度の高 、モードに小さ!/、インデックスを与えることで、効率の良!、予測が可能に なる。
[0141] 以上説明したように本実施の形態では、複数の選択可能な符号ィ匕モードの各々に ついて、 8x8画素単位で実際に仮符号ィ匕処理がなされ、 8x8画素ごとのモードの符 号ィ匕データの符号量と符号ィ匕歪み力も得られた符号化コストの最も小さいモードが 選択され、選択されているモードに基づいて、符号化データが出力される。このように マクロブロック内の 8x8画素ブロック毎に予測ブロックサイズを切り替えてモード選択 を行って!/、るので、予測方法に応じて符号ィ匕効率の高 、符号ィ匕を行うことができるブ ロック形状を選択できる、つまり画素ブロックの内容等に応じて好適な符号化をなす ことができる。 [0142] このように、各モードすべてについて負担の大きい符号ィ匕処理を行う必要がなぐ 選択されて 、るモードでの符号ィ匕のみ行うようにすればよ!、ので、演算負担の増加も 抑制することができる。すなわち、本実施の形態では、高速かつ好適なモード選択と 、高速で圧縮効率の高い動画像符号ィ匕を実現することが可能になる。
[0143] 上述したように選択されて 、るモードでの符号化の際、復号画像信号の生成は、選 択されているモードについてのみ行えばよぐ予測モード判定のためのループ内で は、必ずしも実行しなくてもよい。
[0144] 上記動画像符号化装置に対応する動画像復号化装置を説明する。
(第 4の実施の形態 (復号化)）
図 29に示す動画像復号化装置によると、動画像符号化装置から送出され、伝送系 または蓄積系を経て送られてきた符号ィ匕データは、入力バッファ 901に一度蓄えら れ、多重化分離器 902により 1フレーム毎にシンタクスに基づいて複数の画素ブロッ クに分離された後、それらが符号列復号部 903に入力される。符号列復号部 903は 、図 13に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシ ンタクス、マクロブロックレベルシンタクスの夫々に対して、順次符号ィ匕データの各シ ンタタスの符号列を復号する。量子化されている変換係数、量子化マトリクス、量子化 ノ メータ、予測モード情報、予測切替情報などが復元される。
[0145] 量子化されて!/、る変換係数は、復元されて!、る各情報のうちの量子化マトリクス、量 子化パラメータを用いて、逆量子化及び逆変換部 904で逆量子化され、逆直交変換 (例えば逆離散コサイン変換など)される。ここでは、逆直交変換について説明したが 、符号化器でウェーブレット変換などが行われている場合、逆量子化及び逆変換部 9 04は、対応する逆量子化及び逆ウェーブレット変換などが実行されても良い。逆量 子化及び逆変換部 904で変換されている係数は、誤差信号 911として、加算器 905 へ送られる。加算器 905は、フレーム内予測部 907から出力される予測信号 916と当 該誤差信号 911を加算し、加算信号を復号信号 912として参照画像メモリ 906へ入 力する。復号信号 912は更に出力バッファ 913へ送られ、復号化制御部 908が管理 するタイミングで出力される。
[0146] 符号列復号部 903で復号されている予測モード情報 909及び予測切替情報 910 力 Sフレーム内予測部 907に入力される。既に符号ィ匕されている参照信号 914が参照 画像メモリ 906からフレーム内予測部 907へ読み込まれる。フレーム内予測部 907は 、入力されている情報を基に、予測信号 916を生成し、それを加算器 905に入力す る。
[0147] 復号ィ匕制御部 908は、入力バッファ 901、出力バッファ 913の制御や、復号化タイミ ングの制御などを行う。
本実施形態にかかる動画像復号化方法を動画像復号装置 900のフレーム内予測 部 907が図 30を参照して説明する。図 30の実施形態では、図 29の実施形態と同じ 構成要素には同一の符号を付けてその説明を省略する。
[0148] 符号列復号部 903によって復号されている予測モード情報 909及び予測切替情報 910がフレーム内予測部 907に入力されると、これらの情報はー且予測制御部 300 7へ送られる。予測切替スィッチ 3001が予測切替情報 910に基づ 、て操作される。 具体的には、予測切替情報として ex— adaptive— intra— flagと ex— direct— intr a— flagが予測制御部 3007へ入力される。 ex— adaptive— intra— flagは画像が 画素適応予測で予測されているか、方向予測で予測されているか、を示すフラグで あり、当該フラグが TRUEの場合は、予測切替スィッチ 3001を画素適応予測部 300 2へ接続する。当該フラグが FALSEの場合は、予測切替スィッチ 3001を方向予測 部 3003へ接続する。 ex— direct— intra— flagは固定モード予測が行われて!/、る 力 行われていないか、を示すフラグであり、当該フラグが TRUEの場合、 ex— adap tive— intra— flagの状態に係わらず、予測切替スィッチ 3001は固定モード予測部 へ接続される。夫々の情報によって予測切替スィッチ 3001が切り替わると、参照信 号 914がフレーム内予測部 907に入力される。
[0149] 参照信号 914は、予測切替スィッチ 3001を介して、フラグに対応する予測部へと 入力される。参照信号 914が画素適応予測部 3002へ入力されると、予測制御部 30 07は、予測モード情報 909を画素適応予測部 3002へ入力する。この情報を基に、 画素適応予測部 3002は、画素適応予測を行い、予測信号 913を生成する。参照信 号 914が方向予測部 3003へ入力されると、予測制御部 3007は、予測モード情報 9 09を方向予測部 3003へ入力する。この情報を基に、方向予測部 3003は、方向予 測を行い、予測信号 913を生成する。参照信号 914が固定モード予測部 3004へ入 力されると、予測制御部 3007は、予測モード情報 909を固定モード予測部 3004へ 入力する。この情報を基に、固定モード予測 3004は、固定モード予測を行い、予測 信号 913を生成する。このよう【こして、予視 U咅 3002, 3003, 3004で予視 Uされて!/ヽる 予測信号 916は、フレーム内予測部 907の外部へと出力される。
[0150] 続いて、各予測部 3002, 3003, 3004の予測方法について説明する。これらの予 測部は参照画像メモリ 906に保持されて 、る既に復号済みの参照信号 914を用いて 、予測対象になるブロックの予測を行う。予測モードは 9通りあり、図 5Aに示されるそ れぞれ 22. 5度づっ異なる予測方向を持っている。モード 0からモード 8まで規定され ており、モード 2は、方向予測部 3003では DC予測となっている。方向予測部 3003 で行われる方向予測モードと画素適応予測部 3002で行われる画素適応予測モード の名称が図 9で示されている。 4x4画素予測の予測ブロックと参照画素との関係が図 5Bに示されている。大文字 Aから Mまでの画素が参照画素であり、小文字 aから pま での画素が予測画素である。
[0151] 最初に方向予測部 3003による予測方法を説明する。方向予測部 3003では、モー ド 2の DC予測が選択されている場合、式 (2)を用いて予測画素が計算される。参照 画素が利用できない時は、利用できる参照画素の平均値で予測される。利用できる 参照画素が 1つも存在しない場合は、当該符号ィ匕装置の最大輝度値の半分の値 (8 ビットなら 128)で予測値が計算される。その他のモードが選択されている場合、方向 予測部 3003は、図 5Aで示される予測方向に対して、参照画素から補間されている 予測値をコピーする予測方法を用いる。例えば、モード 0 (垂直予測）が選択されてい る場合の予測値生成方法は式（3)を用いる。このモードは、参照画素 Aから Dまでが 利用できるときだけ、選択することが可能である。この予測方法では図 5Cに示される ように参照画素 A〜Dの輝度値がそのまま垂直方向にコピーされ、予測値として補填 される。
[0152] 予測モード 0, 2以外の予測方法に関してもほぼ同様の枠組みが用いられており、 予測方向に対して利用できる参照画素から補間値を生成し、その値を予測方向に応 じてコピーするという予測を行う。 [0153] 画素適応予測部 3002について説明する。予測モードは図 5Aで説明したものと同 一である。画素適応予測部 3002は、予測画素と参照画素の距離に応じて、利用す る参照画素の数が変わる予測を行い、画素単位に予測値が変わる。利用する参照 画素の重み付けテーブルを、距離に応じて変更することでより、精度の高い予測値 の生成が可能になる。
[0154] 図 6Aに参照画素と予測ブロックの関係を示している。図 6Aと図 5Bで示される参照 画素と予測画素は 1対 1に対応しているが、予測式の説明をし易くするために、異な るインデックスをこれら画素に与えている。参照画素は xOO力ら x08までと、 x09、 xl 8、 x27、 x36の 13偶である。予 ¾画素 ίま xlO力ら xl3、 xl9力ら x22、 x28力ら x31 、 x37力ら x40までの 16偶である。 xl4力ら xl7、 x23力ら x26、 x32力ら x35、 x41 力も x44までの 16画素は、予測補助画素であり、予測精度を高めるために利用され る。
[0155] 画素適応垂直予測 (モード 0)に関して予測値生成方法を詳細に説明する。図 6B に画素適応垂直予測の予測方法を示している。図 6Bから分かるように、参照画素と 対象予測画素との距離が離れるほど、多くの参照画素を利用して予測値が決定され る。
[0156] 具体的に予測値生成方法を説明する。画素適応垂直予測では、式 (5)を用いて予 測画素を計算する。 nは図 6Aで示される予測画素位置（xlOから xl3、 xl9力ら x22 、 x28力ら x31、 x37力ら x40)に対応するインデックスを示す。 diま式（6)で与免られ る。参照画素と予測画素の距離に応じて式 (5)を展開すると式 (7)のような予測式に なる。 Lは参照画素と予測画素の距離を表している。 Viは対応する予測モードに応じ て決定されるインデックスである。 hiはフィルタ係数を表しており、 Lによってタップ数 が変化する。
[0157] 参照画素から予測方向に対して 1つ離れた予測画素は、 3つの参照画素を用い式
(8)で予測される。ここで nには L= l (xlOから xl3)に対応するインデックスが入る。 フィルタ係数は hi= (1、 2、 1)であり、 Vi= (d+ l、 d、 d— 1)が対応する。
[0158] 参照画素に対して予測方向に対して 2つ離れた予測画素は 5つの参照画素を用い 式（9)で予測される。 nには L = 2 (xl9力 x22)に対応するインデックスが入る。フィ ルタ係数は hi= (l、4、 6、 4、 1)であり、 Vi= (2d+ 2、 2d+ l、 2d、 2d— 1、 2d— 2) が対応する。
[0159] 参照画素から予測方向に対して 3つ離れた予測画素は 7つの参照画素を用い式（ 10)で予測される。 nには L = 3 (x28から x31)に対応するインデックスが入る。フィル タ係数は hi= (l、 6、 15、 20、 15、 6、 1)であり、 Vi= (3d+ 3、 3d+ 2、 3d+ l、 3d、 3d— 1、 3d— 2、 3d— 3)力対応する。
[0160] 参照画素から予測方向に対して 4つ離れた予測画素は 9つの参照画素を用い式（ 10)で予測される。ここで nには L=4 (x37から x40)に対応するインデックスが入る。 フィルタ係数は hi= (1、 8、 28、 56、 70、 56、 28、 8、 1)であり、 Vi= (4d+4、 4d+ 3、 4d+ 2、 4d+ l、 4d、 4d— 1、 4d— 2、 4d— 3、 4d— 4)力 S対応する。
[0161] それぞれのモードに対する予測式を説明する。画素適応水平予測 (モード 1)は式 ( 14)を用いて予測を行う。画素適応左上予測（モード 2)は式（15)を用いて予測を行 う。画素適応直交左下予測 (モード 3)は式（16)を用いて予測を行う。画素適応直交 右下予測 (モード 4)は式（17)を用いて予測を行う。画素適応垂直左予測 (モード 5) は式（18)を用いて予測を行う。画素適応水平下予測（モード 6)は式（ 19)を用いて 予測を行う。画素適応垂直左予測（モード 7)は式（20)を用いて予測を行う。画素適 応水平上予測 (モード 8)は式 (21)を用いて予測を行う。当該予測画素値を求めるた めには、必要な予測済み画像を代入して展開することで、必要になる参照画素及び 参照画素数、重み付けテーブルが割り出せる。
[0162] 参照画素が存在しない場合には、画素適応垂直方向予測と同様、参照画素の補 填を行う。例えば、画素適応水平予測で x37を予測する場合、 χ45の参照画素が利 用できな 、。よってこの参照画素を χ36で補填する。
上述したように、画素適応予測部 3002により予測画像生成方法が実行される。
[0163] 固定モード予測部 3004に関して詳細に説明を行う。固定モード予測部 3004は、 モード情報の予測を行い、決められた予測モードで、画素適応予測もしくは方向予 測を行う。モード情報の予測は、予測対象ブロックに隣接する予測ブロックのモード 情報を利用する。
[0164] 図 8に 4x4画素予測の場合の予測対象ブロックと隣接ブロックの関係を示す。予測 対象ブロック Cの左の隣接ブロックを Aとし、上の隣接ブロックを Bとする。これら 2つの 予測モード;^ prev― left― mode、 prev― upper― modeとして与 られたとき、当 該ブロックの予測モードは式（23)で決定される。 current— modeは予測ブロックの 予測モードである。関数 min (A, B)は Aと Bの小さい方の値を返す。このように周囲 のブロックの予測モード情報から予測ブロックの予測モード情報を予測するため、予 測モード情報を符号ィ匕するための符号量を大幅に減らすことが可能な符号ィ匕モード の 1つである。
[0165] 画素適応予測部 201を用いて予測画像を生成するか、方向予測部 202を用いて 予測画像を生成するか、は ex— direct— intraフラグで決められており、符号化制御 部 108から与えられた ex— direct— intraフラグ情報に基づいて決定される。
[0166] 本実施形態では、現在の予測ブロックの予測モード情報は隣接予測ブロック Aおよ び Bの予測モード情報に基づいて決定された。本実施形態の変形例として、周囲の 予測ブロックの予測モード情報に基づいて決定しても構わない。例えば、予測ブロッ ク Bの右側のブロック、予測ブロック Bの上側のブロック、予測ブロック Aの左側のブロ ック、および、予測ブロック Aの上側のブロック、の予測モード情報を利用して、現在 の予測ブロックの予測モードを決定しても構わない。例えば、周辺予測ブロックの予 測モードのうち最も頻度が高い予測モード、周辺予測ブロックの予測モードのメディ アン値あるいは周辺予測ブロックの予測モードの平均値を、現在の予測ブロックの予 測モードとして決定しても構わな 、。
[0167] 画素適応予測と方向予測を切り替える予測切替情報のシンタクス、 ex— adaptive —intra— flagと、固定モード予測を行うシンタクス、 ex— direct— intra— flagの復 号化方法は、図 13乃至図 21Aに示される符号ィ匕方法と同じである。
[0168] (第 5の実施の形態 (復号化) )
図 31を参照して第 2の実施形態に係る復号ィ匕装置 3100を説明する。本実施の形 態では、第 4の実施の形態に対して、フレーム内予測部 907が第 1フレーム内予測部 3102、第 2フレーム内予測部 3103に変更されている。さらに、ブロックサイズ切替ス イッチ 3101が新たに導入されている。本実施形態では、図 29と同じ構成要素には 同一の符号を付けてその説明を省略する。 [0169] 符号列復号部 903で復号されている、予測モード情報 909、予測切替情報 910、 ブロックサイズ切替情報 915などがブロックサイズ切替スィッチ 3101及び復号ィ匕制 御部 908へ送られる。復号化制御部 908は、ブロックサイズ切替情報を基に、ブロッ クサイズ切替スィッチ 3101を適切な端点へ接続する。
[0170] より具体的に説明すると、符号列復号部 903から与えられる ex— adaptive— block size— mode力ら、ブロックサイズを判断する。
[0171] この情報は 4ビットで構成されており、マクロブロック内の 8x8画素内で 4x4画素予 測を行うか、 8x8画素予測を行うかを示している。ビットは左上力も右下に順に割り振 られており、図 28Aに示されるように、 A, B, C, Dの順となっている。 ex— adaptive —1)10。1^126—1110(16の値が1100でぁるとき、図 28Bに示されるように、ブロック A, B に 8x8画素予測が割り当てられており、ブロック C, Dに 4x4画素予測が割り当てられ て!/、ることが半 IJる。
[0172] 各ビットの値が 0であれば、復号化制御部 903は、ブロックサイズ切替スィッチ 3101 の出力端を第 1フレーム内予測部 3102へ接続する。第 1フレーム内予測部 3102は 、 4x4画素予測を 4つの 4x4画素ブロックに対して行い、予測画像を加算器 905へ送 出する。
[0173] 当該 8x8画素ブロックに対応するビットの値が 1であれば、復号ィ匕制御部 908は、 ブロックサイズ切替スィッチ 3101の出力端を第 2フレーム内予測部 3103へ接続する 。第 2フレーム内予測部 3103は、 8x8画素予測を 1つの 8x8画素ブロックに対して行 い、予測画像を加算器 905へ送出する。
[0174] 第 1フレーム内予測部 3102及び第 2フレーム内予測部 3103は、内部構造におい て図 30に等しぐ入力されている予測切替情報を基に、決められたブロックサイズの 予測を行!、予測信号を出力する。
[0175] 復号ィ匕制御部 908は、入力バッファ 901、出力バッファ 913の制御や、復号化タイミ ングの制御などのほかに、ブロックサイズ切替スィッチの制御も行う。本実施の形態に おける予測情報を切り替えるときに必要とされるブロックサイズ切り替え情報のシンタ タスは、図 24乃至図 26と同じである。マクロブロックレイヤーカゝらブロックサイズ切替 情報を得るのではなぐマクロブロックタイプから当該情報を得ても良 、。 [0176] 図 27はマクロブロックタイプからブロックサイズ切替情報を得る例である。 mb_typ eが 0の場合は 4x4画素予測のみでマクロブロックの予測を行う。 mb— typeが 1の場 合は 8x8画素予測のみでマクロブロックの予測を行う。 mb— typeが 1から 5の場合は ブロックサイズ切替予測を行う。ここで Intra— A— B— C— Dはどのブロックが 8x8画 素予測を用いているかを示している。図 28Aにそれぞれ A, B, C, Dのブロック位置 を示す。
[0177] このように本実施形態によると、ブロック毎に精度の高い予測画像生成が可能となり 、フレーム内予測を行う場合に、使用する予測モードを、シーケンス、スライス毎或い はマクロブロック毎に変更できるため、主観画質をも考慮した予測画像生成が可能に なる。
[0178] 本実施形態においては動画像符号ィ匕を例にとり説明したが、静止画像符号化にも 本発明を適用することができる。
[0179] 本発明によれば、ハードウェアコストを削減しつつ、画面内予測において予測誤差 を軽減し、符号ィ匕効率を向上させ、十分に視覚特性等も考慮した予測画像を生成で きる。
産業上の利用可能性
[0180] ビデオ、オーディオ装置、モパイル機器、放送、情報端末、ネットワークなどの各分 野に渡り動画像、静止画像、音声などの符号化及び復号化に適用できる。

Claims

請求の範囲
[1] 1画面に対応する入力画像信号を複数の画素ブロック信号に分割するステップと、 予測画素と符号化済み参照画素との距離に応じて変更される数の参照画素を用い て複数の予測モード毎に規定されて 、る方向に従って前記予測画素を外挿する画 面内予測を行 、、予測画像信号と予測モード情報を生成する予測信号生成ステップ と、
前記画素ブロック信号と前記予測画像信号とから予測誤差信号を計算するステツ プと、
前記予測誤差信号を用いて 1つの予測モードを選択する予測モード選択ステップ と、
前記選択されている予測モードに基づく予測誤差信号を用いて符号ィ匕を行う符号 化ステップと、
を含む、画像符号化方法。
[2] 予測信号生成ステップにおいて、 予測画素と符号化済み参照画素との距離が大き いほど多くの数の参照画素を用いて予測画素を外挿する、請求項 1記載の画像符号 化方法。
[3] 予測モード毎に対応する予測画素ブロック信号のブロックサイズを特定の画素プロ ックサイズ内で切り替えるブロックサイズ選択ステップを含む、請求項 1又は 2記載の 画像符号化方法。
[4] 予測モード情報を符号化するか、符号化しな!ヽかを特定の画素ブロックサイズ内で 切り替えるモード情報選択ステップを含む、請求項 1又は 2記載の画像符号化方法。
[5] 予測信号生成ステップにおいて、参照画素と予測画素との距離に従って、予測に 用いるフィルタ係数の重み付けテーブルを変更するステップを含む、請求項 1乃至 4 の 、ずれか 1記載の画像符号化方法。
[6] 符号化ステップにおいて、予測誤差信号を変換係数に変換し、量子化することによ つて変換係数データを生成する変換量子化ステップを含む、請求項 1乃至 4の 、ず れか 1記載の画像符号化方法。
[7] 予測信号生成ステップにおいて、画素単位で外揷を行う際に、外挿予測済み予測 画像信号を利用するか、利用しないか、を適応的に切り替えるステップを含む、請求 項 1乃至 4のいずれか 1記載の画像符号化方法。
[8] 予測信号生成ステップにおいて、画素単位で外揷を行う際、符号化済み参照画像 を利用するカゝ、利用しないか、を適応的に切り替えるステップを含む、請求項 1乃至 4 の 、ずれか 1記載の画像符号化方法。
[9] 予測信号生成ステップにおいて、画素単位で外揷を行う際、シーケンス毎、ピクチ ャ毎、もしくはスライス毎に予測画素と符号ィヒ済み参照画素との距離に応じて変更さ れる数の参照画素を用いて複数の予測モード毎に規定されて 、る方向に従って予 測画素を外挿する画面内予測を行うか、行わないかを切り替えるステップを含むこと を特徴とする、請求項 1乃至 4のいずれ力 1記載の画像符号ィ匕方法。
[10] 画素ブロック信号の量子化ブロックサイズに応じて予測モードを切り替えるステップ を含むことを特徴とする、請求項 1乃至 4及び 6のいずれか 1記載の画像符号ィ匕方法
[11] 入力画像信号の解像度が高いか、或いは低いか、に応じて予測モードを切り替え るステップを含むことを特徴とする、請求項 1乃至 4のいずれか 1記載の画像符号ィ匕 方法。
[12] 予測モード選択ステップにおいて、選択されている予測モードに基づく予測誤差信 号を符号ィ匕するときの符号量を算出する符号量算出ステップと、選択されている予測 モードに基づく予測誤差信号を局所復号して局所復号画像を生成し，入力画像信 号との差を表す符号化歪みを算出する符号化歪み算出ステップとを含む、請求項 1 乃至 4及び 6の 、ずれか 1記載の画像符号化方法。
[13] 予測信号生成ステップにおいて、画素単位で外揷を行う際、予測モードで定めら れた予測方向に従って予測画素生成順を変更し、符号化済みの参照画素とともに、 外挿済み予測画素を一時メモリに保存し、次の予測を行う際に利用するステップを含 む、請求項 1乃至 4及び 6のいずれか 1記載の画像符号化方法。
[14] 予測モード情報を含む復号化画像信号を生成するため入力符号化画像信号を復 号するステップと、
復号化画像信号の予測モード情報に基づき選択予測モードに従って符号化済み 参照画素と予測画素との距離に応じて予測に用いる参照画素の数及び予測画素生 成順を変更するステップと、
画素単位で外揷を行う画面内予測を行うことによって予測画像信号を生成する予 測信号生成ステップと、
前記復号化画像信号を基に予測誤差信号を生成する予測誤差信号生成ステップ と、
予測画像信号と予測誤差信号を加算して、復号画像を生成する復号画像生成ステ ップと、
を含む、画像復号化方法。
[15] 予測モード毎に対応する予測画素ブロックのサイズを特定の画素ブロックサイズ内 で切り替えるブロックサイズ選択ステップを含む、請求項 14記載の画像復号ィ匕方法。
[16] 予測モードの予測を行い、予測されている予測モード情報を復号する力 復号しな
V、か、を特定の画素ブロックサイズ内で切り替えるモード情報選択ステップを含む、 請求項 14記載の画像復号化方法。
[17] 予測信号生成ステップは、画素単位で外揷を行う画面内予測を行う際、参照画素と 予測画素の距離に従って、予測に用いるフィルタの重み付けテーブルを変更するス テツプを含む、請求項 14, 15又は 16記載の画像復号化方法。
[18] 予測誤差信号生成ステップは、復号されて!ヽる係数を基に逆量子化処理を行 ヽ、 逆量子化されて 、る変換係数に対して逆変換処理を行って、予測誤差信号を生成 する逆量子化逆変換ステップを含む、請求項 14, 15又は 16記載の画像復号化方 法。
[19] 予測信号生成ステップは、予測済み予測画像信号を利用するか、利用しないか、と 適応的に切り替えるステップを含む、請求項 14, 15又は 16記載の画像復号化方法
[20] 予測信号生成ステップは、復号化済み参照画像を利用するか、利用しないか、を 適応的に切り替えるステップを含む、請求項 14, 15又は 16記載の画像復号化方法
[21] 予測信号生成ステップは、シーケンス毎、ピクチャ毎、もしくはスライス毎に請求項 1 3記載の画面内予測を行うか、行わないか、を切り替えるステップを含む、請求項 14 , 15又は 16記載の画像復号ィ匕方法。
[22] 画像ブロック信号の量子化パラメータの値が大き 、か、或いは小さ 、か、に応じて 予測モードを切り替えるステップを含む、請求項 14, 15又は 16記載の画像復号ィ匕 方法。
[23] 入力画像信号の解像度が高 、か、或 ヽは低 、か、に応じて予測モードを切り替え るステップを含む、請求項 14, 15又は 16記載の画像復号ィ匕方法。
[24] 予測信号生成ステップは、画素単位で外揷を行う際、予測モードで定められた予 測方向に従って予測画素生成順を変更し、予測済み予測画素を一時メモリに保存し 、次の予測を行う際に利用するステップを含む、 14, 15又は 16記載の画像復号ィ匕 方法。
[25] 1画面に対応する入力画像信号を複数の画素ブロック信号に分割する画面分割部 と、
予測画素と符号化済み参照画素との距離に応じて変更される数の参照画素を用い て複数の予測モード毎に規定されて 、る方向に従って前記予測画素を外挿する画 面内予測を行!、、予測画像信号と予測モード情報を生成する予測信号生成部と、 前記画素ブロック信号と前記予測画像信号とから予測誤差信号を計算し、前記予 測誤差信号を用いて 1つの予測モードを選択する予測モード選択部と、
前記選択されている予測モードに基づく予測誤差信号を用いて符号ィ匕を行う符号 化部と、
を具備する、画像符号化装置。
[26] 入力符号化画像信号を復号する復号部と、
復号化画像信号の予測モード情報に基づき選択予測モードに従って符号化済み 参照画素と予測画素との距離に応じて予測に用いる参照画素の数及び予測画素生 成順を変更し、画素単位で外揷を行う画面内予測を行うことによって予測画像信号 を生成する予測信号生成部と、
前記復号化画像信号を基に予測誤差信号を生成する予測誤差信号生成部と、 予測画像信号と予測誤差信号を加算して、復号画像を生成する復号画像生成部と を具備する、画像復号化装置。
[27] 1画面に対応する入力画像信号を複数の画素ブロック信号に分割する命令と、 予測画素と符号化済み参照画素との距離に応じて変更される数の参照画素を用い て複数の予測モード毎に規定されて 、る方向に従って前記予測画素を外挿する画 面内予測を行 、、予測画像信号と予測モード情報を生成する命令と、
前記画素ブロック信号と前記予測画像信号とから予測誤差信号を計算する命令と この予測誤差信号を用いて 1つの予測モードを選択する命令と、
前記選択されている予測モードに基づく予測誤差信号を用いて符号ィ匕を行う命令 と、
をコンピュータに実行させる画像符号ィ匕プログラム。
[28] 入力符号化画像信号を復号する命令と、
復号化画像信号の予測モード情報に基づき選択予測モードに従って符号化済み 参照画素と予測画素との距離に応じて予測に用いる参照画素の数及び予測画素生 成順を変更する命令と、
画素単位で外揷を行う画面内予測を行うことによって予測画像信号を生成する命 令と、
前記復号化画像信号を基に予測誤差信号を生成する命令と、
予測画像信号と予測誤差信号を加算して、復号画像を生成する命令と、 をコンピュータに実行させる画像復号ィ匕プログラム。
PCT/JP2006/323606 2005-11-30 2006-11-27 画像符号化／画像復号化方法及び画像符号化／画像復号化装置 WO2007063808A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
BRPI0619193-2A BRPI0619193A2 (pt) 2005-11-30 2006-11-27 método de codificação de imagem / decodificação de imagem, aparelho de codificação de imagem / decodificação de imagem
EP06833410A EP1965589A1 (en) 2005-11-30 2006-11-27 Image encoding/image decoding method and image encoding/image decoding apparatus
CA 2631336 CA2631336A1 (en) 2005-11-30 2006-11-27 Image encoding/image decoding method, image encoding/image decoding apparatus
CN2006800512728A CN101361370B (zh) 2005-11-30 2006-11-27 图像编码/图像解码方法以及图像编码/图像解码装置
AU2006320064A AU2006320064B2 (en) 2005-11-30 2006-11-27 Image encoding/image decoding method and image encoding/image decoding apparatus
JP2007547928A JP5044415B2 (ja) 2005-11-30 2006-11-27 画像符号化／画像復号化方法及び画像符号化／画像復号化装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-347121 2005-11-30
JP2005347121 2005-11-30

Publications (1)

Publication Number Publication Date
WO2007063808A1 true WO2007063808A1 (ja) 2007-06-07

Family

ID=38092141

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/323606 WO2007063808A1 (ja) 2005-11-30 2006-11-27 画像符号化／画像復号化方法及び画像符号化／画像復号化装置

Country Status (10)

Country Link
US (1) US8149910B2 (ja)
EP (1) EP1965589A1 (ja)
JP (1) JP5044415B2 (ja)
KR (1) KR100977101B1 (ja)
CN (1) CN101361370B (ja)
AU (1) AU2006320064B2 (ja)
BR (1) BRPI0619193A2 (ja)
CA (1) CA2631336A1 (ja)
RU (2) RU2369038C1 (ja)
WO (1) WO2007063808A1 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246975A (ja) * 2008-03-28 2009-10-22 Samsung Electronics Co Ltd 画像のイントラ予測モード情報の符号化及び／又は復号化方法及び装置
WO2010084692A1 (ja) * 2009-01-22 2010-07-29 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP2010529811A (ja) * 2007-06-12 2010-08-26 トムソン ライセンシング スライスデータ用のマルチパスビデオのシンタックス構造をサポートする方法及び装置
JP2010283495A (ja) * 2009-06-03 2010-12-16 Fujitsu Ltd 動画像符号化装置及び動画像符号化方法
JP2011166218A (ja) * 2010-02-04 2011-08-25 Victor Co Of Japan Ltd 画像信号符号化装置、画像信号符号化方法、画像信号復号装置、及び、画像信号復号方法
WO2012011340A1 (ja) * 2010-07-20 2012-01-26 ソニー株式会社 画像処理装置及び画像処理方法
JP2012034091A (ja) * 2010-07-29 2012-02-16 Ntt Docomo Inc 画像予測符号化装置、方法およびプログラム、並びに、画像予測復号装置、方法およびプログラム
WO2012035640A1 (ja) * 2010-09-16 2012-03-22 株式会社 東芝 動画像符号化方法及び動画像復号化方法
US8204136B2 (en) 2008-03-07 2012-06-19 Canon Kabushiki Kaisha Image encoding apparatus
JP2012521735A (ja) * 2009-04-20 2012-09-13 ドルビー ラボラトリーズ ライセンシング コーポレイション 多層映像配信のための適応補間フィルタ
JP2013507087A (ja) * 2009-10-05 2013-02-28 トムソン ライセンシング 映像符号化及び復号化における色度成分の予測画素の適応フィルタリング
RU2488235C2 (ru) * 2008-10-22 2013-07-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ масштабируемого кодирования видео, устройство масштабируемого кодирования видео, программа масштабируемого кодирования видео и машиночитаемый носитель записи, сохраняющий программу
JP2013223149A (ja) * 2012-04-17 2013-10-28 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2014050971A1 (ja) * 2012-09-28 2014-04-03 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US9369712B2 (en) 2010-01-14 2016-06-14 Dolby Laboratories Licensing Corporation Buffered adaptive filters
JP2016519898A (ja) * 2013-04-08 2016-07-07 ジーイー ビデオ コンプレッション エルエルシー コンポーネント間予測
US9554154B2 (en) 2010-07-31 2017-01-24 M & K Holding Inc. Image encoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
JP2020509714A (ja) * 2017-04-04 2020-03-26 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ピクチャブロックのイントラ予測に使用される参照サンプルの処理
JPWO2019189904A1 (ja) * 2018-03-30 2021-02-12 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
KR101365569B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
US8472522B2 (en) 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
AU2012204067B2 (en) * 2007-06-04 2015-04-09 Ntt Docomo, Inc. Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
BRPI0818649A2 (pt) * 2007-10-16 2015-04-07 Thomson Licensing Métodos e aparelho para codificação e decodificação de vídeo em superblocos geometricamente particionados.
KR101946376B1 (ko) * 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101375664B1 (ko) * 2007-10-29 2014-03-20 삼성전자주식회사 영상의 디퓨전 특성을 이용한 영상 부호화/복호화 방법 및장치
KR101439847B1 (ko) 2008-01-02 2014-09-16 삼성전자주식회사 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치
KR101456279B1 (ko) * 2008-01-03 2014-11-04 한국전자통신연구원 참조 블록 파형 정보에 기반하여 인트라 영상을 부호화하는 장치 및 복호화 하는 장치
US8295356B2 (en) * 2008-03-07 2012-10-23 International Business Machines Corporation Method and system for coding mode selection in video compression systems
JP5206070B2 (ja) * 2008-03-28 2013-06-12 富士通株式会社 復号装置および復号方法
WO2009122463A1 (ja) * 2008-03-31 2009-10-08 富士通株式会社 画像データ圧縮装置、復元装置、圧縮方法、復元方法及びプログラム
WO2009136066A1 (fr) * 2008-04-15 2009-11-12 France Telecom Prediction d'images par determination prealable d'une famille de pixels de reference, codage et decodage utilisant une telle prediction
CN102017605A (zh) * 2008-04-22 2011-04-13 韩国科亚电子股份有限公司 活动影像抖动修正装置及方法
KR101379187B1 (ko) * 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
CN102197650A (zh) * 2008-10-27 2011-09-21 松下电器产业株式会社 图像编码方法、图像编码装置以及摄像系统
JP5394212B2 (ja) * 2008-12-19 2014-01-22 トムソン ライセンシング データを挿入する方法、挿入されたデータを読み出す方法
KR101567974B1 (ko) * 2009-01-05 2015-11-10 에스케이 텔레콤주식회사 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
JP5170800B2 (ja) * 2009-01-15 2013-03-27 ルネサスエレクトロニクス株式会社 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
WO2010110126A1 (ja) 2009-03-23 2010-09-30 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
US8767816B2 (en) * 2009-07-10 2014-07-01 Samsung Electronics Co., Ltd. Spatial prediction method and apparatus in layered video coding
KR101479129B1 (ko) * 2009-10-01 2015-01-06 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
CN101827270B (zh) * 2009-12-16 2011-12-14 香港应用科技研究院有限公司 一种帧内预测中获取像素预测值的方法
CN102118613B (zh) * 2009-12-31 2012-11-21 华为技术有限公司 视频解码和编码方法及装置
EP3595316B1 (en) 2010-01-08 2022-03-30 Nokia Technologies Oy Apparatus and method for video coding and decoding
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
CN102215384B (zh) * 2010-04-02 2014-03-26 富士通株式会社 图像压缩方法和系统
CN102823248B (zh) 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
CN103813163B (zh) * 2010-04-08 2017-03-01 株式会社东芝 图像解码方法以及图像解码装置
US8306343B2 (en) * 2010-04-09 2012-11-06 Newport Media, Inc. Optimized prediction based image compression
US20110249735A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US20110249734A1 (en) * 2010-04-09 2011-10-13 Segall Christopher A Methods and Systems for Intra Prediction
US8644375B2 (en) 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8619857B2 (en) * 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
EP2375751A1 (en) * 2010-04-12 2011-10-12 Panasonic Corporation Complexity reduction of edge-detection based spatial interpolation
US8463059B2 (en) * 2010-04-23 2013-06-11 Futurewei Technologies, Inc. Two-layer prediction method for multiple predictor-set intra coding
US20110310967A1 (en) * 2010-06-22 2011-12-22 Lei Zhang Method and System for Video and Image Coding Using Pattern Matching for Intra-Prediction
CN103493491A (zh) 2010-07-15 2014-01-01 株式会社东芝 图像编码方法以及图像解码方法
SG187094A1 (en) 2010-07-20 2013-03-28 Ntt Docomo Inc Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
EP2624567B1 (en) * 2010-09-27 2020-03-18 LG Electronics Inc. Method for partitioning block and decoding device
SG10201507816SA (en) * 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
KR20240128140A (ko) * 2010-12-08 2024-08-23 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
FR2969456A1 (fr) * 2010-12-15 2012-06-22 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image mettant en œuvre une selection des pixels a predire, programme d'ordinateur correspondant
PL2661892T3 (pl) 2011-01-07 2022-08-16 Nokia Technologies Oy Przewidywanie ruchu w kodowaniu wideo
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
KR101604959B1 (ko) * 2011-01-12 2016-03-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
CN103780912B (zh) * 2011-02-10 2017-11-24 威勒斯媒体国际有限公司 图像处理装置和图像处理方法
US20130336398A1 (en) * 2011-03-10 2013-12-19 Electronics And Telecommunications Research Institute Method and device for intra-prediction
US9135724B2 (en) 2011-03-11 2015-09-15 Sony Corporation Image processing apparatus and method
HUE035495T2 (en) * 2011-06-28 2018-05-02 Samsung Electronics Co Ltd A method and apparatus for video coding and a method and apparatus for decoding video, associated with intra prediction
MX368350B (es) 2011-06-28 2019-09-30 Samsung Electronics Co Ltd Metodo y aparato para codificar y decodificar imagenes utilizando intra-prediccion.
WO2013001727A1 (ja) * 2011-06-30 2013-01-03 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
SI3217667T1 (sl) * 2011-10-17 2020-12-31 Kabushiki Kaisha Toshiba Kodirni postopek in dekodirni postopek
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
SI2773118T1 (sl) * 2011-10-24 2021-02-26 Innotive Ltd Postopek in naprava za dekodiranje slike
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
BR122020011581B1 (pt) 2011-11-08 2022-05-03 Kabushiki Kaisha Toshiba Método de decodificação realizado pelo menos parcialmente por um circuito eletrônico e método de codificação realizado pelo menos parcialmente por um circuito eletrônico
EP2618309A1 (en) * 2012-01-19 2013-07-24 Siemens Aktiengesellschaft Methods and devices for pixel-prediction for compression of visual data
US9210438B2 (en) * 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
RU2582057C2 (ru) * 2012-02-29 2016-04-20 Сони Корпорейшн Устройство и способ обработки изображений
US9510019B2 (en) 2012-08-09 2016-11-29 Google Inc. Two-step quantization and coding method and apparatus
US9332266B2 (en) 2012-08-24 2016-05-03 Industrial Technology Research Institute Method for prediction in image encoding and image encoding apparatus applying the same
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9253483B2 (en) 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
EP2920969A4 (en) * 2012-11-13 2016-07-13 Intel Corp VIDEO CODEC ARCHITECTURE FOR VIDEOS OF THE NEXT GENERATION
CN104704827B (zh) 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
CN102984523B (zh) * 2012-12-14 2015-12-09 北京大学 一种多方向的帧内预测编解码方法及装置
US9794569B2 (en) 2013-01-30 2017-10-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
CN105122807B (zh) * 2013-03-29 2018-11-27 Jvc建伍株式会社 图像解码装置及图像解码方法
US20140328406A1 (en) * 2013-05-01 2014-11-06 Raymond John Westwater Method and Apparatus to Perform Optimal Visually-Weighed Quantization of Time-Varying Visual Sequences in Transform Space
US9565440B2 (en) * 2013-06-25 2017-02-07 Vixs Systems Inc. Quantization parameter adjustment based on sum of variance and estimated picture encoding cost
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
CN113784124B (zh) * 2014-01-01 2024-03-19 上海天荷电子信息有限公司 使用多种形状子块进行精细划分的块匹配编码和解码方法
CN107925771B (zh) * 2015-05-29 2022-01-11 深圳市大疆创新科技有限公司 视频处理的方法、系统、存储介质和成像装置
EP3393126A4 (en) * 2016-02-16 2019-04-17 Samsung Electronics Co., Ltd. INTRA PREDICTION METHOD FOR REDUCING INTRA PREDICTION ERRORS AND DEVICE THEREFOR
RU2631992C2 (ru) * 2016-02-25 2017-09-29 Кабусики Кайся Тосиба Способ кодирования изображения и способ декодирования изображения
JP2019525577A (ja) 2016-07-18 2019-09-05 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像符号化／復号方法、装置、及び、ビットストリームを保存した記録媒体
WO2018026166A1 (ko) 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN118474339A (zh) 2016-10-04 2024-08-09 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和传输数据的方法
KR102228474B1 (ko) 2016-10-14 2021-03-16 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 디바이스들 및 방법들
CN110710205B (zh) 2017-05-19 2023-05-05 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
WO2019047883A1 (en) * 2017-09-08 2019-03-14 Fg Innovation Ip Company Limited DEVICE AND METHOD FOR ENCODING VIDEO DATA BASED ON MULTIPLE REFERENCE LINES
US20230158653A1 (en) * 2021-03-11 2023-05-25 Illinois Tool Works Inc. Fastener-driving tool with chamber member retaining assembly

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02143679A (ja) * 1988-11-24 1990-06-01 Canon Inc 画像符号化方法
JPH06181523A (ja) * 1992-12-14 1994-06-28 Ricoh Co Ltd 予測符号化方式の符号化装置および復号化装置
JP2005198310A (ja) * 2004-01-06 2005-07-21 Samsung Electronics Co Ltd 予測符号化装置、予測符号化方法及び前記予測符号化方法を行うプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2005318497A (ja) * 2003-12-26 2005-11-10 Ntt Docomo Inc 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086487A (en) * 1988-11-24 1992-02-04 Canon Kabushiki Kaisha Method and apparatus for image encoding in which reference pixels for predictive encoding can be selected based on image size
MXPA05007449A (es) * 2003-01-10 2005-09-12 Thomson Licensing Sa Definicion de filtros de interpolacion para ocultamiento de error en una imagen codificada.
CN1213613C (zh) * 2003-09-12 2005-08-03 浙江大学 视频编解码中运动矢量的预测方法和装置
JP2005159947A (ja) 2003-11-28 2005-06-16 Matsushita Electric Ind Co Ltd 予測画像生成方法、画像符号化方法および画像復号化方法
JP2005311473A (ja) * 2004-04-16 2005-11-04 Sharp Corp 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
US8467447B2 (en) * 2004-05-07 2013-06-18 International Business Machines Corporation Method and apparatus to determine prediction modes to achieve fast video encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02143679A (ja) * 1988-11-24 1990-06-01 Canon Inc 画像符号化方法
JPH06181523A (ja) * 1992-12-14 1994-06-28 Ricoh Co Ltd 予測符号化方式の符号化装置および復号化装置
JP2005318497A (ja) * 2003-12-26 2005-11-10 Ntt Docomo Inc 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP2005198310A (ja) * 2004-01-06 2005-07-21 Samsung Electronics Co Ltd 予測符号化装置、予測符号化方法及び前記予測符号化方法を行うプログラムが記録されたコンピュータ読み取り可能な記録媒体

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516340B2 (en) 2007-06-12 2016-12-06 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
JP2010529811A (ja) * 2007-06-12 2010-08-26 トムソン ライセンシング スライスデータ用のマルチパスビデオのシンタックス構造をサポートする方法及び装置
US8204136B2 (en) 2008-03-07 2012-06-19 Canon Kabushiki Kaisha Image encoding apparatus
CN101527848B (zh) * 2008-03-07 2012-09-05 佳能株式会社 图像编码设备
JP2009246975A (ja) * 2008-03-28 2009-10-22 Samsung Electronics Co Ltd 画像のイントラ予測モード情報の符号化及び／又は復号化方法及び装置
US8509302B2 (en) 2008-10-22 2013-08-13 Nippon Telegraph And Telephone Corporation Scalable video encoding method, scalable video encoding apparatus, scalable video encoding program, and computer readable recording medium storing the program
RU2488235C2 (ru) * 2008-10-22 2013-07-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ масштабируемого кодирования видео, устройство масштабируемого кодирования видео, программа масштабируемого кодирования видео и машиночитаемый носитель записи, сохраняющий программу
US8483496B2 (en) 2009-01-22 2013-07-09 Ntt Docomo, Inc. Image encoding/decoding system
WO2010084692A1 (ja) * 2009-01-22 2010-07-29 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP2010171729A (ja) * 2009-01-22 2010-08-05 Ntt Docomo Inc 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
US9078008B2 (en) 2009-04-20 2015-07-07 Dolby Laboratories Licensing Corporation Adaptive inter-layer interpolation filters for multi-layered video delivery
JP2012521735A (ja) * 2009-04-20 2012-09-13 ドルビー ラボラトリーズ ライセンシング コーポレイション 多層映像配信のための適応補間フィルタ
JP2010283495A (ja) * 2009-06-03 2010-12-16 Fujitsu Ltd 動画像符号化装置及び動画像符号化方法
US9106917B2 (en) 2009-06-03 2015-08-11 Fujitsu Limited Video encoding apparatus and video encoding method
US10798412B2 (en) 2009-07-04 2020-10-06 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US10038916B2 (en) 2009-07-04 2018-07-31 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
JP2013507087A (ja) * 2009-10-05 2013-02-28 トムソン ライセンシング 映像符号化及び復号化における色度成分の予測画素の適応フィルタリング
US10291938B2 (en) 2009-10-05 2019-05-14 Interdigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
US9369712B2 (en) 2010-01-14 2016-06-14 Dolby Laboratories Licensing Corporation Buffered adaptive filters
JP2011166218A (ja) * 2010-02-04 2011-08-25 Victor Co Of Japan Ltd 画像信号符号化装置、画像信号符号化方法、画像信号復号装置、及び、画像信号復号方法
WO2012011340A1 (ja) * 2010-07-20 2012-01-26 ソニー株式会社 画像処理装置及び画像処理方法
JP2012034091A (ja) * 2010-07-29 2012-02-16 Ntt Docomo Inc 画像予測符号化装置、方法およびプログラム、並びに、画像予測復号装置、方法およびプログラム
US9584829B2 (en) 2010-07-31 2017-02-28 M&K Holdings Inc. Image encoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9609360B2 (en) 2010-07-31 2017-03-28 M&K Holdings Inc. Image decoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9554154B2 (en) 2010-07-31 2017-01-24 M & K Holding Inc. Image encoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9578349B2 (en) 2010-07-31 2017-02-21 M&K Holdings Inc. Image decoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9584827B2 (en) 2010-07-31 2017-02-28 M&K Holdings Inc. Image encoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9584828B2 (en) 2010-07-31 2017-02-28 M&K Holdings Inc. Image encoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9584830B2 (en) 2010-07-31 2017-02-28 M&K Holdings Inc. Image decoding apparatus adaptively determining a scan pattern according to an intra prediction mode
USRE48564E1 (en) 2010-07-31 2021-05-18 M&K Holdings Inc. Image decoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9584826B2 (en) 2010-07-31 2017-02-28 M&K Holdings Inc. Image encoding apparatus adaptively determining a scan pattern according to an intra prediction mode
US9609359B2 (en) 2010-07-31 2017-03-28 M&K Holdings Inc. Image decoding apparatus adaptively determining a scan pattern according to an intra prediction mode
WO2012035640A1 (ja) * 2010-09-16 2012-03-22 株式会社 東芝 動画像符号化方法及び動画像復号化方法
JP2013223149A (ja) * 2012-04-17 2013-10-28 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5841670B2 (ja) * 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US9813709B2 (en) 2012-09-28 2017-11-07 Nippon Telegraph And Telephone Corporation Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon
WO2014050971A1 (ja) * 2012-09-28 2014-04-03 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2016027756A (ja) * 2012-09-28 2016-02-18 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2016519898A (ja) * 2013-04-08 2016-07-07 ジーイー ビデオ コンプレッション エルエルシー コンポーネント間予測
US10237567B2 (en) 2013-04-08 2019-03-19 Ge Video Compression Llc Inter-component prediction
JP2020509714A (ja) * 2017-04-04 2020-03-26 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ピクチャブロックのイントラ予測に使用される参照サンプルの処理
JPWO2019189904A1 (ja) * 2018-03-30 2021-02-12 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Also Published As

Publication number Publication date
KR20080067363A (ko) 2008-07-18
RU2369038C1 (ru) 2009-09-27
KR100977101B1 (ko) 2010-08-23
US8149910B2 (en) 2012-04-03
BRPI0619193A2 (pt) 2011-09-20
JPWO2007063808A1 (ja) 2009-05-07
AU2006320064A1 (en) 2007-06-07
US20070121731A1 (en) 2007-05-31
EP1965589A1 (en) 2008-09-03
RU2408161C1 (ru) 2010-12-27
JP5044415B2 (ja) 2012-10-10
CN101361370A (zh) 2009-02-04
CA2631336A1 (en) 2007-06-07
CN101361370B (zh) 2010-12-01
AU2006320064B2 (en) 2010-09-09

Similar Documents

Publication Publication Date Title
WO2007063808A1 (ja) 画像符号化／画像復号化方法及び画像符号化／画像復号化装置
AU2006346583B2 (en) Image encoding and decoding method and apparatus
RU2414093C2 (ru) Способ и устройство, и программа кодирования/декодирования видео
KR101538704B1 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR101838124B1 (ko) 평면 표현을 이용한 향상된 인트라-예측 부호화
US20100118945A1 (en) Method and apparatus for video encoding and decoding
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
CN104054338A (zh) 位深和颜色可伸缩视频编码
JPWO2008084817A1 (ja) 画像符号化と復号化の方法及び装置
KR20110000438A (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
US20060198439A1 (en) Method and system for mode decision in a video encoder
RU2427976C2 (ru) Способ и устройство для кодирования и декодирования изображения
KR101739580B1 (ko) 적응적 스캔 장치 및 그 스캔 방법
KR20100088034A (ko) 인트라 예측 모드 결정 방법 및 장치
Rao et al. H. 264/mpeg-4 advanced video coding
MX2008006909A (en) Image encoding/image decoding method and image encoding/image decoding apparatus
MX2009000832A (es) Metodo y aparato de codificacion y decodificacion de imagenes.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007547928

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2631336

Country of ref document: CA

Ref document number: 4594/DELNP/2008

Country of ref document: IN

Ref document number: 2006833410

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/a/2008/006909

Country of ref document: MX

Ref document number: 1020087013004

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 12008501303

Country of ref document: PH

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2008123371

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 2006320064

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2006320064

Country of ref document: AU

Date of ref document: 20061127

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 200680051272.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: PI0619193

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20080529