[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2012018197A2 - 인트라 예측 복호화 장치 - Google Patents

인트라 예측 복호화 장치 Download PDF

Info

Publication number
WO2012018197A2
WO2012018197A2 PCT/KR2011/005590 KR2011005590W WO2012018197A2 WO 2012018197 A2 WO2012018197 A2 WO 2012018197A2 KR 2011005590 W KR2011005590 W KR 2011005590W WO 2012018197 A2 WO2012018197 A2 WO 2012018197A2
Authority
WO
WIPO (PCT)
Prior art keywords
mode
prediction
intra prediction
unit
block
Prior art date
Application number
PCT/KR2011/005590
Other languages
English (en)
French (fr)
Other versions
WO2012018197A3 (ko
Inventor
오수미
Original Assignee
Oh Soo-Mi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45559905&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2012018197(A2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to RS20160460A priority Critical patent/RS55052B1/sr
Priority to JP2013523088A priority patent/JP5997152B2/ja
Priority to EP16161943.2A priority patent/EP3059961B1/en
Priority to EP16161928.3A priority patent/EP3059954B1/en
Priority to EP16160964.9A priority patent/EP3051815B1/en
Priority to PL16161933T priority patent/PL3059957T3/pl
Priority to MX2015001380A priority patent/MX336416B/es
Priority to PL16161927T priority patent/PL3059953T3/pl
Priority to PL16161937T priority patent/PL3059959T3/pl
Priority to EP16161936.6A priority patent/EP3059958B1/en
Priority to MX2015001382A priority patent/MX336418B/es
Priority to EP16161933.3A priority patent/EP3059957B1/en
Priority to DK11814797.4T priority patent/DK2600613T3/en
Priority to EP16161929.1A priority patent/EP3059955B1/en
Priority to MX2015001383A priority patent/MX336419B/es
Priority to ES11814797.4T priority patent/ES2575381T3/es
Priority to MX2015001381A priority patent/MX336417B/es
Priority to PL16161943T priority patent/PL3059961T3/pl
Priority to MX2013001232A priority patent/MX2013001232A/es
Priority to PL16161928T priority patent/PL3059954T3/pl
Priority to EP11814797.4A priority patent/EP2600613B1/en
Priority to PL16161929T priority patent/PL3059955T3/pl
Application filed by Oh Soo-Mi filed Critical Oh Soo-Mi
Priority to SI201130847A priority patent/SI2600613T1/sl
Priority to PL16161936T priority patent/PL3059958T3/pl
Priority to EP16161927.5A priority patent/EP3059953B1/en
Priority to EP16161937.4A priority patent/EP3059959B1/en
Priority to PL16160964T priority patent/PL3051815T3/pl
Priority to CN201180042188.0A priority patent/CN103081474B/zh
Publication of WO2012018197A2 publication Critical patent/WO2012018197A2/ko
Publication of WO2012018197A3 publication Critical patent/WO2012018197A3/ko
Priority to US13/624,852 priority patent/US9307246B2/en
Priority to US14/929,589 priority patent/US9467702B2/en
Priority to US14/929,516 priority patent/US9609325B2/en
Priority to US14/929,534 priority patent/US9615094B2/en
Priority to US14/929,602 priority patent/US9445099B2/en
Priority to US14/929,544 priority patent/US9438919B2/en
Priority to US14/929,643 priority patent/US9462281B2/en
Priority to US14/929,668 priority patent/US9451264B2/en
Priority to US14/929,685 priority patent/US9491468B2/en
Priority to US14/929,567 priority patent/US9451263B2/en
Priority to SM201600168T priority patent/SMT201600168B/it
Priority to HRP20160911TT priority patent/HRP20160911T1/hr
Priority to CY20161100743T priority patent/CY1117856T1/el
Priority to CY20191100254T priority patent/CY1121337T1/el
Priority to CY20191100498T priority patent/CY1122995T1/el
Priority to US17/343,127 priority patent/USRE49565E1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Definitions

  • the present invention relates to an intra prediction decoding apparatus, and more particularly, to an apparatus for generating a reconstruction block by reconstructing an intra prediction mode and adaptively decoding a prediction block and a residual block accordingly.
  • a picture is divided into macro blocks to encode an image.
  • Each macro block is encoded using inter prediction or intra prediction.
  • intra prediction does not refer to a reference picture in order to encode a block of a current picture, but encodes using a pixel value spatially adjacent to the current block to be encoded.
  • an intra prediction mode with less distortion compared to the original macro block is selected using adjacent pixel values.
  • the prediction value for the current block to be encoded is calculated using the selected intra prediction mode and the adjacent pixel value, and the difference between the prediction value and the pixel value of the original current block is obtained, and then encoded through transform encoding, quantization, and entropy encoding. .
  • the prediction mode is also encoded.
  • Intra prediction modes are classified into 4 ⁇ 4 intra prediction modes of luminance components, 8 ⁇ 8 intra prediction modes, 16 ⁇ 16 intra prediction modes, and intra prediction modes of chrominance components.
  • the 16 ⁇ 16 intra prediction mode there are a total of four modes of a vertical mode, a horizontal mode, a direct current mode, and a plane mode.
  • the 4x4 intra prediction mode includes a vertical mode, a horizontal mode, a direct current mode, a diagonal down-left mode, a diagonal down-right mode, There are a total of nine modes: vertical right mode, vertical left mode, horizontal-up mode, and horizontal-down mode.
  • the prediction mode numbers indexed to each mode are numbers determined according to the frequency with which each mode is used.
  • Vertical mode which is stochastic mode 0, is the most used mode to perform intra prediction on the target block, and horizontal mode which is 8 is the least used mode.
  • the current block is encoded in 13 modes, that is, the 4 ⁇ 4 intra prediction mode and the 16 ⁇ 16 intra prediction mode, and a bitstream of the current block according to the optimal mode among them.
  • An object of the present invention is to provide an intra prediction decoding apparatus for effectively reconstructing an encoded image having high compression efficiency by generating or reconstructing a predictive block close to an original image.
  • An intra prediction decoding apparatus includes an entropy decoding unit for reconstructing quantized residual coefficients, intra prediction information, and size information of a prediction unit from a received bit stream, intra prediction information received from the entropy decoding unit, and a current prediction unit.
  • a prediction mode decoder for restoring the intra prediction mode of the current prediction unit based on the size information, a residual signal decoder for restoring the residual signal according to the intra prediction mode received from the prediction mode decoder, or not available for the current prediction unit
  • a reference pixel generator for reconstructing the non-referenced pixel and adaptively filtering the reference pixel based on the intra prediction mode of the current prediction unit received from the prediction mode decoder, and corresponding to the intra prediction mode received from the prediction mode decoder Using the reference pixels
  • a prediction block post processor configured to adaptively filter the prediction blocks generated from the prediction block generator according to the intra prediction mode received from the prediction mode decoder, and a prediction block decoder received from the prediction mode decoder.
  • the intra prediction decoding apparatus generates a reference pixel to generate a prediction block close to the original image, and adaptively filters the reference pixel, thereby generating a prediction block close to the original image.
  • the prediction block close to the original image may be reconstructed by generating the prediction block or transforming the prediction block by using pixels that are not used to generate the prediction block, thereby increasing the image compression ratio.
  • FIG. 1 is a block diagram illustrating a video encoding apparatus according to the present invention.
  • FIG. 2 is a diagram illustrating a configuration of an intra prediction unit according to the present invention.
  • FIG. 3 is a diagram illustrating a directional intra prediction mode according to the present invention.
  • FIG. 4 is a diagram illustrating an intra prediction mode encoding process of a current prediction unit performed by a prediction mode encoder according to the present invention.
  • FIG. 5 is a block diagram illustrating an intra prediction decoding apparatus according to the present invention.
  • each picture consists of a plurality of slices, and each slice consists of a plurality of coding units.
  • each slice consists of a plurality of coding units.
  • an HD class or higher image there are many areas where the image is relatively flat, so that encoding by various coding units may increase the image compression rate.
  • the coding unit according to the present invention may be divided hierarchically using depth information into a quad tree structure.
  • the largest coding unit is referred to as a largest coding unit (LCU), and the smallest coding unit is referred to as a smallest coding unit (SCU).
  • Information related to the largest coding unit (LCU) and the minimum coding unit (SCU) may be included in a sequence parameter set (SPS) and transmitted.
  • SPS sequence parameter set
  • the maximum coding unit consists of one or more coding units.
  • the largest coding unit has the form of a recursive coding tree to include the coding structure and the partition structure of the coding unit. Therefore, if the largest coding unit is not divided into four lower coding units, the coding tree may be composed of one coding unit and information indicating that the coding tree is not divided. However, if the largest coding unit is divided into four lower coding units, the coding tree may be composed of information indicating splitting and four lower coding trees. Similarly, each sub-coding tree has the same structure as the coding tree of the largest coding unit. However, it is not divided below the minimum coding unit.
  • each coding unit in the coding tree is subjected to intra prediction or inter prediction in units of coding units or sub partitions.
  • a unit for performing the intra prediction or the inter prediction is called a prediction unit.
  • the prediction unit for intra prediction may be 2N ⁇ 2N or N ⁇ N.
  • Prediction units for inter prediction may be 2Nx2N, 2NxN, Nx2N, NxN.
  • 2N means the length and width of the coding unit.
  • the prediction unit for intra prediction may not be square.
  • a square square coding unit may split intra into four hN ⁇ 2N or four 2N ⁇ hN to perform intra prediction.
  • the compression efficiency can be increased by getting closer between the reference pixel for intra prediction and the pixel of the prediction block.
  • This intra prediction method is called short distance intra prediction (SDIP).
  • the coding unit includes the prediction mode of the prediction unit in the coding unit and the size information (partmode) of the prediction unit.
  • joint coding may be performed by combining the prediction mode information and the size information of the prediction unit.
  • each coding unit includes a joint coded prediction type (pred_type).
  • the coding unit includes the additional information and the residual signal necessary to generate the predictive block of each prediction unit in the coding unit.
  • the side information is defined for each prediction unit in the coding unit.
  • the side information includes encoded intra prediction information.
  • the side information includes coded motion information.
  • the motion information includes a motion vector and a reference picture index.
  • the residual signal is included for each coding unit.
  • the residual signal includes one transform tree, one luminance residual signal carrier and two chrominance residual signal carriers.
  • the residual signal carrier includes encoded residual information of one or more transform units.
  • the maximum transform unit is less than or equal to the coding unit size.
  • the transform unit can have a maximum transform unit or lower transform unit size.
  • the transform tree includes information indicating the partition structure of the transform units for the residual signal included in the coding unit.
  • the transform tree also includes information indicating whether or not the residual signal in each transform unit is zero.
  • the residual signal carrying unit carries encoded residual information of a transform unit corresponding to information representing a partition structure in the transform tree in units of coding units.
  • intra or inter prediction may be more effective for residual signal compression by dividing the image signal unevenly in a specific direction according to the shape of the boundary portion of the image.
  • the simplest adaptive mode is to split the coding unit into two blocks using straight lines to extract the statistical dependence of the local topography of the prediction region.
  • the boundary portion of the image is matched and divided into straight lines.
  • a method of dividing a block may be defined in four directions: horizontal, vertical, upward diagonal, and downward diagonal. It may also be limited only horizontally and vertically.
  • the divisible number is 3, 5, 7 and the like. The divisible number may vary depending on the size of the block. For example, it is possible to increase the number of splittables relative to a large coding unit.
  • inter prediction when one coding unit is divided into two prediction units in order to predict more adaptively, motion prediction and motion compensation should be performed for each prediction unit.
  • two prediction blocks may be added to generate a prediction block having a size of one coding unit.
  • pixels located at the division boundaries may be filtered.
  • one of the prediction blocks may be generated by smoothing the overlapping boundary portions.
  • FIG. 1 is a block diagram illustrating a video encoding apparatus according to the present invention.
  • the video encoding apparatus 100 may include a picture splitter 110, a transformer 120, a quantizer 130, a scanning unit 131, an entropy encoder 140, and an intra.
  • the picture dividing unit 110 analyzes the input video signal, divides the picture into coding units having a predetermined size for each largest coding unit, and determines a prediction mode, and determines the size of the prediction unit for each coding unit.
  • the picture splitter 110 transmits the prediction unit to be encoded to the intra predictor 150 or the inter predictor 160 according to the prediction mode.
  • the picture dividing unit 110 sends the prediction unit to be encoded to the subtracting unit 190.
  • the transformer 120 converts the residual block that is the residual signal of the original block of the input prediction unit and the prediction block generated by the intra predictor 150 or the inter predictor 160.
  • the residual block is composed of a coding unit.
  • the residual block composed of the coding units is divided into optimal transform units and transformed.
  • the transformation matrix may be adaptively determined according to the prediction mode (intra or inter) and the intra prediction mode.
  • the transform unit can be transformed by two (horizontal, vertical) one-dimensional transform matrices. For example, in the case of inter prediction, one predetermined transformation matrix is determined.
  • a DCT-based integer matrix is applied in the vertical direction and DST-based in the horizontal direction.
  • a KLT-based integer matrix is applied in the vertical direction and a DCT based integer matrix in the horizontal direction.
  • a transform matrix may be adaptively determined depending on the size of the transform unit.
  • the quantization unit 130 determines the quantization step size for quantizing the coefficients of the residual block transformed by the transform matrix for each coding unit.
  • the quantization step size is determined for each coding unit of a predetermined size or more.
  • the predetermined size may be 8x8 or 16x16, and the coefficients of the transform block are quantized using a quantization matrix determined according to the determined quantization step size and the prediction mode.
  • the quantization unit 130 uses the quantization step size of the coding unit adjacent to the current coding unit as the quantization step size predictor of the current coding unit.
  • the quantization unit 130 searches in order of the left coding unit, the upper coding unit, and the upper left coding unit of the current coding unit, and determines the quantization step size predictor of the current coding unit by using the quantization step sizes of at least one valid coding unit.
  • the difference value is transmitted to the entropy encoder 140.
  • candidates may be the coding units adjacent to the current coding unit and the coding unit immediately before the coding order within the maximum coding unit.
  • the order may be reversed and the upper left coding unit may be omitted.
  • the quantized transform block is provided to the inverse quantization unit 135 and the scanning unit 131.
  • the scanning unit 131 scans the coefficients of the quantized transform block and converts them into one-dimensional quantization coefficients.
  • the coefficient scanning method is determined according to the prediction mode and the intra prediction mode. In addition, the coefficient scanning scheme may be determined differently according to the size of the transform unit.
  • the scanning unit 131 determines whether the current transform unit divides the quantized coefficient block into a plurality of subsets according to the size. When the size of the transform unit is larger than the first reference size, the quantized coefficient block is divided into a plurality of subsets.
  • the first reference size is 4x4 or 8x8.
  • the scanning unit 131 determines a scan pattern to be applied to the quantized coefficient block.
  • a scan pattern predetermined according to the intra prediction mode may be applied.
  • the scan pattern may vary depending on the directional intra prediction mode. Apply zigzag scan for non-directional modes.
  • the non-directional mode may be a DC mode or a planar mode.
  • the scan order of the quantization coefficients scans in the reverse direction.
  • the same scan pattern is applied to the quantized coefficients in each subset.
  • the plurality of subsets consists of one main subset and at least one residual subset.
  • the main subset is located on the upper left side containing the DC coefficients, and the remaining subset covers an area other than the main subset.
  • Scan patterns between subsets apply a zigzag scan.
  • the scan pattern is preferably scanned from the main subset to the remaining subsets in the forward direction, but vice versa. It is also possible to set scan patterns between subsets in the same manner as scan patterns of quantized coefficients in the subset. In this case, the scan pattern between the subsets is determined according to the intra prediction mode.
  • the encoder sends information to the decoder that can indicate the location of the last non-zero quantization coefficient in the transform unit. Information that can indicate the location of the last non-zero quantization coefficient in each subset is also sent to the decoder. The information may be information indicating the position of the last non-zero quantization coefficient in each subset.
  • Inverse quantization 135 inverse quantizes the quantized quantization coefficients.
  • the inverse transform unit 125 restores the inverse quantized transform coefficients to the residual block of the spatial domain.
  • the adder combines the residual block reconstructed by the inverse transform unit and the prediction block from the intra predictor 150 or the inter predictor 160 to generate a reconstructed block.
  • the post-processing unit 160 performs a deblocking filtering process for removing a blocking effect occurring in the reconstructed picture, an adaptive offset application process for compensating a difference value from the original image in pixel units, and a difference from the original image in the coding unit.
  • An adaptive loop filter process is performed to compensate for the value.
  • the deblocking filtering process is preferably applied to the boundary of the prediction unit and the transform unit having a size of a predetermined size or more.
  • the size may be 8x8.
  • the deblocking filtering process includes determining a boundary to filter, determining a boundary filtering strength to be applied to the boundary, determining whether to apply a deblocking filter, and the deblocking filter. If it is determined to apply, the method includes selecting a filter to apply to the boundary.
  • Whether or not the deblocking filter is applied indicates i) whether the boundary filtering intensity is greater than 0 and ii) the degree of change of pixel values in two block (P block, Q block) boundary portions adjacent to the boundary to be filtered. The value is determined by whether or not the value is smaller than the first reference value determined by the quantization parameter.
  • the said filter is at least 2 or more.
  • a filter that performs relatively weak filtering is selected.
  • the second reference value is determined by the quantization parameter and the boundary filtering intensity.
  • the adaptive offset application process is to reduce the distortion between the original pixel and the pixel in the image to which the deblocking filter is applied.
  • the picture or slice may be divided into a plurality of offset regions, and an offset mode may be determined for each offset region.
  • the offset mode may include four edge offset modes, two band offset modes, and an offset free mode. According to each offset mode, pixels in each offset region are classified into a predetermined number of classes, and an offset corresponding to the classified classes is added.
  • the class of the current pixel is determined by comparing pixel values of the current pixel and two or more adjacent pixels.
  • the adaptive loop filter process may perform filtering based on a value obtained by comparing the reconstructed image and the original image that have undergone the deblocking filtering process or the adaptive offset application process.
  • the adaptive loop filter is detected through one Laplacian Activity value based on a 4x4 block.
  • the determined ALF may be applied to all pixels included in a 4x4 or 8x8 block.
  • Whether to apply the adaptive loop filter may be determined for each coding unit.
  • the size and coefficients of the loop filter to be applied according to each coding unit may vary.
  • Information indicating whether the adaptive loop filter is applied to each coding unit, filter coefficient information, and filter type information may be included in each slice header and transmitted to the decoder. In the case of a chrominance signal, it may be determined whether to apply an adaptive loop filter on a picture basis.
  • the shape of the loop filter may have a rectangular shape unlike the luminance.
  • the picture storage unit 180 receives the post-processed image data from the post processor 160 and restores and stores the image in picture units.
  • the picture may be an image in a frame unit or an image in a field unit.
  • the picture storage unit 180 includes a buffer (not shown) that can store a plurality of pictures.
  • the inter prediction unit 150 performs motion estimation using at least one reference picture stored in the picture storage unit 180, and determines a reference picture index and a motion vector representing the reference picture.
  • the prediction block corresponding to the prediction unit to be encoded is output from a reference picture used for motion estimation among a plurality of reference pictures stored in the picture storage unit 150 according to the determined reference picture index and the motion vector. .
  • the intra prediction unit 140 performs intra prediction encoding by using the reconstructed pixel values in the picture in which the current prediction unit is included.
  • the intra prediction unit 140 receives the current prediction unit to be predictively encoded, selects one of a preset number of intra prediction modes according to the size of the current block, and performs intra prediction.
  • the intra predictor adaptively filters the reference pixel to generate an intra prediction block. If the reference pixel is invalid, the reference pixels of the invalid position may be generated using the valid reference pixels.
  • the entropy encoder 130 entropy encodes the quantization coefficients quantized by the quantizer 130, intra prediction information received from the intra predictor 140, motion information received from the inter predictor 150, and the like.
  • FIG. 2 is a diagram illustrating a configuration of an intra predictor 140 according to the present invention.
  • the intra prediction unit 140 may include a prediction unit receiver 141, a reference pixel generator 142, a prediction block generator 143, a prediction block post processor 144, and a prediction mode determiner 145. And a prediction mode encoder 146.
  • the prediction unit receiver 141 receives the prediction unit input from the picture division unit 110.
  • the prediction unit receiver 141 transmits the received size information of the prediction unit to the prediction mode determiner 145 and the reference pixel generator 142, and transmits the prediction unit to the reference pixel generator 142 and the prediction block generator ( 143).
  • L is the width of the current prediction unit
  • M is the height of the current prediction unit.
  • reference pixels are generated with a constant value.
  • the reference block is generated by copying the nearest available pixel value.
  • the value of the generated reference pixels may be a rounded value of an average value of the reference pixel p and the reference pixel q.
  • the generated values of the reference pixels may be generated using a change in the difference between the pixel values of the reference pixel p and the reference pixel q.
  • the reference pixel may be generated through linear interpolation according to the generated pixel position or the weighted average of the two reference pixels.
  • a difference value between both boundary pixels positioned at the boundary of the two upper prediction units is a difference value between adjacent pixels in each upper prediction unit. Is likely to be greater than This case results from the error caused by the quantization parameter. The error is likely to occur in the case of directional intra prediction modes in which a prediction block is generated using two adjacent reference pixels.
  • the modes (mode numbers 3, 6, and 9) having a directionality of 45 ° based on the horizontal or vertical direction of FIG. 3 are most affected.
  • the vertical or horizontal modes (mode numbers 0 and 1) are less affected since one pixel is used for pixel generation of the prediction block.
  • a smoothing filter is applied to the reference pixels for the directional intra prediction modes (mode numbers 3, 6, and 9) having a directionality of 45 °, and the vertical and horizontal directional intra prediction modes (mode numbers 0, For 1), no filter is applied to the reference pixels.
  • the filter is not applied to the reference pixels even in the DC mode among the non-directional modes. For these modes, whether or not the above-described application may be determined regardless of the size of the current prediction unit.
  • the filtering is performed on the reference pixels according to the size of the prediction unit.
  • filter can be adaptively applied.
  • the filter when the filter is applied to the reference pixels in the first directional mode, the filter may or may not be applied to the reference pixels in the second directional mode.
  • the change in the difference value between the pixels in the large size prediction unit is more likely to be gentler than the change in the difference value between the pixels in the small size prediction unit. Therefore, as the size of the prediction unit increases, the reference pixel can be filtered for more directional modes, and a stronger filter can be applied. In contrast, the filter may not be applied when the size of the prediction unit becomes smaller than a specific size.
  • a first filter is applied to a prediction unit having a size smaller than or equal to a first size, and is larger than the first size.
  • the second filter which is a stronger filter than the first filter, may be applied to the large prediction unit.
  • the first size may vary depending on directional prediction modes.
  • the prediction unit having a size smaller than or equal to the second size may be used.
  • the first filter may be applied in a prediction unit having a size larger than the second size and smaller than or equal to the third size
  • the second filter may be used in a prediction unit having a size larger than the third size.
  • the second size and the third size may vary according to directional prediction modes.
  • the first filter may be [1, 2, 1], which is a 3-tap filter, or [1, 2, 4, 2, 1], which is a 5-tap filter.
  • the second filter may use a strong filter having a greater smoothing effect than the first filter.
  • the prediction block generator 143 generates a prediction block by using corresponding reference pixels in the intra prediction mode.
  • corresponding reference pixels differ according to the intra prediction mode.
  • the intra prediction mode is the vertical mode
  • Non-directional intra prediction modes are DC mode and planar mode.
  • a reference pixel of a prediction block is generated by using a corner reference pixel, a left reference pixel, and an upper reference pixel.
  • the intra prediction modes on the right side of the vertical mode (mode number 0) of FIG. 3 when the prediction block is generated using only the upper reference pixels, the pixels of the lower left region of the generated prediction block and the pixels of the original prediction unit are generated. And the probability that the difference increases. However, in at least some of the modes, the difference value may be reduced by generating a prediction block using upper reference pixels and left reference pixels. This effect is greatest in intra prediction mode with mode number 6. Similarly, the same is true for the intra prediction modes below the horizontal mode (mode number 1) of FIG. 3, which is the largest in the intra prediction mode having the mode number 9.
  • one upper interpolation reference pixel and one left interpolation reference pixel may be used to generate a prediction pixel.
  • the prediction pixel may be generated by a linear interpolation method of the one upper interpolation reference pixel and one left interpolation reference pixel, or may use a rounded average value.
  • a prediction block may be generated using the left reference pixels and the upper reference pixels. That is, when the intra prediction mode is a prediction mode within a predetermined number (for example, four) of 6 or 6, the prediction block may be generated using the left reference pixels and the upper reference pixels.
  • the method may not be applied in an intra prediction mode having a mode number larger than a predetermined mode number (eg, 9 or 17) in order to reduce complexity.
  • a predetermined mode number e.g. 9 or 17
  • the size of the current prediction unit may be applied only to prediction units of a predetermined size or more (eg, 8x8 or 16x16).
  • the predictive block postprocessor 144 adaptively filters the predictive block generated by the predictive block generator 143. In order to reduce the difference in pixel values between the reference pixel and the pixels in the prediction block adjacent to the reference pixel, some or all of the pixels in the prediction block and the adjacent prediction block are adaptively filtered according to the intra prediction mode.
  • pixels in the prediction block adjacent to the reference pixel are generated using the reference pixel, and thus no filter is applied.
  • a filter is applied because the average value of the reference pixel is used.
  • different types of filters may be used according to the size of the prediction unit (the size of the prediction block).
  • the filter used for the large prediction unit may use the same filter as that used for the small prediction unit or a strong filter having a large smoothing effect.
  • the difference between the pixels of the generated prediction block and the corresponding pixels of the original prediction unit when the corresponding prediction block is generated using only the upper reference pixels, the difference between the pixels of the generated prediction block and the corresponding pixels of the original prediction unit. The higher the value is, the more likely it is to go to the lower left area. In particular, in the intra prediction mode having the mode number 6, the difference value becomes larger.
  • the difference between the pixels of the prediction block and the corresponding pixels of the original prediction unit increases toward the bottom
  • the horizontal mode mode number 1
  • the pixels of the prediction block and the original prediction unit The difference between the corresponding pixels of and the larger becomes to the right.
  • some pixels in the prediction block may be adaptively filtered according to the directional intra prediction mode.
  • the some pixels of the prediction block are filtered using the reference pixels of the prediction unit not used for generating the prediction block.
  • the area to be filtered may be set differently according to the directional intra prediction mode.
  • the area to be filtered may be the same or wider.
  • the filter may not be applied in the intra prediction mode having a mode number greater than a predetermined mode number (for example, 9 or 17) to reduce the complexity.
  • some pixels of the prediction block may be adaptively filtered according to the size of the prediction unit. As the size of the prediction unit increases, the pixel ratio to be filtered may be maintained or increased.
  • the prediction block may not be filtered.
  • the prediction block may not be filtered.
  • the prediction unit of 32x32 or more all eight boundary pixels may be filtered.
  • the filter intensity to be applied to the pixels of the prediction block may vary according to the size of the prediction unit. As the size of the prediction unit increases, the filter strength may be maintained or increased.
  • the prediction mode determiner 145 determines the intra prediction mode of the current prediction unit by using the reference pixels.
  • the prediction mode determiner 145 may determine, as the intra prediction mode of the current prediction unit, an intra prediction mode in which the prediction coding amount of the residual block generated by using the prediction block for each intra prediction mode or the post-processed prediction block is minimum. .
  • the prediction mode encoder 146 encodes the intra prediction mode of the current prediction unit by using the intra prediction modes of the prediction unit adjacent to the current prediction unit.
  • FIG. 4 is a diagram illustrating an intra prediction mode encoding process of a current prediction unit performed by the prediction mode encoder 146 according to the present invention.
  • an intra prediction mode candidate of a current prediction unit is searched for (S110).
  • the intra prediction mode candidate may be the top and left modes of the current prediction unit.
  • the corner intra prediction mode may be added, and a new mode may be added according to the upper and left intra prediction modes.
  • the intra prediction mode of the first valid prediction unit is set as the upper intra prediction mode while scanning in a predetermined direction (for example, right to left). Even when there are a plurality of left prediction units of the current prediction unit, the intra prediction mode of the first valid prediction unit may be set as the left intra prediction mode while scanning in a predetermined direction (eg, lower). Alternatively, the smallest mode number among the mode numbers of the plurality of valid prediction units may be set as the upper intra prediction mode.
  • the corner intra prediction mode may be a prediction mode of the prediction unit adjacent to the upper right side or the upper left side of the current prediction unit.
  • the first intra prediction mode may be valid when scanning is performed according to a predetermined order (for example, upper right lower left upper left) among intra prediction modes adjacent to the upper left, upper right and lower right sides of the current prediction unit.
  • Two (right top, top left) or three (top right, top left, bottom left) corner intra prediction modes may be added or may not exist as candidates for intra prediction modes of the current prediction unit.
  • the intra prediction mode of the valid intra prediction mode candidate is changed (S130).
  • the intra prediction mode value of the valid intra prediction mode candidate is a predetermined number of intra prediction mode values. Convert to one of these.
  • the predetermined number may vary depending on the size of the current prediction unit. For example, if the size of the current prediction unit is 4x4, it maps to one of nine modes (modes 0 to 8) or 18 modes. If the size of the current prediction unit is 64x64, the four modes (number 0 to 2) Mode).
  • an intra prediction candidate list of the current prediction unit is constructed (S140).
  • the candidate list may be in order of mode number. Further, the frequency may be in the order of high frequency, but in the case of the same frequency, the mode number may be used. If a plurality of intra prediction candidates have the same mode, the rest except one is deleted from the list.
  • a mode change value for changing the intra prediction mode of the current prediction unit is obtained (S170).
  • the mode change value is the number of intra prediction mode candidates having a mode value not greater than the intra prediction mode value of the current prediction unit by comparing the intra prediction mode values of the intra prediction candidate list.
  • the intra prediction mode of the current prediction unit is changed using the mode change value (S180).
  • the intra prediction mode of the changed current prediction unit is determined.
  • the intra prediction mode of the changed current prediction unit is transmitted to the entropy encoder 140.
  • FIG. 5 is a block diagram illustrating an intra prediction decoding apparatus 200 according to the present invention.
  • the intra prediction decoding apparatus 200 includes an entropy decoding unit 210, a residual signal decoding unit 220, a prediction mode decoding unit 230, a reference pixel generator 240, and a prediction block generator 250.
  • the prediction block post processor 260 and the image restorer 270 are included.
  • the entropy decoder 210 extracts the quantized residual coefficients from the received bitstream, and transmits the quantized residual coefficients and the size information of the transform unit to the residual signal decoder 220. In addition, the entropy decoder 210 transmits the intra prediction information and the size information of the prediction unit to be decoded from the received bit stream to the prediction mode decoder 230.
  • the residual signal decoder 220 converts the received quantized residual coefficient into a dequantized block of a two-dimensional array.
  • One of the plurality of scanning patterns is selected for the conversion.
  • the scanning pattern of the transform block is determined based on at least one of a prediction mode and an intra prediction mode.
  • the reverse scanning operation is the same as the reverse process of the operation of the scanning unit 131 of FIG. That is, if the size of the current transform unit to be decoded is larger than the first reference size, inverse scanning is performed for each of a plurality of subsets based on the inverse scanning pattern, and an inverse having the size of the transform unit using the plurality of inverse-scanned subsets is obtained. Generate a quantization block. On the other hand, if the size of the current transform unit to be decoded is not larger than the first reference size, inverse scanning is performed based on the inverse scanning pattern to generate an inverse quantization block having the size of the transform unit.
  • the prediction mode decoder 230 restores the intra prediction mode of the current prediction unit based on the intra prediction information received from the entropy decoder 210 and the size information of the current prediction unit.
  • the received intra prediction information is recovered through the inverse process of FIG. 4.
  • the reference pixel generator 240 reconstructs a reference pixel that is not available in the current prediction unit and adaptively selects the reference pixel based on the intra prediction mode of the current prediction unit received from the prediction mode decoder 230. To filter.
  • the method of generating the reference pixel and the method of filtering the reference pixel are the same as the method of generating the reference pixel and the method of filtering the reference pixel of the reference pixel generator 142 of the intra predictor 140 of FIG. 2.
  • L is the width of the current prediction unit
  • M is the height of the current prediction unit.
  • a reference pixel is generated if reference pixels for generating the prediction block based on the intra prediction mode are not available or not sufficient.
  • reference pixels are generated with a constant value.
  • the reference block is generated by copying the nearest available pixel value.
  • the value of the generated reference pixels may be a rounded value of an average value of the reference pixel p and the reference pixel q.
  • the generated values of the reference pixels may be generated using a change in the difference between the pixel values of the reference pixel p and the reference pixel q.
  • the reference pixel may be generated through linear interpolation according to the generated pixel position or the weighted average of the two reference pixels.
  • a difference value between both boundary pixels positioned at the boundary of the two upper prediction units is a difference value between adjacent pixels in each upper prediction unit. Is likely to be greater than This case results from the error caused by the quantization parameter. The error is likely to occur in the case of directional intra prediction modes in which a prediction block is generated using two adjacent reference pixels.
  • the modes (mode numbers 3, 6, and 9) having a directionality of 45 ° based on the horizontal or vertical direction of FIG. 3 are most affected.
  • the vertical or horizontal modes (mode numbers 0 and 1) are less affected since one pixel is used for pixel generation of the prediction block.
  • a smoothing filter is applied to the reference pixels for the directional intra prediction modes (mode numbers 3, 6, and 9) having a directionality of 45 °, and the vertical and horizontal directional intra prediction modes (mode numbers 0, For 1), no filter is applied to the reference pixels.
  • the filter is not applied to the DC mode among the non-directional modes. For these modes, whether or not the above-described application may be determined regardless of the size of the current prediction unit.
  • a smoothing filter may be adaptively applied to intra prediction modes (mode numbers 3, 6, and 9) having 45 ° directionality and directional modes having directionality between the vertical or vertical intra prediction modes. .
  • the change in the difference value between the pixels in the large size prediction unit is more likely to be gentler than the change in the difference value between the pixels in the small size prediction unit. Therefore, as the size of the prediction unit increases, the reference pixel can be filtered for more directional modes, and a stronger filter can be applied. In contrast, the filter may not be applied when the size of the prediction unit becomes smaller than a specific size.
  • a first filter is applied to a prediction unit having a size smaller than or equal to a first size, and is larger than the first size.
  • the second filter which is a stronger filter than the first filter, may be applied to the large prediction unit.
  • the first size may vary depending on directional prediction modes.
  • the prediction unit having a size smaller than or equal to the second size may be used.
  • the first filter may be applied in a prediction unit having a size larger than the second size and smaller than or equal to the third size
  • the second filter may be used in a prediction unit having a size larger than the third size.
  • the second size and the third size may vary according to directional prediction modes.
  • the first filter may be [1, 2, 1], which is a 3-tap filter, or [1, 2, 4, 2, 1], which is a 5-tap filter.
  • the second filter may use a strong filter having a greater smoothing effect than the first filter.
  • the prediction block generator 250 generates the prediction block according to the intra prediction mode of the current prediction unit received from the prediction mode decoder 230.
  • the prediction block generation method is the same as the prediction block generation method of the prediction block generation unit 142 of the intra prediction unit 140 of FIG. 2.
  • corresponding reference pixels vary according to the intra prediction mode.
  • the intra prediction mode is the vertical mode
  • Non-directional intra prediction modes are DC mode and planar mode.
  • a reference pixel of a prediction block is generated by using a corner reference pixel, a left reference pixel, and an upper reference pixel.
  • the intra prediction modes on the right side of the vertical mode (mode number 0) of FIG. 3 when the prediction block is generated using only the upper reference pixels, the pixels of the lower left region of the generated prediction block and the pixels of the original prediction unit are generated. And the probability that the difference increases. However, in at least some of the modes, the difference value may be reduced by generating a prediction block using upper reference pixels and left reference pixels. This effect is greatest in intra prediction mode with mode number 6. Similarly, the same is true for the intra prediction modes below the horizontal mode (mode number 1) of FIG. 3, which is the largest in the intra prediction mode having the mode number 9.
  • one upper interpolation reference pixel and one left interpolation reference pixel may be used to generate a prediction pixel.
  • the prediction pixel may be generated by a linear interpolation method of the one upper interpolation reference pixel and one left interpolation reference pixel, or may use a rounded average value.
  • a prediction block may be generated using the left reference pixels and the upper reference pixels.
  • the method may not be applied in an intra prediction mode having a mode number larger than a predetermined mode number (eg, 9 or 17) in order to reduce complexity.
  • the size of the current prediction unit may be applied only to prediction units of a predetermined size or more (eg, 8x8 or 16x16).
  • the prediction block post processor 260 adaptively filters the prediction blocks generated by the prediction block generator 250 according to the intra prediction mode of the current prediction unit received from the prediction mode decoder 230.
  • the predictive block post processor may be integrated into the predictive block generator 250.
  • the filtering method of the prediction block is the same as the prediction block filtering method of the prediction block post processor 144 of the intra prediction unit 140 of FIG. 2.
  • some or all of the pixels in the prediction block and the adjacent prediction block are adaptively filtered according to the intra prediction mode.
  • pixels in a prediction block adjacent to the reference pixel are generated using the reference pixel, and thus no filter is applied.
  • a filter is applied because the average value of the reference pixel is used.
  • different types of filters may be used according to the size of the prediction unit (the size of the prediction block).
  • the filter used for the large prediction unit may use the same filter as that used for the small prediction unit or a strong filter having a large smoothing effect.
  • the difference between the pixels of the generated prediction block and the corresponding pixels of the original prediction unit when the corresponding prediction block is generated using only the upper reference pixels, the difference between the pixels of the generated prediction block and the corresponding pixels of the original prediction unit. The higher the value is, the more likely it is to go to the lower left area. In particular, in the intra prediction mode having the mode number 6, the difference value becomes larger.
  • the difference between the pixels of the prediction block and the corresponding pixels of the original prediction unit increases toward the bottom
  • the horizontal mode mode number 1
  • the pixels of the prediction block and the original prediction unit The difference between the corresponding pixels of and the larger becomes to the right.
  • some pixels in the prediction block may be adaptively filtered according to the directional intra prediction mode.
  • the some pixels of the prediction block are filtered using the reference pixels of the prediction unit not used for generating the prediction block.
  • the area to be filtered may be set differently according to the directional intra prediction mode.
  • the area to be filtered may be the same or wider.
  • the filter may not be applied in the intra prediction mode having a mode number greater than a predetermined mode number (for example, 9 or 17) to reduce the complexity.
  • some pixels of the prediction block may be adaptively filtered according to the size of the prediction unit. As the size of the prediction unit increases, the pixel ratio to be filtered may be maintained or increased.
  • the prediction block may not be filtered.
  • the prediction block may not be filtered.
  • the prediction unit of 32x32 or more all eight boundary pixels may be filtered.
  • the filter intensity to be applied to the pixels of the prediction block may vary according to the size of the prediction unit. As the size of the prediction unit increases, the filter strength may be maintained or increased.
  • the image reconstruction unit 270 receives the prediction block in units of prediction units from the prediction block generator 250 or the prediction block filtering unit 260 according to the intra prediction mode reconstructed by the prediction mode decoder 230.
  • the image reconstructor 270 receives the residual block reconstructed by the residual signal decoder 220 in units of transform units.
  • the image reconstructor 250 generates a reconstructed image by adding the received prediction block and the residual block.
  • the reconstructed image may be reconstructed in units of coding units.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Television Signal Processing For Recording (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명에 따른 인트라 복호화 장치는 수신된 비트 스트림으로부터 양자화된 잔차계수, 인트라 예측 정보 및 예측 유닛의 크기 정보를 복원하고, 상기 인트라 예측 정보 및 현재 예측 유닛의 크기 정보에 기초하여 현재 예측 유닛의 인트라 예측 모드를 복원하고, 예측 유닛의 이용 가능하지 않은 참조 화소를 생성하여 상기 인트라 예측 모드에 기초하여 참조화소를 적응적으로 필터링한다. 또한, 상기 인트라 예측 모드에 대응하는 참조픽셀들을 이용하여 예측블록을 생성하고 적응적으로 필터링하여 예측블록을 생성한다. 그리고, 상기 예측블록과 복원된 잔차블록을 이용하여 복원영상을 생성한다. 따라서, 원본 영상에 가까운 예측 블록을 복원할 수 있게 되어, 영상 압축률을 높일 수 있다.

Description

인트라 예측 복호화 장치
본 발명은 인트라 예측 복호화 장치에 관한 것으로, 보다 상세하게는 인트라 예측 모드를 복원하여, 이에 따라 예측블록과 잔차블록을 적응적으로 복호화하여 복원블록을 생성하는 장치에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4 H.264/MPEG-4 AVC(Advanced Video coding)와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처를 매크로 블록으로 나눈다. 그리고, 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 이용해 각각의 매크로 블록을 부호화한다.
이 중에서 인트라 예측은 현재 픽처(picture)의 블록을 부호화하기 위해서 참조 픽처를 참조하는 것이 아니라, 부호화하려는 현재 블록과 공간적으로 인접한 화소값을 이용하여 부호화를 수행한다. 우선, 인접한 화소값을 이용하여 원본 매크로 블록과 비교하여 왜곡이 적은 인트라 예측 모드를 선택한다. 다음으로, 선택된 인트라 예측 모드 및 인접한 화소값을 이용하여 부호화하려는 현재 블록에 대한 예측값을 계산하고, 예측값과 원본 현재 블록의 화소값의 차이를 구한 후 이를 변환부호화, 양자화, 엔트로피 부호화를 통해 부호화한다. 그리고, 예측 모드도 부호화된다.
여기서, 인트라 예측 모드들은 크게 휘도 성분의 4×4 인트라 예측 모드, 8×8 인트라 예측모드, 16×16 인트라 예측 모드 및 색차 성분의 인트라 예측 모드로 나뉜다.
종래 기술에 따른 16×16 인트라 예측 모드에는 수직(vertical) 모드, 수평(horizontal) 모드, DC(direct current) 모드, 플레인(plane) 모드의 총 네가지의 모드가 존재한다.
종래 기술에 따른 4×4 인트라 예측 모드에는 수직(vertical) 모드, 수평(horizontal) 모드, DC(direct current) 모드, 대각선 왼쪽(diagonal down-left) 모드, 대각선 오른쪽(diagonal down-right) 모드, 수직 오른쪽(vertical right) 모드, 수직 왼쪽(vertical left) 모드, 수평 위쪽(horizontal-up) 모드 및 수평 아래쪽(horizontal-down) 모드의 총 9개의 모드가 존재한다.
각각의 모드에 인덱싱(indexing)된 예측 모드 번호들은 각각의 모드가 이용되는 빈도수에 따라 결정된 번호이다. 확률적으로 0번 모드인 수직 모드가 대상 블록에 대해 인트라 예측을 수행할 때 가장 많이 쓰이는 모드이며, 8번인 수평 위쪽(horizontal-up) 모드가 가장 적게 쓰이는 모드이다.
H.264 표준안에 따르면 영상을 부호화함에 있어 상기 4×4 인트라 예측 모드 및 16×16 인트라 예측 모드의 총 13가지 모드로 현재 블록을 부호화하고, 그 중 최적의 모드에 따라 현재 블록에 대한 비트스트림을 생성한다.
그러나, 현재 블록에 포함된 화소들에 인접한 화소값들 중 일부 또는 전부가 존재하지 않거나, 부호화되지 않은 경우에는 인트라 예측 모드 중 일부 또는 전부를 적용할 수 없는 문제점이 발생한다. 또한, 참조 화소들 사이의 단차가 발생할 경우에는 예측블록과 원본 블록 사이의 차이값이 커지게 되는 문제가 발생한다. 또한, 예측 블록을 생성하기 위해 사용되는 참조 픽셀들의 위치에 따라 생성되는 예측블록과 원본 블록 사이의 차이값을 줄여주기 위한 새로운 기법들이 요구된다.
본 발명이 이루고자 하는 기술적 과제는 원본 영상에 가까운 예측 블록을 생성 또는 복원함으로써, 압축 효율이 높은 부호화된 영상을 효과적으로 복원하기 위한 인트라 예측 복호화 장치를 제공하는데 있다.
본 발명에 따른 인트라 예측 복호화 장치는 수신된 비트 스트림으로부터 양자화된 잔차계수, 인트라 예측 정보 및 예측 유닛의 크기 정보를 복원하는 엔트로피 복호화부, 상기 엔트로피 복호화부으로부터 수신된 인트라 예측 정보 및 현재 예측 유닛의 크기 정보에 기초하여 현재 예측 유닛의 인트라 예측 모드를 복원하는 예측모드 복호화부, 상기 예측모드 복호화부로부터 수신된 인트라 예측 모드에 따라 잔차신호를 복원하는 잔차신호 복호화부, 현재 예측 유닛의 이용 가능하지 않은 참조 화소를 복원하고, 예측모드 복호화부로부터 수신된 현재 예측 유닛의 인트라 예측 모드에 기초하여 참조화소를 적응적으로 필터링하는 참조화소 생성부, 상기 예측모드 복호화부로부터 수신된 인트라 예측 모드에 대응하는 참조픽셀들을 이용하여 예측블록을 생성하는 예측블록 생성부, 상기 예측모드 복호화부로부터 수신된 인트라 예측 모드에 따라 상기 예측블록 생성부로부터 생성된 예측블록을 적응적으로 필터링하는 예측블록 후처리부, 및 상기 예측 모드 복호화부로부터 수신된 인트라 예측 모드에 따라 예측 블록 생성부 또는 예측 블록 필터링부(260)로부터 예측 유닛 단위로 예측 블록을 수신하고, 상기 잔차신호 복호화부로부터 수신된 복원된 잔차블록을 이용하여 복원영상을 생성하는 영상 복원부를 포함한다.
본 발명에 따른 인트라 예측 복호화 장치는 원본 영상에 근접한 예측 블록을 생성하기 위해 참조 픽셀을 생성하고, 상기 참조 픽셀을 적응적으로 필터링함으로써, 원본 영상에 가까운 예측 블록을 생성한다. 또한, 예측 블록 생성시 예측블록의 생성에 이용되지 않는 화소들을 이용하여 예측블록을 생성하거나 예측 블록을 변형함으로써, 원본 영상에 가까운 예측 블록을 복원할 수 있게 되어, 영상 압축률을 높일 수 있다.
도 1은 본 발명에 따른 동영상 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명에 따른 본 발명에 따른 인트라 예측부의 구성을 나타내는 도면이다.
도 3은 본 발명에 따른 방향성 인트라 예측 모드를 나타내는 도면이다.
도 4는 본 발명에 따른 예측모드 부호화부에서 수행되는 현재 예측 유닛의 인트라 예측 모드 부호화 과정을 나타내는 도면이다
도 5는 본 발명에 따른 인트라 예측 복호화 장치를 나타내는 블록도이다.
이하, 본 발명의 여러가지 실시예들을 예시적인 도면을 통해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
영상 부호화를 위해 각 픽쳐는 복수개의 슬라이스로 이루어지고, 각 슬라이스는 복수개의 코딩 유닛으로 이루어진다. HD급 이상의 영상에서는 영상이 비교적 평탄해지는 영역이 많으므로, 다양한 크기의 코딩 유닛으로 부호화를 하는 것이 영상 압축률을 높일 수 있다.
본 발명에 따른 코딩 유닛은 쿼드 트리 구조(Quad Tree Structure)로 깊이 정보(Depth)를 이용하여 계층적으로 분할 될 수 있다. 가장 큰 크기의 코딩 유닛을 최대 코딩 유닛(Largest Coding Unit, LCU)라고 지칭하고, 가장 작은 크기의 코딩 유닛을 최소 코딩 유닛(Smallest Coding Unit, SCU)라고 지칭한다. 최대 코딩 유닛 (LCU)과 최소 코딩 유닛(SCU)와 관련된 정보는 시퀀스 파라미터 셋(Sequence Parameter Set, SPS)에 포함되어 전송될 수 있다.
최대 코딩 유닛은 1개 이상의 코딩 유닛으로 구성된다. 따라서, 최대 코딩 유닛은 코딩 유닛의 분할 구조와 코딩 유닛을 포함하기 위해 재귀적 코딩 트리(Coding tree) 형태를 갖는다. 따라서, 최대 코딩 유닛이 4개의 하위 코딩 유닛으로 분할되지 않으면, 상기 코딩 트리는 분할되지 않음을 나타내는 정보와 1개의 코딩 유닛으로 구성될 수 있다. 그러나, 최대 코딩 유닛이 4개의 하위 코딩 유닛으로 분할되면, 상기 코딩 트리는 분할됨을 나타내는 정보와 4개의 하위 코딩 트리로 구성될 수 있다. 마찬가지로, 각각의 하위 코딩 트리는 최대 코딩 유닛의 코딩 트리와 동일한 구조를 갖는다. 다만, 최소 코딩 유닛 이하로는 분할되지 않는다.
한편, 코딩 트리 내의 각각의 코딩 유닛은 코딩 유닛 자체 또는 서브 파티션 단위로 인트라 예측(Intra Pediction) 또는 인터 예측(Inter Prediction)이 수행된다. 상기 인트라 예측 또는 인터 예측을 수행하는 단위를 예측 유닛(Prediction unit)이라 지칭한다. 인트라 예측을 위한 예측 유닛은 2Nx2N 또는 NxN일 수 있다. 인터 예측을 위한 예측 유닛은 2Nx2N, 2NxN, Nx2N, NxN일수 있다. 여기서 2N은 코딩 유닛의 가로 및 세로 길이를 의미한다.
한편, 인트라 예측을 위한 예측 유닛이 정사각형이 아닐 수도 있다. 예를 들어, 정사각형의 정사각형의 코딩 유닛은 4개의 hNx2N 또는 4개의 2NxhN로 분할하여 인트라 예측을 수행할 수 있다. 이 경우, 인트라 예측을 위한 참조픽셀과 예측블록의 픽셀사이가 가까워져 압축효율을 높일 수 있다. 이러한 인트라 예측 방식을 SDIP(Short Distance Intra Prediction)이라 부른다.
코딩 유닛은 코딩 유닛 내의 예측 유닛의 예측 모드와 예측 유닛의 크기 정보(partmode)를 포함한다. 부호화 효율을 높이기 위해 예측 모드 정보 및 예측 유닛의 크기 정보를 결합하여 조인트 코딩할 수 있다. 이 경우, 각 코딩 유닛마다 조인트 코딩된 예측 타입(pred_type)이 포함된다.
코딩 유닛은 코딩 유닛 내의 각 예측 유닛의 예측 블록을 생성하기 위해 필요한 부가정보와 잔차신호를 포함한다. 부가정보는 코딩 유닛 내의 예측 유닛마다 정의된다. 인트라 예측의 경우, 상기 부가정보는 부호화된 인트라 예측 정보를 포함한다. 인터 예측의 경우, 상기 부가 정보는 부호화된 움직임 정보를 포함한다. 상기 움직임 정보는 움직임 벡터 및 참조 픽쳐 인덱스를 포함한다.
잔차 신호는 코딩 유닛마다 포함된다. 잔차신호는 1개의 변환 트리, 1개의 휘도 잔차신호 운반부 및 2개의 색차 잔차신호 운반부를 포함한다. 상기 잔차신호 운반부는 하나 이상의 변환 유닛의 부호화된 잔차 정보를 포함한다. 최대 변환 유닛은 코딩 유닛 사이즈보다 작거나 같다. 변환 유닛은 최대 변환 유닛 또는 그 하위의 변환 유닛 크기를 가질 수 있다.
상기 변환 트리는 코딩 유닛 내에 포함된 잔차신호에 대한 변환 유닛들의 분할 구조를 나타내는 정보를 포함한다. 또한, 변환 트리는 각 변환 유닛 내의 잔차신호가 0인지 아닌지를 나타내는 정보를 포함한다.
상기 잔차신호 운반부는 상기 변환 트리 내의 분할 구조를 나타내는 정보에 대응하는 변환 유닛의 부호화된 잔차 정보를 코딩 유닛 단위로 운반한다.
한편, 앞서 설명한 내용에서는 코딩 유닛이 균등 분할된 예측 유닛에 대해서만 설명하으나, 비균등 분할도 가능하다. 즉, 영상의 경계 부분의 형상에 따라 영상 신호를 특정방향으로 균등하지 않게 분할하여 인트라 또는 인터 예측을 하는 것이 잔차신호 압축에 더욱 효과적일 수 있다.
가장 간단한 적응적인 모드는 예측 영역의 국부적인 지형의 통계적 의존성을 추출하기 위해 코딩 유닛을 직선을 이용하여 2개의 블록으로 분할하는 것이다. 즉, 영상의 경계부분을 직선으로 매칭시켜 분할하는 것이다. 이 경우, 분할 가능한 방향을 소정 개수로 한정하는 것이 바람직하다. 예를 들어, 블록을 분할하는 방법을 수평, 수직, 상향 대각선, 하향 대각선의 4가지 방향으로 한정할 수 있다. 또한, 수평, 수직으로만 한정할 수도 있다. 분할 가능한 수는 3, 5, 7 등이 가능하다. 분할 가능한 수는 블록의 크기에 달리할 수 있다. 예를 들어, 사이즈가 큰 코딩 유닛에 대해 상대적으로 분할 가능한 수를 늘릴 수 있다.
인터 예측의 경우, 하나의 코딩 유닛을 보다 적응적으로 예측하기 위해 2개의 예측 유닛으로 분할한 경우, 예측 유닛 각각에 대하여 움직임 예측 및 움직임 보상을 하여야 한다. 하나의 코딩 유닛에 대해 분할된 2개의 예측 유닛마다의 예측블록을 구한 후 2개의 예측블록을 더하여 하나의 코딩 유닛 크기의 예측블록을 생성할 수 있다. 이 경우, 코딩 유닛 크기의 예측블록의 분할 경계 사이의 화소값의 변화량을 줄이기 위해 상기 분할 경계에 위치하는 화소들을 필터링 할 수 있다. 이 경우, 각각의 예측 유닛에 대응하는 예측블록들이 겹치도록 예측 블록을 생성한 후, 상기 겹치는 경계 부분을 스무딩(smoothing)하여 하나의 예측 블록을 생성할 수 있다.
도 1은 본 발명에 따른 동영상 부호화 장치를 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 따른 동영상 부호화 장치(100)는 픽쳐 분할부(110), 변환부(120), 양자화부(130), 스캐닝부(131), 엔트로피 부호화부(140), 인트라 예측부(150), 인터 예측부(160), 역양자화부(135), 역변환부(125), 후처리부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(195)를 포함한다.
픽쳐 분할부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 가장 큰 코딩 유닛마다 소정 크기의 코딩 유닛으로 분할하여 예측 모드를 결정하고, 상기 코딩 유닛별로 예측 유닛의 크기를 결정한다. 그리고, 픽쳐 분할부(110)는 부호화할 예측 유닛을 예측 모드에 따라 인트라 예측부(150) 또는 인터 예측부(160)로 보낸다. 또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 감산부(190)로 보낸다.
변환부(120)는 입력된 예측 유닛의 원본 블록과 인트라 예측부(150) 또는 인터 예측부(160)에서 생성된 예측 블록의 잔차신호인 잔차 블록을 변환한다. 상기 잔차 블록은 코딩 유닛으로 구성하는 것이 바람직하다. 코딩 유닛으로 구성된 잔차 블록은 최적의 변환 유닛으로 분할되어 변환된다. 예측 모드(intra or inter) 및 인트라 예측 모드에 따라 적응적으로 변환 매트릭스가 결정될 수 있다. 변환 유닛은 2개(수평, 수직)의 1차원 변환 매트릭스에 의해 변환될 수 있다. 예를 들어, 인터 예측의 경우에는 미리 결정된 1개의 변환 매트릭스가 결정된다. 반면에, 인트라 예측의 경우, 인트라 예측 모드가 수평인 경우에는 잔차 블록이 수직방향으로의 방향성을 가질 확률이 높아지므로, 수직방향으로는 DCT 기반의 정수 매트릭스를 적용하고, 수평방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를 적용한다. 인트라 예측 모드가 수직인 경우에는 수직방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를, 수평 방향으로는 DCT 기반의 정수 매트릭스를 적용한다. DC 모드의 경우에는 양방향 모두 DCT 기반 정수 매트릭스를 적용한다. 또한, 인트라 예측의 경우, 변환 유닛의 크기에 의존하여 변환 매트릭스가 적응적으로 결정될 수도 있다.
양자화부(130)는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위한 양자화 스텝 사이즈를 코딩 유닛별로 결정한다. 양자화 스텝 사이즈는 미리 정해진 크기 이상의 코딩 유닛마다 결정된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다 그리고, 결정된 양자화 스텝 사이즈 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들을 양자화한다. 양자화부(130)는 현재 코딩 유닛의 양자화 스텝 사이즈 예측자로서 현재 코딩 유닛에 인접한 코딩 유닛의 양자화 스텝 사이즈를 이용한다. 양자화부(130)는 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛, 좌상측 코딩 유닛 순서로 검색하여 적어도 하나 이상의 유효한 코딩 유닛의 양자화 스텝 사이즈를 이용하여 현재 코딩 유닛의 양자화 스텝 사이즈 예측자를 결정하고, 차분값을 엔트로피 부호화부(140)로 전송한다.
한편, 슬라이스가 코딩 유닛으로 분리될 경우에는 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛, 좌상측 코딩 유닛 모두가 존재하지 않을 가능성이 있다. 반면에 최대 코딩 유닛 내의 부호화 순서 상으로 이전에 존재하는 코딩 유닛이 존재할 수 있다. 따라서, 현재 코딩 유닛에 인접한 코딩 유닛들과 상기 최대 코딩 유닛 내에서는 부호화 순서상 바로 이전의 코딩 유닛이 후보자가 될 수 있다. 이 경우, 1) 현재 코딩 유닛의 좌측 코딩 유닛, 2) 현재 코딩 유닛의 상측 코딩 유닛, 3) 현재 코딩 유닛의 좌상측 코딩 유닛, 4) 부호화 순서상 바로 이전의 코딩 유닛 순서로 우선순위를 둘 수 있다. 상기 순서는 바뀔 수 있고, 상기 좌상측 코딩 유닛은 생략될 수도 있다.
상기 양자화된 변환 블록은 역양자화부(135)와 스캐닝부(131)로 제공된다.
스캐닝부(131)는 양자화된 변환 블록의 계수들을 스캐닝하여 1차원의 양자화 계수들로 변환한다. 계수 스캐닝 방식은 예측 모드 및 인트라 예측 모드에 따라 결정된다. 또한, 계수 스캐닝 방식은 변환 유닛의 크기에 따라 달리 결정될 수도 있다. 스캐닝부(131)는 현재 변환 유닛이 크기에 따라 양자화된 계수 블록을 복수개의 서브셋으로 분할할지 여부를 결정한다. 변환 유닛의 크기가 제1 기준 크기보다 큰 경우 상기 양자화된 계수 블록을 복수개의 서브셋으로 분할한다. 상기 제1 기준 크기는 4x4 또는 8x8인 것이 바람직하다.
스캐닝부(131)는 양자화된 계수 블록에 적용될 스캔 패턴을 결정한다. 인터 예측 모드의 경우에는 미리 정해진 하나의 스캔 패턴(예를 들어, 지그재그 스캔)만을 적용할 수 있다. 인트라 예측의 경우에는 인트라 예측 모드에 따라 미리 정해진 스캔패턴을 적용할 수 있다. 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있다. 비방향성 모드들에 대해서는 지그재그 스캔을 적용한다. 비방향성 모드는 DC 모드 또는 planar 모드일 수 있다. 양자화 계수들의 스캔순서는 역방향으로 스캔한다.
상기 양자화된 계수들이 복수개의 서브셋으로 분할된 경우에는 각각의 서브셋 내의 양자화 계수들에 동일한 스캔패턴을 적용한다. 상기 복수개의 서브셋은 하나의 메인 서브셋과 적어도 하나 이상의 잔여 서브셋으로 구성된다. 메인 서브셋은 DC 계수를 포함하는 좌상측에 위치하고, 상기 잔여 서브셋은 메인 서브셋 이외의 영역을 커버한다.
서브셋 간의 스캔패턴은 지그재그 스캔을 적용한다. 스캔 패턴은 메인 서브셋으로부터 순방향으로 잔여 서브셋들로 스캔하는 것이 바람직하나, 그 역방향도 가능하다. 또한, 서브셋 내의 양자화된 계수들의 스캔패턴과 동일하게 서브셋 간의 스캔패턴을 설정할수도 있다. 이 경우, 서브셋 간의 스캔패턴이 인트라 예측 모드에 따라 결정된다. 한편, 부호기는 상기 변환 유닛내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 복호기로 전송한다. 각 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보도 복호기로 전송한다. 상기 정보는 각각의 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타내는 정보일 수 있다.
역양자화(135)는 상기 양자화된 양자화 계수를 역양자화한다. 역변환부(125)는 역양자화된 변환 계수를 공간 영역의 잔차 블록으로 복원한다. 가산기는 상기 역변환부에 의해 복원된 잔차블록과 인트라 예측부(150) 또는 인터 예측부(160)로부터의 예측 블록을 합쳐서 복원 블록을 생성한다.
후처리부(160)는 복원된 픽쳐에 발생하는 블록킹 효과의 제거하기 위한 디블록킹 필터링 과정, 픽셀 단위로 원본 영상과의 차이값을 보완하기 위한 적응적 오프셋 적용 과정 및 코딩 유닛으로 원본 영상과의 차이값을 보완하기 위한 적응적 루프 필터 과정을 수행한다.
디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 예측 유닛 및 변환 유닛의 경계에 적용하는 것이 바람직하다. 상기 크기는 8x8일 수 있다. 상기 디블록킹 필터링 과정은 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함한다.
* 상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 픽셀값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정된다.
상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 픽셀들간의 차이값의 절대값이 제2 기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다. 상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.
적응적 오프셋 적용 과정은 디블록킹 필터가 적용된 영상내의 화소와 원본 화소간의 차이값(distortion)을 감소시키기 위한 것이다. 픽쳐 또는 슬라이스는 복수개의 오프셋 영역들로 분할될 수 있고, 각 오프셋 영역별로 오프셋 모드가 결정될 수 있다. 오프셋 모드는 4개의 에지 오프셋 모드, 2개의 밴드 오프셋 모드 및 오프셋 미적용 모드를 포함할 수 있다. 각 오프셋 모드에 따라 각 오프셋 영역 내의 픽셀들을 소정개수의 클래스로 분류하고, 분류된 클래스에 대응하는 오프셋을 더해준다. 에지 오프셋 모드의 경우에는 현재 화소 및 이에 인접하는 2개 이상의 화소들의 화소값을 비교하여 현재 화소의 클래스를 결정한다.
적응적 루프 필터 과정은 디블록킹 필터링 과정 또는 적응적 오프셋 적용 과정을 거친 복원된 영상과 원본 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 적응적 루프 필터는 4x4 크기의 블록을 기반으로 하나의 라플라시안 활동값(Laplacian Activity value)을 통해 검출된다. 상기 결정된 ALF는 4x4 크기 또는 8x8 크기의 블록에 포함된 화소 전체에 적용될 수 있다. 적응적 루프 필터의 적용 여부는 코딩 유닛별로 결정될 수 있다. 각 코딩 유닛에 따라 적용될 루프 필터의 크기 및 계수는 달라질 수 있다. 코딩 유닛별로 상기 적응적 루프 필터의 적용 여부를 나타내는 정보, 필터 계수 정보, 필터 형태 정보 등은 각 슬라이스 헤더에 포함되어 복호기로 전송될 수 있다. 색차 신호의 경우에는, 픽쳐 단위로 적응적 루프 필터의 적용 여부를 결정할 수 있다. 루프 필터의 형태도 휘도와 달리 직사각형 형태를 가질 수 있다.
픽쳐 저장부(180)는 후처리된 영상 데이터를 후처리부(160)로부터 입력 받아 픽쳐(picture) 단위로 영상을 복원하여 저장한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다. 픽쳐 저장부(180)는 다수의 픽쳐를 저장할 수 있는 버퍼(도시되지 않음)를 구비한다.
인터 예측부(150)는 상기 픽쳐 저장부(180)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 결정한다. 그리고, 결정된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(150)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 예측 유닛에 대응하는 예측 블록을 추출하여 출력한다.
인트라 예측부(140)는 현재 예측 유닛이 포함되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행한다. 인트라 예측부(140)는 예측 부호화할 현재 예측 유닛을 입력 받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행한다. 인트라 예측부는 인트라 예측 블록을 생성하기 위해 참조 픽셀을 적응적으로 필터링한다. 참조 픽셀이 유효하지 않은 경우에는 유효한 참조 픽셀들을 이용하여 상기 유효하지 않은 위치의 참조 픽셀들을 생성할 수 있다.
엔트로피 부호화부(130)는 양자화부(130)에 의해 양자화된 양자화 계수, 인트라 예측부(140)로부터 수신된 인트라 예측 정보, 인터 예측부(150)로부터 수신된 움직임 정보 등를 엔트로피 부호화한다.
도 2는 본 발명에 따른 본 발명에 따른 인트라 예측부(140)의 구성을 나타내는 도면이다.
도 2를 참조하면, 인트라 예측부(140)는 예측 유닛 수신부(141), 참조 화소 생성부(142), 예측 블록 생성부(143), 예측 블록 후처리부(144), 예측 모드 결정부(145) 및 예측 모드 부호화부(146)를 포함한다.
예측 유닛 수신부(141)는 픽쳐 분할부(110)로부터 입력되는 예측 유닛을 수신한다. 예측 유닛 수신부(141)는 수신된 예측 유닛의 크기 정보를 예측 모드 결정부(145) 및 참조 화소 생성부(142)로 송신하고, 예측 유닛을 참조 화소 생성부(142)와 예측블록 생성부(143)로 전송한다.
참조 화소 생성부(142)는 수신된 현재 예측 유닛의 참조화소들이 이용가능한지를 판단한다. 인트라 예측에 이용되는 현재 예측 유닛의 참조 화소들은 (x=-1, y=-1) 위치를 갖는 코너 참조 화소, (x=0…2L-1, y=-1) 위치를 갖는 2L개의 상측 참조화소들, (x=0, y=0…2M-1) 위치를 갖는 2M개의 좌측 참조 화소들로 구성된다. 여기서 L은 현재 예측 유닛의 가로 길이(width)이고, M은 현재 예측 유닛의 세로길이(height)를 나타낸다.
* 참조 화소들이 이용 가능하지 않거나, 충분하지 않은 경우에 참조 화소를 생성한다.
모든 참조 화소들이 이용 가능하지 않은 경우에는 일정값으로 참조 화소들을 생성한다.
상기 참조 화소들 중 일부가 이용 가능하지 않은 경우에는 상기 이용 가능하지 않은 화소들이 이용 가능한 화소들의 한쪽 방향으로만 존재하는지 또는 이용 가능한 화소들 사이에 존재하는지 여부를 판단한다.
상기 이용 가능하지 않은 화소들이 이용 가능한 화소들의 한쪽 방향으로만 존재하는 경우에는, 가장 가까운 이용 가능한 화소값을 복사하여 참조 블록을 생성한다. 예를 들어, 현재 예측 유닛이 픽쳐 또는 슬라이스의 상측 경계에 위치하는 경우에는 상기 코너 참조 화소 및 상측 참조화소들이 이용 가능하지 않다. 따라서, 이 경우에는 가장 가까운 위치인 (x=-1, y=0) 위치의 참조 화소를 복사하여 코너 참조 화소 및 상측 참조 화소들을 생성할 수 있다. 또한, 상기 가장 가까운 위치의 이용 가능한 참조 화소와 적어도 하나 이상의 이용 가능한 참조 화소를 이용하여 참조 화소들을 생성할 수도 있다. 예를 들어, (x=-1, y=-1) 위치를 갖는 코너 참조 화소와 (x=0…L-1, y=-1) 위치의 참조 화소들이 이용 가능하고, (x=L…2L-1, y=-1) 위치의 참조 화소들이 이용 가능하지 않은 경우, (x=L-1, y=-1) 위치의 참조 화소와, 코너 참조 화소값 또는 그 이외의 참조 화소값의 차이 변화를 이용하여 상기 이용 가능하지 않은 위치의 참조 화소를 생성할 수 있다.
상기 이용 가능하지 않은 화소들이 이용 가능한 화소들 사이에 존재하는 경우에는 이용 가능하지 않은 화소들에 인접한 2개의 이용 가능한 화소(p, q)를 이용하여 참조 화소를 생성한다. 예를 들어, (x=-1, y=-1) 위치를 갖는 코너 참조 화소와, (x=0…L-1, y=-1) 위치의 L개의 상측 참조 화소들이 이용 가능하지 않을 경우에는 (x=-1, y=0) 위치의 참조 화소(p) 및 (x=L, y=-1) 위치의 참조 화소(q)를 이용하여 그 사이의 참조 화소들을 생성한다.
생성된 참조 화소들의 값은 상기 참조 화소(p)와 참조 화소(q)의 평균값의 반올림값일 수 있다. 또한, 상기 생성된 참조 화소들의 값은 상기 참조화소(p)와 상기 참조 화소(q)의 화소값의 차이 변화를 이용하여 생성될 수 있다. 이 경우, 생성되는 화소 위치에 따른 선형 보간 또는 상기 2개의 참조화소의 가중평균을 통해 참조 화소를 생성할 수 있다.
한편, 현재 예측 유닛의 상측에 복수개의 예측 유닛이 존재하는 경우, 상기 상측 2개의 예측 유닛들 경계에 위치하는 양쪽 경계 픽셀들 사이의 차이값은 각각의 상측 예측 유닛 내의 인접 픽셀들 사이의 차이값보다 클 가능성이 높다. 이러한 경우는 양자화 파라미터에 의해 발생하는 에러로부터 기인한다. 상기 에러는 인접하는 2개의 참조 픽셀을 이용하여 예측 블록이 생성되는 방향성 인트라 예측 모드들의 경우에 발생할 가능성이 높다.
특히, 도 3의 수평 또는 수직 방향을 기준으로 45°의 방향성을 갖는 모드들(모드번호 3, 6, 9)이 가장 큰 영향을 받는다. 반면에 수직 또는 수평 방향의 모드들(모드번호 0, 1)은 예측 블록의 화소 생성을 위해 1개의 화소가 이용되므로 영향을 적게 받는다.
따라서, 45°의 방향성을 갖는 방향성 인트라 예측 모드들(모드번호 3, 6, 9)에 대해서는 참조 화소들에 필터(smoothing filter)를 적용하고, 수직 및 수평 방향성 인트라 예측 모드들(모드번호 0, 1)에 대해서는 참조 화소들에 필터를 적용하지 않는다. 비방향성 모드 중 DC 모드에도 참조화소들에 필터를 적용하지 않는다.. 이들 모드들에 대해서는 현재 예측 유닛의 크기와 관계없이 상기한 적용 여부가 결정될 수 있다.
그리고, 45° 방향성을 갖는 인트라 예측 모드(모드번호 3, 6, 9)와 상기 수직 또는 수직 인트라 예측 모드 사이의 방향성을 갖는 방향성 모드들에 대해서는 예측 유닛의 크기에 따라 참조 픽셀들에 필터(smoothing filter)를 적응적으로 적용할 수 있다. 이 경우, 45°의 방향성을 갖는 인트라 예측 모드에 인접한 인트라 예측 모드들일수록 참조픽셀들에 필터(smoothing filter)를 적용할 확률을 높이는 것이 바람직하다. 즉, 제1 방향성 모드가 제2 방향성 모드보다 상기 45°의 방향성을 갖는 인트라 예측 모드에 더 인접한 방향성을 갖는 경우, 제2 방향성 모드의 참조픽셀들에 필터를 적용하면, 제1 방향성 모드의 참조픽셀들에도 필터를 적용한다. 반대로 제1 방향성 모드의 참조픽셀들에 필터가 적용될 경우, 제2 방향성 모드의 참조픽셀들에는 필터가 적용될수도 있고 적용되지 않을수도 있다.
또한, 큰 사이즈의 예측 유닛 내의 픽셀들 사이의 차이값의 변화는 작은 사이즈의 예측 유닛 내의 픽셀들 사이의 차이값의 변화보다 완만할 가능성이 높다. 따라서, 예측 유닛의 사이즈가 커질수록 더 많은 방향성 모드들에 대하여 참조 픽셀을 필터링할 수 있고, 더 강한 필터를 적용할수 있다. 반대로, 예측 유닛의 사이즈가 특정 크기보다 작아질 경우에는 필터를 적용하지 않을 수도 있다.
예를 들어, 45°의 방향성을 갖는 인트라 예측 모드들(모드번호 3, 6, 9)에서는, 제1 크기보다 작거나 같은 사이즈의 예측 유닛에 대해서는 제1 필터를 적용하고, 상기 제1 크기보다 큰 사이즈의 예측 유닛에 대해서는 제1 필터보다 강한 필터인 제2 필터를 적용할 수 있다. 상기 제1 크기는 방향성 예측 모드들에 따라 달라질 수 있다.
예를 들어, 수직 인트라 예측 모드와 모드번호 6을 갖는 인트라 예측 모드(45°의 방향성 모드) 사이에 위치하는 모드번호 5를 갖는 인트라 예측 모드에서는, 제2 크기보다 작거나 같은 사이즈의 예측 유닛에서는 필터를 적용하지 않고, 제2 크기보다 크고 제3 크기보다 작거나 같은 사이즈의 예측 유닛에서는 제1 필터를 적용하고, 제3 크기보다 큰 사이즈의 예측 유닛에서는 제2 필터를 사용할 수 있다. 상기 제2 크기 및 제3 크기는 방향성 예측 모드들에 따라 달라질 수 있다.
상기 제1 필터는 3-tap 필터인 [1, 2, 1] 또는 5-tap 필터인 [1, 2, 4, 2, 1]일 수 있다. 상기 제2 필터는 상기 제1 필터보다 스무딩 효과가 큰 강한 필터를 사용할 수 있다.
예측 블록 생성부(143)는 인트라 예측 모드에 따라 대응하는 참조 픽셀들을 이용하여 예측 블록을 생성한다.
방향성 인트라 예측 모드들은, 인트라 예측 모드에 따라 대응하는 참조 픽셀들이 달라진다. 예를 들어, 인트라 예측 모드가 수직 모드인 경우에는 (x=0…L-1, y=-1) 위치의 L개의 상측 참조 화소를 이용하고, 수평 모드인 경우에는 (x=-1, y=0…L-1) 위치의 L개의 좌측 참조 화소를 이용한다.
비방향성 인트라 예측 모드는 코너 화소, (x=0…L-1, y=-1) 위치의 L개의 상측 참조 화소, (x=-1, y=0…L-1) 위치의 L개의 좌측 참조 화소들을 이용한다. 비방향성 인트라 예측 모드는 DC 모드와 플래너 모드(Planar mode)이다.
플래너 모드의 경우, 코너 참조 화소, 좌측 참조 화소 및 상측 참조 화소를 이용하여 예측 블록의 참조 화소를 생성한다. 생성하고자 하는 참조 화소의 위치가 (a, b)인 경우 생성되는 참조 화소 X(a, b)는 코너 참조 화소 C(x=-1, y=-1), 상측 참조 화소 T(x=a, y=-1) 및 좌측 참조 화소 L(x=-1, y=b)를 이용한다. 구체적으로 X(a, b) = L(x=-1, y=b) + T(x=a, y=-1) - C(x=-1, y=-1) 일 수 있다.
도 3의 수직 모드(모드 번호 0)의 우측의 인트라 예측 모드들은 상측 참조 화소들만을 이용하여 예측 블록을 생성을 하게 되면, 생성된 예측 블록의 좌하측 영역의 픽셀들과 원본 예측 유닛의 픽셀들과 차이값이 커질 확률이 높아진다. 그러나, 상기 모드들 중 적어도 일부 모드에 대해서는 상측 참조화소들과 좌측 참조화소들을 이용하여 예측 블록을 생성하면 상기 차이값을 줄일 수 있다. 이러한 효과는 모드번호 6을 갖는 인트라 예측 모드에서 가장 크다. 마찬가지로, 도 3의 수평 모드(모드 번호 1)의 아래쪽의 인트라 예측 모드들에 대해서도 동일하며, 모드번호 9을 갖는 인트라 예측 모드에서 가장 크다.
따라서, 상기 모드 6 또는 모드 9에서는 예측 픽셀을 생성하기 위해 대응(예를 들면, 예측 픽셀의 45° 각도에 위치)하는 하나의 상측 보간 참조화소와 하나의 좌측 보간 참조 화소를 이용할 수 있다. 예측 픽셀은 상기 하나의 상측 보간 참조 화소와 하나의 좌측 보간 참조화소의 선형 보간 방법으로 생성하거나, 반올림한 평균값을 이용할 수 있다. 마찬가지로 모드 6 또는 모드 9에 인접한 소정 개수의 인트라 예측 모드에서는 상기 좌측 참조 화소들 및 상측 참조 화소들을 이용하여 예측 블록을 생성할 수 있다. 즉, 인트라 예측 모드가 6 또는 6에 인접한 미리 정해진 개수(예를 들어 4개,) 범위 내의 예측 모드인 경우에는 상기 좌측 참조화소들 및 상측 참조화소들을 이용하여 예측 블록을 생성할 수 있다. 이 경우, 복잡도를 줄이기 위해 미리 정해진 모드번호(예를 들어, 9 또는 17)보다 큰 모드번호를 갖는 인트라 예측 모드에서는 상기 방식을 적용하지 않을 수도 있다. 또한, 현재 예측 유닛의 크기가 미리 정해진 크기(예를 들어, 8x8 또는 16x16) 이상의 예측 유닛에만 적용할 수도 있다.
예측블록 후처리부(144)는 예측 블록 생성부(143)에 의해 생성된 예측 블록을 적응적으로 필터링한다. 참조 화소와, 참조 화소에 인접한 예측 블록 내의 화소 사이의 화소값의 차이를 줄여주기 위해, 참조 화소와 인접한 예측 블록 내의 화소들의 일부 또는 전부를 인트라 예측 모드에 따라 적응적으로 필터링한다.
플래너 모드의 경우에는 참조 화소에 인접한 예측 블록 내의 화소들은 상기 참조 화소를 이용하여 생성되므로, 필터를 적용하지 않는다.
반면에, DC 모드의 경우에는 참조 화소의 평균값을 이용하므로 필터를 적용한다. DC 모드의 경우에는 예측 유닛의 크기(예측 블록의 크기)에 따라 서로 다른 종류의 필터를 사용할 수 있다. 크기가 큰 예측 유닛에 사용되는 필터는 크기가 작은 예측 유닛에 사용되는 필터와 동일하거나 스무딩 효과가 큰 강한 필터를 사용할 수 있다.
한편, 도 3의 수직 모드(모드 번호 0) 우측의 인트라 예측 모드들에서는 대응하는 예측 블록이 상측 참조 화소들만을 이용하여 생성되면, 생성된 예측 블록의 픽셀들과 원본 예측 유닛의 대응 픽셀들의 차이값은 좌하측 영역으로 갈수록 커질 확률이 높아진다. 특히, 모드번호 6을 갖는 인트라 예측 모드에서 상기 차이값이 더욱 커진다.
마찬가지로, 도 3의 수평 모드(모드 번호 1) 아래쪽의 인트라 예측 모드에서는 예측 블록이 좌측 참조 화소들만을 이용하여 생성되면, 생성된 예측 블록의 픽셀들과 원본 예측 유닛의 대응 픽셀들과의 차이값이 우상측 영역으로 갈수록 커질 확률이 높아진다. 모드번호 9을 갖는 인트라 예측 모드에서 상기 차이값이 더욱 커진다.
수직 모드(모드 번호 0)에서는 예측 블록의 픽셀들과 원본 예측 유닛의 대응 픽셀들과의 차이값이 아래쪽으로 갈수록 커지게 되고, 수평 모드(모드 번호 1)에서는 예측 블록의 픽셀들과 원본 예측 유닛의 대응 픽셀들과의 차이값이 우측으로 갈수록 커지게 된다.
따라서, 상기 차이값들을 줄이기 위해 방향성 인트라 예측 모드에 따라 예측 블록내의 일부 화소들을 적응적으로 필터링 할 수 있다. 이 경우, 예측 블록 생성에 이용되지 않은 예측 유닛의 참조 화소들을 이용하여 예측 블록의 상기 일부 화소들을 필터링한다.
방향성 인트라 예측 모드에 따라 필터링 할 영역이 달리 설정될 수도 있다. 모드 6 또는 9에 인접한 방향성 인트라 예측 모드일수록 필터링 할 영역이 동일하거나 더 넓어질 수 있다.
예를 들어, 모드 6번에 예측 유닛의 크기가 2Nx2N일 경우, 수직 모드(모드 번호 0) 우측의 인트라 예측 모드들 중 모드 번호 6과 인접한 소정 개수(1~3)의 인트라 예측 모드들에 대해서만 필터를 적용할 수도 있다. 이 경우, 복잡도를 줄이기 위해 미리 정해진 모드번호(예를 들어, 9 또는 17)보다 큰 모드번호를 갖는 인트라 예측 모드에서는 필터를 적용하지 않을 수도 있다. 또한, 예측 유닛의 사이즈에 따라 예측 블록의 일부 화소들을 적응적으로 필터링 할 수 있다. 예측 유닛의 사이즈가 커질수록 필터링될 화소 비율을 유지하거나 높일 수 있다.
예를 들어, 모드번호 6인 인트라 예측 모드에서만을 고려한다. 이 경우 4x4의 예측 유닛의 경우, 예측 블록은 필터링하지 않을 수 있다. 8x8, 16x16의 예측 유닛의 경우, 예측 블록 내의 좌측 경계 화소들, 즉 (x=0, y=0…7) 위치의 8개의 화소들 중 아래쪽 4개의 화소들만을 필터링 할 수 있다. 32x32 이상의 예측 유닛에서는 상기 8개의 경계화소들을 모두 필터링 할 수 있다.
또한, 상기 예측 유닛의 사이즈에 따라 예측 블록의 화소들에 적용할 필터 강도를 달리할 수 있다. 예측 유닛의 사이즈가 커질수록 필터 강도를 유지하거나 증가시킬 수 있다.
예측모드 결정부(145)는 참조 화소들을 이용하여 현재 예측 유닛의 인트라 예측 모드를 결정한다. 예측모드 결정부(145)는 각 인트라 예측 모드별 예측블록 또는 후처리된 예측블록을 이용하여 생성된 잔차블록의 예상 부호화량이 최소가 되는 인트라 예측 모드를 현재 예측 유닛의 인트라 예측 모드로 결정할 수 있다.
예측 모드 부호화부(146)는 현재 예측 유닛에 인접한 예측 유닛의 인트라 예측 모드들을 이용해 현재 예측 유닛의 인트라 예측 모드를 부호화한다.
도 4는 본 발명에 따른 예측 모드 부호화부(146)에서 수행되는 현재 예측 유닛의 인트라 예측 모드 부호화 과정을 나타내는 도면이다.
먼저, 현재 예측 유닛의 인트라 예측 모드 후보자를 검색한다(S110). 인트라 예측 모드 후보자는 현재 예측 단위의 상측과 좌측 모드가 될 수 있다. 또는 코너 인트라 예측 모드가 추가될 수도 있고, 상측 및 좌측 인트라 예측 모드에 따라 새로운 모드가 추가될 수 있다.
현재 예측 단위의 상측 예측 단위가 복수개 존재하는 경우에는 미리 정해진 방향(예를 들어, 우 → 좌)으로 스캔하면서 유효한 첫번째 예측 단위의 인트라 예측 모드를 상측 인트라 예측 모드로 설정한다. 현재 예측 단위의 좌측 예측 단위가 복수개 존재하는 경우에도 미리 정해진 방향(예를 들어, 하先 )으로 스캔하면서 유효한 첫번째 예측 단위의 인트라 예측 모드를 좌측 인트라 예측 모드로 설정할 수 있다. 또는 복수개의 유효한 예측 단위들의 모드번호들 중 가장 작은 모드번호를 상측 인트라 예측 모드로 설정할 수도 있다.
코너 인트라 예측 모드는 현재 예측 유닛의 우상측 또는 좌상측에 인접한 예측 유닛의 예측 모드일 수 있다. 또는 현재 예측 유닛의 좌상측, 우상측 및 우하측에 인접한 인트라 예측 모드 중 미리 정해진 순서(예를 들면, 우상측 좌하측 좌상측)에 따라 스캔할 경우 유효한 첫번째 인트라 예측 모드일 수 있다. 상기한 현재 예측 유닛의 인트라 예측 모드 후보자로 2개(우상측, 좌상측) 또는 3개(우상측, 좌상측, 좌하측)의 코너 인트라 예측 모드가 추가될 수도 있고, 존재하지 않을 수도 있다.
다음으로, 상기 유효한 인트라 예측 모드 후보자의 인트라 예측 모드를 변경할지 여부를 결정한다(S120).
상기 유효한 인트라 예측 모드 후보자의 인트라 예측 모드를 변경할 것으로 결정되면 상기 유효한 인트라 예측 모드 후보자의 인트라 예측 모드를 변경한다(S130).
구체적으로, 상기 유효한 인트라 예측 모드 후보자의 인트라 예측 모드값이 현재 예측 유닛에서 허용되는 인트라 예측 모드의 수보다 크거나 같으면 상기 유효한 인트라 예측 모드 후보자의 인트라 예측 모드값을 미리 정해진 개수의 인트라 예측 모드값들 중 하나로 변환한다. 상기 미리 정해진 개수는 현재 예측 유닛의 크기에 달라 달라질 수 있다. 예를 들어, 현재 예측 유닛의 크기가 4x4이면 9개의 모드들(0~8번 모드) 또는 18개의 모드들 중 하나로 매핑하고, 현재 예측 유닛의 크기가 64x64이면 4개의 모드들(0~2번 모드) 중 하나로 매핑한다.
다음으로, 현재 예측 유닛의 인트라 예측 후보자 리스트를 구축한다(S140). 후보자 리스트는 모드 번호 순으로 할 수 있다. 또한, 빈도수가 높은 순서로 하되, 동일 빈도의 경우에는 모드 번호 순으로 할 수 있다. 복수개의 인트라 예측 후보자가 동일 모드를 가지면 1개를 제외한 나머지를 리스트에서 삭제한다.
다음으로, 현재 예측 유닛의 인트라 예측 모드가 상기 리스트로 구축된 인트라 예측 모드 후보자 중 하나와 동일한지를 판단한다(S150).
동일하다고 판단되면, 후보자들 중 하나와 동일함을 나타내는 정보와 후보자 인덱스를 부호화 정보로 결정한다(S160).
동일하지 않다고 판단되면, 현재 예측 유닛의 인트라 예측 모드를 변경하기 위한 모드 변경값을 구한다(S170). 상기 모드 변경값은 상기 인트라 예측 후보자 리스트의 인트라 예측 모드값을 비교하여, 현재 예측 유닛의 인트라 예측 모드값보다 크지 않은 모드값을 갖는 인트라 예측 모드 후보자의 수이다.
다음으로, 상기 모드 변경값을 이용하여 현재 예측 유닛의 인트라 예측 모드를 변경한다(S180). 상기 변경된 현재 예측 유닛의 인트라 예측 모드로 결정된다. 상기 변경된 현재 예측 유닛의 인트라 예측 모드가 엔트로피 부호화부(140)로 전송된다.
도 5는 본 발명에 따른 인트라 예측 복호화 장치(200)를 나타내는 블록도이다.
본 발명에 따른 인트라 예측 복호화 장치(200)는 엔트로피 복호화부(210), 잔차신호 복호화부(220), 예측모드 복호화부(230), 참조화소 생성부(240), 예측블록 생성부(250), 예측블록 후처리부(260), 영상복원부(270)를 포함한다.
엔트로피 복호화부(210)는 수신된 비트스트림으로부터 양자화된 잔차 계수를 추출하고, 변환 유닛 단위의 상기 양자화된 잔차 계수 및 변환 유닛의 크기정보를 잔차신호 복호화부(220)로 전송한다. 또한, 엔트로피 복호화부(210)는 수신된 비트 스트림으로부터 인트라 예측 정보 및 복호화할 예측 유닛의 크기 정보를 예측모드 복호화부(230)로 전송한다.
잔차신호 복호화부(220)는 상기 수신된 양자화된 잔차계수를 신호를 2차원 배열의 역양자화 블록으로 변환한다. 상기 변환을 위해 복수개의 스캐닝 패턴 중에 하나를 선택한다. 또한, 변환 블록의 상기 스캐닝 패턴은 예측모드와 인트라 예측 모드 중 적어도 하나에 기초하여 결정된다. 역스캐닝 동작은 도 1의 스캐닝부(131)의 동작의 역과정과 동일하다. 즉, 복호화하고자 하는 현재 변환 유닛의 크기가 제1 기준 크기보다 크면, 상기 역스캐닝 패턴에 기초하여 복수개의 서브셋별로 역스캐닝하고, 상기 역스캐닝된 복수개의 서브셋을 이용하여 변환 유닛의 크기를 갖는 역양자화 블록을 생성한다. 반면, 복호화하고자 하는 현재 변환 유닛의 크기가 제1 기준 크기보다 크지 않으면, 상기 역스캐닝 패턴에 기초하여 역스캔닝하여 변환 유닛의 크기를 갖는 역양자화 블록을 생성한다.
예측모드 복호화부(230)는 엔트로피 복호화부(210)으로부터 수신된 인트라 예측 정보 및 현재 예측 유닛의 크기 정보에 기초하여 현재 예측 유닛의 인트라 예측 모드를 복원한다. 상기 수신된 인트라 예측 정보는 상기 도 4의 역과정을 통해 복원된다.
즉, 참조화소 생성부(240)는 현재 예측 유닛의 이용 가능하지 않은 참조 화소를 복원하고, 예측모드 복호화부(230)로부터 수신된 현재 예측 유닛의 인트라 예측 모드에 기초하여 적응적으로 참조화소를 필터링한다. 참조 화소의 생성 방법 및 참조화소의 필터링 방법은 도 2의 인트라 예측부(140)의 참조 화소 생성부(142)의 참조 화소 생성 방법 및 참조화소 필터링 방법과 동일하다.
즉, 현재 예측 유닛의 참조화소들이 이용가능한지를 판단한다. 인트라 예측에 이용되는 현재 예측 유닛의 참조 화소들은 (x=-1, y=-1) 위치를 갖는 코너 참조 화소, (x=0…2L-1, y=-1) 위치를 갖는 2L개의 상측 참조화소들, (x=0, y=0…2M-1) 위치를 갖는 2M개의 좌측 참조 화소들로 구성된다. 여기서 L은 현재 예측 유닛의 가로 길이(width)이고, M은 현재 예측 유닛의 세로길이(height)를 나타낸다.
인트라 예측 모드에 기초하여 예측 블록을 생성하기 위한 참조 화소들이 이용 가능하지 않거나, 충분하지 않은 경우에 참조 화소를 생성한다.
모든 참조 화소들이 이용 가능하지 않은 경우에는 일정값으로 참조 화소들을 생성한다.
상기 참조 화소들 중 일부가 이용 가능하지 않은 경우에는 상기 이용 가능하지 않은 화소들이 이용 가능한 화소들의 한쪽 방향으로만 존재하는지 또는 이용 가능한 화소들 사이에 존재하는지 여부를 판단한다.
상기 이용 가능하지 않은 화소들이 이용 가능한 화소들의 한쪽 방향으로만 존재하는 경우에는, 가장 가까운 이용 가능한 화소값을 복사하여 참조 블록을 생성한다. 예를 들어, 현재 예측 유닛이 픽쳐 또는 슬라이스의 상측 경계에 위치하는 경우에는 상기 코너 참조 화소 및 상측 참조화소들이 이용 가능하지 않다. 따라서, 이 경우에는 가장 가까운 위치인 (x=-1, y=0) 위치의 참조 화소를 복사하여 코너 참조 화소 및 상측 참조 화소들을 생성할 수 있다. 또한, 상기 가장 가까운 위치의 이용 가능한 참조 화소와 적어도 하나 이상의 이용 가능한 참조 화소를 이용하여 참조 화소들을 생성할 수도 있다. 예를 들어, (x=-1, y=-1) 위치를 갖는 코너 참조 화소와 (x=0…L-1, y=-1) 위치의 참조 화소들이 이용 가능하고, (x=L…2L-1, y=-1) 위치의 참조 화소들이 이용 가능하지 않은 경우, (x=L-1, y=-1) 위치의 참조 화소와, 코너 참조 화소값 또는 그 이외의 참조 화소값의 차이 변화를 이용하여 상기 이용 가능하지 않은 위치의 참조 화소를 생성할 수 있다.
상기 이용 가능하지 않은 화소들이 이용 가능한 화소들 사이에 존재하는 경우에는 이용 가능하지 않은 화소들에 인접한 2개의 이용 가능한 화소(p, q)를 이용하여 참조 화소를 생성한다. 예를 들어, (x=-1, y=-1) 위치를 갖는 코너 참조 화소와, (x=0…L-1, y=-1) 위치의 L개의 상측 참조 화소들이 이용 가능하지 않을 경우에는 (x=-1, y=0) 위치의 참조 화소(p) 및 (x=L, y=-1) 위치의 참조 화소(q)를 이용하여 그 사이의 참조 화소들을 생성한다.
생성된 참조 화소들의 값은 상기 참조 화소(p)와 참조 화소(q)의 평균값의 반올림값일 수 있다. 또한, 상기 생성된 참조 화소들의 값은 상기 참조화소(p)와 상기 참조 화소(q)의 화소값의 차이 변화를 이용하여 생성될 수 있다. 이 경우, 생성되는 화소 위치에 따른 선형 보간 또는 상기 2개의 참조화소의 가중평균을 통해 참조 화소를 생성할 수 있다.
한편, 현재 예측 유닛의 상측에 복수개의 예측 유닛이 존재하는 경우, 상기 상측 2개의 예측 유닛들 경계에 위치하는 양쪽 경계 픽셀들 사이의 차이값은 각각의 상측 예측 유닛 내의 인접 픽셀들 사이의 차이값보다 클 가능성이 높다. 이러한 경우는 양자화 파라미터에 의해 발생하는 에러로부터 기인한다. 상기 에러는 인접하는 2개의 참조 픽셀을 이용하여 예측 블록이 생성되는 방향성 인트라 예측 모드들의 경우에 발생할 가능성이 높다.
특히, 도 3의 수평 또는 수직 방향을 기준으로 45°의 방향성을 갖는 모드들(모드번호 3, 6, 9)이 가장 큰 영향을 받는다. 반면에 수직 또는 수평 방향의 모드들(모드번호 0, 1)은 예측 블록의 화소 생성을 위해 1개의 화소가 이용되므로 영향을 적게 받는다.
따라서, 45°의 방향성을 갖는 방향성 인트라 예측 모드들(모드번호 3, 6, 9)에 대해서는 참조 화소들에 필터(smoothing filter)를 적용하고, 수직 및 수평 방향성 인트라 예측 모드들(모드번호 0, 1)에 대해서는 참조 화소들에 필터를 적용하지 않는다. 비방향성 모드 중 DC 모드에도 필터를 적용하지 않는다.. 이들 모드들에 대해서는 현재 예측 유닛의 크기와 관계없이 상기한 적용 여부가 결정될 수 있다.
그리고, 45° 방향성을 갖는 인트라 예측 모드(모드번호 3, 6, 9)와 상기 수직 또는 수직 인트라 예측 모드 사이의 방향성을 갖는 방향성 모드들에 대해서는 필터(smoothing filter)를 적응적으로 적용할 수 있다. 이 경우, 45°의 방향성을 갖는 인트라 예측 모드에 인접한 인트라 예측 모드들일수록 필터(smoothing filter)를 적용할 확률을 높이는 것이 바람직하다. 즉, 제1 방향성 모드가 제2 방향성 모드보다 상기 45°의 방향성을 갖는 인트라 예측 모드에 더 인접한 방향성을 갖는 경우, 제2 방향성 모드에 필터를 적용하면, 제1 방향성 모드에도 필터를 적용한다. 반대로 제1 방향성 모드에 필터가 적용될 경우, 제2 방향성 모드에는 필터가 적용될수도 있고 적용되지 않을수도 있다.
또한, 큰 사이즈의 예측 유닛 내의 픽셀들 사이의 차이값의 변화는 작은 사이즈의 예측 유닛 내의 픽셀들 사이의 차이값의 변화보다 완만할 가능성이 높다. 따라서, 예측 유닛의 사이즈가 커질수록 더 많은 방향성 모드들에 대하여 참조 픽셀을 필터링할 수 있고, 더 강한 필터를 적용할수 있다. 반대로, 예측 유닛의 사이즈가 특정 크기보다 작아질 경우에는 필터를 적용하지 않을 수도 있다.
예를 들어, 45°의 방향성을 갖는 인트라 예측 모드들(모드번호 3, 6, 9)에서는, 제1 크기보다 작거나 같은 사이즈의 예측 유닛에 대해서는 제1 필터를 적용하고, 상기 제1 크기보다 큰 사이즈의 예측 유닛에 대해서는 제1 필터보다 강한 필터인 제2 필터를 적용할 수 있다. 상기 제1 크기는 방향성 예측 모드들에 따라 달라질 수 있다.
예를 들어, 수직 인트라 예측 모드와 모드번호 6을 갖는 인트라 예측 모드(45°의 방향성 모드) 사이에 위치하는 모드번호 5를 갖는 인트라 예측 모드에서는, 제2 크기보다 작거나 같은 사이즈의 예측 유닛에서는 필터를 적용하지 않고, 제2 크기보다 크고 제3 크기보다 작거나 같은 사이즈의 예측 유닛에서는 제1 필터를 적용하고, 제3 크기보다 큰 사이즈의 예측 유닛에서는 제2 필터를 사용할 수 있다. 상기 제2 크기 및 제3 크기는 방향성 예측 모드들에 따라 달라질 수 있다.
상기 제1 필터는 3-tap 필터인 [1, 2, 1] 또는 5-tap 필터인 [1, 2, 4, 2, 1]일 수 있다. 상기 제2 필터는 상기 제1 필터보다 스무딩 효과가 큰 강한 필터를 사용할 수 있다.
예측블록 생성부(250)는 예측모드 복호화부(230)로부터 수신된 현재 예측 유닛의 인트라 예측 모드에 따라 예측 블록을 생성한다. 예측 블록의 생성 방법은 도 2의 인트라 예측부(140)의 예측 블록 생성부(142)의 예측블록 생성 방법과 동일하다.
즉, 방향성 인트라 예측 모드들은, 인트라 예측 모드에 따라 대응하는 참조 픽셀들이 달라진다. 예를 들어, 인트라 예측 모드가 수직 모드인 경우에는 (x=0…L-1, y=-1) 위치의 L개의 상측 참조 화소를 이용하고, 수평 모드인 경우에는 (x=-1, y=0…L-1) 위치의 L개의 좌측 참조 화소를 이용한다.
비방향성 인트라 예측 모드는 코너 화소, (x=0…L-1, y=-1) 위치의 L개의 상측 참조 화소, (x=-1, y=0…L-1) 위치의 L개의 좌측 참조 화소들을 이용한다. 비방향성 인트라 예측 모드는 DC 모드와 플래너 모드(Planar mode)이다.
플래너 모드의 경우, 코너 참조 화소, 좌측 참조 화소 및 상측 참조 화소를 이용하여 예측 블록의 참조 화소를 생성한다. 생성하고자 하는 참조 화소의 위치가 (a, b)인 경우 생성되는 참조 화소 X(a, b)는 코너 참조 화소 C(x=-1, y=-1), 상측 참조 화소 T(x=a, y=-1) 및 좌측 참조 화소 L(x=-1, y=b)를 이용한다. 구체적으로 X(a, b) = L(x=-1, y=b) + T(x=a, y=-1) - C(x=-1, y=-1) 일 수 있다.
도 3의 수직 모드(모드 번호 0)의 우측의 인트라 예측 모드들은 상측 참조 화소들만을 이용하여 예측 블록을 생성을 하게 되면, 생성된 예측 블록의 좌하측 영역의 픽셀들과 원본 예측 유닛의 픽셀들과 차이값이 커질 확률이 높아진다. 그러나, 상기 모드들 중 적어도 일부 모드에 대해서는 상측 참조화소들과 좌측 참조화소들을 이용하여 예측 블록을 생성하면 상기 차이값을 줄일 수 있다. 이러한 효과는 모드번호 6을 갖는 인트라 예측 모드에서 가장 크다. 마찬가지로, 도 3의 수평 모드(모드 번호 1)의 아래쪽의 인트라 예측 모드들에 대해서도 동일하며, 모드번호 9을 갖는 인트라 예측 모드에서 가장 크다.
따라서, 상기 모드 6 또는 모드 9에서는 예측 픽셀을 생성하기 위해 대응(예를 들면, 예측 픽셀의 45° 각도에 위치)하는 하나의 상측 보간 참조화소와 하나의 좌측 보간 참조 화소를 이용할 수 있다. 예측 픽셀은 상기 하나의 상측 보간 참조 화소와 하나의 좌측 보간 참조화소의 선형 보간 방법으로 생성하거나, 반올림한 평균값을 이용할 수 있다. 마찬가지로 모드 6 또는 모드 9에 인접한 소정 개수의 인트라 예측 모드에서는 상기 좌측 참조 화소들 및 상측 참조 화소들을 이용하여 예측 블록을 생성할 수 있다. 이 경우, 복잡도를 줄이기 위해 미리 정해진 모드번호(예를 들어, 9 또는 17)보다 큰 모드번호를 갖는 인트라 예측 모드에서는 상기 방식을 적용하지 않을 수도 있다. 또한, 현재 예측 유닛의 크기가 미리 정해진 크기(예를 들어, 8x8 또는 16x16) 이상의 예측 유닛에만 적용할 수도 있다.
예측블록 후처리부(260)는 예측모드 복호화부(230)로부터 수신된 현재 예측 유닛의 인트라 예측 모드에 따라 상기 예측블록 생성부(250)에 의해 생성된 예측 블록을 적응적으로 필터링한다. 예측블록 후처리부는 예측블록 생성부(250)에 일체화될 수 있다. 예측블록의 필터링 방법은 도 2의 인트라 예측부(140)의 예측블록 후처리부(144)의 예측블록 필터링 방법과 동일하다.
즉, 참조 화소와, 참조 화소에 인접한 예측 블록 내의 화소 사이의 화소값의 차이를 줄여주기 위해, 참조 화소와 인접한 예측 블록 내의 화소들의 일부 또는 전부를 인트라 예측 모드에 따라 적응적으로 필터링한다.
* 플래너 모드의 경우에는 참조 화소에 인접한 예측 블록 내의 화소들은 상기 참조 화소를 이용하여 생성되므로, 필터를 적용하지 않는다.
반면에, DC 모드의 경우에는 참조 화소의 평균값을 이용하므로 필터를 적용한다. DC 모드의 경우에는 예측 유닛의 크기(예측 블록의 크기)에 따라 서로 다른 종류의 필터를 사용할 수 있다. 크기가 큰 예측 유닛에 사용되는 필터는 크기가 작은 예측 유닛에 사용되는 필터와 동일하거나 스무딩 효과가 큰 강한 필터를 사용할 수 있다.
한편, 도 3의 수직 모드(모드 번호 0) 우측의 인트라 예측 모드들에서는 대응하는 예측 블록이 상측 참조 화소들만을 이용하여 생성되면, 생성된 예측 블록의 픽셀들과 원본 예측 유닛의 대응 픽셀들의 차이값은 좌하측 영역으로 갈수록 커질 확률이 높아진다. 특히, 모드번호 6을 갖는 인트라 예측 모드에서 상기 차이값이 더욱 커진다.
마찬가지로, 도 3의 수평 모드(모드 번호 1) 아래쪽의 인트라 예측 모드에서는 예측 블록이 좌측 참조 화소들만을 이용하여 생성되면, 생성된 예측 블록의 픽셀들과 원본 예측 유닛의 대응 픽셀들과의 차이값이 우상측 영역으로 갈수록 커질 확률이 높아진다. 모드번호 9을 갖는 인트라 예측 모드에서 상기 차이값이 더욱 커진다.
수직 모드(모드 번호 0)에서는 예측 블록의 픽셀들과 원본 예측 유닛의 대응 픽셀들과의 차이값이 아래쪽으로 갈수록 커지게 되고, 수평 모드(모드 번호 1)에서는 예측 블록의 픽셀들과 원본 예측 유닛의 대응 픽셀들과의 차이값이 우측으로 갈수록 커지게 된다.
따라서, 상기 차이값들을 줄이기 위해 방향성 인트라 예측 모드에 따라 예측 블록내의 일부 화소들을 적응적으로 필터링 할 수 있다. 이 경우, 예측 블록 생성에 이용되지 않은 예측 유닛의 참조 화소들을 이용하여 예측 블록의 상기 일부 화소들을 필터링한다.
방향성 인트라 예측 모드에 따라 필터링 할 영역이 달리 설정될 수도 있다. 모드 6 또는 9에 인접한 방향성 인트라 예측 모드일수록 필터링 할 영역이 동일하거나 더 넓어질 수 있다.
예를 들어, 모드 6번에 예측 유닛의 크기가 2Nx2N일 경우, 수직 모드(모드 번호 0) 우측의 인트라 예측 모드들 중 모드 번호 6과 인접한 소정 개수(1~3)의 인트라 예측 모드들에 대해서만 필터를 적용할 수도 있다. 이 경우, 복잡도를 줄이기 위해 미리 정해진 모드번호(예를 들어, 9 또는 17)보다 큰 모드번호를 갖는 인트라 예측 모드에서는 필터를 적용하지 않을 수도 있다. 또한, 예측 유닛의 사이즈에 따라 예측 블록의 일부 화소들을 적응적으로 필터링 할 수 있다. 예측 유닛의 사이즈가 커질수록 필터링될 화소 비율을 유지하거나 높일 수 있다.
예를 들어, 모드번호 6인 인트라 예측 모드에서만을 고려한다. 이 경우 4x4의 예측 유닛의 경우, 예측 블록은 필터링하지 않을 수 있다. 8x8, 16x16의 예측 유닛의 경우, 예측 블록 내의 좌측 경계 화소들, 즉 (x=0, y=0…7) 위치의 8개의 화소들 중 아래쪽 4개의 화소들만을 필터링 할 수 있다. 32x32 이상의 예측 유닛에서는 상기 8개의 경계화소들을 모두 필터링 할 수 있다.
또한, 상기 예측 유닛의 사이즈에 따라 예측 블록의 화소들에 적용할 필터 강도를 달리할 수 있다. 예측 유닛의 사이즈가 커질수록 필터 강도를 유지하거나 증가시킬 수 있다.
영상 복원부(270)는 예측 모드 복호화부(230)에 의해 복원된 인트라 예측 모드에 따라 예측 블록 생성부(250) 또는 예측 블록 필터링부(260)로부터 예측 유닛 단위로 예측 블록을 수신한다. 영상 복원부(270)는 잔차신호 복호화부(220)에 의해 복원된 잔차블록을 변환 유닛 단위로 수신한다. 영상 복원부(250)는 수신된 예측 블록과 잔차블록을 더하여 복원 영상을 생성한다. 상기 복원 영상은 코딩 유닛 단위로 복원될 수 있다.

Claims (7)

  1. 인트라 예측 복호화 장치에 있어서,
    수신된 비트 스트림으로부터 양자화된 잔차계수, 인트라 예측 정보 및 예측 유닛의 크기 정보를 복원하는 엔트로피 복호화부;
    상기 엔트로피 복호화부으로부터 수신된 인트라 예측 정보 및 현재 예측 유닛의 크기 정보에 기초하여 현재 예측 유닛의 인트라 예측 모드를 복원하는 예측모드 복호화부;
    상기 예측모드 복호화부로부터 수신된 인트라 예측 모드에 따라 잔차신호를 복원하는 잔차신호 복호화부;
    현재 예측 유닛의 이용 가능하지 않은 참조 화소를 생성하고, 예측모드 복호화부로부터 수신된 현재 예측 유닛의 인트라 예측 모드에 기초하여 참조화소를 적응적으로 필터링하는 참조화소 생성부;
    상기 예측모드 복호화부로부터 수신된 인트라 예측 모드에 대응하는 참조픽셀들을 이용하여 예측블록을 생성하는 예측블록 생성부;
    상기 예측모드 복호화부로부터 수신된 인트라 예측 모드에 따라 상기 예측블록 생성부로부터 생성된 예측블록을 적응적으로 필터링하는 예측블록 후처리부; 및
    상기 예측 모드 복호화부로부터 수신된 인트라 예측 모드에 따라 예측 블록 생성부 또는 예측 블록 필터링부로부터 예측 유닛 단위로 예측 블록을 수신하고, 상기 잔차신호 복호화부로부터 수신된 복원된 잔차블록을 이용하여 복원영상을 생성하는 영상 복원부를 포함하는 인트라 예측 복호화 장치.
  2. 제1항에 있어서,
    상기 참조화소 생성부는 수평 모드 또는 수직 모드를 기준으로 45° 방향성을 인트라 예측 모드(모드번호 3, 6, 9)와 상기 수평 모드 또는 수직 모드 사이의 방향성을 갖는 인트라 예측 모드들에 대해서는 예측 유닛의 크기에 따라 적응적으로 참조 픽셀을 필터링하는 것을 특징으로 하는 인트라 예측 복호화 장치.
  3. 제1항에 있어서,
    상기 참조화소 생성부는 미리 정해진 크기보다 작은 예측 유닛의 참조픽셀들에 대해서는 필터를 적용하지 않는 것을 특징으로 하는 인트라 예측 복호화 장치.
  4. 제1항에 있어서,
    상기 참조화소 생성부는 수평 모드 또는 수직 모드와 45° 방향성을 인트라 예측 모드(모드번호 3, 6 또는 9) 방향 사이에 존재하는 제1 방향성 모드와 제2 방향성 모드들 중 제1 방향성 모드가 제2 방향성 모드보다 상기 45°의 방향성을 갖는 인트라 예측 모드에 더 인접한 방향성을 갖는 경우, 제2 방향성 모드의 참조픽셀들에 필터를 적용하면, 제1 방향성 모드의 참조픽셀들에도 필터를 적용하는 것을 특징으로 하는 인트라 예측 복호화 장치.
  5. 제1항에 있어서,
    상기 예측블록 생성부는, 인트라 예측 모드가 플래너 모드(planar mode)일 경우, 코너 참조 화소, 좌측 참조 화소 및 상측 참조화소를 이용하여 예측 블록의 참조 화소를 생성하는 것을 특징으로 하는 인트라 예측 복호화 장치.
  6. 제1항에 있어서,
    인트라 예측 모드가 수직 모드인 경우, 상기 참조화소 생성부는 참조화소를 필터링하지 않고, 상기 예측블록 후처리부는 예측 블록 내의 일부 화소들을 필터링하기 위해 예측 블록 생성에 이용되지 않은 참조화소들을 이용하는 것을 특징으로 하는 인트라 예측 복호화 장치.
  7. 제1항에 있어서,
    상기 참조화소 생성부는, 인트라 예측 모드가 수직 모드와 45° 방향성을 인트라 예측 모드(모드번호 6) 또는 상기 모드에 인접하는 방향성을 갖는 미리 정해진 개수 범위 내의 인트라 예측 모드인 경우, 상측 참조 화소들과 좌측 참조화소들을 이용하여 예측 블록을 생성하는 것을 특징으로 하는 인트라 예측 복호화 장치.
PCT/KR2011/005590 2010-07-31 2011-07-29 인트라 예측 복호화 장치 WO2012018197A2 (ko)

Priority Applications (44)

Application Number Priority Date Filing Date Title
SI201130847A SI2600613T1 (sl) 2010-07-31 2011-07-29 Intrapredikcijska dekodirna naprava
ES11814797.4T ES2575381T3 (es) 2010-07-31 2011-07-29 Dispositivo de decodificación de intra-predicción
EP16161943.2A EP3059961B1 (en) 2010-07-31 2011-07-29 Apparatus for encoding an image
EP16161928.3A EP3059954B1 (en) 2010-07-31 2011-07-29 Apparatus for decoding an image
EP16160964.9A EP3051815B1 (en) 2010-07-31 2011-07-29 Apparatus for decoding an image
PL16161933T PL3059957T3 (pl) 2010-07-31 2011-07-29 Urządzenie do kodowania obrazu
MX2015001380A MX336416B (es) 2010-07-31 2011-07-29 Aparato para decodificar una imagen en movimiento.
PL16161927T PL3059953T3 (pl) 2010-07-31 2011-07-29 Urządzenie do kodowania obrazu
PL16161937T PL3059959T3 (pl) 2010-07-31 2011-07-29 Urządzenie do kodowania obrazu
EP16161936.6A EP3059958B1 (en) 2010-07-31 2011-07-29 Apparatus for decoding an image
MX2015001382A MX336418B (es) 2010-07-31 2011-07-29 Aparato para decodificar una imagen en movimiento.
EP16161933.3A EP3059957B1 (en) 2010-07-31 2011-07-29 Apparatus for encoding an image
DK11814797.4T DK2600613T3 (en) 2010-07-31 2011-07-29 Device for intraprædiktionsdekodning
EP16161929.1A EP3059955B1 (en) 2010-07-31 2011-07-29 Apparatus for decoding an image
MX2015001383A MX336419B (es) 2010-07-31 2011-07-29 Aparato para decodificar una imagen en movimiento.
JP2013523088A JP5997152B2 (ja) 2010-07-31 2011-07-29 イントラ予測復号化装置
MX2015001381A MX336417B (es) 2010-07-31 2011-07-29 Aparato para decodificar una imagen en movimiento.
PL16161943T PL3059961T3 (pl) 2010-07-31 2011-07-29 Urządzenie do kodowania obrazu
MX2013001232A MX2013001232A (es) 2010-07-31 2011-07-29 Dispositivo de decodificacion de intraprediccion.
PL16161928T PL3059954T3 (pl) 2010-07-31 2011-07-29 Urządzenie do dekodowania obrazu
EP11814797.4A EP2600613B1 (en) 2010-07-31 2011-07-29 Intra-prediction decoding device
PL16161929T PL3059955T3 (pl) 2010-07-31 2011-07-29 Urządzenie do dekodowania obrazu
CN201180042188.0A CN103081474B (zh) 2010-07-31 2011-07-29 用于对运动图片进行解码的装置
RS20160460A RS55052B1 (sr) 2010-07-31 2011-07-29 Intraprediktivni dekodirajući uređaj
PL16160964T PL3051815T3 (pl) 2010-07-31 2011-07-29 Urządzenie do dekodowania obrazu
EP16161927.5A EP3059953B1 (en) 2010-07-31 2011-07-29 Apparatus for encoding an image
EP16161937.4A EP3059959B1 (en) 2010-07-31 2011-07-29 Apparatus for encoding an image
PL16161936T PL3059958T3 (pl) 2010-07-31 2011-07-29 Urządzenie do dekodowania obrazu
US13/624,852 US9307246B2 (en) 2010-07-31 2012-09-21 Apparatus for decoding moving picture
US14/929,685 US9491468B2 (en) 2010-07-31 2015-11-02 Apparatus for encoding an image
US14/929,516 US9609325B2 (en) 2010-07-31 2015-11-02 Apparatus for decoding an image
US14/929,567 US9451263B2 (en) 2010-07-31 2015-11-02 Intra prediction apparatus
US14/929,534 US9615094B2 (en) 2010-07-31 2015-11-02 Apparatus for decoding an image
US14/929,668 US9451264B2 (en) 2010-07-31 2015-11-02 Apparatus for encoding an image
US14/929,589 US9467702B2 (en) 2010-07-31 2015-11-02 Apparatus for encoding an image
US14/929,602 US9445099B2 (en) 2010-07-31 2015-11-02 Apparatus for encoding an image
US14/929,544 US9438919B2 (en) 2010-07-31 2015-11-02 Intra prediction apparatus
US14/929,643 US9462281B2 (en) 2010-07-31 2015-11-02 Apparatus for encoding an image
SM201600168T SMT201600168B (it) 2010-07-31 2016-06-10 Dispositivo di decodifica di intra-predizione
HRP20160911TT HRP20160911T1 (hr) 2010-07-31 2016-07-20 Uređaj za intrapredikcijsko dekodiranje
CY20161100743T CY1117856T1 (el) 2010-07-31 2016-07-27 Συσκευη αποκωδικοποιησης ενδο-προβλεψης
CY20191100254T CY1121337T1 (el) 2010-07-31 2019-02-28 Συσκευη για την αποκωδικοποιηση μιας εικονας
CY20191100498T CY1122995T1 (el) 2010-07-31 2019-05-09 Συσκευη για την κωδικοποιηση μιας εικονας
US17/343,127 USRE49565E1 (en) 2010-07-31 2021-06-09 Apparatus for encoding an image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2010-0074460 2010-07-31
KR20100074460 2010-07-31
KR1020110063288A KR20120012385A (ko) 2010-07-31 2011-06-28 인트라 예측 부호화 장치
KR10-2011-0063288 2011-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/624,852 Continuation US9307246B2 (en) 2010-07-31 2012-09-21 Apparatus for decoding moving picture

Publications (2)

Publication Number Publication Date
WO2012018197A2 true WO2012018197A2 (ko) 2012-02-09
WO2012018197A3 WO2012018197A3 (ko) 2012-04-12

Family

ID=45559905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005590 WO2012018197A2 (ko) 2010-07-31 2011-07-29 인트라 예측 복호화 장치

Country Status (19)

Country Link
US (11) US9307246B2 (ko)
EP (11) EP3059961B1 (ko)
JP (10) JP5997152B2 (ko)
KR (13) KR20120012385A (ko)
CN (13) CN106067978B (ko)
CY (5) CY1117856T1 (ko)
DK (5) DK2600613T3 (ko)
ES (11) ES2691195T3 (ko)
HR (5) HRP20160911T1 (ko)
HU (11) HUE044403T2 (ko)
LT (4) LT3051815T (ko)
MX (5) MX336417B (ko)
PL (11) PL3059960T3 (ko)
PT (5) PT3059953T (ko)
RS (5) RS58564B1 (ko)
SI (5) SI2600613T1 (ko)
SM (1) SMT201600168B (ko)
TR (7) TR201809830T4 (ko)
WO (1) WO2012018197A2 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016123118A (ja) * 2011-04-01 2016-07-07 アイベックス・ピイティ・ホールディングス・カンパニー・リミテッド イントラ予測モードにおける映像復号化方法
US10212425B2 (en) 2012-06-08 2019-02-19 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
EP3429203A3 (en) * 2012-10-01 2019-04-17 GE Video Compression, LLC Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US10542290B2 (en) 2012-06-27 2020-01-21 Sun Patent Trust Image decoding method and image decoding apparatus for sample adaptive offset information
US10645415B2 (en) 2011-04-25 2020-05-05 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
EP3843393A1 (en) * 2011-11-04 2021-06-30 Innotive Ltd Method of deriving an intra prediction mode
JP2022000950A (ja) * 2011-11-04 2022-01-04 イノティヴ リミテッド 映像符号化方法、映像復号化方法、コンピュータ可読記憶媒体
JP7585533B2 (ja) 2011-11-04 2024-11-18 ゲンスクエア エルエルシー 画像符号化装置

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
SG10201503180SA (en) * 2010-04-23 2015-06-29 M&K Holdings Inc Apparatus For Encoding A Moving Picture
EP2624563A4 (en) 2010-09-30 2016-03-16 Mitsubishi Electric Corp MOTION VIDEO-CODING DEVICE, MOTION VIDEO-CODING DEVICE, MOTION VIDEO-CODING METHOD AND MOTION VIDEO-CODING METHOD
US9008175B2 (en) 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
CN107257480B (zh) 2011-08-29 2020-05-29 苗太平洋控股有限公司 以amvp模式对图像编码的方法
JP2013093792A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置および方法
WO2015001700A1 (ja) * 2013-07-01 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、及び、画像符号化装置
JP6253406B2 (ja) * 2013-12-27 2017-12-27 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
WO2017030418A1 (ko) * 2015-08-19 2017-02-23 엘지전자(주) 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/ 디코딩하는 방법 및 장치
EP3343926A4 (en) * 2015-08-28 2019-01-30 KT Corporation METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
EP3306930A4 (en) * 2015-09-10 2018-05-02 Samsung Electronics Co., Ltd. Encoding device, decoding device, and encoding and decoding method thereof
ES2844525B1 (es) * 2015-09-11 2022-07-05 Kt Corp Metodo para decodificar un video
CN106550238B (zh) * 2015-09-16 2019-09-13 福州瑞芯微电子股份有限公司 一种图像处理方法及系统
KR102345475B1 (ko) * 2016-01-05 2022-01-03 한국전자통신연구원 잔차 신호에 대한 예측 방법 및 장치
US10785499B2 (en) * 2016-02-02 2020-09-22 Lg Electronics Inc. Method and apparatus for processing video signal on basis of combination of pixel recursive coding and transform coding
US20190037217A1 (en) * 2016-02-16 2019-01-31 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and decoding method and apparatus therefor
KR102684942B1 (ko) * 2016-03-17 2024-07-12 세종대학교산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
KR102346713B1 (ko) 2016-04-12 2022-01-03 세종대학교산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
KR102601732B1 (ko) 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
ES2908214T3 (es) 2016-06-24 2022-04-28 Kt Corp Filtración adaptativa de muestras de referencia para intra predicción usando líneas de píxeles distantes
US11405620B2 (en) * 2016-08-01 2022-08-02 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus with sub-block intra prediction
CN114286091B (zh) * 2016-09-05 2024-06-04 罗斯德尔动力有限责任公司 图像编码和解码方法、比特流存储介质及数据传输方法
KR20180029905A (ko) * 2016-09-13 2018-03-21 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
JP6953523B2 (ja) 2016-10-14 2021-10-27 インダストリー アカデミー コーオペレイション ファウンデーション オブ セジョン ユニバーシティ 画像の符号化／復号化方法及び装置
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
KR102371266B1 (ko) 2016-12-23 2022-03-07 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트로부터 방향성 인트라 예측 모드를 제거하기 위한 인트라 예측 장치
WO2018124853A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치
KR102719084B1 (ko) 2017-01-02 2024-10-16 한양대학교 산학협력단 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
CN117354514A (zh) 2017-07-28 2024-01-05 韩国电子通信研究院 图像编码方法和图像解码方法以及计算机可读记录介质
CN116634154A (zh) * 2017-09-08 2023-08-22 株式会社Kt 视频信号处理方法及装置
JP7236800B2 (ja) * 2017-10-10 2023-03-10 株式会社デンソー 車両洗浄システム
KR102402539B1 (ko) * 2017-11-28 2022-05-27 한국전자통신연구원 양방향 인트라 예측 방법 및 장치
EP3496401A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing Method and apparatus for video encoding and decoding based on block shape
EP3744093A4 (en) * 2018-01-25 2022-01-26 LG Electronics Inc. VIDEO DECODER AND RELATED CONTROL METHOD
US10735757B2 (en) 2018-01-30 2020-08-04 Lg Electronics Inc. Video decoder and controlling method thereof
WO2019203559A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 리그레션 모델 기반 필터링을 사용하는 영상 디코딩 방법 및 장치
SG11202009345QA (en) * 2018-05-10 2020-10-29 Samsung Electronics Co Ltd Video encoding method and apparatus, and video decoding method and apparatus
CN112954349B (zh) * 2018-06-21 2024-08-23 株式会社Kt 用于处理视频信号的方法和设备
TW202247652A (zh) * 2018-06-29 2022-12-01 弗勞恩霍夫爾協會 擴充參考圖像內預測技術
EP4152748A1 (en) * 2018-09-02 2023-03-22 LG Electronics, Inc. Method and apparatus for processing image signal
EP3888368A4 (en) * 2018-11-27 2022-03-02 OP Solutions, LLC ADAPTIVE TIME REFERENCE IMAGE CROSS-REFERENCE FILTER NOT AVAILABLE TO RELATED APPLICATIONS
US11102513B2 (en) 2018-12-06 2021-08-24 Tencent America LLC One-level transform split and adaptive sub-block transform
US11356699B2 (en) * 2019-01-11 2022-06-07 Hfi Innovation Inc. Method and apparatus of sub-block deblocking in video coding
CN111263156B (zh) * 2019-02-20 2022-03-25 北京达佳互联信息技术有限公司 视频解码方法、视频编码方法及装置
US11190777B2 (en) * 2019-06-30 2021-11-30 Tencent America LLC Method and apparatus for video coding
CN112859327B (zh) * 2019-11-27 2022-10-18 成都理想境界科技有限公司 一种图像输出控制方法及光纤扫描成像系统
WO2023055199A1 (ko) * 2021-09-30 2023-04-06 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69933858T2 (de) * 1998-12-10 2007-05-24 Matsushita Electric Industrial Co., Ltd., Kadoma Arithmetische filtervorrichtung
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
US7289562B2 (en) * 2003-08-01 2007-10-30 Polycom, Inc. Adaptive filter to improve H-264 video quality
US7782954B2 (en) * 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
KR101014660B1 (ko) * 2003-10-24 2011-02-16 삼성전자주식회사 인트라 예측 방법 및 장치
JP2006100871A (ja) * 2004-09-28 2006-04-13 Sony Corp 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP4231020B2 (ja) 2005-03-29 2009-02-25 日本電信電話株式会社 イントラ予測モード選択方法，画像符号化装置，画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4722125B2 (ja) 2005-04-01 2011-07-13 パナソニック株式会社 画像復号化装置及び画像復号化方法
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727990B1 (ko) * 2005-10-01 2007-06-13 삼성전자주식회사 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치
EP2733952A1 (en) * 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for encoding moving picture using adaptive scanning
KR100750145B1 (ko) * 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4542064B2 (ja) 2006-05-11 2010-09-08 日本電信電話株式会社 階層間予測方法，装置，プログラムおよびその記録媒体
BRPI0621935A2 (pt) * 2006-07-28 2016-09-13 Toshiba Kk Toshiba Corp método e aparelho para codificar e decodificar imagem
BRPI0717639A2 (pt) * 2006-10-30 2013-11-12 Nippon Telegraph & Telephone Método de geração de informações de referência preditas, métodos de codificação de decodificação de vídeo, aparelhos destinados aos mesmos, programas destinados aos mesmos, e mídias de armazenamento que armazenam os programas
KR100856392B1 (ko) 2006-11-08 2008-09-04 한국전자통신연구원 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
US8326064B2 (en) * 2007-01-22 2012-12-04 Nec Corporation Image re-encoding method to decode image data which is orthogonally transformed per first block and encoded by a first encoding method
WO2008130367A1 (en) * 2007-04-19 2008-10-30 Thomson Licensing Adaptive reference picture data generation for intra prediction
KR101378338B1 (ko) * 2007-06-14 2014-03-28 삼성전자주식회사 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
JPWO2009001793A1 (ja) * 2007-06-26 2010-08-26 株式会社東芝 画像符号化と画像復号化の方法及び装置
JP5437807B2 (ja) 2007-09-18 2014-03-12 富士通株式会社 動画像符号化装置および動画像復号装置
US8204327B2 (en) * 2007-10-01 2012-06-19 Cisco Technology, Inc. Context adaptive hybrid variable length coding
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
US20090245351A1 (en) * 2008-03-28 2009-10-01 Kabushiki Kaisha Toshiba Moving picture decoding apparatus and moving picture decoding method
CN100592796C (zh) * 2008-04-15 2010-02-24 中国科学院计算技术研究所 一种视频编码器及其帧内预测模式选择方法
WO2009136743A2 (ko) 2008-05-07 2009-11-12 Lg전자 비디오 신호의 디코딩 방법 및 장치
JP2009284298A (ja) * 2008-05-23 2009-12-03 Hitachi Ltd 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
JP2009302776A (ja) * 2008-06-11 2009-12-24 Canon Inc 画像符号化装置、その制御方法、及びコンピュータプログラム
US9055146B2 (en) * 2008-06-17 2015-06-09 International Business Machines Corporation Social network based call management
US9479786B2 (en) * 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
KR101590500B1 (ko) 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
CN101674475B (zh) * 2009-05-12 2011-06-22 北京合讯数通科技有限公司 一种h.264/svc的自适应层间纹理预测方法
KR101062111B1 (ko) 2009-07-06 2011-09-02 안양과학대학 산학협력단 가로등용 엘이디 등기구
CN101715135B (zh) * 2009-09-30 2013-01-09 武汉大学 基于匹配模板的自适应帧内预测滤波编码方法
KR101464538B1 (ko) 2009-10-01 2014-11-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101854549B (zh) * 2010-05-28 2012-05-02 浙江大学 基于空域预测的视频和图像编解码方法和装置
KR20110054244A (ko) 2009-11-17 2011-05-25 삼성전자주식회사 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
KR101547041B1 (ko) * 2011-01-12 2015-08-24 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017085592A (ja) * 2011-04-01 2017-05-18 アイベックス・ピイティ・ホールディングス・カンパニー・リミテッド イントラ予測モードにおける映像復号化方法
JP2018057030A (ja) * 2011-04-01 2018-04-05 アイベックス・ピイティ・ホールディングス・カンパニー・リミテッド イントラ予測モードにおける映像復号化方法
JP2018057029A (ja) * 2011-04-01 2018-04-05 アイベックス・ピイティ・ホールディングス・カンパニー・リミテッド イントラ予測モードにおける映像復号化方法
JP2019033516A (ja) * 2011-04-01 2019-02-28 アイベックス・ピイティ・ホールディングス・カンパニー・リミテッド イントラ予測モードにおける映像復号化方法
JP2016123118A (ja) * 2011-04-01 2016-07-07 アイベックス・ピイティ・ホールディングス・カンパニー・リミテッド イントラ予測モードにおける映像復号化方法
US10645415B2 (en) 2011-04-25 2020-05-05 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
US11910010B2 (en) 2011-04-25 2024-02-20 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
US11006146B2 (en) 2011-04-25 2021-05-11 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
JP2023029552A (ja) * 2011-11-04 2023-03-03 ゲンスクエア エルエルシー 残差ブロック生成方法
EP3843393A1 (en) * 2011-11-04 2021-06-30 Innotive Ltd Method of deriving an intra prediction mode
JP7585533B2 (ja) 2011-11-04 2024-11-18 ゲンスクエア エルエルシー 画像符号化装置
JP7500786B2 (ja) 2011-11-04 2024-06-17 ゲンスクエア エルエルシー 残差ブロック生成方法
JP7445793B2 (ja) 2011-11-04 2024-03-07 ゲンスクエア エルエルシー 画像符号化方法
JP2023036986A (ja) * 2011-11-04 2023-03-14 ゲンスクエア エルエルシー 画像符号化方法
JP7210664B2 (ja) 2011-11-04 2023-01-23 ゲンスクエア エルエルシー 映像符号化方法、映像復号化方法
JP2022000950A (ja) * 2011-11-04 2022-01-04 イノティヴ リミテッド 映像符号化方法、映像復号化方法、コンピュータ可読記憶媒体
US11375195B2 (en) 2012-06-08 2022-06-28 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
US10812800B2 (en) 2012-06-08 2020-10-20 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
US10212425B2 (en) 2012-06-08 2019-02-19 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
US11849116B2 (en) 2012-06-08 2023-12-19 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
US10542290B2 (en) 2012-06-27 2020-01-21 Sun Patent Trust Image decoding method and image decoding apparatus for sample adaptive offset information
US11477467B2 (en) 2012-10-01 2022-10-18 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
US11575921B2 (en) 2012-10-01 2023-02-07 Ge Video Compression, Llc Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US11589062B2 (en) 2012-10-01 2023-02-21 Ge Video Compression, Llc Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
EP3429203A3 (en) * 2012-10-01 2019-04-17 GE Video Compression, LLC Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US10694183B2 (en) 2012-10-01 2020-06-23 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
US11134255B2 (en) 2012-10-01 2021-09-28 Ge Video Compression, Llc Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
US10477210B2 (en) 2012-10-01 2019-11-12 Ge Video Compression, Llc Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
US10694182B2 (en) 2012-10-01 2020-06-23 Ge Video Compression, Llc Scalable video coding using base-layer hints for enhancement layer motion parameters
US12010334B2 (en) 2012-10-01 2024-06-11 Ge Video Compression, Llc Scalable video coding using base-layer hints for enhancement layer motion parameters
US10687059B2 (en) 2012-10-01 2020-06-16 Ge Video Compression, Llc Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US10681348B2 (en) 2012-10-01 2020-06-09 Ge Video Compression, Llc Scalable video coding using inter-layer prediction of spatial intra prediction parameters

Also Published As

Publication number Publication date
SI3051815T1 (sl) 2019-04-30
CN104602009B (zh) 2016-09-07
HUE044305T2 (hu) 2019-10-28
SMT201600168B (it) 2016-07-01
JP6158995B2 (ja) 2017-07-05
CN106067979A (zh) 2016-11-02
DK3051815T3 (en) 2019-04-29
MX336419B (es) 2016-01-19
JP2017011730A (ja) 2017-01-12
HUE041737T2 (hu) 2019-05-28
EP3059955A1 (en) 2016-08-24
KR20210131949A (ko) 2021-11-03
JP2017011728A (ja) 2017-01-12
ES2685577T3 (es) 2018-10-10
PL2600613T3 (pl) 2016-11-30
HUE040206T2 (hu) 2019-02-28
JP6163597B2 (ja) 2017-07-12
HUE039985T2 (hu) 2019-02-28
CN106231314A (zh) 2016-12-14
CY1120472T1 (el) 2019-07-10
CN103081474B (zh) 2016-09-21
KR101339903B1 (ko) 2013-12-10
USRE49565E1 (en) 2023-06-27
PL3059961T3 (pl) 2019-04-30
JP6158996B2 (ja) 2017-07-05
HRP20160911T1 (hr) 2016-09-23
KR20210096029A (ko) 2021-08-04
MX336418B (es) 2016-01-19
KR20130098255A (ko) 2013-09-04
CN106067978B (zh) 2017-08-29
HRP20181470T1 (hr) 2018-11-02
EP3059955B1 (en) 2018-09-26
EP3059953B1 (en) 2019-02-20
EP3059960A1 (en) 2016-08-24
CN106067977A (zh) 2016-11-02
HUE041476T2 (hu) 2019-05-28
JP2017011729A (ja) 2017-01-12
PL3059953T3 (pl) 2019-08-30
US9615094B2 (en) 2017-04-04
SI3059953T1 (sl) 2019-04-30
PL3051815T3 (pl) 2019-07-31
HRP20190773T1 (hr) 2019-06-14
MX336417B (es) 2016-01-19
EP3051815A1 (en) 2016-08-03
JP2016220246A (ja) 2016-12-22
RS55052B1 (sr) 2016-12-30
EP3059961B1 (en) 2018-09-12
JP6163595B2 (ja) 2017-07-12
CN106231312A (zh) 2016-12-14
US20160057421A1 (en) 2016-02-25
TR201816011T4 (tr) 2018-11-21
US9438919B2 (en) 2016-09-06
CN106231314B (zh) 2020-02-04
EP3059954B1 (en) 2018-09-26
ES2692842T3 (es) 2018-12-05
ES2575381T3 (es) 2016-06-28
HUE044403T2 (hu) 2019-10-28
RS57368B1 (sr) 2018-08-31
JP2017011732A (ja) 2017-01-12
US9451264B2 (en) 2016-09-20
PL3059956T3 (pl) 2018-11-30
CY1117856T1 (el) 2017-05-17
WO2012018197A3 (ko) 2012-04-12
CN106067981A (zh) 2016-11-02
PL3059957T3 (pl) 2019-03-29
EP2600613A2 (en) 2013-06-05
HUE041269T2 (hu) 2019-05-28
US9451263B2 (en) 2016-09-20
PT3059953T (pt) 2019-03-27
US9462281B2 (en) 2016-10-04
LT3051815T (lt) 2019-02-25
CN103081474A (zh) 2013-05-01
KR20210131951A (ko) 2021-11-03
JP2017011727A (ja) 2017-01-12
CN104602009A (zh) 2015-05-06
ES2691195T3 (es) 2018-11-26
MX336416B (es) 2016-01-19
HUE041736T2 (hu) 2019-05-28
TR201809836T4 (tr) 2018-07-23
US9445099B2 (en) 2016-09-13
US20160057449A1 (en) 2016-02-25
EP3059959A1 (en) 2016-08-24
EP3059956B1 (en) 2018-06-13
CY1120479T1 (el) 2019-07-10
EP3059960B1 (en) 2018-06-13
EP3059957B1 (en) 2018-09-12
EP3051815B1 (en) 2019-01-30
EP3059956A1 (en) 2016-08-24
HRP20190543T1 (hr) 2019-05-31
PL3059955T3 (pl) 2019-06-28
CN104602011A (zh) 2015-05-06
KR20140056205A (ko) 2014-05-09
KR20210131952A (ko) 2021-11-03
EP3059958B1 (en) 2018-09-19
EP3059953A1 (en) 2016-08-24
PT3051815T (pt) 2019-03-01
JP6158997B2 (ja) 2017-07-05
CN106303532B (zh) 2019-03-12
ES2696525T3 (es) 2019-01-16
US20160057450A1 (en) 2016-02-25
CN106067981B (zh) 2017-08-11
KR102322188B1 (ko) 2021-11-05
MX2013001232A (es) 2013-03-12
TR201816486T4 (tr) 2018-11-21
TR201815529T4 (tr) 2018-11-21
US9609325B2 (en) 2017-03-28
PT2600613E (pt) 2016-06-03
US20160057423A1 (en) 2016-02-25
TR201815017T4 (tr) 2018-11-21
EP2600613B1 (en) 2016-05-11
US9307246B2 (en) 2016-04-05
KR20200050451A (ko) 2020-05-11
JP2016220245A (ja) 2016-12-22
TR201816492T4 (tr) 2018-11-21
US20160057426A1 (en) 2016-02-25
CN106067977B (zh) 2017-08-11
JP2017011733A (ja) 2017-01-12
RS58388B1 (sr) 2019-04-30
LT3059953T (lt) 2019-03-12
PL3059960T3 (pl) 2018-11-30
ES2720581T3 (es) 2019-07-23
DK3059956T3 (en) 2018-09-10
DK3059960T3 (en) 2018-09-10
CN106210723A (zh) 2016-12-07
US9491468B2 (en) 2016-11-08
SI2600613T1 (sl) 2016-07-29
JP6163598B2 (ja) 2017-07-12
JP6158998B2 (ja) 2017-07-05
LT3059960T (lt) 2018-08-27
CN106067978A (zh) 2016-11-02
JP6152461B2 (ja) 2017-06-21
ES2685600T3 (es) 2018-10-10
PL3059954T3 (pl) 2019-03-29
EP3059957A1 (en) 2016-08-24
CN104602011B (zh) 2018-02-02
CY1122995T1 (el) 2021-10-29
TR201809830T4 (tr) 2018-07-23
HUE041266T2 (hu) 2019-05-28
ES2718937T3 (es) 2019-07-05
PT3059956T (pt) 2018-10-18
CN106231313A (zh) 2016-12-14
ES2700623T3 (es) 2019-02-18
KR20210131950A (ko) 2021-11-03
KR20120012401A (ko) 2012-02-09
US20160057425A1 (en) 2016-02-25
DK2600613T3 (en) 2016-08-22
CN106067980A (zh) 2016-11-02
KR20140057510A (ko) 2014-05-13
JP6163596B2 (ja) 2017-07-12
JP2017011731A (ja) 2017-01-12
EP3059959B1 (en) 2018-09-12
CN106303532A (zh) 2017-01-04
US20160057422A1 (en) 2016-02-25
US20130016774A1 (en) 2013-01-17
EP3059961A1 (en) 2016-08-24
US20160057424A1 (en) 2016-02-25
EP3059954A1 (en) 2016-08-24
CN106210723B (zh) 2019-11-01
JP5997152B2 (ja) 2016-09-28
RS58564B1 (sr) 2019-05-31
SI3059960T1 (en) 2018-08-31
KR102164752B1 (ko) 2020-10-14
US9467702B2 (en) 2016-10-11
EP3059958A1 (en) 2016-08-24
HUE041267T2 (hu) 2019-05-28
ES2700624T3 (es) 2019-02-18
RS57381B1 (sr) 2018-09-28
CN106067979B (zh) 2017-08-11
CN106231313B (zh) 2020-02-04
ES2694041T3 (es) 2018-12-17
JP2013534384A (ja) 2013-09-02
EP2600613A4 (en) 2014-09-10
LT3059956T (lt) 2018-08-27
PL3059958T3 (pl) 2019-06-28
KR20130029097A (ko) 2013-03-21
CN106067980B (zh) 2017-08-11
DK3059953T3 (en) 2019-04-29
SI3059956T1 (en) 2018-08-31
KR20120012385A (ko) 2012-02-09
KR20140057511A (ko) 2014-05-13
PL3059959T3 (pl) 2019-03-29
US20160057427A1 (en) 2016-02-25
HUE030354T2 (en) 2017-05-29
CY1121337T1 (el) 2020-05-29
CN106231312B (zh) 2019-04-12
HRP20181471T1 (hr) 2018-11-02
PT3059960T (pt) 2018-10-18

Similar Documents

Publication Publication Date Title
WO2012018197A2 (ko) 인트라 예측 복호화 장치
WO2012018198A2 (ko) 예측 블록 생성 장치
WO2018174402A1 (ko) 영상 코딩 시스템에서 변환 방법 및 그 장치
WO2012023762A2 (ko) 인트라 예측 복호화 방법
WO2013062197A1 (ko) 영상 복호화 장치
TWI608726B (zh) 影像編碼設備
WO2011099792A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2017069419A1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017052000A1 (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
WO2012002785A2 (ko) 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법
WO2013062192A1 (ko) 인트라 예측 정보 부호화 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2013025065A2 (ko) 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
WO2012144876A2 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2013062198A1 (ko) 영상 복호화 장치
WO2013062195A1 (ko) 인트라 예측 모드 복호화 방법 및 장치
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
WO2020185004A1 (ko) 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치
WO2019112071A1 (ko) 영상 코딩 시스템에서 크로마 성분의 효율적 변환에 기반한 영상 디코딩 방법 및 장치
WO2013157820A1 (ko) 고속 에지 검출을 이용하는 비디오 부호화 방법 및 장치, 그 비디오 복호화 방법 및 장치
WO2013062194A1 (ko) 복원 블록을 생성하는 방법 및 장치
WO2022114742A1 (ko) 비디오 부호화 및 복호화를 위한 장치 및 방법
KR20180111378A (ko) 병렬 처리를 위한 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
KR20130098254A (ko) 예측 블록 생성 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180042188.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11814797

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2013523088

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/001232

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011814797

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: P-2016/0460

Country of ref document: RS