[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013141665A1 - 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치 - Google Patents

비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2013141665A1
WO2013141665A1 PCT/KR2013/002424 KR2013002424W WO2013141665A1 WO 2013141665 A1 WO2013141665 A1 WO 2013141665A1 KR 2013002424 W KR2013002424 W KR 2013002424W WO 2013141665 A1 WO2013141665 A1 WO 2013141665A1
Authority
WO
WIPO (PCT)
Prior art keywords
substream
substreams
lcu
decoding
bitstream
Prior art date
Application number
PCT/KR2013/002424
Other languages
English (en)
French (fr)
Inventor
헨드리헨드리
전병문
김정선
정상오
박승욱
임재현
전용준
박준영
박내리
김철근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020207019399A priority Critical patent/KR102219089B1/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020217004595A priority patent/KR102261939B1/ko
Priority to KR1020227032496A priority patent/KR102489001B1/ko
Priority to KR1020217032395A priority patent/KR102361012B1/ko
Priority to KR1020217016821A priority patent/KR102312989B1/ko
Priority to KR1020147021858A priority patent/KR102132784B1/ko
Priority to KR1020227003996A priority patent/KR102447003B1/ko
Priority to US14/387,002 priority patent/US9955178B2/en
Publication of WO2013141665A1 publication Critical patent/WO2013141665A1/ko
Priority to US15/925,169 priority patent/US10218993B2/en
Priority to US16/245,778 priority patent/US10708610B2/en
Priority to US16/886,400 priority patent/US11202090B2/en
Priority to US17/518,984 priority patent/US11838526B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to video encoding and decoding techniques, and more particularly, to parallel decoding of video.
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • inter prediction and intra prediction may be used.
  • the pixel value of the current picture is predicted by referring to information of another picture
  • the intra prediction method the pixel value is predicted by using the correlation between pixels in the same picture. do.
  • Various methods for making an image identical to an original may be applied to a processing unit, eg, a block, of a predicted image. This allows the decoding apparatus to decode the image more accurately (more consistent with the original), and the encoding apparatus can encode the image so that it can be more accurately reconstructed.
  • An object of the present invention is to provide a method and apparatus for organizing video information to effectively perform parallel decoding.
  • An object of the present invention is to provide a substream structure capable of effectively performing parallel decoding.
  • An embodiment of the present invention is a video decoding method, comprising: receiving a bitstream including substreams that are rows of large coding units (LCUs) and decoding the substreams in parallel;
  • the number may be equal to the number of entry points.
  • Another embodiment of the present invention provides a video encoding method, comprising: encoding in parallel substreams that are rows of large coding units (LCUs) and transmitting a bitstream including the encoded substreams, wherein the substreams are encoded.
  • the number of streams may be equal to the number of entry points.
  • Another embodiment of the present invention is a video decoding apparatus, comprising: decoding a bitstream including substreams that are rows of large coding units (LCUs) in parallel, the number of substreams being equal to the number of entry points .
  • LCUs large coding units
  • Another embodiment of the present invention is a video encoding apparatus, comprising: encoding in parallel substreams that are rows of large coding units (LCUs) and transmitting a bitstream including the encoded substreams, wherein the number of substreams is an entry It may be equal to the number of points.
  • LCUs large coding units
  • video information can be configured to effectively perform parallel decoding.
  • a substream may be configured to effectively perform parallel decoding.
  • the present invention it is possible to effectively perform parallel decoding corresponding to the configuration of various processing cores. For example, according to the present invention, even when the number of processing cores is varied, parallel decoding can be effectively performed.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating an example of a slice.
  • FIG. 4 is a diagram schematically illustrating an example of a tile and a slice.
  • FIG. 5 is a diagram schematically illustrating another example of a tile and a slice.
  • FIG. 6 is a diagram schematically illustrating a WPP substream.
  • FIG. 7 schematically illustrates an example in which a predetermined region in a picture is divided into substreams.
  • FIG. 8 is a diagram schematically illustrating an LCU order in a bitstream according to the example of FIG. 7.
  • FIG. 10 is a view schematically illustrating an example in which LCU rows are each substreamed according to the present invention.
  • FIG. 11 is a diagram schematically illustrating LCUs in an aligned bitstream, in accordance with the present invention.
  • FIG. 12 is a flowchart schematically illustrating a video encoding method according to the present invention.
  • FIG. 13 is a flowchart schematically illustrating a video decoding method according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit block.
  • the block as the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). It may be called.
  • the processing unit blocks divided by the picture divider 105 may have a quad-tree structure.
  • the predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below.
  • the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method.
  • the processing unit in which the prediction is performed and the processing unit in which the details of the prediction method and the prediction method are determined may be different.
  • the prediction method and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used.
  • a reference picture may be selected for a PU and a reference block corresponding to the PU may be selected.
  • the reference block may be selected in integer pixel units.
  • a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
  • the prediction block may be generated in integer sample units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit.
  • the motion vector may also be expressed in units of integer pixels or less.
  • the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
  • a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
  • the transform unit 115 performs transform on the residual block in units of transform blocks and generates transform coefficients.
  • the transform block is a rectangular block of samples to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transformer 115 may perform the transformation according to the prediction mode applied to the residual block and the size of the block.
  • the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform unit 115 may generate a transform block of transform coefficients by the transform.
  • the quantization unit 120 may generate quantized transform coefficients by quantizing the residual values transformed by the transform unit 115, that is, the transform coefficients.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantized transform coefficients provided from the quantization unit 120. By rearranging the quantized transform coefficients, the encoding efficiency of the entropy encoding unit 130 may be increased.
  • the reordering unit 125 may rearrange the quantized transform coefficients in the form of a 2D block into a 1D vector form through a coefficient scanning method.
  • the entropy encoding unit 130 may perform entropy encoding on the quantized transform coefficients rearranged by the reordering unit 125.
  • Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
  • the entropy encoding unit 130 may include quantized transform coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, and motion vector of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as information, reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
  • the inverse quantizer 135 inversely quantizes the quantized values (quantized transform coefficients) in the quantizer 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantizer 135.
  • the reconstructed block may be generated by combining the residual values generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction blocks predicted by the prediction unit 110.
  • a reconstructed block is generated by adding a residual block and a prediction block through an adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the video decoding apparatus 200 includes an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
  • Memory 240 may be included.
  • the input bitstream may be decoded according to a procedure in which image information is processed in the video encoding apparatus.
  • VLC variable length coding
  • 'VLC' variable length coding
  • CABAC CABAC
  • Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the predictor 230, and a residual value where entropy decoding is performed by the entropy decoding unit 210, that is, a quantized transform coefficient It may be input to the reordering unit 215.
  • the reordering unit 215 may reorder the information of the bitstream entropy decoded by the entropy decoding unit 210, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may generate an array of coefficients (quantized transform coefficients) in the form of a 2D block by scanning coefficients based on the prediction mode applied to the current block (transform block) and the size of the transform block.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the video encoding apparatus.
  • the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transform unit 225 of the decoding apparatus is configured in the transformation unit of the encoding apparatus.
  • Inverse transformation may be performed based on the performed transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
  • intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
  • the residual is not transmitted and the prediction block may be a reconstruction block.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
  • SAO sample adaptive offset
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • the encoding apparatus and the decoding apparatus may divide the picture into predetermined units and process (encode / decode) the picture.
  • a picture may be divided into slices and tiles.
  • a slice is a sequence of one or more slice segments.
  • the slice sequence starts with an independent slice segment and includes dependent slice segments that exist until the next independent slice segment.
  • the current picture 300 is divided into two slices by the slice boundary 350.
  • the first slice includes an independent slice segment 310 comprising four coding tree units and a first dependent slice segment 320 comprising 32 CTUs before and after the slice segment boundary 330 and 24 CTUs.
  • the second dependent slice segment 340 may be configured.
  • Another independent slice segment 360 is composed of 28 CTUs.
  • a tile may also be a sequence of CTUs or LCUs.
  • the CTU is a coding unit of a quad-tree structure and may be an LCU.
  • CTU and LCU may be mixed and used where necessary to help the understanding of the present invention.
  • FIG. 4 is a diagram schematically illustrating an example of a tile and a slice.
  • FIG. 5 is a diagram schematically illustrating another example of a tile and a slice.
  • the current picture 500 is divided into two tiles to the left and right of the tile boundary 510.
  • the tile to the left of the tile boundary 510 includes two slices based on the slice boundary 550.
  • Slices above slice boundary 550 include independent slice segments 520 and dependent slice segments 540, and slices below slice boundary 550 include independent slice segments 530 and dependent slice segments ( 560).
  • the next slice based on slice boundary 590, ie, the slice in the second tile, includes an independent slice segment 530 and a dependent slice segment 580.
  • Encoding and decoding may be performed in units of tiles, or in units of rows of CTUs (hereinafter, for convenience of description, rows of CTUs or rows (or streams) of LCUs are referred to as 'substreams'). May be Each sample in a tile or substream may be processed in units of CTU or LCU.
  • the decoding process may be processed in parallel.
  • the decoding process may be performed in parallel for each tile or in parallel for each substream.
  • each tile may be decoded simultaneously.
  • the maximum number of tiles that can be processed in parallel may be predetermined. For example, a maximum of four tiles may be set to be processed in parallel.
  • the decoding apparatus may process 1 to 4 tiles at once.
  • the substream may be a row of LCUs or CTUs as part of a bitstream to be decoded in each decoding process when a plurality of decoding processes are performed in parallel.
  • the relevant context information is stored.
  • the first CTU (LCU) of the n + 1th substream may be entropy decoded based on the context information for the second CTU (LCU) of the nth substream.
  • WPP wavefront parallel processing
  • the tile structure and the WPP allow the encoding device to divide the picture into several parts, which can then be decoded in a parallel manner in the decoding device.
  • An access point on a bitstream for proceeding decoding in parallel using a tile structure (tile substream) or a WPP substream is called an entry point.
  • the entry point may be the start point of each WPP substream or the start point of each tile on the bitstream.
  • FIG. 6 is a diagram schematically illustrating a WPP substream.
  • the predetermined area 600 in the picture includes a plurality of substreams such as substream A 610, substream B 620, substream C 630, and the like.
  • Each substream is decoded sequentially from the first LCU.
  • Second and subsequent LCUs of each substream may be entropy decoded based on the entropy decoding result of previous LCUs, that is, the context.
  • each substream can be decoded in parallel, and in the substreams after the first substream, the first LCUs can be entropy decoded based on the value of the context variables for the second LCU of the previous substream. have.
  • the decoding process proceeds from the first LCU A1 of the first row 610 in the decoding object region 600.
  • the decoding device stores the value of the context variables for A2.
  • the first LCU B1 of the second row 620 is entropy decoded based on the value of the context variables for the second LCU A2 of the first row 610. Once the entropy decoding for the second LCU B2 of the second row 620 is complete, the decoding device stores the values of the context variables for B2.
  • the first LCU C1 of the third row 630 is entropy decoded based on the value of the context variables for the second LCU B2 of the second row 610.
  • the decoding device stores the values of the context variables for B2.
  • the fourth and subsequent rows can also be entropy decoded using the context variable values for the second LCU of the previous row.
  • the entry point may indicate the decoding start point (access point) for each substream.
  • a predetermined area 600 of a picture may be a partial area of the current picture, a slice of the current picture, or an entire area of the current picture.
  • an area for example, an entire picture or a slice
  • an entry as a position to access the first bit of each substream in the slice header Points can be signaled.
  • FIG. 7 schematically illustrates an example in which a predetermined region in a picture is divided into substreams.
  • FIG. 7 an example in which a predetermined region 700 in a picture is divided into three substreams of substreams 0 710 and 740, substreams 1 720 and 750, and substreams 2730 is described as an example. have.
  • the first row 710 of substream 0 consists of a 0 th LCU to a fifth LCU
  • the second row 740 of substream 0 consists of an 18 th LCU and a 23 th LCU.
  • the first row 720 of substream 1 consists of the 6th LCU to the 11th LCU
  • the second row 750 of substream 1 consists of the 24th LCU to 29th LCU.
  • substream 2 730 is composed of a 12 th LCU to a 17 th LCU.
  • the substreams are transmitted in a sequence in the bitstream, where the access point of each substream can be signaled to the entry point.
  • the first processing core may decode the first row 710 of the substream 0 and then sequentially decode the second row 720.
  • the second processing core may also decode the first row 720 of substream 1 and then sequentially decode the second row 740.
  • the predetermined area 700 in the picture may be an entire picture or may be a slice, a slice segment, or a tile in the picture.
  • FIG. 8 is a diagram schematically illustrating an LCU order in a bitstream according to the example of FIG. 7.
  • LCUs may be rearranged for each substream in the bitstream. Reordering of the LCUs may be performed in the reordering unit 125 of FIG. 1, for example.
  • substream 1 and substream 2 are transmitted following substream 0.
  • the access point of substream 0 is indicated by entry point 810
  • the access point of substream 1 is indicated by entry point 820
  • the access point of substream 2 is indicated by entry point 830. Can be.
  • the first processing core decodes substream 0
  • the second processing core decodes substream 1
  • the third processing core is substream 2.
  • the first processing core decodes from the 0th LCU to the 5th LCU and then from the 18th LCU to the 23rd LCU.
  • the second processing core decodes from the 6th LCU to the 11th LCU and then from the 24th LCU to the 29th LCU.
  • the LCUs are rearranged by substreams as shown in FIG. 7 in the bitstream.
  • the complexity of the decoding process may increase or decoding may become difficult. Can be.
  • FIG. 9 is a diagram schematically illustrating an example of decoding a bitstream according to the example of FIG. 7 using one processing core.
  • the reordering of LCUs may be performed, for example, in the reordering unit 125 of FIG. 1.
  • the processing core first decodes the 0 th LCU to the 5 th LCU (1).
  • the processing core then decodes from the 6th LCU to the 11th LCU (2), and decodes from the 12th LCU to the 17th LCU (3). Then, it moves to the front of the bitstream again to decode from the 18th LCU to the 23rd LCU (4), and decodes from the 24th LCU to the 29th LCU (5).
  • decoding is performed while moving back and forth of the bitstream.
  • the entry point indicating the access point indicates only the viewpoints 910, 920, 930 of the first LCU in each substream, as shown.
  • the processing core needs to access six points (0th LCU, 6th LCU, 12th LCU, 18th LCU, 24th LCU) while moving back and forth, but only 3 entry points indicating the access point are transmitted. Occurs.
  • Various types of devices may also be used as a decoding device (decoder) that performs video decoding in a situation in which types and demands of video services are diversifying. In other words, there is a situation in which the same video stream is decoded using a plurality of processing cores in some cases, and in some cases using a single processing core.
  • maximizing the number of substreams that are units of decoding processing means that one LCU row becomes one substream in a picture.
  • the substreams are configured such that the number of substreams is equal to the number of LCU rows. If the number of substreams is the same as the number of LCU rows, the order of the LCUs in the bitstream may be the order of the raster scan.
  • FIG. 10 is a view schematically illustrating an example in which LCU rows are each substreamed according to the present invention.
  • FIG. 10 a case where a predetermined region 1000 in a picture is composed of five LCU rows will be described as an example.
  • substream 0 is a first LCU row consisting of a 0 th LCU to a 5 th LCU.
  • Substream 1 1020 is a second LCU row consisting of the 6th to 11th LCUs.
  • Substream 2 1030 is a third row consisting of a 12 th LCU to a 17 th LCU.
  • Substream 3 1040 is the fourth row consisting of the 18 th LCU to the 13 th LCU.
  • Substream 4 1050 is the fifth LCU row consisting of the 24 th LCU to the 29 th LCU.
  • each LCU column is one substream.
  • the predetermined region 1000 in the picture may be an entire picture, or may be a slice, a slice segment, or a tile in the picture.
  • FIG. 11 is a diagram schematically illustrating LCUs in an aligned bitstream, in accordance with the present invention.
  • FIG. 11 a case in which the substreams according to FIG. 10 are rearranged in the bitstream will be described as an example.
  • the bisstream is arranged in the order of the first substream, the second substream, the third substream, the fourth substream, and the fifth substream.
  • the processing core decodes the first substream (1), decodes the second substream (2), then decodes the third substream (3), decodes the fourth substream (4), and finally Decode the fifth substream (5).
  • the decoding apparatus may sequentially decode the bitstream.
  • each LCU row is one substream
  • a padding bit for byte alignment may be added for each LCU row, that is, for each substream.
  • a predetermined change may be applied to the picture parameter set (PPS) and the slice header.
  • a predetermined syntax element may be signaled to specify the number of substreams.
  • a syntax element such as num_substream_minus1 may be transmitted to specify the number of substreams in a picture.
  • the number of substreams may be specified by the number of LCU rows or may be specified by the number of entry points.
  • the number of substreams in a picture may be specified by the number of LCU rows in a picture or by the number of entry points in a picture.
  • the number of entry points may be the number of entry point offsets + 1, and the number of entry point offsets may be signaled in the slice header.
  • the number of entry points may be signaled by a predetermined syntax element.
  • the number of substreams in the slice may be equal to the number of entry points in the slice.
  • the number of substreams in the slice segment may be equal to the number of entry points in the slice segment.
  • the number of entry points may be specified by signaling the number of entry point offsets instead of directly signaling the number of entry points.
  • the first entry point may be signaled and the second entry point may be specified by sending an offset between the first entry point and the second entry point.
  • the third entry point may then be specified by the second entry point and the offset between the second entry point and the third entry point.
  • the n th entry point may be specified by the previous entry point and the offset, and the number of the entry points may be specified by the number of offsets.
  • the number of entry points is equal to the number of substreams, that is, the number of LCU rows, and thus a syntax element for specifying the number of entry point offsets, that is, a syntax element for indicating the number of entry points. It may not transmit.
  • the number of substreams may be specified through information that may specify the number of entry points, for example, a syntax element that specifies the number of entry point offsets.
  • the number of entry point offsets may be specified. If the syntax element to be referred to is num_entry_point_offset, and the number of entry point offsets specified by num_entry_point_offset is n, the number of entry points, that is, the number of substreams and the number of LCU rows is n + 1.
  • Table 1 shows an example of a slice header signaling the number of entry point offsets.
  • the number of entry point offsets in the slice header may be transmitted.
  • num_entry_point_offsets specifies the number of entry point offsets in the slice header, and the number of entry points in the slice header has a value larger than the number of entry point offsets in the slice header.
  • num_entry_point_offsets specifies the number of syntax elements entry_point_offset_minus1 [i] in the slice header. If there is no num_entry_point_offsets in the slice header, the value of num_entry_point_offsets can be estimated as 0.
  • num_entry_point_offsets may have a value of 0 or more CTB units of a picture height (ie, the number of CTBs in the height direction of the picture, PicHeightInCtbs) -1 or less.
  • num_entry_point_offsets may have a value of 0 or more tile columns (num_tile_coulmn_minus1 + 1) * number of tile rows (num_tile_row_minus1 + 1)-1 or less.
  • num_entry_point_offsets is the number of tile columns above 0 (num_tile_coulmn_minus1 + 1) * CTB units of picture height (i.e., the number of CTBs in the picture's height direction, PicHeightInCtbs) Can have
  • a syntax element whose num_entry_point_offsets specifies its number entry_point_offset_minus1 [i] + 1 means an offset with respect to the i th entry point.
  • Slice segment data according to the slice segment header may be configured as a substream of num_entry_point_offsets + 1 when num_entry_point_offsets specifies the number of entry point offsets in the slice segment.
  • the substream index specifying the substream in the slice segment may have a value of 0 or more and num_entry_point_offsets or less.
  • the substream 0, which is the 0th substream may be composed of bytes equal to or larger than 0 and entry_point_offset_minus1 [0] less than the slice segment data.
  • iniByte [k] and finByte [k] may be defined as in Equation 1.
  • finByte [k] iniByte [k] + entry_point_offset_minus1 [k]
  • the number of substreams (ie, num_entry_point_offsets + 1) becomes equal to the number of LCU rows in the slice segment.
  • the number of entry point offsets is simply transmitted in the slice header.
  • the slice header in which the number of entry point offsets is transmitted may be a slice segment header.
  • whether a tile is applied or a WPP is indicated by one indicator in contrast, it may be transmitted to each syntax element whether a tile is applied to decode in parallel or WPP is applied. For example, whether to apply WPP may be transmitted through a flag.
  • Table 2 briefly illustrates a case in which information about the number of entry point offsets described in Table 1 is transmitted in a slice segment header.
  • num_entry_point_offsets specifies the number of entry point offsets in the slice segment header, and the number of entry points in the slice segment header has a value larger than the number of entry point offsets in the slice segment header.
  • the number of substreams or the number of LCU rows may be specified through the number of entry points (number of entry point offsets).
  • the information indicating whether the LCU is rearranged is signaled from the encoding device to the decoding device. For example, it may be indicated whether the LCU (CTU) is rearranged through ctb_reordering_flag.
  • num_substream_minus1 When the value of ctb_reordering_flag is false, information indicating the number of substreams (for example, num_substream_minus1) does not exist in the PPS.
  • the number of substreams in a slice is equal to the number of entry points. That is, it is assumed that the value num_substream_minus1 intends to be equal to the value of the entry point offset, that is, the value indicated by num_entry_point_offset.
  • ctb_reordering_flag If the value of ctb_reordering_flag is true, information indicating the number of substreams (eg, num_substream_minus1) exists in the PPS.
  • both pictures coded with a single WPP substream and pictures coded with multiple WPP substreams can be decoded using a single processing core or multiple processing cores. However, there may be a difference in ease of decoding.
  • ctb_reordering_flag if the value of ctb_reordering_flag is false, it may be determined that it is better to use a single processing core for decoding the bitstream. In addition, if the value of ctb_reordering_flag is true, it may be determined that it is preferable to use a multiprocessing core for decoding the bitstream.
  • Table 3 shows an example of the modified PPS according to the present invention.
  • ctb_reordering_flag 1
  • a syntax element indicating the number of substreams eg, num_substreams_minus1
  • the coded treeblocks within the bitstream are not arranged in the raster scan order. To indicate that it can.
  • the value of ctb_reordering_flag is 0, there is no syntax element indicating the number of substreams (for example, num_substreams_minus1), and the coded treeblocks coded in the bitstream are arranged in the raster scan order. Indicates that there is.
  • the number of substreams in a slice is equal to the number of entry points, and the number of entry points may be specified by the number of entry point offsets. For example, the number of entry points may be one greater than the number of entry point offsets.
  • syntax element num_entry_point_offset indicating the number of entry point offsets in the slice header may be changed.
  • num_entry_point_offset transmitted in the slice header specifies the number of entry point offsets in the slice header.
  • the number of entry point offsets is equal to or greater than the number of tile columns (num_tile_coulmn_minus1 + 1) * The number of tile rows (num_tile_row_minus1 + 1)-may have a value of 1 or less.
  • the number of entry point offsets may have a value of 0 or more and a number of substreams-1 (num_substreams_minus1) or less.
  • the number of entry point offsets may have a value of 0 or more and less than LCU unit height-1 (PicHeightInCtbs-1) of the picture.
  • num_entry_point_offset may be estimated as zero.
  • FIG. 12 is a flowchart schematically illustrating a video encoding method according to the present invention.
  • the encoding apparatus encodes the input video (S1210).
  • a detailed method of video encoding performed by the encoding apparatus is as described with reference to FIG. 1.
  • the encoding apparatus may encode substreams that are rows of LCUs (Largest Coding Units) in parallel.
  • encoding is performed on the nth (n is an integer) substream, and after encoding of the second CTU or LCU of the nth substream is completed, encoding on the n + 1th substream is performed. Can proceed.
  • the first LCU of the n + 1th substream is based on the context information for the second LCU of the nth substream. It can be entropy encoded.
  • the number of substreams in a picture, a slice, or a slice segment is equal to the number of LCU rows.
  • the number of substreams may be equal to the number of entry points.
  • the number of entry points may be specified by the number of entry point offsets.
  • the number of entry points may have a value one greater than the number of entry point offsets.
  • the encoding device may signal the encoded video information in the bitstream (S1220).
  • the bitstream may include information specifying the number of entry point offsets.
  • Information specifying the number of entry point offsets may be transmitted in the PPS, or may be transmitted in a slice header or slice segment header.
  • a bit for byte alignment may be added at the end of each substream, so that byte alignment may be performed in units of substreams.
  • the access point of each substream may be specified by an entry point.
  • the access point of the second substream may be the point where the entry point offset is added to the first entry point.
  • FIG. 13 is a flowchart schematically illustrating a video decoding method according to the present invention.
  • the decoding apparatus receives video information through a bitstream (S1310).
  • the bitstream includes substreams that are rows of Largest Coding Units (LCUs).
  • the bitstream may include information specifying the number of entry point offsets. Information specifying the number of entry point offsets may be transmitted in the PPS, or may be transmitted in a slice header or slice segment header.
  • a bit for byte alignment may be added at the end of each substream, so that byte alignment may be performed in units of substreams.
  • the decoding apparatus may decode the received video information in operation S1320.
  • the decoding apparatus may perform parallel decoding for each tile or for each substream.
  • nth (n is an integer) substream after decoding is performed on the nth (n is an integer) substream, after decoding of the second CTU or LCU of the nth substream is completed, the decoding is performed on the n + 1th substream. Decoding may proceed.
  • entropy decoding when entropy decoding for the second LCU of the nth substream is completed, relevant context information is stored, and the first LCU of the n + 1th substream is the second LCU of the nth substream. It may be entropy decoded based on the context information for.
  • the access point of each substream may be specified by an entry point.
  • the access point of the second substream may be the point where the entry point offset is added to the first entry point.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 비디오 인코딩 방법과 디코딩 방법 및 이를 이용하는 장치에 관한 것으로서, 본 발명에 따른 비디오 인코딩 방법은 LCU(Largest Coding Unit)들의 행인 서브스트림들을 병렬적으로 인코딩하는 단계 및 상기 인코딩된 서브스트림들을 포함하는 비트스트림을 전송하는 단계를 포함하며, 상기 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일할 수 있다.

Description

비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
본 발명은 비디오 인코딩 및 디코딩 기술에 관한 것으로서, 더 구체적으로는 비디오의 병렬적 디코딩에 관한 기술이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.
예측된 영상의 처리 단위, 예컨대 블록에 대하여는 영상을 원본과 동일하게 만들기 위한 다양한 방법이 적용될 수 있다. 이를 통해 디코딩 장치는 해당 영상을 더 정확하게(원본과 더 일치하게) 디코딩할 수 있으며, 인코딩 장치는 해당 영상이 더 정확하게 복원될 수 있도록 인코딩할 수 있다.
본 발명은 병렬적 디코딩을 효과적으로 수행할 수 있도록 비디오 정보를 구성하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 병렬적 디코딩을 효과적으로 수행할 수 있는 서브스트림 구조를 제공하는 것을 목적으로 한다.
본 발명은 다양한 프로세싱 코어의 구성에 대응하여 효과적으로 병렬적 디코딩을 수행할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 프로세싱 코어의 개수가 다양해지는 경우에도 효과적으로 병렬적 디코딩이 수행될 수 있도록 서브스트림의 개수를 최대화하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 비디오 디코딩 방법으로서, LCU(Largest Coding Unit)들의 행인 서브스트림들을 포함하는 비트스트림을 수신하는 단계 및 상기 서브스트림들을 병렬적으로 디코딩하는 단계를 포함하며, 상기 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일할 수 있다.
본 발명의 다른 실시형태는 비디오 인코딩 방법으로서, LCU(Largest Coding Unit)들의 행인 서브스트림들을 병렬적으로 인코딩하는 단계 및 상기 인코딩된 서브스트림들을 포함하는 비트스트림을 전송하는 단계를 포함하며, 상기 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일할 수 있다.
본 발명의 또 다른 실시형태는 비디오 디코딩 장치로서, LCU(Largest Coding Unit)들의 행인 서브스트림들을 포함하는 비트스트림을 병렬적으로 디코딩하며, 상기 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일할 수 있다.
본 발명의 또 다른 실시형태는 비디오 인코딩 장치로서, LCU(Largest Coding Unit)들의 행인 서브스트림들을 병렬적으로 인코딩하고 상기 인코딩된 서브스트림들을 포함하는 비트스트림을 전송하며, 상기 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일할 수 있다.
본 발명에 의하면 병렬적 디코딩을 효과적으로 수행할 수 있도록 비디오 정보를 구성할 수 있다. 예컨대, 본 발명에 의하면, 병렬적 디코딩을 효과적으로 수행할 수 있도록 서브스트림을 구성할 수 있다.
본 발명에 의하면, 다양한 프로세싱 코어의 구성에 대응하여 효과적으로 병렬적 디코딩을 수행할 수 있다. 예컨대, 본 발명에 의하면, 프로세싱 코어의 개수가 다양해지는 경우에도 효과적으로 병렬적 디코딩이 수행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
도 4는 타일과 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
도 5는 타일과 슬라이스에 관한 다른 예를 개략적으로 설명하는 도면이다.
도 6은 WPP 서브스트림에 대하여 개략적으로 설명하는 도면이다.
도 7은 픽처 내 소정의 영역이 서브스트림으로 분할된 일 예를 개략적으로 도시한 것이다.
도 8은 도 7의 예에 따른 비트스트림 내 LCU 순서를 개략적으로 설명하는 도면이다.
도 9는 도 7의 예에 따른 비트스트림을 하나의 프로세싱 코어를 이용하여 디코딩하는 경우의 일 예를 개략적으로 설명하는 도면이다.
도 10은 본 발명에 따라서 LCU 행들이 각각 서브스트림이 되는 일 예를 개략적으로 설명하는 도면이다.
도 11은 본 발명에 따라서, 정렬된 비트스트림 내 LCU들을 개략적으로 설명하는 도면이다.
도 12는 본 발명에 따른 비디오 인코딩 방법을 개략적으로 설명하는 순서도이다.
도 13은 본 발명에 따른 비디오 디코딩 방법을 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
픽처 분할부(105)에서 분할되는 처리 단위 블록들은 쿼드 트리(quad-tree) 구조를 가질 수 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.
변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.
예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화된 변환 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.
역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
한편, 인코딩 장치와 디코딩 장치는 픽처를 소정의 단위로 분할하여 처리(인코딩/디코딩) 할 수 있다.
예컨대, 픽처는 슬라이스와 타일로 분할될 수 있다.
슬라이스는 하나 이상의 슬라이스 시그먼트(segment)들의 시퀀스이다. 슬라이스 시퀀스는 독립(independent) 슬라이스 시그먼트로부터 시작하며 다음 독립 슬라이스 시그먼트 전까지 존재하는 종속(dependent) 슬라이스 시그먼트들을 포함한다.
슬라이스 시그먼트는 코딩 트리 유닛(Coding Tree Unit: CTU)의 시퀀스일 수 있다. 코딩 트리 유닛은 쿼드 트리(Quad-Tree) 구조의 코딩 유닛으로서, 최대 크기 코딩 유닛(Largest Coding Unit: LCU)일 수 있다. 본 명세서에서는 발명의 이해를 돕기 위해 필요한 곳에서 코딩 트리 유닛(이하, CTU 라 함), 최대 코딩 유닛(이하, LCU라 함)을 혼용하여 설명할 수도 있다.
도 3은 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
현재 픽처(300)는 슬라이스 경계(350)에 의해 두 개의 슬라이스로 구분된다. 첫 번째 슬라이스는 4 개의 코딩 트리 유닛을 포함하는 독립 슬라이스 시그먼트(310)와 슬라이스 시그먼트 경계(330)를 전후로 32개의 CTU를 포함하는 제1 종속 슬라이스 시그먼트(320) 및 24개의 CTU을 포함하는 제2 종속 슬라이스 시그먼트(340)로 구성될 수 있다.
또 하나의 독립 슬라이스 시그먼트(360)는 28개의 CTU로 구성된다.
타일(tile) 역시 CTU 또는 LCU의 시퀀스일 수 있다. CTU는 쿼드 트리(Quad-Tree) 구조의 코딩 유닛으로서, LCU일 수 있다. 앞서 말한 바대로, 본 명세서에서는 발명의 이해를 돕기 위해 필요한 곳에서 CTU, LCU를 혼용하여 설명할 수 있다.
구체적으로, 타일은 하나의 행(row) 및 하나의 열(column)로 규정될 수 있는 영역 내에 함께 나타나는(co-occurring) 정수 개의 CTU들 또는 LCU들일 수 있다.
도 4는 타일과 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
현재 픽처(400)는 하나의 슬라이스만 포함하며 타일 경계(410) 좌우의 두 타일로 나뉘어진다. 현재 픽처(400) 내의 슬라이스는 독립 슬라이스 시그먼트(420)와 슬라이스 시그먼트 경계(430, 440, 450)에 의해 나뉘는 4 개의 종속 슬라이스 시그먼트들로 구성된다.
도 5는 타일과 슬라이스에 관한 다른 예를 개략적으로 설명하는 도면이다.
현재 픽처(500)는 타일 경계(510) 좌우의 두 타일로 나뉘어진다. 타일 경계(510) 좌측의 타일은 슬라이스 경계(550)을 기준으로 하는 두 개의 슬라이스를 포함한다. 슬라이스 경계(550) 위쪽의 슬라이스는 독립 슬라이스 시그먼트(520)과 종속 슬라이스 시그먼트(540)을 포함하며, 슬라이스 경계(550) 아래쪽의 슬라이스는 독립 슬라이스 시그먼트(530)과 종속 슬라이스 시그먼트(560)을 포함한다. 슬라이스 경계(590)를 기준으로 하는 다음 슬라이스, 즉 두 번째 타일 내의 슬라이스는 독립 슬라이스 시그먼트(530)과 종속 슬라이스 시그먼트(580)을 포함한다.
인코딩과 디코딩은 타일 단위로 수행될 수도 있고, CTU의 행(이하, 설명의 편의를 위해, CTU의 행(또는 스트림) 혹은 LCU의 행(또는 스트림)을 ‘서브스트림’이라 한다) 단위로 수행될 수도 있다. 타일 또는 서브스트림에서 각 샘플들은 CTU 혹은 LCU 단위로 처리될 수 있다.
이때, 디코딩 과정은 병렬적으로 처리될 수 있다. 예컨대, 디코딩 과정은 각 타일별로 병렬 진행될 수도 있고, 서브스트림별로 병렬 진행될 수도 있다.
타일 구조에서의 병렬 처리(parallel processing) 경우에 각 타일은 동시에 디코딩될 수 있다. 이때, 병렬 처리 가능한 타일의 최대 개수가 미리 정해져 있을 수도 있다. 예컨대, 최대 4개의 타일을 병렬 처리할 수 있도록 설정할 수 있다. 병렬 처리가 가능한 타일들의 개수4개 이하인 경우에, 디코딩 장치는 1 내지 4개의 타일들을 한번에 처리할 수 있다.
서브스트림별로 디코딩이 진행되는 경우에는 n 번째(n은 정수) 서브스트림에 대하여 디코딩이 진행된 후, n 번째 째 서브스트림의 두 번째 CTU 혹은 LCU에 대한 디코딩이 완료된 후, n+1 번째 서브스트림에 대한 디코딩이 진행될 수 있다.
서브스트림은 복수의 디코딩 과정이 병렬적으로 진행되는 경우에, 각 디코딩 과정에 있어서 디코딩 대상이 되는 비트스트림의 일부분으로서 LCU들 혹은 CTU들의 행(row)일 수 있다.
n번째 서브스트림(n 번째 CTU(LCU) 행)의 2 번째 CTU(LCU)에 대한 엔트로피 디코딩이 완료되면, 관련된 콘텍스트 정보가 저장된다. n+1번째 서브스트림의 1 번째 CTU(LCU)는, n번째 서브스트림의 2번째 CTU(LCU)에 대한 콘텍스트 정보를 기반으로 엔트로피 디코딩될 수 있다.
이와 같이, 각 서브스트림이 일정한 차이를 두고 병렬적으로 파싱되는 것을 WPP(Wavefront Parallel Processing)이라고 한다. WPP에 의해서 슬라이스 또는 픽처 내에서 CTU(LCU)의 병렬적인 처리가 가능하다.
타일 구조와 WPP는 인코딩 장치가 픽처를 몇 개의 부분으로 나눌 수 있도록 하며, 이렇게 나뉘어지 부분들은 디코딩 장치에서 병렬적인 방식(parallel manner)으로 디코딩될 수 있다.
타일 구조(타일 서브스트림) 또는 WPP 서브스트림을 이용하여 디코딩을 병렬적으로 진행하기 위한 비트스트림상의 액세스 포인트를 엔트리 포인트라고 한다. 예컨대, 엔트리 포인트는 비트스트림상에서 병렬 처리의 대상이 되는 각 WPP서브스트림의 시작점 또는 각 타일의 시작점일 수 있다.
따라서, 병렬 처리를 위해 각 타일의 엔트리 포인트(entry point)를 시그널링하거나 WPP서브스트림 슬라이스 헤더의 엔트리 포인트를 시그널링하는 것이 중요하다.
도 6은 WPP 서브스트림에 대하여 개략적으로 설명하는 도면이다.
도 6의 예에서, 픽처 내 소정의 영역(600)은 서브스트림 A(610), 서브스트림 B(620), 서브스트림 C(630) 등 복수의 서브스트림을 포함한다.
각 서브스트림은 첫 번째 LCU부터 순차적으로 디코딩된다. 각 서브스트림의 두 번째 이후의 LCU들은 이전 LCU들의 엔트로피 디코딩 결과, 즉 콘텍스트를 기반으로 엔트로피 디코딩될 수 있다.
WPP의 경우, 각 서브스트림들은 병렬적으로 디코딩 될 수 있으며, 첫 번째 서브스트림 다음의 서브스트림들에서 첫 번째 LCU들은 이전 서브스트림의 두 번째 LCU에 대한 콘텍스트 변수들의 값을 기반으로 엔트로피 디코딩될 수 있다.
예컨대, WPP를 적용하여 디코딩을 병렬적으로 진행하는 경우에, 디코딩 대상 영역(600) 내 첫 번째 행(610)의 첫 번째 LCU(A1)부터 디코딩 과정이 진행된다. 첫 번째 행(610)의 두 번째 LCU(A2)에 대한 엔트로피 디코딩이 완료되면, 디코딩 장치는 A2에 대한 콘텍스트 변수들(context variables)의 값을 저장한다.
두 번째 행(620)의 첫 번째 LCU(B1)는 첫 번째 행(610)의 두 번째 LCU(A2)에 대한 콘텍스트 변수들의 값을 기반으로 엔트로피 디코딩된다. 두 번째 행(620)의 두 번째 LCU(B2)에 대한 엔트로피 디코딩이 완료되면, 디코딩 장치는 B2에 대한 콘텍스트 변수들의 값을 저장한다.
세 번째 행(630)의 첫 번째 LCU(C1)는 두 번째 행(610)의 두 번째 LCU(B2)에 대한 콘텍스트 변수들의 값을 기반으로 엔트로피 디코딩된다. 세 번째 행(630)의 두 번째 LCU(C2)에 대한 엔트로피 디코딩이 완료되면, 디코딩 장치는 B2에 대한 콘텍스트 변수들의 값을 저장한다.
동일한 방법으로 네 번째 행과 그 이후의 행들에 대해서도 직전 행의 두 번째 LCU에 대한 콘텍스트 변수 값들을 이용하여 엔트로피 디코딩될 수 있다.
WPP가 적용되는 경우, 엔트리 포인트는 각 서브스트림에 대한 디코딩 시작점(액세스 포인트)을 지시할 수 있다.
도 6에서 픽처 내 소정의 영역(600)은 현재 픽처의 일부 영역일 수도 있고, 현재 픽처의 슬라이스일 수도 있으며, 현재 픽처의 전체 영역일 수도 있다.
상술한 바와 같이, WPP가 적용되는 경우에는 WPP가 적용되는 영역(예컨대, 전체 픽처 또는 슬라이스)이 하나 이상의 서브스트림으로 나뉠 수 있고, 슬라이스 헤더에서 각 서브스트림의 첫 번째 비트를 액세스할 위치로서 엔트리 포인트가 시그널링 될 수 있다.
도 7은 픽처 내 소정의 영역이 서브스트림으로 분할된 일 예를 개략적으로 도시한 것이다.
도 7에서는, 픽처 내 소정의 영역(700)은 서브스트림 0(710, 740), 서브스트림 1(720, 750), 서브스트림 2(730)의 세 서브스트림으로 분할된 경우를 예로서 설명하고 있다.
서브스트림 0의 첫 번째 행(row, 710)은 0 번째 LCU부터 5번째 LCU로 구성되며, 서브스트림 0의 두 번째 행(740)은 18번째 LCU부터 23번째 LCU로 구성된다. 서브스트림 1의 첫 번째 행(720)은 6 번째 LCU부터 11번째 LCU로 구성되며, 서브스트림 1의 두 번째 행(750)은 24번째 LCU부터 29번째 LCU로 구성된다. 또한, 서브스트림 2(730)는 12번째 LCU부터 17번째 LCU로 구성된다.
서브스트림들은 비트스트림 내에서 일련의 시퀀스로 전송되며, 이때 각 서브스트림의 액세스 포인트는 엔트리 포인트로 시그널링될 수 있다.
WPP가 적용되는 경우, 3개의 프로세싱 코어(core)가 디코딩을 병렬적으로 처리한다면, 첫 번째 프로세싱 코어는 서브스트림 0을 디코딩하고, 두 번째 프로세싱 코어는 서브스트림 1을 디코딩하며, 세 번째 프로세싱 코어는 서브스트림 2를 디코딩할 수 있다.
이때, 첫 번째 프로세싱 코어는 서브스트림 0의 첫 번째 행(710)을 디코딩한 후, 두 번째 행(720)을 순차적으로 디코딩할 수 있다. 두 번째 프로세싱 코어 역시 서브스트림 1의 첫 번째 행(720)을 디코딩한 후, 두 번째 행(740)을 순차적으로 디코딩할 수 있다.
도 7에서 픽처 내 소정의 영역(700)은 전체 픽처일 수도 있고, 픽처 내 슬라이스, 슬라이스 시그먼트 혹은 타일일 수도 있다.
도 8은 도 7의 예에 따른 비트스트림 내 LCU 순서를 개략적으로 설명하는 도면이다.
LCU들은 비트스트림 내에서 서브스트림별로 재정렬될 수 있다. LCU들의 재정렬은 예컨대, 도 1의 재정렬부(125)에서 수행될 수도 있다. 예컨대, 도 8을 참조하면, 서브스트림 0에 이어서 서브스트림 1과 서브스트림 2가 전송된다. 서브스트림 0의 액세스 지점은 엔트리 포인트(810)에 의해 지시되며, 서브스트림 1의 액세스 지점은 엔트리 포인트(820)에 의해 지시되고, 서브스트림 2의 액세스 지점은 엔트리 포인트(830)에 의해 지시될 수 있다.
도 7에서와 같이, 3 개의 코어를 이용한 WPP가 적용되는 경우라면, 첫 번째 프로세싱 코어가 서브스트림 0을 디코딩하고, 두 번째 프로세싱 코어가 서브스트림 1을 디코딩하며, 세 번째 프로세싱 코어가 서브스트림 2를 디코딩한다.
첫 번째 프로세싱 코어는 0번째 LCU부터 5번째 LCU까지 디코딩한 후 18번째 LCU부터 23번째 LCU까지 디코딩한다. 두 번째 프로세싱 코어는 6번째 LCU부터 11번째 LCU까지 디코딩한 후 24번째 LCU부터 29번째 LCU까지 디코딩한다.
한편, 상술한 바와 같이, LCU들은 비트스트림 내에서 도 7과 같이 서브스트림별로 재정렬되는데, 디코더 혹은 프로세싱 코어의 개수가 서브스트림보다 적은 경우에는 디코딩 과정의 복잡도가 증가하거나 디코딩이 곤란해지는 문제가 발생할 수 있다.
도 9는 도 7의 예에 따른 비트스트림을 하나의 프로세싱 코어를 이용하여 디코딩하는 경우의 일 예를 개략적으로 설명하는 도면이다. 도 9의 예에서도, LCU들의 재정렬은 예컨대, 도 1의 재정렬부(125)에서 수행될 수 있다.
WPP 가 적용되어, 도 9와 같이 LCU들이 재정렬된 경우에 하나의 프로세싱 코어를 이용하여 디코딩을 수행하면, 프로세싱 코어는 우선 0번째 LCU부터 5번째 LCU까지 디코딩한다(①). 이어서 프로세싱 코어는 6번째 LCU부터 11번째 LCU까지 디코딩하고(②), 12번째 LCU부터 17번째 LCU까지 디코딩한다(③). 그리고 나서 다시 비트스트림의 앞쪽으로 이동하여 18번째 LCU부터 23번째 LCU까지 디코딩하고(④), 24번째 LCU부터 29번째 LCU까지 디코딩한다(⑤).
따라서, 싱글 프로세싱 코어를 사용하는 경우에는 비트스트림의 전후로 이동하면서 디코딩을 수행하게 된다.
또한, 이 과정에서 액세스 지점을 지시하는 엔트리 포인트는 도시된 바와 같이 각 서브스트림에서 첫 번째 LCU의 시점들(910, 920, 930)만을 지시한다. 즉, 프로세싱 코어는 전후로 움직이면서 6 개의 지점(0번째 LCU, 6번째 LCU, 12번째 LCU, 18 번째 LCU, 24번째 LCU)에 액세스해야 하지만, 액세스 지점을 지시하는 엔트리 포인트는 3 개만 전송되는 문제가 생긴다.
영상 서비스의 종류와 수요가 다양해지고 있는 상황에서 비디오 디코딩을 수행하는 디코딩 장치(디코더) 역시 다양한 종류의 장치가 이용될 수 있다. 다시 말하면, 동일한 비디오 스트림을 어떤 경우에는 복수의 프로세싱 코어를 이용하여 디코딩하고, 어떤 경우에는 단일 프로세싱 코어를 이용하여 디코딩하는 상황이 존재하게 된다.
따라서, 단일 프로세싱 코어를 이용하여 디코딩을 수행하는 경우에도 복잡도가 크게 증가하지 않고 디코딩이 곤란해지지 않도록 WPP를 위한 서브스트림을 구성할 필요가 있다.
이하, 본 발명에 따라서, WPP가 적용되는 경우에 서브스트림을 구성하는 방법을 도면을 참조하여 구체적으로 설명한다. 본 발명에 의하면, 단일 프로세싱 코어를 이용하는 경우에도 WPP 하에서 디코딩 복잡도가 증가하지 않고 효율적인 디코딩이 가능하다.
실시예 1 - WPP가 적용되는 경우 서브스트림의 개수 최대화
병렬 디코딩에 있어서, 디코딩 처리의 단위가 되는 서브스트림의 개수를 최대화한다는 것은, 픽처 내에서 하나의 LCU 행(row)이 하나의 서브스트림이 된다는 것을 의미한다.
즉, 본 실시예에 의하면, 서브스트림의 개수가 LCU 행의 개수와 동일하도록 서브스트림이 구성된다. 서브스트림의 개수가 LCU 행의 개수와 동일하면, 비트스트림 내 LCU의 순서(order)는 래스터 스캔의 순서가 될 수 있다.
도 10은 본 발명에 따라서 LCU 행들이 각각 서브스트림이 되는 일 예를 개략적으로 설명하는 도면이다.
도 10에서는 픽처 내 소정의 영역(1000)이 5 개의 LCU 행으로 구성되는 경우를 예로서 설명한다.
이때, 서브스트림 0(1010)은 0 번째 LCU부터 5번째 LCU로 구성되는 첫 번째 LCU행이다. 서브스트림 1(1020)은 6 번째 LCU부터 11번째 LCU로 구성되는 두 번째 LCU 행이다. 서브스트림 2(1030)은 12 번째 LCU부터 17번째 LCU로 구성되는 세 번째 행이다. 서브스트림 3(1040)은 18 번째 LCU부터 13번째 LCU로 구성되는 네 번째 행이다. 서브스트림 4(1050)은 24 번째 LCU부터 29번째 LCU로 구성되는 다섯 번째 LCU 행이다.
따라서, 본 실시예에서는 각 LCU 열이 하나의 서브스트림이다.
한편, 도 10에서 픽처 내 소정의 영역(1000)은 전체 픽처일 수도 있고, 픽처 내 슬라이스, 슬라이스 시그먼트 혹은 타일일 수도 있다.
도 11은 본 발명에 따라서, 정렬된 비트스트림 내 LCU들을 개략적으로 설명하는 도면이다. 도 11에서는 도 10에 따른 서브스트림이 비트스트림 내에서 재정렬된 경우를 예로서 설명한다.
도 11의 예에서. WPP가 적용되면 비스스트림에서는 첫 번째 서브스트림, 두 번째 서브스트림, 세 번째 서브스트림, 네 번째 서브스트림, 다섯 번째 서브스트림의 순서로 정렬된다.
프로세싱 코어는 첫 번째 서브스트림을 디코딩하고(①), 두 번째 서브스트림을 디코딩하며(②), 이어서 세 번째 서브스트림을 디코딩하고(③), 네 번째 서브스트림을 디코딩하며(④), 마지막으로 다섯 번째 서브스트림을 디코딩한다(⑤).
즉, 본 발명에 따라서 하나의 LCU 행이 하나의 서브스트림이 되면, WPP가 적용되는 경우에, 디코딩 장치는 비트스트림을 순차적으로 디코딩할 수 있게 된다.
각 LCU 행이 하나의 서브스트림인 경우에, 비트스트림이 바이트 정렬되면, 각 LCU 행마다 즉, 각 서브스트림마다 바이트 정렬을 위한 패딩 비트가 추가될 수도 있다.
한편, 서브스트림의 개수를 최대로 하면, PPS(Picture Parameter Set)와 슬라이스 헤더에 소정의 변화를 가할 수도 있다.
PPS의 경우, WPP가 적용될 때 소정의 신택스 요소를 시그널링하여 서브스트림의 개수를 특정할 수 있었다. 예를 들어, num_substream_minus1 등과 같은 신택스 요소를 전송하여, 픽처 내 서브스트림의 개수를 특정할 수 있었다.
하지만, 서브스트림의 개수를 최대로 하는 경우에는 서브스트림의 개수를 지시하는 정보를 전송할 필요가 없다. 따라서, 서브스트림의 개수를 특정하는 신택스 요소를 전송하지 않을 수 있다. 이때, 서브스트림의 개수는 LCU 행의 개수에 의해 특정될 수도 있고, 엔트리 포인트의 개수에 의해 특정될 수도 있다.
예컨대, 픽처 내 서브스트림의 개수는 픽처 내 LCU 행의 개수에 의해 특정되거나 픽처 내 엔트리 포인트의 개수에 의해 특정될 수 있다. 이때, 엔트리 포인트의 개수는 엔트리 포인트 오프셋의 개수 + 1일 수 있으며, 엔트리 포인트 오프셋의 개수는 슬라이스 헤더에서 시그널링될 수 있다.
상술한 바와 같이, 슬라이스 헤더에서는 엔트리 포인트의 개수가 소정의 신택스 요소에 의해 시그널링될 수 있다. 슬라이스 내 서브스트림의 개수는 슬라이스 내 엔트리 포인트의 개수와 같을 수 있다. 혹은 슬라이스 시그먼트 내 서브스트림의 개수는 슬라이스 시그먼트 내 엔트리 포인트의 개수와 같을 수 있다.
이때, 엔트리 포인트의 개수를 직접 시그널링하지 않고, 엔트리 포인트 오프셋의 개수를 시그널링하여 엔트리 포인트의 개수를 특정할 수도 있다.
예컨대, 첫 번째 엔트리 포인트가 시그널링되고, 첫 번째 엔트리 포인트와 두 번째 엔트리 포인트 사이의 오프셋이 전송됨으로써 두 번째 엔트리 포인트가 특정될 수 있다. 이어서 세 번째 엔트리 포인트는 두 번째 엔트리 포인트 및 두 번째 엔트리 포인트와 세 번째 엔트리 포인트 사이의 오프셋에 의해 특정될 수 있다.
이처럼, n 번째 엔트리 포인트는 이전 엔트리 포인트와 오프셋에 의해 특정될 수 있는데, 오프셋의 개수에 의해 엔트리 포인트의 개수가 특정될 수 있다.
이때, 서브스트림의 개수를 최대로 하면, 엔트리 포인트의 개수가 서브스트림의 개수 즉 LCU 행의 개수와 동일하므로, 엔트리 포인트 오프셋의 개수를 특정하는 신택스 요소 즉, 엔트리 포인트의 개수를 지시하는 신택스 요소를 전송하지 않을 수도 있다.
혹은 엔트리 포인트의 개수를 특정할 수 있는 정보, 예컨대 엔트리 포인트 오프셋의 개수를 특정하는 신택스 요소를 통해 서브스트림의 개수(LCU 행의 개수)가 특정될 수 있다, 가령, 엔트리 포인트 오프셋의 개수를 특정하는 신택스 요소를 num_entry_point_offset라고 하면, num_entry_point_offset에 의해 특정되는 엔트리 포인트 오프셋의 개수가 n이라고 할 때, 엔트리 포인트의 개수 즉 서브스트림의 개수와 LCU 행의 개수는 n+1이 된다.
표 1은 엔트리 포인트 오프셋의 개수를 시그널링하는 슬라이스 헤더의 일 예를 나타낸 것이다.
<표 1>
Figure PCTKR2013002424-appb-I000001
표 1에서, tiles_or_entropy_coding_sync_idc의 값이 1이면 타일별로 병렬적인 디코딩을 적용하고, tiles_or_entropy_coding_sync_idc의 값이 2이면, WPP를 적용하며, tiles_or_entropy_coding_sync_idc의 값이 0이면 타일이나 WPP를 적용하지 않는다.
표 1에서 타일 또는 WPP가 적용되는 경우에는, 슬라이스 헤더 내 엔트리 포인트 오프셋의 개수를 전송할 수 있다. num_entry_point_offsets는 슬라이스 헤더 내 엔트리 포인트 오프셋의 개수를 특정하며, 슬라이스 헤더 내 엔트리 포인트의 개수는 슬라이스 헤더 내 엔트리 포인트 오프셋의 개수보다 1 큰 값을 가진다.
구체적으로 num_entry_point_offsets는 슬라이스 헤더 내 신택스 요소 entry_point_offset_minus1[ i ]의 개수를 특정한다. 슬라이스 헤더 내 num_entry_point_offsets가 없을 때는 num_entry_point_offsets의 값을 0으로 추정할 수 있다.
픽처 내에 타일이 하나밖에 없고 WPP가 적용되는 경우, num_entry_point_offsets은 0 이상 픽처 높이의 CTB 단위(즉, 픽처의 높이 방향으로 CTB의 개수, PicHeightInCtbs) -1 이하의 값을 가질 수 있다.
픽처 내에 타일이 2 이상 있고 WPP가 적용되지 않는 경우, num_entry_point_offsets은 0이상 타일 열의 개수 (num_tile_coulmn_minus1 + 1) * 타일 행의 개수 (num_tile_row_minus1 + 1) - 1 이하의 값을 가질 수 있다.
픽처 내에 타일이 2 이상 있고 WPP가 적용되는 경우, num_entry_point_offsets은 0이상 타일 열의 개수 (num_tile_coulmn_minus1 + 1) * 픽처 높이의 CTB 단위(즉, 픽처의 높이 방향으로 CTB의 개수, PicHeightInCtbs) - 1 이하의 값을 가질 수 있다.
이때, num_entry_point_offsets이 그 개수를 특정하는 신택스 요소 entry_point_offset_minus1[ i ] + 1은 i번째 엔트리 포인트에 대한 오프셋을 의미한다. 슬라이스 시그먼트 헤더에 따른 슬라이스 시그먼트 데이터는, num_entry_point_offsets 이 슬라이스 시그먼트 내 엔트리 포인트 오프셋의 개수를 특정하는 경우에, num_entry_point_offsets+1의 서브스트림으로 구성될 수 있다.
슬라이스 시그먼트 내에서 서브스트림을 특정하는 서브스트림 인덱스는 0 이상 num_entry_point_offsets 이하의 값을 가질 수 있다.
슬라이스 시그먼트 데이터의 첫 번째 바이트를 바이트 0(byte 0)이라고 하면, 0 번째 서브스트림인 서브스트림 0은 슬라이스 시그먼트 데이터의 0 이상 entry_point_offset_minus1[ 0 ] 이하의 바이트들로 구성될 수 있다.
따라서, k 번째 서브스트림이 슬라이스 시그먼트 데이터의 iniByte[k] 이상 finByte[k] 이하의 바이트로 구성된다고 할 때, iniByte[k]와 finByte[k]는 수식 1과 같이 정의될 수 있다.
<수식 1>
intByte[ k ] = ∑ entry_point_offset_minus1[i] + 1
finByte[ k ] = iniByte[ k ] + entry_point_offset_minus1[ k ]
수식 1에서 entry_point_offset_minus1[i]는 i=0부터 i=k-1까지 합산된다.
WPP가 적용되는 경우에, 서브스트림의 개수(즉, num_entry_point_offsets + 1)은 슬라이스 시그먼트 내 LCU 행들의 개수와 동일하게 된다.
표 1에서는 설명의 편의를 위해, 간단히 슬라이스 헤더에서 엔트리 포인트 오프셋의 개수를 전송하는 것으로 설명하였으나, 앞서 설명한 바와 같이, 엔트리 포인트 오프셋의 개수가 전송되는 슬라이스 헤더는 슬라이스 시그먼트 헤더일 수도 있다.
또한, 표 1에서는 타일이 적용되는지와 WPP가 적용되는지를 하나의 지시자로 지시하였으나, 이와 달리 타일을 적용하여 병렬적인 디코딩을 할 것인지 WPP를 적용할 것인지를 각각의 신택스 요소로 전송할 수도 있다. 예컨대, WPP를 적용할 것인지를 플래그를 통해 전송할 수도 있다.
표 2는 표 1에서 설명한 엔트리 포인트 오프셋의 개수에 관한 정보를 슬라이스 시그먼트 헤더에서 전송하는 경우를 간단히 나타낸 것이다.
<표 2>
Figure PCTKR2013002424-appb-I000002
표 2에서, tiles_enabled_flag의 값이 1이면 타일을 적용할 수 있다는 것을 지시하며, entropy_coding_sync_enabled_flag의 값이 1이면 WPP가 적용된다는 것을 지시한다.
타일이 적용되거나 WPP가 적용되는 경우에는 슬라이스 시그먼트 헤더 내 엔트리 포인트 오프셋의 개수를 전송할 수 있다. num_entry_point_offsets는 슬라이스 시그먼트 헤더 내 엔트리 포인트 오프셋의 개수를 특정하며, 슬라이스 시그먼트 헤더 내 엔트리 포인트의 개수는 슬라이스 시그먼트 헤더 내 엔트리 포인트 오프셋의 개수보다 1 큰 값을 가진다.
서브스트림의 개수를 최대화하는 경우, 즉 서브스트림의 개수를 LCU 행의 개수와 동일하게 하는 경우 혹은 서브스트림의 개수를 엔트리 포인트의 개수와 동일하게 하는 경우에는, 슬라이스 헤더 혹은 슬라이스 시그먼트 헤더에서 전송되는 엔트리 포인트의 개수(엔트리 포인트 오프셋의 개수)를 통해 서브스트림의 개수 혹은 LCU 행의 개수를 특정할 수 있다.
실시예 2 – LCU가 재정렬되는지를 지시하는 정보의 전송
실시예 2에서는, LCU가 재정렬되는지를 지시하는 정보가 인코딩 장치로부터 디코딩 장치로 시그널링되게 한다. 예컨대, ctb_reordering_flag를 통해 LCU(CTU)가 재정렬되는지를 지시할 수 있다.
ctb_reordering_flag의 값이 거짓(false)인 경우에, 서브스트림의 개수를 지시하는 정보(예컨대, num_substream_minus1)가 PPS에 존재하지 않는다. 슬라이스 내 서브스트림의 개수는 엔트리 포인트의 개수와 동일하다. 즉, num_substream_minus1가 지시하려던 값은 엔트리 포인트 오프셋의 값 즉, num_entry_point_offset에 의해 지시되는 값과 동일하다고 추정하게 된다.
ctb_reordering_flag의 값이 참(true)이면, 서브스트림의 개수를 지시하는 정보(예컨대, num_substream_minus1)가 PPS에 존재한다.
LCU가 재정렬되는지에 상관없이 단일 WPP 서브스트림으로 코딩된 픽처와 멀티 WPP 서브스트림으로 코딩된 픽처 모두 단일 프로세싱 코어 또는 멀티 프로세싱 코어를 이용하여 디코딩 될 수 있다. 다만, 디코딩의 용이성에 있어서 차이가 있을 수 있다.
예를 들어, ctb_reordering_flag의 값이 거짓이면, 비트스트림의 디코딩에 단일 프로세싱 코어를 사용하는 것이 좋다고 판단할 있다. 또한 ctb_reordering_flag의 값이 참이면, 비트스트림의 디코딩에 멀티 프로세싱 코어를 사용하는 것이 좋다고 판단할 수 있다.
표 3은 본 발명에 따라서 변경된 PPS의 일 예를 나타낸 것이다.
<표 3>
Figure PCTKR2013002424-appb-I000003
표 3에서 tiles_or_entropy_coding_sync_idc의 값이 1이면 타일을 적용하고, tiles_or_entropy_coding_sync_idc의 값이 2이면 WPP를 적용한다는 것을 지시한다.
ctb_reordering_flag 의 값이 1이면 서브스트림의 개수를 지시하는 신택스 요소(예컨대, num_substreams_minus1)가 존재하고, 비트스트림 내에서 코딩된 트리 블록(coded treeblock)은 래스터 스캔 순서(raster scan order)대로 정렬되어 있지 않을 수 있다는 것을 지시한다. ctb_reordering_flag의 값이 0이면, 서브스트림의 개수를 지시하는 신택스 요소(예컨대, num_substreams_minus1)가 존재하지 않고, 비트스트림 내에서 코딩된 트리 블록(coded treeblock)은 래스터 스캔 순서(raster scan order)대로 정렬되어 있다는 것을 지시한다.
ctb_reordering_flag의 값이 0일 때, 슬라이스 내 서브스트림의 개수는 엔트리 포인트들의 개수와 동일하고, 엔트리 포인트의 개수는 엔트리 포인트 오프셋의 개수에 의해 특정될 수 있다. 예컨대, 엔트리 포인트의 개수는 엔트리 포인트 오프셋의 개수보다 1 큰 값일 수 있다.
이와 함께, 슬라이스 헤더에서 엔트리 포인트 오프셋의 개수를 지시하는 신택스 요소 num_entry_point_offset에도 변화를 줄 수 있다.
예컨대, 슬라이스 헤더에서 전송되는 num_entry_point_offset은 슬라이스 헤더 내 엔트리 포인트 오프셋들의 개수를 특정하는데, 타일을 적용하는 경우(tiles_or_entropy_coding_sync_idc == 1)에 엔트리 포인트 오프셋의 개수는 0 이상 타일 열의 개수 (num_tile_coulmn_minus1 + 1) * 타일 행의 개수 (num_tile_row_minus1 + 1) - 1 이하의 값을 가질 수 있다.
또한, WPP를 적용(tiles_or_entropy_coding_sync_idc == 2)하고, ctb_reordering_flag의 값이 1이면 엔트리 포인트 오프셋의 개수는 0 이상 서브스트림의 개수 - 1 (num_substreams_minus1) 이하의 값을 가지도록 할 수 있다.
또한, WPP를 적용(tiles_or_entropy_coding_sync_idc == 2)하고, ctb_reordering_flag의 값이 0이면 엔트리 포인트 오프셋의 개수는 0 이상 픽처의 LCU단위 높이 - 1 (PicHeightInCtbs - 1) 이하의 값을 가질 수 있다.
num_entry_point_offset이 존재하지 않는 경우(not present)에, num_entry_point_offset의 값은 0으로 추정될 수 있다.

도 12는 본 발명에 따른 비디오 인코딩 방법을 개략적으로 설명하는 순서도이다.
도 12를 참조하면, 인코딩 장치는 입력된 비디오를 인코딩 한다(S1210). 인코딩 장치가 수행하는 비디오 인코딩의 구체적인 방법은 도 1에서 설명한 바와 같다. 이때, 인코딩 장치는 LCU(Largest Coding Unit)들의 행인 서브스트림들을 병렬적으로 인코딩할 수 있다.
WPP가 적용되는 경우에는 n 번째(n은 정수) 서브스트림에 대하여 인코딩이 진행된 후, n 번째 째 서브스트림의 두 번째 CTU 혹은 LCU에 대한 인코딩이 완료된 후, n+1 번째 서브스트림에 대한 인코딩이 진행될 수 있다.
예컨대, 엔트로피 인코딩의 경우, n번째 서브스트림의 2 번째 LCU에 대한 엔트로피 인코딩이 완료되면, n+1번째 서브스트림의 1 번째 LCU는, n번째 서브스트림의 2번째 LCU에 대한 콘텍스트 정보를 기반으로 엔트로피 인코딩될 수 있다.
이때, 픽처 내에서, 슬라이스 내에서 혹은 슬라이스 시그먼트 내에서 서브스트림들의 개수는 LCU행들의 개수와 동일하다.
또한, 픽처 내에서, 슬라이스 내에서 혹은 슬라이스 시그먼트 내에서 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일할 수 있다. 이때, 엔트리 포인트들의 개수는 엔트리 포인트 오프셋들의 개수에 의해 특정될 수 있다. 예컨대, 엔트리 포인트들의 개수는 엔트리 포인트 오프셋들의 개수보다 1 큰 값을 가질 수 있다.
인코딩 장치는 인코딩된 비디오 정보를 비트스트림으로 시그널링할 수 있다(S1220). 이때, 비트스트림은 엔트리 포인트 오프셋의 개수를 특정하는 정보를 포함할 수 있다. 엔트리 포인트 오프셋의 개수를 특정하는 정보는 PPS에서 전송될 수도 있고, 슬라이스 헤도 혹은 슬라이스 시그먼트 헤더에서 전송될 수도 있다.
서브스트림의 개수가 최대화된 경우에, 각 서브스트림의 마지막에는 바이트 정렬을 위한 비트가 추가되어, 서브스트림 단위에서 바이트 정렬되도록 할 수도 있다.
한편, 서브스트림의 개수를 최대화하는 경우에, 각 서브스트림의 액세스 지점은 엔트리 포인트에 의해 특정될 수 있다. 예컨대, 두 번째 서브스트림의 액세스 지점은 첫 번째 엔트리 포인트에 엔트리 포인트 오프셋이 더해진 지점이 될 수 있다.
도 13은 본 발명에 따른 비디오 디코딩 방법을 개략적으로 설명하는 순서도이다.
도 13을 참조하면, 디코딩 장치는 비트스트림을 통해서 비디오 정보를 수신한다(S1310). 비트스트림은 LCU(Largest Coding Unit)들의 행인 서브스트림들을 포함한다. 또한, 비트스트림은 엔트리 포인트 오프셋의 개수를 특정하는 정보를 포함할 수 있다. 엔트리 포인트 오프셋의 개수를 특정하는 정보는 PPS에서 전송될 수도 있고, 슬라이스 헤도 혹은 슬라이스 시그먼트 헤더에서 전송될 수도 있다.
픽처 내에서, 슬라이스 내에서 혹은 슬라이스 시그먼트 내에서 서브스트림들의 개수는 LCU행들의 개수와 동일하다.
또한, 픽처 내에서, 슬라이스 내에서 혹은 슬라이스 시그먼트 내에서 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일할 수 있다. 이때, 엔트리 포인트들의 개수는 엔트리 포인트 오프셋들의 개수에 의해 특정될 수 있다. 예컨대, 엔트리 포인트들의 개수는 엔트리 포인트 오프셋들의 개수보다 1 큰 값을 가질 수 있다.
한편, 서브스트림의 개수가 최대화된 경우에, 각 서브스트림의 마지막에는 바이트 정렬을 위한 비트가 추가되어, 서브스트림 단위에서 바이트 정렬되도록 할 수도 있다.
디코딩 장치는 수신한 비디오 정보를 디코딩할 수 있다(S1320). 이때, 디코딩 장치는 타일별로 혹은 서브스트림별로 병렬적인 디코딩을 수행할 수 있다.
예컨대, WPP가 적용되는 경우에는 n 번째(n은 정수) 서브스트림에 대하여 디코딩이 진행된 후, n 번째 째 서브스트림의 두 번째 CTU 혹은 LCU에 대한 디코딩이 완료된 후, n+1 번째 서브스트림에 대한 디코딩이 진행될 수 있다.
예컨대, 엔트로피 디코딩의 경우, n번째 서브스트림의 2 번째 LCU에 대한 엔트로피 디코딩이 완료되면, 관련된 콘텍스트 정보가 저장되며, n+1번째 서브스트림의 1 번째 LCU는, n번째 서브스트림의 2번째 LCU에 대한 콘텍스트 정보를 기반으로 엔트로피 디코딩될 수 있다.
서브스트림의 개수를 최대화하는 경우에, 각 서브스트림의 액세스 지점은 엔트리 포인트에 의해 특정될 수 있다. 예컨대, 두 번째 서브스트림의 액세스 지점은 첫 번째 엔트리 포인트에 엔트리 포인트 오프셋이 더해진 지점이 될 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (18)

  1. LCU(Largest Coding Unit)들의 행인 서브스트림들을 포함하는 비트스트림을 수신하는 단계; 및
    상기 서브스트림들을 병렬적으로 디코딩하는 단계를 포함하며,
    상기 서브스트림들의 개수는 상기 LCU들의 행들의 개수와 동일한 것을 특징으로 하는 비디오 디코딩 방법.
  2. 제1항에 있어서, 상기 디코딩 단계에서는,
    이전 서브스트림의 두 번째 LCU에 대한 디코딩이 완료된 후, 상기 서브스트림의 두 번째 LCU에 대한 콘텍스트 정보에 기반하여 현재 서브스트림의 첫 번째 LCU에 대한 디코딩을 개시하는 것을 특징으로 하는 비디오 디코딩 방법.
  3. 제1항에 있어서, 상기 서브스트림들의 개수는 신택스 요소에 의해 지시되지 않고 엔트리 포인트 오프셋들의 개수에 의해 특정되는 것을 특징으로 하는 비디오 디코딩 방법.
  4. 제3항에 있어서, 상기 서브스트림들의 개수는 상기 엔트리 포인트 오프셋들의 개수보다 하나 더 많은 것을 특징으로 하는 비디오 디코딩 방법.
  5. 제1항에 있어서, 하나의 서브스트림은 하나의 LCU 행에 대응하는 것을 특징으로 하는 비디오 디코딩 방법.
  6. 제1항에 있어서, 상기 비트스트림은 바이트 단위 정렬을 위한 비트를 포함하며,
    상기 바이트 단위 정렬을 위한 비트는 상기 서브스트림들 각각의 마지막에 추가되어, 상기 서브스트림들을 각각 바이트 단위로 정렬시키는 것을 특징으로 하는 비디오 디코딩 방법.
  7. 제1항에 있어서, 상기 비트스트림은 상기 서브스트림 LCU들이 재배열되는지를 지시하는 정보를 포함하는 것을 특징으로 하는 비디오 디코딩 방법.
  8. LCU(Largest Coding Unit)들의 행인 서브스트림들을 병렬적으로 인코딩하는 단계; 및
    상기 인코딩된 서브스트림들을 포함하는 비트스트림을 전송하는 단계를 포함하며,
    상기 서브스트림들의 개수는 상기 LCU들의 행들의 개수와 동일한 것을 특징으로 하는 비디오 인코딩 방법.
  9. 제8항에 있어서, 상기 인코딩 단계에서는,
    이전 서브스트림의 두 번째 LCU에 대한 인코딩이 완료된 후, 상기 서브스트림의 두 번째 LCU에 대한 콘텍스트 정보에 기반하여 현재 서브스트림의 첫 번째 LCU에 대한 인코딩을 개시하는 것을 특징으로 하는 비디오 인코딩 방법.
  10. 제8항에 있어서, 상기 서브스트림들의 개수는 신택스 요소에 의해 특정되지 않고 엔트리 포인트 오프셋들의 개수에 의해 특정되는 것을 특징으로 하는 비디오 인코딩 방법.
  11. 제10항에 있어서, 상기 서브스트림들의 개수는 상기 엔트리 포인트 오프셋들의 개수보다 하나 더 많은 것을 특징으로 하는 비디오 인코딩 방법.
  12. 제8항에 있어서, 하나의 서브스트림은 하나의 LCU 행에 대응하는 것을 특징으로 하는 비디오 디코딩 방법.
  13. 제8항에 있어서, 상기 비트스트림은 바이트 단위 정렬을 위한 비트를 포함하며,
    상기 바이트 단위 정렬을 위한 비트는 상기 서브스트림들 각각의 마지막에 추가되어, 상기 서브스트림들을 각각 바이트 단위로 정렬시키는 것을 특징으로 하는 비디오 인코딩 방법.
  14. 제8항에 있어서, 상기 비트스트림은 상기 서브스트림 LCU들이 재배열되는지를 지시하는 정보를 포함하는 것을 특징으로 하는 비디오 인코딩 방법.
  15. LCU(Largest Coding Unit)들의 행인 서브스트림들을 포함하는 비트스트림을 병렬적으로 디코딩하며,
    상기 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일한 것을 특징으로 하는 비디오 디코딩 장치.
  16. 제15항에 있어서, 상기 비트스트림 내 서브스트림들에 대하여,
    이전 서브스트림의 두 번째 LCU에 대한 디코딩이 완료된 후, 상기 서브스트림의 두 번째 LCU에 대한 콘텍스트 정보에 기반하여 현재 서브스트림의 첫 번째 LCU에 대한 디코딩을 개시하는 것을 특징으로 하는 비디오 디코딩 장치.
  17. LCU(Largest Coding Unit)들의 행인 서브스트림들을 병렬적으로 인코딩하고 상기 인코딩된 서브스트림들을 포함하는 비트스트림을 전송하며,
    상기 서브스트림들의 개수는 엔트리 포인트들의 개수와 동일한 것을 특징으로 하는 비디오 인코딩 장치.
  18. 제17항에 있어서, 상기 비트스트림에 포함되되는 서브스트림에 대한 인코딩은,
    이전 서브스트림의 두 번째 LCU에 대한 인코딩이 완료된 후, 상기 서브스트림의 두 번째 LCU에 대한 콘텍스트 정보에 기반하여 현재 서브스트림의 첫 번째 LCU에 대한 인코딩을 개시하는 것을 특징으로 하는 비디오 인코딩 장치.
PCT/KR2013/002424 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치 WO2013141665A1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020147021858A KR102132784B1 (ko) 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR1020217004595A KR102261939B1 (ko) 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR1020227032496A KR102489001B1 (ko) 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR1020217032395A KR102361012B1 (ko) 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR1020217016821A KR102312989B1 (ko) 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR1020207019399A KR102219089B1 (ko) 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR1020227003996A KR102447003B1 (ko) 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
US14/387,002 US9955178B2 (en) 2012-03-22 2013-03-22 Method for encoding and decoding tiles and wavefront parallel processing and apparatus using same
US15/925,169 US10218993B2 (en) 2012-03-22 2018-03-19 Video encoding method, video decoding method and apparatus using same
US16/245,778 US10708610B2 (en) 2012-03-22 2019-01-11 Method for encoding and decoding in parallel processing and apparatus using same
US16/886,400 US11202090B2 (en) 2012-03-22 2020-05-28 Method for encoding and decoding tiles and wavefront parallel processing and apparatus using same
US17/518,984 US11838526B2 (en) 2012-03-22 2021-11-04 Method for encoding and decoding substreams and wavefront parallel processing, and apparatus using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261614504P 2012-03-22 2012-03-22
US61/614,504 2012-03-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/387,002 A-371-Of-International US9955178B2 (en) 2012-03-22 2013-03-22 Method for encoding and decoding tiles and wavefront parallel processing and apparatus using same
US15/925,169 Continuation US10218993B2 (en) 2012-03-22 2018-03-19 Video encoding method, video decoding method and apparatus using same

Publications (1)

Publication Number Publication Date
WO2013141665A1 true WO2013141665A1 (ko) 2013-09-26

Family

ID=49223024

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002424 WO2013141665A1 (ko) 2012-03-22 2013-03-22 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치

Country Status (3)

Country Link
US (5) US9955178B2 (ko)
KR (7) KR102312989B1 (ko)
WO (1) WO2013141665A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015122550A1 (ko) * 2014-02-12 2015-08-20 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
KR20180004186A (ko) * 2014-02-12 2018-01-10 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
WO2020071829A1 (ko) * 2018-10-04 2020-04-09 엘지전자 주식회사 히스토리 기반 영상 코딩 방법 및 그 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955178B2 (en) 2012-03-22 2018-04-24 Lg Electronics Inc. Method for encoding and decoding tiles and wavefront parallel processing and apparatus using same
BR122015024098B1 (pt) * 2013-01-04 2020-12-29 Samsung Electronics Co Ltd método de decodificação de vídeo
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
US9736488B2 (en) * 2013-11-27 2017-08-15 Nxp Usa, Inc. Decoding for high efficiency video transcoding
EP4422175A3 (en) * 2018-09-14 2024-11-06 Huawei Technologies Co., Ltd. Slicing and tiling in video coding
US11019359B2 (en) * 2019-01-15 2021-05-25 Tencent America LLC Chroma deblock filters for intra picture block compensation
JP2022526023A (ja) * 2019-04-10 2022-05-20 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
CA3136342A1 (en) * 2019-05-03 2020-11-12 Fnu HENDRY An encoder, a decoder and corresponding methods
KR20210055278A (ko) 2019-11-07 2021-05-17 라인플러스 주식회사 하이브리드 비디오 코딩 방법 및 시스템
US12015796B2 (en) 2019-11-14 2024-06-18 Lg Electronics Inc. Image coding method on basis of entry point-related information in video or image coding system
WO2021118076A1 (ko) * 2019-12-12 2021-06-17 엘지전자 주식회사 비디오 또는 영상 코딩 시스템에서의 일부 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
US20230328261A1 (en) * 2020-09-24 2023-10-12 Lg Electronics Inc. Media file processing method and device therefor
CN116406505A (zh) * 2020-09-24 2023-07-07 Lg电子株式会社 媒体文件处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002649A1 (en) * 2006-06-28 2008-01-03 Pengfei Xia System and method for digital communications using multiple parallel encoders
EP2381685A1 (en) * 2010-04-13 2011-10-26 Research In Motion Limited Methods and devices for load balancing in parallel entropy coding and decoding
US20110274162A1 (en) * 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
US20120014429A1 (en) * 2010-07-15 2012-01-19 Jie Zhao Methods and Systems for Parallel Video Encoding and Parallel Video Decoding
WO2012008608A1 (en) * 2010-07-15 2012-01-19 Sharp Kabushiki Kaisha Parallel video coding based on prediction type

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8615039B2 (en) * 2009-05-21 2013-12-24 Microsoft Corporation Optimized allocation of multi-core computation for video encoding
US9215473B2 (en) * 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
FR2972588A1 (fr) * 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
CN108600753B (zh) * 2011-12-29 2020-10-27 Lg 电子株式会社 视频编码和解码方法和使用该方法的装置
US9749661B2 (en) * 2012-01-18 2017-08-29 Qualcomm Incorporated Sub-streams for wavefront parallel processing in video coding
KR102210228B1 (ko) * 2012-01-20 2021-02-01 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
US9955178B2 (en) * 2012-03-22 2018-04-24 Lg Electronics Inc. Method for encoding and decoding tiles and wavefront parallel processing and apparatus using same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002649A1 (en) * 2006-06-28 2008-01-03 Pengfei Xia System and method for digital communications using multiple parallel encoders
EP2381685A1 (en) * 2010-04-13 2011-10-26 Research In Motion Limited Methods and devices for load balancing in parallel entropy coding and decoding
US20110274162A1 (en) * 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
US20120014429A1 (en) * 2010-07-15 2012-01-19 Jie Zhao Methods and Systems for Parallel Video Encoding and Parallel Video Decoding
WO2012008608A1 (en) * 2010-07-15 2012-01-19 Sharp Kabushiki Kaisha Parallel video coding based on prediction type

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101895295B1 (ko) * 2014-02-12 2018-09-05 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
US20170013268A1 (en) * 2014-02-12 2017-01-12 Chips & Media,Inc Method and apparatus for processing video
KR20180004186A (ko) * 2014-02-12 2018-01-10 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
KR20180004187A (ko) * 2014-02-12 2018-01-10 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
KR101834237B1 (ko) * 2014-02-12 2018-03-06 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
KR101847899B1 (ko) * 2014-02-12 2018-04-12 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
WO2015122550A1 (ko) * 2014-02-12 2015-08-20 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
KR101895296B1 (ko) * 2014-02-12 2018-09-05 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
US10757431B2 (en) 2014-02-12 2020-08-25 Chips & Media, Inc Method and apparatus for processing video
WO2020071829A1 (ko) * 2018-10-04 2020-04-09 엘지전자 주식회사 히스토리 기반 영상 코딩 방법 및 그 장치
US11025945B2 (en) 2018-10-04 2021-06-01 Lg Electronics Inc. History-based image coding method and apparatus
US11445209B2 (en) 2018-10-04 2022-09-13 Lg Electronics Inc. History-based image coding method and apparatus
US11729414B2 (en) 2018-10-04 2023-08-15 Lg Electronics Inc. History-based image coding method and apparatus

Also Published As

Publication number Publication date
US20220060730A1 (en) 2022-02-24
KR20220130274A (ko) 2022-09-26
KR20210021122A (ko) 2021-02-24
US20180213245A1 (en) 2018-07-26
US10708610B2 (en) 2020-07-07
KR102132784B1 (ko) 2020-07-13
US11202090B2 (en) 2021-12-14
KR102361012B1 (ko) 2022-02-09
US11838526B2 (en) 2023-12-05
US20190149832A1 (en) 2019-05-16
US20200296400A1 (en) 2020-09-17
KR20210127772A (ko) 2021-10-22
KR20210068620A (ko) 2021-06-09
US9955178B2 (en) 2018-04-24
KR102261939B1 (ko) 2021-06-07
KR102312989B1 (ko) 2021-10-14
US10218993B2 (en) 2019-02-26
US20150055715A1 (en) 2015-02-26
KR20200085921A (ko) 2020-07-15
KR102447003B1 (ko) 2022-09-22
KR102489001B1 (ko) 2023-01-18
KR20140145114A (ko) 2014-12-22
KR20220020439A (ko) 2022-02-18
KR102219089B1 (ko) 2021-02-23

Similar Documents

Publication Publication Date Title
WO2013141665A1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR102412470B1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR102238127B1 (ko) 비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치
CN107734346B (zh) 视频编码方法、视频解码方法和使用其的设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13764991

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147021858

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14387002

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13764991

Country of ref document: EP

Kind code of ref document: A1