[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015057038A1 - 멀티-뷰 비디오의 디코딩 방법 및 장치 - Google Patents

멀티-뷰 비디오의 디코딩 방법 및 장치 Download PDF

Info

Publication number
WO2015057038A1
WO2015057038A1 PCT/KR2014/009860 KR2014009860W WO2015057038A1 WO 2015057038 A1 WO2015057038 A1 WO 2015057038A1 KR 2014009860 W KR2014009860 W KR 2014009860W WO 2015057038 A1 WO2015057038 A1 WO 2015057038A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
current block
prediction
picture
sub
Prior art date
Application number
PCT/KR2014/009860
Other languages
English (en)
French (fr)
Inventor
남정학
허진
김태섭
서정동
예세훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP14854693.0A priority Critical patent/EP3059968A4/en
Priority to KR1020167009104A priority patent/KR102343817B1/ko
Priority to CN201480057222.5A priority patent/CN105637875A/zh
Priority to JP2016524091A priority patent/JP6571646B2/ja
Priority to US15/028,905 priority patent/US10045048B2/en
Publication of WO2015057038A1 publication Critical patent/WO2015057038A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to video coding, and more particularly, to coding of 3D video images.
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • 3D video can provide realism and immersion using a plurality of view channels.
  • 3D video can be used in a variety of areas such as free viewpoint video (FVV), free viewpoint TV (FTV), 3DTV, social security and home entertainment.
  • FVV free viewpoint video
  • FTV free viewpoint TV
  • 3DTV social security and home entertainment.
  • 3D video using multi-view has a high correlation between views of the same picture order count (POC). Since the multi-view image captures the same scene at the same time by using several adjacent cameras, that is, multiple views, the correlation between the different views is high because it contains almost the same information except for parallax and slight lighting differences.
  • POC picture order count
  • the decoding target block of the current view may be predicted or decoded with reference to the block of another view.
  • An object of the present invention is to provide a method and apparatus for restoring information of a current view based on a picture of another view.
  • An object of the present invention is to provide a method and apparatus for inheriting motion information of a texture view into motion information of a current block in a depth view.
  • An object of the present invention is to provide a method and apparatus for deriving motion information of a texture view in sub-block units and using the motion information of a current block of a depth view.
  • An object of the present invention is to provide a method and apparatus for deriving a prediction sample of a current block by deriving motion information of a texture view in a prediction block unit or a sub prediction block unit.
  • An embodiment of the present invention is a video decoding apparatus for decoding multi-view video, comprising: an entropy decoding unit for entropy decoding a bitstream and outputting video information necessary for decoding a current block in a depth picture; A memory for storing pictures and a predictor for deriving a prediction sample for the current block using motion information of a texture picture in the same view as the motion information for the current block, wherein the predictor is configured to obtain motion information of the texture picture. It may be determined whether to derive on a sub-block basis of the current block, and motion information on the current block may be derived based on the determination.
  • Another embodiment of the present invention is a video decoding method for decoding a multi-view video, comprising: entropy decoding a bitstream to derive video information required for decoding a current block in a depth picture, and based on the video information, Determining whether to derive the motion information for the current block from the texture picture in sub-block units, deriving motion information for the current block from the texture picture according to the determination, and using the motion vector for the current block. Deriving a predictive sample.
  • the depth view can be efficiently coded by inheriting the motion information of the view as the motion information of the current block in the depth view.
  • the motion information of the texture view may be derived in sub-block units and used as motion information of the current block of the depth view.
  • the motion information of the texture view may be derived in the prediction block unit or the sub-prediction block unit as necessary, and may be used as the motion information of the current block of the depth view.
  • 1 is a diagram schematically illustrating a process of encoding and decoding 3D video.
  • FIG. 2 is a diagram schematically illustrating a configuration of a video encoding apparatus.
  • FIG. 3 is a diagram schematically illustrating a configuration of a video decoding apparatus.
  • FIG. 4 is a diagram schematically illustrating inter view coding.
  • FIG. 5 schematically illustrates a multi-view coding method using a depth map.
  • FIG. 6 is a diagram schematically illustrating a DV-MCP block.
  • FIG. 7 is a diagram schematically illustrating an example of neighboring blocks of a current block.
  • FIG. 8 is a diagram schematically illustrating a method of deriving information from a texture picture.
  • FIG. 9 is a diagram schematically illustrating a process of deriving a motion vector of a texture picture through MVI.
  • FIG. 10 is a diagram schematically illustrating a method of deriving a motion vector by applying MVI on a sub-block basis.
  • FIG. 11 is a flowchart schematically illustrating an operation of a decoding apparatus according to the present invention.
  • a pixel or a pel may mean a minimum unit constituting one image.
  • the term 'sample' may be used as a term indicating a value of a specific pixel.
  • the sample generally indicates the value of the pixel, but may indicate only the pixel value of the Luma component or only the pixel value of the Chroma component.
  • a unit may mean a basic unit of image processing or a specific position of an image.
  • the unit may be used interchangeably with terms such as 'block' or 'area' as the case may be.
  • an M ⁇ N block may represent a set of samples or transform coefficients composed of M columns and N rows.
  • 1 is a diagram schematically illustrating a process of encoding and decoding 3D video.
  • the 3D video encoder may encode a video picture, a depth map, and a camera parameter to output a bitstream.
  • the depth map may be composed of distance information (depth information) between a camera and a subject with respect to pixels of a corresponding video picture (texture picture).
  • the depth map may be an image in which depth information is normalized according to bit depth.
  • the depth map may be composed of recorded depth information without color difference representation.
  • disparity information indicating the correlation between views may be derived from depth information of the depth map using camera parameters.
  • a general color image that is, a bitstream including a depth map and camera information together with a video picture (texture picture) may be transmitted to a decoder through a network or a storage medium.
  • the decoder side can receive the bitstream and reconstruct the video.
  • the 3D video decoder may decode the video picture and the depth map and the camera parameters from the bitstream. Based on the decoded video picture, the depth map and the camera parameters, the views required for the multi view display can be synthesized. In this case, when the display used is a stereo display, a 3D image may be displayed using two pictures from the reconstructed multi views.
  • the stereo video decoder can reconstruct two pictures that will each be incident in both from the bitstream.
  • a stereoscopic image may be displayed by using a view difference or disparity between a left image incident to the left eye and a right image incident to the right eye.
  • the multi view display is used together with the stereo video decoder, different views may be generated based on the two reconstructed pictures to display the multi view.
  • the 2D image may be restored and the image may be output to the 2D display.
  • the decoder may output one of the reconstructed images to the 2D display when using a 3D video decoder or a stereo video decoder.
  • view synthesis may be performed at the decoder side or may be performed at the display side.
  • the decoder and the display may be one device or separate devices.
  • the 3D video decoder, the stereo video decoder, and the 2D video decoder are described as separate decoders.
  • one decoding apparatus may perform 3D video decoding, stereo video decoding, and 2D video decoding.
  • the 3D video decoding apparatus may perform 3D video decoding
  • the stereo video decoding apparatus may perform stereo video decoding
  • the 2D video decoding apparatus may perform the 2D video decoding apparatus.
  • the multi view display may output 2D video or output stereo video.
  • the video encoding apparatus 200 may include a picture splitter 205, a predictor 210, a subtractor 215, a transformer 220, a quantizer 225, a reorderer 230, An entropy encoding unit 235, an inverse quantization unit 240, an inverse transform unit 245, an adder 250, a filter unit 255, and a memory 260 are included.
  • the picture dividing unit 205 may divide the input picture into at least one processing unit block.
  • the processing unit block may be a coding unit block, a prediction unit block, or a transform unit block.
  • the coding unit block may be divided along the quad tree structure from the largest coding unit block as a unit block of coding.
  • the prediction unit block is a block partitioned from the coding unit block and may be a unit block of sample prediction. In this case, the prediction unit block may be divided into sub blocks.
  • the transform unit block may be divided from the coding unit block along a quad tree structure, and may be a unit block for deriving a transform coefficient or a unit block for deriving a residual signal from the transform coefficient.
  • a coding unit block is called a coding block or a coding unit (CU)
  • a prediction unit block is called a prediction block or a prediction unit (PU)
  • a transform unit block is a transform block.
  • a transform unit (TU) transform unit
  • a prediction block or prediction unit may mean a specific area in the form of a block within a picture or may mean an array of prediction samples.
  • a transform block or a transform unit may mean a specific area in a block form within a picture, or may mean an array of transform coefficients or residual samples.
  • the prediction unit 210 may perform a prediction on a block to be processed (hereinafter, referred to as a current block) and generate a prediction block including prediction samples of the current block.
  • the unit of prediction performed by the prediction unit 210 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 210 may determine whether intra prediction or inter prediction is applied to the current block.
  • the prediction unit 210 may derive a prediction sample for the current block based on neighboring block pixels in a picture to which the current block belongs (hereinafter, referred to as the current picture). In this case, the prediction unit 210 may (i) derive a prediction sample based on the average or interpolation of neighbor reference samples of the current block, and (ii) a specific direction with respect to the prediction target pixel among the neighboring blocks of the current block. A prediction sample may be derived based on a reference sample present at. For convenience of explanation, the case of (i) is referred to as non-directional mode and the case of (ii) is referred to as directional mode. The prediction unit 210 may determine the prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
  • the prediction unit 210 may derive a prediction sample for the current block based on the samples specified by the motion vector on the reference picture.
  • the predictor 210 may induce a prediction sample for the current block by applying any one of a skip mode, a merge mode, and an MVP mode.
  • the prediction unit 210 may use the motion information of the neighboring block as the motion information of the current block.
  • the skip mode unlike the merge mode, the difference (residual) between the prediction sample and the original sample is not transmitted.
  • the motion vector of the neighboring block may be used as a motion vector predictor (MVP) to derive the motion vector of the current block.
  • MVP motion vector predictor
  • the neighboring block includes a spatial neighboring block present in the current picture and a temporal neighboring block present in the collocated picture.
  • the motion information includes a motion vector and a reference picture.
  • motion information of a temporal neighboring block is used in the skip mode and the merge mode, the highest picture on the reference picture list may be used as the reference picture.
  • the prediction unit 210 may perform inter view prediction.
  • the predictor 210 may construct a reference picture list by including pictures of other views. For inter view prediction, the predictor 210 may derive a disparity vector. Unlike a motion vector that specifies a block corresponding to the current block in another picture in the current view, the disparity vector may specify a block corresponding to the current block in another view of the same access unit (AU) as the current picture.
  • AU access unit
  • the prediction unit 210 may specify a depth block in a depth view based on the disparity vector, configure the merge list, inter view motion prediction, and residual. Prediction, illumination compensation (IC), view synthesis, and the like can be performed.
  • the disparity vector for the current block can be derived from the depth value using the camera parameter or from the motion vector or disparity vector of the neighboring block in the current or other view.
  • the prediction unit 210 may include an inter-view merging candidate (IvMC) corresponding to temporal motion information of a reference view and an inter-view disparity vector candidate corresponding to the disparity vector.
  • view disparity vector candidate (IvDC) shifted IvMC derived by shifting the disparity vector
  • texture merge candidate derived from the texture corresponding to when the current block is a block on the depth map texture merging candidate (T)
  • D disparity derived merging candidate
  • VSP view synthesis prediction merge candidate derived based on view synthesis : VSP
  • the number of candidates included in the merge candidate list applied to the dependent view may be limited to a predetermined value.
  • the prediction unit 210 may apply the inter-view motion vector prediction to predict the motion vector of the current block based on the disparator vector.
  • the prediction unit 210 may derive the disparity vector based on the conversion of the maximum depth value in the corresponding depth block.
  • a block including the reference sample may be used as the reference block.
  • the prediction unit 210 may use the motion vector of the reference block as a candidate motion parameter or motion vector predictor candidate of the current block, and use the disparity vector as a candidate disparity for disparity-compensated prediction (DCP). Can be used as a parity vector.
  • DCP disparity-compensated prediction
  • the subtraction unit 215 generates a residual sample which is a difference between the original sample and the prediction sample.
  • residual samples may not be generated as described above.
  • the transform unit 220 generates a transform coefficient by transforming the residual sample in units of transform blocks.
  • the quantization unit 225 may quantize the transform coefficients to generate quantized transform coefficients.
  • the reordering unit 230 rearranges the quantized transform coefficients.
  • the reordering unit 230 may reorder the quantized transform coefficients in the form of a block into a one-dimensional vector form by scanning the coefficients.
  • the entropy encoding unit 235 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the entropy encoding unit 235 may encode information necessary for video reconstruction other than the quantized transform coefficients (eg, a value of a syntax element) together or separately.
  • Entropy-encoded information may be transmitted or stored in units of NAL units in the form of a bitstream.
  • the dequantization unit 240 inversely quantizes the quantized transform coefficients to generate transform coefficients.
  • the inverse transform unit 245 inverse transforms the transform coefficients to generate residual samples.
  • the adder 250 reconstructs the picture by combining the residual sample and the predictive sample.
  • the residual sample and the predictive sample may be added in units of blocks to generate a reconstructed block.
  • the adder 250 has been described in a separate configuration, the adder 250 may be part of the predictor 210.
  • the filter unit 255 may apply a deblocking filter and / or an offset to the reconstructed picture. Through the deblocking filtering mill / or offset, the artifacts at the block boundaries in the reconstructed picture or the distortion in the quantization process can be corrected.
  • the offset may be applied on a sample basis or may be applied after the process of deblocking filtering is completed.
  • the memory 260 may store information necessary for reconstructed pictures or encoding / decoding.
  • the memory 260 may store pictures used for inter prediction / inter-view prediction.
  • pictures used for inter prediction / inter-view prediction may be designated by a reference picture set or a reference picture list.
  • one encoding device has been described as encoding the independent view and the dependent view, this is for convenience of description, and a separate encoding device is configured for each view or a separate internal module (for example, prediction for each view). B) may be configured.
  • the video decoding apparatus 300 includes an entropy decoding unit 310, a reordering unit 320, an inverse quantization unit 330, an inverse transform unit 340, a predictor 350, and an adder 360.
  • the filter unit 370 and the memory 380 are included.
  • the video decoding apparatus 300 may reconstruct the video in response to a process in which the video information is processed in the video encoding apparatus.
  • the video decoding apparatus 300 may perform video decoding using a processing unit applied in the video encoding apparatus.
  • the processing unit block of video decoding may be a coding unit block, a prediction unit block, or a transform unit block.
  • the coding unit block may be divided along the quad tree structure from the largest coding unit block as a unit block of decoding.
  • the prediction unit block is a block partitioned from the coding unit block and may be a unit block of sample prediction. In this case, the prediction unit block may be divided into sub blocks.
  • the transform unit block may be divided from the coding unit block along a quad tree structure, and may be a unit block for deriving a transform coefficient or a unit block for deriving a residual signal from the transform coefficient.
  • the entropy decoding unit 310 may parse the bitstream and output information necessary for video reconstruction or picture reconstruction. For example, the entropy decoding unit 310 may decode the information in the bitstream based on the exponential Golomb, CAVLC, CABAC, etc., and output a syntax element value required for video reconstruction, a quantized value of transform coefficients related to the residual, and the like. have.
  • the bitstream may be input for each view.
  • information about each view may be multiplexed in the bitstream.
  • the entropy decoding unit 310 may de-multiplex the bitstream and parse for each view.
  • the reordering unit 320 may rearrange the quantized transform coefficients in the form of a two-dimensional block.
  • the reordering unit 320 may perform reordering in response to coefficient scanning performed by the encoding apparatus.
  • the inverse quantization unit 330 may dequantize the quantized transform coefficients based on the (inverse) quantization parameter and output the transform coefficients.
  • information for deriving a quantization parameter may be signaled from the encoding apparatus.
  • the inverse transform unit 340 may inverse residual transform coefficients to derive residual samples.
  • the prediction unit 350 may perform prediction on the current block and generate a prediction block including prediction samples for the current block.
  • the unit of prediction performed by the prediction unit 350 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 350 may determine whether to apply intra prediction or inter prediction.
  • a unit for determining which of intra prediction and inter prediction is to be applied and a unit for generating a prediction sample may be different.
  • the unit for generating the prediction sample in inter prediction and intra prediction may also be different.
  • the prediction unit 350 may derive the prediction sample for the current block based on the neighboring block pixels in the current picture.
  • the prediction unit 350 may derive the prediction sample for the current block by applying the directional mode or the non-directional mode based on the peripheral reference samples of the current block.
  • the prediction mode to be applied to the current block may be determined using the intra prediction mode of the neighboring block.
  • the prediction unit 350 may derive the prediction sample for the current block based on the samples specified by the motion vector on the reference picture.
  • the prediction unit 350 may induce a prediction sample for the current block by applying any one of a skip mode, a merge mode, and an MVP mode.
  • the motion information of the neighboring block may be used as the motion information of the current block.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block.
  • the predictor 350 may construct a merge candidate list using motion information of available neighboring blocks, and use information indicated by the merge index on the merge candidate list as a motion vector of the current block.
  • the merge index may be signaled from the encoding device.
  • the motion information includes a motion vector and a reference picture. When motion information of a temporal neighboring block is used in the skip mode and the merge mode, the highest picture on the reference picture list may be used as the reference picture.
  • the difference (residual) between the prediction sample and the original sample is not transmitted.
  • the motion vector of the current block may be derived using the motion vector of the neighboring block as a motion vector predictor (MVP).
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block.
  • the prediction unit 350 may perform inter view prediction.
  • the prediction unit 350 may configure a reference picture list including pictures of other views.
  • the predictor 210 may derive a disparity vector.
  • the prediction unit 350 may specify a depth block in a depth view based on the disparity vector, configure the merge list, inter view motion prediction, and residual. Prediction, illumination compensation (IC), view synthesis, and the like can be performed.
  • the disparity vector for the current block can be derived from the depth value using the camera parameter or from the motion vector or disparity vector of the neighboring block in the current or other view.
  • Camera parameters may be signaled from the encoding device.
  • the prediction unit 350 shifts the IvMC corresponding to the temporal motion information of the reference view, the IvDC corresponding to the disparity vector, and the disparity vector. Shifted IvMC derived by a subfield, a texture merge candidate (T) derived from a texture corresponding to a case in which the current block is a block on a depth map, and a disparity derivation merge candidate (D) derived using disparity from a texture merge candidate. ), A view synthesis prediction merge candidate (VSP) derived based on view synthesis may be added to the merge candidate list.
  • VSP view synthesis prediction merge candidate
  • the number of candidates included in the merge candidate list applied to the dependent view may be limited to a predetermined value.
  • the prediction unit 350 may apply inter-view motion vector prediction to predict the motion vector of the current block based on the disparator vector.
  • the prediction unit 350 may use a block in the reference view specified by the disparity vector as the reference block.
  • the prediction unit 350 may use the motion vector of the reference block as a candidate motion parameter or motion vector predictor candidate of the current block, and use the disparity vector as a candidate disparity vector for DCP.
  • the adder 360 may reconstruct the current block or the current picture by adding the residual sample and the predictive sample.
  • the adder 360 may reconstruct the current picture by adding the residual sample and the predictive sample in block units. Since the residual is not transmitted when the skip mode is applied, the prediction sample may be a reconstruction sample.
  • the adder 360 has been described in a separate configuration, the adder 360 may be part of the predictor 350.
  • the filter unit 370 may apply deblocking filtering and / or offset to the reconstructed picture.
  • the offset may be adaptively applied as an offset in a sample unit.
  • the memory 380 may store information necessary for reconstruction picture or decoding.
  • the memory 380 may store pictures used for inter prediction / inter-view prediction.
  • pictures used for inter prediction / inter-view prediction may be designated by a reference picture set or a reference picture list.
  • the reconstructed picture can be used as a reference picture.
  • the memory 380 may output the reconstructed picture in the output order.
  • the output unit may display a plurality of different views.
  • each decoding apparatus may operate for each view, and an operation unit (eg, a prediction unit) corresponding to each view may be provided in one decoding apparatus.
  • an operation unit eg, a prediction unit
  • the encoding apparatus and the decoding apparatus may improve the efficiency of video coding for the current view using the coded data of another view belonging to the same access unit (AU) as the current picture.
  • pictures having the same POC may be referred to as one AU.
  • the POC corresponds to the display order of the pictures.
  • the encoding apparatus and the decoding apparatus may code views in units of AUs, and may code pictures in units of views. Coding proceeds between views according to a predetermined order.
  • the first coded view may be referred to as a base view or an independent view.
  • a view that can be coded by referencing another view after the independent view is coded can be called a dependent view.
  • another view referred to in coding (encoding / decoding) of the current view may be referred to as a reference view.
  • FIG. 4 is a diagram schematically illustrating inter view coding.
  • coding is performed in units of AU, where V0 is an independent view and V1 is a dependent view.
  • inter-picture prediction that refers to another picture 430 of the same view using a motion vector may be referred to as motion-compensated prediction (MCP).
  • MCP motion-compensated prediction
  • the disparity-compensated prediction may be performed by using a disparity vector to perform inter-picture prediction that refers to the picture 420 in another view having the same POC, that is, the same POC. DCP).
  • a depth map may be used in addition to a method of using pictures of other views.
  • FIG. 5 schematically illustrates a multi-view coding method using a depth map.
  • a block (current block) 505 of the current picture 500 in the current view may be coded (encoded / decoded) using the depth map 510.
  • the depth value d of the position (x, y) of the sample 520 in the depth map 510 corresponding to the position (x, y) of the sample 515 in the current block 505 is the disparity vector. 525.
  • the depth value d can be derived based on the distance between the sample (pixel) and the camera.
  • the encoding apparatus and the decoding apparatus may add the disparity vector 525 to the sample 530 position (x, y) to determine the position of the reference sample 535 in the current picture 540 in the reference view.
  • the disparity vector may have only x-axis components. Accordingly, the value of the disparity vector may be (disp, 0), and the position (xr, y) of the reference sample 540 may be determined as (x + disp, y).
  • the encoding apparatus and the decoding apparatus may use the motion parameter of the reference block 545 including the reference pixel 535 as a candidate of the motion parameter of the current block. For example, if the reference picture 550 in the reference view is a reference picture for the reference block 545, the motion vector 555 of the reference block 545 may be derived to the motion vector 560 of the current block 505. It may be. At this time, the picture 565 is a reference picture in the current view.
  • the disparity vector of the DCP coding block may be used as a disparity vector to be applied to the current block.
  • the disparity vector derived from the neighboring block that is, the disparity vector of the DCP coded block
  • IVMP inter-view motion prediction
  • IVRP inter-view residual prediction
  • MVP motion vector prediction mode
  • AMVP advanced motion vector prediction
  • SKIP skip
  • the block in which the motion vector is predicted by the IVMP method among the MCP coded blocks is called a DV-MCP block.
  • FIG. 6 is a diagram schematically illustrating a DV-MCP block.
  • FIG. 6 illustrates a case of inter prediction the current block 620 in the current picture 610 of the current view.
  • the motion vector MV1 of the neighboring block 630 used for inter prediction of the current block 620 is derived from the corresponding block 650 of the reference picture 640 in the base view.
  • the corresponding block is specified by the disparity vector DV 660.
  • the motion vector MV1 of the neighboring block 630 may be set to or derived from the motion vector MV2 of the corresponding block 650.
  • the POCs of the reference picture 640 and the current picture 610 in the base view may be the same.
  • the neighboring block 630 to which the motion vector MV1 predicted from the motion vector MV2 of the corresponding block 650 in another view is applied may be referred to as a DV-MCP block.
  • the encoding apparatus and the decoding apparatus may store the information of the disparity vector used for the motion vector prediction of the DV-MCP block and use it in the process of deriving the disparity vector of the neighboring block.
  • FIG. 7 is a diagram schematically illustrating an example of neighboring blocks of a current block.
  • the neighboring blocks of FIG. 7 are blocks that are already decoded at the time of decoding the current block and are accessible.
  • the neighboring blocks of the current block 710 are the spatial neighboring blocks A0, A1, B0, B1, B2 and the temporal neighboring blocks col-CTR (col-center) and col-RB (col-right bottom). Include.
  • the spatial neighboring blocks are each specified based on the position of the current block 710.
  • temporal neighboring blocks may be specified based on a position 720 corresponding to the current block in a collocated picture, which is one of the reference pictures.
  • a coding block including a pixel located at the center of the current block 720 in a collocated picture designated at the time of decoding the current picture or the current slice becomes col-CTR.
  • the coding block including the pixel at the (x + 1, y + 1) position becomes col-RB.
  • col-CTR may be expressed as CTR and col-BR as BR.
  • the call-located picture may be one of a temporal reference picture included in the current picture or a reference picture list of the current slice, selected for temporal disparity vector derivation. .
  • the call-picture may be known to the decoder through a slice header. For example, information indicating which picture to use as a call-picture may be signaled in the slice header.
  • prediction samples are performed in units of a prediction block (eg, PU) or a sub-prediction block (eg, sub-PU).
  • the prediction unit of the encoding apparatus and the decoding apparatus if the current prediction block is in the texture, and at least one inter-view reference block is present in the current slice, a block corresponding to the current block may be specified based on the disparity vector, A prediction sample may be derived at a PU level or a sub PU level using the corresponding block.
  • the prediction unit of the encoding apparatus and the decoding apparatus constructs the merge candidate list in the same manner as in the base view, and then moves the motion vector of the corresponding block in the reference view.
  • a shift synthesized IvMC, a shifted IvDC, and a view synthesis prediction (VSP) merge candidate derived based on a depth may be added to the merge candidate list.
  • merge candidates constituting the merge candidate list will be briefly described.
  • the available motion vector is derived from spatial neighboring blocks in the same way as the merge candidate list used in the base view.
  • the spatial neighboring blocks of the current block become blocks A0, A1, B0, B1, and B2 around the current block 710 illustrated in FIG. 7.
  • the information of the corresponding block in the reference view different from the current view may be used as the merge candidate of the current block.
  • the corresponding block may be specified by the disparity vector.
  • the disparity vector may be derived from a disparity vector or a motion vector of a neighboring block to which DCP or MCP is applied, or a value modified from the derived motion vector using a depth map may be used as the disparity vector.
  • the disparity vector derived from the neighboring block is called disparity vector from neighboring blocks (NBDV), and the disparity vector derived from the NBDV using the depth value is referred to as depth oriented NBDV (DoNBDV).
  • the prediction unit of the encoding apparatus and the decoding apparatus may use the motion vector used when the reference block specified by the disparity vector in the reference view performs temporal motion compensation as the inter-view merge candidate (IvMC). That is, the motion vector of the block to which the MCP is applied in the reference view may be used as the motion vector candidate of the current block.
  • NBDV or DoNBDV derived based on the neighboring block of the current block may be used as the disparity vector used to specify the reference block, or a value derived based on the depth map may be used.
  • a method of deriving a PU level or sub-PU level may be used for derivation of IvMC.
  • the prediction units of the encoding apparatus and the decoding apparatus may use the disparity vector of the corresponding block in the reference view as the inter-view disparity vector candidate (IvDC).
  • IvDC inter-view disparity vector candidate
  • the prediction unit of the encoding apparatus and the decoding apparatus may shift the disparity vector by a specific value and then induce the motion vector of the corresponding block specified by the shifted disparity vector to the shifted IvMC (IvMCShift). have.
  • the prediction unit may shift the disparity vector using the height and width of the current prediction block. For example, when the height of the current block is nPbH and nPbW, the predictor shifts the disparity vector by nPbW * 2 + 2 in the x-axis direction and nPbH * 2 + 2 in the y-axis direction to derive IvMCShift. can do.
  • the prediction unit may add IvMCShift as a merge candidate of the current block when IvMC and IvMCShift are not the same.
  • the prediction units of the encoding apparatus and the decoding apparatus may shift the disparity vector by a specific value, and then add the shifted disparity vector (shifted IvDC, IvDCShift) to the merge candidate of the current block.
  • the prediction unit may use, as the IvDCShift, the disparity vector that moves the IvDC only a predetermined distance (for example, 4) along the x-axis.
  • the prediction unit may derive the IvDCShift in consideration of the case where view synthesis prediction is applied. For example, when the view synthesis prediction can be performed, the prediction unit may set the y component of IvDCShift to zero.
  • the prediction unit of the encoding apparatus and the decoding apparatus adds a motion vector to the merge candidate list based on inter-view prediction
  • the prediction unit may derive a candidate based on the information of the depth map.
  • the prediction unit may apply a motion parameter inheritance method (MPI) that uses motion information from the video signal based on the similarity between the video signal and the depth signal.
  • MPI motion parameter inheritance method
  • different motion vectors may be inherited from the texture for each sub-PU divided from one depth PU.
  • the prediction unit may add, as a merge candidate, the depth candidate D derived based on the merge candidate T and the T using the motion vector inherited from the texture. If D is used, the prediction samples may be set to a depth value derived from the corresponding disparity vector.
  • the prediction unit of the encoding apparatus and the decoding apparatus may add a disparity vector by view synthesis prediction (VSP) as a merge candidate (VSP).
  • VSP view synthesis prediction
  • the prediction unit may add the disparity vector of the neighboring block as a merge candidate for the current block, and use the disparity vector to derive depth information of the current block based on the depth value of the corresponding block specified on the depth map.
  • the prediction unit of the encoding apparatus and the decoding apparatus may use the merge candidates to form a merge candidate list as follows.
  • the merge candidates are positioned in the following order on the merge candidate list.
  • the prediction unit adds T and D to the merge candidate list as MPI candidates.
  • the prediction unit determines whether T is available, and adds T when it is available.
  • the predictor determines whether D is available and adds D after T if it is available.
  • the prediction unit inserts IvMC at the position next to D of the merge candidate list when IvMC is available and T is not available or when T and IvMC are different.
  • the prediction unit adds A1 to the merge candidate list when A1 is available.
  • the prediction unit may compare the identity of the merge candidate with the added A1.
  • the merge candidate N already added may be T when the depth is available, and may be IvMC when the depth is not used. If A1 is equal to N, the prediction unit may exclude A1 from the merge candidate.
  • the prediction unit adds B1 to the merge candidate list when B1 is available.
  • the prediction unit may exclude B1 from the merge candidate when the same as the candidate previously added with B1.
  • the prediction unit may add B0 to the merge candidate list when B0 is available.
  • the prediction unit may add the IvDC to the merge candidate list when the IvDC is available.
  • the prediction unit includes (i) A1 is not available or A1 and IvDC are different, (ii) B1 is not available or B1 and IvDC are different, and (iii) If the number of merge candidates added so far does not exceed the maximum number of candidates in the merge candidate list, the IvMC may be added to the merge candidate list.
  • the prediction unit adds the VSP to the merge candidate list if the disparity vector derived from the VSP (hereinafter referred to as VSP) is available and the number of merge candidates added so far does not exceed the maximum candidate number of the merge posterior list. Can be.
  • the prediction unit may add the VSP to the merge candidate list on the condition that additional coding methods such as illumination compensation (IC), advanced residual prediction (ARP), and the like are not used to increase coding efficiency.
  • the prediction unit may add A0 to the merge candidate list if A0 is available and the number of merge candidates added so far does not exceed the maximum number of candidates in the merge candidate list.
  • the prediction unit may add B2 to the merge candidate list if B2 is available and the number of merge candidates added so far does not exceed the maximum number of candidates in the merge candidate list.
  • the prediction unit (i) if IvMCShift is available and the number of merge candidates added so far does not exceed the maximum number of candidates in the merge candidate list, and (ii) IvMC is not available or IvMC and IvMCShift are not the same. IvMCShift can be added to the merge candidate list.
  • the prediction unit may add IvDCShift to the merge candidate list if IvDCShift is available and the number of merge candidates added so far does not exceed the maximum number of candidates in the merge candidate list.
  • candidates T and D by MPI may be used, otherwise T and D may not be used.
  • the prediction unit of the encoding device and the decoding device may specify a motion vector in units of sub-blocks (sub-prediction blocks) of the prediction block when the IvMC is used or the VSP may be applied and the block is not partitioned based on the depth. have.
  • inter-layer (inter-view) prediction may be performed on a sub-prediction block basis.
  • the prediction unit may induce a disparity vector in units of sub-prediction blocks.
  • the motion vector when a motion vector is derived in sub prediction blocks, the motion vector may be derived in sub blocks within the current prediction block.
  • a motion vector can be specified in units of sub-prediction blocks
  • information specifying the size of the sub-prediction blocks at the extension level of the BIO parameter set can be transmitted.
  • the sub-prediction block size when MPI is applied may be signaled separately.
  • the depth map may be coded by referring to coding information regarding texture pictures of the same time, for example, the same picture order count (POC).
  • POC picture order count
  • the depth picture is taken at the same time as the texture picture at the same time or is generated from depth information about the texture picture at the same time, the depth picture and the texture picture at the same time are highly correlated.
  • block partition information, motion information, or the like of an already coded texture picture may be used when coding a depth picture. This is called a motion parameter inheritance (MPI) as described above.
  • MPI motion parameter inheritance
  • FIG. 8 is a diagram schematically illustrating a method of deriving information from a texture picture.
  • a block 850 in the texture picture 840 corresponding to the sub block 830 of the prediction block 820 in the current picture 810 is specified.
  • the current picture 810 may be a depth picture.
  • Motion information of the prediction block including the center 860 of the corresponding texture block 850 may be used as the motion information of the sub-block 830.
  • the motion information of the prediction block 850 ′ including the center 860 may be used as the motion information of the sub block 830.
  • MVI motion vector inheritance
  • FIG. 9 is a diagram schematically illustrating a process of deriving a motion vector of a texture picture through MVI.
  • a motion vector may be inherited from the corresponding block C ′ 940 in the text picture 930 at the same position as the current block C 920 in the depth picture 910.
  • the prediction unit of the encoding apparatus and the decoding apparatus may derive the motion vector Mv 950 at the center of the corresponding block C ′ 940 and use it as the motion vector Mv 960 for the current block 920.
  • the texture block 940 at the same position as the current block C 920 is a block to which intra prediction is applied, the prediction unit does not obtain a motion vector from the texture block.
  • a motion vector may be obtained in sub-block units from a texture picture corresponding to the current block to increase the accuracy of prediction for the current block.
  • the prediction unit of the encoding apparatus and the decoding apparatus may divide the corresponding block in the texture picture into sub-blocks having a predetermined size, and may obtain motion information in the divided sub-block unit and apply the current block to the current block in the depth picture.
  • the corresponding block may be a prediction block
  • the sub block may be a sub prediction block or a sub PU.
  • FIG. 10 is a diagram schematically illustrating a method of deriving a motion vector by applying MVI on a sub-block basis.
  • the motion vector of the current block C 1020 in the depth picture 1010 may be inherited from the corresponding block C ′ 1040 in the texture picture 1030.
  • the succession of the motion vector may be performed in units of sub blocks in the current block C 1020 and the corresponding block C ′ 1040.
  • the sub blocks C1 to C4 and C'1 to C'4 become sub prediction blocks.
  • the size of the sub prediction block (sub PU) may be set to NxM (N, where M is an integer greater than 0).
  • the prediction unit of the encoding apparatus and the decoding apparatus may obtain a motion vector based on a sub-block specified by a corresponding relationship with the current block C 1020 which is a depth block, regardless of the block division information in the original texture picture. For example, the prediction unit may obtain a motion vector according to the sizes of the sub blocks C1 'to C4' of the corresponding block C '1040.
  • the position for obtaining the motion information in the sub PU may be the center of the sub PU.
  • the position from which the motion information is obtained from the sub PU may be a left-top position of the sub prediction block.
  • Each sub-prediction block may be specified by the upper left position.
  • the prediction unit may replace the motion vector of the sub-PU with a neighboring motion vector value.
  • the neighboring motion vector may be the motion vector of the left or upper subPU of the corresponding subPU.
  • the prediction unit of the encoding apparatus and the decoding apparatus may set a predefined substitute motion vector as the motion vector of the corresponding subPU.
  • the alternative motion vector may be a motion vector of a block indicated by NBDV or DoNBDV.
  • the prediction unit may set the motion vector derived immediately before as the replacement motion vector and continuously update the replacement motion vector.
  • the prediction unit inherits the motion vector from the texture block corresponding to the depth block to be coded (encoded / decoded), whether to use the prediction block unit (i.e., PU unit) or the sub-prediction block (i.e., sub-PU unit) You can decide whether or not to do so.
  • the prediction block unit i.e., PU unit
  • the sub-prediction block i.e., sub-PU unit
  • information indicating whether to inherit the motion vector in units of PUs or the motion vector in units of sub-PUs may be transmitted from the encoding apparatus to the decoding apparatus.
  • an indication of whether to inherit the motion vector in units of PUs or the motion vector in units of sub-PUs may be signaled using a flag.
  • the decoding apparatus may determine whether to inherit the motion vector in units of PUs or the motion vector in units of sub-PUs based on the received information.
  • the prediction unit moves the motion vector Mv1 of C'1 with respect to the subblock C1, and the motion of C'2 corresponding to C2 with respect to the subblock C2.
  • the vector Mv2 can be used with the motion vector Mv3 of C'3 corresponding to C3 for the subblock C3, and the motion vector of C'4 corresponding to C4 for the subblock C4.
  • FIG. 11 is a flowchart schematically illustrating an operation of a decoding apparatus according to the present invention.
  • the decoding apparatus entropy decodes the bitstream and outputs video information necessary for decoding the current block (S1110).
  • the video information includes information necessary to inverse transform / dequantize the residual and the radial, information necessary to generate a predictive sample, information necessary to apply filtering to the reconstructed picture, and the like, for decoding the current block.
  • the video information may include information indicating whether to inherit the motion information from the texture picture.
  • the current block when the current block is a prediction block in the depth view, that is, a PU in the depth view, the current block may include information indicating whether to derive motion information of the current block in units of sub-prediction blocks (sub-PUs).
  • the information indicating whether to derive the motion vector in the sub-prediction block unit may indicate whether the motion vector is derived in the prediction block unit or in the sub-prediction block unit by indicating the size of the block from which the motion information is derived.
  • the video information may be transmitted at the level of the video parameter set or the extension level of the video parameter set as needed.
  • the decoding apparatus may determine a unit for deriving a motion vector for the current block based on the video information (S1120).
  • the video information may include motion information derivation unit information indicating whether to derive a motion vector on a sub-prediction block basis.
  • the decoding apparatus may determine whether to derive motion information in units of prediction blocks or units of sub blocks (sub prediction blocks) based on the motion information derivation unit information.
  • the decoding apparatus may derive a motion vector for the current block based on the determination (S1130).
  • motion information eg, a motion vector
  • the decoding apparatus may set the motion vector of the corresponding block in the texture picture as the motion vector of the current block in the depth picture.
  • motion information (eg, a motion vector) of the current block in the depth picture may be derived from the sub-block of the block in the corresponding texture picture.
  • the decoding apparatus may set a motion vector of a subblock of a corresponding block in a texture picture as a motion vector of a subblock of a current block in a depth picture.
  • the decoding apparatus may derive the prediction sample for the current block by using the motion vector (S1140).
  • the decoding apparatus may derive the prediction sample in the sub block unit by using the motion vector. For example, the decoding apparatus may use the samples of the region indicated by the motion vector specified on a sub-block basis as a prediction sample for the sub-block (eg, sub-prediction block) of the current block (eg, prediction block).
  • the decoding apparatus may derive the prediction sample in the prediction block unit by using the motion vector. For example, the decoding apparatus may use the samples of the region indicated by the motion vector specified in the prediction block unit on the reference picture as the prediction samples of the current block (prediction block).
  • the decoding apparatus may derive the reconstructed sample by adding the predictive sample and the residual sample.
  • the decoding apparatus may omit in-loop filtering or the like in order to reduce the complexity.
  • the decoding has been described, but the step of S1120 or less, that is, determining whether to derive the motion vector for the block of the depth map in units of sub-blocks, inducing the motion vector in units of the current block or the sub-blocks of the current block.
  • the derivation of the prediction sample using the motion vector and the derivation of the reconstructed sample using the motion vector may be similarly performed in the encoding apparatus.
  • the encoding apparatus may determine whether to derive the motion vector on a sub-block basis in consideration of the cost of coding, and then entropy-encode the related information and transmit the related information to the decoding apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 멀티 뷰 비디오를 디코딩하는 비디오 디코딩 장치 및 방법에 관한 것으로서, 본 발명에 따른 비디오 디코딩 장치는 비트스트림을 엔트로피 디코딩하여 뎁스 픽처 내 현재 블록의 디코딩에 필요한 비디오 정보를 출력하는 엔트로피 디코딩부, 상기 현재 블록의 디코딩에 참조되는 픽처들을 저장하는 메모리 및 동일 뷰 내 텍스처 픽처의 움직임 정보를 상기 현재 블록에 대한 움직임 정보로서 이용하여 상기 현재 블록에 대한 예측 샘플을 유도하는 예측부를 포함한다.

Description

멀티-뷰 비디오의 디코딩 방법 및 장치
본 발명은 비디오 코딩에 관한 기술로서, 더 구체적으로는 3D 비디오 영상의 코딩에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다. 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
한편, 고해상/대용량의 영상을 처리할 수 있게 됨에 따라서, 3D 비디오를 이용한 디지털 방송 서비스가 차세대 방송 서비스의 하나로 주목 받고 있다. 3D 비디오는 복수의 시점(view) 채널을 이용하여 현장감과 몰입감을 제공할 수 있다.
3D 비디오는 FVV(free viewpoint video), FTV(free viewpoint TV), 3DTV, 사회 안전망(surveillance) 및 홈 엔터테인먼트와 같은 다양한 영역에 사용될 수 있다.
싱글 뷰 비디오(single view video)와 달리 멀티 뷰를 이용한 3D 비디오는 동일한 POC(picture order count)의 뷰들 사이에 높은 상관도(correlation)를 가진다. 멀티 뷰 영상은 인접한 여러 카메라 즉, 여러 시점(view)를 이용하여 똑같은 장면을 동시에 촬영하기 때문에, 시차와 약간의 조명 차이를 제외하면 거의 같은 정보를 담고 있으므로 서로 다른 뷰 간의 상관도가 높다.
따라서, 멀티 뷰 비디오의 인코딩/디코딩에서는 서로 다른 뷰 사이의 상관도를 고려하여, 현재 뷰의 인코딩 및/또는 디코딩에 필요한 정보를 획득할 수 있다. 예를 들어, 현재 뷰의 디코딩 대상 블록을 다른 뷰의 블록을 참조하여 예측하거나 디코딩할 수 있다.
본 발명은 다른 뷰의 픽처를 기반으로 현재 뷰의 정보를 복원하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 텍스처 뷰의 움직임 정보를 뎁스 뷰 내 현재 블록에 대한 움직임 정보로 승계하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 텍스처 뷰의 움직임 정보를 서브 블록 단위로 유도하여 뎁스 뷰의 현재 블록에 대한 움직임 정보로 이용하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 텍스처 뷰의 움직임 정보를 예측 블록 단위 또는 서브 예측 블록 단위로 유도하여 현재 블록의 예측 샘플을 유도하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 멀티 뷰 비디오를 디코딩하는 비디오 디코딩 장치로서, 비트스트림을 엔트로피 디코딩하여 뎁스 픽처 내 현재 블록의 디코딩에 필요한 비디오 정보를 출력하는 엔트로피 디코딩부, 상기 현재 블록의 디코딩에 참조되는 픽처들을 저장하는 메모리 및 동일 뷰 내 텍스처 픽처의 움직임 정보를 상기 현재 블록에 대한 움직임 정보로서 이용하여 상기 현재 블록에 대한 예측 샘플을 유도하는 예측부를 포함하며, 상기 예측부는 상기 텍스처 픽처의 움직임 정보를 상기 현재 블록의 서브 블록 단위로 유도할 것인지를 결정하고, 상기 결정을 기반으로 상기 현재 블록에 대한 움직임 정보를 유도할 수 있다.
본 발명의 다른 실시형태는 멀티 뷰 비디오를 디코딩하는 비디오 디코딩 방법으로서, 비트스트림을 엔트로피 디코딩하여 뎁스 픽처 내 현재 블록의 디코딩에 필요한 비디오 정보를 유도하는 단계, 상기 비디오 정보를 기반으로 상기 현재 블록에 대한 움직임 정보를 텍스처 픽처로부터 서브 블록 단위로 유도할 것인지를 결정하는 단계, 상기 결정에 따라 상기 텍스처 픽처로부터 상기 현재 블록에 대한 움직임 정보를 유도하는 단계 및 상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 예측 샘플을 유도하는 단계를 포함할 수 있다.
본 발명에 의하면, 뷰의 움직임 정보를 뎁스 뷰 내 현재 블록에 대한 움직임 정보로 승계하여 뎁스 뷰를 효과적으로 코딩할 수 있다.
본 발명에 의하면, 텍스처 뷰의 움직임 정보를 서브 블록 단위로 유도하여 뎁스 뷰의 현재 블록에 대한 움직임 정보로 이용할 수 있다.
본 발명에 의하면, 필요에 의해 텍스처 뷰의 움직임 정보를 예측 블록 단위로 유도하거나 서브 예측 블록 단위로 유도하여, 뎁스 뷰의 현재 블록에 대한 움직임 정보로 이용할 수 있다.
도 1은 3D 비디오의 인코딩 및 디코딩 과정을 개략적으로 설명하는 도면이다.
도 2는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3은 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 4는 인터 뷰 코딩을 개략적으로 설명하는 도면이다.
도 5는 뎁스 맵을 이용하는 멀티 뷰 코딩 방법을 개략적으로 설명한다.
도 6은 DV-MCP 블록을 개략적으로 설명하는 도면이다.
도 7은 현재 블록의 주변 블록들의 일 예를 개략적으로 설명하는 도면이다.
도 8은 텍스처 픽처로부터 정보를 유도하는 방법에 관해서 개략적으로 설명하는 도면이다.
도 9는 MVI 통하여 텍스처 픽처의 움직임 벡터를 유도하는 과정을 개략적으로 설명하는 도면이다.
도 10은 서브 블록 단위로 MVI를 적용하여 움직임 벡터를 유도하는 방법을 개략적으로 설명하는 도면이다.
도 11은 본 발명에 따른 디코딩 장치의 동작을 개략적으로 설명하는 순서도이다.
본 명세서에서 픽셀(pixel) 또는 펠(pel)은 하나의 영상을 구성하는 최소의 단위를 의미할 수 있다. 또한, 특정한 픽셀의 값을 나타내는 용어로서 ‘샘플(sample)’이 사용될 수 있다. 샘플은 일반적으로 픽셀의 값을 나타내지만, 휘도(Luma) 성분의 픽셀 값만을 지시할 수도 있고, 색차(Chroma) 성분의 픽셀 값만을 지시할 수도 있다.
'유닛(unit)'은 영상 처리의 기본 단위 또는 영상의 특정 위치를 의미할 수 있다. 유닛은 경우에 따라서 '블록(block)' 또는 '영역(area)' 등의 용어와 서로 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다.
이하, 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 3D 비디오의 인코딩 및 디코딩 과정을 개략적으로 설명하는 도면이다.
도 1을 참조하면, 3D 비디오 인코더는 비디오 픽처 및 뎁스 맵(depth map)과 카메라 파라미터를 인코딩하여 비트스트림으로 출력할 수 있다.
뎁스 맵은 대응하는 비디오 픽처(텍스처 픽처)의 픽셀에 대하여 카메라와 피사체 간의 거리 정보(깊이 정보)로 구성될 수 있다. 예컨대, 뎁스 맵은 깊이 정보를 비트 뎁스(bit depth)에 따라 정규화한 영상일 수 있다. 이때, 뎁스 맵은 색차 표현없이 기록된 깊이 정보로 구성될 수 있다.
일반적으로 피사체와의 거리와 변위(디스패러티)는 서로 반비례하므로, 카메라 파라미터를 이용하여 뎁스 맵의 깊이 정보로부터 뷰 간의 상관도를 나타내는 디스패러티 정보를 유도할 수 있다.
일반적인 컬러 영상 즉, 비디오 픽처(텍스처 픽처)와 함께 뎁스 맵과 카메라 정보를 포함하는 비트스트림은 네트워크 또는 저장매체를 통해 디코더로 전송될 수 있다.
디코더 측에서는 비트스트림을 수신해서 비디오를 복원할 수 있다. 디코더 측에서 3D 비디오 디코더가 이용되는 경우에, 3D 비디오 디코더는 비트스트림으로부터 비디오 픽처와 뎁스 맵 및 카메라 파라미터를 디코딩할 수 있다. 디코딩된 비디오 픽처와 뎁스 맵 그리고 카메라 파라미터를 기반으로 멀티 뷰(multi view) 디스플레이에 필요한 뷰들을 합성할 수 있다. 이때, 사용되는 디스플레이가 스테레오(streo) 디스플레이인 경우라면, 복원된 멀티 뷰들 중에서 두 개의 픽처를 이용하여 3D 영상을 디스플레이 할 수 있다.
스테레오 비디오 디코더가 사용되는 경우에, 스테레오 비디오 디코더는 비트스트림으로부터 양 안에 각각 입사될 두 픽처를 복원할 수 있다. 스테레오 디스플레이에서는 왼쪽 눈에 입사되는 좌측 영상과 우측 눈에 입사되는 우측 영상의 시차(view difference) 혹은 변위(disparity)를 이용해서 입체 영상을 디스플레이 할 수 있다. 스테레오 비디오 디코더와 함께 멀티 뷰 디스플레이가 사용되는 경우에는, 복원된 두 픽처를 기반으로 다른 뷰들을 생성하여 멀티 뷰를 디스플레이할 수도 있다.
2D 디코더가 사용되는 경우에는 2차원 영상을 복원해서 2D 디스플레이로 영상을 출력할 수 있다. 2D 디스플레이를 사용하지만, 디코더는 3D 비디오 디코더를 사용하거나 스테레오 비디오 디코더를 사용하는 경우에는 복원된 영상들 중 하나를 2D 디스플레이로 출력할 수도 있다.
도 1의 구성에서, 뷰 합성은 디코더 측에서 수행될 수도 있고, 디스플레이측에서 수행될 수도 있다. 또한, 디코더와 디스플레이는 하나의 장치일 수도 있고 별도의 장치일 수도 있다.
도 1에서는 설명의 편의를 위해 3D 비디오 디코더와 스테레오 비디오 디코더 그리고 2D 비디오 디코더가 별도의 디코더인 것으로 설명하였으나, 하나의 디코딩 장치가 3D 비디오 디코딩, 스테레오 비디오 디코딩 그리고 2D 비디오 디코딩을 모두 수행할 수도 있다. 또한, 3D 비디오 디코딩 장치가 3D 비디오 디코딩을 수행하고, 스테레오 비디오 디코딩 장치가 스테레오 비디오 디코딩을 수행하며, 2D 비디오 디코딩 장치가 2D 비디오 디코딩 장치를 수행할 수도 있다. 더 나아가, 멀티 뷰 디스플레이가 2D 비디오를 출력하거나 스테레오 비디오를 출력할 수도 있다.
도 2는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다. 도 2를 참조하면, 비디오 인코딩 장치(200)는 픽처 분할부(205), 예측부(210), 감산부(215), 변환부(220), 양자화부(225), 재정렬부(230), 엔트로피 인코딩부(235), 역양자화부(240), 역변환부(245), 가산부(250), 필터부(255) 및 메모리(260)를 포함한다.
픽처 분할부(205)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위 블록은 코딩 단위 블록, 예측 단위 블록 또는 변환 단위 블록일 수 있다. 코딩 단위 블록은 코딩의 단위 블록으로서 최대 코딩 단위 블록으로부터 쿼드 트리 구조를 따라서 분할될 수 있다. 예측 단위 블록은 코딩 단위 블록으로부터 파티셔닝되는 블록으로서, 샘플 예측의 단위 블록일 수 있다. 이때, 예측 단위 블록은 서브 블록으로 나뉠 수도 있다. 변환 단위 블록은 코딩 단위 블록으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 단위 블록 또는 변환 계수로부터 잔차 신호를 유도하는 단위 블록일 수 있다.
이하, 설명의 편의를 위해, 코딩 단위 블록은 코딩 블록 또는 코딩 유닛(coding unit: CU)이라 하고, 예측 단위 블록은 예측 블록 또는 예측 유닛(prediction unit: PU)이라 하며, 변환 단위 블록은 변환 블록 또는 변환 유닛(transform unit: TU)이라 한다.
예측 블록 또는 예측 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수도 있고, 예측 샘플의 어레이를 의미할 수도 있다. 또한, 변환 블록 또는 변환 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수도 있고, 변환 계수 또는 레지듀얼 샘플의 어레이를 의미할 수도 있다.
예측부(210)는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록을 생성할 수 있다. 예측부(210)에서 수행되는 예측의 단위는 코딩 블록일 수도 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(210)는 현재 블록에 인트라 예측이 적용되는지 인터 예측이 적용되는지를 결정할 수 있다.
인트라 예측의 경우에, 예측부(210)는 현재 블록이 속하는 픽처(이하, 현재 픽처) 내의 주변 블록 화소를 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이때, 예측부(210)는 (i) 현재 블록의 주변 참조 샘플들의 평균 혹은 인터폴레이션을 기반으로 하는 예측 샘플을 유도할 수도 있고, (ii) 현재 블록의 주변 블록들 중 예측 대상 픽셀에 대하여 특정 방향에 존재하는 참조 샘플을 기반으로 예측 샘플을 유도할 수도 있다. 설명의 편의를 위해, (i)의 경우를 비방향성 모드, (ii)의 경우를 방향성 모드라고 한다. 예측부(210)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측의 경우에, 예측부(210)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 샘플들을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(210)는 스킵(skip) 모드, 머지(merge) 모드, 및 MVP 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 스킵 모드와 머지 모드의 경우에, 예측부(210)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차(레지듀얼)가 전송되지 않는다. MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor: MVP)로 이용하여 현재 블록의 움직임 벡터를 유도할 수 있다.
인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록과 참조 픽처(collocated picture)에 존재하는 시간적 주변 블록을 포함한다. 움직임 정보는 움직임 벡터와 참조 픽처를 포함한다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트 상의 최상위 픽처가 참조 픽처로서 이용될 수도 있다.
종속 뷰(dependent view)에 대한 인코딩의 경우에, 예측부(210)는 인터 뷰 예측을 수행할 수도 있다.
예측부(210)는 다른 뷰의 픽처를 포함하여 참조 픽처 리스트를 구성할 수 있다. 인터 뷰 예측을 위해, 예측부(210)는 디스패리티(disparity) 벡터를 유도할 수 있다. 현재 뷰 내 다른 픽처에서 현재 블록에 대응하는 블록을 특정하는 움직임 벡터와 달리, 디스패리티 벡터는 현재 픽처와 동일한 AU(Access Unit)의 다른 뷰에서 현재 블록에 대응하는 블록을 특정할 수 있다.
예측부(210)는 디스패리티 벡터를 기반으로, 뎁스 뷰(depth view) 내의 뎁스 블록(depth block)을 특정할 수 있고, 머지 리스트의 구성, 인터 뷰 움직임 예측(inter view motion prediction), 레지듀얼 예측, IC(Illumination Compensation), 뷰 합성 등을 수행할 수 있다.
현재 블록에 대한 디스패리티 벡터는 카메라 파라미터를 이용하여 뎁스 값으로부터 유도되거나, 현재 또는 다른 뷰 내 주변 블록의 움직임 벡터 또는 디스패리티 벡터로부터 유도될 수 있다.
예컨대, 예측부(210)는 참조 뷰(reference view)의 시간적 움직임 정보에 대응하는 인터 뷰 머지 후보(inter-view merging candidate: IvMC), 디스패리티 벡터에 대응하는 인터 뷰 디스패리티 벡터 후보(inter-view disparity vector candidate: IvDC), 디스패리티 벡터의 쉬프트(shift)에 의해 유도되는 쉬프티드 인터뷰 머지 후보(shifted IvMC), 현재 블록이 뎁스 맵 상의 블록인 경우에 대응하는 텍스처로부터 유도되는 텍스처 머지 후보(texture merging candidate: T), 텍스처 머지 후보로부터 디스패리티를 이용하여 유도되는 디스패리티 유도 머지 후보(disparity derived merging candidate: D), 뷰 합성에 기반해서 유도되는 뷰 합성 예측 머지 후보(view synthesis prediction merge candidate: VSP) 등을 머지 후보 리스트에 추가할 수 있다.
이때, 종속 뷰에 적용되는 머지 후보 리스트에 포함되는 후보의 개수는 소정의 값으로 제한될 수 있다.
또한, 예측부(210)는 인터-뷰 움직임 벡터 예측을 적용하여, 디스패리터 벡터를 기반으로 현재 블록의 움직임 벡터를 예측할 수도 있다. 이때, 예측부(210)는 대응하는 깊이 블록 내 최대 깊이 값의 전환(conversion)에 기반하여 디스패리티 벡터를 유도할 수 있다. 참조 뷰 내 현재 블록의 샘플 위치에 디스패리티 벡터를 더하여 참조 뷰 내 참조 샘플의 위치가 특정되면, 참조 샘플을 포함하는 블록을 참조 블록으로 이용할 수 있다. 예측부(210)는 참조 블록의 움직임 벡터를 현재 블록의 후보 움직임 파라미터 혹은 움직임 벡터 예측자 후보로 이용할 수 있으며, 상기 디스패리티 벡터를 디스패리티 보상 예측(Disparity-Compensated Prediction: DCP)를 위한 후보 디스패리티 벡터로 이용할 수 있다.
감산부(215)는 원본 샘플과 예측 샘플 간의 차이인 레지듀얼 샘플을 생성한다. 스킵 모드가 적용되는 경우에는, 상술한 바와 같이 레지듀얼 샘플을 생성하지 않을 수 있다.
변환부(220)는 변환 블록 단위로 레지듀얼 샘플을 변환하여 변환 계수(transform coefficient)를 생성한다. 양자화부(225)는 변환 계수들을 양자화하여, 양자화된 변환 계수를 생성할 수 있다.
재정렬부(230)는 양자화된 변환 계수를 재정렬한다. 재정렬부(230)는 계수들을 스캐닝(Scanning) 방법을 통해 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(235)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(235)는 양자화된 변환 계수 외 비디오 복원에 필요한 정보들(예컨대, 신택스 엘리먼트(syntax element)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다.
엔트로피 인코딩된 정보들은 비트스트림 형태로 NAL(Network Abstraction Layer) 유닛 단위로 전송 또는 저장될 수 있다.
역양자화(dequantization)부(240)는 양자화된 변환 계수를 역양자화하여 변환 계수를 생성한다. 역변환(inverse transform)부(245)는 변환 계수를 역변환하여 레지듀얼 샘플을 생성한다.
가산부(250)는 레지듀얼 샘플과 예측 샘플을 합쳐서 픽처를 복원한다. 레지듀얼 샘플과 예측 샘플은 블록 단위로 더해져서 복원 블록을 생성할 수도 있다. 여기서 가산부(250)는 별도의 구성으로 설명하였으나, 가산부(250)는 예측부(210)의 일부일 수도 있다.
복원된 픽처(reconstructed picture)에 대하여 필터부(255)는 디블록킹 필터 및/또는 오프셋을 적용할 수 있다. 디블록킹 필터링 밀/또는 오프셋을 통해, 복원 픽처 내 블록 경계의 아티팩트나 양자화 과정에서의 왜곡이 보정될 수 있다. 오프셋은 샘플 단위로 적용될 수도 있으며, 디블록킹 필터링의 과정이 완료된 후 적용될 수 있다.
메모리(260)는 복원 픽처 또는 인코딩/디코딩에 필요한 정보를 저장할 수 있다. 예컨대, 메모리(260)는 인터 예측/인터-뷰 예측에 사용되는 픽처들을 저장할 수 있다. 이때, 인터 예측/인터-뷰 예측에 사용되는 픽처들은 참조 픽처 세트 혹은 참조 픽처 리스트에 의해 지정될 수도 있다.
여기서는, 하나의 인코딩 장치가 독립 뷰 및 종속 뷰를 인코딩하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 각 뷰별로 별도의 인코딩 장치가 구성되거나 각 뷰별로 별도의 내부 모듈(예컨대, 각 뷰별 예측부)가 구성될 수도 있다.
도 3은 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다. 도 3을 참조하면, 비디오 디코딩 장치(300)는 엔트로피 디코딩부(310), 재정렬부(320), 역양자화부(330), 역변환부(340), 예측부(350), 가산부(360), 필터부(370), 메모리(380)를 포함한다.
비디오 정보를 포함하는 비트스트림이 입력되면, 비디오 디코딩 장치(300)는 비디오 인코딩 장치에서 비디오 정보가 처리된 프로세스에 대응하여 비디오를 복원할 수 있다.
예컨대, 비디오 디코딩 장치(300)는 비디오 인코딩 장치에서 적용된 처리 단위를 이용하여 비디오 디코딩을 수행할 수 있다. 따라서, 비디오 디코딩의 처리 단위 블록은 코딩 단위 블록, 예측 단위 블록 또는 변환 단위 블록일 수 있다. 코딩 단위 블록은 디코딩의 단위 블록으로서 최대 코딩 단위 블록으로부터 쿼드 트리 구조를 따라서 분할될 수 있다. 예측 단위 블록은 코딩 단위 블록으로부터 파티셔닝되는 블록으로서, 샘플 예측의 단위 블록일 수 있다. 이때, 예측 단위 블록은 서브 블록으로 나뉠 수도 있다. 변환 단위 블록은 코딩 단위 블록으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 단위 블록 또는 변환 계수로부터 잔차 신호를 유도하는 단위 블록일 수 있다.
엔트로피 디코딩부(310)는 비트스트림을 파싱하여 비디오 복원 또는 픽처 복원에 필요한 정보를 출력할 수 있다. 예컨대, 엔트로피 디코딩부(310)는 지수 골롬, CAVLC, CABAC 등에 기반해 비트스트림 내 정보를 디코딩하고, 비디오 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 등을 출력할 수 있다.
3D 비디오를 재생하기 위해 복수의 뷰(view)를 처리하는 경우, 비트스트림은 각 뷰별로 입력될 수 있다. 혹은, 비트스트림 내에서 각 뷰에 대한 정보가 멀티플렉싱되어 있을 수도 있다. 이 경우, 엔트로피 디코딩부(310)는 비트스트림을 역다중화(de-multiplexing)하여 뷰 별로 파싱할 수도 있다.
재정렬부(320)는 양자화되어 있는 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 재정렬부(320)는 인코딩 장치에서 수행된 계수 스캐닝에 대응하여 재정렬을 수행할 수 있다.
역양자화부(330)는 양자화되어 있는 변환 계수들을 (역)양자화 파라미터를 기반으로 역양자화하여 변환 계수를 출력할 수 있다. 이때, 양자화 파라미터를 유도하기 위한 정보는 인코딩 장치로부터 시그널링될 수 있다.
역변환부(340)는 변환 계수들을 역변환하여 레지듀얼 샘플들을 유도할 수 있다.
예측부(350)는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록을 생성할 수 있다. 예측부(350)에서 수행되는 예측의 단위는 코딩 블록일 수도 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(350)는 인트라 예측을 적용할 것인지 인터 예측을 적용할 것인지를 결정할 수 있다. 이때, 인트라 예측과 인터 예측 중 어느 것을 적용할 것인지를 결정하는 단위와 예측 샘플 생성하는 단위는 상이할 수 있다. 아울러, 인터 예측과 인트라 예측에 있어서 예측 샘플을 생성하는 단위 역시 상이할 수 있다.
인트라 예측의 경우에, 예측부(350)는 현재 픽처 내의 주변 블록 화소를 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(350)는 현재 블록의 주변 참조 샘플들을 기반으로 방향성 모드 또는 비방향성 모드를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이때, 주변 블록의 인트라 예측 모드를 이용하여 현재 블록에 적용할 예측 모드가 결정될 수도 있다.
인터 예측의 경우에, 예측부(350)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 샘플들을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(350)는 스킵(skip) 모드, 머지(merge) 모드 및 MVP 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다.
스킵 모드와 머지 모드의 경우에, 주변 블록의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다. 이때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
예측부(350)는 가용한(available) 주변 블록의 움직임 정보로 머지 후보 리스트를 구성하고, 머지 인덱스가 머지 후보 리스트 상에서 지시하는 정보를 현재 블록의 움직임 벡터로 사용할 수 있다. 머지 인덱스는 인코딩 장치로부터 시그널링될 수 있다. 움직임 정보는 움직임 벡터와 참조 픽처를 포함한다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트 상의 최상위 픽처가 참조 픽처로서 이용될 수도 있다.
스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차이(레지듀얼)가 전송되지 않는다.
MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(MVP)로 이용하여 현재 블록의 움직임 벡터가 유도될 수 있다. 이때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
종속 뷰(dependent view)에 대한 인코딩의 경우에, 예측부(350)는 인터 뷰 예측을 수행할 수도 있다. 이때, 예측부(350)는 다른 뷰의 픽처를 포함하여 참조 픽처 리스트를 구성할 수 있다.
인터 뷰 예측을 위해, 예측부(210)는 디스패리티(disparity) 벡터를 유도할 수 있다. 예측부(350)는 디스패리티 벡터를 기반으로, 뎁스 뷰(depth view) 내의 뎁스 블록(depth block)을 특정할 수 있고, 머지 리스트의 구성, 인터 뷰 움직임 예측(inter view motion prediction), 레지듀얼 예측, IC(Illumination Compensation), 뷰 합성 등을 수행할 수 있다.
현재 블록에 대한 디스패리티 벡터는 카메라 파라미터를 이용하여 뎁스 값으로부터 유도되거나, 현재 또는 다른 뷰 내 주변 블록의 움직임 벡터 또는 디스패리티 벡터로부터 유도될 수 있다. 카메라 파라미터는 인코딩 장치로부터 시그널링될 수 있다.
종속 뷰의 현재 블록에 머지 모드를 적용하는 경우에, 예측부(350)는 참조 뷰(reference view)의 시간적 움직임 정보에 대응하는 IvMC, 디스패리티 벡터에 대응하는 IvDC, 디스패리티 벡터의 쉬프트(shift)에 의해 유도되는 쉬프티드 IvMC, 현재 블록이 뎁스 맵 상의 블록인 경우에 대응하는 텍스처로부터 유도되는 텍스처 머지 후보(T), 텍스처 머지 후보로부터 디스패리티를 이용하여 유도되는 디스패리티 유도 머지 후보(D), 뷰 합성에 기반해서 유도되는 뷰 합성 예측 머지 후보(VSP) 등을 머지 후보 리스트에 추가할 수 있다.
이때, 종속 뷰에 적용되는 머지 후보 리스트에 포함되는 후보의 개수는 소정의 값으로 제한될 수 있다.
또한, 예측부(350)는 인터-뷰 움직임 벡터 예측을 적용하여, 디스패리터 벡터를 기반으로 현재 블록의 움직임 벡터를 예측할 수도 있다. 이때, 예측부(350)는 디스패리티 벡터에 의해서 특정되는 참조 뷰 내 블록을 참조 블록으로 이용할 수 있다. 예측부(350)는 참조 블록의 움직임 벡터를 현재 블록의 후보 움직임 파라미터 혹은 움직임 벡터 예측자 후보로 이용할 수 있으며, 상기 디스패리티 벡터를 DCP를 위한 후보 디스패러티 벡터로 이용할 수 있다.
가산부(360)는 레지듀얼 샘플과 예측 샘플을 더하여 현재 블록 혹은 현재 픽처를 복원할 수 있다. 가산부(360)는 레지듀얼 샘플과 예측 샘플을 블록 단위로 더하여 현재 픽처를 복원할 수도 있다. 스킵 모드가 적용된 경우에는 레지듀얼이 전송되지 않으므로, 예측 샘플이 복원 샘플이 될 수 있다. 여기서는 가산부(360)를 별도의 구성으로 설명하였으나, 가산부(360)는 예측부(350)의 일부일 수도 있다.
필터부(370)는 복원된 픽처에 디블록킹 필터링 및/또는 오프셋을 적용할 수 있다. 이때, 오프셋은 샘플 단위의 오프셋으로서 적응적으로 적용될 수도 있다.
메모리(380)는 복원 픽처 또는 디코딩에 필요한 정보를 저장할 수 있다. 예컨대, 메모리(380)는 인터 예측/인터-뷰 예측에 사용되는 픽처들을 저장할 수 있다. 이때, 인터 예측/인터-뷰 예측에 사용되는 픽처들은 참조 픽처 세트 혹은 참조 픽처 리스트에 의해 지정될 수도 있다. 복원된 픽처는 참조 픽처로서 이용될 수 있다.
또한, 메모리(380)는 복원된 픽처를 출력 순서에 따라서 출력할 수도 있다. 3D 영상을 재생하기 위해, 도시되지는 않았으나, 출력부는 복수의 서로 다른 뷰를 디스플레이할 수 있다.
도 3의 예에서는, 하나의 디코딩 장치에서 독립 뷰(independent view)와 종속 뷰(dependent view)가 디코딩되는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서 본 발명은 이에 한정되지 않는다. 예컨대, 뷰 별로 각각의 디코딩 장치가 동작할 수도 있고, 하나의 디코딩 장치 내에 각 뷰에 대응하는 동작부(예컨대, 예측부)가 구비될 수도 있다.
멀티 뷰의 비디오를 코딩하는 경우에, 인코딩 장치 및 디코딩 장치는 현재 픽처와 동일한 AU(Access Unit)에 속하는 다른 뷰의 코딩된 데이터를 이용하여 현재 뷰에 대한 비디오 코딩의 효율을 높일 수 있다. 이때, POC(Picture Order Count)가 같은 픽처들을 하나의 AU이라고 할 수 있다. POC는 픽처의 디스플레이 순서에 대응한다.
인코딩 장치 및 디코딩 장치는 AU 단위로 뷰들을 코딩할 수도 있고, 뷰 단위로 픽처들을 코딩할 수도 있다. 뷰들 간에는 정해진 순서에 따라서 코딩이 진행된다. 가장 먼저 코딩되는 뷰를 베이스 뷰(base view) 또는 독립 뷰라고 할 수 있다. 독립 뷰가 코딩된 뒤에 다른 뷰를 참조해서 코딩될 수 있는 뷰를 종속 뷰라고 할 수 있다. 또한, 현재 뷰가 종속 뷰인 경우에, 현재 뷰의 코딩(인코딩/디코딩)에 참조되는 다른 뷰를 참조 뷰라고 할 수도 있다.
도 4는 인터 뷰 코딩을 개략적으로 설명하는 도면이다. 도 4의 예에서, 코딩은 AU 단위로 진행되며, V0가 독립 뷰고 V1이 종속 뷰라고 한다. 현재 픽처(410) 내의 블록 A와 같이, 움직임 벡터를 이용하여 동일한 뷰의 다른 픽처(430)를 참조하는 인터 픽처 예측을 움직임 보상 예측(Motion-Compensated Prediction: MCP)이라 할 수 있다. 또한, 현재 픽처 내의 블록 B와 같이, 디스패리티 벡터를 이용하여 동일한 액세스 유닛 내, 즉 동일한 POC를 갖는 다른 뷰의 픽처(420)를 참조하는 인터 픽처 예측을 디스패리티 보상 예측(Disparity-Compensated Prediction: DCP)라고 할 수 있다.
멀티 뷰의 비디오를 코딩할 때, 다른 뷰의 픽처를 이용하는 방법 외에 뎁스 맵(depth map)을 이용할 수도 있다.
도 5는 뎁스 맵을 이용하는 멀티 뷰 코딩 방법을 개략적으로 설명한다.
도 5를 참조하면, 현재 뷰 내 현재 픽처(500)의 블록(현재 블록, 505)은 뎁스 맵(510)을 이용하여 코딩(인코딩/디코딩)될 수 있다. 이때, 현재 블록(505) 내 샘플(515)의 위치 (x,y)에 대응하는 뎁스 맵(510) 내 샘플(520)의 위치 (x, y)의 깊이(depth) 값 d가 디스패리티 벡터(525)로 변환될 수 있다. 깊이 값 d는 샘플(픽셀)과 카메라 사이의 거리에 기반해서 유도될 수 있다.
인코딩 장치 및 디코딩 장치는 디스패리티 벡터(525)를 샘플(530) 위치 (x, y)에 더하여, 참조 뷰 내 현재 픽처(540) 내 참조 샘플(535)의 위치를 결정할 수 있다. 디스패리티 벡터는 x 축 성분만을 가지고 있을 수 있다. 따라서, 디스패리티 벡터의 값은 (disp, 0)일 수 있으며, 참조 샘플(540)의 위치 (xr, y)는 (x+disp, y)로 결정될 수 있다.
인코딩 장치 및 디코딩 장치는 참조 픽셀(535)를 포함하는 참조 블록(545)의 움직임 파라미터(motion parameter) 현재 블록의 움직임 파라미터의 후보로 사용할 수 있다. 예를 들어, 참조 뷰 내 참조 픽처(550)가 참조 블록(545)에 대한 참조 픽처라면, 참조 블록(545)의 움직임 벡터(555)는 현재 블록(505)의 움직임 벡터(560)로 유도될 수도 있다. 이때, 픽처(565)는 현재 뷰 내 참조 픽처이다.
한편, 상술한 바와 같이, 멀티-뷰의 비디오 디코딩에 있어서는 디스패러티 벡터를 이용하여 다른 뷰의 정보를 참조할 수 있다.
종속 뷰의 픽처를 코딩(인코딩/디코딩)하는 경우에, 이미 코딩된 주변 블록 중에서 DCP 코딩 된 블록이 있을 경우 DCP 코딩 블록의 디스패러티 벡터를 현재 블록에 적용할 디스패러티 벡터로 이용할 수 있다. 이때, 주변 블록으로부터 유도한 디스패러티 벡터, 즉 DCP 코딩된 블록의 디스패러티 벡터는 현재 블록에 인터-뷰 움직임 예측(IVMP)와 인터-뷰 레지듀얼 예측(IVRP)을 적용하기 위한 디스패러티 벡터로 이용될 수 있다.
현재 블록의 움직임 벡터가 IVMP에 의해 결정된 경우를 우선 설명한다. 움직임 벡터 예측 모드(motion vector prediction: MVP 혹은 advanced motion vector prediction: AMVP) 모드, 머지(merge) 모드 혹은 스킵(SKIP) 모드에서, 인터-뷰 참조 픽처 내 대응 블록의 움직임 벡터로부터 유도되는 후보가 현재 블록에 적용된 움직임 벡터로 선택된 경우, 현재 블록은 MCP로 코딩 된다.
이렇게 MCP로 코딩된 블록 중에서 IVMP 방법으로 모션 벡터가 예측된 블록을 DV-MCP 블록이라 한다.
도 6은 DV-MCP 블록을 개략적으로 설명하는 도면이다. 도 6에서는 현재 뷰의 현재 픽처(610) 내 현재 블록(620)을 인터 예측하는 경우를 예시하고 있다.
도 6을 참조하면, 현재 블록(620)의 인터 예측에 사용되는 주변 블록(630)의 움직임 벡터(MV1)가 베이스 뷰 내 참조 픽처(640)의 대응 블록(650)으로부터 유도된다. 이때, 대응 블록은 디스패러티 벡터 DV(660)에 의해 특정된다. 현재 블록(630)의 인터 예측에 사용되는 후보 블록으로서, 주변 블록(630)의 움직임 벡터 MV1은 대응 블록(650)의 움직임 벡터 MV2로 설정되거나 MV2로부터 유도될 수 있다.
이때, 베이스 뷰 내 참조 픽처(640)과 현재 픽처(610)의 POC는 동일할 수 있다. 다른 뷰 내 대응 블록(650)의 움직임 벡터(MV2)로부터 예측된 움직임 벡터(MV1)이 적용된 주변 블록(630)을 DV-MCP 블록이라고 할 수 있다.
인코딩 장치와 디코딩 장치는 DV-MCP 블록의 움직임 벡터 예측에 이용된 디스패러티 벡터의 정보를 저장하여 주변 블록의 디스패러티 벡터 유도 과정에 활용할 수 있다.
도 7은 현재 블록의 주변 블록들의 일 예를 개략적으로 설명하는 도면이다. 도 7의 주변 블록들은 현재 블록을 디코딩하는 시점에서 이미 디코딩이 끝나고, 접근(access)이 가능한 블록들이다.
현재 블록(710)의 주변 블록들은 공간적 (spatial) 주변 블록 A0, A1, B0, B1, B2와 시간적 (temporal) 주변 블록 col-CTR (col-center), col-RB (col-right bottom)를 포함한다. 공간적 주변 블록들은 현재 블록(710)의 위치를 기준으로 각각의 위치가 특정된다.
또한, 시간적 주변 블록들은 참조 픽처 중 하나인 콜-픽처(collocated picture)에서 현재 블록에 대응하는 위치(720)를 기준으로 각각의 위치가 특정된다. 시간적 주변 블록의 경우 현재 픽쳐 혹은 현재 슬라이스를 디코딩 하는 시점에 지정된 콜-픽처(collocated picture)에서의 현재 블록(720)의 중심에 위치한 픽셀을 포함하는 코딩 블록이 col-CTR이 된다. 또한, 콜-픽처에서의 현재 블록(720)의 우하단 픽셀 위치가 (x,y)인 경우 (x+1, y+1) 위치의 픽셀을 포함하는 코딩 블록이 col-RB가 된다. 이하, 본 명세서에서는 설명의 편의를 위해, col-CTR은 CTR, col-BR은 BR로 표현하기도 한다.
콜-픽처(col-located picture)는 현재 픽쳐 혹은 현재 슬라이스의 참조 픽처 리스트에 포함된 시간적 참조 픽처(temporal reference picture) 중 하나가 시간적 디스패리티 벡터 유도(temporal disparity vector derivation)를 위해 선택된 것일 수 있다.
콜-픽처는 슬라이스 헤더(slice header)를 통해서 디코더에 알려질 수 있다. 예컨대, 어떤 픽처를 콜-픽처로 사용할 것인지를 지시하는 정보는 슬라이스 헤더에서 시그널링될 수 있다.
한편, 인터-뷰 예측을 이용하여 현재 블록을 복원하는 경우에, 현재 블록에 대하여 머지 모드가 적용되는 때에는 예측 블록(예컨대, PU) 또는 서브-예측 블록(예컨대, 서브-PU) 단위로 예측 샘플을 유도할 수도 있다.
예컨대, 인코딩 장치 및 디코딩 장치의 예측부는 현재 예측 블록이 텍스처 내에 있고, 현재 슬라이스 내에 적어도 하나의 인터-뷰 참조 블록이 있으면, 현재 블록에 대응하는 블록이 디스패리티 벡터를 기반으로 특정될 수 있으며, 상기 대응 블록을 이용하여 PU 레벨 혹은 서브 PU 레벨에서 예측 샘플을 유도할 수 있다.
멀티-뷰 비디오의 디코딩에서 머지 모드를 이용한 예측이 현재 블록에 적용되는 경우, 인코딩 장치 및 디코딩 장치의 예측부는 베이스 뷰에서와 동일한 방법으로 머지 후보 리스트를 구성한 후, 참조 뷰 내 대응 블록의 움직임 벡터를 이용하는 인터-뷰 머지 후보(inter-view merge candidate, IvMC), 참조 뷰 내 대응 블록의 디스패리티 벡터를 이용하는 인터-뷰 디스패리티 벡터 후보(inter-view disparity vector candidate, IvDC), IvMC와 IvDC를 쉬프트(shift)한 쉬프트된 IvMC(shifted IvMC)와 쉬프트된 IvDC(shifed IvDC), 뎁스를 기반으로 유도되는 뷰 합성 예측 (view synthesis prediction, VSP) 머지 후보를 머지 후보 리스트에 추가할 수 있다.
이하, 머지 후보 리스트를 구성하는 머지 후보들을 개략적으로 설명한다.
우선, 베이스 뷰에서 사용되는 머지 후보 리스트와 동일하게 공간적 주변 블록들로부터 이용 가능한 움직임 벡터가 유도된다. 이때, 현재 블록의 공간적 주변 블록들은 도 7에 도시된 현재 블록(710) 주변의 블록 A0, A1, B0, B1, B2 가 된다.
또한, 현재 뷰와는 다른 참조 뷰 내 대응 블록의 정보를 현재 블록의 머지 후보로 이용할 수 있다. 대응 블록은 디스패리티 벡터에 의해 특정될 수 있다. 디스패리티 벡터는 DCP 또는 MCP가 적용된 주변 블록의 디스패리티 벡터 또는 움직임 벡터로부터 유도될 수도 있고, 상기 유도된 움직임 벡터를 뎁스 맵을 이용해서 수정한 값을 디스패리티 벡터로 사용할 수도 있다. 편의상, 주변 블록으로부터 유도한 디스패리티 벡터를 NBDV(Disparity vector from neighbouring blocks)이라고 하고, 깊이 값을 이용하여 NBDV로부터 유도하는 디스패리티 벡터를 DoNBDV(depth oriented NBDV)라고 한다.
인코딩 장치 및 디코딩 장치의 예측부는 인터-뷰 머지 후보(IvMC)로서 참조 뷰에서 디스패리티 벡터에 의해 특정되는 참조 블록이 시간적 움직임 보상을 하는 경우에 사용한 움직임 벡터를 이용할 수 있다. 즉, 참조 뷰에서 MCP가 적용된 블록의 움직임 벡터를 현재 블록의 움직임 벡터 후보로 사용할 수 있다. 이때, 참조 블록을 특정하는데 이용되는 디스패리티 벡터는 현재 블록의 주변 블록을 기반으로 유도되는 NBDV 또는 DoNBDV가 사용될 수도 있고, 뎁스 맵을 기반으로 유도되는 값이 사용될 수도 있다. 한편, IvMC의 유도를 위해, PU 레벨 또는 서브 PU 레벨의 유도 방법이 사용될 수 있다.
또한, 인코딩 장치 및 디코딩 장치의 예측부는 인터-뷰 디스패리티 벡터 후보(IvDC)로서 참조 뷰 내 대응 블록의 디스패리티 벡터를 이용할 수 있다.
인코딩 장치와 디코딩 장치의 예측부는 디스패리티 벡터를 특정 값만큼 쉬프트(shish)한 후, 쉬프트된 디스패리티 벡터에 의해 특정되는 대응 블록의 움직임 벡터를 쉬프트된 IvMC(shifted IvMC, IvMCShift)로 유도할 수 있다. 예측부는 디스패리티 벡터를 현재 예측 블록의 높이와 너비를 이용하여 쉬프트할 수 있다. 예컨대, 예측부는 현재 블록의 높이가 nPbH, 너비가 nPbW인 경우에, 디스패리티 벡터를 x 축 방향으로 nPbW*2+2 만큼 쉬프트하고, y 축 방향으로 nPbH*2+2만큼 쉬프트하여 IvMCShift를 유도할 수 있다. 예측부는 IvMC와 IvMCShift가 동일하지 않은 경우에, IvMCShift를 현재 블록의 머지 후보로 추가할 수 있다.
인코딩 장치와 디코딩 장치의 예측부는 디스패리티 벡터를 특정 값만큼 쉬프트한 후, 쉬프트된 디프패리티 벡터(shifted IvDC, IvDCShift)를 현재 블록의 머지 후보에 추가할 수 있다. 예컨대, 예측부는 IvDC를 x축으로만 소정 거리(예컨대, 4) 이동한 디스패리티 벡터를 IvDCShift로 이용할 수 있다. 또한, 예측부는 뷰 합성 예측이 적용되는 경우를 고려하여 IvDCShift를 유도할 수도 있다. 예컨대, 예측부는 뷰 합성 예측이 수행될 수 있는 경우에는, IvDCShift의 y 성분을 0으로 둘 수도 있다.
한편, 인코딩 장치 및 디코딩 장치의 예측부는 인터-뷰 예측을 기반으로 움직임 벡터를 머지 후보 리스트에 추가하는 경우에, 뎁스 맵의 정보를 기반으로 하는 후보를 유도할 수 있다.
예컨대, 예측부는 비디오 신호와 뎁스 신호 간의 유사성을 기반으로, 비디오 신호로부터 움직임 정보를 가져다 사용하는 움직임 파라미터 승계 방법(motion parameter inheritance, MPI)을 적용할 수도 있다. 이 경우, 한 뎁스 PU로부터 분할된 서브 PU 별로 서로 다른 움직임 벡터가 텍스처로부터 승계될 수 있다. 현재 블록이 뎁스 맵의 블록이고 MPI가 적용되는 경우에, 예측부는 텍스처로부터 승계한 움직임 벡터를 이용하는 머지 후보 T와 T를 기반으로 유도된 뎁스 후보 D를 머지 후보로 추가할 수 있다. D가 이용되는 경우에, 예측 샘플들은 대응하는 디스패리티 벡터로부터 유도되는 뎁스 값으로 설정될 있다.
마지막으로, 인코딩 장치 및 디코딩 장치의 예측부는 뷰 합성 예측(View Synthesis Prediction, VSP)에 의한 디스패리티 벡터를 머지 후보(VSP)로 추가할 수 있다. 예측부는 주변 블록의 디스패리티 벡터를 현재 블록에 대한 머지 후보로 추가할 수 있으며, 이 디스패리티 벡터를 이용하여 뎁스 맵 상에서 특정되는 대응 블록의 뎁스 값을 기반으로 현재 블록의 뎁스 정보를 유도할 수 있다
상술한 머지 후보들을 이용하여 인코딩 장치 및 디코딩 장치의 예측부는 다음과 같이 머지 후보 리스트를 구성할 수 있다. 머지 후보들은 머지 후보 리스트 상에서 아래의 순서대로 위치하게 된다.
(1) 예측부는 MPI 후보로서 T와 D를 머지 후보 리스트에 추가한다. 구체적으로 예측부는 T가 이용 가능한지를 판단하여, 이용 가능한 경우(available)에 T를 추가한다. 예측부는 D가 이용 가능한지를 판단하여 이용 가능한 경우에 D를 T 다음에 추가한다.
(2) 예측부는 IvMC가 이용 가능한 경우로서, T가 이용 가능하지 않거나 T와 IvMC가 상이한 경우에, IvMC를 머지 후보 리스트의 D 다음 위치에 삽입한다.
(3) 예측부는 A1이 이용 가능한 경우에 A1을 머지 후보 리스트에 추가한다. 머지 후보의 중복을 방지하기 위해, 예측부는 이미 추가된 머지 후보와 A1의 동일성을 비교할 수 있다. 이미 추가된 머지 후보 N은 뎁스를 사용할 수 있는 경우에 T일 수 있으며, 뎁스를 사용하지 않는 경우에는 IvMC일 수 있다. 예측부는 A1과 N이 동일한 경우에는 A1을 머지 후보에서 제외할 수 있다.
(4) 예측부는 B1이 이용 가능한 경우에 B1을 머지 후보 리스트에 추가한다. 머지 후보의 중복을 방지하기 위해, 예측부는 B1과 앞서 추가된 후보와 동일한 경우에는 B1을 머지 후보에서 제외할 수 있다.
(5) 예측부는 B0가 이용 가능한 경우에 B0를 머지 후보 리스트에 추가할 수 있다.
(6) 예측부는 IvDC가 이용 가능한 경우에 IvDC를 머지 후보 리스트에 추가할 수 있다. 다만, 예측부는 부호화 효율을 높이고 중복을 방지하기 위해, (i) A1이 이용가능하지 않거나 A1과 IvDC가 상이하며, (ii) B1이 이용 가능하지 않거나 B1과 IvDC가 상이하고, (iii) 현재까지 추가된 머지 후보 개수가 머지 후보 리스트의 최대 후보 개수를 넘지 않으면, IvMC를 머지 후보 리스트에 추가할 수도 있다.
(7) 예측부는 VSP로 유도된 디스패리티 벡터(이하, VSP라 함)가 이용 가능하고 현재까지 추가된 머지 후보 개수가 머지 후호 리스트의 최대 후보 개수를 넘지 않으면, VSP를 머지 후보 리스트에 추가할 수 있다. 이 경우, 예측부는 부호화 효율을 높이기 위해, 부가적인 코딩 방법들 예컨대 IC(illumination compensation), ARP(advanced residual prediction) 등이 사용되지 않을 것을 조건으로 VSP를 머지 후보 리스트에 추가할 수도 있다.
(8) 예측부는 A0가 이용 가능하고, 현재까지 추가된 머지 후보 개수가 머지 후보 리스트의 최대 후보 개수를 넘지 않으면 A0를 머지 후보 리스트에 추가할 수 있다.
(9) 예측부는 B2가 이용 가능하고, 현재까지 추가된 머지 후보 개수가 머지 후보 리스트의 최대 후보 개수를 넘지 않으면 B2를 머지 후보 리스트에 추가할 수 있다.
(10) 예측부는 (i) IvMCShift가 이용 가능하며 현재까지 추가된 머지 후보 개수가 머지 후보 리스트의 최대 후보 개수를 넘지 않으며, (ii) IvMC가 이용 가능하지 ㅇ않거나 IvMC와 IvMCShift가 동일하지 않은 경우에 IvMCShift를 머지 후보 리스트에 추가할 수 있다.
(11) 예측부는 IvDCShift가 이용 가능하고 현재까지 추가된 머지 후보 개수가 머지 후보 리스트의 최대 후보 개수를 넘지 않으면 IvDCShift를 머지 후보 리스트에 추가할 수 있다.
상술한 바와 같이, 머지 모드를 통해 예측할 샘플이 뎁스에 관한 것이면, MPI에 의한 후보 T 와 D가 이용되며, 그렇지 않은 경우에는 T와 D가 이용되지 않을 수 있다.
한편, 인코딩 장치 및 디코딩 장치의 예측부는 IvMC가 사용되거나 VSP가 적용될 수 있는 경우로서 뎁스를 기반으로 블록이 파티션되지 않는 경우에 예측 블록의 서브 블록(서브 예측 블록) 단위로 움직임 벡터를 특정할 수 있다.
예컨대, MPI가 적용될 수 있는 경우에, 서브 예측 블록 단위로 인터 레이어(인터-뷰) 예측이 수행될 수 있다. 또한, 뷰 합성 예측을 수행하는 경우에도, 예측부는 서브 예측 블록 단위로 디스패리티 벡터를 유도할 수도 있다.
인터-뷰 예측의 머지 후보로서, 서브 예측 블록 단위로 움직임 벡터를 유도하는 경우에, 움직임 벡터는 현재 예측 블록 내 서브 블록 단위로 유도될 수 있다.
서브 예측 블록 단위로 움직임 벡터가 특정될 수 있는 경우에, 비티오 파라티미터 셋의 확장 레벨에서 서브 예측 블록의 사이즈를 특정하는 정보가 전송될 수 있다. 또한, MPI가 적용되는 경우의 서브 예측 블록 크기는 별도로 시그널링될 수도 있다.
구체적으로, 뎁스 픽처를 포함하는 3D 비디오의 코딩에 있어서, 뎁스 맵은 같은 시간 예컨대, 동일 POC(Picture Order Count)의 텍스처 픽처에 관한 코딩 정보를 참조하여 코딩될 수 있다.
뎁스 픽처는 동일 시간의 텍스처 픽처와 동시에 촬영되거나 동일 시간의 텍스처 픽처에 대한 깊이 정보로부터 생성되기 때문에, 동일 시간의 뎁스 픽처와 텍스처 픽처는 상관도가 매우 높다.
따라서, 뎁스 픽처의 코딩 시 이미 코딩된 텍스처 픽처의 블록 분할(block partition) 정보 또는 움직임 정보 등이 이용될 수 있다. 이를 앞서 설명한 바와 같이 움직임 파라미터 승계(MPI)라고 한다.
도 8은 텍스처 픽처로부터 정보를 유도하는 방법에 관해서 개략적으로 설명하는 도면이다.
도 8을 참조하면, 현재 픽처(810) 내 예측 블록(820)의 서브 블록(830)에 대응하는 텍스처 픽처(840) 내 블록(850)이 특정된다. 이때, 현재 픽처(810)는 뎁스 픽처일 수 있다.
대응하는 텍스처 블록(850)의 센터(860)를 포함하는 예측 블록의 움직임 정보가 서브 블록(830)의 움직임 정보로 이용될 수 있다. 예컨대, 대응 블록(850)을 커버하는 예측 블록이 둘 있는 경우, 센터(860)를 포함하는 예측 블록(850’)의 움직임 정보가 서브 블록(830)의 움직임 정보로 사용될 수 있다.
움직임 파라미터를 텍스처 픽처로부터 승계하는 방법의 하나로, 움직임 벡터 승계(motion vector inheritance, MVI)가 이용될 수도 있다.
도 9는 MVI 통하여 텍스처 픽처의 움직임 벡터를 유도하는 과정을 개략적으로 설명하는 도면이다.
도 9를 참조하면, 뎁스 픽처(910) 내 현재 블록 C(920)과 동일한 위치에 있는 텍스트 픽처(930) 내 대응 블록 C’(940)으로부터 움직임 벡터가 승계될 수 있다. 예컨대, 인코딩 장치 및 디코딩 장치의 예측부는 대응 블록 C’(940)의 중심(center)에서 움직임 벡터 Mv(950)를 유도하여, 현재 블록(920)에 대한 움직임 벡터 Mv(960)로 사용할 수 있다. 이때, 예측부는 현재 블록 C(920)와 동일한 위치의 텍스처 블록(940)이 인트라 예측이 적용된 블록인 경우에는 텍스처 블록으로부터 움직임 벡터를 가져오지 않는다.
도 9는 텍스처 블록의 중심에서 움직임 정보를 유도하여 텝스 픽처의 현재 블록에 적용하는 방법을 설명하고 있다. 이와 관련해서, 현재 블록에 대응하는 텍스처 픽처로부터 서브 블록 단위로 움직임 벡터를 가져와서 현재 블록에 대한 예측의 정확성을 높일 수 있다.
예컨대, 인코딩 장치 및 디코딩 장치의 예측부는 텍스처 픽처 내 대응 블록을 일정한 크기의 서브 블록으로 분할하고, 분할된 서브 블록 단위로 움직임 정보를 가져와 뎁스 픽처 내 현재 블록에 적용할 수 있다. 이때, 대응 블록은 예측 블록일 수 있으며, 서브 블록은 서브 예측 블록 또는 서브 PU일 수 있다.
도 10은 서브 블록 단위로 MVI를 적용하여 움직임 벡터를 유도하는 방법을 개략적으로 설명하는 도면이다.
도 10의 예에서는 서브 예측 블록(서브 PU) 단위로 뎁스 픽처의 움직임 벡터를 텍스처 픽처로부터 유도하는 방법을 설명하고 있다.
도 10을 참조하면, 뎁스 픽처(1010) 내 현재 블록 C(1020)의 움직임 벡터가 텍스처 픽처(1030) 내 대응 블록 C’(1040)으로부터 승계될 수 있다. 이때, 움직임 벡터의 승계는 현재 블록 C(1020)와 대응 블록 C’(1040)에서 서브 블록 단위로 이루어질 수 있다.
현재 블록 C(1020)이 예측 블록인 경우, 서브 블록들 C1 ~ C4와 C’1 ~ C’4은 서브 예측 블록이 된다. 서브 예측 블록(서브 PU)의 크기는 NxM(N, M은 0보다 큰 정수)으로 설정될 수 있다.
인코딩 장치와 디코딩 장치의 예측부는 원래 텍스처 픽처 내 블록 분할 정보와 상관없이, 뎁스 블록인 현재 블록 C(1020)와의 대응 관계에 의해 특정된 서브 블록을 기반으로 움직임 벡터를 가져올 수 있다. 예컨대, 예측부는 대응 블록 C’(1040)의 서브 블록들 C1’~C4’의 크기에 따라서 움직임 벡터를 가져올 수 있다.
서브 PU에서 움직임 정보를 가져오는 위치는 서브 PU의 중심이 될 수 있다. 혹은 서브 PU에서 움직임 정보를 가져오는 위치는 서브 예측 블록의 좌상측(left-top) 위치일 수도 있다. 각 서브 예측 블록은 좌상측 위치에 의해 특정될 수도 있다.
특정 서브 PU에 움직임 벡터가 존재하지 않는 경우에는, 예측부는 주변의 움직임 벡터 값으로 해당 서브 PU의 움직임 벡터를 대체할 수도 있다. 이때, 주변의 움직임 벡터는 해당 서브 PU의 왼쪽 또는 위쪽 서브 PU의 움직임 벡터가 될 수 있다.
또는, 인코딩 장치 및 디코딩 장치의 예측부는 특정 서브 PU에 움직임 벡터가 없는 경우, 미리 정의한 대체 움직임 벡터를 해당 서브 PU의 움직임 벡터로 설정할 수도 있다. 이때, 대체 움직임 벡터는 NBDV 또는 DoNBDV에 의해서 지시되는 블록의 움직임 벡터일 수 있다. 또는 예측부는 직전에 유도한 움직임 벡터를 대체 움직임 벡터로 설정하고, 대체 움직임 벡터를 계속해서 업데이트할 수도 있다.
예측부는 코딩(인코딩/디코딩)하고자 하는 뎁스(depth) 블록에 대응하는 텍스처 블록으로부터 움직임 벡터를 승계할 때, 예측 블록 단위(즉, PU 단위)로 할 것인지 서브 예측 블록(즉, 서브 PU 단위)로 할 것인지를 결정할 수 있다.
예컨대, PU 단위로 움직임 벡터를 승계할 것인지 서브 PU 단위로 움직임 벡터를 승계할 것인지를 지시하는 정보가 인코딩 장치로부터 디코딩 장치로 전송될 수 있다. 일 예로, PU 단위로 움직임 벡터를 승계할 것인지 서브 PU 단위로 움직임 벡터를 승계할 것인지의 지시는 플래그(flag)를 이용하여 시그널링 될 수 있다.
디코딩 장치는 수신한 정보를 기반으로 PU 단위로 움직임 벡터를 승계할 것인지 서브 PU 단위로 움직임 벡터를 승계할 것인지를 결정할 수 있다.
도 10을 다시 참조하면, 서브 PU 단위로 움직임 벡터를 승계하는 것으로 결정된 경우에, 예측부는 서브 블록 C1에 대해서 C’1의 움직임 벡터 Mv1, 서브 블록 C2에 대해서는 C2에 대응하는 C’2의 움직임 벡터 Mv2를, 서브 블록 C3에 대해서는 C3에 대응하는 C’3의 움직임 벡터 Mv3을, 서브 블록 C4에 대해서는 C4에 대응하는 C’4의 움직임 벡터를 가져다 사용할 수 있다.
도 11은 본 발명에 따른 디코딩 장치의 동작을 개략적으로 설명하는 순서도이다.
도 11을 참조하면, 디코딩 장치는 비트스트림을 엔트로피 디코딩하여 현재 블록의 디코딩에 필요한 비디오 정보를 출력한다(S1110). 비디오 정보는 현재 블록의 디코딩을 위해, 레지듀얼 및 레디듀얼을 역변환/역양자화 하는데 필요한 정보, 예측 샘플을 생성하는데 필요한 정보, 복원된 픽처에 필터링을 적용하는데 필요한 정보 등을 포함한다. 예컨대, 현재 블록이 뎁스 뷰 내의 블록인 경우, 비디오 정보는 움직임 정보를 텍스처 픽처로부터 승계할 것인지를 지시하는 정보를 포함할 수 있다. 또한, 현재 블록이 뎁스 뷰 내의 예측 블록 즉, 뎁스 뷰 내의 PU인 경우, 현재 블록의 움직임 정보를 서브 예측 블록(서브 PU)단위로 유도할 것인지를 지시하는 정보를 포함할 수도 있다. 서브 예측 블록 단위로 움직임 벡터를 유도할 것인지를 지시하는 정보는, 움직임 정보가 유도되는 블록의 크기를 지시함으로써 움직임 벡터가 예측 블록 단위로 유도되는지 서브 예륵 블록 단위로 유도되는지를 지시할 수도 있다.
비디오 정보는 필요에 따라서 비디오 파라미터 세트의 레벨 또는 비디오 파라미터 세트의 확장 레벨에서 전송될 수 있다.
디코딩 장치는 현재 블록에 대한 움직임 벡터를 유도하는 단위를 비디오 정보를 기반으로 결정할 수 있다(S1120). 상술한 바와 같이, 비디오 정보는 서브 예측 블록 단위로 움직임 벡터를 유도할 것인지를 지시하는 움직임 정보 유도 단위 정보를 포함할 수 있다. 디코딩 장치는 상기 움직임 정보 유도 단위 정보를 기반으로 움직임 정보를 예측 블록 단위로 유도할 것인지 서브 블록(서브 예측 블록) 단위로 유도할 것인지를 결정할 수 있다.
디코딩 장치는 상기 결정에 기반해서 현재 블록에 대한 움직임 벡터를 유도할 수 있다(S1130). 움직임 정보를 예측 블록 단위로 유도하는 것으로 결정된 경우에는, 대응하는 텍스처 픽처의 블록으로부터 뎁스 픽처 내 현재 블록의 움직임 정보(예컨대, 움직임 벡터)를 유도할 수 있다. 예를 들어, 디코딩 장치는 텍스처 픽처 내 대응 블록의 움직임 벡터를 뎁스 픽처 내 현재 블록의 움직임 벡터로 설정할 수 있다.
움직임 정보를 서브 예측 블록 단위로 유도하는 것으로 결정된 경우에는, 대응하는 텍스처 픽처 내 블록의 서브 블록으로부터 뎁스 픽처 내 현재 블록의 움직임 정보(예컨대, 움직임 벡터)를 유도할 수 있다. 예를 들어, 디코딩 장치는 텍스처 픽처 내 대응 블록의 서브 블록에 대한 움직임 벡터를 뎁스 픽처 내 현재 블록의 서브 블록에 대한 움직임 벡터로 설정할 수 있다.
디코딩 장치는 상기 움직임 벡터를 이용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다(S1140). 예측 블록 단위로 움직임 벡터가 유도된 경우에, 디코딩 장치는 상기 움직임 벡터를 이용하여 서브 블록 단위로 예측 샘플을 유도할 수 있다. 예컨대, 디코딩 장치는 서브 블록 단위로 특정된 움직임 벡터가 참조 픽처 상에서 지시하는 영역의 샘플들을 현재 블록(예컨대, 예측 블록)의 서브 블록(예컨대, 서브 예측 블록)에 대한 예측 샘플로 이용할 수 있다.
예측 블록 단위로 움직임 벡터가 유도된 경우에, 디코딩 장치는 상기 움직임 벡터를 이용하여 예측 블록 단위로 예측 샘플을 유도할 수 있다. 예컨대, 디코딩 장치는 예측 블록 단위로 특정된 움직임 벡터가 참조 픽처 상에서 지시하는 영역의 샘플들을 현재 블록(예측 블록)의 예측 샘플로 이용할 수 있다.
예측 샘플이 유도되면, 디코딩 장치는 예측 샘플과 레지듀얼 샘플을 더하여 복원 샘플을 유도할 수 있다. 뎁스에 대한 코딩인 경우에, 디코딩 장치는 복잡도를 낮추기 위해, 인루프 필터링 등을 생략할 수도 있다.
도 11에서는 디코딩에 대하여 설명하였으나, S1120 이하의 단계, 즉 서브 블록 단위로 뎁스 맵의 블록에 대한 움직임 벡터를 유도할 것인지를 결정하는 단계, 현재 블록 또는 현재 블록의 서브 블록 단위로 움직임 벡터를 유도하는 단계, 움직임 벡터를 이용하여 예측 샘플을 유도하는 단계와 이를 이용하여 복원 샘플을 유도하는 것은 인코딩 장치에서도 동일하게 수행될 수 있다.
다만, 인코딩 장치는 서브 블록 단위로 움직임 벡터를 유도할 것인지를 코딩에 대한 코스트(cost)를 고려하여 결정한 뒤, 관련 정보를 엔트로피 인코딩하여 디코딩 장치로 전달할 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (14)

  1. 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 장치로서,
    비트스트림을 엔트로피 디코딩하여 뎁스 픽처 내 현재 블록의 디코딩에 필요한 비디오 정보를 출력하는 엔트로피 디코딩부;
    상기 현재 블록의 디코딩에 참조되는 픽처들을 저장하는 메모리; 및
    동일 뷰 내 텍스처 픽처의 움직임 정보를 상기 현재 블록에 대한 움직임 정보로서 이용하여 상기 현재 블록에 대한 예측 샘플을 유도하는 예측부를 포함하며,
    상기 예측부는 상기 텍스처 픽처의 움직임 정보를 상기 현재 블록의 서브 블록 단위로 유도할 것인지를 결정하고, 상기 결정을 기반으로 상기 현재 블록에 대한 움직임 정보를 유도하는 것을 특징으로 하는 비디오 디코딩 장치.
  2. 제1항에 있어서, 상기 텍스처 픽처 내 현재 블록의 대응 블록으로부터 움직임 정보가 유도되며, 상기 텍스처 픽처는 상기 뎁스 픽처와 동일한 시간의 픽처이며, 상기 대응 블록은 상기 텍스처 픽처 내에서 상기 현재 블록과 동일한 위치에 있는 블록인 것을 특징으로 하는 비디오 디코딩 장치.
  3. 제1항에 있어서, 상기 비디오 정보는 움직임 정보를 서브 블록 단위로 유도할 것인지를 지시하는 지시 정보를 포함하며,
    상기 예측부는 상기 지시 정보를 기반으로 상기 텍스처 픽처의 움직임 정보를 서브 블록 단위로 유도할 것인지를 결정하는 것을 특징으로 하는 비디오 디코딩 장치.
  4. 제1항에 있어서, 상기 현재 블록은 예측 블록인 것을 특징으로 하는 비디오 디코딩 장치.
  5. 제1항에 있어서, 상기 텍스처 픽처의 움직임 정보를 서브 블록 단위로 유도하는 것으로 결정되는 경우에, 상기 예측부는 상기 텍스처 픽처에서 상기 현재 블록에 대응하는 블록의 서브 블록 단위로 움직임 벡터를 유도하는 것을 특징으로 하는 비디오 디코딩 장치.
  6. 제5항에 있어서, 상기 대응 블록의 서브 블록은 상기 현재 블록의 서브 블록에 대응하며, 상기 예측부는 상기 대응 블록의 서브 블록에서 유도된 움직임 벡터를 상기 현재 블록의 서브 블록에 대한 움직임 벡터로 설정하는 것을 특징으로 하는 비디오 디코딩 장치.
  7. 제5항에 있어서, 상기 대응 블록의 서브 블록은 상기 현재 블록의 서브 블록에 대응하며, 상기 예측부는 상기 대응 블록의 서브 블록별로 유도된 움직임 벡터를 기반으로 상기 현재 블록의 서브 블록별로 예측 샘플을 유도하는 것을 특징으로 하는 비디오 디코딩 장치.
  8. 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 방법으로서,
    비트스트림을 엔트로피 디코딩하여 뎁스 픽처 내 현재 블록의 디코딩에 필요한 비디오 정보를 유도하는 단계;
    상기 비디오 정보를 기반으로 상기 현재 블록에 대한 움직임 정보를 텍스처 픽처로부터 서브 블록 단위로 유도할 것인지를 결정하는 단계;
    상기 결정에 따라 상기 텍스처 픽처로부터 상기 현재 블록에 대한 움직임 정보를 유도하는 단계; 및
    상기 움직임 벡터를 이용하여 상기 현재 블록에 대한 예측 샘플을 유도하는 단계를 포함하는 것을 특징으로 하는 비디오 디코딩 방법.
  9. 제8항에 있어서, 상기 텍스처 픽처 내 현재 블록의 대응 블록으로부터 움직임 정보가 유도되며, 상기 텍스처 픽처는 상기 뎁스 픽처와 동일한 시간의 픽처이며, 상기 대응 블록은 상기 텍스처 픽처 내에서 상기 현재 블록과 동일한 위치에 있는 블록인 것을 특징으로 하는 비디오 디코딩 방법.
  10. 제8항에 있어서, 상기 비디오 정보는 움직임 정보를 서브 블록 단위로 유도할 것인지를 지시하는 지시 정보를 포함하며,
    상기 결정 단계에서는 상기 지시 정보를 기반으로 상기 텍스처 픽처의 움직임 정보를 서브 블록 단위로 유도할 것인지를 결정하는 것을 특징으로 하는 비디오 디코딩 방법.
  11. 제8항에 있어서, 상기 현재 블록은 예측 블록인 것을 특징으로 하는 비디오 디코딩 방법.
  12. 제8항에 있어서, 상기 텍스처 픽처의 움직임 정보를 서브 블록 단위로 유도하는 것으로 결정되는 경우에,
    상기 움직임 정보 유도 단계에서는 상기 텍스처 픽처에서 상기 현재 블록에 대응하는 블록의 서브 블록 단위로 움직임 벡터를 유도하는 것을 특징으로 하는 비디오 디코딩 방법.
  13. 제12항에 있어서, 상기 대응 블록의 서브 블록은 상기 현재 블록의 서브 블록에 대응하며,
    상기 움직임 정보 유도 단계에서는 상기 대응 블록의 서브 블록에서 유도된 움직임 벡터를 상기 현재 블록의 서브 블록에 대한 움직임 벡터로 설정하는 것을 특징으로 하는 비디오 디코딩 방법.
  14. 제12항에 있어서, 상기 대응 블록의 서브 블록은 상기 현재 블록의 서브 블록에 대응하며,
    상기 예측 샘플 유도 단계에서는 상기 대응 블록의 서브 블록별로 유도된 움직임 벡터를 기반으로 상기 현재 블록의 서브 블록별로 예측 샘플을 유도하는 것을 특징으로 하는 비디오 디코딩 방법.
PCT/KR2014/009860 2013-10-18 2014-10-20 멀티-뷰 비디오의 디코딩 방법 및 장치 WO2015057038A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP14854693.0A EP3059968A4 (en) 2013-10-18 2014-10-20 Method and apparatus for decoding multi-view video
KR1020167009104A KR102343817B1 (ko) 2013-10-18 2014-10-20 멀티-뷰 비디오의 디코딩 방법 및 장치
CN201480057222.5A CN105637875A (zh) 2013-10-18 2014-10-20 用于解码多视图视频的方法和设备
JP2016524091A JP6571646B2 (ja) 2013-10-18 2014-10-20 マルチビュービデオのデコード方法及び装置
US15/028,905 US10045048B2 (en) 2013-10-18 2014-10-20 Method and apparatus for decoding multi-view video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361892448P 2013-10-18 2013-10-18
US61/892,448 2013-10-18

Publications (1)

Publication Number Publication Date
WO2015057038A1 true WO2015057038A1 (ko) 2015-04-23

Family

ID=52828406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009860 WO2015057038A1 (ko) 2013-10-18 2014-10-20 멀티-뷰 비디오의 디코딩 방법 및 장치

Country Status (6)

Country Link
US (1) US10045048B2 (ko)
EP (1) EP3059968A4 (ko)
JP (1) JP6571646B2 (ko)
KR (1) KR102343817B1 (ko)
CN (1) CN105637875A (ko)
WO (1) WO2015057038A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009504A1 (ko) * 2017-07-07 2019-01-10 삼성전자 주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
US11432003B2 (en) 2017-09-28 2022-08-30 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, and decoding method and apparatus therefor

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015192781A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. Method of sub-pu syntax signaling and illumination compensation for 3d and multi-view video coding
CN109996075B (zh) * 2017-12-29 2022-07-12 华为技术有限公司 一种图像解码方法及解码器
CN109151436B (zh) * 2018-09-30 2021-02-02 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN109257609B (zh) * 2018-09-30 2021-04-23 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050066400A (ko) * 2003-12-26 2005-06-30 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
WO2013115025A1 (ja) * 2012-01-31 2013-08-08 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2752001A4 (en) * 2011-08-30 2015-04-15 Nokia Corp APPARATUS, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
WO2013107931A1 (en) * 2012-01-19 2013-07-25 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US9998726B2 (en) * 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2014089727A1 (en) * 2012-12-14 2014-06-19 Qualcomm Incorporated Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
US9544601B2 (en) * 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050066400A (ko) * 2003-12-26 2005-06-30 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
WO2013115025A1 (ja) * 2012-01-31 2013-08-08 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISMAEL DARIBO ET AL.: "ARBITRARILY SHAPED SUB-BLOCK MOTION PREDICTION IN TEXTILE MAP COMPRESSION USING DEPTH INFORMATION", 2012 PICTURE CODING SYMPOSIUM, 7 May 2012 (2012-05-07), XP032449843, Retrieved from the Internet <URL:http://ieeexplore.ieee.org/xpl/articleDetailsjsp?tp=&arnumber=6213301> *
JIN YOUNG LEE ET AL.: "A FAST AND EFFICIENT MULTI-VIEW DEPTH IMAGE CODING METHOD BASED ON TEMPORAL AND INTER-VIEW CORRELATIONS OF TEXTURE IMAGES", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 21, no. 12, December 2011 (2011-12-01), XP011390666, Retrieved from the Internet <URL:http://ieeexplore.ieee.org/apls/abs_all.jsp?arnumber=5766721> *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009504A1 (ko) * 2017-07-07 2019-01-10 삼성전자 주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
KR20200004418A (ko) * 2017-07-07 2020-01-13 삼성전자주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
KR20210006027A (ko) * 2017-07-07 2021-01-15 삼성전자주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
KR102206084B1 (ko) * 2017-07-07 2021-01-21 삼성전자주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
KR102302671B1 (ko) * 2017-07-07 2021-09-15 삼성전자주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
US11303920B2 (en) 2017-07-07 2022-04-12 Samsung Electronics Co., Ltd. Apparatus and method for encoding motion vector determined using adaptive motion vector resolution, and apparatus and method for decoding motion vector
US11991383B2 (en) 2017-07-07 2024-05-21 Samsung Electronics Co., Ltd. Apparatus and method for encoding motion vector determined using adaptive motion vector resolution, and apparatus and method for decoding motion vector
US11432003B2 (en) 2017-09-28 2022-08-30 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, and decoding method and apparatus therefor

Also Published As

Publication number Publication date
EP3059968A1 (en) 2016-08-24
JP2016537871A (ja) 2016-12-01
US20160261888A1 (en) 2016-09-08
CN105637875A (zh) 2016-06-01
JP6571646B2 (ja) 2019-09-04
KR20160072101A (ko) 2016-06-22
KR102343817B1 (ko) 2021-12-27
US10045048B2 (en) 2018-08-07
EP3059968A4 (en) 2017-05-31

Similar Documents

Publication Publication Date Title
KR102254599B1 (ko) 멀티-뷰 비디오 코딩에 있어서, 뷰 합성 예측 방법 및 이를 이용한 머지 후보 리스트 구성 방법
KR102269506B1 (ko) 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 방법 및 장치
US10659814B2 (en) Depth picture coding method and device in video coding
US10063887B2 (en) Video decoding apparatus and method for decoding multi-view video
US20170310993A1 (en) Movement information compression method and device for 3d video coding
US10587894B2 (en) Method and device for encoding/decoding 3D video
KR20150004289A (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
US20170310994A1 (en) 3d video coding method and device
KR102343817B1 (ko) 멀티-뷰 비디오의 디코딩 방법 및 장치
KR20140046385A (ko) 비디오 데이터 디코딩 방법 및 비디오 데이터 디코딩 장치
US20160255368A1 (en) Method and apparatus for coding/decoding video comprising multi-view
US10397611B2 (en) Method and device for encoding/decoding 3D video
WO2015141977A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14854693

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167009104

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15028905

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016524091

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014854693

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014854693

Country of ref document: EP