CN104365104B - 用于多视点视频编码和解码的方法和设备 - Google Patents
用于多视点视频编码和解码的方法和设备 Download PDFInfo
- Publication number
- CN104365104B CN104365104B CN201380031804.1A CN201380031804A CN104365104B CN 104365104 B CN104365104 B CN 104365104B CN 201380031804 A CN201380031804 A CN 201380031804A CN 104365104 B CN104365104 B CN 104365104B
- Authority
- CN
- China
- Prior art keywords
- image
- coding
- unit
- basic
- additional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 239000011229 interlayer Substances 0.000 claims abstract description 379
- 238000010276 construction Methods 0.000 claims abstract description 97
- 230000000007 visual effect Effects 0.000 claims abstract description 81
- 239000010410 layer Substances 0.000 claims description 535
- 210000004027 cell Anatomy 0.000 description 136
- 230000033001 locomotion Effects 0.000 description 74
- 230000009466 transformation Effects 0.000 description 53
- 238000011084 recovery Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 36
- 238000013507 mapping Methods 0.000 description 36
- 238000001914 filtration Methods 0.000 description 34
- 238000005070 sampling Methods 0.000 description 34
- 230000008859 change Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 241000208340 Araliaceae Species 0.000 description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 230000008602 contraction Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 235000008434 ginseng Nutrition 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007430 reference method Methods 0.000 description 3
- 210000000352 storage cell Anatomy 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013316 zoning Methods 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 125000003367 polycyclic group Chemical group 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000010025 steaming Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供基于树结构的编码单元的多视点视频层间编码和解码。一种视频编码方法，包括以下操作：基于通过分层划分图像的最大编码单元而获得的编码单元之中的树结构的编码单元对基本层图像进行编码，其中，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个；确定用于基于树结构的编码单元通过参考基本层图像对附加视点图像执行层间编码的层间编码模式；基于层间编码模式参考包括附加视点图像的附加层图像。
Description
技术领域
本发明涉及对多视点视频进行编码和解码。
背景技术
随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。根据现有技术的视频编解码器，基于具有预定尺寸的宏块，根据受限的编码方法来对视频进行编码。
空间域的图像数据经由频率变换被变换为频率域的系数。根据视频编解码器，将图像划分为预定尺寸的块，对每个块执行离散余弦变换(DCT)，并以块为单位对频率系数进行编码，以进行频率变换的快速计算。与空间域的图像数据相比，频率域的系数容易被压缩。具体地，由于根据经由视频编解码器的帧间预测或帧内预测的预测误差来表示空间域的图像像素值，因此当对预测误差执行频率变换时，大量数据可被变换为0。根据视频编解码器，可通过使用小量数据来代替连续并重复产生的数据，来减少数据量。
随着对在多个视点捕捉的视频的需求，与视点的数量成比例地增加的视频数据量会是一个问题。因此，正为对多视点视频进行有效编码不断做出大量努力。
发明内容
技术问题
本发明提供一种对作为单独的层的基本视点图像和附加视点图像进行预测编码和预测解码的方法。本发明还提供一种对来自同一视点图像的作为单独的层的纹理图像和深度图像进行预测编码和预测解码的方法。
解决方案
根据本发明的一方面，提供一种多视点视频层间编码方法，所述方法包括以下操作：基于树结构的编码单元对基本层图像进行编码，其中，树结构的编码单元包括通过分层划分图像的最大编码单元而获得的编码单元之中的被完全划分的编码单元，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个；基于树结构的编码单元，通过参考预定层间编码模式和基本层图像的编码信息，对作为单独的附加层图像的以下图像分别执行预测编码：基本视点纹理图像和基本视点深度图像之中的不是基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像；基于所述预定层间编码模式输出基本视点图像的编码模式和预测值以及附加视点图像的层间编码模式，其中，通过对视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码单元中的每个编码单元划分为更小的编码单元以独立于邻近的编码单元的方式被确定。
有益效果
多视点视频的基本视点纹理图像和基本视点深度图像中的一个被指定为基本层图像，基本视点图像中的另一个图像、附加视点纹理图像和附加视点深度图像被指定为附加层图像，使得对多视点视频执行层间预测。由于在通过使用根据树结构的编码单元、预测单元和变换单元被编码的基本层图像和附加层图像之间彼此相应的基本层数据单元和附加层数据单元被正确地检测，并且通过使用各种类型的基本层数据单元的编码信息确定附加层数据单元，因此，用于附加层图像的编码信息的传输比特量可减少，并且可有效实现对层间视频进行编码和解码的方法。
附图说明
图1是根据本发明的实施例的基于树结构的编码单元的视频编码设备的框图。
图2是根据本发明的实施例的基于树结构的编码单元的视频解码设备的框图。
图3是用于描述根据本发明的实施例的编码单元的构思的示图。
图4是根据本发明的实施例的基于编码单元的图像编码器的框图。
图5是根据本发明的实施例的基于编码单元的图像解码器的框图。
图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图。
图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图。
图8示出根据本发明的实施例的根据深度的多条编码信息。
图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
图10、图11和图12是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图。
图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图。
图14是根据本发明的实施例的多视点视频层间编码设备的框图。
图15是根据本发明的实施例的多视点视频层间解码设备的框图。
图16是根据本发明的实施例的层间编码系统的框图。
图17示出根据本发明的实施例的用于多视点视频的层间编码系统。
图18示出根据本发明的实施例的用于多视点视频服务的发送和接收系统。
图19示出根据本发明的实施例的多视点视频的层间预测结构。
图20示出根据本发明的实施例的层间预测模式的类型。
图21示出根据本发明的实施例的基本层和附加层之间的映射关系。
图22是根据本发明的实施例的多视点视频层间编码方法的流程图。
图23是根据本发明的实施例的多视点视频层间解码方法的流程图。
图24是根据本发明的实施例的存储程序的盘的物理结构的示图。
图25是用于通过使用盘来记录和读取程序的盘驱动器的示图。
图26是用于提供内容分配服务的内容供应系统的整体结构的示图。
图27和图28是根据本发明的实施例的应用了视频编码方法和视频解码方法的移动电话的外部结构和内部结构的各自的示图。
图29是根据本发明的实施例的应用通信系统的数字广播系统的示图。
图30是示出根据本发明的实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。
最佳实施方式
根据本发明的一方面，提供一种多视点视频层间编码方法，所述方法包括以下操作：基于树结构的编码单元对基本层图像进行编码，其中，树结构的编码单元包括通过分层划分图像的最大编码单元而获得的编码单元之中的被完全划分的编码单元，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个图像；基于树结构的编码单元，通过参考预定层间编码模式和基本层图像的编码信息，对作为单独的附加层图像的以下图像分别执行预测编码：基本视点纹理图像和基本视点深度图像之中的不是基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像；基于所述预定层间编码模式输出基本视点图像的编码模式和预测值以及附加视点图像的层间编码模式，其中，通过对视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码单元中的每个编码单元划分为更小的编码单元以独立于邻近的编码单元的方式被确定。
对基本层图像进行编码的操作可包括以下操作：对基本视点纹理图像和基本视点深度图像中的一个进行编码；对附加层图像执行预测编码的操作可包括以下操作：根据所述预定层间编码模式，通过参考经由对基本视点纹理图像和基本视点深度图像中的一个进行编码而产生的编码信息，对基本视点纹理图像和基本视点深度图像中的另一个进行编码。
对附加层图像执行预测编码的操作可包括以下操作：对附加视点纹理图像和附加视点深度图像中的一个进行编码；根据所述预定层间编码模式，通过参考经由对基本视点纹理图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像中的一个进行编码而产生的编码信息，对附加视点纹理图像和附加视点深度图像中的另一个进行编码。
对基本层图像进行编码的操作可包括以下操作：通过参考基本视点纹理图像的编码信息对基本视点纹理图像和基本视点深度图像中的至少一个进行编码；通过参考基本视点深度图像的编码信息对基本视点纹理图像和基本视点深度图像中的至少一个进行编码。
对附加层图像执行预测编码的操作可包括以下操作：基于基本视点图像和附加视点图像之间的视差，确定将被附加视点图像的数据单元参考的基本视点图像的数据单元。
确定所述数据单元的操作可包括以下操作：通过使用附加视点图像的当前数据单元和基本视点图像之间的视差，确定与附加视点图像的当前数据单元相映射的基本视点图像的数据单元的位置。
确定所述数据单元的操作可包括以下操作：通过使用先前在基本视点深度图像或先前在附加视点图像的邻近数据单元中使用的视差或深度信息，确定附加视点图像的当前数据单元和基本视点图像之间的视差；通过使用确定的视差，确定与所述当前数据单元相映射的基本视点图像的数据单元的位置。
根据本发明的另一方面，提供一种多视点视频层间解码方法，所述方法包括以下操作：从多个比特流解析基本层图像的编码信息以及基本层图像和附加层图像之间的层间编码模式，其中，所述多个比特流分别包括作为单独的层的以下图像：基本视点图像的基本视点纹理图像、基本视点图像的基本视点深度图像、附加视点图像的附加视点纹理图像和附加视点图像的附加视点深度图像；通过使用解析的基本层图像的编码信息，基于树结构的编码单元对基本层图像进行解码，其中，树结构的编码单元包括通过分层划分最大编码单元而获得的编码单元之中的被完全划分的编码单元，基本层图像是基本视点图像的基本视点纹理图像和基本视点深度图像中的一个；根据附加视点图像的层间编码模式，通过参考解析的基本层图像的编码信息，基于树结构的编码单元，对作为单独的附加层图像的以下图像分别执行预测解码：基本视点纹理图像和基本视点深度图像之中的不是基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像，其中，通过对视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码单元中的每个编码单元单独地划分为更小的编码单元以独立于邻近的编码单元的方式被确定。
对基本层图像进行解码的操作可包括以下操作：对基本视点纹理图像和基本视点深度图像中的一个进行解码；并且对附加层图像执行预测解码的操作可包括以下操作：根据所述层间编码模式，通过参考解析的基本层图像的编码信息，对基本视点纹理图像和基本视点深度图像中的另一个进行解码。
对附加层图像执行预测解码的操作可包括以下操作：对附加视点纹理图像和附加视点深度图像中的一个进行解码；根据所述层间编码模式，通过参考基本视点纹理图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像中的一个的编码信息，对附加视点纹理图像和附加视点深度图像中的另一个进行解码。
对附加层图像执行预测解码的操作可以下包括：通过参考基本视点纹理图像的编码信息对基本视点纹理图像和基本视点深度图像中的至少一个进行解码；通过参考基本视点深度图像的编码信息对基本视点纹理图像和基本视点深度图像中的至少一个进行解码。
对附加层图像执行预测解码的操作可包括以下操作：通过使用附加视点图像的当前数据单元和基本视点图像之间的视差信息，确定将被附加视点图像的当前数据单元参考的基本视点图像的数据单元。
确定所述数据单元的操作可包括以下操作：通过使用附加视点图像的当前数据单元和基本视点图像之间的视差信息，确定与所述当前数据单元相映射的基本视点图像的数据单元的位置。
确定所述数据单元的操作可包括以下操作：通过使用先前在基本视点深度图像或先前在附加视点图像的邻近数据单元中使用的视差信息或深度信息，确定附加视点图像的当前数据单元和基本视点图像之间的视差信息；通过使用确定的视差信息，确定与所述当前数据单元相映射的基本视点图像的数据单元的位置。
根据本发明的另一方面，提供一种多视点视频层间编码设备，所述设备包括：基本层编码器，基于树结构的编码单元对基本层图像进行编码，其中，树结构的述编码单元包括通过分层划分图像的最大编码单元而获得的编码单元之中的被完全划分的编码单元，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个；附加层编码器，基于树结构的编码单元，通过参考预定层间编码模式和基本层图像的编码信息，对作为单独的附加层图像的以下图像分别执行预测编码：基本视点纹理图像和基本视点深度图像之中的未作为基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像；输出单元，基于所述预定层间编码模式输出基本视点图像的编码信息以及附加视点图像的层间编码模式，其中，通过对视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码单元中的每个编码单元单独地划分为更小的编码单元以独立于邻近的编码单元的方式被确定。
附加层编码单元可基于基本视点图像和附加视点图像之间的视差确定将被附加视点图像的数据单元参考的基本视点图像的数据单元。
根据本发明的另一方面，提供一种多视点视频层间解码设备，所述设备包括：解析器，从多个比特流解析基本层图像的编码信息以及基本层图像和附加层图像之间的层间编码模式，其中，所述多个比特流分别包括作为单独的层的以下图像：基本视点图像的基本视点纹理图像、基本视点图像的基本视点深度图像、附加视点图像的附加视点纹理图像和附加视点图像的附加视点深度图像；基本层解码器，通过使用解析的基本层图像的编码信息，基于树结构的编码单元对基本层图像进行解码，其中，树结构的编码单元包括通过分层划分最大编码单元而获得的编码单元之中的被完全划分的编码单元，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个图像；附加层解码器，根据附加视点图像的层间编码模式，通过参考解析的基本层图像的编码信息，基于树结构的编码单元，对作为单独的附加层图像的以下图像分别执行预测解码：基本视点纹理图像和基本视点深度图像之中的未作为基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像。
附加层解码单元可通过使用附加视点图像的当前数据单元和基本视点图像之间的视差信息来确定将由附加视点图像的当前数据单元参考的基本视点图像的数据单元。
根据本发明的另一方面，提供一种记录有用于执行多视点视频层间编码方法的程序的计算机可读记录介质。根据本发明的另一方面，提供一种记录有用于执行多视点视频层间解码方法的程序的计算机可读记录介质。
具体实施方式
在下文中，将参照图1至图13描述根据本发明的实施例的基于树结构的编码单元的视频编码技术和视频解码技术。此外，将参照图14至图23描述根据本发明的实施例的基于树结构的编码单元的多视点视频层间编码技术和多视点视频层间解码技术。此外，将参照图24至图30提供可应用多视点视频编码方法、多视点视频解码方法、视频编码方法和视频解码方法的各种实施例。在下文中，“图像”可指示静止图像或视频的运动图像(即，视频本身)。
首先，将参照图1至图13描述基于树结构的编码单元的视频编码技术和视频解码技术。
图1是根据本发明的实施例的基于树结构的编码单元的视频编码设备100的框图。
涉及基于树结构的编码单元的视频预测的视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。在下文中，为了便于描述，涉及基于树结构的编码单元的视频预测的视频编码设备100被称为“视频编码设备100”。
最大编码单元划分器110可基于图像的当前画面的最大编码单元来划分当前画面，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。根据本发明的实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。图像数据可根据至少一个最大编码单元被输出到编码单元确定器120。
根据本发明的实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元在空间上被划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度为最高深度，最小编码单元的深度为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根据本发明的实施例的最大编码单元进行划分，因此可根据深度分层地对包括在最大编码单元中的空间域的图像数据进行分类。
可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。
编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的图像数据的深度。换言之，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。将确定的编码深度和根据确定的编码深度的编码的图像数据输出到输出单元130。
基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
随着编码单元根据深度而被分层地划分以及随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度相应，仍通过分别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使图像数据被包括在一个最大编码单元中，编码误差根据所述一个最大编码单元中的区域而不同，因此编码深度可根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元来对最大编码单元的图像数据进行划分。
因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据本发明的实施例的“具有树结构的编码单元”包括在最大编码单元中包括的所有较深层编码单元中的与确定为编码深度的深度相应的编码单元。可根据最大编码单元的相同区域中的深度来分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，可从另一区域的编码深度独立地确定当前区域中的编码深度。
根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次后的编码单元，则存在深度0、1、2、3和4的5个深度等级，并因此第一最大深度可被设置为4，第二最大深度可被设置为5。
可根据最大编码单元执行预测编码和变换。还根据最大编码单元，基于根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因此将对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于解释，在最大编码单元中，现在将基于当前深度的编码单元来描述预测编码和变换。
视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。
为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的编码单元的编码单元)来执行预测编码。以下，不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元获得的分区可包括预测单元以及通过对从预测单元的高度和宽度中选择的至少一个进行划分而获得的数据单元。分区是编码单元的预测单元被划分的数据单元，并且预测单元可以是具有与编码单元相同的尺寸的分区。
例如，当2N×2N(其中，N是正整数)的编码单元不再被划分时，2N×2N的编码单元成为尺寸为2N×2N的预测单元，并且分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元的高度或宽度进行非对称地划分(诸如，1：n或n:1)而获得的分区、通过对预测单元进行几何地划分而获得的分区、以及具有任意形状的分区。
预测单元的预测模式可以是从帧内模式、帧间模式和跳过模式中选择的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，用于变换的数据单元可包括帧内模式的数据单元和帧间模式的数据单元。
以与根据树结构的编码单元类似的方式，编码单元中的变换单元可被递归地划分为更小尺寸的区域，因此可基于根据变换深度的具有树结构的变换单元，对编码单元中的残差数据进行划分。
还可在变换单元中设置变换深度，其中，变换深度指示通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。换句话说，还可根据变换深度设置具有树结构的变换单元。
根据与编码深度相应的编码单元的编码信息不仅要求关于编码深度的信息，还要求与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
随后将参照图3至图13详细描述根据本发明的实施例的最大编码单元中的根据树结构的编码单元以及确定预测单元/分区和变换单元的方法。
编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化，来测量根据深度的较深层编码单元的编码误差。
输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的编码模式的信息，其中，所述最大编码单元的图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。
可通过对图像的残差数据进行编码来获得编码图像数据。
关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于在预测单元中的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。
可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，根据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则对当前编码单元中的图像数据进行编码并输出，因此可将划分信息定义为不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，并因此可将划分信息定义为对当前编码单元进行划分来获得更低深度的编码单元。
如果当前深度不是编码深度，则对被划分到更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，并因此可对具有相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于根据深度对图像数据进行分层划分，因此最大编码单元的图像数据的编码深度可根据位置而不同，因此可针对图像数据设置关于编码深度和编码模式的信息。
因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
根据本发明的实施例的最小单元是通过将构成最低深度的最小编码单元划分为4份而获得的方形数据单元。可选择地，根据实施例的最小单元可以是可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大方形数据单元。
例如，通过输出单元130输出的编码信息可被分类为根据较深层编码单元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括关于预测模式的信息和关于分区尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧内模式的插值方法的信息。
根据画面、条带或GOP定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集中。
还可通过比特流的头、序列参数集或画面参数集来输出关于针对当前视频允许的变换单元的最大尺寸的信息、以及关于变换单元的最小尺寸的信息。输出单元130可对与预测相关的参考信息、预测信息和条带类型信息进行编码并输出。
在视频编码设备100中，较深层编码单元可以是通过将更高深度的编码单元(更高一层)的高度或宽度划分成两份而获得的编码单元。换言之，当当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，尺寸为2N×2N的具有当前深度的编码单元可包括最多4个具有所述更低深度的编码单元。
因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最优编码模式。
因此，如果以传统宏块对具有高的分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用视频编码设备100，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并同时在考虑图像的特征的同时调整编码单元，因此可提高图像压缩效率。
图2是根据本发明的实施例的基于树结构的编码单元的视频解码设备200的框图。
涉及基于树结构的编码单元的视频预测的视频解码设备200包括接收器210、图像数据和编码信息提取器220和图像数据解码器230。在下文中，为了便于描述，涉及基于树结构的编码单元的视频预测的视频解码设备200被称为“视频解码设备200”。
用于视频解码设备200的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与参照图1和视频编码设备100解释的定义相同。
接收器210接收和解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流，针对每个编码单元提取编码图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。
另外，图像数据和编码信息提取器220从解析的比特流，根据每个最大编码单元，提取关于具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换言之，比特流中的图像数据被划分为最大编码单元，使得图像数据解码器230针对每个最大编码单元对图像数据进行解码。
可针对关于与编码深度相应的至少一个编码单元的信息设置关于根据最大编码单元的编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外，根据深度的划分信息可被提取为关于编码深度的信息。
由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是这样的关于编码深度和编码模式的信息：该信息被确定为在编码器(诸如，视频编码设备100)根据每个最大编码单元对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。
由于关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可根据预定数据单元，提取关于编码深度和编码模式的信息。如果关于相应最大编码单元的编码深度和编码模式的信息根据预定数据单元被记录，则可将被分配相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
图像数据解码器230基于关于根据最大编码单元的编码深度和编码模式的信息，通过对每个最大编码单元中的图像数据进行解码，来恢复当前画面。换言之，图像数据解码器230可基于提取出的关于包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单元的信息，对编码的图像数据进行解码。解码处理可包括预测(包含帧内预测和运动补偿)和逆变换。
图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。
此外，针对每个最大编码单元的逆变换，图像数据解码器230可针对每个编码单元读取关于根据树结构的变换单元的信息，以基于每个编码单元的变换单元来执行逆变换。经过逆变换，可恢复编码单元的空间域的像素值。
图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于用于与编码深度相应的每个编码单元的预测单元的分区类型、预测模式和变换单元的尺寸的信息，对当前最大编码单元中的编码数据进行解码。
换言之，可通过观察被分配给编码单元、预测单元和最小单元中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。因此，可通过获得关于每个编码单元的编码模式的信息来对当前编码单元进行解码。
因此，视频解码设备200可获得关于当对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元的信息，并使用所述信息来对当前画面进行解码。换言之，可对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。
因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和编码模式，有效地对图像数据进行解码和恢复，其中，通过使用从编码器接收到的关于最优编码模式的信息，根据图像的特征自适应地确定所述编码单元的尺寸和编码模式。
图3是用于描述根据本发明的实施例的编码单元的构思的示图。
编码单元的尺寸可被表示为宽度×高度，并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
在视频数据310中，分辨率为1920×1080，编码单元的最大尺寸为64，最大深度为2。在视频数据320中，分辨率为1920×1080，编码单元的最大尺寸为64，最大深度为3。在视频数据330中，分辨率为352×288，编码单元的最大尺寸为16，最大深度为1。图3中示出的最大深度表示从最大编码单元到最小编码单元的划分总次数。
如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。
由于视频数据310的最大深度是2，因此由于通过对最大编码单元划分两次，深度加深至两层，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元和长轴尺寸为32和16的编码单元。另一方面，由于视频数据330的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元和长轴尺寸为8的编码单元。
由于视频数据320的最大深度是3，因此由于通过对最大编码单元划分三次，深度加深至3层，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深，详细信息可被精确地表示。
图4是根据本发明的实施例的基于编码单元的图像编码器400的框图。
图像编码器400执行视频编码设备100的编码单元确定器120的操作来对图像数据进行编码。换言之，帧内预测器410对当前帧405中的帧内模式下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，对当前帧405中的帧间模式下的编码单元分别执行帧间估计和运动补偿。
从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化后的变换系数。量化后的变换系数通过反量化器460和逆变换器470被恢复为空间域中的数据，恢复的空间域中的数据在通过去块单元480和偏移调整单元490后处理之后被输出为参考帧495。量化后的变换系数可通过熵编码器450被输出为比特流455。
为了在视频编码设备100中应用图像编码器400，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和偏移调整单元490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元中的每个编码单元执行操作。
具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时确定具有树结构的编码单元中的每个编码单元的分区和预测模式，变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。
图5是根据本发明的实施例的基于编码单元的图像解码器500的框图。
解析器510从比特流505解析将被解码的编码图像数据和解码所需的关于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过逆变换器540被恢复为空间域中的图像数据。
针对空间域中的图像数据，帧内预测器550对帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对帧间模式下的编码单元执行运动补偿。
通过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和偏移调整单元580后处理之后被输出为恢复帧595。另外，通过去块单元570和偏移调整单元580后处理的图像数据可被输出为参考帧585。
为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。
为了在视频解码设备200中应用图像解码器500，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和偏移调整单元580)针对每个最大编码单元基于具有树结构的编码单元执行操作。
具体地，帧内预测器550和运动补偿器560必须针对具有树结构的每个编码单元确定分区和预测模式，逆变换器540必须针对每个编码单元确定变换单元的尺寸。
图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图。
视频编码设备100和视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据预定的编码单元的最大尺寸来确定根据深度的较深层编码单元的尺寸。
根据本发明的实施例，在编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，最大深度是3。在此情况下，最大深度是指编码单元从最大编码单元到最小编码单元被划分的总次数。由于深度沿着分层结构600的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。另外，预测单元和分区沿着分层结构600的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
换言之，在分层结构600中，编码单元610是最大编码单元，其中，深度为0，尺寸(即，高度乘宽度)为64×64。随着深度沿着垂直轴加深，存在尺寸为32×32和深度为1的编码单元620、尺寸为16×16和深度为2的编码单元630、尺寸为8×8和深度为3的编码单元640。尺寸为8×8和深度为3的编码单元640是最小编码单元。
编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之，如果尺寸为64×64和深度为0的编码单元610是预测单元，则可将预测单元划分成包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。
类似地，可将尺寸为32×32和深度为1的编码单元620的预测单元划分成包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。
类似地，可将尺寸为16×16和深度为2的编码单元630的预测单元划分成包括在编码单元630中的分区，即，包括在编码度单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。
类似地，可将尺寸为8×8和深度为3的编码单元640的预测单元划分成包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区646。
最后，尺寸为8×8和深度为3的编码单元640是具有最低深度的最小编码单元。
为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，与深度1相应的编码单元和四个与深度2相应的编码单元均被编码。
为了针对多个深度之中的当前深度执行编码，可沿着分层结构600的水平轴，通过对与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度，选择作为代表性编码误差的最小编码误差。可选地，随着深度沿着分层结构600的垂直轴加深，可通过针对每个深度执行编码来比较根据深度的代表性编码误差，以搜索最小编码误差。在编码单元610中的具有最小编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。
图7是用于描述根据本发明的实施例的编码单元710和变换单元720之间的关系的示图。
视频编码设备100或视频解码设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元，对图像进行编码或解码。可基于不大于相应编码单元的数据单元，来选择用于在编码期间进行变换的变换单元的尺寸。
例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。
此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行变换，来对尺寸为64×64的编码单元710的数据进行编码，然后可选择具有最小编码误差的变换单元。
图8示出根据本发明的实施例的根据深度的多条编码信息。
视频编码设备100的输出单元130可对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元尺寸的信息820进行编码，并将信息800、信息810和信息820作为关于编码模式的信息来发送。
信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。
信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。
视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元，提取并使用用于解码的信息800、810和820。
图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。
用于对深度为0和尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图9仅示出了通过对称地划分预测单元910而获得的分区类型912至918，但是分区类型不限于此，并且预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
根据每种分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
如果在尺寸为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分区类型912至916中的一个分区类型中编码误差最小，则可不将预测单元910划分到更低深度。
如果在尺寸为N_0×N_0的分区类型918中编码误差最小，则深度从0改变到1以在操作920中划分分区类型918，并对深度为2和尺寸为N_0×N_0的编码单元930重复地执行编码来搜索最小编码误差。
用于对深度为1和尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946以及尺寸为N_1×N_1的分区类型948。
如果在尺寸为N_1×N_1的分区类型948中编码误差最小，则深度从1改变到2以在操作950中划分分区类型948，并对深度为2和尺寸为N_2×N_2的编码单元960重复执行编码来搜索最小编码误差。
当最大深度是d时，根据每个深度的划分操作可被执行直到深度变成d-1，并且划分信息可被设置直到深度是0到d-2之一。换句话说，当编码被执行直到在与d-2的深度相应的编码单元在操作970中被划分之后深度是d-1时，用于对深度为d-1和尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：尺寸为2N_(d-1)×2N(d-1)的分区类型992、尺寸为2N_(d-1)×N(d-1)的分区类型994、尺寸为N_(d-1)×2N(d-1)的分区类型996和尺寸为N_(d-1)×N(d-1)的分区类型998。
可对分区类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。
即使当尺寸为N_(d-1)×N_(d-1)的分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)也不再被划分到更低深度，用于构成当前最大编码单元900的编码单元的编码深度被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N(d-1)。此外，由于最大深度是d，并且具有最低深度d-1的最小编码单元980不再被划分到更低深度，因此不设置最小编码单元980的划分信息。
数据单元999可以是用于当前最大编码单元的“最小单元”。根据本发明的实施例的最小单元可以是通过将具有最低编码深度的最小编码单元980划分成4份而获得的方形数据单元。通过重复地执行编码，视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码模式。
这样，在所有深度0、1、…d-1、d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码并发送。另外，由于编码单元从0的深度被划分到编码深度，因此仅将编码深度的划分信息设置为0，并且将除了编码深度以外的深度的划分信息设置为1。
视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息，来对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息，将划分信息为0的深度确定为编码深度，并且使用关于相应深度的编码模式的信息来进行解码。
图10、图11和图12是用于描述根据本发明的实施例的在编码单元1010、预测单元1060和变换单元1070之间的关系的示图。
编码单元1010是最大编码单元中的由视频编码设备100确定的根据深度的较深层编码单元。预测单元1060是每个编码单元1010中的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。
当在编码单元1010中最大编码单元的深度是0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。
在预测单元1060中，通过划分编码单元1010中的编码单元来获得一些分区1014、1016、1022、1032、1048、1050、1052和1054。换句话说，编码单元1014、1022、1050和1054中的分区类型的尺寸是2N×N，编码单元1016、1048和1052中的分区类型的尺寸是N×2N，编码单元1032的分区类型的尺寸为N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。
在小于编码单元1052的数据单元中的变换单元1070中，对编码单元1052的图像数据执行变换或逆变换。另外，在尺寸和形状方面，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052不同于预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052。换句话说，视频编码设备100和视频解码设备200可对同一编码单元中的数据单元独立地执行帧内预测、运动估计、运动补偿、变换和逆变换。
因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码来确定最优编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。表1示出可由视频编码设备100和视频解码设备200设置的编码信息。
[表1]
视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收到的比特流提取关于具有树结构的编码单元的编码信息。
划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对所述编码深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可针对所有分区类型定义帧内模式和帧间模式，仅在尺寸为2N×2N的分区类型中定义跳过模式。
关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按1:3和3:1来划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1来划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。
可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型时，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。
关于具有树结构的编码单元的编码信息可被分配给与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。
因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编码深度相应的同一编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，并因此可确定最大编码单元中的编码深度的分布。
因此，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
可选地，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码单元以对当前编码单元进行预测。
图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图。
最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是一个编码深度的编码单元，因此划分信息可以被设置成0。可将关于尺寸为2N×2N的编码单元1318的分区类型的信息设置成以下分区类型中的一种：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336以及尺寸为nR×2N的分区类型1338。
变换单元的划分信息(TU尺寸标记)是一种类型的变换索引。与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
例如，当分区类型被设置成对称(即，分区类型1322、1324、1326或1328)时，如果变换单元的TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标记是1，则设置尺寸为N×N的变换单元1344。
当分区类型被设置成非对称(即，尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336或尺寸为nR×2N的分区类型1338)时，如果TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标记是1，则设置尺寸为N/2×N/2的变换单元1354。
参照图13，TU尺寸标记是具有值0或1的标记，但是TU尺寸标记不限于具有1比特的标记，并且变换单元可在TU尺寸标记从0开始增加时被分层划分为具有树结构。变换单元的划分信息(TU尺寸标记)可以是变换索引的示例。
在这种情况下，根据本发明的实施例，可通过使用变换单元的TU尺寸标记以及变换单元的最大尺寸和最小尺寸来表示实际上已使用的变换单元的尺寸。视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码的结果可被插入SPS。视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则(a-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32，(a-2)当TU尺寸标记为1时，变换单元的尺寸可以是16×16，(a-3)当TU尺寸标记为2时，变换单元的尺寸可以是8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则(b-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标记不能够被设置为除了0以外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记为1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能够被设置为除了0或1以外的值。
因此，当TU尺寸标记为0时，如果定义最大TU尺寸标记为“MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，变换单元尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”：
CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))…(1)
与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标记为0时，变换单元尺寸“RootTuSize”可指示可在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2∧MaxTransformSizeIndex)”指示当TU尺寸标记为0时，变换单元尺寸“RootTuSize”被划分了与最大TU尺寸标记相应的次数时的变换单元尺寸，“MinTransformSize”指示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。
根据本发明的实施例，最大变换单元尺寸RootTuSize可根据预测模式的类型而改变。
例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸：
RootTuSize＝min(MaxTransformSize,PUSize)……(2)
也就是说，如果当前预测模式是帧间模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中较小的值。
如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“RootTuSize”。在等式(3)中，“PartitionSize”指示当前分区单元的尺寸：
RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)
也就是说，如果当前预测模式是帧内模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。
然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅是示例，本发明不限于此。
包括以上参照图1至图13描述的树结构的编码单元的最大编码单元可被不同地称为编码块树、块树、根块树、编码树、编码根或树干。
在下文中，现在将参照图14至图23来描述基于树结构的编码单元的多视点视频层间编码技术和多视点视频层间解码技术。
图14是根据本发明的实施例的多视点视频层间编码设备1400的框图。
多视点视频层间编码设备1400包括基本层编码器1410、附加层编码器1420和输出单元1430。
层间编码设备1400将多视点视频划分类多个层，然后对多视点视频进行编码。
单视点图像可包括纹理图像和深度图像。纹理图像可包括根据YUV彩色分量的像素值。深度图像可包括被二维表示的图像的深度分量。
也就是说，基本视点图像可包括基本视点纹理图像和基本视点深度图像。第一附加视点图像可包括第一附加视点纹理图像和第一附加视点深度图像。此外，第二附加视点图像可包括第二附加视点纹理图像和第二附加视点深度图像。在下文中，为了便于描述，“基本视点图像”可指示“基本视点纹理图像”和/或“基本视点深度图像”，或者“附加视点图像”可指示“附加视点纹理图像”和/或“附加视点深度图像”。
在相同视点图像中，纹理图像和深度图像可被分类为不同的层，然后可被编码。在本实施例中，基本层编码器1410对被分类为多个层的图像之中的基本层图像进行编码。可将基本视点图像的纹理图像和深度图像分类为不同的层。基本视点纹理图像和基本视点深度图像之一可作为基本层图像被编码。另一图像可作为附加层图像被编码。
在本实施例中，多视点视频层间编码设备1400可基于以上参照图1至图13描述的树结构的编码单元对基本层图像进行编码。也就是说，基本层编码器1410可将基本层图像划分为最大编码单元，可基于在通过分层划分每个最大编码单元而获得的编码单元之中划分被完成的编码单元来确定编码模式，并可输出编码数据。
在本实施例中，附加层编码器1420可参考通过对基本视点纹理图像和基本视点深度图像中的作为基本层图像的一个图像进行编码而产生的编码信息，对基本视点纹理图像和基本视点深度图像中的另一图像进行编码。
可改变基本视点纹理图像和基本视点深度图像的编码顺序，并且可将基本视点纹理图像和基本视点深度图像之中首先被编码的图像选为基本层图像。可基于被选为基本层的图像的编码信息，对另一图像执行预测编码。
附加层编码器1420可根据预定层间编码模式来改变图像参考方法。将参照图20描述根据层间编码模式的类型而被改变的图像参考方法。
如参照图1至图13所描述的，可在空间上对视频的图像进行划分，使得产生最大编码单元，并且可将每个最大编码单元划分为多个编码单元。当确定是否将每个编码单元划分为更小的编码单元时，可对每个编码单元以独立于邻近编码单元的方式执行所述确定。
在本实施例中，附加层编码器1420对在被分类为多个层的图像之中的附加层图像进行编码。
附加层的数量可以是多个。附加层图像可包括基本视点纹理图像和基本视点深度图像之中的未作为基本层图像被编码的其余图像。附加层图像可包括附加视点图像的YUV纹理图像和深度图图像。可存在一个或更多个附加视点。可将多个附加视点图像分类为不同的层。在相同的附加视点图像中，可将纹理图像和深度图像分类为不同的层。
附加层编码器1420可基于附加层图像的树结构的编码单元来输出编码后的附加层图像的数据。另外，附加层编码器1420可确定层间编码模式以便对附加层图像进行编码，其中，层间编码模式是指示是否参考基本视点图像的信息。附加层编码器1420可基于确定的层间编码模式通过参考基本层图像的编码信息对附加层图像执行预测编码。
在本实施例中，附加层编码器1420可通过参考基本层图像的编码信息对附加视点纹理图像和附加视点深度图像中的至少一个进行编码。
在本实施例中，附加层编码器1420可通过参考基本视点深度图像的编码信息对附加视点纹理图像和附加视点深度图像中的至少一个进行编码。
在本实施例中，附加层编码器1420可在具有相同附加视点的纹理图像和深度图像之间执行预测编码。首先，附加层编码器1420可对附加视点纹理图像和附加视点深度图像中的一个进行编码。附加层编码器1420可通过参考经由首先对附加视点纹理图像和附加视点深度图像中的一个进行编码而产生的编码信息，对附加视点纹理图像和附加视点深度图像中的另一个进行编码。在此情况下，可改变附加视点纹理图像和附加视点深度图像的编码顺序，并且可基于在附加视点纹理图像和附加视点深度图像之中的首先被编码的图像的编码信息，对附加视点纹理图像和附加视点深度图像中的另一个执行预测编码。
如上所述，附加层编码器1420可根据预定层间编码模式来改变图像参考方法。
因此，在本实施例中，附加层编码器1420可基于预定层间编码模式通过参考编码信息对附加视点纹理图像和附加视点深度图像中的另一执行预测编码，其中，所述编码信息通过对基本视点纹理图像和基本视点深度图像、附加视点纹理图像和附加视点深度图像中的至少一个进行编码来产生。
输出单元1430可根据由基本层编码器1410得到的编码结果来输出基本层图像的编码模式和预测值。输出单元1430可输出通过由基本层编码器1410基于树结构的编码单元对每个最大编码单元执行编码而获得的编码数据。
此外，输出单元1430可根据基于由附加层编码器1420确定的层间编码模式的编码结果来输出附加层图像的层间编码模式。输出单元1430可基于树结构的编码单元根据对每个最大编码单元执行编码的结果来选择性地输出编码信息，其中，所述编码由附加层编码器1420执行。
输出单元1430可经由不同的层输出基本视点纹理图像的编码模式和预测值、基本深度图像的编码模式和预测值。类似地，输出单元1430可经由不同的层输出附加视点纹理图像的编码模式和预测值、基本视点深度图像的编码模式和预测值。
可供附加层图像参考的基本层图像的编码信息可以是多条编码信息中的至少一条，其中，所述多条编码信息包括根据编码结果确定的编码模式、预测值、语法和恢复值等。在本实施例中，编码模式可包括编码单元的结构信息以及预测模式的预测信息。编码单元的结构信息可包括以下项中的至少一项：当前编码单元的深度、构成当前编码单元的编码单元的组合类型。预测信息可包括以下项中的至少一项：用于帧内预测的分区类型、帧内索引、用于帧间预测的分区类型、运动矢量、参考索引和非零系数位置信息(最后一个系数的位置信息)。在本实施例中，预测值可包括以下项中的至少一项：被量化的变换系数、根据帧间预测的系数之间的差值、残差数据。附加层编码器1420可通过参考包括在基本层图像的编码模式中的以下结构信息中的至少一个来对附加层图像进行编码：编码单元的结构信息、包括在编码单元中的变换单元的结构信息。在本实施例中，变换单元的结构信息可包括当前编码单元的变换深度、变换索引中的至少一个。
附加层编码器1420可通过参考包括在基本层图像的编码模式中的以下项中的至少一项来确定附加层图像的编码模式：预测模式、分区类型、模式信息和帧内信息。
附加层编码器1420可通过参考包括在基本层图像的编码模式中的以下项中的至少一项来确定附加层图像的编码模式：与环路滤波相关的信息、非零系数位置信息、恢复的预测值和恢复的纹理信息。
例如，在帧内模式下，恢复的当前数据单元的预测值可表示通过使用在空间上与当前数据单元邻近的邻近数据单元的值而确定的预测值。此外，在帧间预测的情况下，恢复的当前数据单元的预测值可表示通过使用先前恢复的参考帧对当前数据单元执行运动补偿而产生的预测值。在本实施例中，可通过使用恢复的基本层数据单元的预测值来确定附加视点数据单元的预测值，其中，所述基本层数据单元在与恢复的基本层图像被缩放后的图像中的所述附加视点数据单元相应时被定位。在另一实施例中，可通过使用恢复的基本层数据单元的预测值被缩放后的值来确定附加视点数据单元的预测值，其中，所述基本层数据单元在恢复的基本层图像中与附加层数据单元相应时被定位。
附加层编码器1420可基于确定的附加层图像的编码模式对附加层图像进行编码。
在本实施例中，附加层编码器1420可通过参考基本层图像的编码信息中的残差信息和变换系数中的至少一个来确定附加层图像的残差信息和变换系数中的至少一个。
在本实施例中，附加层编码器1420可参考通过帧内预测或帧间预测而产生的恢复图像的恢复值，因此可确定包括在基本层图像的编码信息中的附加层图像的恢复值。
此外，附加层编码器1420可通过使用根据针对基本层图像的编码结果而确定的编码语法元素来确定用于附加层图像的编码语法元素。
如上所述，附加层编码器1420可基于附加层图像的编码信息对附加层图像进行编码，其中，附加层图像的编码信息是通过根据层间编码模式使用基本层图像的编码信息来确定的。
在本实施例中，附加层编码器1420可针对附加层图像的每个预定编码单元确定层间编码模式。例如，针对每个画面序列确定层间编码模式。可选地，可针对每个并行块(tile)确定层间编码模式。可选地，可针对每个最大编码单元确定层间编码模式。可选地，可针对每个编码单元确定层间编码模式。可选地，可针对编码单元的每个预定组合确定层间编码模式。
也就是说，基于相应的层间编码模式，附加层编码器1420可对每个数据单元执行层间预测或者可不对每个数据单元执行层间预测。
在本实施例中，输出单元1430可输出基本层图像的预测值和编码模式。
在本实施例中，输出单元1430可根据层间编码模式的类型针对附加层图像输出不同信息。
例如，根据第一层间编码模式，附加层编码器1420可根据附加层图像的第一层间编码模式从基本层图像的编码信息推断或预测附加层图像的编码信息。可选地，附加层编码器1420可从基本层图像的编码信息推断或预测附加层图像的编码信息中的一部分。
在此情况下，根据第一层间编码模式，输出单元1430可输出附加层图像的编码信息中的除了从基本层图像推断的信息之外的其余信息。然后，接收端可按照直接接收附加层图像的编码信息的方式来使用接收到的附加层图像的编码信息，并可通过参考基本层图像的编码信息来推断或预测未被发送的附加层图像的编码模式。
在另一实施例中，附加层编码器1420可根据附加层图像的第二层间编码模式从基本层图像的编码信息推断或预测附加层图像的编码信息。
在此情况下，根据第二层间编码模式，输出单元1430可仅输出附加层图像的层间编码模式，而可不发送附加层图像的编码信息。然后，接收端可从基本层图像的编码信息推断或预测附加层图像的编码信息，其中，基本层图像的编码信息包括编码模式、预测值、语法和恢复值中的至少一个。
在本实施例中，附加层编码器1420可基于确定的层间编码模式确定将被附加层的数据单元参考的基本层图像的数据单元。换句话说，可确定被映射到与附加视点数据单元的位置相应的位置的基本层数据单元。附加层编码器1420可通过参考包括以下项中的至少一项的编码信息对附加视点图像执行预测编码：确定的基本层的数据单元的编码模式、预测值、语法和恢复值。
在本实施例中，附加层编码器1420可通过使用附加视点图像的当前数据单元和基本视点图像之间的视差来确定基本视点图像之中的被映射到所述当前数据单元的数据单元的位置。这里，可将与附加视点图像的当前数据单元和基本视点图像之间的视差相关的信息编码为编码信息。
此外，附加层编码器1420可通过使用基本视点深度图像或先前由附加视点图像的邻近数据单元使用的关于视差或深度的信息，确定附加视点图像的当前数据单元和基本视点图像之间的视差。在此情况下，由于可通过使用关于当前数据单元的视差或深度的信息来使用当前数据单元的视差以确定基本视点图像之中的被映射到当前数据单元的数据单元的位置，因此可不单独地对关于当前数据单元的视差的信息进行编码。
如以上参照图1至图13所描述的，基本层图像和附加层图像中的每个图像的数据单元可包括以下单元中的至少一个：最大编码单元、编码单元和包括在编码单元中的预测单元、变换单元和最小单元。
在本实施例中，附加层编码器1420可确定基本层图像之中的与附加层图像的当前数据单元相应的相同类型的数据单元。例如，附加层图像的最大编码单元可参考基本层图像的最大编码单元。附加层图像的编码单元可参考基本层图像的编码单元。
此外，附加层编码器1420可确定基本层图像之中的与附加层图像的当前数据单元组相应的相同组类型的数据单元组。例如，附加层图像的编码单元组可参考基本层图像的编码单元组。附加层图像的变换单元组可参考基本层图像的变换单元组。可通过使用可供参考的基本层图像的数据单元组的编码信息对附加层图像的当前数据单元组进行编码。
附加层编码器1420可对作为图像的数据单元的条带或并行块执行层间编码。例如，附加层编码器1420可通过参考包括与附加层图像的当前条带相应的位置的基本层图像的条带的编码信息来对附加层图像的当前条带进行编码。可选地，附加层编码器1420可通过参考关于基本层图像之中的包括与附加层图像的当前并行块相应的位置的并行块的信息来对附加层图像的当前并行块进行编码。
为了确定基本层图像之中的与附加数据图像的当前数据单元相应的数据单元，附加层编码器1420可根据在亚像素级别的采样精度将上层图像/基本层图像之间的采样点进行比较。例如，附加层编码器1420可按1/12像素级别的采样位置的精度来搜索采样位置，其中，采样位置在与附加层图像相应的基本层图像中。在下层图像/附加层图像之间的2x上采样的情况下，采样精度要求1/4像素位置和3/4像素位置的亚像素级别的精度。在(下层图像/附加层图像之间的)3/2x上采样的情况下，采样精度要求1/3像素位置和2/3像素位置的亚像素级别的精度。
将参照图21详细描述与在基本层图像和附加层图像之间对数据单元进行映射相关的实施例。
附加层编码器1420可在基本层图像的数据单元组之中确定数据单元，其中，所述数据单元与附加层图像的当前数据单元相应，但是在当前数据单元组的类型方面不同。例如，附加层图像的数据单元可参考基本层图像的最大编码单元。附加层图像的预测单元可参考基本层图像的编码单元。附加层编码器1420可通过参考基本层图像的不同类型的数据单元组的编码信息来对附加层图像的当前数据组进行编码。
当针对附加层图像的当前数据单元确定层间预测模式时，附加层编码器1420可通过参考基本层图像执行预测编码来对包括在当前数据单元中的一些下层数据单元执行层间预测，并可对与附加层图像相同的层中的其余下层数据单元执行预测编码。
附加层编码器1420可调整从基本层图像推断的编码信息，并可通过参考调整后的编码信息来确定附加层图像的编码信息。可通过使用确定的附加层图像的编码信息来恢复附加层图像。也可对用于精细地调整从基本层图像推断的编码信息的修正信息进行编码。
因此，层间编码设备1400可分别将基本视点纹理图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像编码在不同层中，并可发送编码信息。
在本实施例中，多视点视频层间编码设备1400基于树结构的编码单元执行编码，因此可与一个或更多个实施例中的视频编码设备100相关。
例如，多视点视频层间编码设备1400的基本层编码器1410可根据由视频编码设备100的最大编码单元划分器110、编码单元确定器120和输出单元130进行的操作，基于树结构的编码单元对基本层图像进行编码。编码单元确定器120可确定数据单元(诸如基本层图像的编码单元、预测单元、变换单元或分区)的编码模式。类似于由输出单元130进行的操作，输出单元1430可输出编码信息，其中，所述编码信息针对基本层图像的每个数据单元被确定并包括编码模式和编码的预测值。
例如，附加层编码器1420也可根据由最大编码单元划分器110、编码单元确定器120和输出单元130进行的操作来执行编码。由附加层编码器1420进行的编码操作可类似于由编码单元确定器120进行的操作，但可基于层间编码模式参考基本层图像的编码信息以便确定用于附加层图像的编码信息。此外，输出单元1430可执行与由输出单元130进行的操作类似的操作，但是基于层间编码模式可不选择性地对附加层的编码信息进行编码。在本实施例中，多视点视频层间编码设备1400可包括通常控制基本层编码器1410、附加层编码器1420和输出单元1430的中央处理器(未示出)。可选地，基本层编码器1410、附加层编码器1420和输出单元1430可分别使用它们各自的处理器(未示出)来进行操作，并且由于处理器彼此交互操作，因此多视点视频层间编码设备1400可相应地进行操作。可选地，根据由多视点视频层间编码设备1400的外部控制器(未示出)进行的控制，可控制基本层编码器1410、附加层编码器1420和输出单元1430。
在本实施例中，多视点视频层间编码设备1400可包括用于存储基本层编码器1410、附加层编码器1420和输出单元1430的输入数据和输出数据的一个或更多个数据存储单元(未示出)。视频编码设备100可包括存储器控制单元(未示出)，其中，存储器控制单元控制所述一个或更多个数据存储单元的数据输入和输出。
在本实施例中，多视点视频层间编码设备1400可与在内部嵌入的内部视频编码处理器或外部视频编码设备交互操作以便输出视频编码结果，使得多视点视频层间编码设备1400可执行包括变换的视频编码操作。多视点视频层间编码设备1400的内部视频编码处理器不仅可与单独的处理器相应，还可与以下情况相应：多视点视频层间编码设备1400的中央处理器或图形操作单元包括视频编码处理模块并因此执行基本视频编码操作。
图15是根据本发明的实施例的多视点视频层间解码设备1500的框图。
在本实施例中，层间解码设备1500包括解析器1510、基本层解码器1520和附加层解码器1530。
多视点视频层间解码设备1500可接收包括编码的视频数据的比特流。解析器1510可从接收到的比特流解析基本层图像的编码信息和附加层图像的层间编码模式。
在本实施例中，层间解码设备1500可接收分别作为单独的层的基本视点图像的纹理图像和深度图像以及附加视点图像的纹理图像和深度图像的多个比特流。不同的附加视点图像的纹理图像的多个比特流可作为不同的层被接收，不同的附加视点图像的深度图像的多个比特流可作为不同的层被接收。解析器1510可从用于每个层的比特流提取编码信息。
基本层解码器1520可通过使用解析出的基本层图像的编码信息来对基本层图像进行解码。基本层图像可以是基本视点纹理图像和基本视点深度图像之一。当多视点视频层间解码设备1500基于树结构的编码单元对视频进行解码时，基本层解码器1520可基于树结构的编码单元对基本层图像的每个最大编码单元执行解码。
在本实施例中，基本层解码器1520可从解析自基本层比特流的基本层图像的编码信息对基本层图像进行解码。在本实施例中，基本层解码器1520可从解析自基本层比特流的编码信息对基本视点纹理图像和基本视点深度图像之一进行解码。
在本实施例中，基本层比特流可以是基本视点纹理图像和基本视点深度图像中的一个的比特流。
例如，基本层解码器1520可仅接收包括基本视点纹理图像的编码信息的比特流。基本层解码器1520可通过使用从接收到的比特流解析出的基本视点纹理图像的编码信息来首先对基本视点纹理图像进行解码。在此情况下，可从附加层比特流恢复基本视点深度图像。
相反地，当基本层解码器1520仅接收包括基本视点深度图像的编码信息的比特流时，可仅恢复基本视点深度图像。在此情况下，可从附加层比特流恢复基本视点纹理图像。
在本实施例中，附加层解码器1530可通过使用由基本层解码器1520解码出的基本层图像的编码信息对附加层图像进行解码。
基本视点纹理图像和基本视点深度图像中的未作为基本层图像的另一图像、附加视点纹理图像和附加视点深度图像可分别作为单独的多个附加层比特流被接收。
附加层解码器1530可通过参考基本层图像或者首先被解码的基本层图像的解析出的编码信息或解析出的编码模式，对基本视点图像的其余部分进行解码。根据层间编码模式的类型，通过参考首先被解码的图像或解析出的编码信息对另一图像进行解码的方法可不同。
通过参考基本层图像的编码模式(即，编码信息)，附加层解码器1530可根据解析出的附加层图像的层间编码模式对附加层图像执行预测解码。类似地，附加层解码器1530可基于树结构的编码单元对附加层图像的每个最大编码单元执行解码。
在本实施例中，附加层解码器1530可通过参考基本视点纹理图像的编码信息对附加视点纹理图像和附加视点深度图像中的至少一个图像进行解码。此外，附加层解码器1530可通过参考基本视点深度图像的编码信息对附加视点纹理图像和附加视点深度图像中的至少一个图像进行解码。
可选地，附加层解码器1530可通过参考首先被解码的附加视点纹理图像、或者附加视点纹理图像的编码信息对附加视点深度图像进行解码。相反地，附加层解码器1530可通过参考首先被解码的附加视点深度图像、或者附加视点深度图像的编码信息对附加视点纹理图像进行解码。
也就是说，在本实施例中，附加层解码器1530可通过参考基本视点纹理图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像的多条编码信息中的至少一条，根据预定层间编码模式对附加视点纹理图像和附加视点深度图像中的另一图像进行解码。
例如，附加视点解码器1530可通过参考基本层图像的编码模式中的以下结构信息中的至少一个结构信息来确定附加层图像的编码模式：编码单元的结构信息和包括在编码单元中的变换单元的结构信息。
例如，附加层解码器1530可通过参考基本层图像的编码模式的以下信息中的至少一个信息来确定附加层图像的编码模式：预测模式信息、分区类型信息、运动信息和帧内信息。
例如，附加层解码器1530可通过参考基本层图像的编码模式中的以下信息中的至少一个信息来确定附加层图像的编码模式：与环路滤波相关的信息、非零系数位置信息、恢复的预测信息和恢复的纹理信息。
附加层解码器1530可基于通过参考基本层图像的编码模式而确定的附加层图像的编码模式来对附加层图像进行解码。
例如，附加层解码器1530可通过参考基本层图像的编码模式中的以下信息中的至少一个信息来确定附加层的预测值：残差信息、系数信息和恢复的预测值。附加层解码器1530可基于确定的附加层图像的预测值对附加层图像进行解码。
解析器1510基于第一层间编码模式解析作为附加层图像的编码模式的信息之中除了从基本层图像的编码模式推断的信息之外的其余信息。在此情况下，附加层解码器1530可从基本层图像的编码模式推断或预测未解析的关于附加层图像的编码模式的信息。
可选地，解析器1510可根据第一层间编码模式对作为附加层图像的预测值的信息之中除了从基本层图像的预测值推断的信息之外的其余信息进行解析。在此情况下，附加层解码器1530可从基本层图像的预测值推断或预测未解析的关于附加层图像的预测值的信息。
解析器1510可仅解析指示附加层图像基于第二层间编码模式的层间编码模式信息。在此情况下，附加层解码器1530可从基本层图像的编码信息推断或预测附加层图像的编码信息。
此外，附加层解码器1530可根据从比特流解析出的附加层图像的层间编码模式来确定将被附加层图像的数据单元参考的基本层图像的数据单元。也就是说，可确定被映射到与附加层图像的数据单元的位置相应的位置的基本层图像的数据单元。附加层解码器1530可通过参考确定的基本层图像的数据单元的编码信息对附加层图像执行预测解码。可基于树结构的编码单元对附加层图像进行预测解码。
在本实施例中，附加层解码器1530可通过使用与附加视点图像的当前数据单元和基本视点图像之间的视差相关的改变信息，确定将被附加视点图像的当前数据单元参考的基本层图像的数据单元。当解析器1510首先解析附加视点图像的当前数据单元和基本视点图像之间的视差信息时，可通过使用解析出的改变信息来确定将被附加视点图像的当前数据单元参考的基本视点图像的数据单元的位置。
在本实施例中，附加层解码器1530可通过使用在基本视点深度图像或附加视点图像的邻近数据单元中被先前使用的改变信息或深度信息，确定附加视点图像的当前数据单元和基本视点图像之间的视差信息。通过使用确定的改变信息，可确定被映射到当前数据单元的基本视点图像的数据单元的位置。当未首先解析附加视点图像的当前数据单元和基本视点图像之间的视差信息时，可参考先前在对另一数据单元进行解码时使用的改变信息或深度信息来确定基本视点图像的数据单元的位置。
附加层解码器1530可根据按亚像素级别的采样精度来搜索与附加层图像的样点相应的基本层图像的样点的位置，以便确定与附加层图像的当前数据单元相应的基本层图像的数据单元。
附加层解码器1530可确定基本层图像之中的与附加层图像的当前数据单元相应的相同类型的数据单元。附加层解码器1530可通过参考确定的基本层图像的数据单元的编码信息来确定附加层图像的当前数据单元的编码信息，并可通过使用确定的当前数据单元的编码信息对当前数据单元进行解码。
附加层解码器1530可确定基本层图像之中的与附加层图像的当前数据单元组相应的相同组类型的数据单元组。附加层解码器1530可通过参考确定的基本层图像的数据单元组的编码信息来确定附加层图像的当前数据单元组的编码信息，并可通过使用当前数据单元组的编码信息对当前数据单元组进行解码。
附加层解码器1530可通过参考基本层图像的当前条带信息和并行块信息中的至少一个来确定附加层图像的当前条带信息和并行块信息中的至少一个。
此外，附加层解码器1530可确定基本层图像之中的与附加层图像的当前数据单元相应的不同类型的数据单元，然后可通过参考基本层图像的数据单元的编码信息来确定附加层图像的当前数据单元的编码信息。例如，附加层解码器1530可通过全部使用基本层图像的预定编码单元的编码信息来确定附加层图像的当前最大编码单元的编码信息。
此外，附加层解码器1530可确定基本层图像之中的与附加层图像的当前数据单元组相应的不同类型的数据单元组，然后可通过参考基本层图像的数据单元组的编码信息来确定附加层图像的当前数据单元组的编码信息。例如，附加层解码器1530可通过全部使用基本层图像的预定编码单元组的编码信息来确定附加层图像的当前最大编码单元组的编码信息。
当针对附加层图像的当前数据单元确定层间预测模式时，附加层解码器1530可通过参考基本层图像对包括在当前数据单元中的一些下层数据单元进行解码，并可对与附加层图像相同的层中的剩余的下层数据单元进行解码。
附加层解码器1530可修改从基本层图像推断的编码信息，然后可通过参考修改后的编码信息来确定附加层图像的编码信息。附加层解码器1530可通过使用确定的附加层图像的编码信息来恢复附加层图像。解析器1510可对修正信息进行解析，附加层解码器1530可基于解析出的修正信息来修改从基本层图像推断的编码信息。
因此，层间解码设备1500可经由不同的层分别单独地恢复基本视点纹理图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像。
在本实施例中，多视点视频层间解码设备1500基于树结构的编码单元执行解码，并因此可与一个或更多个实施例中的视频解码设备200相关。
例如，多视点视频层间解码设备1500的解析器1510可根据视频解码设备200的接收器210的操作来接收比特流，然后可根据视频解码设备200的图像数据和编码信息提取器220的操作来解析关于基本层图像的编码信息和关于附加层图像的编码信息。解析器1510可针对数据单元(诸如基本层图像的编码单元、预测单元、变换单元或分区)解析编码信息。这里，解析器1510基于层间预测模式，可不选择性地解析关于附加层图像的编码信息。
例如，与由视频解码设备200的图像数据解码器230进行的操作类似，基本层解码器1520可通过使用解析出的编码信息基于树结构的编码单元对基本层图像进行解码。
与由视频解码设备200的图像数据解码器230进行的操作类似，附加层解码器1530可通过使用解析出的编码信息基于树结构的编码单元对附加层图像进行解码。这里，附加层解码器1530可根据层间编码模式通过参考基本层图像的编码信息来确定用于附加层图像的编码信息，然后可执行解码。
在本实施例中，多视点视频层间解码设备1500可包括通常控制解析器1510、基本层解码器1520和附加层解码器1530的中央处理器(未示出)。可选地，解析器1510、基本层解码器1520和附加层解码器1530可通过分别使用它们各自的处理器(未示出)来进行操作，并且由于处理器彼此交互操作，因此多视点视频层间解码设备1500可相应地进行操作。可选地，根据由多视点视频层间解码设备1500的外部处理器(未示出)进行的控制，可控制解析器1510、基本层解码器1520和附加层解码器1530。
在本实施例中，多视点视频层间解码设备1500可包括用于存储解析器1510、基本层解码器1520和附加层解码器1530的输入数据和输出数据的一个或更多个数据存储单元(未示出)。多视点视频层间解码设备1500可包括存储器控制单元(未示出)，其中，存储器控制单元控制所述一个或更多个数据存储单元的数据输入和输出。
在本实施例中，为了通过对视频进行解码来恢复视频，多视点视频层间解码设备1500可与在内部嵌入的内部视频解码处理器或外部视频解码处理器交互操作，使得多视点视频层间解码设备1500可执行包括逆变换的视频解码操作。多视点视频层间解码设备1500的内部视频解码处理器不仅可与单独的处理器相应，而且可与以下情况相应：多视点视频层间解码设备1500的中央处理器或图形操作单元包括视频解码处理模块并因此执行基本视频解码操作。
在本实施例中，多视点视频层间编码设备1400和多视点视频层间解码设备1500可单独地确定用于每个序列、条带或画面的层间预测方法。例如，可单独确定用于第一画面(或序列或条带)的层间预测方法和用于第二画面的层间预测方法。
此外，在推断的层间预测下，可通过参照基本层数据单元的至少两条编码信息来预测附加层数据单元的编码信息。也就是说，已确定将被参考的至少两条编码信息。例如，针对基本层数据单元被确定的多条编码信息被全部使用，使得用于附加层数据单元的多条编码信息可被确定。当多视点视频层间编码设备1400对附加层数据单元执行推断的层间预测时，多视点视频层间解码设备1500也可确定与附加视点图像相应的基本层数据单元，并可通过全部使用基本层数据单元的多条编码信息来确定附加视点数据单元的多条编码信息。
此外，对于层间预测，基本层数据单元的编码信息可被修改或可被减少，然后被使用。例如，为了预测附加视点数据单元的运动矢量，可将基本层分区的运动矢量向下修改到特定像素级别(诸如整像素级别或1/2像素级别的亚像素级别)的精度，然后被使用。如另一示例，多个基本层分区的运动矢量可被融合为一个矢量，然后可被用作附加视点分区的运动矢量。
在下文中，参照图16至图22详细描述由层间编码设备1400和层间解码设备1500使用的层间预测方法。
图16是根据本发明的实施例的层间编码系统1600的框图。
层间编码系统1600包括基本层编码端1610、附加层编码端1660以及在基本层编码端1610和附加层编码端1660之间的层间预测端1650。基本层编码端1610和附加层编码端1660可分别具有基本层编码器1410和附加层编码器1420的详细配置。
层间编码方法可将多视点视频分类为根据视点的多层图像、纹理图像和深度图像。在下文中，为了便于描述，在层间编码系统1600区分地对作为基本层图像的基本视点纹理图像进行编码，并对作为附加层图像的基本视点深度图像、附加视点纹理图像或附加视点深度图像进行编码的同时，层间编码系统1600对多视点视频进行编码。
基本层编码端1610接收基本层图像序列，并对每个图像进行编码。附加层编码端1660接收附加层图像序列，并对每个图像进行编码。同时描述由基本层编码端1610和附加层编码端1660进行的操作之中彼此重叠的操作。
经由块划分器1618或1668将输入图像(低分辨率图像或高分辨率图像)划分为最大编码单元、编码单元、预测单元或变换单元。为了对从块划分器1618或1668输出的编码单元进行编码，可对编码单元的每个预测单元执行帧内预测或帧间预测。根据预测开关1648或1698将预测单元的预测模式指示为帧内预测模式还是指示为帧间预测模式，可通过参考从运动补偿器1640或1690输出的先前恢复的图像来执行帧间预测，或者可通过使用从帧内预测器1645或1695输出的当前输入图像中的当前预测单元的邻近预测单元来执行帧内预测。可经由帧间预测来产生用于每个预测单元的残差信息。
根据每个预测单元，关于每个预测单元和邻近图像的残差信息输入到变换器和量化器1620或1670。变换器和量化器1620或1670可基于编码单元的变换单元通过对每个变换单元执行变换和量化来输出量化后的变换系数。
缩放器和逆变换器1625或1675可根据编码单元的每个变换单元对量化后的变换系数执行缩放和逆变换，并因此可产生关于空间域的残差信息。当通过预测开关1648或1698的控制而指示帧间模式时，将残差信息和先前恢复的图像或邻近预测单元进行合并，使得可产生包括当前预测单元的恢复图像，并且可将当前恢复的图像存储在存储器1630或1680中。当前恢复的图像可根据下次将被编码的预测单元的预测模式被传送到帧内预测器1645或1695和运动补偿器1640或1690。
在帧间模式下，环路(in-loop)滤波单元1635或1685可根据每个编码单元对存储在存储器1630或1680中的恢复图像执行以下滤波中的至少一个滤波：去块滤波、样点自适应偏移(SAO)滤波和自适应环路滤波(ALF)滤波。可对包括在编码单元中的预测单元和变换单元中的至少一个以及编码单元执行去块滤波、SAO滤波和ALF滤波中的至少一个滤波。
去块滤波是用于减轻数据单元的块现象的滤波，SAO滤波是用于补偿由于数据编码和解码而被改变的像素值的滤波，ALF滤波是用于使恢复图像和原始图像之间的误差(即，均方误差(MSE))最小化的滤波。经环路滤波单元1635或1685滤波的数据可根据每个预测单元被传送到运动补偿器1640或1690。为了对从块划分器1618或1668输出的下一目标编码单元进行编码，可产生关于从块划分器1618或1668输出的下一目标编码单元和从运动补偿器1640或1690输出的当前恢复图像的残差信息。
可按这种方式，对输入图像的每个编码单元重复前述编码操作。
对于层间预测，附加层编码端1660可参考基本层编码端1610的存储器1630中的恢复图像。基本层编码端1610的编码控制器1615可通过控制基本层编码端1610的存储器1630来将基本层编码端1610的恢复图像传送到附加层编码端1660。在层间预测端1650中，环路滤波单元1655可对从基本层编码端1610的存储器1630输出的恢复的基本层图像执行去块滤波、SAO滤波和ALF滤波中的至少一个滤波。当基本层和附加层具有不同的分辨率时，层间预测端1650可对基本层的恢复图像执行上采样，并将上采样后的恢复图像传递给附加层编码端1660。当通过附加层编码端1660的开关1698的控制来执行层间预测时，可通过参考由层间预测端1650传递的恢复的基本层图像对附加层图像执行层间预测。
对于图像编码，可设置用于编码单元、预测单元和变换单元的各种编码模式。例如，可将深度或划分信息(例如，划分标记)设置为用于编码单元的编码模式。可将预测模式、分区类型、帧内方向信息或参考列表信息设置为用于预测单元的编码模式。可将变换深度或划分信息设置为变换单元的编码模式。
基本层编码端1610可通过应用用于编码单元的各种深度中的每种深度、用于预测单元的各种预测模式中的每种预测模式、各种分区类型中的每种分区类型、各种帧内方向中的每种帧内方向、各种参考列表中的每种参考列表以及用于变换单元的各种变换深度中的每种变换深度来执行编码，然后可根据编码的结果来确定实现最高编码效率的编码深度、预测模式、分区类型、帧内方向/参考列表、变换深度等。由基本层编码端1610确定的编码模式的示例不限于上述编码模式。
基本层编码端1610的编码控制器1615可控制各种编码模式以适当地应用于每个元件的操作。此外，对于由附加层编码端1660对多视点视频进行的层间编码，编码控制器1615可控制附加层编码端1660通过参考基本层编码端1610的编码结果来确定编码模式或残差信息的。
例如，附加层编码端1660可将基本层编码端1610的编码模式全部用作用于附加层图像的编码模式，或者可通过参考基本层编码端1610的编码模式来确定用于附加层图像的编码模式。
基本层编码端1610的编码控制器1615可控制附加层编码端1660的编码控制器1665的控制信号，使得附加层编码端1660可从基本层编码端1610的编码模式来使用当前编码模式，以便确定当前编码模式。
与根据图16中示出的层间预测方法的多视点视频层间编码系统1600类似，可实现根据层间预测方法的多视点视频层间解码系统。也就是说，多视点视频层间解码系统可接收基本层比特流和附加层比特流。多视点视频层间解码系统的基本层解码端可对基本层比特流进行解码，因此可产生恢复的基本层图像。多视点视频层间解码系统的附加层解码端可通过使用恢复的基本层图像和解析出的编码信息对附加层比特流进行解码，因此可产生恢复的附加层图像。
上述层间预测与基本层图像是基本视点纹理图像的情况相应，但是基本层图像可以是基本视点深度图像。
当基本层图像是基本视点纹理图像或基本视点深度图像，并且附加层图像是附加层纹理图像或附加层深度图像时，层间预测可与不同视点之间的视点间预测相应。然而，当基本层图像是预定视点纹理(或深度)图像，并且附加层图像是预定视点深度(或纹理)图像时，层间预测可与具有相同视点的纹理图像和深度图像之间的预测相应。
图17示出根据本发明的实施例的用于多视点视频的层间编码系统1700。
在本实施例中，层间编码系统1700可根据视点包括HEVC视频编码器1740、1750和1760以及深度图编码器1745、1755和1765。深度图指示图像的深度分量被二维表示的图像类型。在本实施例中，HEVC视频编码器1740、1750和1760中的每个HEVC视频编码器可根据YUV彩色格式对彩色图像的纹理图像进行编码。
基本视点YUV纹理图像1710和基本视点深度图1715、第一附加视点YUV纹理图像1720和第一附加视点深度图1725以及第二附加视点YUV纹理图像1730和第二附加视点深度图1735作为单独的层图像被分别编码。
可由HEVC视频编码器1740根据HEVC标准对基本视点YUV纹理图像1710进行编码，可由深度图编码器1745对基本视点深度图1715进行编码。参照图17，根据HEVC标准对基本视点YUV纹理图像1710进行编码，然而，可根据H.264标准对基本视点YUV纹理图像1710进行编码。
可由第一附加视点视频编码器1750对第一附加视点YUV纹理图像1720进行编码，可由深度图编码器1755对第一附加视点深度图1725进行编码。此外，可由第二附加视点HEVC视频编码器1760对第二附加视点YUV纹理图像1730进行编码，可由深度图编码器1765对第二附加视点深度图1735进行编码。
这里，为了对基本视点深度图1715进行编码，深度图编码器1745可参考HEVC视频编码器1740通过对基本视点YUV纹理图像1710进行编码而产生的编码信息或符号。
除了用于基本视点深度图1715的深度图编码器1745之外，用于第一附加视点YUV纹理图像1720的第一附加视点视频编码器1750、以及用于第二附加视点YUV纹理图像1730的第二附加视点视频编码器1760也可根据层间预测模式，通过参考HEVC视频编码器1740通过对基本视点YUV纹理图像1710进行编码而产生的编码信息或符号，分别对第一附加视点YUV纹理图像和第二附加视点YUV纹理图像进行编码。
深度图编码器1755和1765可根据层间预测模式，通过参考用于基本视点深度图的深度图编码器1745通过对基本视点深度图1715进行编码而产生的编码信息或符号，分别对第一附加视点深度图1725和第二附加视点深度图1735执行预测编码。
根据层间预测模式，第一附加视点视频编码器1750和第二附加视点视频编码器1760可通过参考深度图编码器1745通过对基本视点深度图1715进行编码而产生的编码信息或符号，分别对第一附加视点YUV纹理图像1720和第二附加视点YUV纹理图像1730执行预测编码。
此外，为了对第一附加视点深度图1725进行编码，深度图编码器1755可参考第一附加视点视频编码器1750通过对第一附加视点YUV纹理图像1720进行编码而产生的编码信息或符号。用于第二附加视点YUV纹理图像1730的第二附加视点视频编码器1760可参考由第一附加视点视频编码器1750产生的第一附加视点YUV纹理图像1720的编码信息或符号。
根据层间预测模式，深度图编码器1765可通过参考用于第一附加视点深度图的深度图编码器1755可通过对第一附加视点深度图1725进行编码而产生的编码信息或符号，对第二附加视点深度图1735执行预测编码。根据特定层间预测模式，为了对第二附加视点YUV纹理图像1730进行编码，第二附加视点视频编码器1760可参考由深度图编码器1755产生的第一附加视点深度图1725的编码信息或符号。
因此，当根据视点的纹理图像以及根据视点的深度图作为单独的层被编码时，可参考从另一第一编码的层图像产生的编码信息或符号来对当前的层图像进行预测编码。
由以下编码器得到的编码结果可由复用器1770复用并因此被输出为一个比特流：用于基本视点图像的HEVC视频编码器1740和深度图编码器1745、用于第一附加视点图像的第一附加视点视频编码器1750和深度图编码器1755、用于第二附加视点图像的第二附加视点视频编码器1760和深度图编码器1765。
在另一实施例中，层间编码系统1700可通过根据分别来自以下编码器的多个层分别输出多条编码信息或符号来根据所述多个层输出多个比特流：HEVC视频编码器1740、深度图编码器1745、第一附加视点视频编码器1750、深度图编码器1755、第二附加视点视频编码器1760和深度图编码器1765。
因此，可经由用于多视点视频的层间编码系统1700，同时对从多视点视频划分的YUV纹理图像和深度图像进行编码。
图18示出根据本发明的实施例的用于多视点视频服务的发送和接收系统1800。
用于多视点视频服务的发送和接收系统1800的发送端1810可对用于3D视频服务的多视点视频进行编码并发送编码后的多视点视频。具体地，可将多视点视频画面1812与深度图1814或相机参数1816编码为3D视频编码输入格式。3D视频编码器1815可根据视点间预测模式对视频画面1812执行视点间预测，或者可在视频画面1812和深度图1814之间执行预测。3D视频编码器1815可发送包括关于3D视频的编码信息的比特流。
根据发送和接收系统1800中的接收端1820、1830和1840中的每个接收端的再现能力，可从比特流选择可再现的图像格式，然后可对所选择的可再现的图像格式进行解码。
也就是说，2D接收端1840可选择、接收并解码2D比特流，立体接收端1830可选择、接收并解码立体比特流，3D接收端1820可选择、接收并解码3D比特流。
当比特流提取器1850仅从由发送端1810发送的比特流提取2D图像比特流时，2D接收端1840可接收2D图像比特流，并且2D视频解码器1845可对2D图像比特流进行解码，并因此可恢复2D视频画面1842。可由2D显示装置1890二维地再现2D视频画面1842。
当比特流提取器1850仅从由发送端1810发送的比特流提取立体图像比特流时，立体接收端1830可接收立体图像比特流，立体视频解码器1835可对立体图像比特流进行解码，并因此可恢复左视点画面和右视点画面1832。可由立体显示装置1880根据立体方式三维地再现左视点画面和右视点画面1832。
3D接收端1820可接收由发送端1810发送的比特流，3D视频解码器1825可对比特流进行解码，并因此可恢复多视点画面1822、深度图1824和相机参数1826。
可通过使用中间视点合成器1860将多视点画面1822与深度图1824或相机参数1826合成来产生随机中间视点图像。因此，可产生多于实际发送的多视点图像的数量的众多中间视点图像。因此，可由多视点显示装置1870显示包括由中间视点合成器1860产生的合成视点图像的总共N个视点图像。
图19示出根据本发明的实施例的多视点视频的层间预测结构。
基于根据本实施例的层间预测方法，可将来自相同视点图像的YUV纹理图像和深度图像编码到不同层中。此外，具有不同视点的图像编码可作为单独的层被编码。因此，中央视点YUV纹理图像1910、中央视点深度图像1920、左视点YUV纹理图像1930、左视点深度图像1940、右视点YUV纹理图像1950和右视点深度图像1960可作单独的层被编码。
例如，在对中央视点YUV纹理图像1910进行编码之后，可通过参考中央视点YUV纹理图像1910的编码信息或符号，对左视点YUV纹理图像1930和右视点YUV纹理图像1950中的至少一个进行编码。
在中央视点深度图像1920进行编码之后，可通过参考中央视点深度图像1920的编码信息或符号，对左视点深度图像1940和右视点深度图像1960中的至少一个进行编码。
可不固定具有相同视点的YUV纹理图像和深度图像的编码顺序。
当中央视点YUV纹理图像1910被首先编码时，可通过参考中央视点YUV纹理图像1910的编码信息或符号对中央视点深度图像1920进行编码。在中央视点深度图像1920被首先编码的情况下，可通过参考中央视点深度图像1920的编码信息或符号对中央视点YUV纹理图像1910进行编码。
在对左视点YUV纹理图像1930进行编码之后，可通过参考左视点YUV纹理图像1930的编码信息或符号对左视点深度图像1940进行编码。在左视点深度图像1940被首先编码的情况下，可通过参考左视点深度图像1940的编码信息或符号对左视点YUV纹理图像1930进行编码。
在对右视点YUV纹理图像1950进行编码之后，可通过参考右视点YUV纹理图像1950的编码信息或符号对右视点深度图像1960进行编码。在右视点深度图像1960被首先编码的情况下，可通过参考右视点深度图像1960的编码信息或符号对右视点YUV纹理图像1950进行编码。
虽然图19中未示出，但是可通过参考中央视点YUV纹理图像1910对左视点深度图像1940进行编码，并且可通过参考中央视点深度图像1920对右视点YUV纹理图像1950进行编码。也就是说，可通过参考不同视点YUV纹理图像对当前视点深度图像进行编码，或者，可通过参考不同视点深度图像对当前视点YUV纹理图像进行编码。
到目前为止已经描述了编码过程，并且在这点上，需根据与编码处理中的参考关系等同的参考关系来执行解码。因此，可通过参考不同视点YUV纹理图像对当前视点深度进行解码，或者，可通过参考不同视点深度图像对当前视点YUV纹理图像进行解码。
图20示出根据本发明的实施例的层间预测模式的类型。
当对附加层图像的多视点视频执行层间编码时，可设置是否执行层间预测2010，其中，层间预测2010涉及通过使用用于基本层图像的编码模式对附加层图像进行编码。当执行层间预测2010时，可执行层间帧内预测2020或第一层间运动预测2030。当不执行层间预测2010时，可执行第二层间运动预测2040或一般运动预测(非层间运动预测)2050。
此外，当对附加层图像的多视点视频执行层间编码时，无论是否执行层间预测2010，都可执行层间残差预测2060或一般残差预测2070。
例如，根据层间帧内预测2020，可通过参考与附加层图像相应的基本层图像的采样值来预测所述附加层图像的采样值。根据第一层间运动预测2030，可将通过对与附加层图像相应的基本层图像执行帧间预测而获得的预测单元的分区类型、参考索引、运动矢量等全部用作附加层图像的帧间模式。参考索引指示参考包括在参考列表中的参考图像的顺序。
例如，根据第二层间运动预测2040，根据帧间预测的基本层图像的编码模式可被参考为附加层图像的编码模式。例如，虽然可通过全部采用基本层图像的参考索引来确定附加层图像的参考索引，但是可通过参考基本层图像的运动矢量来预测附加层图像的运动矢量。
例如，根据一般运动预测(非层间运动预测)2050，无论针对基本层图像的编码结果如何，可都通过参考附加层图像序列的其它图像来执行用于附加层图像的运动预测。
此外，当对附加层图像的多视点视频执行层间编码时，无论是否执行层间预测2010，都可执行层间残差预测2060或一般残差预测2070。
根据层间残差预测2060，可通过参考基本层图像的残差信息来预测附加层图像的残差信息。根据一般残差预测2070，可通过参考附加层图像序列的其它图像来预测当前附加层图像的残差信息。
如以上参照图20所描述的，可执行层间预测，使得可对多视点视频的附加层图像执行层间编码。根据层间预测，可选择性地执行“层间模式预测”、“层间残差预测”以及“层间帧内预测”，其中，通过“层间模式预测”，附加层图像的编码模式被确定，通过“层间残差预测”，附加层图像的残差信息经由使用基本层图像的残差信息被确定，通过“层间帧内预测”，附加层图像仅在基本层图像指示帧内模式时经由参考基本层图像被预测编码。
可选地，可针对每个编码单元或每个预测单元确定是否执行层间模式预测、是否执行层间残差预测或是否执行层间帧内预测。
在另一示例中，可针对指示帧间模式的多个分区分别确定参考列表，并且，可针对每个参考列表确定是否执行层间运动预测。
例如，当对附加层图像的当前编码单元(即，预测单元)执行层间模式预测时，可将与附加层图像相应的基本层图像的编码单元(即，预测单元)的预测模式确定为附加层图像的当前编码单元(预测单元)的编码模式。
在下文中，为了便于描述，“附加层图像/基本层图像的当前编码单元(预测单元)”被称为“附加层数据单元/基本层数据单元”。
也就是说，当基本层数据单元在帧内模式下被编码时，可对附加层数据单元执行层间帧内预测。当基本层数据单元在帧间模式下被编码时，可对附加层数据单元执行层间运动预测。
然而，当在与附加层数据单元相应的位置处的基本层数据单元在帧间模式下被编码时，还可确定是否对附加层数据单元执行层间残差预测。当基本层数据单元在帧内模式下被编码，并且帧间残差预测被执行时，可通过使用基本层数据单元的残差信息来预测附加层数据单元的残差信息。当基本层数据单元在帧间模式下被编码，并且层间残差预测未被执行时，可在不参考基本层数据单元的残差信息的情况下，通过对附加层数据单元执行运动预测来确定附加层数据单元的残差信息。
此外，当未对附加层数据单元执行层间模式预测时，可根据附加层数据单元的预测模式是跳过模式、是帧间模式、还是帧内模式来确定层间预测方法。例如，当附加层数据单元的预测模式是帧间模式时，可确定是否对分区的每个参考列表执行层间运动预测。当附加层数据单元的预测模式是帧内模式时，可确定是否执行层间帧内预测。
可针对每个数据单元选择性地确定是否执行层间模式预测、是否执行层间残差预测或是否执行层间帧内预测。例如，层间编码设备1400可预先设置是否对每个条带的数据单元执行层间预测。此外，根据层间编码设备1400是否执行层间预测，层间解码设备1500可确定是否对每个条带的数据单元执行层间预测。
例如，层间编码设备1400可设置是否对每个条带的数据单元执行层间运动预测。此外，根据层间编码设备1400是否执行层间运动预测，层间解码设备1500可确定是否对每个条带的数据单元执行层间运动预测。
如另一示例，层间编码设备1400可设置是否对每个条带的数据单元执行层间残差预测。此外，根据层间编码设备1400是否执行层间残差预测，层间解码设备1500可确定是否对每个条带的数据单元执行层间残差预测。
在下文中，进一步描述对附加层数据单元进行层间预测的操作。
-多视点视频层间编码设备1400可设置是否对每个附加层数据单元执行层间模式预测。当对每个附加层数据单元执行层间模式预测时，可仅发送附加层数据单元的残差信息，并且可不发送关于编码模式的信息。
根据多视点视频层间编码设备1400是否对每个数据单元执行层间模式预测，多视点视频层间解码设备1500可确定是否对每个附加层数据单元执行层间模式预测。
根据多视点视频层间编码设备1400是否对每个数据单元执行层间模式预测，多视点视频层间解码设备1500也可确定是否对每个附加层数据单元执行层间模式预测。基于层间模式预测是否被执行，可确定是否将基本层数据单元的编码模式全部应用为附加层数据单元的编码模式。当层间模式预测被执行时，多视点层间解码设备1500不会单独接收并分析附加层数据单元的编码模式，而是可通过使用基本层数据单元的编码模式来确定附加层数据单元的编码单元。在此情况下，多视点视频层间解码设备1500接收并分析附加层数据单元的残差信息就足够了。
-当层间模式预测被执行，并且与附加层数据单元相应的基本层数据单元在帧内模式下被编码时，多视点视频层间解码设备1500可对附加层数据单元执行“层间帧内预测”。
首先，可对具有帧内模式的基本层数据单元的恢复图像进行去块滤波。
对与附加层数据单元相应的基本层数据单元的去块滤波后的恢复图像的一部分进行上采样。例如，可经由4抽头滤波对附加层数据单元的亮度分量进行上采样，并可经由双线性滤波对色度分量进行上采样。
可跨过预测单元的分区边界来执行上采样滤波。这里，如果邻近数据单元未被帧内编码，则在边界区域处的当前数据单元的分量可延伸到所述边界区域之外的区域，然后用于上采样滤波的样点可被产生，使得基本层数据单元可被上采样。
-当层间模式预测被执行，并且与附加层数据单元相应的基本层数据单元在帧间模式下被编码时，多视点视频层间解码设备1500可对附加层数据单元执行“层间运动预测”。
首先，可参考具有帧间模式的基本层数据单元的分区类型、参考索引、运动矢量等。可对与附加层数据单元相应的基本层数据单元进行上采样，并因此可确定附加层数据单元的分区类型。例如，当基本层分区的尺寸为M×N时，可将通过对基本层分区进行上采样而获得的尺寸为2M×2N的分区确定为附加层分区。
用于附加层分区的上采样分区的参考索引可被确定为等于基本层分区的参考索引。可通过按照与上采样率相等的比率扩展基本层分区的运动矢量，来获得用于附加层分区的上采样分区的运动矢量。
-当在不使用层间模式预测的情况下将附加层数据单元确定为帧间模式时，多视点视频层间解码设备1500可确定是否对附加层数据单元执行层间运动预测。
可确定是否对每个附加层分区的每个参考列表执行层间运动预测。当多视点视频层间解码设备1500执行层间运动预测时，可通过参考与附加层分区相应的基本层分区的参考索引和运动矢量来确定附加层分区的参考索引和运动矢量。
-当在不使用层间模式预测的情况下将附加层数据单元确定为帧内模式时，多视点视频层间解码设备1500可确定是否对附加层数据单元的每个分区执行层间帧内预测。
当层间帧内预测被执行时，对通过对与附加层数据单元相应的基本层数据单元进行解码而获得的恢复图像执行去块滤波，并对去块滤波后的恢复图像执行上采样。例如，可在对亮度分量进行上采样时使用4抽头滤波器，可在对色度分量进行上采样时使用双线性滤波器。
可通过参考基本层数据单元的上采样后的恢复图像来在帧内模式下预测附加层数据单元，使得可产生附加层数据单元的预测图像。通过将附加层数据单元的预测图像与附加层数据单元的残差图像合成，可产生附加层数据单元的恢复图像。可对产生的恢复图像执行去块滤波。
在本实施例中，层间预测不限于在特定条件下被执行。例如，可能存在受限的允许帧内预测的层间帧内预测，其中，所述层间帧内预测仅在满足基本层数据单元在帧内模式下被编码的条件时使用基本层数据单元的上采样后的恢复图像。然而，当所述条件未被满足或者多环路解码被执行时，多视点视频层间解码设备1500也可根据多视点视频层间编码设备1400是否执行层间帧内预测来执行完整的层间帧内预测。
-当在与附加层数据单元相应的位置处的基本层数据单元指示帧间模式时，多视点视频层间解码设备1500可确定是否对附加层数据单元执行层间残差预测。无论层间模式预测如何，都可确定是否执行层间残差预测。
当附加层数据单元指示跳过模式时，不能执行层间残差预测，使得可能不能确定是否执行层间残差预测。如果多视点视频层间解码设备1500不执行层间残差预测，则可通过使用附加层图像在一般帧间模式下对当前附加层预测单元进行解码。
当层间残差预测被执行时，多视点视频层间解码设备1500可根据数据单元对基本层数据单元的残差信息进行上采样，并可参考用于附加层数据单元的残差信息。例如，可经由双线性滤波对变换单元的残差信息进行上采样。
可将基本层数据单元的上采样后的残差信息与附加层数据单元的运动补偿的预测图像进行合并，使得可产生由于层间残差预测而得到的预测图像。因此，可重新产生附加层数据单元的原始图像和由于层间残差预测而产生的预测图像之间的残差图像。相反地，多视点视频层间解码设备1500可从比特流读取用于附加层数据单元的层间残差预测的残差图像，可将读取的残差图像、基本层数据单元的上采样后的残差信息、附加层数据单元的运动补偿后的预测图像进行合并，并因此产生恢复图像。
以上，作为层间预测的示例，详细描述了附加层数据单元的层间模式预测、层间残差预测和层间帧内预测的操作。这里，可将层间预测的示例应用于多视点视频层间编码设备1400和多视点视频层间解码设备1500，因此，根据一个或更多个实施例的层间预测不限于此。
<在层间预测中可参考的编码信息>
在下文中，详细描述多条编码信息的各种示例，具体地讲，详细描述在层间预测期间在基本层图像和附加层图像之间可参考的关于基本层数据单元的各种类型的编码信息，其中，基本层数据单元包括树结构的编码单元、编码单元的预测单元、分区和变换单元。
-可通过参考关于基本层最大编码单元的编码信息来确定附加层最大编码单元的编码信息。
-可通过根据树结构的编码单元参考关于基本层编码单元的编码信息来确定附加层编码单元的编码信息。
-对于用于树结构的编码单元的包括划分信息或划分深度的“编码单元的结构信息”，可通过参考关于基本层编码单元的结构信息来确定附加层编码单元的结构信息。例如，可通过全部使用关于编码单元的结构信息来确定附加层图像的当前编码单元的结构信息，其中，所述编码单元包括在基本层图像的多个最大编码单元之中的与附加层最大编码单元相应的一个最大编码单元中。因此，包括在附加层最大编码单元中的树结构的编码单元可具有与基本层最大编码单元的树结构的编码单元相同的树结构。
作为一个示例，可将关于基本层编码单元的结构信息应用于附加层编码单元的树结构中的一部分。例如，为了确定在最大编码单元的左下方区域中的编码单元的结构，可参考关于基本层编码单元的结构信息，其中，所述最大编码单元按4个正方形区域被划分并位于包括在附加层最大编码单元中的树结构的编码单元之中。如另一示例，可从关于基本层编码单元的结构信息推断以下编码单元的结构：所述编码单元包括最大编码单元并在包括在附加层最大编码单元中的树结构的编码单元之中被更少次划分。
-对于包括用于具有树结构的变换单元的划分信息或变换深度的“变换单元的结构信息”，可从关于基本层变换单元的结构信息推断附加层变换单元的结构信息。此外，可将关于基本层变换单元的结构信息应用于附加层变换单元的树结构中的一部分。其示例类似于与编码单元的结构信息相关的上述示例。
-在指示预测单元或分区的帧间模式、帧内模式、跳过模式或融合信息的预测模式下，可从基本层预测单元(即，分区)的预测模式推断附加层预测单元(即，分区)的预测模式。
-在指示预测单元、分区的尺寸2N×2N、2N×N、N×2N或N×N、或者不对称形状的分区类型下，可从基本层预测单元(即，分区)的分区类型推断附加层预测单元(即，分区)的分区类型。
-对于变换单元的残差信息，可从基本层变换单元的残差信息推断附加层变换单元的残差信息。此外，可从基本层变换单元的残差信息仅推断附加层变换单元的残差信息中的一部分。
-对于变换单元的变换系数值，可通过参考基本层变换单元的变换系数值推断附加层变换单元的变换系数值。此外，可从基本层变换单元的变换系数值仅推断附加层变换单元的变换系数值中的一部分。例如，可从基本层变换单元的变换系数值仅推断附加层变换单元的变换系数值的DC分量或预定数量的低频分量。
-对于变换单元的变换系数的位置，可从基本层变换单元的变换系数之中的非零变换系数的位置推断附加层变换单元的非零变换系数的位置。
-对于恢复的纹理信息，可通过参考基本层数据单元的恢复的纹理信息来确定附加层数据单元的纹理信息。
-可将基本层数据单元的恢复的预测值(例如，在帧内模式下通过使用在空间上与当前数据单元邻近的邻近数据单元的值而确定的预测值，或在帧间模式下通过使用先前恢复的参考帧执行运动补偿而产生的预测值)全部用作附加层数据单元的预测值。
-可通过参考指示帧间模式的基本层预测单元的帧间预测相关信息，来确定附加层预测单元的帧间预测相关信息。例如，在层间预测时可参考的帧间预测相关信息可包括运动矢量、运动矢量差值(MVD)、参考索引和帧间预测方向(单向/双向)。此外，融合索引和运动补偿方案信息(诸如预测单元的先进运动矢量预测索引(AMVP索引))可被称为帧间预测相关信息。
-可通过参考指示帧内模式的附加层预测单元的帧内预测相关信息，来确定附加层预测单元的帧内预测相关信息。例如，在层间预测时可参考的帧内预测相关信息可包括帧内预测方向、或者作为亮度分量和色度分量之间的预测模式的线性模式和推导模式。线性模式是这样的预测模式：在该预测模式下，从与当前数据单元邻近的邻近数据单元的像素以及当前数据单元的恢复的亮度分量像素来确定色度分量像素的预测值，推导模式是这样的预测模式：在该预测模式下，亮度分量的预测模式全部被用作色度分量的预测模式。
-可通过参考用于基本层数据单元的环路滤波器参数来确定附加层数据单元的环路滤波器参数。例如，在层间预测时可参考的环路滤波器参数可包括作为用于样点自适应偏移(SAO)方法的参数的SAO类型、具有非零带偏移(BO)的带的位置、边缘偏移值和带偏移值。可选地，在层间预测时可参考的环路滤波参数可包括用于自适应环路滤波(ALF)的滤波器分类信息、滤波器系数或滤波开/关标记。
-可通过使用作为对基本层图像进行编码的结果而确定的编码语法来确定用于附加层图像的编码语法。
以上，详细描述了在层间预测时可参考的编码信息的各种实施例。然而，将由多视点视频层间编码设备1400和多视点视频层间解码设备1500参考以便执行层间预测的编码信息不限于上述各种实施例。
多视点视频层间编码设备1400和多视点视频层间解码设备1500可针对每个序列、每个条带或每个画面控制层间预测。例如，对于对第一画面(或序列或条带)的层间预测，可通过参考基本层数据单元的第一编码信息来确定附加层数据单元的第一编码信息，但是对于对第二画面的层间预测，可通过参考基本层数据单元的第二编码信息来确定附加层数据单元的第二编码信息。
然而，基本层数据单元的编码信息并不总以一对一的方式可参考，因此，可通过参考基本层数据单元的至少两条编码信息来预测附加层数据单元的编码信息。
<推断层间预测方法>
在下文中，推断层间预测方法指示这样的预测方法：通过所述预测方法，通过参考基本层数据单元的至少两条编码信息的组合来确定附加层数据单元的编码信息。
例如，当基本层数据单元的多条编码信息被确定时，可通过全部使用基本层数据单元的所述多条编码信息来确定附加层数据单元的多条编码信息。例如，附加层数据单元的第一编码信息、第三编码信息和第五编码信息可被确定为等于基本层数据单元的N条编码信息之中的第一编码信息、第三编码信息和第五编码信息。
此外，根据实施例的多视点视频层间编码设备1400和多视点视频层间解码设备1500可针对序列、画面和条带中的每个单独地控制推断层间预测。此外，可针对一个画面中的最大编码单元、编码单元、预测单元(分区)和变换单元中的每个，单独地控制推断层间预测方法。
可确定是否对序列、画面、条带、最大编码单元、编码单元、预测单元(分区)和变换单元之中的至少一个数据单元单独地执行推断层间预测。例如，可不对第一画面(或序列或条带)执行推断层间预测，但可对第二画面执行推断层间预测。此外，推断层间预测可被允许用于包括在画面的第一最大编码单元中的数据单元，但是可不被允许用于包括在该画面的第二最大编码单元中的数据单元。
此外，可对序列、画面、条带、最大编码单元、编码单元、预测单元(分区)和变换单元之中的至少一个数据单元单独地确定推断层间预测方法。例如，可通过对第一画面(或序列或条带)执行推断层间预测，仅使用基本层数据单元的第一编码信息和第四编码信息，来确定附加层数据单元的第一编码信息和第四编码信息，但是，可通过对第二画面执行推断层间预测，全部使用基本层数据单元的第一编码信息、第二编码信息、第五编码信息和第八编码信息，来确定附加层数据单元的第一编码信息、第二编码信息、第五编码信息和第八编码信息。
更详细地讲，可根据推断层间预测的推断模式，从基本层数据单元预测附加层数据单元的所有编码信息。因此，可不对用于附加层数据单元的编码信息进行编码。根据推断模式，可将用于附加层数据单元的推断模式参数编码为“真”值，然后可完全不对用于附加层数据单元的编码信息进行编码。
例如，根据推断层间预测的推断预测，可从基本层数据单元的编码模式推断附加层数据单元的所有编码模式。因此，可不对可从基本层数据单元推断的附加层数据单元的编码信息的编码模式进行编码。然而，根据推断预测，虽然附加层数据单元的编码模式可全部用自基本层数据单元的编码模式，但是可单独确定附加层数据单元的编码信息的变换系数或残差信息。当用于附加层数据单元的推断预测参数被编码为“真”值时，可对附加层数据单元的变换系数或残差信息进行编码，并且可不对可从基本层数据单元推断的编码模式进行编码。
多视点视频层间解码设备1500可基于推断模式参数不解析关于编码模式和变换系数(或残差信息)的信息。此外，多视点视频层间解码设备1500可基于推断预测参数不解析附加层数据单元的编码模式。
然而，上述推断模式和推断预测是推断层间预测方法的实施例。如上所述，推断层间预测与这样的层间预测方法相应：针对预定的多条编码信息，通过所述层间预测方法，经由全部使用基本层数据单元的多条编码信息来确定附加层数据单元的编码信息。
多视点视频层间编码设备1400可通过使用序列参数集(SPS)、画面参数集(PPS)、自适应参数集(APS)或条带头单独地发送用于指示是否针对每个序列、每个画面或每个条带执行推断层间预测的参数。此外，用于指示是否执行推断层间预测的参数可作为用于最大编码单元、编码单元、变换单元和预测单元(分区)之中的至少一个数据单元的编码模式被发送。
此外，多视点视频层间解码设备1500可从SPS、PPS、APS或条带头解析用于每个序列、每个画面或每个条带的参数。类似地，指示是否根据推断模式或推断预测来执行推断层间预测的信息可被解析为最大编码单元、编码单元、变换单元和预测单元(分区)之中的至少一个数据单元的编码模式。
此外，虽然经由层间预测从关于基本层数据单元的编码模式的信息推断关于附加层数据单元的编码模式的信息，但是可针对附加层数据单元对用于精细地调整推断信息的修正信息进行编码。例如，多视点视频层间解码设备1500可从基本层数据单元的非零系数位置信息推断附加层数据单元的非零系数的位置，并因此可通过使用读取的修正信息来重新调整附加层数据单元的系数值。
例如，用于变换系数的“abs_level_minus_1”参数被读取为变换系数的修正信息。当“abs_level_minus_1”参数指示真值时，这可表示从非零系数的原始值的绝对值减少1的值可作为非零系数信息被发送。因此，将被接收并被解析的非零系数信息增加1，使得可精确地预测附加层数据单元的推断的系数的大小。
修正信息不限于“abs_level_minus_1”参数，并因此可包括用于调整关于各种类型的信息的预测值的参数。
<在层间预测中的上层数据单元/基本层数据单元的映射关系>
由于附加层数据单元和基本层数据单元根据针对多视点视频的层间编码方法在空间分辨率、时间分辨率或图像质量方面彼此不同，因此根据实施例的多视点视频层间编码设备1400和多视点视频层间解码设备1500可确定在层间预测中与附加层数据单元相应的基本层数据单元，然后可参考基本层数据单元。
例如，根据基于空间可伸缩性的可伸缩视频编码和解码方法，基本层图像的空间分辨率不同于附加层图像的空间分辨率，通常，基本层图像的分辨率更低。因此，为了确定与附加层数据单元相应的基本层数据单元的位置，可考虑分辨率的伸缩率(resizingratio)。可随机地确定更低的附加层数据单元的伸缩率。例如，可按亚像素级别(诸如1/16像素的大小)来精确地确定映射位置。
当附加层数据单元和基本层数据单元的位置被表示为坐标时，在确定与附加层数据单元的坐标相映射的基本层数据单元的坐标的过程中使用以下的映射等式1、2、3和4。在映射等式1、2、3和4中，Round()函数输出输入值的舍入值。
映射等式1：
映射等式2：
映射等式3：
映射等式4：
在映射等式1和2中，Bx和By分别指示基本层数据单元的X轴坐标值和Y轴坐标值，Ex和Ey分别指示附加层数据单元的X轴坐标值和Y轴坐标值。Rx和Ry分别指示用于提高在X轴方向和Y轴方向的映射精确性的基准偏移。S指示分辨率的伸缩率。在映射等式3和4中，“BaseWidth”和“BaseHeight”分别指示下层数据单元的宽度和高度，“ScaledBaseWidth”和“ScaledBaseHeight”分别指示上采样后的下层数据单元的宽度和高度。
因此，通过使用分辨率的伸缩率和用于映射精确性的基准偏移，可确定与附加层数据单元的X轴坐标值和Y轴坐标值相应的基本层数据单元的X轴坐标值和Y轴坐标值。
然而，映射等式1、2、3和4仅是本发明的示例性实施例。
在本实施例中，可考虑各种因素来确定用于基本/附加层数据单元的映射位置。例如，可考虑基本/附加层视频的分辨率比率、宽高比率、平移距离和偏移之中的至少一个因素，来确定基本/附加层数据单元的映射位置。
根据实施例的多视点视频层间编码设备1400和多视点视频层间解码设备1500可基于树结构的编码单元执行层间预测。根据树结构的编码单元，编码单元可根据深度被确定，因此，编码单元的大小不相等。因此，与附加层编码单元相应的基本层编码单元的位置需被单独确定。
在下文中，将详细描述在附加层图像的多级数据单元和基本层图像的多级数据单元之间可用的各种映射关系，其中，多级数据单元包括最大编码单元、编码单元、预测单元、变换单元或分区。
图21示出根据本发明的实施例的基本层和附加层之间的映射关系。具体地，图21示出用于基于树结构的编码单元的层间预测的基本层和附加层之间的映射关系。可将被确定与附加层数据单元相应的基本层数据单元称为“参考层数据单元”。
在本实施例中，针对层间预测，确定与附加层最大编码单元2120相应的基本层最大编码单元2110的位置。例如，检查与附加层最大编码单元2120的左上方样点2190相应的样点2180属于基本层数据单元之中的哪个数据单元，使得可确定包括作为左上方样点的样点2180的基本层最大编码单元2110是与附加层最大编码单元2120相应的数据单元。
如果可经由层间预测从基本层编码单元的结构来推断附加层编码单元的结构，则可将包括在附加层最大编码单元2120中的编码单元的树结构确定为等于包括在基本层最大编码单元2110中的编码单元的树结构。
类似于编码单元，包括在根据树结构的编码单元中的分区(预测单元)或变换单元的尺寸可根据相应编码单元的尺寸而变化。此外，虽然分区或变换单元包括在具有相同尺寸的编码单元中，但是分区或变换单元的尺寸可根据分区类型或变换深度而改变。因此，针对基于树结构的编码单元的分区或变换单元，可单独确定与附加层分区或附加层变换单元相应的基本层分区或基本层变换单元的位置。
-在图21中，为了确定用于层间预测的参考层最大编码单元，检查与附加层最大编码单元2120的左上方样点2190的位置相应的基本层最大编码单元2110的预定数据单元(即，样点2180)的位置。类似地，可通过对附加层数据单元的左上方样点相应的基本层数据单元的位置、中心位置或预定位置进行比较来确定参考层数据单元。
-参照图21，另一层的最大编码单元被映射以用于层间预测，并且在这点上，可针对包括最大编码单元、编码单元、预测单元、分区、变换单元、最小单元等的各种编码单元映射所述另一层的数据单元。
-因此，为了确定与用于层间预测的附加层数据单元相应的基本层数据单元，可按照分辨率的空间伸缩率或空间宽高比率来对基本层数据单元进行上采样。此外，可按照基准偏移来移动上采样的位置，使得可精确地确定参考层数据单元的位置。可在多视点视频层间编码设备1400和多视点视频层间解码设备1500之间直接交换关于基准偏移的信息。即使不直接交换关于基准偏移的信息，仍可根据附加层数据单元的邻近运动信息、视差信息或几何形状来预测基准偏移。
例如，当基本视点数据单元和附加视点数据单元之间的视差信息被接收时，按照视差信息的视差来移动与附加视点数据单元相映射的基本视点数据单元，使得可确定精确的映射位置。
即使不接收视差信息，仍可通过参考附加层图像的当前数据单元的邻近数据单元的视差信息或运动信息来估计当前数据单元的视差信息。通过使用估计出的视差信息，可确定与附加层图像的当前数据单元相映射的基本层数据单元。
即使不接收视差信息，仍可通过使用基本层图像的深度图来估计基本层图像和附加层图像之间的视差。通过使用估计出的视差，可确定与附加层图像的当前数据单元相映射的基本层数据单元。
-关于与附加层数据单元的位置相应的基本层数据单元的位置的编码信息可用于针对附加层数据单元的层间预测。可参考的编码信息可包括以下信息中的至少一个：语法、数据单元的结构信息、编码模式、预测值和恢复值。
例如，可从相应的基本层数据单元的结构(最大编码单元的结构、编码单元的结构、预测单元的结构、分区的结构、变换单元的结构等)推断附加层数据单元的结构。
-此外，不仅可对在多个层图像的数据单元之间进行比较的情况执行层间预测，而且可在至少两个数据单元组之间执行层间预测。可确定包括与附加层数据单元组相应的位置的基本层数据单元组。
例如，可将包括基本层数据单元之中的以下数据单元的基本层数据单元组确定为参考层数据单元组：所述数据单元与在附加层数据单元组中的预定位置处的数据单元相应。
-数据单元组信息可指示用于形成一组数据单元的结构条件。例如，可从用于形成基本层图像的一组编码单元的编码单元组信息推断用于附加层编码单元的编码单元组信息。例如，编码单元组信息可包括聚集具有等于或小于预定深度的深度的编码单元以构成编码单元组的条件、聚集比预定总数的单元更少的编码单元来构成编码单元组的条件等。
数据单元组信息可被编码，并可直接在多视点视频层间编码设备1400和多视点视频层间解码设备1500之间交换。在另一示例中，虽然数据单元组信息不被交换，但是可在多视点视频层间编码设备1400和多视点视频层间解码设备1500之间，从基本层数据单元组信息预测附加层数据单元组信息。
-类似于编码单元组信息，可经由层间预测，基于关于基本层最大编码单元(变换单元)的组信息来推断关于附加层最大编码单元(变换单元)的组信息。
-此外，可在上层数据条带/基本层数据条带之间执行层间预测。可通过参考关于包括在与附加层数据单元相应的位置处的基本层数据单元的基本层条带的编码信息，来推断关于包括所述附加层数据单元的附加层条带的编码信息。这里，关于条带的编码信息不仅可包括关于条带结构的信息(诸如条带形状)，还可包括关于包括在条带中的数据单元的多条编码信息。
-此外，可在上层并行块/基本层并行块之间执行层间预测。可通过参考关于包括在与附加层数据单元相应的位置处的基本层数据单元的基本层并行块的编码信息，来推断关于包括附加层数据单元的附加层并行块的编码信息。这里，关于并行块的编码信息不仅可包括关于并行块结构的信息(诸如并行块形状)，还可包括关于包括在并行块中的数据单元的多条编码信息。
-如上所述，附加层数据单元可参考相同类型的基本层数据单元。可选地，附加层数据单元可参考不同类型的基本层数据单元。
在以上的<在层间预测中可参考的编码信息>中，示出了可由附加层数据单元参考的基本层数据单元的各种类型的编码信息。然而，根据一个或更多个实施例，在层间预测中可参考的编码信息不限于所述各种类型的编码信息，并且在层间预测中可参考的编码信息可被解释为作为对附加层图像和基本层图像进行编码的结果而产生的各种类型的数据。
此外，针对层间预测，在上层数据单元/基本层数据单元之间可不仅仅参考一条编码信息，但是可在上层数据单元/基本层数据单元之间参考一条或更多条编码信息的组合。可不同地组合两条或更多条可参考的编码信息，使得参考编码信息集可变化。
类似地，在以上的<在层间预测中的上层数据单元/基本层数据单元的映射关系>中，彼此相应的附加层数据单元和基本层数据单元之间的映射关系被不同地呈现。然而，根据一个或更多个实施例，在层间预测期间的上层数据单元/基本层数据单元之间的映射关系不限于上述类型的映射关系，因此，映射关系可被解释为可彼此相关的附加层数据单元(或附加层数据单元组)和基本层数据单元(或基本层数据单元组)之间的各种映射关系。
另外，在层间预测中在上层数据单元/基本层数据单元之间可参考的参考编码信息集以及上层数据单元/基本层数据单元之间的映射关系的组合可变化。例如，用于层间预测的参考编码信息集可按α、β、γ、δ等方式变化，上层数据单元/基本层数据单元之间的映射关系可按Ⅰ、Ⅱ、Ⅲ、Ⅴ等方式变化。在这种情况下，参考编码信息集和映射关系的组合可被设置为以下组合中的至少一个：“参考编码信息集α和映射关系Ⅰ”、“α和Ⅱ”、“α和Ⅲ”、“α和Ⅴ”、...、“参考编码信息集β和映射关系Ⅰ”、“β和Ⅱ”、“β和Ⅲ”、“β和Ⅴ”、...、“参考编码信息集γ和映射关系Ⅰ”、“γ和Ⅱ”、“γ和Ⅲ”、“γ和Ⅴ”、...、“参考编码信息集δ和映射关系Ⅰ”、“δ和Ⅱ”、“δ和Ⅲ”、“δ和Ⅴ”。此外，一个映射关系可与至少两个参考编码信息集组合，或者，一个参考编码信息集可与至少两个映射关系组合。
在下文中，详细描述在不同级别的数据单元在上层数据单元/基本层数据单元图像之间的层间预测期间被映射的实施例。
例如，附加层编码单元可参考关于包括与所述附加层编码单元相应的位置的基本层最大编码单元组的编码信息。相反地，附加层最大编码单元可参考关于包括与所述附加层最大编码单元相应的位置的基本层编码单元组的编码信息。
例如，可通过参考关于包括相应位置的基本层最大编码单元组的编码信息来确定附加层编码单元的编码信息。也就是说，分别与附加层编码单元的位置相应的位置可全部被包括在被参考的基本层最大编码单元组中。
类似地，可通过参考包括相应位置的基本层编码单元组的编码信息来确定附加层最大编码单元的编码信息。也就是说，分别与附加层最大编码单元的位置相应的位置可全部被包括在被参考的基本层编码单元组中。
在本实施例中，如上所述，能够确定是否对每个序列、每个画面、每个条带或每个最大编码单元单独地执行推断层间预测。
此外，虽然对预定数据单元执行层间预测，但是可在预定数据单元中部分地控制推断层间预测。例如，如果确定是否在最大编码单元级执行层间预测，则尽管对附加层图像的当前最大编码单元执行层间预测，但是通过使用相应基本层数据单元仅对包括在当前最大编码单元中的更低级别数据单元(例如，编码单元、预测单元、变换单元、分区等)之中的一些数据单元执行推断层间预测，而不对所述更低级别数据单元中的不具有相应的基本层数据单元的剩余部分执行推断层间预测。因此，可从基本层数据单元推断包括在附加层最大编码单元中的一些数据单元(例如，编码单元、预测单元、变换单元、分区等)，并且关于所述附加层最大编码单元中的剩余部分的编码信息可被编码和交换。
例如，当对附加层最大编码单元执行层间预测时，可通过参考经由对基本层编码单元执行帧内预测而产生的恢复图像来预测附加层最大编码单元的编码单元之中的具有相应基本层编码单元的附加层编码单元。然而，针对不具有帧内预测的基本层编码单元的附加层编码单元，可执行使用附加层图像的单层预测，而不执行层间预测。此外，可仅在满足关于基本层数据单元的预定条件时，针对附加层数据单元执行推断层间预测。当满足预定条件，并因此推断层间预测可用时，多视点视频层间编码设备1400可发送指示实际上是否执行了推断层间预测的信息。多视点视频层间解码设备1500解析指示推断层间预测是否可用的信息，读取所述信息，并因此识别预定条件被满足从而推断层间预测被执行。当预定条件被满足时，多视点视频层间解码设备1500可通过全部参考基本层数据单元的编码模式的组合来确定附加层数据单元的编码模式。
例如，可仅在附加层预测单元的尺寸等于或大于基本层预测单元的尺寸时，执行不同层的预测单元之间的残差预测。例如，可仅在附加层最大编码单元的尺寸等于或大于基本层最大编码单元的尺寸时，执行不同层的最大编码单元之间的层间预测。这是因为基本层的最大编码单元或预测单元根据分辨率的伸缩率或宽高比率被上采样。
在另一实施例中，可在附加层数据单元的预定条带类型(诸如I条带、B条带或P条带)的条件下执行推断层间预测模式。
根据推断层间预测的示例，可在层间帧内跳过模式下执行预测。在层间帧内跳过模式下，不存在用于附加层数据单元的帧内模式下的参考信息，使得与附加层数据单元相应的基本层帧内恢复图像可全部用作附加层数据单元的帧内恢复图像。
因此，更具体地，根据附加层数据单元的条带类型是帧间模式条带类型(诸如B条带、P条带等)还是帧内模式条带类型(诸如I条带)，能够确定是否对指示层间帧内跳过模式的信息进行编码(解码)。
此外，针对层间预测，基本层数据单元的编码信息可被修改并使用，或者可被减少并使用。
作为示例，可将基本层分区的运动矢量向下修改到特定像素级别(诸如整像素级别或1/2像素级别的亚像素级别)的精度，可将具有向下修改的精度的基本层分区的运动矢量用作附加层分区的运动矢量。
如另一示例，多个基本层分区的运动矢量被融合成一个运动矢量，然后可被附加层分区参考。
例如，可将运动矢量被融合的区域确定为固定区域。然后，可仅在包括在具有固定尺寸的区域中的分区中或者在固定的邻近位置处的数据单元中融合运动矢量。
在另一示例中，虽然至少两个基本层数据单元与具有预定尺寸的附加层数据单元相应，但是可通过仅使用关于基本层数据单元之中的一个数据单元的运动信息来确定附加层数据单元的运动矢量。例如，在与尺寸为16×16的附加层数据单元相应的多个基本层数据单元之中，在预定位置处的基本层数据单元的运动矢量可用作附加层数据单元的运动矢量。
在实施例中，用于确定运动矢量被融合的区域的控制信息可被插入到SPS、PPS、APS或条带的头中，并可被发送。因此，可针对每个序列、每个画面、每个自适应参数或每个条带解析用于确定运动矢量被融合的区域的控制信息。此外，基本层分区的运动信息可被修改并存储。原则上，基本层分区的运动信息被存储为参考索引和运动矢量的组合。然而，在本实施例中，参考索引被假设为0，基本层分区的运动信息的大小可被调整或修改到与0相应的运动矢量，然后可被存储。因此，基本层分区的运动信息的存储量可被减小。针对对附加层分区的层间预测，可根据与附加层分区的参考索引相应的参考图像再次修改存储的基本层分区的运动矢量。也就是说，可通过使用根据附加层分区的参考图像被修改的基本层分区的运动矢量来确定附加层分区的运动矢量。
图22是根据本发明的实施例的多视点视频层间编码方法的流程图。
在操作2210，基于树结构的编码单元对基本层图像进行编码。
在操作2220，确定层间编码模式，以便通过参考基本层图像，基于树结构的编码单元对附加层图像执行层间预测。基于确定的层间编码模式，通过参考基本层图像的编码信息对附加层图像执行预测编码。
在本实施例中，可通过参考基本层图像的编码模式中的以下编码信息中的至少一个编码信息对附加层图像进行编码：编码单元的编码信息、包括在所述编码单元中的变换单元的编码信息。
在本实施例中，可通过参考基本层图像的编码模式中的以下信息中的至少一个信息来确定附加层图像的编码模式：结构信息、预测模式、分区类型、运动信息、帧内信息、环路滤波相关信息、非零系数位置信息和恢复的纹理信息。
在本实施例中，可通过参考基本层图像的编码模式中的残差信息、系数信息和恢复的预测值中的至少一个来确定附加层图像的预测值。
基于层间编码模式来确定将被附加层图像的数据单元参考的基本层图像的数据单元。基于树结构的编码单元的数据单元可包括以下单元中的至少一个：最大编码单元、编码单元以及包括在编码单元中的预测单元、变换单元和最小单元。通过参考确定的基本层图像的数据单元的编码信息来对附加层图像执行预测编码。
在本实施例中，确定与附加层图像的当前数据单元相同类型的基本层图像的数据单元，并通过参考基本层图像的数据单元的编码信息对附加层图像的当前数据单元进行编码。
在本实施例中，可确定与附加层图像的当前数据单元组相同组类型的基本层图像的数据单元组，并通过参考基本层图像的数据单元组的编码信息对附加层图像的当前数据单元组进行编码。
在本实施例中，可参考与附加层图像的当前数据单元相应的不同类型的基本层图像的数据单元。可参考与附加层图像的当前数据单元组相应的不同类型的基本层图像的数据单元组。
当针对附加层图像的当前数据单元确定层间预测模式时，可通过参考基本层图像对包括在当前数据单元中的下层数据单元中的一部分下层数据单元进行编码，并在附加层图像中对下层数据单元中的剩余下层数据单元进行编码。
可改变从基本层图像推断的编码信息，并可通过参考改变后的编码信息来确定附加层图像的编码信息。
在操作2230，基于层间编码模式输出基本层图像的编码模式和预测值以及附加层图像的层间编码模式。
根据第一层间编码模式，可输出编码信息之中的除了从基本层图像的编码信息推断的信息之外的其余信息。根据第二层间编码模式，可仅输出附加层图像的层间编码模式。
图23是根据本发明的实施例的多视点视频层间解码方法的流程图。
在操作2310，从接收到的比特流解析基本层图像的编码模式和预测值以及附加层图像的层间编码模式。例如，根据第一层间编码模式，可从比特流解析编码信息之中的除了从基本层图像的编码信息推断的信息之外的其余信息。根据第二层间编码模式，可从比特流仅解析附加层图像的层间编码模式信息。
在操作2320，通过使用解析出的基本层图像的编码模式和预测值，基于树结构的编码单元对基本层图像进行解码。
在操作2330，基于树结构的编码单元对附加层图像进行解码，并且在这点上，基于附加层图像的层间编码模式，通过参考基本层图像的编码信息对附加层图像执行预测解码。
在本实施例中，可通过参考基本层图像的编码信息来确定附加层图像的编码模式。在本实施例中，可通过参考基本层图像的编码模式中的以下信息中的至少一个信息来确定附加层图像的编码模式：结构信息、预测模式信息、分区类型信息、运动信息、帧内信息、环路滤波相关信息、非零系数位置信息和恢复的纹理信息。在本实施例中，可通过参考基本层图像的编码模式中的残差信息、系数信息和恢复的预测值中的至少一个来确定附加层图像的预测值。可基于以上述方式推断和确定的附加层图像的编码信息对附加层图像进行解码。
根据附加层图像的层间编码模式，确定将由附加层图像的数据单元参考的基本层图像的数据单元。可通过参考基本层图像的数据单元的编码信息对附加层图像的树结构的编码单元执行预测解码。
在本实施例中，可通过参考与附加层图像的当前数据单元相应的基本层图像的数据单元的编码信息来确定附加层图像的当前数据单元的编码信息。
在本实施例中，可通过参考与附加层图像的当前数据单元组相应的基本层图像的数据单元组的编码信息来确定附加层图像的当前数据单元组的编码信息。
在本实施例中，可参考与附加层图像的当前数据单元相应的不同类型的基本层图像的数据单元。在本实施例中，可参考与附加层图像的当前数据单元组相应的不同类型的基本层图像的数据单元组。
在本实施例中，当针对附加层图像的当前数据单元确定层间预测模式时，可通过参考基本层图像对包括在当前数据单元中的下层数据单元中的一部分进行解码，并可在附加层图像中对下层数据单元中的剩余下层数据单元进行解码。
在每个编码单元中，对最大编码单元执行解码，使得可恢复空间域中的图像数据，并且可恢复由画面和画面序列形成的视频。恢复的视频可由再现设备来再现，可被存储在存储介质中，或可经由网络发送。
参照图22描述的多视点视频层间编码方法与由多视点视频层间编码设备1400进行的操作相应。多视点视频层间编码设备1400可包括记录有由计算机使用的用于执行参照图19和图21描述的多视点视频层间编码方法的程序的存储器，可从存储器获取和执行所述程序，并因此执行以上参照图14描述的多视点视频层间编码设备1400的操作。可选地，多视点视频层间编码设备1400可从记录有用于通过使用计算机执行多视点视频层间编码方法的程序的记录介质读取所述程序并执行所述程序，使得多视点视频层间编码设备1400可执行以上参照图14描述的多视点视频层间编码设备1400的操作。
参照图23描述的多视点视频层间解码方法与由多视点视频层间解码设备1500进行的操作相应。多视点视频层间解码设备1500可包括记录有用于通过使用计算机执行参照图20和图22描述的多视点视频层间解码方法的程序的存储器，可从存储器获取和执行所述程序，并因此可执行以上参照图15描述的多视点视频层间解码设备1500的操作。此外，多视点视频层间解码设备1500可从记录有用于通过使用计算机执行多视点视频层间解码方法的记录介质读取所述程序并执行所述程序，使得多视点视频层间解码设备1500可执行以上参照图15描述的多视点视频层间解码设备1500的操作。
为了便于描述，参照图1至图23描述的多视点视频编码方法或根据多视点视频编码方法的视频编码方法将被统称为“根据本发明的视频编码方法”。此外，参照图1至图23描述的多视点视频解码方法或根据多视点视频解码方法的视频解码方法将被统称为“根据本发明的视频解码方法”。
此外，包括参照图1至图23描述的多视点视频层间编码设备10、视频编码设备100或图像编码器400的视频编码设备将被统称为“根据本发明的视频编码设备”。此外，包括参照图1至图23描述的多视点视频解码设备20、视频解码设备200或图像解码器500的视频解码设备将被称为“根据本发明的视频解码设备”。
现在将详细描述根据本发明的实施例的存储程序的计算机可读记录介质(例如，盘26000)。
图24是根据本发明的实施例的存储程序的盘26000的物理结构的示图。作为存储介质的盘26000可以是硬盘驱动器、致密盘只读存储器(CD-ROM)盘、蓝光盘或数字多功能盘(DVD)。盘26000包括多个同心磁道Tr，每个同心磁道Tr沿盘26000的圆周方向被划分成特定数量的扇区Se。在盘26000的特定区域中，可分配并存储执行以上所描述的量化参数确定方法、视频编码方法和视频解码方法的程序。
现在将参照图22来描述使用存储用于执行如上所述的视频编码方法和视频解码方法的程序的存储介质来实现的计算机系统。
图25是通过使用盘26000来记录并读取程序的盘驱动器26800的示图。计算机系统26700可经由盘驱动器26800将执行根据本发明的实施例的视频编码方法和视频解码方法中的至少一个的程序存储在盘26000中。为了在计算机系统26700中运行存储在盘26000中的程序，可通过使用盘驱动器26800从盘26000读取程序并将程序发送到计算机系统26700。
执行根据本发明的实施例的视频编码方法和视频解码方法中的至少一个的程序不仅可被存储在图24和图25中示出的盘26000中，还可被存储在存储卡、ROM卡带或固态驱动器(SSD)中。
以下将描述应用以上所描述的视频编码方法和视频解码方法的系统。
图26是用于提供内容分布服务的内容供应系统11000的整体结构的示图。将通信系统的服务区域划分成预定尺寸的小区，并将无线基站11700、11800、11900和12000分别安装在这些小区中。
内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、视频相机12300和移动电话12500的多个独立装置经由互联网服务提供商11200、通信网络11400和无线基站11700、11800、11900和12000连接到互联网11100。
然而，内容供应系统11000不限于如图24中所示，并且装置可选择性地被连接到内容供应系统11000。多个独立装置可不经由无线基站11700、11800、11900和12000而直接连接到通信网络11400。
视频相机12300是能够捕捉视频图像的成像装置，例如，数字视频相机。移动电话12500可利用各种协议(例如，个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人手持电话系统(PHS))中的至少一种通信方法。
视频相机12300可经由无线基站11900和通信网络11400连接到流服务器11300。流服务器11300允许经由视频相机12300从用户接收到的内容经由实时广播被流传输。可使用视频相机12300或流服务器11300来对从视频相机12300接收到的内容进行编码。通过视频相机12300捕捉到的视频数据可经由计算机12100被发送到流服务器11300。
通过相机12600捕捉到的视频数据也可经由计算机12100被发送到流服务器11300。与数码相机类似，相机12600是能够捕捉静止图像和视频图像两者的成像装置。可使用相机12600或计算机12100对通过相机12600捕捉到的视频数据进行编码。可将对视频执行编码和解码的软件存储在可由计算机12100访问的计算机可读记录介质(例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡)中。
如果视频数据通过内置在移动电话12500中的相机被捕捉到，则可从移动电话12500接收视频数据。
还可通过安装在视频相机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统来对视频数据进行编码。
内容供应系统1100可对由用户使用视频相机12300、相机12600、移动电话12500或另一成像装置所记录的内容数据(例如，在音乐会期间记录的内容)进行编码，并将编码后的内容数据发送到流服务器11300。流服务器11300可将编码后的内容数据以流传输内容的类型发送到请求内容数据的其它客户端。
客户端是能够对编码后的内容数据进行解码的装置，例如，计算机12100、PDA12200、视频相机12300或移动电话12500。因此，内容供应系统11000允许客户端接收并再现编码后的内容数据。此外，内容供应系统11000允许客户端实时接收编码后的内容数据并对编码后的内容数据进行解码和再现，从而能够进行个人广播。
包括在内容供应系统11000中的多个独立装置的编码和解码操作可类似于根据本发明的实施例的视频编码设备和视频解码设备的编码和解码操作。
现在将参照图27和图28更加详细地描述包括在根据本发明的实施例的内容供应系统11000中的移动电话12500。
图27示出根据本发明的实施例的应用视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，所述智能电话的功能不受限，并且所述智能电话的大多数功能可被改变或扩展。
移动电话12500包括可与无线基站12000交换射频(RF)信号的内部天线12510，并包括用于显示由相机12530捕捉到的图像或经由天线12510接收到的和解码的图像的显示屏12520(例如，液晶显示器(LCD)或有机发光二极管(OLED)屏幕)。智能手机12500包括包含有控制按钮和触摸面板的操作面板12540。如果显示屏12520是触摸屏，则操作面板12540还包括显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型声音输出器、以及用于输入语音和声音的麦克风12550或另一类型声音输入单元。移动电话12500还包括用于捕捉视频和静止图像的相机12530，诸如电荷耦合器件(CCD)相机。移动电话12500还可包括：存储介质12570，用于存储通过相机12530捕捉到的、经由电子邮件接收到的、或根据各种方式获得的编码/解码数据(例如，视频或静止图像)；插槽12560，存储介质12570经由插槽12560被装入移动电话12500中。存储介质12570可以是闪存，例如，包括在塑料壳中的安全数字(SD)卡或电可擦和可编程只读存储器(EEPROM)。
图28示出根据本发明的实施例的移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面板12540的移动电话12500的部件，供电电路12700、操作输入控制器12640、图像编码器12720、相机接口12630、LCD控制器12620、图像解码器12690、复用器/解复用器12680、记录单元/读取单元12670、调制单元/解调单元12660以及声音处理器12650经由同步总线12730被连接到中央控制器12710。
如果用户操作电源按钮，并从“电源关闭”状态设置为“电源开启”状态，则供电电路12700从电池组向移动电话12500的所有部件供电，从而将移动电话12500设置为操作模式。
中央控制器12710包括中央处理单元(CPU)、ROM和RAM。
在移动电话12500将通信数据发送到外部的同时，在中央控制器12710的控制下，由移动电话12500产生数字信号。例如，声音处理器12650可产生数字声音信号，图像编码器12720可产生数字图像信号，并且消息的文本数据可经由操作面板12540和操作输入控制器12640被产生。当在中央控制器12710的控制下数字信号被传送到调制器/解调器12660时，调制器/解调器12660对数字信号的频带进行调制，并且通信电路12610对频带调制后的数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发送信号可经由天线12510被发送到语音通信基站或无线基站12000。
例如，当移动电话12500处于通话模式时，在中央控制器12710的控制下，经由麦克风12550获得的声音信号通过声音处理器12650被变换成数字声音信号。数字声音信号可经由调制器/解调器12660和通信电路12610被变换成变换信号，并可经由天线12510被发送。
当文本消息(例如，电子邮件)在数据通信模式下被发送时，文本消息的文本数据经由操作面板12540被输入，并经由操作输入控制器12640被发送到中央控制器12610。在中央控制器12610的控制下，文本数据经由调制单元/解调单元12660和通信电路12610被变换成发送信号，并经由天线12510被发送到无线基站12000。
为了在数据通信模式下发送图像数据，由相机12530捕捉到的图像数据经由相机接口12630被提供给图像编码器12720。捕捉到的图像数据可经由相机接口12630和LCD控制器12620被直接显示在显示屏12520上。
图像编码器12720的结构可与以上描述的视频编码设备100的结构相应。图像编码器12720可根据上述根据本实施例的视频编码方法，将从相机12530接收到的图像数据变换为压缩和编码后的图像数据，并然后将编码后的图像数据输出到复用器/解复用器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可经由声音处理器12650被变换成数字声音数据，并且数字声音数据可被传送到复用器/解复用器12680。
复用器/解复用器12680对从图像编码器12720接收到的编码后的图像数据与从声音处理器12650接收到的声音数据一起进行复用。对数据进行复用的结果可经由调制单元/解调单元12660和通信电路12610被变换成发送信号，然后可经由天线12510被发送。
当移动电话12500从外部接收通信数据时，可对经由天线12510接收到的信号执行频率恢复和ADC以将信号变换成数字信号。调制单元/解调单元12660对数字信号的频带进行调制。根据频带调制后的数字信号的类型将所述数字信号发送到视频解码器12690、声音处理器12650或LCD控制器12620。
在通话模式下，移动电话12500对经由天线12510接收到的信号进行放大，并通过对放大后的信号执行频率转换和ADC来获得数字声音信号。在中央控制器12710的控制下，接收到的数字声音信号经由调制单元/解调单元12660和声音处理器12650被变换成模拟声音信号，并且模拟声音信号经由扬声器12580被输出。
当在数据通信模式下时，接收在互联网网站上访问的视频文件的数据，经由调制单元/解调单元12660将经由天线12510从无线基站12000接收到的信号输出为复用数据，并将复用数据发送到复用器/解复用器12680。
为了对经由天线12510接收到的复用数据进行解码，复用器/解复用器12680将复用数据解复用成编码后的视频数据流和编码后的音频数据流。经由同步总线12730，编码后的视频数据流和编码后的音频数据流分别被提供给视频解码单元12690和声音处理器12650。
图像解码器12690的结构可与以上描述的视频解码设备的结构相应。图像解码器12690可通过使用上述根据本实施例的视频解码方法，对编码后的视频数据进行解码来获得恢复的视频数据，并经由LCD控制器12620将恢复的视频数据提供给显示屏12520。
因此，可将在互联网网站上访问的视频文件的数据显示在显示屏12520上。同时，声音处理器12650可将音频数据变换成模拟声音信号，并将模拟声音信号提供给扬声器12580。因此，也可经由扬声器12580再现在互联网网站上访问的视频文件中包含的音频数据。
移动电话12500或另一类型的通信终端可以是包括根据本发明的实施例的视频编码设备和视频解码设备两者的收发终端，可以是仅包括视频编码设备的收发终端，或者可以是仅包括视频解码设备的收发终端。
根据本发明的通信系统不限于以上参照图27描述的通信系统。例如，图29示出根据本发明的实施例的采用通信系统的数字广播系统。图29的数字广播系统可通过使用根据本发明的实施例的视频编码设备和视频解码设备来接收经由卫星或地面网络发送的数字广播。
更详细地，广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫星12900。广播卫星12900发送广播信号，广播信号经由家用天线12860被发送到卫星广播接收器。在每个房屋中，可通过TV接收器12810、机顶盒12870或另一装置对编码后的视频流进行解码并再现。
当根据本发明的实施例的视频解码设备被实现在再现设备12830中时，再现设备12830可对记录在存储介质12820(诸如用于重建数字信号的盘或存储卡)上的编码后的视频流进行解析和解码。因此，可在例如监视器12840上再现恢复的视频信号。
在被连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV)广播的线缆天线12850的机顶盒12870中，可安装根据本发明的实施例的视频解码设备。从机顶盒12870输出的数据也可被再现在TV监视器12880上。
如另一示例，可将根据本发明的实施例的视频解码设备安装在TV接收器12810中，而不是机顶盒12870中。
具有适当天线12910的汽车12920可接收从图21的卫星12900或无线基站11700发送的信号。可在安装在汽车12920中的汽车导航系统12930的显示屏上再现解码后的视频。
视频信号可由根据本发明的实施例的视频编码设备来编码，然后可被存储在存储介质中。具体地，可由DVD记录器将图像信号存储在DVD盘12960中，或可由硬盘记录器12950将图像信号存储在硬盘中。如另一示例，可将视频信号存储在SD卡12970中。如果硬盘记录器12950包括根据本发明的实施例的视频解码设备，则记录在DVD盘12960、SD卡12970或另一存储介质上的视频信号可在TV监视器12880上被再现。
汽车导航系统12930可不包括图26的相机12530、相机接口12630和图像编码器12720。例如，计算机12100和TV接收器12810可不包括在图26的相机12530、相机接口12630和图像编码器12720中。
图30是示出根据本发明的实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。
云计算系统可包括云计算服务器14000、用户数据库(DB)14100、多个计算资源14200和用户终端。
响应于来自用户终端的请求，云计算系统经由数据通信网络(例如，互联网)提供多个计算资源14200的点播外包服务。在云计算环境下，服务提供商通过使用虚拟技术组合位于不同的物理位置的数据中心处的计算资源，来为用户提供想要的服务。服务用户不必将计算资源(例如，应用、存储器、操作系统(OS)和安全软件)安装在他/她拥有的终端中以使用它们，但可在想要的时间点在通过虚拟技术产生的虚拟空间中从服务中选择和使用想要的服务。
被指定的服务用户的用户终端经由包括互联网和移动通信网络的数据通信网络被连接到云计算服务器14000。可从云计算服务器14100向用户终端提供云计算服务，特别是视频再现服务。用户终端可以是能够被连接到互联网的各种类型的电子装置，例如，桌上型PC 14300、智能TV 14400、智能电话14500、笔记本计算机14600、便携式多媒体播放器(PMP)14700、平板PC 14800等。
云计算服务器14000可组合分布在云网络中的多个计算资源14200，并向用户终端提供组合的结果。所述多个计算资源14200可包括各种数据服务，并可包括从用户终端上载的数据。如上所描述的，云计算服务器14000可通过根据虚拟技术组合分布在不同区域中的视频数据库来向用户终端提供想要的服务。
将关于已经订购云计算服务的用户的用户信息存储在用户DB 14100中。用户信息可包括用户的注册信息、地址、姓名和个人信用信息。用户信息还可包括视频的索引。这里，所述索引可包括已经被再现的视频的列表、正在被再现的视频的列表，之前被再现的视频的暂停点等。
可在用户装置之间共享存储在用户DB 14100中的关于视频的信息。例如，当响应于来自笔记本计算机14600的请求将视频服务提供给笔记本计算机14600时，视频服务的再现历史被存储在用户DB 14100中。当从智能电话14500接收到用于再现此视频服务的请求时，云计算服务器14000基于用户DB 14100搜索并再现此视频服务。当智能电话14500从云计算服务器14000接收到视频数据流时，通过对视频数据流进行解码来再现视频的处理与以上参照图27和28描述的移动电话12500的操作类似。
云计算服务器14000可参考存储在用户DB 14100中的想要的视频服务的再现历史。例如，云计算服务器14000从用户终端接收用于再现存储在用户DB 14100中的视频的请求。如果此视频被再现过，则由云计算服务器14100执行的对此视频进行流传输的方法可根据来自用户终端的请求(即，根据是将从视频的起点还是视频的暂停点开始再现视频)而不同。例如，如果用户终端请求从视频的起点开始再现视频，则云计算服务器14000将从视频的第一帧开始的视频的流数据发送到用户终端。如果用户终端请求从视频的暂停点开始再现视频，则云计算服务器14000将从与暂停点相应的帧开始的视频的流数据发送到用户终端。
在此情况下，用户终端可包括如以上参照图1至图23描述的视频解码设备。在另一示例，用户终端可包括如以上参照图1至图23描述的视频编码设备。可选地，用户终端可包括如以上参照图1至图23描述的视频解码设备和视频编码设备两者。
以上参照图24至图30描述了以上参照图1至图23描述的根据本发明的实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而，根据本发明的各种实施例的以上参照图24至图30描述的将视频编码方法和视频解码方法存储在存储介质中的方法或者将视频编码设备和视频解码设备实现在装置中的方法不限于以上参照图24至图30描述的实施例。
虽然已经参照本发明的示例性实施例具体示出并描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在示例性实施例中做出形式和细节上的各种改变。示例性实施例应仅被考虑为描述意义，且不用于限制的目的。因此，本发明的范围不由本发明的详细描述来限定，而由权利要求来限定，并且在该范围内的所有差异都将被认为包括在本发明中。
本发明的实施例可被编写为计算机程序，并可被实现在使用计算机可读记录介质执行所述程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光记录介质(例如，CD-ROM或DVD)等。
Claims (14)
1.一种多视点视频层间编码方法，包括：
基于树结构的编码单元对基本层图像进行编码，其中，树结构的编码单元是通过分层划分图像的最大编码单元而获得的，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个；
基于树结构的编码单元，通过参考预定层间编码模式和基本层图像的编码信息，对作为单独的附加层图像的以下图像分别执行预测编码：基本视点纹理图像和基本视点深度图像之中的不是基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像；
基于所述预定层间编码模式输出基本视点图像的编码模式和预测值以及附加视点图像的层间编码模式，
其中，通过对视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码单元中的每个编码单元划分为更小的编码单元以独立于邻近的编码单元的方式被确定，
其中，执行预测编码的步骤包括：
基于层间编码模式来确定基本层图像的将被附加层图像的当前数据单元参考的数据单元；
通过参考确定的基本层图像的数据单元的编码信息来对附加层图像的当前数据单元进行编码，其中，确定的基本层图像的数据单元与附加层图像的当前数据单元的类型不同，其中，附加层图像的当前数据单元的类型是最大编码单元，基本层图像的数据单元的类型是编码单元。
2.如权利要求1所述的多视点视频层间编码方法，其中，对基本层图像进行编码的步骤包括：对基本视点纹理图像和基本视点深度图像中的一个进行编码，
其中，对附加层图像执行预测编码的步骤包括：根据所述预定层间编码模式,通过参考经由对基本视点纹理图像和基本视点深度图像中的一个进行编码而产生的编码信息，对基本视点纹理图像和基本视点深度图像中的另一个进行编码。
3.如权利要求2所述的多视点视频层间编码方法，其中，对附加层图像执行预测编码的步骤包括：
对附加视点纹理图像和附加视点深度图像中的一个进行编码；
根据所述预定层间编码模式，通过参考经由对基本视点纹理图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像中的一个进行编码而产生的编码信息，对附加视点纹理图像和附加视点深度图像中的另一个进行编码。
4.如权利要求1所述的多视点视频层间编码方法，其中，对附加层图像执行预测编码的步骤包括：基于基本视点图像和附加视点图像之间的视差，确定将被附加视点图像的数据单元参考的基本视点图像的数据单元。
5.如权利要求4所述的多视点视频层间编码方法，其中，确定所述数据单元的步骤包括：通过使用附加视点图像的当前数据单元和基本视点图像之间的视差，确定与附加视点图像的当前数据单元相映射的基本视点图像的数据单元的位置。
6.如权利要求5所述的多视点视频层间编码方法，其中，确定所述数据单元的步骤包括：
通过使用先前在基本视点深度图像或先前在附加视点图像的邻近数据单元中使用的视差或深度信息，确定附加视点图像的当前数据单元和基本视点图像之间的视差；
通过使用确定的视差，确定与附加视点图像的当前数据单元相映射的基本视点图像的数据单元的位置。
7.一种多视点视频层间解码方法，包括：
从多个比特流解析基本层图像的编码信息以及基本层图像和附加层图像之间的层间编码模式，其中，所述多个比特流分别包括作为单独的层的以下图像：基本视点图像之中的基本视点纹理图像、基本视点图像之中的基本视点深度图像、附加视点图像之中的附加视点纹理图像和附加视点图像之中的附加视点深度图像；
通过使用解析的基本层图像的编码信息，基于树结构的编码单元对基本层图像进行解码，其中，树结构的编码单元是通过分层划分最大编码单元而获得的，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个；
根据附加视点图像的层间编码模式，通过参考解析的基本层图像的编码信息，基于树结构的编码单元，对作为单独的附加层图像的以下图像分别执行预测解码：基本视点纹理图像和基本视点深度图像之中的不是基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像，
其中，通过对视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码单元中的每个编码单元单独地划分为更小的编码单元以独立于邻近的编码单元的方式被确定，
其中，执行预测解码的步骤包括：
基于层间编码模式来确定基本层图像的将被附加层图像的当前数据单元参考的数据单元；
通过参考确定的基本层图像的数据单元的编码信息来对附加层图像的当前数据单元进行解码，其中，确定的基本层图像的数据单元与附加层图像的当前数据单元的类型不同，其中，附加层图像的当前数据单元的类型是最大编码单元，基本层图像的数据单元的类型是编码单元。
8.如权利要求7所述的多视点视频层间解码方法，其中，对基本层图像进行解码的步骤包括：对基本视点纹理图像和基本视点深度图像中的一个进行解码，
其中，对附加层图像执行预测解码的步骤包括：根据所述层间编码模式，通过参考解析的基本层图像的编码信息，对基本视点纹理图像和基本视点深度图像中的另一个进行解码。
9.如权利要求8所述的多视点视频层间解码方法，其中，对附加层图像执行预测解码的步骤包括：
对附加视点纹理图像和附加视点深度图像中的一个进行解码；
根据所述层间编码模式，通过参考基本视点纹理图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像中的一个的编码信息，对附加视点纹理图像和附加视点深度图像中的另一个进行解码。
10.如权利要求7所述的多视点视频层间解码方法，其中，对附加层图像执行预测解码的步骤包括：通过使用附加视点图像的当前数据单元和基本视点图像之间的视差信息，确定将被附加视点图像的当前数据单元参考的基本视点图像的数据单元。
11.如权利要求10所述的多视点视频层间解码方法，其中，确定所述数据单元的步骤包括：通过使用附加视点图像的当前数据单元和基本视点图像之间的视差信息，确定与附加视点图像的当前数据单元相映射的基本视点图像的数据单元的位置。
12.如权利要求10所述的多视点视频层间解码方法，其中，确定所述数据单元的步骤包括：
通过使用先前在基本视点深度图像或先前在附加视点图像的邻近数据单元中使用的视差信息或深度信息，确定附加视点图像的当前数据单元和基本视点图像之间的视差信息；
通过使用确定的视差信息，确定与附加视点图像的当前数据单元相映射的基本视点图像的数据单元的位置。
13.一种多视点视频层间编码设备，包括：
基本层编码器，基于树结构的编码单元对基本层图像进行编码，其中，树结构的编码单元是通过分层划分图像的最大编码单元而获得的，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个；
附加层编码器，基于树结构的编码单元，通过参考预定层间编码模式和基本层图像的编码信息，对作为单独的附加层图像的以下图像分别执行预测编码：基本视点纹理图像和基本视点深度图像之中的不是基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像；
输出单元，基于所述预定层间编码模式输出基本视点图像的编码信息以及附加视点图像的层间编码模式，
其中，通过对视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码单元中的每个编码单元单独地划分为更小的编码单元以独立于邻近的编码单元的方式被确定，
其中，附加层编码器被配置为基于层间编码模式来确定基本层图像的将被附加层图像的当前数据单元参考的数据单元，并通过参考确定的基本层图像的数据单元的编码信息来对附加层图像的当前数据单元进行编码，其中，确定的基本层图像的数据单元与附加层图像的当前数据单元的类型不同，其中，附加层图像的当前数据单元的类型是最大编码单元，基本层图像的数据单元的类型是编码单元。
14.一种多视点视频层间解码设备，包括：
解析器，从多个比特流解析基本层图像的编码信息以及基本层图像和附加层图像之间的层间编码模式，其中，所述多个比特流分别包括作为单独的层的以下图像：基本视点图像之中的基本视点纹理图像、基本视点图像之中的基本视点深度图像、附加视点图像之中的附加视点纹理图像和附加视点图像之中的附加视点深度图像；
基本层解码器，通过使用解析的基本层图像的编码信息，基于树结构的编码单元对基本层图像进行解码，其中，树结构的编码单元是通过分层划分最大编码单元而获得的，基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中的一个；
附加层解码器，根据附加视点图像的层间编码模式，通过参考解析的基本层图像的编码信息，基于树结构的编码单元，对作为单独的附加层图像的以下图像分别执行预测解码：基本视点纹理图像和基本视点深度图像之中的不是基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图像，
其中，通过对视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码单元中的每个编码单元单独地划分为更小的编码单元以独立于邻近的编码单元的方式被确定，
其中，附加层解码器被配置为基于层间编码模式来确定基本层图像的将被附加层图像的当前数据单元参考的数据单元，并通过参考确定的基本层图像的数据单元的编码信息来对附加层图像的当前数据单元进行解码，其中，确定的基本层图像的数据单元与附加层图像的当前数据单元的类型不同，其中，附加层图像的当前数据单元的类型是最大编码单元，基本层图像的数据单元的类型是编码单元。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261624461P | 2012-04-16 | 2012-04-16 | |
| US61/624,461 | 2012-04-16 | ||
| PCT/KR2013/003187 WO2013157817A1 (ko) | 2012-04-16 | 2013-04-16 | 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104365104A CN104365104A (zh) | 2015-02-18 |
| CN104365104B true CN104365104B (zh) | 2018-11-06 |
Family
ID=49383705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380031804.1A Expired - Fee Related CN104365104B (zh) | 2012-04-16 | 2013-04-16 | 用于多视点视频编码和解码的方法和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20150049806A1 (zh) |
| EP (1) | EP2838262A4 (zh) |
| KR (1) | KR20130116832A (zh) |
| CN (1) | CN104365104B (zh) |
| WO (1) | WO2013157817A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9351028B2 (en) * | 2011-07-14 | 2016-05-24 | Qualcomm Incorporated | Wireless 3D streaming server |
| GB2501517A (en) * | 2012-04-27 | 2013-10-30 | Canon Kk | Scalable Encoding and Decoding of a Digital Image |
| EP2901675B1 (en) * | 2012-09-25 | 2018-03-14 | Intel Corporation | Inter-layer sample adaptive filter parameters re-use for scalable video coding |
| US9392268B2 (en) * | 2012-09-28 | 2016-07-12 | Qualcomm Incorporated | Using base layer motion information |
| KR20140121315A (ko) | 2013-04-04 | 2014-10-15 | 한국전자통신연구원 | 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치 |
| US10708588B2 (en) * | 2013-06-19 | 2020-07-07 | Apple Inc. | Sample adaptive offset control |
| US9756359B2 (en) * | 2013-12-16 | 2017-09-05 | Qualcomm Incorporated | Large blocks and depth modeling modes (DMM'S) in 3D video coding |
| US10250884B2 (en) | 2014-06-20 | 2019-04-02 | Qualcomm Incorporated | Systems and methods for signaling information for layer sets in a parameter set |
| WO2016205999A1 (en) * | 2015-06-23 | 2016-12-29 | Mediatek Singapore Pte. Ltd. | Adaptive coding group for image/video coding |
| KR102423880B1 (ko) * | 2015-10-06 | 2022-07-21 | 삼성전자주식회사 | 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법 |
| GB2552323B (en) | 2016-07-18 | 2020-04-29 | Imagination Tech Ltd | Mip map compression |
| US10869032B1 (en) * | 2016-11-04 | 2020-12-15 | Amazon Technologies, Inc. | Enhanced encoding and decoding of video reference frames |
| US10264265B1 (en) | 2016-12-05 | 2019-04-16 | Amazon Technologies, Inc. | Compression encoding of images |
| CN108696471A (zh) * | 2017-02-21 | 2018-10-23 | 科通环宇（北京）科技有限公司 | 基于avs2的码流封装方法、码流、解码方法及装置 |
| WO2020143772A1 (en) * | 2019-01-10 | 2020-07-16 | Beijing Bytedance Network Technology Co., Ltd. | Affine based merge with mvd |
| US11109041B2 (en) * | 2019-05-16 | 2021-08-31 | Tencent America LLC | Method and apparatus for video coding |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102257818A (zh) * | 2008-10-17 | 2011-11-23 | 诺基亚公司 | 3d视频编码中运动向量的共享 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101345544B1 (ko) * | 2007-06-25 | 2013-12-26 | 세종대학교산학협력단 | 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템 |
| KR101560182B1 (ko) * | 2008-01-07 | 2015-10-15 | 삼성전자주식회사 | 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 |
| KR101012760B1 (ko) * | 2008-09-05 | 2011-02-08 | 에스케이 텔레콤주식회사 | 다시점 비디오의 송수신 시스템 및 방법 |
| KR101158491B1 (ko) * | 2008-12-08 | 2012-06-20 | 한국전자통신연구원 | 다시점 영상 부호화, 복호화 방법 및 그 장치. |
| KR101624649B1 (ko) * | 2009-08-14 | 2016-05-26 | 삼성전자주식회사 | 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| CN105959703B (zh) * | 2010-04-13 | 2019-06-04 | Ge视频压缩有限责任公司 | 解码器、编码器、生成数据流的方法及解码数据流的方法 |
| SG178522A1 (en) * | 2010-08-09 | 2012-03-29 | Panasonic Corp | Image encoding method, image decoding method, image encoding device, and image decoding device |
| TWI561066B (en) * | 2011-08-09 | 2016-12-01 | Samsung Electronics Co Ltd | Method and apparatus for encoding and decoding depth map of multi-view video data |
-
2013
- 2013-04-16 US US14/394,954 patent/US20150049806A1/en not_active Abandoned
- 2013-04-16 KR KR1020130041840A patent/KR20130116832A/ko not_active Application Discontinuation
- 2013-04-16 WO PCT/KR2013/003187 patent/WO2013157817A1/ko active Application Filing
- 2013-04-16 CN CN201380031804.1A patent/CN104365104B/zh not_active Expired - Fee Related
- 2013-04-16 EP EP13778585.3A patent/EP2838262A4/en not_active Ceased
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102257818A (zh) * | 2008-10-17 | 2011-11-23 | 诺基亚公司 | 3d视频编码中运动向量的共享 |
Non-Patent Citations (1)
| Title |
|---|
| HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding;Christian Bartnik等;《ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6》;20120210;第2-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2838262A1 (en) | 2015-02-18 |
| WO2013157817A1 (ko) | 2013-10-24 |
| CN104365104A (zh) | 2015-02-18 |
| US20150049806A1 (en) | 2015-02-19 |
| KR20130116832A (ko) | 2013-10-24 |
| EP2838262A4 (en) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104365104B (zh) | 用于多视点视频编码和解码的方法和设备 | |
| CN106063271B (zh) | 用于执行基于子块的预测的层间视频解码方法及其设备以及用于执行基于子块的预测的层间视频编码方法及其设备 | |
| CN104365101B (zh) | 用于确定用于帧间预测的参考图像的方法及设备 | |
| CN105532001B (zh) | 用于使用基于深度的视差矢量对视频进行层间编码方法以及解码方法和设备 | |
| CN105308966B (zh) | 视频编码方法及其设备以及视频解码方法及其设备 | |
| CN104396252B (zh) | 使用用于多视点视频预测的参考画面集的多视点视频编解码方法及其装置 | |
| CN103931192B (zh) | 用于在视频编码或解码中的运动矢量确定的方法和设备 | |
| CN104471938B (zh) | 根据彩色分量共享sao参数的对视频进行编码的方法和设备 | |
| CN105103552B (zh) | 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置 | |
| CN105144713B (zh) | 用于解码器设置的对视频进行编码的方法及其装置以及基于解码器设置对视频进行解码的方法及其装置 | |
| CN105340271B (zh) | 用于随机访问的多层视频编码方法及其装置以及用于随机访问的多层视频解码方法及其装置 | |
| CN105556970B (zh) | 使用修正矢量推导的视频编码方法及其设备、视频解码方法及其设备 | |
| CN105594212B (zh) | 用于确定运动矢量的方法及其设备 | |
| CN106031175B (zh) | 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置 | |
| CN105532004B (zh) | 层间视频解码方法及设备 | |
| CN107409214A (zh) | 用于对层间视频进行解码的方法和设备以及用于对层间视频进行编码的方法和设备 | |
| CN105264894A (zh) | 针对层间解码和编码方法以及设备的确定帧间预测候选的方法 | |
| CN107005710B (zh) | 多视点图像编码/解码方法和装置 | |
| CN105325002A (zh) | 使用视点合成预测的多视点视频编码方法及其设备以及多视点视频解码方法及其设备 | |
| CN105556972A (zh) | 用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法 | |
| CN106416256B (zh) | 用于对深度图像进行编码或解码的方法和设备 | |
| CN106105210B (zh) | 管理用于对多层视频进行编码和解码的缓冲器的方法和设备 | |
| CN105340275A (zh) | 使用视点合成预测的多视点视频编码方法及其设备以及多视点视频解码方法及其设备 | |
| CN105165011A (zh) | 用于考虑存储器带宽和计算量的可伸缩视频编码的装置和方法以及用于可伸缩视频解码的装置和方法 | |
| CN105264890B (zh) | 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181106 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |