CN113056919B - 使用双向预测的图像编码和解码方法以及图像编码和解码设备 - Google Patents
使用双向预测的图像编码和解码方法以及图像编码和解码设备 Download PDFInfo
- Publication number
- CN113056919B CN113056919B CN201980075617.0A CN201980075617A CN113056919B CN 113056919 B CN113056919 B CN 113056919B CN 201980075617 A CN201980075617 A CN 201980075617A CN 113056919 B CN113056919 B CN 113056919B
- Authority
- CN
- China
- Prior art keywords
- encoding
- block
- candidate
- encoding unit
- decoding apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 133
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 61
- 238000005070 sampling Methods 0.000 description 25
- 230000001186 cumulative effect Effects 0.000 description 23
- 241000023320 Luma <angiosperm> Species 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 14
- 238000005192 partition Methods 0.000 description 12
- 230000002123 temporal effect Effects 0.000 description 12
- 238000001824 photoionisation detection Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 10
- 241000209094 Oryza Species 0.000 description 8
- 235000007164 Oryza sativa Nutrition 0.000 description 8
- 235000009566 rice Nutrition 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
公开了一种根据一个实施例的图像解码方法,所述图像解码方法包括以下步骤:获得用于对当前块进行双向预测的第一参考块和第二参考块;从比特流获得用于将第一参考块与第二参考块组合的权重信息;对所述权重信息执行熵解码以获得权重索引;根据包括在权重候选组中的候选值之中的由所述权重索引所指示的候选值,将第一参考块与第二参考块组合;以及基于组合结果重建所述当前块,其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵解码,并且与所述权重索引相应的其余二进制值通过旁路方法被熵解码。
Description
技术领域
本公开涉及图像编码和解码领域。更具体地,本公开涉及使用双向预测的图像编码方法和设备以及图像解码方法和设备。
背景技术
在图像编码和解码中,将图像划分为块,并且通过帧间预测或帧内预测对每一个块进行预测编码和预测解码。
帧内预测是去除图像中的空间冗余以压缩图像的方法,并且帧间预测是去除图像之间的时间冗余以压缩图像的方法。帧间预测的代表性示例是运动估计编码。运动估计编码通过使用参考图像来预测当前图像的块。通过使用预设评估函数在预设搜索范围内搜索与当前块最相似的参考块。基于参考块预测当前块,并且从当前块减去作为预测结果而产生的预测块以产生残差块。然后对残差块进行编码。为了更准确地执行预测,对参考图像执行插值来产生以小于整数像素单位的子像素为单位的像素,并且基于以子像素为单位的像素执行帧间预测。
在诸如H.264高级视频编码(AVC)和高效视频编码(HEVC)的编解码器中,与当前块相邻的先前编码的块或包括在先前编码的图像中的块的运动矢量被用作当前块的预测运动矢量,以便预测当前块的运动矢量。通过预设方法将作为当前块的运动矢量与预测运动矢量之间的差的差分运动矢量用信号传送到解码器侧。
发明内容
技术问题
根据技术目的,根据实施例的图像解码设备和方法以及图像编码设备和方法可通过减小残差数据的大小来实现以低比特率进行图像编码和解码。
此外,根据另一技术目的,根据实施例的图像解码设备和方法以及图像编码设备和方法可实现对包括在比特流中的数据的熵编码和熵解码的简化。
问题的解决方案
根据实施例,一种使用双向预测的图像解码方法包括:获取用于对当前块进行双向预测的第一参考图像中的第一参考块和第二参考图像中的第二参考块;从比特流获得用于将第一参考块与第二参考块组合的权重信息;对所述权重信息执行熵解码以获得权重索引;根据包括在权重候选组中的候选值之中的由所述权重索引所指示的候选值,将第一参考块与第二参考块组合;以及基于组合的结果重建所述当前块,其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵解码,并且与所述权重索引相应的其余二进制值通过旁路方法被熵解码。
本公开的有益效果
根据实施例的图像解码设备和方法以及图像编码设备和方法可通过减小残差数据的大小来以低比特率对图像进行编码和解码。
此外,根据实施例的图像解码设备和方法以及图像编码设备和方法可简化对包括在比特流中的数据的熵编码和熵解码。
应当注意的是,可由根据本实施例的图像解码设备和方法以及图像编码设备和方法实现的效果不限于上述效果,并且根据以下描述,未提及的其他效果对于本领域普通技术人员而言将是显而易见的。
附图说明
提供每一个附图的简要描述以更好地理解这里所引用的附图。
图1是根据实施例的图像解码设备的框图。
图2是根据实施例的图像编码设备的框图。
图3示出根据实施例的由图像解码设备执行的通过对当前编码单元进行划分来确定至少一个编码单元的处理。
图4示出根据实施例的由图像解码设备执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一种信息对编码单元进行划分的处理。
图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定预设编码单元的方法。
图7示出根据实施例的当图像解码设备通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。
图8示出根据实施例的由图像解码设备执行的当不能按预设顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
图9示出根据实施例的由图像解码设备执行的通过对第一编码单元进行划分来确定至少一个编码单元的处理。
图10示出根据实施例的当在图像解码设备对第一编码单元进行划分时确定的具有非正方形形状的第二编码单元满足预设条件时第二编码单元可划分为的形状受到限制。
图11示出根据实施例的由图像解码设备执行的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
图12示出根据实施例的可依据对编码单元进行划分的处理来改变多个编码单元之间的处理顺序。
图13示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
图15示出根据实施例的基于包括在画面中的多个预设数据单元确定多个编码单元。
图16示出根据实施例的用作用于对确定包括在画面中的参考编码单元的顺序进行确定的标准的处理块。
图17示出根据实施例的当各个画面具有不同的编码单元的划分形状组合时各个画面的编码单元。
图18示出根据实施例的可基于可用二进制码表示的划分形状模式信息确定的编码单元的各种形状。
图19示出根据实施例的可基于可用二进制码表示的划分形状模式信息确定的编码单元的其他形状。
图20是执行环路滤波的图像编码和解码系统的框图。
图21是示出根据实施例的图像解码设备的配置的框图。
图22示出在图21中所示出的熵解码器的配置。
图23是用于确定与权重索引相应的二进制串的上下文信息的参考表。
图24是示出包括在权重候选组中的候选值以及与候选值相应的权重索引和二进制串的表。
图25是用于描述对当前块进行双向预测的示图。
图26示出在时间上和空间上与当前块相关的块。
图27是用于描述分配给包括在权重候选组中的候选值的索引可根据候选值已被选择的累积次数而改变的示图。
图28是示出包括在权重候选组中的候选值以及与候选值相应的权重索引和二进制串的表。
图29是示出根据实施例的图像解码方法的流程图。
图30是示出根据实施例的图像编码设备的配置的框图。
图31示出在图30中所示出的熵编码器的配置。
图32是示出根据实施例的图像编码方法的流程图。
具体实施方式
最佳实施方式
根据实施例,一种使用双向预测的图像解码方法包括:获得用于对当前块进行双向预测的第一参考图像中的第一参考块和第二参考图像中的第二参考块;从比特流获得用于将第一参考块与第二参考块组合的权重信息;通过对所述权重信息进行熵解码来获得权重索引;根据包括在权重候选组中的候选值之中的由所述权重索引所指示的候选值,将第一参考块与第二参考块组合;以及基于组合的结果重建所述当前块,其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵解码,并且与所述权重索引相应的其余二进制值通过旁路方法被熵解码。
所述图像解码方法还可包括:基于第一参考图像的画面顺序计数(POC)和第二参考图像的POC中的至少一个,自适应地确定包括在所述权重候选组中的候选值的数量。
自适应地确定包括在所述权重候选组中的候选值的数量的步骤可包括:基于第一参考图像的POC与包括所述当前块的当前图像的POC之间的比较结果和第二参考图像的POC与所述当前图像的POC之间的比较结果中的至少一个,确定包括在所述权重候选组中的候选值的数量。
当第一参考图像的POC和第二参考图像的POC小于或等于所述当前图像的POC时包括在所述权重候选组中的候选值的数量可不同于当第一参考图像的POC和第二参考图像的POC中的至少一个大于所述当前图像的POC时包括在所述权重候选组中的候选值的数量。
与所述权重索引相应的二进制值的数量可根据所述权重索引的值而变化。
所述图像解码方法还可包括:给将被用于对所述当前块进行双向预测的候选值分配索引,其中,将第一参考块与第二参考块组合的步骤包括:根据被分配与所述权重索引相应的索引的候选值,将第一参考块与第二参考块组合。
分配所述索引的步骤包括:根据包括在所述权重候选组中的候选值已被分别选择用于对先前块进行双向预测的累积次数,给将被用于对所述当前块进行双向预测的候选值分配索引。
可针对每一个图像、每一个帧或每一个并行块给将被用于对所述当前块进行双向预测的候选值分配索引。
分配索引的步骤可包括:选择具有与当前画面组(GOP)中的包括所述当前块的当前图像的时间层相同的时间层的先前图像;以及根据包括在所述权重候选组中的候选值已被分别选择用于对包括在选择的先前图像中的先前块进行双向预测的累积次数,给将被用于对所述当前块进行双向预测的候选值分配索引。
分配索引的步骤可包括:根据包括在所述权重候选组中的候选值已被分别选择用于通过使用第一参考图像和第二参考图像被双向预测的先前块的累积次数,给将被用于对所述当前块进行双向预测的候选值分配索引。
将第一参考块与第二参考块的组合的步骤可包括:确定由所述权重索引指示的候选值的配对值;以及将由所述权重索引所指示的候选值和所述配对值中的一个应用于第一参考块,并将其余的一个应用于第二参考块,从而将第一参考块与第二参考块组合。
所述配对值可以不被包括在所述权重候选组中,以及将第一参考块与第二参考块组合的步骤可包括:基于第一参考图像的POC和第二参考图像的POC,从由所述权重索引所指示的候选值和所述配对值之中选择将被应用于第一参考块和第二参考块的值。
根据实施例,一种使用双向预测的图像解码设备包括:获得器,被配置为获得包括用于对当前块进行双向预测的权重信息的比特流;熵解码器,被配置为通过对所述权重信息进行熵解码来获得权重索引;以及预测解码器,被配置为获得用于对所述当前块进行双向预测的第一参考图像中的第一参考块和第二参考图像中的第二参考块,根据包括在权重候选组中的候选值之中的由所述权重索引所指示的候选值将第一参考块与第二参考块组合,并且基于组合的结果重建所述当前块,其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵解码,并且与所述权重索引相应的其余二进制值通过旁路方法被熵解码。
根据实施例,一种使用双向预测的图像编码方法包括:获得用于对所述当前块进行双向预测的第一参考图像中的第一参考块和第二参考图像中的第二参考块;从包括在权重候选组中的候选值之中选择用于将第一参考块与第二参考块组合的候选值;对指示选择的候选值的权重索引执行熵编码;以及产生包括作为熵编码的结果而获得的权重信息以及残差数据的比特流,其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵编码,并且与所述权重索引相应的其余二进制值通过旁路方法被熵编码。
本公开的实施方式
由于本公开允许各种改变和大量实施例,因此将在附图中示出并在文字描述中详细描述具体实施例。然而,这并不旨在将实施例限制于特定的实施方式,并且应当理解的是,本公开包括不脱离实施例的精神和技术范围的所有改变、等同物和替代物。
在实施例的描述中,当认为相关技术的某些详细解释可能不必要地模糊本公开的本质时,省略对相关技术的某些详细解释。另外,在说明书的描述中所使用的数字(例如,第一、第二等)仅是用于将一个组件与另一组件区分开的标识码。
此外,在本说明书中,应当理解的是,当组件彼此“连接”或“结合”时,除非另有说明,否则组件可彼此直接连接或结合,但是可选地,可在其间具有中间组件的情况下彼此连接或结合。
在本说明书中,关于被表示为“部分(单元)”或“模块”的组件,两个或更多个组件可被组合为一个组件,或者一个组件可根据细分功能被划分为两个或更多个组件。另外,在下文中描述的每一个组件除了执行其自身的主要功能之外,还可另外地执行由另一组件执行的一些功能或全部功能,并且每一个组件的一些主要功能可完全由另一组件来执行。
此外,在本说明书中,“图像”或“画面”可表示静止图像。此外,“图像”或“画面”可表示构成视频的帧或视频本身。
此外,在本说明书中,“样点”或“信号”是指作为分配给图像的采样位置的数据的将被处理的数据。例如,空间域图像上的像素值和变换域上的变换系数可以是样点。包括这样的至少一个样点的单元可被定义为块。
在下文中,将参照图1至图20公开根据实施例的基于树结构的编码单元和变换单元的图像编码方法和设备以及图像解码方法和设备。
图1是根据实施例的图像解码设备100的框图。
图像解码设备100可包括比特流获得器110和解码器120。比特流获得器110和解码器120可包括至少一个处理器。此外,比特流获得器110和解码器120可包括存储由所述至少一个处理器执行的指令的存储器。
比特流获得器110可接收比特流。比特流可包括从由稍后将描述的图像编码设备200进行编码的图像得到的信息。此外,比特流可从图像编码设备200被发送。图像解码设备100可以以有线方式或无线方式连接到图像编码设备200,并且比特流获得器110可以以有线或无线方式接收比特流。比特流获得器110可从存储介质(诸如,光学介质、硬盘等)接收比特流。解码器120可基于从接收到的比特流获得的信息重建图像。解码器120可从比特流获得用于重建图像的语法元素。解码器120可基于语法元素重建图像。
下面将详细描述图像解码设备100的操作。比特流获得器110可接收比特流。
图像解码设备100可执行从比特流获得与编码单元的划分形状模式相应的二进制位串的操作。然后,图像解码设备100可执行确定编码单元的划分规则的操作。此外,图像解码设备100可基于与划分形状模式相应的二进制位串和划分规则中的至少一个来执行将编码单元划分为多个编码单元的操作。图像解码设备100可根据编码单元的高度与宽度的比例来确定作为编码单元的允许尺寸范围的第一范围,以便确定划分规则。图像解码设备100可根据编码单元的划分形状模式来确定作为编码单元的允许尺寸范围的第二范围,以便确定划分规则。
在下文中,将根据本公开的实施例详细描述对编码单元的划分。
首先,一个画面可被划分为一个或更多个条带或者一个或更多个并行块。一个条带或一个并行块可以是一个或更多个最大编码单元(编码树单元(CTU))的序列。与最大编码单元(CTU)相比,在概念上存在最大编码块(编码树块(CTB))。
最大编码块(CTB)表示包括N×N个样点(其中,N为整数)的N×N块。每一个颜色分量可被划分为一个或更多个最大编码块。
当画面具有三个样点阵列(针对Y分量、Cr分量和Cb分量的样点阵列)时,最大编码单元(CTU)包括亮度样点的最大编码块、色度样点的两个相应最大编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时,最大编码单元包括单色样点的最大编码块和用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分开的颜色平面中被编码的画面时,最大编码单元包括用于对画面和画面的样点进行编码的语法结构。
一个最大编码块(CTB)可被划分为包括M×N个样点(M和N为整数)的M×N编码块。
当画面具有针对Y分量、Cr分量和Cb分量的样点阵列时,编码单元(CU)包括亮度样点的编码块、色度样点的两个相应的编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时,编码单元包括单色样点的编码块和用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分开的颜色平面中被编码的画面时,编码单元包括用于对画面和画面的样点进行编码的语法结构。
如上所述,在概念上将最大编码块和最大编码单元彼此区分开,并且在概念上将编码块和编码单元彼此区分开。也就是说,(最大)编码单元表示包括包含相应样点的(最大)编码块和与(最大)编码块相应的语法结构的数据结构。然而,因为本领域的普通技术人员理解(最大)编码单元或(最大)编码块表示包括预设数量的样点的预设尺寸的块,所以除非另有描述,否则在以下说明书中提及最大编码块和最大编码单元或者编码块和编码单元无需进行区分。
图像可被划分为最大编码单元(CTU)。每一个最大编码单元的尺寸可基于从比特流获得的信息被确定。每一个最大编码单元的形状可以是同一尺寸的正方形形状。然而,实施例不限于此。
例如,可从比特流获得关于亮度编码块的最大尺寸的信息。例如,由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256中的一个。
例如,可从比特流获得关于亮度块尺寸差和可被划分为两个的亮度编码块的最大尺寸的信息。关于亮度块尺寸差的信息可表示亮度最大编码单元与可被划分为两个的最大亮度编码块之间的尺寸差。因此,当从比特流获得的关于可被划分为两个的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息彼此组合时,可确定亮度最大编码单元的尺寸。可通过使用亮度最大编码单元的尺寸确定色度最大编码单元的尺寸。例如,当Y:Cb:Cr比率根据颜色格式为4:2:0时,色度块的尺寸可以是亮度块的尺寸的一半,并且色度最大编码单元的尺寸可以是亮度最大编码单元的尺寸的一半。
根据实施例,因为从比特流获得了关于可二划分的亮度编码块的最大尺寸的信息,所以可变化地确定可二划分的亮度编码块的最大尺寸。相反地,可三划分的亮度编码块的最大尺寸可被固定。例如,I条带中的可三划分的亮度编码块的最大尺寸可以是32×32,并且P条带或B条带中的可三划分的亮度编码块的最大尺寸可以是64×64。
此外,可基于从比特流获得的划分形状模式信息将最大编码单元分层地划分为编码单元。可从比特流获得指示是否执行四划分的信息、指示是否执行多划分的信息、划分方向信息和划分类型信息中的至少一个信息作为划分形状模式信息。
例如,指示是否执行四划分的信息可指示当前编码单元是否被四划分(QUAD_SPLIT)。
在当前编码单元不被四划分时,指示是否执行多划分的信息可指示当前编码单元是不再被划分(NO_SPLIT)还是被二/三划分。
在当前编码单元被二划分或者三划分时,划分方向信息指示当前编码单元沿水平方向和垂直方向中的一个方向被划分。
在当前编码单元沿水平方向或垂直方向被划分时,划分类型信息指示当前编码单元被二划分或三划分。
可根据划分方向信息和划分类型信息确定当前编码单元的划分模式。可将在当前编码单元沿水平方向被二划分时的划分模式确定为二水平划分模式(SPLIT_BT_HOR),可将在当前编码单元沿水平方向被三划分时的划分模式确定为三水平划分模式(SPLIT_TT_HOR),可将在当前编码单元沿垂直方向被二划分时的划分模式确定为二垂直划分模式(SPLIT_BT_VER),并且可将在当前编码单元沿垂直方向被三划分时的划分模式确定为三垂直划分模式(SPLIT_TT_VER)。
图像解码设备100可从比特流获得来自一个二进制位串的划分形状模式信息。由图像解码设备100接收的比特流的形式可包括固定长度的二进制码、一元码、截断一元码、预定二进制码等。二进制位串是二进制数的信息。二进制位串可包括至少一个比特。图像解码设备100可基于划分规则获得与二进制位串相应的划分形状模式信息。图像解码设备100可基于一个二进制位串确定是否对编码单元进行四划分、是否不对编码单元进行划分、划分方向以及划分类型。
编码单元可小于最大编码单元或者与最大编码单元相同。例如,因为最大编码单元是具有最大尺寸的编码单元,所以最大编码单元是编码单元中的一个。当关于最大编码单元的划分形状模式信息指示不执行划分时,在最大编码单元中确定的编码单元具有与最大编码单元的尺寸相同的尺寸。当关于最大编码单元的划分形状模式信息指示执行划分时,最大编码单元可被划分为编码单元。此外,当关于编码单元的划分形状模式信息指示执行划分时,编码单元可被划分为更小的编码单元。然而,图像的划分不限于此,并且可不将最大编码单元与编码单元区分开。将参照图3至图16详细描述对编码单元的划分。
此外,用于预测的一个或更多个预测块可从编码单元被确定。预测块可与编码单元相同或小于编码单元。此外,用于变换的一个或更多个变换块可从编码单元被确定。变换块可与编码单元相等或小于编码单元。
变换块和预测块的形状和尺寸可彼此不相关。
在另一实施例中,可通过将编码单元用作预测单元来执行预测。此外,可通过将编码单元用作变换块来执行变换。
将参照图3至图16详细描述对编码单元的划分。本公开的当前块和相邻块可指示最大编码单元、编码单元、预测块和变换块中的一个。此外,当前编码单元的当前块是当前被解码或被编码的块或者当前正被划分的块。相邻块可以是在当前块之前重建的块。相邻块可在空间上或时间上与当前块相邻。相邻块可位于当前块的左下方、左侧、左上方、上方、右上方、右侧和右下方之一。
图3示出根据实施例的由图像解码设备执行的通过对当前编码单元进行划分确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。这里,N可以是正整数。块形状信息是指示编码单元的形状、方向、宽度与高度的比例或尺寸中的至少一个的信息。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度长度和高度长度相同时(即,当编码单元的块形状为4N×4N时),图像解码设备100可将编码单元的块形状信息确定为正方形。图像解码设备100可将编码单元的形状确定为非正方形。
当编码单元的宽度和高度彼此不同时(即,当编码单元的块形状为4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N时),图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形时,图像解码设备100可将编码单元的块形状信息中的宽度与高度的比例确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。此外,图像解码设备100可基于编码单元的宽度长度和高度长度来确定编码单元是沿水平方向还是沿垂直方向。此外,图像解码设备100可基于编码单元的宽度长度、高度长度或面积中的至少一个来确定编码单元的尺寸。
根据实施例,图像解码设备100可通过使用块形状信息来确定编码单元的形状,并且可通过使用划分形状模式信息来确定编码单元的划分方法。也就是说,可基于由图像解码设备100使用的块形状信息所指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。
图像解码设备100可从比特流获得划分形状模式信息。然而,实施例不限于此,并且图像解码设备100和图像编码设备200可基于块形状信息来确定预先约定的划分形状模式信息。图像解码设备100可确定针对最大编码单元或最小编码单元的预先约定的划分形状模式信息。例如,图像解码设备100可将针对最大编码单元的划分形状模式信息确定为四划分。此外,图像解码设备100可将关于最小编码单元的划分形状模式信息确定为“不执行划分”。具体地,图像解码设备100可将最大编码单元的尺寸确定为256×256。图像解码设备100可将预先约定的划分形状模式信息确定为四划分。四划分是将编码单元的宽度和高度均二等分的划分形状模式。图像解码设备100可基于划分形状模式信息从256×256尺寸的最大编码单元获得128×128尺寸的编码单元。此外,图像解码设备100可将最小编码单元的尺寸确定为4×4。图像解码设备100可获得针对最小编码单元的指示“不执行划分”的划分形状模式信息。
根据实施例,图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备100可基于划分形状模式信息确定是否对正方形编码单元进行划分,是否对正方形编码单元进行垂直划分,是否对正方形编码单元进行水平划分,或者是否将正方形编码单元划分为四个编码单元。参照图3,在当前编码单元300的块形状信息指示正方形形状时,解码器120可基于指示不执行划分的划分形状模式信息不对与当前编码单元300具有相同尺寸的编码单元310a进行划分,或者可确定基于指示预设划分方法的划分形状模式信息而划分出的编码单元310b、310c、310d、310e或310f。
参照图3,根据实施例,图像解码设备100可基于指示沿垂直方向执行划分的划分形状模式信息,确定通过沿垂直方向对当前编码单元300进行划分而获得的两个编码单元310b。图像解码设备100可基于指示沿水平方向执行划分的划分形状模式信息,确定通过沿水平方向对当前编码单元300进行划分而获得的两个编码单元310c。图像解码设备100可基于指示沿垂直方向和水平方向执行划分的划分形状模式信息,确定通过沿垂直方向和水平方向对当前编码单元300进行划分而获得的四个编码单元310d。根据实施例,图像解码设备100可基于指示沿垂直方向执行三划分的划分形状模式信息,确定通过沿垂直方向对当前编码单元300进行划分而获得的三个编码单元310e。图像解码设备100可基于指示沿水平方向执行三划分的划分形状模式信息,确定通过沿水平方向对当前编码单元300进行划分而获得的三个编码单元310f。然而,正方形编码单元的划分方法不限于上述方法,并且划分形状模式信息可指示各种方法。下面将关于各种实施例详细描述对正方形编码单元进行划分的预设划分方法。
图4示出根据实施例的由图像解码设备100执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。基于划分形状模式信息,图像解码设备100可确定是不对非正方形的当前编码单元进行划分还是通过使用预设划分方法对非正方形的当前编码单元进行划分。参照图4,在当前编码单元400或450的块形状信息指示非正方形形状时,图像解码设备100可基于指示不执行划分的划分形状模式信息确定与当前编码单元400或450具有相同尺寸的编码单元410或编码单元460,或者可确定基于指示预设划分方法的划分形状模式信息而划分出的编码单元420a和420b、430a至430c、470a和470b、或者480a至480c。下面将关于各种实施例详细描述对非正方形编码单元进行划分的预设划分方法。
根据实施例,图像解码设备100可通过使用划分形状模式信息确定编码单元的划分方法,并且在这种情况下,划分形状模式信息可指示通过对编码单元进行划分产生的一个或更多个编码单元的数量。参照图4,当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时,图像解码设备100可通过基于划分形状模式信息对当前编码单元400或450进行划分来确定包括在当前编码单元400或450中的两个编码单元420a和420b或者470a和470b。
根据实施例,当图像解码设备100基于划分形状模式信息对非正方形的当前编码单元400或450进行划分时,图像解码设备100可考虑非正方形的当前编码单元400或450的长边的位置以对当前编码单元进行划分。例如,图像解码设备100可通过考虑当前编码单元400或450的形状沿对当前编码单元400或450的长边进行划分的方向来对当前编码单元400或450进行划分来确定多个编码单元。
根据实施例,当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元。例如,当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时,图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例,当前编码单元400或450的宽度与高度的比例可以是4:1或1:4。当宽度与高度的比例为4:1时,因为宽度长度长于高度长度,所以块形状信息可指示水平方向。当宽度与高度的比例为1:4时,因为宽度长度短于高度长度,所以块形状信息可指示垂直方向。图像解码设备100可基于划分形状模式信息来确定将当前编码单元划分为奇数个块。此外,图像解码设备100可基于当前编码单元400或450的块形状信息确定当前编码单元400或450的划分方向。例如,在当前编码单元400沿垂直方向时,图像解码设备100可通过沿水平方向对当前编码单元400进行划分来确定编码单元430a、430b和430c。此外,在当前编码单元450沿水平方向时,图像解码设备100可通过沿垂直方向对当前编码单元450进行划分来确定编码单元480a、480b和480c。
根据实施例,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且并非所有确定的编码单元都可具有相同的尺寸。例如,确定的奇数个编码单元430a、430b和430c或者480a、480b和480c中的预设的编码单元430b或编码单元480b可具有与其他编码单元430a和430c或者480a和480c的尺寸不同的尺寸。也就是说,可通过对当前编码单元400或450进行划分而确定的编码单元可具有多种尺寸,并且在某些情况下,奇数个编码单元430a、430b和430c或者480a、480b和480c中的全部编码单元可具有不同的尺寸。
根据实施例,当划分形状模式信息指示将编码单元划分为奇数个块时,图像解码设备100可确定包括在当前编码单元400或450中的奇数个编码单元,并且此外,可对通过对当前编码单元400或450进行划分而产生的奇数个编码单元中的至少一个编码单元施加预设限制。参照图4,图像解码设备100可将关于编码单元430b或编码单元480b的解码处理设置为与其他编码单元430a和430c或者480a和480c的解码处理不同,其中,编码单元430b或编码单元480b位于在对当前编码单元400或450进行划分时产生的三个编码单元430a、430b和430c或者480a、480b和480c中的中心位置处。例如,不同于其他编码单元430a和430c或者480a和480c,图像解码设备100可限制中心位置处的编码单元430b或编码单元480b不再被划分或仅被划分预设次数。
图5示出根据实施例的由图像解码设备100执行的基于块形状信息和划分形状模式信息中的至少一个信息对编码单元进行划分的处理。
根据实施例,图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个信息确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例,当划分形状模式信息指示沿水平方向对第一编码单元500进行划分时,图像解码设备100可通过沿水平方向对第一编码单元500进行划分来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解对编码单元进行划分之前和对编码单元进行划分之后的关系的术语。例如,可通过对第一编码单元进行划分来确定第二编码单元,并且可通过对第二编码单元进行划分来确定第三编码单元。将理解的是,第一编码单元、第二编码单元和第三编码单元的关系遵循以上描述。
根据实施例,图像解码设备100可基于划分形状模式信息,确定将确定的第二编码单元510划分为编码单元或不对确定的第二编码单元510进行划分。参照图5,图像解码设备100可基于划分形状模式信息将通过对第一编码单元500进行划分而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a、520b、520c和520d,或者可不对非正方形的第二编码单元510进行划分。图像解码设备100可获得划分形状模式信息,并且可通过基于获得的划分形状模式信息对第一编码单元500进行划分来获得多个各种形状的第二编码单元(例如,510),并且可基于划分形状模式信息通过使用第一编码单元500的划分方法来对第二编码单元510进行划分。根据实施例,当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510时,也可基于第二编码单元510的划分形状模式信息将第二编码单元510划分为第三编码单元(520a或者520b、520c和520d)。也就是说,可基于每一个编码单元的划分形状模式信息递归地对编码单元进行划分。因此,可通过对非正方形编码单元进行划分来确定正方形编码单元,并且可通过对正方形编码单元进行递归划分来确定非正方形编码单元。
参照图5,通过对非正方形的第二编码单元510进行划分而确定的奇数个第三编码单元520b、520c和520d中的预设编码单元(例如,位于中心位置处的编码单元、或正方形编码单元)可被递归地划分。根据实施例,可沿水平方向将奇数个第三编码单元520b、520c和520d中的正方形的第三编码单元520c划分为多个第四编码单元。可将所述多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d再划分为多个编码单元。例如,可将非正方形的第四编码单元530b或530d再划分为奇数个编码单元。下面将关于各种实施例描述可被用于对编码单元进行递归划分的方法。
根据实施例,图像解码设备100可基于划分形状模式信息将第三编码单元520a或者520b、520c和520d中的每一个划分为编码单元。此外,图像解码设备100可基于划分形状模式信息确定不对第二编码单元510进行划分。根据实施例,图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的预设的第三编码单元施加预设的限制。例如,图像解码设备100可将奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分或者被划分可设置的次数。
参照图5,图像解码设备100可将包括在非正方形的第二编码单元510中的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分,限制为通过使用预设的划分方法被划分(例如,仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分),或者限制为仅被划分预设次数(例如,仅被划分n次(其中,n>0))。然而,对中心位置处的第三编码单元520c的限制不限于上述示例,并且可包括用于与其他第三编码单元520b和520d不同地对在中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例,图像解码设备100可从当前编码单元中的预设位置获得用于对当前编码单元进行划分的划分形状模式信息。
图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定预设编码单元的方法。
参照图6,可从包括在当前编码单元600或650中的多个样点中的预设位置的样点(例如,中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而,当前编码单元600中的可获得至少一条划分形状模式信息的预设位置不限于图6中的中心位置,并且可包括在当前编码单元600中包括的各种位置(例如,上方、下方、左侧、右侧、左上方、左下方、右上方、右下方位置等)。图像解码设备100可从预设位置获得划分形状模式信息并且可确定将当前编码单元划分为各种形状和各种尺寸的编码单元或不对当前编码单元进行划分。
根据实施例,在当前编码单元被划分为预设数量的编码单元时,图像解码设备100可选择编码单元中的一个编码单元。如下将关于各种实施例描述的,各种方法可被用于选择多个编码单元中的一个编码单元。
根据实施例,图像解码设备100可将当前编码单元划分为多个编码单元,并且可确定预设位置处的编码单元。
根据实施例,图像解码设备100可使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图6,图像解码设备100可通过对当前编码单元600或当前编码单元650进行划分来确定奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或者奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如,图像解码设备100可通过基于指示包括在编码单元620a、620b和620c中的预设样点的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。详细地讲,图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。
根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示在当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息,并且宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息相应。也就是说,图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于与坐标之间的差值相应的编码单元的宽度或高度的信息,来确定中心位置处的编码单元620b。
根据实施例,指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya),指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb),指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中心编码单元620b。例如,当将左上样点630a、630b和630c的坐标按照升序或降序排序时,可将包括中心位置处的样点630b的坐标(xb,yb)的编码单元620b确定为通过对当前编码单元600进行划分而确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而,指示左上样点630a、630b和630c的位置的坐标可包括指示在画面中的绝对位置的坐标,或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)以及指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定预设位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。
根据实施例,图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c,并且可基于预设标准选择编码单元620a、620b和620c中的一个编码单元。例如,图像解码设备100可从编码单元620a、620b和620c中选择具有与其他编码单元的尺寸不同的尺寸的编码单元620b。
根据实施例,图像解码设备100可通过使用作为指示上方编码单元620a的左上样点630a的位置的信息的坐标(xa,ya)、作为指示中间编码单元620b的左上样点630b的位置的信息的坐标(xb,yb)和作为指示下方编码单元620c的左上样点630c的位置的信息的坐标(xc,yc)来确定编码单元620a、620b和620c中的每一个的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的各个尺寸。根据实施例,图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb-ya。根据实施例,图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码设备100可将中间编码单元620b的高度确定为yc-yb。根据实施例,图像解码设备100可通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于确定的编码单元620a、620b和620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预设位置的编码单元。然而,上述由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例相应,并且因此,可使用通过将基于预设样点的坐标确定的编码单元的尺寸进行比较来确定预设位置处的编码单元的各种方法。
图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)和作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每一个编码单元的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的各个尺寸。
根据实施例,图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例,图像解码设备100可通过使用当前编码单元650的宽度或高度或者左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于确定的编码单元660a、660b和660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6,图像解码设备100可将具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸的中间编码单元660b确定为预设位置的编码单元。然而,上述由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预设位置处的编码单元的示例相应,并且因此,可使用通过将基于预设样点的坐标确定的编码单元的尺寸进行比较来确定预设位置处的编码单元的各种方法。
然而,确定编码单元的位置所考虑的样点的位置不限于上述左上方位置,并且可使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例,图像解码设备100可考虑当前编码单元的形状,从通过对当前编码单元进行划分而确定的奇数个编码单元中选择预设位置处的编码单元。例如,在当前编码单元具有宽度长于高度的非正方形形状时,图像解码设备100可确定在水平方向上的预设位置处的编码单元。也就是说,图像解码设备100可确定在水平方向上的不同位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。在当前编码单元具有高度长于宽度的非正方形形状时,图像解码设备100可确定在垂直方向上的预设位置处的编码单元。也就是说,图像解码设备100可确定在垂直方向上的不同位置处的编码单元中的一个编码单元并且对该编码单元施加限制。
根据实施例,图像解码设备100可使用指示偶数个编码单元的各个位置的信息,以确定偶数个编码单元中的预设位置处的编码单元。图像解码设备100可通过对当前编码单元进行划分(二划分)来确定偶数个编码单元,并且可通过使用关于偶数个编码单元的位置的信息来确定预设位置处的编码单元。与其相关的操作可与已经在上面关于图6详细描述的确定奇数个编码单元中的预设位置(例如,中心位置)处的编码单元的操作相应,并且因此这里不提供其详细描述。
根据实施例,当将非正方形的当前编码单元划分为多个编码单元时,可在划分操作中使用关于预设位置处的编码单元的预设信息来确定多个编码单元中的预设位置处的编码单元。例如,图像解码设备100可在划分操作中使用存储在中间编码单元中包括的样点中的块形状信息和划分形状模式信息中的至少一个信息来确定通过对当前编码单元进行划分而确定的多个编码单元中的中心位置处的编码单元。
参照图6,图像解码设备100可基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c,并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外,图像解码设备100可考虑获得划分形状模式信息的位置来确定中心位置处的编码单元620b。也就是说,可从当前编码单元600的中心位置处的样点640获得当前编码单元600的划分形状模式信息,并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时,可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于划分形状模式信息,并且可将各种类型的信息用于确定中心位置处的编码单元。
根据实施例,可从包括在将被确定的编码单元中的预设样点获得用于识别预设位置处的编码单元的预设信息。参照图6,图像解码设备100可使用从当前编码单元600中的预设位置处的样点(例如,当前编码单元600的中心位置处的样点)获得的划分形状模式信息来确定通过对当前编码单元600进行划分而确定的多个编码单元620a、620b和620c中的预设位置处的编码单元(例如,划分出的多个编码单元中的中心位置处的编码单元)。也就是说,图像解码设备100可通过考虑当前编码单元600的块形状来确定预设位置处的样点,可从通过对当前编码单元600进行划分而确定的多个编码单元620a、620b和620c中确定包括可获得预设信息(例如,划分形状模式信息)的样点的编码单元620b,并且可对编码单元620b施加预设限制。参照图6,根据实施例,在解码操作中,图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可获得预设信息的样点,并且可对包括样点640的编码单元620b施加预设限制。然而,可获得预设信息的样点的位置不限于上述位置,并且可包括在将被确定用于限制的编码单元620b中包括的样点的任意位置。
根据实施例,可基于当前编码单元600的形状确定可获得预设信息的样点的位置。根据实施例,块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状,并且可基于该形状确定可获得预设信息的样点的位置。例如,图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个信息,将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得预设信息的样点。作为另一示例,在当前编码单元的块形状信息指示非正方形形状时,图像解码设备100可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得预设信息的样点。
根据实施例,在当前编码单元被划分为多个编码单元时,图像解码设备100可使用划分形状模式信息来确定多个编码单元中的预设位置处的编码单元。根据实施例,图像解码设备100可从编码单元中的预设位置处的样点获得划分形状模式信息,并且可通过使用从所述多个编码单元中的每一个编码单元中的预设位置的样点获得的划分形状模式信息对通过对当前编码单元进行划分而产生的多个编码单元进行划分。也就是说,可基于从每一个编码单元中的预设位置处的样点获得的划分形状模式信息对编码单元进行递归划分。上面已经关于图5描述了对编码单元进行递归划分的操作,并且因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过对当前编码单元进行划分来确定一个或更多个编码单元,并且可基于预设块(例如,当前编码单元)确定对一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码设备100通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。
根据实施例,基于划分形状模式信息,图像解码设备100可通过沿垂直方向对第一编码单元700进行划分来确定第二编码单元710a和710b,可通过沿水平方向对第一编码单元700进行划分来确定第二编码单元730a和730b,或者可通过沿垂直方向和水平方向对第一编码单元700进行划分来确定第二编码单元750a、750b、750c和750d。
参照图7,图像解码设备100可确定按照水平方向顺序710c对通过沿垂直方向对第一编码单元700进行划分而确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过沿水平方向对第一编码单元700进行划分而确定的第二编码单元730a和730b进行处理。图像解码设备100可确定根据预设顺序(例如,光栅扫描顺序或Z字形扫描顺750e)对通过沿垂直方向和水平方向对第一编码单元700进行划分而确定的第二编码单元750a、750b、750c和750d,其中,预设顺序是对一行中的编码单元进行处理并然后对下一行中的编码单元进行处理。
根据实施例,图像解码设备100可对编码单元进行递归划分。参照图7,图像解码设备100可通过对第一编码单元700进行划分来确定多个编码单元710a和710b、730a和730b或者750a、750b、750c和750d,并且可对确定的多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个进行递归划分。多个编码单元710a和710b、730a和730b或者750a、750b、750c和750d的划分方法可相应于第一编码单元700的划分方法。因此,多个编码单元710a和710b、730a和730b或者750a、750b、750c和750d中的每一个可被独立地划分为多个编码单元。参照图7,图像解码设备100可通过沿垂直方向对第一编码单元700进行划分来确定第二编码单元710a和710b,并且可确定对第二编码单元710a和710b中的每一个进行独立划分或者不对第二编码单元710a和710b中的每一个进行划分。
根据实施例,图像解码设备100可通过沿水平方向对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,并且可不对右侧第二编码单元710b进行划分。
根据实施例,可基于对编码单元进行划分的操作确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分出的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过对左侧第二编码单元710a进行划分而确定的第三编码单元720a和720b的处理顺序。因为通过沿水平方向对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b,所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理,所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于被划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可将各种方法用于按照预设顺序独立地处理被划分并被确定为各种形状的编码单元。
图8示出根据实施例的由图像解码设备100执行的当不可按照预设顺序对编码单元进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例,图像解码设备100可基于获得的划分形状模式信息确定当前编码单元将被划分为奇数个编码单元。参照图8,正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b,第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c、820d和820e。根据实施例,图像解码设备100可通过沿水平方向对左侧第二编码单元810a进行划分来确定多个第三编码单元820a和820b,并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。
根据实施例,图像解码设备100可通过确定是否可按照预设顺序对第三编码单元820a和820b以及820c、820d和820e进行处理,来确定是否将任意编码单元划分为奇数个编码单元。参照图8,图像解码设备100可通过对第一编码单元800进行递归划分来确定第三编码单元820a和820b以及820c、820d和820e。图像解码设备100可基于块形状信息和划分形状模式中的至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元:第一编码单元800、第二编码单元810a和810b、或者第三编码单元820a和820b、以及820c、820d和820e。例如,第二编码单元810a和810b中的位于右侧的编码单元可被划分为奇数个第三编码单元820c、820d和820e。包括在第一编码单元800中的多个编码单元的处理顺序可以是预设顺序(例如,Z字形扫描顺序830),并且图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元而确定的第三编码单元820c、820d和820e是否满足用于按照预设顺序进行处理的条件。
根据实施例,图像解码设备100可确定包括在第一编码单元800中的第三编码单元820a和820b以及820c、820d和820e是否满足用于按照预设顺序进行处理的条件,并且所述条件与第二编码单元810a和810b的宽度和高度中的至少一个是否将沿着第三编码单元820a和820b以及820c、820d和820e的边界被对半划分相关。例如,当非正方形形状的左侧第二编码单元810a的高度被对半划分时确定的第三编码单元820a和820b可满足所述条件。因为当将右侧第二编码单元810b划分为三个编码单元时确定的第三编码单元820c、820d和820e的边界不能将右侧第二编码单元810b的宽度或高度对半划分,所以可确定第三编码单元820c、820d和820e不满足所述条件。当如上所述不满足所述条件时,图像解码设备100可确定扫描顺序不连续,并且可基于确定结果确定右侧第二编码单元810b将被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预设位置处的编码单元施加预设限制,上面已经关于各种实施例描述了所述限制或所述预设位置,因此这里将不提供其详细描述。
图9示出根据实施例的由图像解码设备100执行的通过对第一编码单元900进行划分来确定至少一个编码单元的处理。
根据实施例,图像解码设备100可基于通过比特流获得器110获得的划分形状模式信息对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元,或者可被划分为多个非正方形编码单元。例如,参照图9,当第一编码单元900具有正方形形状并且划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时,图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地讲,当划分形状模式信息指示通过沿水平方向或垂直方向对第一编码单元900进行划分来确定奇数个编码单元时,图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如,通过沿垂直方向对正方形的第一编码单元900进行划分而确定的第二编码单元910a、910b和910c或者通过沿水平方向对正方形的第一编码单元900进行划分而确定的第二编码单元920a、920b和920c)。
根据实施例,图像解码设备100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照预设顺序进行处理的条件,并且所述条件与第一编码单元900的宽度和高度中的至少一个是否将沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分相关。参照图9,因为通过沿垂直方向对正方形的第一编码单元900进行划分而确定的第二编码单元910a、910b和910c的边界不将第一编码单元900的宽度对半划分,所以可确定第一编码单元900不满足用于按照预设顺序进行处理的条件。此外,因为通过沿水平方向对正方形的第一编码单元900进行划分而确定的第二编码单元920a、920b和920c的边界不将第一编码单元900的高度对半划分,所以可确定第一编码单元900不满足用于按照预设顺序进行处理的条件。当如上所述不满足所述条件时,图像解码设备100可决定扫描顺序不连续,并且可基于决定结果确定第一编码单元900被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备100可对划分出的编码单元中的预设位置处的编码单元施加预设限制。上面已经关于各种实施例描述了所述限制或所述预设位置,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可通过对第一编码单元进行划分来确定各种形状的编码单元。
参照图9,图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当在图像解码设备100对第一编码单元1000进行划分时确定的具有非正方形形状的第二编码单元满足预定条件时可将第二编码单元划分为的形状受到限制。
根据实施例,图像解码设备100可基于由比特流获得器110获得的划分形状模式信息确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a和1010b、或者1020a和1020b。第二编码单元1010a和1010b或者1020a和1020b可被独立地划分。像这样,基于第二编码单元1010a和1010b或者1020a和1020b中的每一个的划分形状模式信息,图像解码设备100可确定将第二编码单元1010a和1010b、或者1020a和1020b中的每一个划分为多个编码单元或不对第二编码单元1010a和1010b、或者1020a和1020b中的每一个进行划分。根据实施例,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1000进行划分而确定的非正方形的左侧第二编码单元1010a进行划分,来确定第三编码单元1012a和1012b。然而,当左侧第二编码单元1010a沿水平方向被划分时,图像解码设备100可限制右侧第二编码单元1010b不沿左侧第二编码单元1010a被划分的水平方向被划分。当通过沿同一方向对右侧第二编码单元1010b进行划分来确定第三编码单元1014a和1014b时,因为左侧第二编码单元1010a和右侧第二编码单元1010b沿水平方向被独立地划分,所以可确定第三编码单元1012a和1012b、或者1014a和1014b。然而,这种情况与图像解码设备100基于划分形状模式信息将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况作用相同,并且在图像解码方面可能是低效的。
根据实施例,图像解码设备100可通过沿垂直方向对通过沿水平方向对第一编码单元1000进行划分而确定的非正方形的第二编码单元1020a或1020b进行划分,来确定第三编码单元1022a和1022b、或者1024a和1024b。然而,当第二编码单元(例如,上方第二编码单元1020a)沿垂直方向被划分时,出于上述原因,图像解码设备100可限制另一第二编码单元(例如,下方第二编码单元1020b)不沿上方第二编码单元1020a被划分的垂直方向被划分。
图11示出根据实施例的由图像解码设备100执行的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。
根据实施例,图像解码设备100可通过基于划分形状模式信息对第一编码单元1100进行划分来确定第二编码单元1110a和1110b、或者1120a和1120b等。划分形状模式信息可包括关于对编码单元进行划分的各种方法的信息,但关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状模式信息,图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形的第二编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于划分形状模式信息确定非正方形的第二编码单元1110a和1110b、或者1120a和1120b等。
根据实施例,图像解码设备100可对非正方形的第二编码单元1110a和1110b、或者1120a和1120b等进行独立划分。第二编码单元1110a和1110b、或者1120a和1120b等中的每一个可按照预设顺序被递归地划分,并且此划分方法可与基于划分形状模式信息对第一编码单元1100进行划分的方法相应。
例如,图像解码设备100可通过沿水平方向对左侧第二编码单元1110a进行划分来确定正方形的第三编码单元1112a和1112b,并且可通过沿水平方向对右侧第二编码单元1110b进行划分来确定正方形的第三编码单元1114a和1114b。此外,图像解码设备100可通过沿水平方向对左侧第二编码单元1110a和右侧第二编码单元1110b两者进行划分来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下,可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
作为另一示例,图像解码设备100可通过沿垂直方向对上方第二编码单元1120a进行划分来确定正方形的第三编码单元1122a和1122b,并且可通过沿垂直方向对下方第二编码单元1120b进行划分来确定正方形的第三编码单元1124a和1124b。此外,图像解码设备100可通过沿垂直方向对上方第二编码单元1120a和下方第二编码单元1120b两者进行划分来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下,可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
图12示出根据实施例的可根据对编码单元进行划分的处理改变多个编码单元之间的处理顺序。
根据实施例,图像解码设备100可基于划分形状模式信息对第一编码单元1200进行划分。当块形状指示正方形形状并且划分形状模式信息指示沿水平方向和垂直方向中的至少一个方向对第一编码单元1200进行划分时,图像解码设备100可通过对第一编码单元1200进行划分来确定第二编码单元1210a和1210b、或者1220a和1220b。参照图12,通过仅沿水平方向或垂直方向对第一编码单元1200进行划分而确定的非正方形的第二编码单元1210a和1210b、或者1220a和1220b可基于每一个编码单元的划分形状模式信息被独立地划分。例如,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1200进行划分而产生的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可通过沿垂直方向对通过沿水平方向对第一编码单元1200进行划分而产生的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d。上面已经关于图11描述了对第二编码单元1210a和1210b、或者1220a和1220b进行划分的操作,因此这里将不提供其详细描述。
根据实施例,图像解码设备100可按照预设顺序对编码单元进行处理。上面已经关于图7描述了按照预设顺序对编码单元进行处理的操作,因此这里将不提供其详细描述。参照图12,图像解码设备100可通过对正方形的第一编码单元1200进行划分来确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。根据实施例,图像解码设备100可基于第一编码单元1200被划分的划分形状来确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例,图像解码设备100可通过沿水平方向对通过沿垂直方向对第一编码单元1200进行划分而产生的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d,并且可按照如下处理顺序1217对第三编码单元1216a、1216b、1216c和1216d进行处理:首先在垂直方向上对包括在左侧第二编码单元1210a中的第三编码单元1216a和1216c进行处理,并且然后在垂直方向上对包括在右侧第二编码单元1210b中的第三编码单元1216b和1216d进行处理。
根据实施例,图像解码设备100可通过沿垂直方向对通过沿水平方向对第一编码单元1200进行划分而产生的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d,并且可按照如下处理顺序1227对第三编码单元1226a、1226b、1226c和1226d进行处理:首先在水平方向上对包括在上方第二编码单元1220a中的第三编码单元1226a和1226b进行处理,并且然后在水平方向上对包括在下方第二编码单元1220b中的第三编码单元1226c和1226d进行处理。
参照图12,可通过分别对第二编码单元1210a和1210b以及1220a和1220b进行划分来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过沿垂直方向对第一编码单元1200进行划分而确定的第二编码单元1210a和1210b与通过沿水平方向对第一编码单元1200进行划分而确定的第二编码单元1220a和1220b不同,但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d最终示出与从第一编码单元1200划分出的相同形状的编码单元。像这样,通过基于划分形状模式信息以不同的方式对编码单元进行递归划分,即使最终将编码单元确定为相同的形状,图像解码设备100也可按照不同顺序对多个编码单元进行处理。
图13示出根据实施例的当对编码单元进行递归划分使得多个编码单元被确定时随着编码单元的形状和尺寸改变来确定编码单元的深度的处理。
根据实施例,图像解码设备100可基于预设标准来确定编码单元的深度。例如,预设标准可以是编码单元的长边的长度。当编码单元在被划分之前的长边的长度是划分出的当前编码单元的长边的长度的2n(n>0)倍时,图像解码设备100可确定当前编码单元的深度比被划分之前的编码单元的深度增大了n。在下面的描述中,具有增大的深度的编码单元被表示为更深深度的编码单元。
参照图13,根据实施例,图像解码设备100可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:SQUARE”)对正方形的第一编码单元1300进行划分来确定更深深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2N×2N,通过将第一编码单元1300的宽度和高度划分为1/2所确定的第二编码单元1302可具有N×N的尺寸。此外,通过将第二编码单元1302的宽度和高度划分为1/2所确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时,宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是D+1,并且宽度和高度是第一编码单元1300的宽度和高度的1/4的第三编码单元1304的深度可以是D+2。
根据实施例,图像解码设备100可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度长于宽度的非正方形形状的“1:NS_VER”,或者可被表示为指示宽度长于高度的非正方形形状的“2:NS_HOR”)对非正方形的第一编码单元1310或1320进行划分来确定更深深度的第二编码单元1312或1322以及第三编码单元1314或1324。
图像解码设备100可通过对尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个进行划分来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过沿水平方向对第一编码单元1310进行划分来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322,或者可通过沿水平方向和垂直方向对第一编码单元1310进行划分来确定尺寸为N/2×N的第二编码单元1312。
根据实施例,图像解码设备100可通过对尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个进行划分来确定第二编码单元1302、1312或1322。也就是说,图像解码设备100可通过沿垂直方向对第一编码单元1320进行划分来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312,或者可通过沿水平方向和垂直方向对第一编码单元1320进行划分来确定尺寸为N×N/2的第二编码单元1322。
根据实施例,图像解码设备100可通过对尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿垂直方向和水平方向对第二编码单元1302进行划分来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可通过对尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿水平方向对第二编码单元1312进行划分来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324,或者可通过沿垂直方向和水平方向对第二编码单元1312进行划分来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例,图像解码设备100可通过对尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个进行划分来确定第三编码单元1304、1314或1324。也就是说,图像解码设备100可通过沿垂直方向对第二编码单元1322进行划分来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314,或者可通过沿垂直方向和水平方向对第二编码单元1322进行划分来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例,图像解码设备100可沿水平方向或垂直方向对正方形编码单元1300、1302或1304进行划分。例如,图像解码设备100可通过沿垂直方向对尺寸为2N×2N的第一编码单元1300进行划分来确定尺寸为N×2N的第一编码单元1310,或者可通过沿水平方向对第一编码单元1300进行划分来确定尺寸为2N×N的第一编码单元1320。根据实施例,当基于编码单元的最长边的长度确定深度时,通过沿水平方向或垂直方向对尺寸为2N×2N的第一编码单元1300进行划分而确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例,第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时,宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是D+1,宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
根据实施例,图像解码设备100可通过对正方形的第一编码单元1400进行划分来确定各种形状的第二编码单元。参照图14,图像解码设备100可通过基于划分形状模式信息沿垂直方向和水平方向中的至少一个方向对第一编码单元1400进行划分来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。也就是说,图像解码设备100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b、以及1406a、1406b、1406c和1406d。
根据实施例,基于正方形的第一编码单元1400的划分形状模式信息所确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度被确定。例如,因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度,所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度(例如,D)。然而,当图像解码设备100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时,因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2,所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深了1的D+1。
根据实施例,图像解码设备100可通过基于划分形状模式信息沿水平方向对高度长于宽度的第一编码单元1410进行划分来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例,图像解码设备100可通过基于划分形状模式信息沿垂直方向对宽度长于高度的第一编码单元1420进行划分来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例,基于非正方形的第一编码单元1410或1420的划分形状模式信息所确定的第二编码单元1412a和1412b以及第二编码单元1414a、1414b和1414c,或者第二编码单元1422a和1422b以及第二编码单元1424a、1424b和1424c的深度可基于它们的长边的长度被确定。例如,因为正方形的第二编码单元1412a和1412b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2,所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深了1的D+1。
此外,图像解码设备100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下,因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2,所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深了1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法来确定从具有宽度长于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例,当划分出的奇数个编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例来确定用于识别划分出的编码单元的PID。参照图14,划分出的奇数个编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度可以是其他编码单元1414a和1414c的高度的两倍。也就是说,在这种情况下,中心位置处的编码单元1414b可包括两个其他编码单元1414a或1414c。因此,当中心位置处的编码单元1414b的PID基于扫描顺序为1时,位置与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。也就是说,可能存在PID值不连续。根据实施例,图像解码设备100可基于用于识别划分出的编码单元的PID中是否存在不连续来确定划分出的奇数个编码单元是否不具有相等的尺寸。
根据实施例,图像解码设备100可基于用于识别通过对当前编码单元进行划分而确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14,图像解码设备100可通过对具有高度长于宽度的矩形形状的第一编码单元1410进行划分来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用指示各个编码单元的PID以便识别所述各个编码单元。根据实施例,可从每一个编码单元的预设位置的样点(例如,左上样点)获得PID。
根据实施例,图像解码设备100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的预设位置处的编码单元。根据实施例,当具有高度长于宽度的矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时,图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码设备100可将划分出的奇数个编码单元的PID进行比较,以确定划分出的奇数个编码单元中的中心位置处的编码单元。图像解码设备100可将具有与编码单元的PID中的中间值相应的PID的编码单元1414b确定为通过对第一编码单元1410进行划分所确定的编码单元中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等的尺寸时,图像解码设备100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图14,通过对第一编码单元1410进行划分而产生的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度,并且编码单元1414b的高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下,当中心位置处的编码单元1414b的PID是1时,位置与编码单元1414b相邻的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时,图像解码设备100可确定编码单元被划分为包括尺寸与其他编码单元的尺寸不同的编码单元的多个编码单元。根据实施例,当划分形状模式信息指示将编码单元划分为奇数个编码单元时,图像解码设备100可按照奇数个编码单元中的预设位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来对当前编码单元进行划分。在这种情况下,图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,预设位置的编码单元的PID以及尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码设备100可使用预设数据单元,其中,在所述预设数据单元中,编码单元开始被递归地划分。
图15示出根据实施例的基于包括在画面中的多个预设数据单元来确定多个编码单元。
根据实施例,预设数据单元可被定义为通过使用划分形状模式信息开始对编码单元进行递归划分的数据单元。也就是说,预设数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元相应。在下面的描述中,为了便于解释,预设数据单元被称为参考数据单元。
根据实施例,参考数据单元可具有预设尺寸和预设形状。根据实施例,参考编码单元可包括M×N个样点。这里,M和N可彼此相等,并且可以是被表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
根据实施例,图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备100可通过使用每一个参考数据单元的划分形状模式信息来对从当前画面划分出的多个参考数据单元进行划分。对参考数据单元进行划分的操作可与使用四叉树结构的划分操作相应。
根据实施例,图像解码设备100可预先确定包括在当前画面中的参考数据单元所允许的最小尺寸。因此,图像解码设备100可确定尺寸等于或大于最小尺寸的各种参考数据单元,并且可参考确定的参考数据单元通过使用划分形状模式信息来确定一个或更多个编码单元。
参照图15,图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、并行块、并行块组、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码设备100的比特流获得器110可从比特流获得针对各种数据单元中的每一个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图3的对当前编码单元300进行划分的操作描述了将正方形的参考编码单元1500划分为一个或更多个编码单元的操作,并且上面已经关于图4的对当前编码单元400或450进行划分的操作描述了将非正方形的参考编码单元1502划分为一个或更多个编码单元的操作。因此,这里将不提供其详细描述。
根据实施例,图像解码设备100可根据基于预设条件预先确定的一些数据单元,使用用于识别参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说,比特流获得器110可从比特流仅获得用于识别针对每一个条带、条带片段、并行块、并行块组或最大编码单元的参考编码单元的尺寸和形状的PID,其中,所述每一个条带、条带片段或最大编码单元是各种数据单元(例如,序列、画面、条带、条带片段、并行块、并行块组、最大编码单元等)中的满足预设条件的数据单元(例如,尺寸等于或小于条带的数据单元)。图像解码设备100可通过使用PID确定针对满足预设条件的每一个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每一个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,仅PID可被获得并被使用,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于识别参考编码单元的尺寸和形状的PID相应的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码设备100可通过基于PID选择参考编码单元的尺寸和形状中的被预先确定的至少一个,来确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码设备100可使用包括在最大编码单元中的一个或更多个参考编码单元。也就是说,从画面划分出的最大编码单元可包括一个或更多个参考编码单元,并且可通过对每一个参考编码单元进行递归划分来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说,根据各种实施例,图像解码设备100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元,并且可基于块形状信息和划分形状模式信息中的至少一个来对参考编码单元进行划分。
图16示出根据实施例的用作用于对确定包括在画面1600中的参考编码单元的顺序进行确定的标准的处理块。
根据实施例,图像解码设备100可确定对画面进行划分的一个或更多个处理块。处理块可以是包括对图像进行划分的一个或更多个参考编码单元的数据单元,并且包括在处理块中的一个或更多个参考编码单元可根据特定顺序来确定。也就是说,确定针对每一个处理块的一个或更多个参考编码单元的顺序可相应于用于确定参考编码单元的各种类型的顺序中的一种,并且不同的处理块可具有用于确定参考编码单元的不同顺序。确定针对每一个处理块的参考编码单元的顺序可以是各种顺序(例如,光栅扫描、Z字形扫描、N字形扫描、右上方对角线扫描、水平扫描和垂直扫描)中的一种,但不限于上述扫描顺序。
根据实施例,图像解码设备100可获得处理块尺寸信息以确定包括在图像中的至少一个处理块的尺寸。图像解码设备100可从比特流获得处理块尺寸信息以确定包括在图像中的至少一个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预设尺寸。
根据实施例,图像解码设备100的比特流获得器110可针对每一个特定数据单元从比特流获得处理块尺寸信息。例如,可按数据单元(诸如图像、序列、画面、条带、条带片段、并行块、并行块组等)从比特流获得处理块尺寸信息。也就是说,比特流获得器110可针对各种数据单元中的每一个从比特流获得处理块尺寸信息,并且图像解码设备100可通过使用所获得的处理块尺寸信息来确定对画面进行划分的至少一个处理块的尺寸,其中,所述处理块的尺寸可以是参考编码单元的整数倍。
根据实施例,图像解码设备100可确定包括在画面1600中的处理块1602和处理块1612的尺寸。例如,图像解码设备100可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图16,根据实施例,图像解码设备100可将处理块1602和处理块1612的水平尺寸确定为参考编码单元的水平尺寸的四倍,并且可将处理块1602和处理块1612的垂直尺寸确定为参考编码单元的垂直尺寸的四倍。图像解码设备100可确定在一个或更多个处理块中确定一个或更多个参考编码单元的顺序。
根据实施例,图像解码设备100可基于处理块的尺寸来确定包括在画面1600中的处理块1602和处理块1612,并且可对确定包括在处理块1602和处理块1612中的一个或更多个参考编码单元的顺序进行确定。根据实施例,确定参考编码单元可包括确定参考编码单元的尺寸。
根据实施例,图像解码设备100可从比特流获得关于确定包括在一个或更多个处理块中的一个或更多个参考编码单元的顺序的信息,并且可基于关于确定顺序的信息来对确定一个或更多个参考编码单元的顺序进行确定。关于确定顺序的信息可被定义为在处理块中确定参考编码单元的顺序或方向。也就是说,可针对每一个处理块独立地确定参考编码单元被确定的顺序。
根据实施例,图像解码设备100可从比特流获得关于确定每一个特定数据单元的参考编码单元的顺序的信息。例如,比特流获得器110可针对每一个数据单元(诸如图像、序列、画面、条带、条带片段、并行块、并行块组、处理块等)从比特流获得关于确定参考编码单元的顺序的信息。因为关于确定参考编码单元的顺序的信息指示确定处理块中的参考编码单元的顺序,所以可针对包括整数个处理块的每一个特定数据单元获得关于确定顺序的信息。
图像解码设备100可基于根据实施例确定的顺序来确定一个或更多个参考编码单元。
根据实施例,比特流获得器110可从比特流获得关于确定参考编码单元的顺序的信息作为与处理块1602和处理块1612相关的信息,并且图像解码设备100可对确定包括在中的一个或更多个参考编码单元的顺序进行确定,并且根据确定参考编码单元的顺序来确定包括在画面1600中的一个或更多个参考编码单元。参照图16,图像解码设备100可分别针对处理块1602和处理块1612对确定一个或更多个参考编码单元的顺序1604和顺序1614进行确定。例如,当针对每一个处理块获得了关于确定参考编码单元的顺序的信息时,处理块1602和处理块1612可具有不同的确定参考编码单元的顺序。当针对处理块1602确定参考编码单元的顺序1604是光栅扫描的顺序时,可以以光栅扫描的顺序确定包括在处理块1602中的参考编码单元。相反,当针对另一处理块1612确定参考编码单元的顺序1614是与光栅扫描相反的顺序时,可以以与光栅扫描相反的顺序确定包括在处理块1612中的参考编码单元。
根据实施例,图像解码设备100可对一个或更多个参考编码单元进行解码。图像解码设备100可基于通过上述实施例确定的参考编码单元对图像进行解码。对参考编码单元进行解码的方法可包括各种图像解码方法。
根据实施例,图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息,并且可使用获得的信息。划分形状模式信息可被包括在与各种数据单元相关的比特流中。例如,图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头或并行块组头中的划分形状模式信息。此外,图像解码设备100可根据每一个最大编码单元、每一个参考编码单元或每一个处理块从比特流获得与块形状信息或划分形状模式信息相应的语法元素,并且可使用获得的语法元素。
在下文中,将详细描述根据本公开的实施例的确定划分规则的方法。
图像解码设备100可确定图像的划分规则。可在图像解码设备100与图像编码设备200之间预先确定划分规则。图像解码设备100可基于从比特流获得的信息确定图像的划分规则。图像解码设备100可基于从序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头、并行块组头中的至少一个获得的信息确定划分规则。图像解码设备100可根据帧、条带、并行块、时间层、最大编码单元或编码单元来不同地确定划分规则。
图像解码设备100可基于编码单元的块形状确定划分规则。块形状可包括编码单元的尺寸、形状、宽度与高度的比例以及方向。图像编码设备200和图像解码设备100可预先确定基于编码单元的块形状来确定划分规则。然而,实施例不限于此。图像解码设备100可基于从图像编码设备200接收的比特流获得的信息来确定划分规则。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度长度与高度长度相同时,图像解码设备100可将编码单元的形状确定为正方形。此外,当编码单元的宽度长度与高度长度不相同时,图像解码设备100可将编码单元的形状确定为非正方形。
编码单元的尺寸可包括诸如4×4、8×4、4×8、8×8、16×4、16×8至256×256的各种尺寸。可基于编码单元的长边长度、短边长度或者面积来对编码单元的尺寸进行分类。图像解码设备100可将相同的划分规则应用于被分类为同一组的编码单元。例如,图像解码设备100可将长边为相同长度的编码单元分类为相同尺寸的编码单元。此外,图像解码设备100可将相同的划分规则应用于长边为相同长度的编码单元。
编码单元的宽度与高度的比例可包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外,编码单元的方向可包括水平方向和垂直方向。水平方向可指示编码单元的宽度长度长于编码单元的高度长度的情况。垂直方向可指示编码单元的宽度长度短于编码单元的高度长度的情况。
图像解码设备100可基于编码单元的尺寸来自适应地确定划分规则。图像解码设备100可基于编码单元的尺寸来不同地确定可允许的划分形状模式。例如,图像解码设备100可基于编码单元的尺寸来确定是否允许进行划分。图像解码设备100可根据编码单元的尺寸来确定划分方向。图像解码设备100可根据编码单元的尺寸来确定可允许的划分类型。
基于编码单元的尺寸确定的划分规则可以是在图像编码设备200与图像解码设备100之间预先确定的划分规则。此外,图像解码设备100可基于从比特流获得的信息确定划分规则。
图像解码设备100可基于编码单元的位置来自适应地确定划分规则。图像解码设备100可基于编码单元在图像中的位置来自适应地确定划分规则。
此外,图像解码设备100可确定划分规则使得经由不同的划分路径而产生的编码单元不具有相同的块形状。然而,实施例不限于此,并且经由不同的划分路径而产生的编码单元具有不同的解码处理顺序。因为以上参照图12描述了解码处理顺序,因此将不再提供其细节。
图17示出根据实施例的当各个画面具有不同的编码单元的划分形状组合时各个画面的编码单元。
参照图17,图像解码设备100可确定各个画面的不同的编码单元的划分形状组合。例如,图像解码设备100可通过使用包括在图像中的至少一个画面之中的可被划分为四个编码单元的画面1700、可被划分为两个或四个编码单元的画面1710以及可被划分为两个、三个或四个编码单元的画面1720来对图像进行解码。图像解码设备100可仅使用指示划分为四个正方形编码单元的划分形状信息,以便将画面1700划分为多个编码单元。图像解码设备100可仅使用指示划分为两个或四个编码单元的划分形状信息,以便对画面1710进行划分。图像解码设备100可仅使用指示划分为两个、三个或四个编码单元的划分形状信息来对画面1720进行划分。上述划分形状组合是用于描述图像解码设备100的操作的实施例,并且因此,上述划分形状组合不应被解释为限于上述实施例。应当理解的是,针对每一个预设数据单元可使用各种划分形状组合。
根据实施例,图像解码设备100的比特流获得器110可获得包括表示针对每一个预设数据单元(例如,序列、画面、条带、条带片段、并行块、并行块组等)的划分形状信息的组合的索引的比特流。例如,比特流获得器110可从序列参数集、画面参数集、条带头、并行块头或并行块组头获得表示划分形状信息的组合的索引。图像解码设备100的比特流获得器110可使用所获得的索引来确定针对每一个预设数据单元的编码单元可被划分的划分形状组合,因此,比特流获得器110可针对各个预设数据单元使用不同的划分形状组合。
图18示出根据实施例的可基于可用二进制码表示的划分形状模式信息确定的编码单元的各种形状。
根据实施例,图像解码设备100可通过使用通过比特流获得器110获得的块形状信息和划分形状模式信息来将编码单元划分为各种形状。编码单元可被划分的形状可以是包括以上通过实施例描述的形状的各种形状。
参照图18,图像解码设备100可基于划分形状模式信息来沿水平方向和垂直方向中的至少一个方向对具有正方形形状的编码单元进行划分并且沿水平方向或垂直方向对具有非正方形形状的编码单元进行划分。
根据实施例,当图像解码设备100可沿水平方向和垂直方向对具有正方形形状的编码单元进行划分以确定四个正方形编码单元时,针对正方形编码单元的划分形状模式信息可表示四个划分形状。根据实施例,划分形状模式信息可用2个数位的二进制码来表示,并且每一个划分形状可被分配二进制码。例如,当编码单元不被划分时,划分形状模式信息可被表示为(00)b,当编码单元沿水平方向和垂直方向被划分时,划分形状模式信息可被表示为(01)b,当编码单元沿水平方向被划分时,划分形状模式信息可被表示为(10)b,并且当编码单元沿垂直方向被划分时,划分形状模式信息可被表示为(11)b。
根据实施例,当图像解码设备100沿水平方向或垂直方向对具有非正方形形状的编码单元进行划分时,可由划分形状模式信息表示的划分形状的种类可取决于编码单元将被划分为的编码单元的数量。参照图18,根据实施例,图像解码设备100可将具有非正方形形状的编码单元划分为最多三个。此外,图像解码设备100可将编码单元划分为两个编码单元。在这种情况下,划分形状模式信息可被表示为(10)b。图像解码设备100可将编码单元划分为三个编码单元。在这种情况下,划分形状模式信息可被表示为(11)b。图像解码设备100可确定不对编码单元进行划分。在这种情况下,划分形状模式信息可被表示为(0)b。也就是说,图像解码设备100可使用可变长度编码(VLC)而不是固定长度编码(FLC),以便使用表示划分形状模式信息的二进制码。
根据实施例,参照图18,表示编码单元不被划分的划分形状模式信息的二进制码可被表示为(0)b。在表示编码单元不被划分的划分形状模式信息的二进制码被设置为(00)b的情况下,尽管没有划分形状模式信息被设置为(01)b,但是可能需要全部使用2比特的划分形状模式信息的二进制码。然而,在三个划分形状被用于具有非正方形形状的编码单元的情况下,如在图18中所示出的,图像解码设备100可通过使用1比特的二进制码(0)b作为划分形状模式信息来确定编码单元不被划分,从而有效地使用比特流。然而,由划分形状模式信息表示的具有非正方形形状的编码单元的划分形状不应被解释为限于在图18中所示出的三种形状,而应被解释为包括上述实施例的各种形状。
图19示出根据实施例的可基于可用二进制码表示的划分形状模式信息确定的编码单元的其他形状。
参照图19,图像解码设备100可基于划分形状模式信息来沿水平方向或垂直方向对具有正方形形状的编码单元进行划分,并且沿水平方向或垂直方向对具有非正方形形状的编码单元进行划分。也就是说,划分形状模式信息可指示沿一个方向对具有正方形形状的编码单元进行划分。在这种情况下,表示具有正方形形状的编码单元不被划分的划分形状模式信息的二进制码可被表示为(0)b。在表示编码单元不被划分的划分形状模式信息的二进制码被设置为(00)b的情况下,尽管没有划分形状模式信息被设置为(01)b,但是可能需要全部使用2比特的划分形状模式信息的二进制码。然而,在三个划分形状被用于正方形形状的编码单元的情况下,如在图19中所示出的,图像解码设备100可通过使用1比特的二进制码(0)b作为划分形状模式信息来确定编码单元不被划分,从而有效地使用比特流。然而,由划分形状模式信息表示的具有正方形形状的编码单元的划分形状不应被解释为限于在图19中所示出的的三种形状,而应被解释为包括上述实施例的各种形状。
根据实施例,可通过使用二进制码来表示块形状信息或划分形状模式信息,并且可直接将块形状信息或划分形状模式信息产生为比特流。此外,可用二进制码表示的块形状信息或划分形状模式信息可被用作上下文自适应二进制算术编码(CABAC)中的输入二进制码,而不是直接被产生为比特流。
将描述根据实施例的图像解码设备100通过CABAC获得针对块形状信息或划分形状模式信息的语法的处理。图像解码设备100可通过比特流获得器110获得包括针对语法的二进制码的比特流。图像解码设备100可对包括在所获得的比特流中的二进制位串进行去二值化,以检测表示块形状信息或划分形状模式信息的语法元素。根据实施例,图像解码设备100可获得与将被解码的语法元素相应的一组二进制位串,并且通过使用概率信息对各个二进制位进行解码。图像解码设备100可重复该操作,直到配置有解码的二进制位的二进制位串与先前获得的二进制位串中的一个二进制位串相同为止。图像解码设备100可对二进制位串执行去二值化以确定语法元素。
根据实施例,图像解码设备100可执行自适应二进制算术编码的解码处理以确定针对二进制位串的语法,并且图像解码设备100可更新针对通过比特流获得器110获得的二进制位的概率模型。参照图18,根据实施例,图像解码设备100的比特流获得器110可获得表示二进制码的比特流,其中,所述二进制码表示划分形状模式信息。图像解码设备100可通过使用所获得的大小为1比特或2比特的二进制码来确定针对划分形状模式信息的语法。图像解码设备100可更新2比特的二进制码中的每一个比特的概率,以便确定针对划分形状模式信息的语法。也就是说,图像解码设备100在进行解码时可根据2比特的二进制码的第一个二进制位的值为0或1中的哪一个来更新下一个二进制位的值将为0或1的概率。
根据实施例,在确定语法的处理中,图像解码设备100可更新在对针对语法的二进制位串的二进制位进行解码的处理中使用的二进制位的概率,并且图像解码设备100可确定二进制位串的特定位具有相同的概率,而不用更新特定位的概率。
参照图18,在通过使用表示针对具有非正方形形状的编码单元的划分形状模式信息的二进制位串来确定语法的处理中,图像解码设备100可在具有非正方形形状的编码单元不被划分的情况下,通过使用值为0的二进制位来确定针对划分形状模式信息的语法。也就是说,当块形状信息表示当前编码单元具有非正方形形状时,在具有非正方形形状的编码单元不被划分的情况下,针对划分形状模式信息的二进制位串的第一个二进制位可以是0,并且在编码单元被划分为两个或三个编码单元的情况下,针对划分形状模式信息的二进制位串的第一个二进制位可以是1。因此,针对具有非正方形形状的编码单元的划分形状模式信息的二进制位串的第一个二进制位将为0的概率可以是1/3,并且第一个二进制位将为1的概率可以是2/3。因为表示具有非正方形形状的编码单元不被划分的划分形状模式信息可用值为0的1比特的二进制位串来表示,所以如上所述,图像解码设备100可仅在划分形状模式信息的第一个二进制位为1的情况下确定第二个二进制位是0还是1,以确定针对划分形状模式信息的语法。根据实施例,当针对划分形状模式信息的第一个二进制位为1时,图像解码设备100可确定第二个二进制位将为0的概率等于第二个二进制位将为1的概率,并且对第二个二进制位进行解码。
因此,图像解码设备100可在确定针对划分形状模式信息的二进制位串的二进制位的处理中,使用各个二进制位的各种概率。根据实施例,图像解码设备100可根据非正方形块的延伸方向来确定针对划分形状模式信息的二进制位的不同概率。根据实施例,图像解码设备100可根据当前编码单元的宽度或当前编码单元的较长边的长度来确定针对划分形状模式信息的二进制位的不同概率。根据实施例,图像解码设备100可根据当前编码单元的形状和当前编码单元的较长边的长度中的至少一个来确定针对划分形状模式信息的二进制位的不同概率。
根据实施例,针对等于或大于预设尺寸的编码单元,图像解码设备100可确定针对划分形状模式信息的二进制位的概率相同。例如,针对较长边的长度等于或大于64个样点的编码单元,图像解码设备100可确定针对划分形状模式信息的二进制位的概率相同。
根据实施例,图像解码设备100可基于条带类型(例如,I条带、P条带或B条带)来确定构成划分形状模式信息的二进制位串的二进制位的初始概率。
图20是执行环路滤波的图像编码和解码系统的框图。
图像编码和解码系统2000的编码器2010可发送图像的编码比特流,并且图像编码和解码系统2000的解码器2050可接收比特流并对比特流进行解码以输出重建图像。这里,编码器2010可以是与稍后将描述的图像编码设备200类似的配置,并且解码器2050可以是与图像解码设备100类似的配置。
在编码器2010中,预测编码器2015可通过帧间预测和帧内预测输出预测数据,并且变换和量化单元2020可输出当前输入图像与预测数据之间的残差数据的量化的变换系数。熵编码器2025可对量化的变换系数进行编码以对量化的变换系数进行变换,并且将量化的变换系数输出为比特流。可通过反量化和逆变换单元2030将量化的变换系数重建为空间域数据,并且可通过去块滤波器2035和环路滤波器2040将重建的空间域数据输出为重建图像。重建图像可被预测编码器2015用作下一个输入图像的参考图像。
由解码器2050接收的比特流中的编码的图像数据可通过熵解码器2055以及反量化和逆变换单元2060被重建为空间域残差数据。从预测解码器2075输出的预测数据可与残差数据组合以构建空间域图像数据,并且去块滤波器2065和环路滤波器2070可对空间域图像数据进行滤波并输出针对当前原始图像的重建图像。重建图像可被预测解码器2075用作针对下一个原始图像的参考图像。
编码器2010的环路滤波器2040可通过使用根据用户输入或系统设置输入的滤波器信息来执行环路滤波。由环路滤波器2040使用的滤波器信息可被输出到熵编码器2025,并且与编码的图像数据一起被发送到解码器2050。解码器2050的环路滤波器2070可基于从解码器2050输入的滤波器信息来执行环路滤波。
上述各种实施例描述了与由图像解码器100执行的图像解码方法相关的操作。在下文中,将通过各种实施例描述执行与图像解码方法的相反顺序相应的图像编码方法的图像编码设备200的操作。
图2是根据实施例的能够基于块形状信息和划分形状模式信息中的至少一个对图像进行编码的图像编码设备200的框图。
图像编码设备200可包括编码器220和比特流产生器210。编码器220可接收输入图像并对输入图像进行编码。编码器220可对输入图像进行编码以获得至少一个语法元素。语法元素可包含跳过标志、预测模式、运动矢量差、运动矢量预测方法(或索引)、变换量化系数、编码块模式、编码块标志、帧内预测模式、直接标志、合并标志、delta QP、参考索引、预测方向和变换索引中的至少一个。编码器220可基于包括编码单元的形状、方向、高度与宽度的比例或尺寸中的至少一个的块形状信息来确定上下文模型。
比特流产生器210可基于编码的输入图像产生比特流。例如,比特流产生器210可通过基于上下文模型对语法元素执行熵编码来产生比特流。此外,图像编码设备200可将比特流发送到图像解码设备100。
根据实施例,图像编码设备200的编码器220可确定编码单元的形状。例如,编码单元可具有正方形形状或非正方形形状,并且表示这样的形状的信息可被包括在块形状信息中。
根据实施例,编码器220可确定编码单元将被划分为的形状。编码器220可确定包括在编码单元中的至少一个编码单元的形状,并且比特流产生器210可产生包括划分形状模式信息的比特流,其中,所述划分形状模式信息包括关于编码单元的形状的信息。
根据实施例,编码器220可确定是否对编码单元进行划分。当编码器220确定编码单元仅包括一个编码单元或者编码单元不被划分时,比特流产生器210可产生包括表示编码单元不被划分的划分形状模式信息的比特流。此外,编码器220可将编码单元划分为包括在编码单元中的多个编码单元,并且比特流产生器210可产生包括表示编码单元将被划分为多个编码单元的划分形状模式信息的比特流。
根据实施例,表示编码单元被划分为的编码单元的数量或编码单元被划分的方向的信息可被包括在划分形状模式信息中。例如,划分形状模式信息可表示沿垂直方向和水平方向中的至少一个方向进行划分,或者可表示不划分。
图像编码设备200可基于编码单元的划分形状模式来确定划分形状模式信息。图像编码设备200可基于编码单元的形状、方向、宽度与高度的比例或尺寸中的至少一个来确定上下文模型。此外,图像编码设备200可基于上下文模型将关于用于对编码单元进行划分的划分形状模式的信息产生为比特流。
为了确定上下文模型,图像编码设备200可获得用于将编码单元的形状、方向、宽高比或尺寸中的至少一个与上下文模型的索引相应的协定。图像编码设备200可根据该协定基于编码单元的形状、方向、宽度和高度的比率或尺寸中的至少一个来获得上下文模型的索引。图像编码设备200可基于上下文模型的索引来确定上下文模型。
为了确定上下文模型,图像编码设备200还可基于包括与编码单元相邻的周围编码单元的形状、方向、宽度与高度的比例或尺寸中的至少一个的块形状信息来确定上下文模型。此外,周围编码单元可包括位于编码单元的左下侧、左侧、左上侧、上侧、右上侧、右侧或右下侧的编码单元中的至少一个。
此外,为了确定上下文模型,图像编码设备200可将上方周围编码单元的宽度的长度与编码单元的宽度的长度进行比较。此外,图像编码设备200可将左侧周围编码单元和右侧周围编码单元的高度的长度与编码单元的高度的长度进行比较。此外,图像编码设备200可基于比较的结果来确定上下文模型。
图像编码设备200的操作包括与上面参照图3至图20描述的图像解码设备100的操作类似的内容,因此,将省略其详细描述。
在下文中,将参照图21至图32描述用于通过双向预测对图像进行编码和解码的图像编码设备3000和图像解码设备2100。
图21是示出根据实施例的图像解码设备2100的配置的框图。
参照图21,根据实施例的图像解码设备2100可包括获得器2110、熵解码器2130和预测解码器2150。
在图21中所示出的获得器2110可相应于在图1中所示出的比特流获得器110,并且熵解码器2130和预测解码器2150可相应于在图1中所示出的解码器120。此外,熵解码器2130和预测解码器2150可分别相应于在图20中所示出的熵解码器2055和预测解码器2075。
根据实施例的获得器2110、熵解码器2130和预测解码器2150可被实现为至少一个处理器。图像解码设备2100可包括用于存储获得器2110、熵解码器2130和预测解码器2150的输入数据和输出数据的一个或更多个存储器(未示出)。此外,图像解码设备2100可包括用于控制存储器(未示出)的数据输入和数据输出的存储器控制器(未示出)。
获得器2110可接收作为对图像进行编码的结果而产生的比特流。比特流可包括用于重建当前块的信息。当前块可以是通过根据树结构被从图像划分出而产生的块,并且可相应于块单元,诸如例如最大编码单元、编码单元或变换单元等。
预测解码器2150可基于在与序列参数集、画面参数集、视频参数集、条带头和条带片段头中的至少一个级别相应的比特流中包括的块形状信息和/或划分形状模式信息来确定当前块。
比特流可包括表示当前块的预测模式的信息。当前块的预测模式可包括帧内模式、帧间模式、合并模式等。帧间模式、合并模式等可以是用于基于参考图像预测和重建当前块以便减少图像之间的时间冗余的模式。
根据实施例,可使用一个参考图像(即,单向预测)或者可使用两个参考图像(即,双向预测)来基于参考图像重建当前块。可根据包括在比特流中的显式信息来确定将对当前块进行单向预测还是双向预测,或者可根据与当前块相关的周围块的预测模式来隐式地确定将对当前块进行单向预测还是双向预测。
熵解码器2130可对包括在比特流中的数据执行熵解码,以获得将用于重建当前块的语法元素。根据实施例,熵解码器2130可根据CABAC对包括在比特流中的数据执行熵解码。
当对当前块进行双向预测时,熵解码器2130可对包括在比特流中的权重信息执行熵解码以获得与语法元素相应的权重索引。这里,权重信息可包括通过对通过对权重索引进行二值化而获得的二进制串执行算术编码而获得的结果值。因此,作为对权重信息进行算术解码的结果,可重建与权重索引相应的二进制串,并且可对二进制串进行去二值化以获得权重索引。通过对权重索引进行二值化而获得的二进制串和通过对权重信息执行算术解码而获得的二进制串可被称为二进制位串。
根据实施例,熵解码器2130可在对权重信息进行算术解码时基于上下文模型重建与权重索引相应的二进制串的第一个二进制值,并且通过旁路方法重建二进制串的其余二进制值。也就是说,因为上下文模型仅被用于第一个二进制值,所以可简化熵解码。
将参照图22至图24详细描述熵解码器2130。
图22示出在图21中所示出的熵解码器2130的配置。
参照图22,熵解码器2130可包括上下文建模器2132、常规解码器2134、旁路解码器2136和去二值化器2138。熵解码器2130可执行由稍后将描述的熵编码器3030执行的熵编码处理的逆处理。
比特流可被配置有二进制值,并且二进制值可通过对与在图像编码处理期间确定的语法元素相应的二进制串执行算术编码被获得。
可通过常规解码器2134或旁路解码器2136将包括在比特流中的数据算术解码为相应于语法元素的二进制值(即,二进制串)。可根据语法元素的类型将包括在比特流中的数据输入到常规解码器2134或旁路解码器2136。
常规解码器2134可基于由上下文建模器2132确定的概率模型对二进制值执行算术解码。上下文建模器2132可将针对当前将被重建的二进制值的概率模型提供给常规解码器2134。更具体地,上下文建模器2132可基于先前解码的二进制值来确定预设二进制值的概率,更新用于对先前解码的二进制值进行解码的二进制值的概率,并将更新的概率输出到常规解码器2134。
根据实施例,上下文建模器2132可通过使用上下文索引ctxldx来确定上下文模型,并且确定上下文模型具有的最小概率符号(LPS)或最大概率符号(MPS)的出现概率、以及关于0和1中的哪一个与MPS相应的信息valMPS。根据另一实施例,上下文建模器2132可基于先前解码的二进制值来确定预定的预设二进制值的概率(例如,表示例如“1”的出现概率的P(1)),而不对MPS和LPS进行分区,并且将预设二进制值的概率提供给常规解码器2134。
常规解码器2134可基于从上下文建模器2132提供的预设二进制值的概率和包括在比特流中的数据来执行二进制算术解码。更具体地,常规解码器2134可基于从上下文建模器2132提供的预设二进制值的概率来确定“1”的出现概率P(1)和“0”的出现概率P(0)。此外,常规解码器2134可根据“0”的出现概率P(0)和“1”的出现概率P(1)对表示概率区间的预设范围进行划分,并且输出与包括在比特流中的数据所属的区间相应的二进制值。
旁路解码器2136可将“1”的出现概率P(1)和“0”的出现概率P(0)固定为预定值(例如,0.5),根据出现概率P(1)和P(0)对表示概率区间的预设范围进行划分,并且输出与包括在比特流中的数据所属的区间相应的二进制值。因为与常规解码器2134不同,旁路解码器2136不使用上下文模型,所以旁路解码器2136可执行高速算术解码。
去二值化器2138可对作为从常规解码器2134和旁路解码器2136输出的二进制值的排列的二进制串进行去二值化以输出语法元素。对于对二进制串的去二值化,可使用固定长度去二值化、截断莱斯去二值化、k阶指数哥伦布去二值化(exp-golomb de-binarization)和哥伦布莱斯去二值化(golomb rice de-binarization)中的一个。
如上所述,熵解码器2130可在对包括在比特流中的权重信息进行算术解码时基于上下文模型重建第一个二进制值,并且通过旁路方法重建其余二进制值。换句话说,与权重索引相应的二进制串的第一个二进制值可由常规解码器2134来重建,并且其余二进制值可由旁路解码器2136来重建。
图23是用于确定与权重索引相应的二进制串的上下文信息的参考表。
参照图23,可以看出,表示权重索引的Bcw_idx的二进制值中的binldx为0的二进制值(即,第一个二进制值)是根据0的上下文来重建的,并且binldx大于0的二进制值是通过旁路方法来重建的。
在由熵解码器2130完成对权重信息的算术解码之后,可通过对二进制串的去二值化来获得与语法元素相应的权重索引。
图24是表示包括在权重候选组中的候选值以及与候选值相应的权重索引和二进制串的表。
参照图24,可将权重索引分配给用于对当前块的双向预测的候选值,并且可通过截断莱斯二值化对各个权重索引进行二值化。例如,权重索引0可用一个二进制值来表示,并且权重索引1可用两个二进制值来表示。也就是说,权重索引可用不同数量个二进制值来表示。然而,根据实施示例,具有最大值的权重索引和具有第二大值的权重索引可基于截断莱斯二值化用相同数量个二进制值来表示。在图24中所示出的候选值的种类/数量和分配给各个候选值的权重索引是示例,并且可在对相关领域的普通技术人员显而易见的范围内进行各种改变。
上面已经描述,在对权重信息进行算术解码时,基于上下文模型重建第一个二进制值,并且通过旁路方法重建其余二进制值。原因可以是因为:i)当由权重索引0指示的候选值的选择概率最高时,通过根据上下文模型累积0的概率和1的概率的变化来重建第一个二进制值是有效的;以及ii)因为由除了0之外的其他权重索引指示的候选值的选择概率低于由权重索引0指示的候选值的选择概率,所以通过旁路方法重建二进制值比基于上下文模型重建二进制值更有效。
预测解码器2150可将由作为对权重信息进行熵解码的结果而获得的权重索引指示的候选值用于对当前块的双向预测。更具体地,当权重索引为0时,候选值4可被用于对当前块的双向预测,以及当权重索引为1时,候选值5可被用于对当前块的双向预测。
在下文中,将描述由预测解码器2150执行的通过使用权重的双向预测来重建当前块的方法。
图25是用于描述对当前块2515进行双向预测的示图。
可通过使用包括在列表0中的第一参考图像2530或包括在列表1中的第二参考图像2550对包括在当前图像2510中的当前块2515进行单向预测,或者可通过使用包括在列表0中的第一参考图像2530和包括在列表1中的第二参考图像2550对包括在当前图像2510中的当前块2515进行双向预测。
预测解码器2150可确定将由当前块2515所参考的用于对当前块2515的双向预测的第一参考图像2530和第二参考图像2550,并且确定指示第一参考图像2530中的第一参考块2535的第一运动矢量mv1和指示第二参考图像2550中的第二参考块2555的第二运动矢量mv2。更具体地,预测解码器2150可基于包括在比特流中的信息来选择第一参考图像2530和第二参考图像2550作为将由当前块2515所参考的图像,或者预测解码器2150可考虑由与当前块2515相关的周围块所参考的图像来选择第一参考图像2530和第二参考图像2550作为将由当前块2515所参考的图像。
为了确定第一运动矢量mv1和第二运动矢量mv2,预测解码器2150可通过使用与当前块2515在时间上相关的时间块的运动矢量和与当前块2515在空间上相关的空间块的运动矢量来产生运动矢量候选列表。预测解码器2150可通过使用包括在运动矢量候选列表中的运动矢量候选之中的由包括在比特流中的信息指示的运动矢量候选来使用第一运动矢量mv1和第二运动矢量mv2。
图26示出在时间上和/或空间上与当前块2515相关的块。
参照图26,时间块可包括块Co1和块Br中的至少一个,其中,块Co1具有与当前块2515的画面顺序计数(POC)不同的POC并且在参考图像中与当前块2515位于相同位置处,块Br在空间上与位于相同位置处的块Co1相邻。块Br可位于与当前块2515位于相同位置处的块Col的右下侧。
在空间上与当前块2515相关的空间块可包括左下方外部块A0、左下方块A1、右上方外部块B0、右上方块B1和左上方外部块B2中的至少一个。
在图26中所示出的时间块和空间块的位置是示例,并且时间块和空间块的位置和数量可根据实施示例而不同地改变。
根据实施例,预测解码器2150可直接在第一参考图像2530和第二参考图像2550中搜索将被用于重建当前块2515的第一参考块2535和第二参考块2555。在这种情况下,预测解码器2150可通过与图像编码设备3000所执行的方法相同的方法来搜索第一参考块2535和第二参考块2555。
再次参照图25,在第一参考图像2530中的第一参考块2535和第二参考图像2550中的第二参考块2555被确定之后,预测解码器2150可将第一参考块2535与第二参考块2555组合,并且基于组合结果重建当前块2515。在本文中,将第一参考块2535与第二参考块2555组合可指将包括在第一参考块2535中的样点与包括在第二参考块2555中的样点线性地组合。
例如,预测解码器2150可将第一参考块2535与第二参考块2555的组合结果确定为当前块2515。作为另一示例,预测解码器2150可将从比特流获得的残差数据应用于第一参考块2535和第二参考块2555的组合结果,从而重建当前块2515。这里,残差数据可指当前块2515与第一参考块2535与第二参考块2555的组合结果之间的差。
预测解码器2150可根据以下等式1将第一参考块2535与第二参考块2555组合。
[等式1]
pbSamples[x][y]=
(w0*predSamplesL0[x][y]+w1*predSamplesL1[x][y]+offset3)
>>(shift2+3)
在等式1中,pbSamples[x][y]表示位于第一参考块2535中的位置(x,y)处的样点与位于第二参考块2555中的位置(x,y)处的样点的组合结果,predSamplesL0[x][y]表示位于包括在列表0中的第一参考图像2530中的第一参考块的位置(x,y)处的样点,并且predSamplesL1[x][y]表示位于包括在列表1中的第二参考图像2550中的第二参考块的位置(x,y)处的样点。此外,offset3和shift2是预定值。
在等式1中,w1表示与权重索引相应的候选值,并且w0表示w1的配对值。配对值是指通过将与权重索引相应的候选值应用于预设运算等式而获得的值。例如,w0的值为8-w1的值。根据实施示例,w0可以是与权重索引相应的候选值,并且w1可以是w0的配对值。
如上所述,当包括在权重候选组中的候选值之中的由权重索引指示的候选值被确认时,相应的候选值可被用作用于将第一参考块与第二参考块组合的权重。也就是说,根据实施例,当第一参考块与第二参考块被组合以用于对当前块进行双向预测时,通过选择可推导出与当前块最相似的组合结果的权重,可减小包括在比特流中的残差数据的大小。
另外,因为分别指示包括在权重候选组中的候选值的索引通过例如截断莱斯二值化被二值化为用不同数量个二进制值来表示,所以在比特率方面,哪些索引被分配给哪些候选值可能是重要的。换句话说,当最小索引被分配给包括在权重候选组中的候选值之中的具有最大概率将被用于对当前块的双向预测的候选值时,可用少量比特来表示相应的索引。例如,当在图24中所示出的候选值之中的具有最大概率将被用于对当前块的双向预测的候选值为-2并且索引4被分配给候选值-2时,可能需要四个二进制值(即,1111)来表示索引4,因此,与将索引0分配给候选值-2的情况相比,在比特率方面存在缺点。
因此,根据实施例的预测解码器2150可将索引自适应地分配给包括在权重候选组中的候选值。在下文中,自适应地分配索引是指将被分配给候选值的索引可根据预设标准而改变,而不是分别将相同的索引应用于候选值。在下文中,将对此进行详细描述。
根据实施例,预测解码器2150可根据候选值已被选择用于对比当前块更早被解码的先前块进行双向预测的累积次数自适应地设置候选值的索引。例如,预测解码器2150可将较小值的索引分配给具有较大的候选值已被选择的累积次数的候选值。
图27是用于描述包括在权重候选组中的候选值的索引可根据候选值已被选择的累积次数而改变的示图。
如在图27中所示出的,当在先前块中候选值4已经被选择19次,候选值5已经被选择6次,候选值3已经被选择12次,候选值10已经被选择3次,并且候选值-2已经被选择7次时,可将按照候选值4、候选值3、候选值-2、候选值5和候选值10的顺序增加的值的索引分别分配给相应的候选值。
预测解码器2150可分别将索引分配给候选值,并且如上文所描述,通过使用与权重索引相应的候选值来将第一参考块与第二参考块组合。
根据实施例,预测解码器2150可针对每一个图像、每一个条带、每一个并行块或每一个块分别将索引重新分配给候选值。这里,块可包括最大编码单元、编码单元或变换单元。
例如,当以图像为单位将索引重新分配给候选值时,预测解码器2150可在对包括当前块的当前图像进行解码之前,计算候选值已被选择用于对包括在先前图像中的先前块进行双向预测的累积次数,并且根据累积次数将索引分配给将被用于对当前图像中的块进行双向预测的候选值。
根据另一示例,当以条带为单位将索引重新分配给候选值时,预测解码器2150可在对包括当前块的当前条带进行解码之前,计算候选值已被选择用于对包括在先前条带中的先前块进行双向预测的累积次数,并且根据计算出的累积次数将索引分配给将被用于对当前条带中的块进行双向预测的候选值。
根据另一示例,当以并行块为单位将索引重新分配给候选值时,预测解码器2150可在对包括当前块的当前并行块进行解码之前,计算候选值已被选择用于对包括在先前并行块中的先前块进行双向预测的累积次数,并且根据计算出的累积次数将索引分配给将被用于对当前并行块中的块进行双向预测的候选值。
根据另一示例,当以块为单位将索引重新分配给候选值时,预测解码器2150可在对当前块进行解码之前,计算候选值已被选择用于对先前块进行双向预测的累积次数,并且根据计算出的累积次数将索引分配给将被用于对当前块进行双向预测的候选值。
根据实施例,预测解码器2150可在先前块之中选择基于用于对当前块进行双向预测的第一参考图像和第二参考图像被双向预测的先前块,并且根据候选值已被选择用于对相应的先前块进行双向预测的累积次数来设置候选值的索引。换句话说,可针对通过使用与当前图像的参考图像相同的参考图像被双向预测的先前块来计算候选值已被选择的累积次数,并且可根据累积次数来分配索引。在这种情况下,预测解码器2150可根据指示用于对当前块的双向预测的参考图像的信息(例如,ref_idx)指定由当前块所参考的参考图像,然后选择由权重索引(例如,bcw_idx)所指示的候选值。因此,熵解码器2130可从比特流重建指示用于对当前块的双向预测的参考图像的信息(例如,ref_idx),然后重建权重索引。
当不存在基于用于对当前块进行双向预测的第一参考图像和第二参考图像被双向预测的先前块时,预测解码器2150可将预定值的索引分配给候选值。原因可以是:因为针对基于相同参考图像被双向预测的块,存在高概率将选择相同权重来组合参考块。
根据实施例,预测解码器2150可从先前图像之中选择具有与包括当前图像的当前画面组(GOP)中的当前图像的时间层相同的时间层的先前图像,并且根据候选值已被选择用于对包括在选择的先前图像中的先前块进行双向预测的累积次数来设置候选值的索引。时间层可表示包括在GOP中的图像的解码级别或解码顺序。
根据实施例,预测解码器2150可从与图像、条带、并行块或块的级别相应的比特流获得分别被分配给候选值的索引的信息,并且根据所获得的信息以块、并行块、条带或图像为单位将索引分配给候选值。这里,块可包括最大编码单元、编码单元或变换单元。
根据实施例,预测解码器2150可将预定值的索引(例如,索引0)分配给候选值之中的预定候选值,并且根据预设标准(例如,在先前块中候选值已被选择的累积次数)将索引自适应地分配给其余候选值。
预测解码器2150可针对每一个图像、每一个条带、每一个并行块或每一个块自适应地确定包括在权重候选组中的候选值的数量。这里,自适应地确定候选值的数量是指根据预设标准不同地改变候选值的数量,而不是将候选值的数量确定为相同的数量。因此,当包括在权重候选组中的候选值的数量以图像为单位被确定时,预测解码器2150可在对包括在当前图像中的块进行双向预测解码时使用包括5个候选值(例如,4、5、3、10、-2)的权重候选组,并且在对包括在下一图像中的块进行双向预测解码时使用包括3个候选值(例如,3、4、5)的权重候选组。根据实施示例,当包括在权重候选组中的候选值的数量被确定时,如上所述,预测解码器2150可将索引自适应地分配给相应的候选值。
根据实施例,预测解码器2150可基于第一参考图像的POC和第二参考图像的POC中的至少一个来自适应地确定包括在权重候选组中的候选值的数量。
例如,预测解码器2150可基于第一参考图像的POC与当前图像的POC之间的比较结果和第二参考图像的POC与当前图像的POC之间的比较结果中的至少一个来自适应地确定包括在权重候选组中的候选值的数量。
例如,预测解码器2150可考虑到第一参考图像的POC和第二参考图像的POC是大于还是小于当前图像的POC,自适应地确定包括在权重候选组中的候选值的数量。当第一参考图像的POC和第二参考图像的POC两者都小于或等于当前图像的POC时,预测解码器2150可将包括在权重候选组中的候选值的数量确定为m(m是自然数),当第一参考图像的POC和第二参考图像的POC中的至少一个大于当前图像的POC时,预测解码器2150可将包括在权重候选组中的候选值的数量确定为n(n是不同于m的自然数)。例如,当m为5时,包括在权重候选组中的候选值可以是4、5、3、10和-2,当n为3时,权重候选组中包括的候选值可以是3、4和5。
例如,预测解码器2150可基于包括在比特流中的计数信息自适应地确定包括在权重候选组中的候选值的数量。
此外,例如,预测解码器2150可根据当前图像的类型自适应地确定包括在权重候选组中的候选值的数量。在当前图像是预设类型时,预测解码器2150可将包括在权重候选组中的候选值的数量确定为5(例如,4、5、3、10、-2),以及在当前图像不是预设类型时,预测解码器2150可将包括在权重候选组中的候选值的数量确定为3(例如,3、4和5)。
关于等式1,已经描述了当第一参考块与第二参考块组合时,根据权重索引确定候选值,从候选值确定配对值,并且将候选值和配对值分别应用于第一参考块和第二参考块。当候选值为w1时,配对值w0可以是8-w1。参照在图24中所示出的候选值,可以看出,配对值w0也作为候选值被包括在权重候选组中。例如,当由权重索引指示的候选值为5时,5的配对值为3(8-5),并且3也作为候选值被包括在图24中所示出的表中。此外,当由权重索引指示的候选值为10时,10的配对值为-2(8-10),并且-2也作为候选值被包括在表中。
也就是说,在图24中所示出的候选值中,5与3配对,并且10与-2配对。当从候选值之中选择了5或10时,可始终将3和-2推断为配对值。通过将3和-2包括在权重候选组中,可确定将被应用于第一参考块和第二参考块的候选值的各种组合。然而,考虑到比特流,在权重候选组中包括的大量候选值可能是缺点。原因可以是:因为在权重候选组中包括的较大数量的候选值导致较大数量的分别表示候选值的二进制值。
根据实施例,预测解码器2150可仅包括权重候选组中不是配对关系的候选值。图28是表示包括在权重候选组中的候选值以及与候选值相应的权重索引和二进制串的表。与图24相比,图28示出在权重候选组中不存在与5配对的3和与10配对的-2。根据实施示例,权重候选组中可包括3和-2,而不包括5和10。因为候选值的总数是3,所以可利用三个二进制值来表示最大索引,并且因此,可减少表示权重索引所需的比特数。
当包括在权重候选组中的候选值不是配对关系时,预测解码器2150可选择由权重索引所指示的候选值和候选值的配对值中的哪些被分别应用于第一参考块和第二参考块。更具体地,当满足预设标准时,预测解码器2150可将由权重索引所指示的候选值应用于第一参考块,并且将相应候选值的配对值应用于第二参考块。相反,当不满足预设标准时,预测解码器2150可将由权重索引所指示的候选值应用于第二参考块,并且将相应候选值的配对值应用于第一参考块。
根据实施例,预测解码器2150可基于第一参考图像的POC和第二参考图像的POC来选择将候选值和配对值中的哪些分别应用于第一参考块和第二参考块。例如,预测解码器2150可将候选值应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较大差的POC的参考图像中的参考块,并且将配对值应用于另一参考图像中的参考块。作为另一实例,预测解码器2150可将候选值应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较小差的POC的参考图像中的参考块,并且将配对值应用于另一参考图像中的参考块。作为又一示例,预测解码器2150可将候选值应用于第一参考图像和第二参考图像之中的具有较大POC的参考图像中的参考块,并且将配对值应用于另一参考图像中的参考块。相反,预测解码器2150可将候选值应用于第一参考图像和第二参考图像之中的具有较小POC的参考图像中的参考块,并且将配对值应用于另一参考图像中的参考块。作为另一示例,预测解码器2150可将候选值和配对值中的较大值应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较小差的POC的参考图像中的参考块,并且将候选值和配对值中的较小值应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较大差的POC的参考图像中的参考块。作为又一示例,预测解码器2150可将候选值和配对值中的较大值应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较大差的POC的参考图像中的参考块,并且将候选值和配对值中的较小值应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较小差的POC的参考图像中的参考块。
图29是示出根据实施例的图像解码方法的流程图。
在操作S2910,图像解码设备2100可获得用于对当前块进行双向预测的第一参考图像中的第一参考块和第二参考图像中的第二参考块。图像解码设备2100可从比特流获得指示包括在列表0中的第一参考图像和包括在列表1中的第二参考图像的信息,并且根据所获得的信息选择第一参考图像和第二参考图像。此外,图像解码设备2100可确定指示第一参考图像中的第一参考块的第一运动矢量和指示第二参考图像中的第二参考块的第二运动矢量。
在操作S2920,图像解码设备2100可获得包括在比特流中的权重信息,并且在操作S2930,对权重信息执行熵解码以获得权重索引。
图像解码设备2100可根据上下文模型重建与权重索引相应的第一个二进制值,并且根据旁路方法重建其余二进制值。
在操作S2940,图像解码设备2100可根据包括在权重候选组中的候选值之中的由权重索引所指示的候选值将第一参考块与第二参考块组合,并且在操作S2950,基于第一参考块和第二参考块的组合结果重建当前块。
图像解码设备2100可将第一参考块和第二参考块的组合结果确定为当前块,或者图像解码设备2100可将第一参考块和第二参考块的组合结果确定为预测块,并且将预测块与从比特流获得的残差数据求和以重建当前块。
图像解码设备2100可针对每一个图像、每一个条带、每一个并行块或每一个块自适应地确定将被包括在权重候选组中的候选值的数量和/或种类,以便选择由权重索引所指示的候选值。为了自适应地确定将被包括在权重候选组中的候选值的数量和/或种类,图像解码设备2100可使用与稍后将描述的图像编码设备3000执行的方法相同的方法。
图30是示出根据实施例的图像编码设备3000的配置的框图。
参照图30,图像编码设备3000可包括预测编码器3010、熵编码器3030和产生器3050。预测编码器3010和熵编码器3030可相应于在图2中所示出的编码器20,并且产生器3050可相应于在图2中所示出的比特流产生器210。此外,预测编码器3010和熵编码器3030可分别相应于在图20中所示出的预测编码器2015和熵编码器2025。
根据实施例的预测编码器3010和熵编码器3030可被实现为至少一个处理器。图像编码设备3000可包括存储预测编码器3010、熵编码器3030和产生器3050的输入/输出数据的至少一个存储器(未示出)。此外,图像编码设备3000可包括用于控制存储器(未示出)的数据输入/输出的存储器控制器(未示出)。
预测编码器3010可确定当前块的预测模式。当前块的预测模式可包括帧内模式、帧间模式、合并模式等。帧间模式、合并模式等可以是用于基于参考图像预测当前块并对当前块进行编码以减少图像之间的时间冗余的模式。根据实施例,为了基于参考图像对当前块进行编码,可使用一个参考图像(即,单向预测)或两个参考图像(即,双向预测)。
在当前块被双向预测时,预测编码器3010可从列表0和列表1之中选择当前块的参考图像。预测编码器3010可从列表0选择第一参考图像,并且从列表1选择第二参考图像。
此外,预测编码器3010可在第一参考图像中搜索用于预测当前块的第一参考块,并且在第二参考图像中搜索第二参考块。预测编码器3010可从第一参考图像和第二参考图像中选择能够产生与当前块具有最小差的块的第一参考块和第二参考块。如上所述,预测编码器3010可通过使用与当前块在时间上相关的时间块的运动矢量和与当前块在空间上相关的空间块的运动矢量来产生运动矢量候选列表,从包括在运动矢量候选列表中的运动矢量候选之中确定第一运动矢量和第二运动矢量,并且获得由第一运动矢量所指示的第一参考块和由第二运动矢量所指示的第二参考块。
在获得了第一参考块和第二参考块之后,预测编码器3010可从包括在权重候选组中的候选值之中选择将被用于将第一参考块与第二参考块组合的候选值。
预测编码器3010可在选择候选值之前自适应地将索引分配给包括在权重候选组中的候选值。
根据实施例,预测编码器3010可根据候选值已被选择用于对比当前块更早编码的先前块进行双向预测的累积次数将索引自适应地分配给候选值。例如,预测编码器3010可将较小大小的索引分配给被选择较大累积次数的候选值。如在图27中所示出的,当在先前块中候选值4已经被选择19次,候选值5已经被选择6次,候选值3已经被选择12次,候选值10已经被选择3次,并且候选值-2已经被选择7次时,可将按照候选值4、候选值3、候选值-2、候选值5和候选值10的顺序增加的值的索引分别分配给相应的候选值。
根据实施例,预测编码器3010可针对每一个图像、每一个条带、每一个并行块或每一个块将索引重新分配给候选值。这里,块可包括最大编码单元、编码单元或变换单元。
例如,当以图像为单位将索引重新分配给候选值时,预测编码器3010可在对包括当前块的当前图像进行解码之前计算候选值已被选择用于对包括在先前图像中的先前块进行双向预测的累积次数,并且根据累积次数将索引分配给将被用于对当前图像中的块进行双向预测的候选值。根据另一示例,当以条带为单位将索引重新分配给候选值时,预测编码器3010可在对包括当前块的当前条带进行解码之前计算候选值已被选择用于对包括在先前条带中的先前块进行双向预测的累积次数,并且根据所计算出的累积次数将索引分配给将被用于对当前条带中的块进行双向预测的候选值。根据另一示例,当以并行块为单位将索引重新分配给候选值时,预测编码器3010可在对包括当前块的当前并行块进行解码之前计算候选值已被选择用于对包括在先前并行块中的先前块进行双向预测的累积次数,并且根据所计算出的累积次数将索引分配给将被用于对当前并行块中的块进行双向预测的候选值。
根据实施例,预测编码器3010可在先前块之中选择基于用于对当前块进行双向预测的第一参考图像和第二参考图像被双向预测的先前块,并且根据候选值已被选择用于对相应的先前块进行双向预测的累积次数来将索引分配给候选值。在这种情况下,熵编码器3030可对指示用于对当前块进行双向预测的参考图像的信息(例如,ref_idx)执行熵编码,然后对权重索引(例如,bcw_idx)执行熵编码。
根据实施例,预测解码器2150可从先前图像之中选择具有与包括当前图像的GOP中的当前图像的时间层相同的时间层的先前图像,并且根据候选值已被选择用于对包括在所选择的先前图像中的先前块进行双向预测的累积次数来将索引分配给候选值。
根据实施例,预测编码器3010可将预定值的索引(例如,索引0)分配给候选值之中的预定候选值,并且根据预设标准(例如,在先前块中候选值已被选择的累积次数)将索引自适应地分配给其余候选值。
预测编码器3010可针对每一个图像、每一个条带、每一个并行块或每一个块自适应地确定包括在权重候选组中的候选值的数量。当包括在权重候选组中的候选值的数量以图像为单位被确定时,预测编码器3010可在对包括在当前图像中的块进行双向预测编码时使用包括5个候选值(例如,4、5、3、10、-2)的权重候选组,并且在对包括在下一图像中的块进行双向预测编码时使用包括3个候选值(例如,3、4、5)的权重候选组。
根据实施例,预测编码器3010可基于第一参考图像的POC和第二参考图像的POC中的至少一个来自适应地确定包括在权重候选组中的候选值的数量。
例如,预测编码器3010可基于第一参考图像的POC与当前图像的POC之间的比较结果和第二参考图像的POC与当前图像的POC之间的比较结果中的至少一个来确定包括在权重候选组中的候选值的数量。
例如,预测编码器3010可考虑第一参考图像的POC和第二参考图像的POC是大于还是小于当前图像的POC来确定包括在权重候选组中的候选值的数量。当第一参考图像的POC和第二参考图像的POC都小于或等于当前图像的POC时,预测编码器3010可将包括在权重候选组中的候选值的数量确定为m(m为自然数),并且当第一参考图像的POC和第二参考图像的POC中的至少一个大于当前图像的POC时,预测编码器3010可将包括在权重候选组中的候选值的数量确定为n(n为不同于m的自然数)。
此外,例如,预测编码器3010可根据当前图像的类型自适应地确定包括在权重候选组中的候选值的数量。在当前图像是预设类型时,预测编码器3010可将包括在权重候选组中的候选值的数量确定为5(例如,4、5、3、10、-2),并且在当前图像不是预设类型时,预测编码器3010可将包括在权重候选组中的候选值的数量确定为3(例如,3、4、5)。
在选择了用于当前块的双向预测的候选值之后,预测编码器3010可根据所选择的候选值将第一参考块与第二参考块组合,从而对当前块进行编码。预测编码器3010可根据等式1将第一参考块与第二参考块组合。预测编码器3010可将第一参考块与第二参考块的组合结果确定为当前块,并且将用于获得第一参考块和第二参考块的信息(例如,指示第一参考图像和第二参考图像的信息、指示第一运动矢量和第二运动矢量的信息等)以及权重索引传送到熵编码器3030。可选地,预测编码器3010可将第一参考块与第二参考块的组合结果确定为预测块,并且将当前块与预测块之间的残差数据、用于获得第一参考块和第二参考块的信息以及权重索引传送到熵编码器3030。
根据实施例,预测编码器3010可仅包括权重候选组中不是配对关系的候选值。通过将图28中所示出的候选值与图24中所示出的候选值进行比较,可看出,在图28中,与5是配对关系的3(例如,配对值=8-候选值的情况)和与10是配对关系的-2不作为候选值存在。根据实施示例,4、3和-2可作为候选值被包括在权重候选组中。
当包括在权重候选组中的候选值不是配对关系时,预测编码器3010可选择从候选值选择的候选值和候选值的配对值中的哪些被分别应用于第一参考块和第二参考块。更具体地,当满足预设标准时,预测编码器3010可将候选值应用于第一参考块,并且将相应候选值的配对值应用于第二参考块。相反,当不满足预设标准时,预测编码器3010可将候选值应用于第二参考块,并且将相应候选值的配对值应用于第一参考块。
根据实施例,预测编码器3010可基于第一参考图像的POC和第二参考图像的POC来选择候选值和配对值中的哪些被分别应用于第一参考块和第二参考块。例如,预测编码器3010可将候选值应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较大差的POC的参考图像中的参考块,并且将配对值应用于另一参考图像中的参考块。作为另一示例,预测编码器3010可将候选值应用于第一参考图像和第二参考图像之中的具有与当前图像的POC的具有较小差的POC的参考图像中的参考块,并且将配对值应用于另一参考图像中的参考块。作为又一示例,预测编码器3010可将候选值应用于第一参考图像和第二参考图像之中的具有较大POC的参考图像中的参考块,并且将配对值应用于另一参考图像中的参考块。相反,预测编码器3010可将候选值应用于第一参考图像和第二参考图像之中的具有较小POC的参考图像中的参考块,并且将配对值应用于另一参考图像中的参考块。作为另一示例,预测编码器3010可将候选值和配对值中的较大的一个应用于第一参考图像和第二参考图像之中的具有与当前图像的POC的较小差的POC的参考图像中的参考块,并且将候选值和配对值中的较小的一个应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较大差的POC的参考图像中的参考块。作为又一示例,预测编码器3010可将候选值和配对值中的较大的一个应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较大差的POC的参考图像中的参考块,并且将候选值和配对值中的较小的一个应用于第一参考图像和第二参考图像之中的具有与当前图像的POC具有较小差的POC的参考图像中的参考块。
熵编码器3030可对从预测编码器3010传送的信息执行熵编码。如上所述,从预测编码器3010传送的信息可包括当前块的预测模式、指示参考图像的信息、指示运动矢量的信息、预测块与当前块之间的残差数据和权重索引中的至少一个。
熵编码器3030可对权重索引进行二值化以对权重索引进行熵编码,根据上下文模型对与权重索引相应的二进制串的第一个二进制值执行算术编码,并根据旁路方法对其余二进制值执行算术编码。
将参照图31详细描述熵编码器3030。
图31示出根据实施例的熵编码器3030的配置。
参照图31,根据实施例的熵编码器3030可包括二值化器3031、上下文建模器3032和二进制算术编码器3035。二进制算术编码器3035可包括常规编码器3033和旁路编码器3034。
因为输入到熵编码器3030的语法元素(从预测编码器3010传送的信息)可能不是二进制值,所以二值化器3031可对语法元素进行二值化并输出配置有二进制值0或1的二进制串。二进制串可通过CABAC被算术编码。
二值化器3031可根据语法元素的类型应用固定长度二值化、截断莱斯二值化、k阶指数-哥伦布二值化和哥伦布-莱斯二值化中的一个,以将语法元素的值变换为二进制值0和1。根据实施例,二值化器3031可通过截断莱斯二值化来对权重索引进行二值化。
从二值化器3031输出的二进制值可由常规编码器3033或旁路编码器3034进行算术编码。可根据语法元素的类型来确定常规编码器3033或旁路编码器3034中的哪一个将对二进制值进行编码。
常规编码器3033可基于由上下文建模器3032确定的概率模型对二进制值执行算术编码。上下文建模器3032可将针对当前二进制值的概率模型提供给常规编码器3033。更具体地,上下文建模器3032可基于先前编码的二进制值来确定预设二进制值的概率,更新用于对先前二进制值进行编码的二进制值的概率,并且将更新的概率输出到常规编码器3033。
根据实施例,上下文建模器3032可通过使用上下文索引ctxldx来确定上下文模型,并且确定上下文模型的LPS或MPS的出现概率以及关于0和1中的哪一个与MPS相应的信息valMPS。根据另一实施例,上下文建模器3032可基于先前解码的二进制值确定预定的预设二进制值的概率(表示例如“1”的出现概率的P(1)),而不是基于先前编码的二进制值对MPS与LPS进行区分,并且将预设二进制值的概率提供给常规编码器3033。
常规编码器3033可基于从上下文建模器3032提供的预设二进制值的概率和当前将被编码的二进制值来执行二进制算术编码。更具体地,常规编码器3033可基于从上下文建模器3032提供的预设二进制值的概率来确定“1”的出现概率P(1)和“0”的出现概率P(0)。此外,常规编码器3033可根据“0”的出现概率P(0)和“1”的出现概率P(1)对表示概率区间的预设范围进行划分,并且输出属于与当前将被编码的二进制值相应的划分区间的代表值的二进制值,从而执行二进制算术编码。
旁路编码器3034可将“1”的出现概率P(1)和“0”的出现概率P(0)固定为预定值(例如,0.5),根据出现概率P(0)和出现概率P(1)对表示概率区间的预设范围进行划分,并且输出属于与当前将被编码的二进制值相应的划分区间的代表值的二进制值。与常规编码器3033不同,旁路编码器3034可由于不使用上下文模型而执行高速算术编码。
根据实施例,熵编码器3030可在对权重索引进行熵编码时,基于上下文模型对与权重索引相应的二进制值中的第一个二进制值执行算术编码,并且通过旁路方法对其余二进制值执行算术编码。换句话说,与权重索引相应的二进制串的第一个二进制值可由常规编码器3033进行算术编码,并且其余二进制值可由旁路编码器3034进行算术编码。原因可以是因为:i)当由权重索引0所指示的候选值的选择概率最高时,通过根据上下文模型累积0的概率和1的概率的变化来对第一个二进制值进行算术编码是有效的;以及ii)因为由除0之外的其他权重索引所指示的候选值的选择概率低于由权重索引0所指示的候选值的选择概率,所以通过旁路方法对二进制值进行算术编码比基于上下文模型重建二进制值更有效。
参照图23,可看出,表示权重索引的Bcw_idx的二进制值中的binldx为0的二进制值(即,第一个二进制值)是根据0的上下文被编码的,并且binldx大于0的二进制值是通过旁路方法被编码的。
产生器3050可产生包括从熵编码器3030输出的数据的比特流。如上所述,比特流可包括用于重建当前块的信息。
图32是示出根据实施例的图像编码方法的流程图。
在操作S3210,图像编码设备3000可获得用于对当前块进行双向预测的第一参考图像中的第一参考块和第二参考图像中的第二参考块。图像编码设备3000可选择包括在列表0中的第一参考图像和包括在列表1中的第二参考图像,并且确定指示第一参考图像中的第一参考块的第一运动矢量和指示第二参考图像中的第二参考块的第二运动矢量。
在操作S3220,图像编码设备3000可从包括在权重候选组中的候选值中选择将被用于将第一参考块与第二参考块组合的候选值。为了选择将被应用于第一参考块或第二参考块的候选值,图像编码设备3000可针对每一个图像、每一个条带、每一个并行块或每一个块自适应地确定将被包括在权重候选组中的候选值的数量和/或种类。
在操作S3230,图像编码设备3000可对指示从包括在权重候选组中的候选值之中选择的候选值的权重索引执行熵编码。图像编码设备3000可根据上下文模型对与权重索引相应的第一个二进制值进行编码,并且根据旁路方法对其余二进制值进行编码。
在操作S3240,图像编码设备3000可产生包括作为熵编码的结果而产生的数据的比特流。除了作为对权重索引进行算术编码的结果而获得的权重信息之外,比特流还可包括表示当前块的预测模式的信息、指示参考图像的信息、指示运动矢量的信息和残差数据中的至少一个。
另外,本公开的实施例可被编写为可在计算机上执行的程序,并且程序可被存储在介质或计算机程序产品中。
介质或计算机程序产品可以持续地存储计算机可执行程序,或者临时存储计算机可执行程序以供执行或下载。此外,介质或计算机程序产品可以是组合了单件或多件硬件的各种记录介质或存储介质中的任何一种,并且介质或计算机程序产品不限于直接连接到特定计算机系统的那些,而是可被分布在网络上。介质或计算机程序产品的示例包括被配置为存储程序指令的磁介质(例如,硬盘、软盘和磁带)、光学记录介质(例如,光盘只读存储器(CD-ROM)和数字通用光盘(DVD))、磁光介质(例如,软光盘)、只读存储器(ROM)、随机存取存储器(RAM)、闪存等。此外,介质或计算机程序产品的其他示例包括由分发应用的应用商店或由供应或分发其他各种类型的软件的网站、服务器等管理的记录介质和存储介质。
到目前为止,已经基于优选实施例描述了本公开的技术构思,然而,本公开的技术构思不限于上述实施例,并且本领域普通技术人员可在本公开的技术构思的范围内进行各种修改和改变。
Claims (4)
1.一种使用双向预测的图像解码方法,所述图像解码方法包括:
从比特流获得用于当前块的权重索引;
通过使用第一参考图像获得用于对所述当前块进行双向预测的第一预测块,并通过使用第二参考图像获得用于对所述当前块进行双向预测的第二预测块;
通过根据包括在权重候选组中的候选值之中的由所述权重索引指示的候选值将第一预测块与第二预测块组合,获得第三预测块;并且
通过使用第三预测块重建所述当前块,
其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵解码,
其中,与所述权重索引相应的其余二进制值通过旁路方法被熵解码,以及
其中,当第一参考图像的画面顺序计数POC和第二参考图像的POC小于或等于当前图像的POC时所述权重候选组中的能够由所述权重索引指示的候选值的数量大于当第一参考图像的POC和第二参考图像的POC大于所述当前图像的POC时所述权重候选组中的能够由所述权重索引指示的候选值的数量。
2.一种计算机可读记录介质,其中,所述计算机可读记录介质上记录有计算机程序,其中,所述计算机程序在被计算机执行时促使所述计算机执行用于产生比特流和用于发送产生的所述比特流的操作,其中,所述操作包括:
通过使用第一参考图像获得用于对当前块进行双向预测的第一预测块,并通过使用第二参考图像获得用于对所述当前块进行双向预测的第二预测块;
从包括在权重候选组中的候选值之中选择用于将第一预测块与第二预测块组合的候选值;
通过根据选择的候选值将第一预测块与第二预测块组合,获得第三预测块;
通过使用第三预测块对所述当前块进行编码;
对指示选择的候选值的权重索引执行熵编码;并且
产生包括熵编码的权重索引以及所述当前块的编码结果的所述比特流,
其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵编码,
其中,与所述权重索引相应的其余二进制值通过旁路方法被熵编码,以及
其中,当第一参考图像的画面顺序计数POC和第二参考图像的POC小于或等于当前图像的POC时所述权重候选组中的能够由所述权重索引指示的候选值的数量大于当第一参考图像的POC和第二参考图像的POC大于所述当前图像的POC时所述权重候选组中的能够由所述权重索引指示的候选值的数量。
3.一种图像解码设备,包括:
熵解码器,被配置为从比特流获得用于当前块的权重索引;以及
预测解码器,被配置为:通过使用第一参考图像获得用于对所述当前块进行双向预测的第一预测块,并通过使用第二参考图像获得用于对所述当前块进行双向预测的第二预测块,通过根据包括在权重候选组中的候选值之中的由所述权重索引指示的候选值将第一预测块与第二预测块组合,获得第三预测块,并且通过使用第三预测块重建所述当前块,
其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵解码,
其中,与所述权重索引相应的其余二进制值通过旁路方法被熵解码,并且
其中,当第一参考图像的画面顺序计数POC和第二参考图像的POC小于或等于当前图像的POC时所述权重候选组中的能够由所述权重索引指示的候选值的数量大于当第一参考图像的POC和第二参考图像的POC大于所述当前图像的POC时所述权重候选组中的能够由所述权重索引指示的候选值的数量。
4.一种使用双向预测的图像编码方法,所述图像编码方法包括:
通过使用第一参考图像获得用于对当前块进行双向预测的第一预测块,并通过使用第二参考图像获得用于对所述当前块进行双向预测的第二预测块;
从包括在权重候选组中的候选值之中选择用于将第一预测块与第二预测块组合的候选值;
通过根据选择的候选值将第一预测块与第二预测块组合,获得第三预测块;
通过使用第三预测块对所述当前块进行编码;
对指示选择的候选值的权重索引执行熵编码;以及
产生包括熵编码的权重索引以及所述当前块的编码结果的比特流,
其中,与所述权重索引相应的第一个二进制值基于上下文模型被熵编码,
其中,与所述权重索引相应的其余二进制值通过旁路方法被熵编码,
其中,当第一参考图像的画面顺序计数POC和第二参考图像的POC小于或等于当前图像的POC时所述权重候选组中的能够由所述权重索引指示的候选值的数量大于当第一参考图像的POC和第二参考图像的POC大于所述当前图像的POC时所述权重候选组中的能够由所述权重索引指示的候选值的数量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862768193P | 2018-11-16 | 2018-11-16 | |
US62/768,193 | 2018-11-16 | ||
PCT/KR2019/015654 WO2020101429A1 (ko) | 2018-11-16 | 2019-11-15 | 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113056919A CN113056919A (zh) | 2021-06-29 |
CN113056919B true CN113056919B (zh) | 2024-09-27 |
Family
ID=70731288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980075617.0A Active CN113056919B (zh) | 2018-11-16 | 2019-11-15 | 使用双向预测的图像编码和解码方法以及图像编码和解码设备 |
Country Status (4)
Country | Link |
---|---|
US (5) | US11716460B2 (zh) |
KR (1) | KR20210029819A (zh) |
CN (1) | CN113056919B (zh) |
WO (1) | WO2020101429A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113056919B (zh) * | 2018-11-16 | 2024-09-27 | 三星电子株式会社 | 使用双向预测的图像编码和解码方法以及图像编码和解码设备 |
MX2021010928A (es) * | 2019-03-11 | 2021-10-13 | Interdigital Vc Holdings Inc | Reduccion del numero de bins codificados regulares. |
KR102722339B1 (ko) | 2019-06-24 | 2024-10-25 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
US20220201295A1 (en) * | 2020-12-21 | 2022-06-23 | Electronics And Telecommunications Research Institute | Method, apparatus and storage medium for image encoding/decoding using prediction |
CN113486754B (zh) * | 2021-06-29 | 2024-01-09 | 中国科学院自动化研究所 | 基于视频的事件演化预测方法、系统 |
WO2024043666A1 (ko) * | 2022-08-22 | 2024-02-29 | 현대자동차주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
WO2024212255A1 (zh) * | 2023-04-14 | 2024-10-17 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017086738A1 (ko) * | 2015-11-19 | 2017-05-26 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220162877A (ko) | 2014-10-31 | 2022-12-08 | 삼성전자주식회사 | 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법 |
KR102333000B1 (ko) * | 2015-01-15 | 2021-12-01 | 한국전자통신연구원 | 고속 변환 계수 부호화 방법 및 장치 |
CN112929660B (zh) | 2015-10-13 | 2023-12-26 | 三星电子株式会社 | 用于对图像进行编码或解码的方法和设备 |
KR20170058838A (ko) | 2015-11-19 | 2017-05-29 | 한국전자통신연구원 | 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치 |
EP3484158A4 (en) | 2016-07-05 | 2019-12-25 | KT Corporation | VIDEO SIGNAL PROCESSING METHOD AND DEVICE |
WO2018066993A1 (ko) * | 2016-10-04 | 2018-04-12 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
US20180332298A1 (en) * | 2017-05-10 | 2018-11-15 | Futurewei Technologies, Inc. | Bidirectional Prediction In Video Compression |
WO2020035054A1 (en) * | 2018-08-17 | 2020-02-20 | Mediatek Inc. | Methods and apparatuses of video processing with bi-direction predicition in video coding systems |
CN113056919B (zh) * | 2018-11-16 | 2024-09-27 | 三星电子株式会社 | 使用双向预测的图像编码和解码方法以及图像编码和解码设备 |
-
2019
- 2019-11-15 CN CN201980075617.0A patent/CN113056919B/zh active Active
- 2019-11-15 US US17/294,164 patent/US11716460B2/en active Active
- 2019-11-15 KR KR1020217004597A patent/KR20210029819A/ko active IP Right Grant
- 2019-11-15 WO PCT/KR2019/015654 patent/WO2020101429A1/ko active Application Filing
-
2023
- 2023-07-03 US US18/346,610 patent/US12108034B2/en active Active
- 2023-07-03 US US18/346,697 patent/US12113964B2/en active Active
- 2023-07-03 US US18/346,685 patent/US12095986B2/en active Active
- 2023-07-03 US US18/346,704 patent/US12113965B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017086738A1 (ko) * | 2015-11-19 | 2017-05-26 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
US12113964B2 (en) | 2024-10-08 |
US11716460B2 (en) | 2023-08-01 |
US20230353729A1 (en) | 2023-11-02 |
CN113056919A (zh) | 2021-06-29 |
WO2020101429A1 (ko) | 2020-05-22 |
US20220014730A1 (en) | 2022-01-13 |
US20230353728A1 (en) | 2023-11-02 |
US20230353727A1 (en) | 2023-11-02 |
US12113965B2 (en) | 2024-10-08 |
KR20210029819A (ko) | 2021-03-16 |
KR20230174762A (ko) | 2023-12-28 |
US12108034B2 (en) | 2024-10-01 |
US20230344991A1 (en) | 2023-10-26 |
US12095986B2 (en) | 2024-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113056919B (zh) | 使用双向预测的图像编码和解码方法以及图像编码和解码设备 | |
AU2023200685B2 (en) | Method for encoding and decoding motion information and device for encoding and decoding motion information | |
CN111108750B (zh) | 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备 | |
KR102494697B1 (ko) | 삼각 예측 모드를 이용하는 영상 부호화 장치 및 영상 복호화 장치, 및 이에 의한 영상 부호화 방법 및 영상 복호화 방법 | |
KR102332529B1 (ko) | 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법 | |
CN112703731B (zh) | 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置 | |
CN114097226B (zh) | 基于视频尺寸编码视频的方法和设备,以及基于视频尺寸解码视频的方法和设备 | |
EP3934252A1 (en) | Apparatuses for encoding and decoding image, and methods for encoding and decoding image thereby | |
KR102728803B1 (ko) | 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치 | |
KR20240163761A (ko) | 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |