CN115462085A - 视频编解码中滤波的高级控制 - Google Patents
视频编解码中滤波的高级控制 Download PDFInfo
- Publication number
- CN115462085A CN115462085A CN202180026199.3A CN202180026199A CN115462085A CN 115462085 A CN115462085 A CN 115462085A CN 202180026199 A CN202180026199 A CN 202180026199A CN 115462085 A CN115462085 A CN 115462085A
- Authority
- CN
- China
- Prior art keywords
- video
- picture
- syntax
- slice
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了用于视频编码和视频解码的几种技术。一种示例方法包括:根据规则,执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定指示编解码工具的使用的第一语法元素是否存在于第一级是基于指示第二级的语法结构是否不存在于第一级的语法标志,其中第二级高于第一级,并且其中第二级是视频图片级或高于视频图片级。
Description
相关申请的交叉引用
根据巴黎公约的适用专利法和/或规则,本申请及时要求2020年4月5日提交的美国临时申请No.63/005,413的优先权和利益。出于法律规定的所有目的,上述申请的全部公开内容通过引用并入作为本申请公开内容的一部分。
技术领域
该专利文件涉及图片和视频编码和解码。
背景技术
在互联网和其他数字通信网络中,数字视频占用了最大的带宽。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将继续增长。
发明内容
本文档公开了可以由视频编码器和解码器使用的技术,用于使用对编解码表示的解码有用的控制信息来处理视频的编解码表示。
在一个示例方面,公开了一种视频处理方法。该方法包括:根据规则来执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定指示编解码工具的使用的第一语法元素是否存在于第一级(level)是基于指示第二级的语法结构是否不存在于第一级的语法标志,其中第二级高于第一级。第二级是视频图片级或高于视频图片级。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则来执行视频与视频的比特流之间的转换。该规则指定视频的序列参数集中的语法元素指示对参考序列参数集的编解码层视频序列(CLVS)是否启用具有色度缩放的亮度映射(LMCS)工具。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则来执行视频与视频的比特流之间的转换。该规则指定视频的序列参数集中的语法元素指示参考序列参数集对编解码层视频序列(CLVS)是否启用样本自适应偏移(SAO)工具。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则来执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定是否和/或如何指示缩放工具的使用是基于视频图片是否包括单个条带来确定的,其中缩放工具的使用包括是否允许使用具有色度缩放的亮度映射(LMCS)工具用于该转换,并且还包括允许用于该转换的缩放模式类型的数量。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则来执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定是否和/或如何在图片标头和/或条带(slice)标头中指示允许的条带类型是基于视频图片是否包括单个条带来确定的。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则来执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定编解码工具的模式类型在视频单元级被指示以用于转换。
在另一个示例方面,公开了一种视频处理方法。该方法包括根据规则来执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定第一视频单元级的非二进制语法元素或多个语法标志被用于指示低于第一视频单元级的第二视频单元级的编解码工具的使用。
在另一个示例方面,公开了一种视频处理方法。该方法包括:执行包括包含一个或多个条带的一个或多个视频图片的视频与视频的编解码表示之间的转换;其中编解码表示符合格式规则,其中该格式规则指定哪种具有色度缩放模式或缩放列表模式类型的亮度映射可应用于条带的转换由条带标头中的图片标头语法结构或包含单个条带的图片中的图片标头指示。
在另一个示例方面,公开了另一种视频处理方法。该方法包括:执行包括包含一个或多个条带的一个或多个视频图片的视频与视频的编解码表示之间的转换;其中编解码表示符合格式规则,其中该格式规则指定包括指示在第一视频级启用具有色度缩放的亮度映射(LMCS)模式取决于在较高级的非二进制LMCS相关语法元素以及图片是否仅由一个条带构成的指示符。
在另一个示例方面,公开了另一种视频处理方法。该方法包括:执行包括包含一个或多个条带的一个或多个视频图片的视频与视频的编解码表示之间的转换;其中编解码表示符合格式规则,其中该格式规则指定包括指示在第一视频级启用显式缩放列表(ESL)模式取决于在较高级的非二进制LMCS相关语法元素以及图片是否仅由一个条带构成的指示符。
在另一个示例方面,公开了另一种视频处理方法。该方法包括:执行包括包含一个或多个条带的一个或多个图片的视频与视频的编解码表示之间的转换,其中编解码表示符合格式规则,其中该格式规则指定图片是否恰好包括一个条带控制该恰好一个条带的条带标头中的条带类型或条带类型标志。
在另一个示例方面,公开了另一种视频处理方法。该方法包括:执行包括包含一个或多个视频区域的一个或多个图片的视频与视频的编解码表示之间的转换,其中该编解码表示符合格式规则,其中该格式规则指定包括滤波编解码工具(TX)对视频区域的适用性的两级信令。
在又一示例方面,公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。
在又一示例方面,公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。
在又一示例方面,公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式实现了本文描述的方法之一。
这些以及其他特征将在本文件中描述。
附图说明
图1示出了图片的光栅扫描条带分割的示例,其中图片被分成12个片(tile)和3个光栅扫描条带。
图2示出了图片的矩形条带分割的示例,其中图片被分成24个片(6个片列和4个片行)以及9个矩形条带。
图3示出了被分割成片和矩形条带的图片的示例,其中图片被分成4个片(2个片列和2个片行)和4个矩形条带。
图4示出了被分割成15个片、24个条带和24个子图片的图片。
图5是示例视频处理系统的框图。
图6是视频处理装置的框图。
图7是视频处理的示例方法的流程图。
图8是示出了根据本公开的一些实施例的视频编解码系统的框图。
图9是示出了根据本公开的一些实施例的编码器的框图。
图10是示出了根据本公开的一些实施例的解码器的框图。
图11示出了ALF滤波器形状的示例(色度:5×5菱形,亮度:7×7菱形)。
图12示出了ALF和CC-ALF的示例。
图13是根据本技术的视频处理的方法的流程图表示。
图14是根据本技术的另一种用于视频处理的方法的流程图表示。
图15是根据本技术的另一种用于视频处理的方法的流程图表示。
图16是根据本技术的另一种用于视频处理的方法的流程图表示。
图17是根据本技术的另一种视频处理的方法的流程图表示。
图18是根据本技术的另一种用于视频处理的方法的流程图表示。
图19是根据本技术的另一种用于视频处理的方法的流程图表示。
具体实施方式
在本文件中使用章节标题是为了易于理解,而不是将每个章节中公开的技术和实施例的适用性仅限制于该章节。此外,在一些描述中使用H.266术语仅仅是为了易于理解,而不是为了限制所公开技术的范围。因此,本文描述的技术也适用于其他视频编解码器协议和设计。在本文件中,相对于VVC规范的当前草案,通过删除线指示删除的文本,高亮指示添加的文本(包括粗体斜体),将编辑修改显示在文本中。
1.概述
本文档涉及视频编解码技术。具体地,它是关于自适应环路滤波器(ALF)、样本自适应偏移(SAO)、具有色度缩放的亮度映射(LMCS)、缩放列表的信令的改进。这些构思可以单独或以各种组合应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器,例如,正在开发的多功能视频编解码(VVC)。
2.缩写
ALF 自适应环路滤波器
APS 自适应参数集
AU 访问单元
AUD 访问单元分界符
AVC 高级视频编解码
CLVS 编解码层视频序列
CPB 编码图片缓冲器
CRA 完全随机接入(Clean Random Access)
CTU 编解码树单元
CVS 编解码视频序列
DCI 解码能力信息
DPB 解码图片缓冲器
EOB 比特流结尾
EOS 序列结尾
GDR 逐渐解码刷新
HEVC 高效视频编解码
HRD 假想参考解码器
IDR 即时解码刷新
JEM 联合探索模式
LMCS 具有色度缩放的亮度映射
MCTS 运动约束的片集
NAL 网络抽象层
OLS 输出层集
PH 图片标头
PPS 图片参数集
PTL 档次(profile)、层级(tier)和级(level)
PU 图片单元
RADL 随机访问可解码引导(图片)
RAP 随机访问点
RASL 随机访问跳过引导(图片)
RBSP 原始字节序列载荷
RPL 参考图片列表
SAO 样点自适应偏移
SEI 补充增强信息
SPS 序列参数集
STSA 逐步时域子层访问
SVC 可缩放视频编解码
VCL 视频编解码层
VPS 视频参数集
VTM VVC测试模型
VUI 视频可用性信息
VVC 多功能视频编解码
3.1.初步讨论
视频编码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制定了H.261和H.263,ISO/IEC制定了MPEG-1和MPEG-4Visual,并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中利用了时间预测加变换编解码。为了探索HEVC以外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后,JVET采用了许多新的方法,并将其输入到名为联合勘探模型(JEM)的参考软件中。JVET会议同时每季度举行一次,并且与HEVC相比,新编解码标准的目标是降低50%的比特率。新的视频编码标准在2018年4月的JVET会议上被正式命名为通用视频编解码(VVC),第一版VVC测试模型(VTM)也在当时发布。由于对VVC标准化的持续努力,新的编解码技术在每次JVET会议上都被采用到VVC标准中。VVC的工作草案和测试模型VTM在每次会议后都会更新。VVC项目现在的目标是在2020年7月的会议上技术上完成(FDIS)。
3.1.HEVC的图片分割方案
HEVC包括四种不同的图片分割方案,即,规则条带、从属条带、片和波前(wavefront)并行处理(WPP),其可以应用于最大传输单元(MTU)大小匹配、并行处理和减少的端到端延迟。
规则条带与H.264/AVC中的相似。每个规则条带被封装在其自己的NAL单元中,并且跨条带边界的图片内预测(样本内预测、运动信息预测、编码模式预测)和熵编码依赖性被禁用。因此,可以独立于同一图片内的其他规则条带来重构规则条带(尽管由于环路滤波操作可能仍然存在相互依赖性)。
规则条带是唯一可以用于并行化的工具,其在H.264/AVC中也以几乎相同的形式可用。基于规则条带的并行化不需要太多的处理器间或内核间通信(除了在解码预测性编解码图片时用于运动补偿的处理器间或内核间数据共享,由于图片内预测,这通常比处理器间或内核间数据共享重得多)。然而,出于同样的原因,由于条带标头的比特成本以及缺乏跨条带边界的预测,使用规则条带会导致大量编解码开销。此外,由于规则条带的图片内独立性以及每个规则条带被封装在它自己的NAL单元中,规则条带(与下面提到的其他工具相比)还用作比特流分割以匹配MTU大小要求的关键机制。在许多情况下,并行化的目标和MTU大小匹配的目标对图片中的条带布局提出了矛盾的要求。对这种情况的认识导致了下面提到的并行化工具的开发。
从属条带具有短的条带标头,并且允许在树块边界分割比特流,而不破坏任何图片内预测。基本上,从属条带提供将规则条带分段(fragmentation)成多个NAL单元,以通过允许规则条带的一部分在整个规则条带的编码完成之前被发送出去来提供减少的端到端延迟。
在WPP,图片被分割成单行编解码树块(CTB)。熵解码和预测被允许使用来自其他分区中CTB的数据。通过对CTB行的并行解码,并行处理是可能的,其中对CTB行的解码的开始被延迟了两个CTB,从而确保在主体(subject)CTB被解码之前,与CTB上方和主体CTB的右侧相关的数据是可用的。使用这种交错的开始(当以图形表示时,它看起来像波前),并行化可以使用与图片包含的CTB行一样多的处理器/内核。因为图片内相邻树块行之间的图片内预测是允许的,所以实现图片内预测所需的处理器间/内核间通信可能是大量的。与未应用时相比,WPP分区不会产生额外的NAL单元,因此WPP不是MTU大小匹配的工具。但是,如果需要MTU大小匹配,则规则条带可以与WPP一起使用,但会有一定的编解码开销。
片定义了将图片划分为片列和行的水平和垂直边界。片列从图片的顶部延伸到图片的底部。同样,片行从图片的左边延伸到图片的右边。图片中的片的数量可以简单地通过片列的数量乘以片行的数量来推导出。
在以图片的片光栅扫描的顺序解码下一个片的左上CTB之前,CTB的扫描顺序被改变为在片内是局部的(以片的CTB光栅扫描的顺序)。与规则条带类似,片打破了图片内预测依赖性以及熵解码依赖性。然而,它们不需要被包括在单个NAL单位中(在这方面与WPP相同);因此,片不能用于MTU大小匹配。每个片可以由一个处理器/内核来处理,并且解码相邻片的处理单元之间的图片内预测所需的处理器间/内核间通信限于在条带跨越多于一个片的情况下传送共享的条带标头,以及与重构样本和元数据的共享相关的环路滤波。当条带中包括多于一个的片或WPP段时,条带中除第一个片或WPP段之外的每个片或WPP段的入口点字节偏移在条带标头中发信号通知。
为简单起见,在HEVC指定了对四种不同图片分割方案应用的限制。给定的编解码视频序列不能同时包括HEVC标准中指定的大部分档次的片和波前两者。对于每个条带和片,必须满足以下条件中的一个或两个:1)条带中的所有编码树块属于同一片;2)片中的所有编码树块属于同一条带。最后,一个波前段恰好包含一个CTB行,并且当使用WPP时,如果条带在CTB行开始,它必须在同一个CTB行结束。
在一些实施例中,HEVC指定了三个MCTS相关的SEI消息,即,时间MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。
时间MCTS SEI消息指示比特流中的MCTS的存在,并且发信号通知MCTS。对于每个MCTS,运动矢量被限制为指向MCTS内的全采样位置和仅需要MCTS内的全采样位置进行内插的分数采样位置,并且不允许使用从MCTS外的块推导出的用于时间运动矢量预测的运动矢量候选。这样,每个MCTS可以被独立解码,而不存在不包括在MCTS中的片。
MCTS提取信息集SEI消息提供了可以在MCTS子比特流提取中使用的补充信息(被指定为SEI消息语义的一部分),以生成符合MCTS集的比特流。该信息由多个提取信息集组成,每个提取信息集定义多个MCTS集,并包含将在MCTS子比特流提取过程中使用的替换VPS、SPS和PPS的RBSP字节。当根据MCTS子比特流提取过程提取子比特流时,参数集(VPS、SPS和PPS)需要被重写或替换,条带标头需要稍微更新,因为一个或所有条带地址相关的语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。
3.2.VVC的图片的分割
在VVC中,图片被分成一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。片中的CTU在该片中以光栅扫描顺序被扫描。
条带由整数个完整的片或图片的片中的整数个连续的完整CTU行组成。
支持两种条带模式,即,光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中,条带包含图片的条带光栅扫描中的完整条带序列。在矩形条带模式中,条带包含共同形成图片的矩形区域的多个完整的片,或者共同形成图片的矩形区域的一个片的多个连续的完整的CTU行。矩形条带内的片在对应于该条带的矩形区域内以片光栅扫描顺序被扫描。
子图片包含共同覆盖图片的矩形区域的一个或多个条带。
图1示出了图片的光栅扫描条带分割的示例,其中图片被分成12个片和3个光栅扫描条带。
图2示出了图片的矩形条带分割的示例,其中图片被分成24个条带(6个条带列和4个条带行)和9个矩形条带。
图3示出了被分割成片和矩形条带的图片的示例,其中图片被划分成4个片(2个片列和2个片行)和4个矩形条带。
图4示出了图片的子图片分割的示例,其中图片被分割成18个片,左手侧的12个每个覆盖4×4CTU的一个条带,并且右手侧的6个片每个覆盖2×2CTU的2个垂直堆叠条带,总共产生24个条带和24个不同尺寸(dimension)的子图片(每个条带是子图片)。
3.3.序列内图片分辨率的改变
在AVC和HEVC中,图片的空间分辨率不能改变,除非使用新SPS的新序列以IRAP图片开始。VVC允许在不编码IRAP图片的位置改变序列内的图片分辨率,IRAP图片总是被帧内编解码。该特征有时被称为参考图片重采样(RPR),因为当参考图片具有与正被解码的当前图片不同的分辨率时,该特征需要对用于帧间预测的参考图片进行重采样。
缩放比率被限制为大于或等于1/2(从参考图片到当前图片的2倍下采样),并且小于或等于8(8倍上采样)。指定具有不同频率截止(cutoff)的三个重采样滤波器集来处理参考图片和当前图片之间的各种缩放比率。三个重采样滤波器集分别应用于范围从1/2到1/1.75、从1/1.75到1/1.25和从1/1.25到8的缩放比率。重采样滤波器中的每一个集对于亮度具有16个相位,并且对于色度具有32个相位,这与运动补偿插值滤波器的情况相同。实际上,正常的MC插值过程是重采样过程的特殊情况,其中缩放比率范围从1/1.25到8。水平和垂直缩放比率是基于图片宽度和高度以及为参考图片和当前图片指定的左、右、上和下缩放偏移而推导出的。
支持这一特征的VVC设计与HEVC不同的其它方面包括:i)图片分辨率和对应的一致性窗口在PPS中而不是在SPS中被发信号通知,而在SPS中最大图片分辨率被发信号通知。ii)对于单层比特流,每个图片存储(DPB中用于存储一个解码图片的时隙(slot))占用存储具有最大图片分辨率的解码图片所需的缓存器大小。
3.4.参考图片管理和参考图片列表(RPL)
参考图片管理是使用帧间预测的任何视频编解码方案所需的核心功能。它管理将参考图片存储在解码图片缓冲器(DPB)中以及将参考图片从解码图片缓冲器(DPB)中移除,并将参考图片以正确的顺序放入RPL中。
包括参考图片标记和从解码图片缓冲器中移除(DPB)以及参考图片列表构建(RPLC)的HEVC的参考图片管理与AVC的不同。代替AVC中基于滑动窗口加自适应存储器管理控制操作(MMCO)的参考图片标记机制,HEVC指定基于所谓的参考图片集(RPS)的参考图片管理和标记机制,并且因此RPLC基于RPS机制。RPS由与图片相关联的参考图片集(由以解码顺序在相关联的图片之前的所有参考图片构成)构成,其可以用于相关联的图片或以解码顺序在相关联的图片之后的任何图片的帧间预测。参考图片集由五个参考图片列表构成。前三个列表包含可以用于当前图片的帧间预测以及可以用于以解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片。其他两个列表由所有参考图片构成,这些参考图片不用于当前图片的帧间预测,但是可以用于以解码顺序在当前图片之后的一个或多个图片的帧间预测。RPS提供了DPB状态的“帧内编解码”信令,而不是像AVC中那样的“帧间编解码”信令,主要是为了提高抗误码能力。HEVC的RPLC过程是基于RPS的,通过为每个参考索引向RPS子集发信号通知索引;这个过程比AVC中的RPLC过程简单。
VVC的参考图片管理比AVC更类似于HEVC,但是更简单和更健壮。如在那些标准中,推导出两个RPL,列表0和列表1,但是它们不是基于在HEVC使用的参考图片集构思或者在AVC中使用的自动滑动窗口过程;相反,它们被更直接地发信号通知。用于RPL的参考图片被列为活动和非活动条目,并且只有活动条目可以被用作当前图片的CTU的帧间预测的参考索引。无效条目指示要保存在DPB中的其他图片,以用于被比特流中稍后到达的其他图片参考。
3.5.参数集
AVC、HEVC和VVC指定了参数集。参数集的类型包括SPS、PPS、APS和VPS。AVC、HEVC和VVC的所有都支持SPS和PPS。VPS从HEVC开始引入,并且被包括在HEVC和VVC两者中。APS没有被包括在AVC或HEVC中,但是被包括在最新的VVC草案文本中。
SPS被设计成携带序列级标头信息,并且PPS被设计成携带不经常改变的图片级标头信息。利用SPS和PPS,不经常改变的信息不需要为每个序列或图片重复,因此可以避免该信息的冗余信令。此外,SPS和PPS的使用实现了重要标头信息的带外传输,从而不仅避免了对冗余传输的需要,还提高了抗误码能力。
引入VPS是为了携带对多层比特流中的所有层共用的序列级标头信息。
引入APS是为了携带这样的图片级或条带级信息,这些信息需要相当多的比特来编解码,可以由多个图片共享,并且在序列中可以有相当多的不同变化。
3.6.VVC的条带标头和图片标头
与HEVC的情况类似,VVC的条带标头传达特定条带的信息。这包括条带地址、条带类型、条带QP、图片顺序计数(POC)最低有效比特(LSB)、RPS和RPL信息、加权预测参数、环路滤波参数、片和WPP的条目(entry)偏移等。
VVC引入了图片标头(PH),它包含特定图片的标头参数。每个图片必须具有一个或仅一个PH。PH基本上携带那些如果没有引入PH则在条带标头中的参数,但是每个参数对于图片的所有条带具有相同的值。这些包括IRAP/GDR图片指示、条带间/条带内允许标志、POCLSB和可选的POC MSB、关于RPL、去块、SAO、ALF、QP delta和加权预测的信息、编解码块分割信息、虚拟边界、共位(co-located)图片信息等。经常出现的情况是,整个图片序列中的每个图片只包含一个条带。在这种情况下,为了允许每个图片不具有至少两个NAL单元,允许PH语法结构被包括在PH NAL单元中或条带标头中。
在VVC,用于时间运动矢量预测的共位图片的信息在图片标头或条带标头中发信号通知。
3.7.环路滤波
在VVC中,支持去块滤波器、SAO和ALF作为环路滤波方法。
3.7.1.SAO
使用与HEVC相同的设计,其中如果需要,在去块滤波之后和ALF之前调用样本自适应偏移(SAO)。SAO的关键构思是通过首先将重构的样本分类成不同的类别、获得每个类别的偏移、以及然后将该偏移添加到该类别的每个样本来减少样本失真。每个类别的偏移在编码器处被适当地计算,并且被显式地发信号通知给解码器,以有效地减少样本失真,同时每个样本的分类在编码器和解码器两者处被执行,以显著地节省边信息。为了实现仅一个编解码树单元(CTU)的低时延,指定了基于CTU的语法设计,以使SAO参数适应每个CTU。
3.7.2.自适应环路滤波器
在基于块的ALF中使用了两种菱形滤波器形状(如图11所示)。7×7菱形应用于亮度分量,并且5×5菱形应用于色度分量。基于局部梯度的方向和活动性,为每个4×4块选择多达25个滤波器中的一个。图片中的每个4×4块基于方向性和活动性进行分类。在对每个4×4块进行滤波之前,可以取决于为该块计算的梯度值,对滤波器系数应用简单的几何变换,诸如旋转或对角和垂直翻转。这相当于将这些变换应用于滤波器支持区域中的样本。这个构思是通过对准(align)应用ALF的不同的块的方向性来使不同的块更加相似。基于块的分类不适用于色度分量。
ALF滤波器参数在自适应参数集(APS)中发信号通知。在一个APS中,可以发信号通知多达25个亮度滤波器系数和限幅(clipping)值索引集,以及多达8个色度滤波器系数和限幅值索引集。为了减少比特开销,可以合并亮度分量的不同分类的滤波器系数。在图片或条带标头中,可以发信号通知多达7个APS的ID,以指定用于当前图片或条带的亮度滤波器集。滤波过程在CTB级被进一步控制。亮度CTB可以在16个固定滤波器集和APS中发信号通知的滤波器集当中选择滤波器集。对于色度分量,APS ID在图片或条带标头中发信号通知,以指示用于当前图片或条带的色度滤波器集。在CTB级,如果在APS中有多于一个色度滤波器集,则针对每个色度CTB发信号通知滤波器索引。当对CTB启用ALF时,对于CTB内的每个样本,执行具有发信号通知的权重的菱形滤波器,并应用限幅操作来捕捉相邻样本和当前样本之间的差异。限幅操作引入了非线性,以通过减少与当前样本值相差太大的相邻样本值的影响,使得ALF更有效。
跨分量自适应环路滤波器(CC-ALF)可以在先前描述的ALF之上进一步增强每个色度分量。CC-ALF的目标是使用亮度样本值来细化每个色度分量。这是通过应用菱形高通线性滤波器,并且然后将该滤波操作的输出用于色度细化来实现的。图12提供了CC-ALF过程相对于其它环路滤波器的系统级示意图。如图12所示,CC-ALF使用与亮度ALF相同的输入,以避免整个环路滤波过程中的额外步骤。
3.7.3.ALF/SAO的信令
在VVC草案8中,ALF和SAO共享相同的高级控制方案。这两种编解码工具都可以在序列级和图片级或条带级中的一个上被控制(但不能在图片级和条带级两者上被控制)。首先,SPS启用标志被发信号通知以在CLVS级上控制ALF/SAO。在PPS级,发信号通知PPS标志,以指示ALF/SAO是在图片级还是在条带级被进一步控制。如果PPS标志指示ALF/SAO在图片级中被进一步控制,则PH ALF/SAO启用标志被发信号通知,随后是ALF参数(如果它被启用);如果PPS标志指示ALF/SAO在条带级被进一步控制,则SH ALF/SAO启用标志被发信号通知,随后是ALF参数(如果它被启用)。
表1 SPS中的ALF语法
表2 PPS中的ALF语法
表3:图片标头中的ALF语法
表4:条带标头中的ALF语法
表5 SPS中的SAO语法
表6:PPS中的SAO语法
表7:图片标头中的SAO语法
表8:条带标头中的SAO语法
表9:SPS中的LMCS语法
表10:图片标头中的LMCS语法
表11:条带标头中的LMCS语法
sps_lmcs_enabled_flag等于1指定在CLVS中使用具有色度缩放的亮度映射。sps_lmcs_enabled_flag等于0指定在CLVS中不使用具有色度缩放的亮度映射。
sps_sao_enabled_flag等于1指定在去块滤波过程之后样本自适应偏移过程被应用于的重构图片。sps_sao_enabled_flag等于0指定在去块滤波过程之后样本自适应偏移过程不应用于重构图片。
3.8.具有色度缩放的亮度映射(LMCS)
不同于通常通过使用当前样本的空间相邻样本的信息来对当前样本应用滤波过程以减少编解码伪像的其它环路滤波器(即,去块滤波器、SAO滤波器和ALF滤波器),具有色度缩放的亮度映射(LMCS)通过在整个动态范围上重新分配码字以在编码之前修改输入信号,从而改进压缩效率。LMCS具有两个主要分量:(a)基于自适应逐段线性模型的亮度分量的环路映射,以及(b)用于色度分量的亮度相关的色度残差缩放。亮度映射利用正向映射函数FwdMap和对应的反向映射函数InvMap。FwdMap函数使用具有16个相等段(piece)的逐段线性模型来发信号通知。InvMap函数不需要发信号通知,而是从FwdMap函数中推导出。在APS中发信号通知亮度映射模型。在编解码视频序列中可以使用多达4个LMCS APS。当对于图片启用LMCS时,图片标头中发信号通知APS ID,以标识携带亮度映射参数的APS。当对于条带启用LMCS时,InvMap函数将应用于所有重构的亮度块,以将样本转换回原始域。对于帧间编码块,需要额外的映射过程,其应用FwdMap函数将原始域中的亮度预测块映射到正常补偿过程之后的映射域。色度残差缩放被设计用于补偿亮度信号及其对应色度信号之间的相互作用。当启用亮度映射时,发信号通知额外的标志,指示是否启用亮度相关的色度残差缩放。色度残差缩放因子取决于当前CU的顶部和/或左侧重构的相邻亮度样本的平均值。一旦确定了缩放因子,在编码阶段将正向缩放应用于帧内和帧间预测残差,并且将逆缩放应用于重构的残差。
3.8.1.LMCS相关语法元素的信令
在当前的VVC规范中,LMCS控制可以在SPS、PH和SH中发信号通知。首先,SPS启用标志在CLVS级控制LMCS。如果SPS启用标志等于1,则进一步发信号通知PH启用标志,以在图片级控制LMCS,并且如果它在图片级被启用,则也在PH中发信号通知LMCS参数信息。如果PH启用标志等于1,则进一步发信号通知SH启用标志,以在条带级控制LMCS,但是即使在条带级启用,也不能在SH中发信号通知LMCS参数信息。
相关的语法元素和语义如下:
7.3.2.7图片标头结构语法
7.3.7.1通用条带标头语法
ph_lmcs_enabled_flag等于1指定对与PH相关联的所有条带启用具有色度缩放的亮度映射。ph_lmcs_enabled_flag等于0指定对于与PH相关联的一个、多个或所有条带禁用具有色度缩放的亮度映射,如果不存在,则ph_lmcs_enabled_flag的值被推断为等于0。
ph_chroma_residual_scale_flag等于1指定对与PH相关联的所有条带启用色度残差缩放。ph_chroma_residual_scale_flag等于0指定可以对与PH相关联的一个、多个或所有条带禁用色度残差缩放。当ph_chroma_residual_scale_flag不存在时,其被推断为等于0。
slice_lmcs_enabled_flag等于1指定对当前条带启用具有色度缩放的亮度映射。slice_lmcs_enabled_flag等于0指定对当前条带不启用具有色度缩放的亮度映射。当slice_lmcs_enabled_flag不存在时,其被推断为等于0。
3.9.显式缩放列表
在APS中定义缩放列表的显式信令。并且对于每个图片,是否使用显式信令首先作为PH中的标志被发信号通知,如果需要,随后是APS索引。在条带表头中,当PH标志告知使用显式缩放列表时,每个条带进一步发信号通知指示当前条带是否使用显式信令的标志。
在目前的VVC草案文本中,与缩放列表最相关的文本如下:
序列参数集RBSP语法和语义
....
sps_scaling_list_enabled_flag等于1指定缩放列表被用于变换系数的缩放过程。sps_scaling_list_enabled_flag等于0指定缩放列表不被用于变换系数的缩放过程。
...
图片标头结构语法和语义
...
ph_scaling_list_present_flag等于1指定用于与PH相关联的条带的缩放列表数据是基于包含在参考缩放列表APS中的缩放列表数据推导出的。ph_scaling_list_present_flag等于0指定用于与PH相关联的条带的缩放列表数据被设置为等于16。当不存在时,ph_scaling_list_present_flag的值被推断为等于0。当不存在时,ph_scaling_list_present_flag的值被推断为等于0。
ph_scaling_list_aps_id指定缩放列表APS的adaptation_parameter_set_id。具有aps_params_type等于SCALING_APS且adaptation_parameter_set_id等于ph_scaling_list_aps_id的APS NAL单元的Temporalld应小于或等于与PH相关联的图片的Temporalld。
...
通用条带标头语法和语义
...
slice_scaling_list_present_flag等于1指定用于当前条带的缩放列表数据是基于包含在具有aps_params_type等于SCALING_APS且adaptation_parameter_set_id等于ph_scaling_list_aps_id的参考缩放列表APS中的缩放列表数据推导出的。slice_scaling_list_present_flag等于0指定用于当前图片的缩放列表数据是在第7.4.3.21条中指定的推导的默认缩放列表数据。当不存在时,slice_scaling_list_present_flag的值被推断为等于0。
...
变换系数的缩放过程
为了推导缩放变换系数d[x][y],其中,x=0..nTbW-1,y=0..nTbH-1,以下情况应用:
–中间缩放因子m[x][y]被推导如下:
–如果以下一个或多个条件成立,则m[x][y]被设置为等于16:
–sps_scaling_list_enabled_flag等于0。
–ph_scaling_list_present_flag等于0。
–transform_skip_flag[xTbY][yTbY][cIdx]等于1。
–scaling_matrix_for_lfnst_disabled_flag等于1,并且ApplyLfnstFlag等于1。
–...
...
7.3.2.5自适应参数集RBSP语法
7.3.2.21缩放列表数据语法
scaling_matrix_for_lfnst_disabled_flag等于1指定缩放矩阵不应用于用LFNST编解码的块。scaling_matrix_for_lfnst_disabled_flag等于0指定缩放矩阵可以应用于用LFNST编码的块。
3.10.LMCS的最新进展,以及显式缩放列表
为了解决上述所有问题,提出用2比特ph_lmcs_mode_idc替换PH标志ph_lmcs_enabled_flag,并指定3种模式:禁用(模式0)、用于所有条带(模式1)和启用(模式2)。在模式1中,LMCS被用于图片的所有条带,并且在SH中不需要LMCS控制标志的信令。相应地修改SH LMCS控制标志的语义。此外,提出了ph_chroma_residual_scale_flag的语义的修正,以反映启用/禁用图片或条带的色度残差缩放的意图。
下面是对语法结构的一些提出的修改。增加或修改的大部分相关部分用黑体斜体下划线标出,一些删除的部分用[[]]指示。
7.3.2.7图片标头结构语法
7.3.7.1通用条带标头语法
等于1指定对与PH相关联的所有条带应用具有色度缩放的亮度映射, ph_lmcs_[[enabled_flag]]等于0指定对与PH相关联的[[可以对一个或多个条带禁用,或者]]所有条带具有色度缩放的亮度映射。当不存在时,ph_lmcs_[[enabled_flag]]的值被推断为等于0。等于1指定对与相关联的所有条带启用色度残差缩放,并且 ph_chroma_residual_scale_flag等于0指定对与PH相关联的[[可以对一个或多个条带禁用,或者]]所有条带色度残差缩放。当ph_chroma_residual_scale_flag不存在时,其被推断为等于0。
...
等于1指定对当前条带应用具有色度缩放的亮度映射, slice_lmcs_[[enabled_flag]]等于0指定具有色度缩放的亮度映射不适用于当前条带。当slice_lmcs_[[enabled_flag]]不存在时,其被推断为等于[[0]]
...
为解决几个问题,提出进行以下修改:
(1)PH标志ph_explicit_scaling_list_enabled_flag用2比特ph_explicit_scaling_list_mode_idc来替换,指定3种模式:禁用(模式0)、用于所有条带(模式1)和启用(模式2)。在模式1中,显式缩放列表被用于图片的所有条带,并且在SH中不需要缩放列表信令。
(2)将标志scaling_matrix_for_lfnst_disabled_flag从scaling_list_data()语法移到SPS。
7.3.2.3序列参数集RBSP语法
7.4.3.3序列参数集RBSP语义
等于1指定当解码条带时,在变换系数的缩放过程中,对在缩放列表APS中发信号通知的显式缩放列表的使用对于CLVS被启用。sps_explicit_scaling_list_enabled_flag等于0指定当解码条带时,在变换系数的缩放过程中对显式缩放列表的使用对于CLVS被禁用。
7.3.2.7图片标头结构语法
7.4.3.7图片标头结构语义
等于1指定当解码条带时,在变换系数的缩放过程中,对在参考缩放列表APS(即,aps_params_type等于SCALING_APS且adaptation_parameter_set_id等于ph_explicit_scaling_list_aps_id的APS)中发信号通知的显式缩放列表的使用对于图片被启用。ph_explicit_scaling_list_enabled_flag等于0指定当解码条带时,在变换系数的缩放过程中对显式缩放列表的使用对于图片被启用。当不存在时,ph_explicit_scaling_list_enabled_flag的值被推断为等于0]]
指定缩放列表APS的adaptation_parameter_set_id。具有aps_params_type等于SCALING_APS且adaptation_parameter_set_id等于ph_scaling_list_aps_id的APS NAL单元的Temporalld应小于或等于与PH相关联的图片的Temporalld。
7.3.2.21缩放列表数据语法
7.4.3.21缩放列表数据语义
等于1指定色度缩放列表存在于scaling_list_data()中。scaling_list_chroma_present_flag等于0指定色度缩放列表不存在于scaling_list_data()。比特流一致性的要求是当ChromaArrayType等于0时,scaling_list_chroma_present_flag应等于0,当ChromaArrayType不等于0时,scaling_list_chroma_present_flag应等于1。
7.3.7.1通用条带标头语法
7.4.8.1通用条带标头语义
等于1指定当解码当前条带时,在变换系数的缩放过程中使用在参考缩放列表APS(其中aps_params_type等于SCALING_APS且adaptation_parameter_set_id等于ph_scaling_list_aps_id)中发信号通知的显式缩放列表。slice_explicit_scaling_list_used_flag等于0指定在对当前条带进行解码时,在变换系数的缩放过程中不使用任何显式缩放列表。不存在时,slice_explicit_scaling_list_used_flag的值被推断为等于
4.由公开的技术解决方案解决的技术问题的示例
ALF、SAO、缩放列表和LMCS的现有设计和最新进展存在以下问题:
1.缩放列表/LMCS的设计解决了最新VVC文本中的许多问题,但是,进一步确定了以下问题:
a.如果一个图片仅包含一个条带,则条带级控制标志的信令不是必需的。
b.如果一个图片仅包含一个条带,则允许的模式类型(例如,对所有条带启用;对所有条带禁用;以及对至少一个但不是所有条带启用)可以减少到两种模式而不是三种。
2.SAO/ALF可以在PH或SH中被控制,但不能两者都控制,这限制了灵活性。
3.sps_lmcs_enabled_flag和sps_sao_enabled_flag的语义不准确,即使当SPS标志为真时,每个条带或块也可以选择应用LMCS/SAO或不应用。
4.SH中的条带类型和/或PH中的允许的帧间/帧内/B条带类型标志被发信号通知,而不考虑一个图片仅包含一个条带的情况。
5.解决方案和实施例的列表
为了解决上述问题以及其他问题,公开了如下总结的方法。这些项目应该被认为是解释一般构思的示例,而不应该以狭隘的方式解释。此外,这些项目可以单独使用或以任何方式组合使用。
与LMCS/缩放列表相关
1.允许的LMCS和/或缩放列表模式类型(例如,对所有条带启用;对所有条带禁用;以及对至少一个但不是所有条带启用)可以取决于PH语法结构是否存在于条带标头中(或者当前图片是否仅包含一个条带)。
a.在一个示例中,当PH语法结构存在于条带标头中时(或者当前图片是否仅包含一个条带),仅允许两种模式类型。
b.在一个示例中,如何发信号通知模式类型可以取决于PH语法结构是否存在于条带标头中(或当前图片是否仅包含一个条带)。
i.可替代地,当PH语法结构存在于条带标头中时(或者当前图片是否仅包含一个条带),发信号通知的模式类型应该是0或1(或者发信号通知的模式不应等于三种模式中的一个)。
2.是否发信号通知针对较低级(例如,条带/片/子图片)使用/启用LMCS的指示符取决于在较高级(例如,图片,PH/PPS中)中发信号通知的非二进制LMCS相关语法元素(例如,LMCS模式索引)以及PH语法结构是否不存在于条带标头中(或者当前图片是否包含多于一个条带或者取决于pps_one_slice_per_picture_flag)。
a.在一个示例中,是否发信号通知较低级指示符可以基于对以下两个条件是否都满足的条件检查:
i.较高级的非二进制LMCS相关语法元素指示对至少一个条带但不是对所有条带启用LMCS(或者指示在序列级或图片级启用LMCS,并且LMCS是否用于各个条带在条带级被控制)。
ii.当前图片由多于一个条带构成,或者pps_one_slice_per_picture_flag为假。
b.在一个示例中,如果以下两个条件中的一个或者两者都为真,则可以跳过较低级指示符的信令:
i.较高级的非二进制LMCS相关语法元素指示对所有条带启用LMCS或者对所有条带禁用LMCS(或者指示LMCS被所有条带使用或者对所有条带禁用LMCS)。
ii.当前图片只包含一个条带。
c.在一个示例中,条件检查从以下:
修改为以下内容:
d.在一个示例中,条件检查从以下:
修改为以下内容:
e.可替代地,此外,当LMCS的较低级指示符(例如,slice_lmcs_used_flag/slice_lmcs_enabled_flag)未被发信号通知时,根据非二进制LMCS相关语法元素进行推断。
i.在一个示例中,非二进制LMCS相关语法元素是ph_lmcs_mode_idc。
ii.可替代地,此外,使用条带级LMCS(例如,slice_lmcs_used_flag/slice_lmcs_enabled_flag)的推断是(ph_lmcs_mode_idc==0?0:1)。
3.是否发信号通知针对较低级(例如,条带/片/子图片)使用/启用显式缩放列表(ESL)的指示符取决于在较高级(例如,图片,在PH/PPS中)中发信号通知的非二进制LMCS相关语法元素(例如,ESL模式索引)以及PH语法结构是否不存在于条带标头中(或者当前图片是否包含多于一个条带或者取决于pps_one_slice_per_picture_flag)。
a.在一个示例中,是否发信号通知较低级指示符可以基于对以下两个条件是否都满足的条件检查:
i.较高级的非二进制ESL相关语法元素指示对至少一个条带而不是对所有条带启用ESL(或者指示ESL在序列级或图片级被启用,并且ESL是否用于各个条带在条带级被控制)。
ii.当前图片由多于一个条带构成,或者pps_one_slice_per_picture_flag为假。
b.在一个示例中,如果以下两个条件都为真,则可以跳过较低级指示符的信令:
i.较高级的非二进制ESL相关语法元素指示对所有条带启用ESL或对所有条带禁用ESL(或指示ESL被所有条带使用或对所有条带禁用)。
ii.当前图片只包含一个条带。
c.在一个示例中,条件检查从以下:
修改为以下内容:
d.在一个示例中,条件检查从以下:
修改为以下内容:
e.可替代地,此外,当ESL的较低级指示符(例如,slice_explicit_scaling_list_used_flag/slice_lmcs_enabled_flag)未被发信号通知时,根据非二进制ESL相关语法元素来推断。
i.在一个示例中,非二进制ESL相关语法元素是ph_lmcs_mode_idc。
ii.此外,可替代地,使用条带级ESL(例如,slice_lmcs_used_flag/slice_lmcs_enabled_flag)的推断是(ph_lmcs_mode_idc==0?0:1)。
4.LMCS SPS标志的语义修改如下:
或者如下:
与条带类型的指示相关
5.是否和/或如何发信号通知SH中的条带类型(例如,slice_type)和/或PH中的允许的帧间/帧内/B条带类型标志(ph_inter_slice_allowed_flag、ph_intra_slice_allowed_flag、ph_b_slice_allowed_flag)可以取决于图片是否只允许具有一个条带。
a.在一个示例中,图片是否仅被允许具有一个条带可以由pps_one_slice_per_picture_flag为真来指示。
b.在一个示例中,图片是否仅被允许具有一个条带可以由条带标头中存在PH语法结构来指示。
c.在一个示例中,如果对于当前图片,每个图片仅允许一个条带,则可以进一步应用以下:
i.如果ph_inter_slice_allowed_flag为真,则不发信号通知ph_intra_slice_allowed_flag
ii.如果ph_B_slice_allowed_flag为真,则不发信号通知ph_intra_slice_allowed_flag
iii.如果ph_intra_slice_allowed_flag为真,则不发信号通知ph_b_slice_allowed_flag
iv.slice_type不被发信号通知和推断。
与由TX表示的环路滤波技术相关(例如,去块滤波器、ALF、SAO)
6.SAO SPS标志的语义修改如下:
7.编解码工具TX的启用模式类型的指示符可以在第一视频单元级中发信号通知。
a.在一个示例中,允许的模式类型可以包括:对所有视频子单元启用;对所有视频子单元禁用;对至少一个视频子单元但不是所有视频子单元启用。
i.在一个示例中,第一视频单元可以是图片。
ii.在一个示例中,子视频单元可以是条带/片/子图片。
b.启用模式类型可以在PH/PPS中发信号通知。
c.所允许的模式类型可以取决于PH语法结构是否存在于条带标头中(或者当前图片是否仅包含一个条带)。
i.在一个示例中,当PH语法结构存在于条带标头中时(或者当前
图片是否仅包含一个片或者取决于pps_one_slice_per_picture_flag),仅允许两种模式类型。
ii.在一个示例中,如何发信号通知模式类型可以取决于PH语法结构存在于条带标头中(或者当前图片是否仅包含一个条带或者取决于pps_one_slice_per_picture_flag)。
1.可替代地,当PH语法结构存在于条带标头中时(或者当前图片仅包含一个条带或者pps_one_slice_per_picture_flag为真),发信号通知的模式类型应该是0或1(或者发信号通知的模式不应等于三种模式中的一个)。
8.是否发信号通知针对较低级(例如,条带/片/子图片)使用/启用 的指示符取决于PH语法结构是否不存在于条带标头中(或当前图片是否包含多于一个条带或取决于pps_one_slice_per_picture_flag的值)。
b.在一个示例中,如果当前图片仅包括一个图片,或者PH语法结构存在于条带标头中,或者pps_one_slice_per_picture_flag为真,则跳过较低级指示符的信令。
c.此外,可替换地,当较低级指示符未被发信号通知时,其被推断为在较高级(例如,在PH/PPS中)中发信号通知的启用/使用值。
9.的使用可以在两个级指示,并且引入了编解码工具的两个级控制,其中使用较高级控制(例如,图片级)和较低级(例如,条带级)控制,并且较低级控制信息如何/是否存在取决于高级控制信息。此外,以下内容也适用:
a.在第一示例中,应用下面的一个或多个子项目符号(sub-bullet):
1)在一个示例中,当第一指示符等于X(例如,X=1)时,其指定对与PH相关联的所有条带启用X;当第一指示符等于Y(Y!=X)(例如,Y=2),其指定对与PH相关联的一个或多个但不是所有条带启用当第一指示符等于Z(Z!=X和Z!=Y)(例如,Z=0),其指定对与PH相关联的所有条带禁用
a)此外,可替代地,当第一指示符不存在时,指示符的值被推断为等于默认值,诸如Z。
2)在一个示例中,当第一指示符等于X(例如,X=2)时,其指定对与PH相关联的所有条带禁用当第一指示符等于Y(Y!=X)(例如,Y=1),其指定对与PH相关联的一个或多个但不是所有条带禁用当第一指示符等于Z(Z!=X和Z!=Y)(例如,Z=0),其指定对与PH相关联的所有条带启用
a)此外,可替代地,当第一指示符不存在时,指示符的值被推断为等于默认值,诸如X。
4)此外,可替代地,第一指示符可以用u(v)、或u(2)或ue(v)来编解码。
5)此外,可替代地,第一指示符可以用截断的一元码来编解码。
1)在一个示例中,可以在“第一指示符等于Y”的条件检查下发信号通知第二指示符。
a)可替代地,可以在“第一指示符的值>>1”或“第一指示符的值/2”或“第一指示符的值&0x01”的条件检查下发信号通知第二指示符。
b)此外,可替代地,当第一指示符等于Y时,第二指示符可以不存在并且被推断为被启用;或者当第一指示符等于Z时被推断为禁用。
2)是否发信号通知第二指示符可以取决于第一指示符和/或当前图片是否由多于一个条带构成(或者PH语法是否不存在于SH中)。
i.此外,可替换地,当没有发信号通知时,根据第一指示符的值来推断,例如,设置为第一指示符的值或者设置为(第一指示符==0?0:1)。
b.在第二示例中,应用下面的一个或多个子项目符号:
1)在一个示例中,可以在PH中发信号通知两个指示符(例如,两个1比特标志)
II.可替代地,如果一致性比特流中的第一指示符为假,则要求第二指示符必须为假。
I.此外,可替代地,当第三指示符不存在时,可以根据第一和/或第二指示符的值来推断(例如,被推断为等于第一指示符的值)。
I.此外,可替代地,当第三指示符不存在时,其可以根据第一和/或第二指示符的值来推断(例如,被推断为等于第一指示符的值)。
iii.当第一PH标志等于0时,仅发信号通知第二PH标志。
iv.当第一PH标志等于1或当(第一PH标志等于0并且第二PH标志等于0)时,在PH中发信号通知缩放列表APS ID。
vi.当第一PH标志等于1时,SH标志的值被推断为等于0。
vii.当第一PH标志等于0并且第二PH标志等于0时,SH标志的值被推断为等于0。
d.在第四示例中,可以发信号通知PH或SH中是否存在缩放列表相关方面中的一个或多个或每个(例如,启用/禁用、APS ID)的一个或多个指示符。
i.可替代地,使用一个指示符,此外,该指示符是1比特标志。
1)在一个示例中,当指示符指定相关方面存在于PH中时,所有条带推断出PH中存在的值,并且在SH中跳过那些相关方面的信号。
2)在一个示例中,当指示符指定相关方面存在于SH中时,并且那些相关方面的信令在PH中被跳过。
ii.在一个示例中,一个或多个指示符在PH值中发信号通知。
iii.在另一个示例中,一个或多个指示符在PPS中发信号通知。
iv.在另一个示例中,一个或多个指示符在SPS中发信号通知。
一般地
10.上述提出的方法可以扩展到其他编解码工具,例如,使用非二进制值指示符来指示模式类型。
11.是否(例如,在PH/SH中)发信号通知相关信息可以进一步由较高级的一些语法元素控制,诸如在PPS/SPS中。
d.可替代地,是否(例如,在PPS/PH/SH中)发信号通知相关信息可以由较高级中的某个语法元素来进一步控制,诸如在SPS中。
e.在一个示例中,语法元素可以存在于较高级中,以指示开启/关闭控制在图片集、图片或条带中是否可以不同。
图5是示出示例视频处理系统500的框图,其中可以实施本文公开的各种技术。各种实施方式可以包括系统500的一些或所有组件。系统500可以包括用于接收视频内容的输入502。视频内容可以以原始或未压缩的格式接收,例如,8或10比特多分量像素值,或者可以是压缩或编码格式。输入502可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等),以及无线接口(诸如Wi-Fi或蜂窝接口)。
系统500可以包括编解码组件504,其可以实施在本文档中描述的各种编解码或编码方法。编解码组件504可以降低从输入502到编解码组件504的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。如组件506所表示的,编解码组件504的输出可以被存储,或者经由连接的通信被发送。组件508可以使用在输入502处接收的视频的存储或通信传送的比特流(或编解码的)表示来生成发送到显示接口510的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但是应当理解,编解码工具或操作在编码器处使用,并且与编码结果相反的相应解码工具或操作将由解码器执行。
外围总线接口或显示器接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以在各种电子设备中实现,诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
图6是视频处理装置3600的框图。装置3600可以用于实施本文描述的一种或多种方法。装置3600可以实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。处理器3602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)3604可用于存储用于实现本文所述方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路中实施本文档中描述的一些技术。
图8是示出可以利用本公开的技术的示例视频编解码系统100的框图。
如图8所示,视频编解码系统100可以包括源设备110和目的设备120。源设备110生成编码视频数据,其可以被称为视频编码设备。目的设备120可以解码由源设备110产生经编码的视频数据,其可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统的源,或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码,以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码视频数据可以经由I/O接口116通过网络130a直接发送到目的设备120。编码视频数据还可存储在存储介质/服务器130b上以供目的设备120访问。
目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取经编码的视频数据。视频解码器124可以解码经编码的视频数据。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成,或者可以在目的设备120的外部,目的设备120被配置为与外部显示设备接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作,诸如高效视频编码(HEVC)标准、多功能视频编码(VVM)标准和其他当前和/或进一步的标准。
图9是示出视频编码器200的示例的框图,该视频编码器200可以是图8所示系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的任何或所有技术。在图9的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可包括分割单元201、可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206的预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。
在其他示例中,视频编码器200可以包括更多、更少或不同的功能组件。在示例中,预测单元202可包括帧内块复制(IBC)单元。IBC单元可以以IBC模式执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,诸如运动估计单元204和运动补偿单元205的一些组件可以被高度集成,但是为了解释的目的,在图9的示例中被分开表示。
分割单元201可将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。
模式选择单元203可例如基于错误结果选择编码模式(帧内或帧间)中的一个,并且将所得帧内或帧间编码块提供到残差生成单元207以产生残差块数据,并且提供到重构单元212以重构编码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合,其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下,模式选择单元203还可以为块选择运动矢量的分辨率(例如,子像素或整数像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样本来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作,例如,取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量,该参考索引指示包含参考视频块的列表0或列表1中的参考图片,该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其它示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块,并且还可以在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204然后可以生成参考索引和运动矢量,该参考索引指示包含参考视频块的列表0或列表1中的参考图片,该运动矢量指示参考视频块与当前视频块之间的空间位移。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出用于解码器的解码处理的全部运动信息集。
在一些示例中,运动估计单元204可能不输出当前视频的全部运动信息集。相反,运动估计单元204可以参考另一视频块的运动信息来发信号通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示一值,该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中,运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所述,视频编码器200可以预测性地发信号通知运动矢量。可以由视频编码器200实施的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中的其它视频块的解码样本来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块减去(例如,由负号指示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可包括对应于当前视频块中样本的不同样本分量的残差视频块。
在其它示例中,对于当前视频块可能没有当前视频块的残差数据,例如,在跳过模式中,并且残差生成单元207可以不执行减法操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重构残差视频块。重构单元212可以将重构残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本,以产生与当前块相关联的重构视频块,以存储在缓冲器213中。
在重构单元212重构视频块之后,可以执行环路滤波操作以减少视频块中的视频块效应。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。
图10是示出视频解码器300的示例的框图,该视频解码器300可以是图8所示的系统100中的视频解码器114。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图10的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
在图10的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中,视频解码器300可以执行通常与针对视频编码器200(图9)描述的编码过程互逆的解码过程。
熵解码单元301可以检索经编码的比特流。经编码的比特流可以包括熵编码视频数据(例如,视频数据的编码块)。熵解码单元301可以解码熵编码视频数据,并且运动补偿单元302可以从经熵解码的视频数据确定运动信息,包含运动矢量、运动矢量精度、参考图片列表索引和其它运动信息。运动补偿单元302可以(例如)通过执行AMVP和合并模式来确定此信息。
运动补偿单元302可以产生运动补偿块,可能基于内插滤波器执行内插。语法元素中可以包括要以子像素精度使用的内插滤波器的标识符。
运动补偿单元302可以使用如视频编码器200在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可以根据所接收的语法信息来确定视频编码器200所使用的内插滤波器,并使用内插滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于编码经编码的视频序列的(多个)帧和/或(多个)条带的块的大小、描述编码视频序列的图片的每一宏块如何被分割的分割信息、指示每一分割如何被编码的模式、每一帧间编码块的一个或多个参考帧(和参考帧列表)以及解码经编码的视频序列的其它信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空间相邻的块形成预测块。逆量化单元303逆量化(即,去量化)比特流中提供的并且由熵解码单元301解码的量化视频块系数。逆变换单元303应用逆变换。
重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加,以形成解码块。如果需要,还可以应用去块滤波器来对解码块进行滤波,以便去除块效应伪像。解码视频块然后被存储在缓冲器307中,缓冲器307为后续的运动补偿/帧内预测提供参考块,并且还产生解码视频以在显示设备上呈现。
接下来提供一些实施例优选的解决方案列表。
以下解决方案示出了在前一部分(例如,第1项)中讨论的技术的示例实施例。
1.一种视频处理方法(例如,图7中描绘的方法700),执行(702)包括包含包括一个或多个条带的一个或多个视频图片的视频与该视频的编解码表示之间的转换;其中编解码表示符合格式规则,其中该格式规则指定哪种具有色度缩放模式或缩放列表模式类型的亮度映射可应用于条带的转换由条带标头中的图片标头语法结构或包含单个条带的图片中的图片标头指示。
2.解决方案1的方法,其中,该格式规则指定分组标头中的图片标头语法结构指示仅允许两种模式类型。
以下解决方案示出了在前一部分(例如,第2项)中讨论的技术的示例实施例。
3.一种视频处理方法,包括:执行包括包含一个或多个条带的一个或多个视频图片的视频与该视频的编解码表示之间的转换;其中该编解码表示符合格式规则,其中该格式规则指定包括指示在第一视频级启用具有色度缩放的亮度映射(LMCS)模式取决于较高级的非二进制LMCS相关语法元素以及图片是否仅由一个条带构成的指示符。
4.根据解决方案3的方法,其中,第一视频级是条带级。
5.根据解决方案3-4中任一项所述的方法,其中,较高级对应于图片或序列或图片参数集级。
以下解决方案示出了在前一部分(例如,项目3-4)中讨论的技术的示例实施例。
6.一种视频处理方法,包括:执行包括包含一个或多个条带的一个或多个视频图片的视频与该视频的编解码表示之间的转换;其中该编解码表示符合格式规则,其中该格式规则指定包括指示在第一视频级启用显式缩放列表(ESL)模式取决于较高级的非二进制LMCS相关语法元素以及图片是否仅由一个条带构成的指示符。
7.根据解决方案6的方法,其中,第一视频级是条带级。
8.根据解决方案6-7中任一项所述的方法,其中,较高级对应于图片或序列或图片参数集级。
以下解决方案示出了在前一部分中讨论的技术的示例实施例(例如,项目5-8)。
9.一种视频编码方法,包括:执行包括包含一个或多个条带的一个或多个图片的视频与该视频的编解码表示之间的转换,其中该编解码表示符合格式规则,其中该格式规则指定图片是否恰好包括一个条带控制该恰好一个条带的条带标头中的条带类型或条带类型标志。
10.根据解决方案9的方法,其中,该格式规则指定,对于具有恰好一个条带的图片,对应的图片标头语法结构必须包括在条带标头中。
以下解决方案示出了在前一部分(例如,第9项)中讨论的技术的示例实施例。
11.一种视频编码方法,包括:执行包括包含一个或多个视频区域的一个或多个图片的视频与该视频的编解码表示之间的转换,其中该编解码表示符合格式规则,其中该格式规则指定包括滤波编解码工具(TX)对视频区域的适用性的两级信令。
12.根据解决方案11所述的方法,其中,所述两级信令包括在视频图片级或较高级的较高级信令以及在条带级或更低级的较低级信令。
13.根据解决方案11-12中任一项所述的方法,其中,所述较高级信令包括非二进制值指示符。
14.根据解决方案11-13中任一项所述的方法,其中,所述较低级信令包括二进制值指示符。
15.根据解决方案12所述的方法,其中,所述较高级信令包括两个1比特标志,其指示较低级的所有、一些或有条件地一些视频区域是否启用TX模式。
16.根据解决方案11-15中任一项所述的方法,其中,所述滤波编解码工具包括缩放列表的使用。
17.根据解决方案1至16中任一项所述的方法,其中,所述转换包括将视频编码成编解码表示。
18.根据解决方案1至16中任一项所述的方法,其中,所述转换包括解码所述编解码表示以生成所述视频的像素值。
19.一种视频解码装置,包括被配置为实施解决方案1至18中的一个或多个中所述的方法的处理器。
20.一种视频编码装置,包括被配置为实施解决方案1至18中的一个或多个中所述的方法的处理器。
21.一种其上存储有计算机代码的计算机程序产品,该代码当由处理器执行时,使处理器实施解决方案1至18中任一项所述的方法。
22.本文档中描述的方法、装置或系统。
图13是根据本技术的用于视频处理的方法1300的流程图表示。方法1300包括,在操作1310,根据规则来执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定指示编解码工具的使用的第一语法元素是否存在于第一级是基于指示第二级的语法结构是否不存在于第一级的语法标志。第二级高于第一级,并且第二级是视频图片级或高于视频图片级。
在一些实施例中,第一级包括条带标头,并且第二级包括图片标头。在一些实施例中,视频图片是否包括单个条带由所述语法标志来指示。
在一些实施例中,该规则还指定第一语法元素是否存在于第一级还基于指示编解码工具在第二级的使用的第二语法元素的值。在一些实施例中,编解码工具在第一级的使用是基于(1)指示第二级的语法结构是否不存在于第一级的语法标志,以及(2)第二语法元素的值。
在一些实施例中,该编解码工具包括将亮度样本映射到特定值并且可选地对色度样本的值应用缩放操作的工具。在一些实施例中,该编解码工具包括具有色度缩放的亮度映射工具。在一些实施例中,响应于(1)第二语法元素在图片标头中指示对至少一个条带启用具有色度缩放的亮度映射工具,以及(2)图片标头的语法结构不存在于条带标头中,存在指示具有色度缩放的亮度映射工具的使用的第一语法元素。在一些实施例中,响应于(1)该语法元素在图片标头中指示禁用具有色度缩放的亮度映射工具,或(2)图片标头的语法结构存在于条带标头中,省略指示具有色度缩放的亮度映射工具的使用的第一语法元素。在一些实施例中,在条带标头中省略具有色度缩放的亮度映射工具的使用的情况下,根据图片标头中指示的第二语法元素来推断该使用。
在一些实施例中,编解码工具包括显式缩放列表。在一些实施例中,显式缩放列表被用于变换系数的缩放过程中。在一些实施例中,响应于(1)第二语法元素在图片标头中指示对至少一个条带启用显式缩放列表,以及(2)图片标头语法结构不存在于条带标头中,存在指示显式缩放列表的使用的第一语法元素。在一些实施例中,响应于(1)第二语法元素在图片标头中指示禁用显式缩放列表,或者(2)图片标头语法结构存在于条带标头中,省略指示显式缩放列表的使用的第一语法元素。在一些实施例中,在条带标头中省略显式缩放列表的使用的情况下,根据图片标头中指示的第二语法元素来推断该使用。
图14是根据本技术的用于视频处理的方法1400的流程图表示。方法1400包括,在操作1410,根据规则来执行视频与视频的比特流之间的转换。该规则指定视频的序列参数集中的语法元素指示对参考序列参数集的编解码层视频序列(CLVS)是否启用具有色度缩放的亮度映射(LMCS)工具。
在一些实施例中,该语法元素等于1指定对CLVS启用LMCS工具,并且其中该语法元素等于0指定对CLVS禁用LMCS工具。
图15是根据本技术的用于视频处理的方法1500的流程图表示。方法1500包括,在操作1510,根据规则来执行视频与视频的比特流之间的转换。该规则指定视频的序列参数集中的语法元素指示对参考序列参数集的编解码层视频序列(CLVS)是否启用样本自适应偏移(SAO)工具。
在一些实施例中,该语法元素等于1指定对CLVS启用SAO工具,并且其中该语法元素等于0指定对CLVS禁用SAO工具。
图16是根据本技术的用于视频处理的方法1600的流程图表示。方法1600包括,在操作1610,根据规则来执行包括一个或多个条带的视频的视频图片和所述视频图片的比特流之间的转换。该规则是否和/或如何指示缩放工具的使用是基于视频图片是否包括单个条带来确定的。缩放工具的使用包括是否允许具有色度缩放的亮度映射(LMCS)工具用于该转换。该使用还包括允许用于该转换的缩放模式类型的数量。
在一些实施例中,缩放模式类型指示对于视频图片的一个或多个条带的全部或部分,是启用还是禁用缩放工具。在一些实施例中,该规则指定视频图片是否包括单个条带由视频图片的图片标头语法结构是否存在于条带的条带标头中来指示。在一些实施例中,该规则指定在视频图片包括单个条带的情况下,仅允许两种缩放模式类型用于该转换。在一些实施例中,两种缩放模式类型由值0或1指示。
图17是根据本技术的用于视频处理的方法1700的流程图表示。方法1700包括,在操作1710,根据规则来执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定是否和/或如何在图片标头和/或条带标头中指示允许的条带类型是基于视频图片是否包括单个条带来确定的。
在一些实施例中,规则指定视频图片是否包含单个条带由视频图片的图片标头语法结构是否存在于条带的条带标头中来指示。在一些实施例中,在视频图片包括单个条带的情况下,在图片标头中的第二语法标志指定视频中的一个或多个条带被允许具有特定条带类型的情况下,省略图片标头中指定视频图片的所有条带是否具有特定条带类型的第一语法标志。在一些实施例中,在视频图片包括单个条带的情况下,在图片标头中的第二语法标志指定允许编解码类型B的一个或多个条带的情况下,省略图片标头中指定视频图片的所有条带是否具有特定条带类型的第一语法标志。在一些实施例中,在视频图片包括单个条带的情况下,在图片标头中的第二语法标志指定视频图片的所有条带具有特定条带类型的情况下,省略图片标头中指定是否允许编解码类型B的一个或多个条带的第一语法标志。在一些实施例中,省略并推断视频图片中的条带的类型。
图18是根据本技术的用于视频处理的方法1800的流程图表示。方法1800包括,在操作1810,根据规则来执行包括一个或多个条带的视频的视频图片与视频图片的比特流之间的转换。该规则指定在视频单元级指示编解码工具的模式类型以用于该转换。
在一些实施例中,该模式类型包括:(1)第一类型,其指示对视频单元的所有子单元启用编解码工具,(2)第二类型,其指示对视频单元的所有子单元禁用编解码工具,(3)第三类型,其指示对视频单元的至少一个子单元而不是所有子单元启用编解码工具。在一些实施例中,所述视频单元包括图片。在一些实施例中,子单元包括图片的条带、片或子图片。在一些实施例中,在图片标头或图片参数集中指示该模式类型。
在一些实施例中,基于视频图片是否包括单个条带来确定允许的模式类型的数量。在一些实施例中,在视频图片包括单个条带的情况下,仅允许两种模式类型。在一些实施例中,如何指示模式类型是基于视频图片是否包括单个条带来确定的。在一些实施例中,在视频图片包括单个条带的情况下,模式类型限于多个所允许的模式类型的子集。在一些实施例中,该规则指定视频图片是否包括单个条带由视频图片的图片标头语法结构是否存在于条带的条带标头中来指示。
图19是根据本技术的用于视频处理的方法1900的流程图表示。方法1900包括,在操作1910,根据规则来执行包括一个或多个条带的视频的视频图片和所述视频图片的比特流之间的转换。该规则指定第一视频单元级的非二进制语法元素或多个语法标志被用于指示低于第一视频单元级的第二视频单元级的编解码工具的使用。
在一些实施例中,第一视频单元级包括图片级,并且第二视频单元级包括条带级。在一些实施例中,非二进制语法元素使用至少多于两个比特来编解码。非二进制语法元素等于X指定对与视频图片相关联的所有条带启用编解码工具,非二进制语法元素等于Y指定对与视频图片相关联的至少一个但不是所有条带启用编解码工具,并且非二进制语法元素等于Z指定对与所述视频图片相关联的所有条带禁用编解码工具,其中X!=Y,Y!=Z,并且X!=Z。
在一些实施例中,在省略非二进制语法元素的情况下,非二进制语法元素被推断为具有默认值。在一些实施例中,非二进制语法元素等于Y指示编解码工具可应用于变换和/或非变换系数的缩放过程中以用于该转换。在一些实施例中,X=1,Y=2,并且Z=0。在一些实施例中,X=2,Y=1,且Z=0。
在一些实施例中,非二进制语法元素是基于序列级的对应的语法标志来有条件地指示的。在一些实施例中,非二进制语法元素被编码为无符号整数、首先左位(with a leftbit first)的无符号整数0阶Exp-Golomb编解码的语法元素或截断的一元值。在一些实施例中,基于非二进制语法元素来指示由视频图片的一个或多个条带使用的对应的自适应参数集信息。
在一些实施例中,多个语法标志包括指示对视频图片的至少一个条带是启用还是禁用编解码工具的第一语法标志,以及指示对视频图片的所有条带是启用还是禁用编解码工具的第二语法标志。在一些实施例中,第二语法标志是基于第一语法标志的值有条件地指示的。在一些实施例中,在省略第二语法标志的情况下,第二语法标志被推断为指示对所有条带启用或禁用编解码工具。在一些实施例中,该规则指定,在第一语法标志指示对视频图片的至少一个条带不启用编解码工具的情况下,第二语法标志具有指示对视频图片的所有条带禁用编解码工具的值。
在一些实施例中,多个语法标志还包括根据第一语法标志或第二语法标志在条带标头中有条件地指示的第三语法标志。在一些实施例中,第三语法标志是基于第一语法标志和/或第二语法标志的值来推断的。在一些实施例中,第三语法标志是根据序列级的对应的语法标志有条件地指示的。
在一些实施例中,多个语法标志包括指示视频图片的所有条带是否使用编解码工具的第一语法标志,以及指示是否没有视频图片的所有条带使用编解码工具的第二语法标志。在一些实施例中,仅当第一语法标志指示不是视频图片的所有条带都使用编解码工具时,才指示第二语法标志。在一些实施例中,在第一语法标志指示视频图片的所有条带使用编解码工具,或第一语法标志并且第二语法标志指示视频图片的至少一个条带使用编解码工具的情况下,缩放列表自适应参数集标识符被包括在图片标头中。在一些实施例中,在第一语法标志指示不是视频图片的所有条带都使用编解码工具并且第二语法标志指示视频图片的至少一个条带使用编解码工具的情况下,指示条带标头中的第三语法标志。在一些实施例中,第三语法标志的值基于第一语法标志和/或第二语法标志。
在一些实施例中,编解码工具与缩放列表的使用或信息相关联。在一些实施例中,在非二进制语法元素或多个语法标志存在于第一视频单元级中的情况下,在第二视频单元级中省略缩放列表的使用或信息。在一些实施例中,在第一视频单元级中指示多个语法标志,第一视频单元级包括图片标头、图片参数集或序列参数集。在一些实施例中,第二视频单元级的语法元素基于非二进制语法元素或多个语法标志来有条件地指示。
在一些实施例中,基于高于第一视频单元级的第三视频单元级中的信息来确定非二进制语法元素或多个语法标志的指示。在一些实施例中,第三视频单元级包括图片参数集或序列参数集。在一些实施例中,第三视频单元级中的语法元素指示编解码工具的使用在图片集、图片或条带内不同。
在一些实施例中,该转换包括将视频编码成比特流。在一些实施例中,该转换包括解码比特流以生成视频。
在本文描述的解决方案中,编码器可以通过根据格式规则产生编解码表示而符合格式规则。在本文描述的解决方案中,解码器可以使用格式规则来利用根据格式规则而知晓语法元素的存在和不存在解析以编解码表示的语法元素以产生经解码的视频。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,在从视频的像素表示到相应的比特流表示的转换期间,可以应用视频压缩算法,反之亦然。如语法所定义,当前视频块的比特流表示可(例如)对应于共同定位或散布在比特流内不同位置的比特。例如,可以根据变换和编码的误差残差值,并且还使用比特流中的标头和其他字段中的比特,对宏块进行编码。此外,在转换期间,解码器可以基于该确定,在知道一些字段可能存在或不存在的情况下解析比特流,如以上解决方案中所述。类似地,编码器可确定包括或不包括某些语法字段,并通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。
本文档中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实施,或者在计算机软件、固件或硬件中实施,包括本档文中公开的结构及其结构等同物,或者在它们中的一个或多个的组合中实施。所公开的和其他实施例可以实施为一个或多个计算机程序产品,即编码在计算机可读介质上的计算机程序指令的一个或多个模块,用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质的组合,或者它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号,例如,机器生成的电、光或电磁信号,其被生成来编码信息以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写,包括编译或解释语言,并且它可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如,存储在标志语言文档中的一个或多个脚本),存储在专用于所讨论的程序的单个文件中,或者存储在多个协作文件中(例如,存储一个或多个模块、子程序或代码的部分的文件)。计算机程序可以被部署为在一台计算机或位于一个地点或分布在多个地点并通过通信网络互连的多台计算机上执行。
本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器来执行,这些处理器执行一个或多个计算机程序,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行,并且装置也可以被实现为专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例来说,适于执行计算机程序的处理器包括通用和专用微处理器两者,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘,以从该大容量存储设备接收数据或向其传送数据,或两者。然而,计算机不需要有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动磁盘;磁光盘;以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入其中。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何主题或所要求保护的内容的范围的限制,而是对特定技术的特定实施例所特有的特征的描述。在本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反地,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外,尽管特征可能在上面被描述为在某些组合中起作用,并且甚至最初被如此要求保护,但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中删除,并且所要求保护的组合可以针对子组合或子组合的变体。
类似地,虽然在附图中以特定的顺序描述了操作,但是这不应该被理解为要求这些操作以所示的特定顺序或顺序执行,或者要求所有示出的操作都被执行,以获得期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容进行其他实施方式、增强和变化。
Claims (88)
1.一种视频处理方法,包括:
根据规则来执行包括一个或多个条带的视频的视频图片与所述视频图片的比特流之间的转换,
其中,所述规则指定指示编解码工具的使用的第一语法元素是否存在于第一级是基于指示第二级的语法结构是否不存在于所述第一级的语法标志,其中所述第二级高于所述第一级,并且其中所述第二级是视频图片级或高于视频图片级。
2.根据权利要求1所述的方法,其中,所述第一级包括条带标头,并且其中所述第二级包括图片标头。
3.根据权利要求1或2所述的方法,其中,所述视频图片是否包括单个条带由所述语法标志来指示。
4.根据权利要求1至3中任一项所述的方法,其中,所述规则还指定所述第一语法元素是否存在于所述第一级还基于指示所述编解码工具在所述第二级的使用的第二语法元素的值。
5.根据权利要求4所述的方法,其中,所述编解码工具在所述第一级的使用是基于(1)指示所述第二级的语法结构是否不存在于所述第一级的语法标志,以及(2)所述第二语法元素的值。
6.根据权利要求1至5中任一项所述的方法,其中,所述编解码工具包括将亮度样本映射到特定值并且可选地对色度样本的值应用缩放操作的工具。
7.根据权利要求6所述的方法,其中,所述编解码工具包括具有色度缩放的亮度映射工具。
8.根据权利要求6或7所述的方法,其中,响应于(1)所述第二语法元素在所述图片标头中指示对至少一个条带启用所述具有色度缩放的亮度映射工具,以及(2)所述图片标头的语法结构不存在于所述条带标头中,存在指示所述具有色度缩放的亮度映射工具的使用的第一语法元素。
9.根据权利要求6或7所述的方法,其中,响应于(1)所述语法元素在所述图片标头中指示禁用所述具有色度缩放的亮度映射工具,或(2)所述图片标头的语法结构存在于所述条带标头中,省略指示所述具有色度缩放的亮度映射工具的使用的第一语法元素。
10.根据权利要求8或9所述的方法,其中,在所述条带标头中省略所述具有色度缩放的亮度映射工具的使用的情况下,根据所述图片标头中指示的第二语法元素来推断所述使用。
11.根据权利要求1至5中任一项所述的方法,其中,所述编解码工具包括显式缩放列表。
12.根据权利要求11所述的方法,其中,所述显式缩放列表被用于变换系数的缩放过程中。
13.根据权利要求11或12所述的方法,其中,响应于(1)所述第二语法元素在所述图片标头中指示对至少一个条带启用所述显式缩放列表,以及(2)所述图片标头语法结构不存在于所述条带标头中,存在指示所述显式缩放列表的使用的第一语法元素。
14.根据权利要求11或12所述的方法,其中,响应于(1)所述第二语法元素在所述图片标头中指示禁用所述显式缩放列表,或者(2)所述图片标头语法结构存在于所述条带标头中,省略指示所述显式缩放列表的使用的第一语法元素。
15.根据权利要求13或14所述的方法,其中,在所述条带标头中省略所述显式缩放列表的使用的情况下,根据所述图片标头中指示的第二语法元素来推断所述使用。
16.一种视频处理方法,包括:
根据规则来执行视频与所述视频的比特流之间的转换,
其中,所述规则指定所述视频的序列参数集中的语法元素指示对参考所述序列参数集的编解码层视频序列(CLVS)是否启用具有色度缩放的亮度映射(LMCS)工具。
17.根据权利要求16所述的方法,其中,所述语法元素等于1指定对所述CLVS启用所述LMCS工具,并且其中所述语法元素等于0指定对所述CLVS禁用所述LMCS工具。
18.一种视频处理方法,包括:
根据规则来执行视频与所述视频的比特流之间的转换,
其中,所述规则指定所述视频的序列参数集中的语法元素指示对参考所述序列参数集的编解码层视频序列(CLVS)是否启用样本自适应偏移(SAO)工具。
19.根据权利要求18所述的方法,其中,所述语法元素等于1指定对所述CLVS启用所述SAO工具,并且其中所述语法元素等于0指定对所述CLVS禁用所述SAO工具。
20.一种视频处理方法,包括:
根据规则来执行包括一个或多个条带的视频的视频图片与所述视频图片的比特流之间的转换,
其中,所述规则指定是否和/或如何指示缩放工具的使用是基于所述视频图片是否包括单个条带来确定的,其中所述缩放工具的使用包括是否允许具有色度缩放的亮度映射(LMCS)工具用于所述转换,所述使用还包括允许用于所述转换的缩放模式类型的数量。
21.根据权利要求20所述的方法,其中,所述缩放模式类型指示对所述视频图片的一个或多个条带的全部或部分是启用还是禁用所述缩放工具。
22.根据权利要求20或21所述的方法,其中,所述规则指定所述视频图片是否包括单个条带由所述视频图片的图片标头语法结构是否存在于所述条带的条带标头中来指示。
23.根据权利要求20至22中任一项所述的方法,其中,所述规则指定在视频图片包括单个条带的情况下,仅允许两种缩放模式类型用于所述转换。
24.根据权利要求23所述的方法,其中,所述两种缩放模式类型由值0或1指示。
25.一种视频处理方法,包括:
根据规则来执行包括一个或多个条带的视频的视频图片与所述视频图片的比特流之间的转换,
其中,所述规则指定是否和/或如何在图片标头和/或条带标头中指示允许的条带类型是基于所述视频图片是否包括单个条带来确定的。
26.根据权利要求25所述的方法,其中,所述规则指定所述视频图片是否包括单个条带由所述视频图片的图片标头语法结构是否存在于所述条带的条带标头中来指示。
27.根据权利要求25或26所述的方法,其中,在所述视频图片包括单个条带的情况下,在所述图片标头中的第二语法标志指定所述视频中的一个或多个条带被允许具有所述特定条带类型的情况下,省略所述图片标头中的指定所述视频图片的所有条带是否具有特定条带类型的第一语法标志。
28.根据权利要求25或26所述的方法,其中,在所述视频图片包括单个条带的情况下,在所述图片标头中的第二语法标志指定允许编解码类型B的一个或多个条带的情况下,省略所述图片标头中的指定所述视频图片的所有条带是否具有特定条带类型的第一语法标志。
29.根据权利要求25或26所述的方法,其中,在所述视频图片包括单个条带的情况下,在所述图片标头中的第二语法标志指定所述视频图片的所有条带具有特定条带类型的情况下,省略所述图片标头中的指定是否允许编解码类型B的一个或多个条带的第一语法标志。
30.根据权利要求25或26所述的方法,其中,省略并推断所述视频图片中的条带的类型。
31.一种视频处理方法,包括:
根据规则来执行包括一个或多个条带的视频的视频图片与所述视频图片的比特流之间的转换,
其中,所述规则指定在视频单元级指示编解码工具的模式类型以用于所述转换。
32.根据权利要求31所述的方法,其中,所述模式类型包括:(1)第一类型,指示对所述视频单元的所有子单元启用所述编解码工具,(2)第二类型,指示对所述视频单元的所有子单元禁用所述编解码工具,(3)第三类型,指示对所述视频单元的至少一个子单元而不是所有子单元启用所述编解码工具。
33.根据权利要求31或32所述的方法,其中,所述视频单元包括图片。
34.根据权利要求33所述的方法,其中,子单元包括图片的条带、片或子图片。
35.根据权利要求31至33中任一项所述的方法,其中,所述模式类型在图片标头或图片参数集中指示。
36.根据权利要求31至35中任一项所述的方法,其中,基于所述视频图片是否包括单个条带来确定允许的模式类型的数量。
37.根据权利要求36所述的方法,其中,在所述视频图片包括单个条带的情况下,仅允许两种模式类型。
38.根据权利要求31至37中任一项所述的方法,其中,如何指示模式类型是基于所述视频图片是否包括单个条带来确定的。
39.根据权利要求38所述的方法,其中,在所述视频图片包括单个条带的情况下,所述模式类型限于多个允许的模式类型的子集。
40.根据权利要求31至39中任一项所述的方法,其中,所述规则指定所述视频图片是否包括单个条带由所述视频图片的图片标头语法结构是否存在于所述条带的条带标头中来指示。
41.一种视频处理方法,包括:
根据规则来执行包括一个或多个条带的视频的视频图片与所述视频图片的比特流之间的转换,
其中,所述规则指定在第一视频单元级的非二进制语法元素或多个语法标志被用于指示在低于所述第一视频单元级的第二视频单元级的编解码工具的使用。
42.根据权利要求41所述的方法,其中,所述第一视频单元级包括图片级,并且所述第二视频单元级包括条带级。
43.根据权利要求41或42所述的方法,其中,所述非二进制语法元素使用至少多于两个比特来编解码,其中所述非二进制语法元素等于X指定对与所述视频图片相关联的所有条带启用所述编解码工具,所述非二进制语法元素等于Y指定对与所述视频图片相关联的至少一个但不是所有条带启用所述编解码工具,并且所述非二进制语法元素等于Z指定对与所述视频图片相关联的所有条带禁用所述编解码工具,其中X!=Y,Y!=Z,并且X!=Z。
44.根据权利要求43所述的方法,其中,在省略所述非二进制语法元素的情况下,所述非二进制语法元素被推断为具有默认值。
45.根据权利要求43或44所述的方法,其中,所述非二进制语法元素等于Y指示所述编解码工具可应用于变换和/或非变换系数的缩放过程以用于所述转换。
46.根据权利要求43至45中任一项所述的方法,其中,X=1,Y=2,并且Z=0。
47.根据权利要求43至45中任一项所述的方法,其中,X=2,Y=1,并且Z=0。
48.根据权利要求43至45中任一项所述的方法,其中,所述非二进制语法元素是基于序列级的对应的语法标志来有条件地指示的。
49.根据权利要求43至48中任一项所述的方法,其中,所述非二进制语法元素被编解码为无符号整数、首先左位的无符号整数0阶Exp-Golomb编解码的语法元素或截断的一元值。
50.根据权利要求43至49中任一项所述的方法,其中,基于所述非二进制语法元素来指示由所述视频图片的一个或多个条带使用的对应的自适应参数集信息。
51.根据权利要求41或42所述的方法,其中,所述多个语法标志包括指示对所述视频图片的至少一个条带是启用还是禁用所述编解码工具的第一语法标志,以及指示对所述视频图片的所有条带是启用还是禁用所述编解码工具的第二语法标志。
52.根据权利要求51所述的方法,其中,所述第二语法标志是基于所述第一语法标志的值来有条件地指示的。
53.根据权利要求52所述的方法,其中,在省略所述第二语法标志的情况下,所述第二语法标志被推断为指示对所有条带启用或禁用所述编解码工具。
54.根据权利要求52所述的方法,其中,所述规则指定,在所述第一语法标志指示对所述视频图片的至少一个条带启用所述编解码工具的情况下,所述第二语法标志具有指示对所述视频图片的所有条带禁用所述编解码工具的值。
55.根据权利要求51至54中任一项所述的方法,其中,所述多个语法标志还包括根据所述第一语法标志或所述第二语法标志在所述条带标头中有条件地指示的第三语法标志。
56.根据权利要求55所述的方法,其中,所述第三语法标志是基于所述第一语法标志和/或所述第二语法标志的值来推断的。
57.根据权利要求55或56所述的方法,其中,所述第三语法标志是根据序列级的对应的语法标志来有条件地指示的。
58.根据权利要求41或42所述的方法,其中,所述多个语法标志包括指示所述视频图片的所有条带是否使用所述编解码工具的第一语法标志,以及指示是否没有所述视频图片的所有条带使用所述编解码工具的第二语法标志。
59.根据权利要求58所述的方法,其中,仅当所述第一语法标志指示不是所述视频图片的所有条带都使用所述编解码工具时,才指示所述第二语法标志。
60.根据权利要求58或59所述的方法,其中,在所述第一语法标志指示所述视频图片的所有条带使用所述编解码工具,或者所述第一语法标志和所述第二语法标志指示所述视频图片的至少一个条带使用所述编解码工具的情况下,缩放列表自适应参数集标识符被包括在所述图片标头中。
61.根据权利要求58至60中任一项所述的方法,其中,在所述第一语法标志指示不是所述视频图片的所有条带都使用所述编解码工具并且所述第二语法标志指示所述视频图片的至少一个条带使用所述编解码工具的情况下,指示所述条带标头中的第三语法标志。
62.根据权利要求61所述的方法,其中,所述第三语法标志的值基于所述第一语法标志和/或所述第二语法标志。
63.根据权利要求41或42所述的方法,其中,所述编解码工具与缩放列表的使用或信息相关联。
64.根据权利要求63所述的方法,其中,在所述非二进制语法元素或所述多个语法标志存在于所述第一视频单元级中的情况下,在所述第二视频单元级中省略所述缩放列表的使用或信息。
65.根据权利要求63所述的方法,其中,所述多个语法标志在所述第一视频单元级中指示,所述第一视频单元级包括图片标头、图片参数集或序列参数集。
66.根据权利要求41至65中任一项所述的方法,其中,所述第二视频单元级的语法元素示是基于所述非二进制语法元素或所述多个语法标志来有条件地指示的。
67.根据权利要求41至66中任一项所述的方法,其中,所述非二进制语法元素或所述多个语法标志的指示是基于高于所述第一视频单元级的第三视频单元级中的信息来确定的。
68.根据权利要求67所述的方法,其中,所述第三视频单元级包括图片参数集或序列参数集。
69.根据权利要求67或68所述的方法,其中,所述第三视频单元级中的语法元素指示所述编解码工具的使用在图片集、图片或条带内不同。
70.根据权利要求1至69中任一项所述的方法,其中,所述转换包括将所述视频编码成所述比特流。
71.根据权利要求1至69中任一项所述的方法,其中,所述转换包括解码所述比特流以生成所述视频。
72.一种视频处理方法,包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定指示编解码工具的使用的第一语法元素是否存在于第一级是基于指示第二级的语法结构是否不存在于所述第一级的语法标志,其中所述第二级高于所述第一级,并且其中所述第二级是视频图片级或高于视频图片级。
73.一种视频处理方法,包括:
根据规则,从视频生成所述视频的比特流,
其中,所述规则指定所述视频的序列参数集中的语法元素指示对参考所述序列参数集的编解码层视频序列(CLVS)是否启用具有色度缩放的亮度映射(LMCS)工具。
74.一种视频处理方法,包括:
根据规则,从视频生成所述视频的比特流,
其中,所述规则指定所述视频的序列参数集中的语法元素指示对参考所述序列参数集的编解码层视频序列(CLVS)是否启用样本自适应偏移(SAO)工具。
75.一种视频处理方法,包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定是否和/或如何指示缩放工具的使用是基于所述视频图片是否包括单个条带来确定的,其中所述缩放工具的使用包括是否允许具有色度缩放的亮度映射(LMCS)工具用于所述转换,所述使用还包括允许用于所述转换的缩放模式类型的数量。
76.一种视频处理方法,包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定是否和/或如何在图片标头和/或条带标头中指示允许的条带类型是基于所述视频图片是否包括单个条带来确定的。
77.一种视频处理方法,包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定在视频单元级指示编解码工具的模式类型以用于所述转换。
78.一种视频处理方法,包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定第一视频单元级的非二进制语法元素或多个语法标志被用于指示低于所述第一视频单元级的第二视频单元级的编解码工具的使用。
79.一种视频解码装置,包括被配置为实施权利要求1至78中任一项所述的方法的处理器。
80.一种视频编码装置,包括被配置为实施权利要求1至78中任一项所述的方法的处理器。
81.一种其上存储有计算机代码的计算机程序产品,所述代码当由处理器执行时,使所述处理器实现权利要求1至78中任一项所述的方法。
82.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行的方法生成,其中,所述方法包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定指示编解码工具的使用的第一语法元素是否存在于第一级是基于指示第二级的语法结构是否不存在于所述第一级的语法标志,其中所述第二级高于所述第一级,并且其中所述第二级是视频图片级或高于视频图片级。
83.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行的方法生成,其中,所述方法包括:
根据规则,从所述视频生成所述视频的比特流,
其中,所述规则指定所述视频的序列参数集中的语法元素指示对参考所述序列参数集的编解码层视频序列(CLVS)是否启用具有色度缩放的亮度映射(LMCS)工具。
84.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行的方法生成,其中,所述方法包括:
根据规则,从所述视频生成所述视频的比特流,
其中,所述规则指定所述视频的序列参数集中的语法元素指示对参考所述序列参数集的编解码层视频序列(CLVS)是否启用样本自适应偏移(SAO)工具。
85.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行的方法生成,其中,所述方法包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定是否和/或如何指示缩放工具的使用是基于所述视频图片是否包括单个条带来确定的,其中所述缩放工具的使用包括是否允许具有色度缩放的亮度映射(LMCS)工具用于所述转换,所述使用还包括允许用于所述转换的缩放模式类型的数量。
86.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行的方法生成,其中,所述方法包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定是否和/或如何在图片标头和/或条带标头中指示允许的条带类型是基于所述视频图片是否包括单个条带来确定的。
87.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行的方法生成,其中,所述方法包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定在视频单元级指示编解码工具的模式类型以用于所述转换。
88.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行的方法生成,其中,所述方法包括:
根据规则,从包括一个或多个条带的视频的视频图片生成所述视频的比特流,
其中,所述规则指定第一视频单元级的非二进制语法元素或多个语法标志被用于指示低于所述第一视频单元级的第二视频单元级的编解码工具的使用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202510326289.4A CN120111220A (zh) | 2020-04-05 | 2021-04-05 | 视频编解码中滤波的高级控制 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063005413P | 2020-04-05 | 2020-04-05 | |
US63/005,413 | 2020-04-05 | ||
PCT/US2021/025734 WO2021207055A1 (en) | 2020-04-05 | 2021-04-05 | High level control of filtering in video coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202510326289.4A Division CN120111220A (zh) | 2020-04-05 | 2021-04-05 | 视频编解码中滤波的高级控制 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115462085A true CN115462085A (zh) | 2022-12-09 |
CN115462085B CN115462085B (zh) | 2025-06-20 |
Family
ID=78022875
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180026199.3A Active CN115462085B (zh) | 2020-04-05 | 2021-04-05 | 视频处理方法、装置及可读记录介质 |
CN202510326289.4A Pending CN120111220A (zh) | 2020-04-05 | 2021-04-05 | 视频编解码中滤波的高级控制 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202510326289.4A Pending CN120111220A (zh) | 2020-04-05 | 2021-04-05 | 视频编解码中滤波的高级控制 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11849150B2 (zh) |
CN (2) | CN115462085B (zh) |
WO (1) | WO2021207055A1 (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105493505A (zh) * | 2014-06-19 | 2016-04-13 | 微软技术许可有限责任公司 | 统一的帧内块复制和帧间预测模式 |
GB201919033D0 (en) * | 2019-12-20 | 2020-02-05 | Canon Kk | High Level syntax for video coding and decoding |
WO2020057572A1 (en) * | 2018-09-18 | 2020-03-26 | Huawei Technologies Co., Ltd. | A video encoder, a video decoder and corresponding methods |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10244239B2 (en) * | 2010-12-28 | 2019-03-26 | Dolby Laboratories Licensing Corporation | Parameter set for picture segmentation |
US10368072B2 (en) * | 2015-05-29 | 2019-07-30 | Qualcomm Incorporated | Advanced arithmetic coder |
US10623774B2 (en) * | 2016-03-22 | 2020-04-14 | Qualcomm Incorporated | Constrained block-level optimization and signaling for video coding tools |
WO2020007291A1 (en) * | 2018-07-02 | 2020-01-09 | Huawei Technologies Co., Ltd. | A video encoder, a video decoder and corresponding methods |
BR112021000667A8 (pt) | 2018-07-14 | 2023-02-07 | Mediatek Inc | Método e aparelho de processamento de vídeo em um sistema de codificação de vídeo para codificar ou decodificar imagens de vídeo com uma restrição de partição e meio legível por computador não transitório |
EP4543002A3 (en) | 2018-09-03 | 2025-06-18 | Huawei Technologies Co., Ltd. | Relation between partition constraint elements |
EP3827586A1 (en) * | 2018-09-19 | 2021-06-02 | Beijing Bytedance Network Technology Co. Ltd. | Syntax reuse for affine mode with adaptive motion vector resolution |
WO2020228660A1 (en) * | 2019-05-11 | 2020-11-19 | Beijing Bytedance Network Technology Co., Ltd. | Selective use of coding tools in video processing |
-
2021
- 2021-04-05 WO PCT/US2021/025734 patent/WO2021207055A1/en active Application Filing
- 2021-04-05 CN CN202180026199.3A patent/CN115462085B/zh active Active
- 2021-04-05 CN CN202510326289.4A patent/CN120111220A/zh active Pending
-
2022
- 2022-09-29 US US17/955,856 patent/US11849150B2/en active Active
-
2023
- 2023-05-19 US US18/320,722 patent/US12206902B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105493505A (zh) * | 2014-06-19 | 2016-04-13 | 微软技术许可有限责任公司 | 统一的帧内块复制和帧间预测模式 |
WO2020057572A1 (en) * | 2018-09-18 | 2020-03-26 | Huawei Technologies Co., Ltd. | A video encoder, a video decoder and corresponding methods |
GB201919033D0 (en) * | 2019-12-20 | 2020-02-05 | Canon Kk | High Level syntax for video coding and decoding |
Also Published As
Publication number | Publication date |
---|---|
US11849150B2 (en) | 2023-12-19 |
CN115462085B (zh) | 2025-06-20 |
US12206902B2 (en) | 2025-01-21 |
WO2021207055A1 (en) | 2021-10-14 |
US20230041260A1 (en) | 2023-02-09 |
US20240146971A1 (en) | 2024-05-02 |
CN120111220A (zh) | 2025-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11930295B2 (en) | Handling of non-VCL NAL units in picture unit construction | |
CN115699756A (zh) | 视频编解码中的缩放窗口 | |
CN115769563A (zh) | 信令通知不可缩放最佳的假设参考视频解码器信息 | |
CN116671101A (zh) | 编解码视频中量化信息的信令通知 | |
JP7623077B2 (ja) | サブピクチャレベルに基づいたパーティション計算 | |
CN115868165A (zh) | 参考图片重采样 | |
JP7518216B2 (ja) | 異なるコーディングブロックサイズを有するインターレイヤ予測 | |
CN115299063A (zh) | 变换跳过残差编解码 | |
CN115428464A (zh) | 视频编解码的缩放窗口 | |
CN115668926A (zh) | 在视频编解码中使用子图片和片 | |
CN115769571A (zh) | 视频编解码中的解码的图片缓冲器管理和子图片 | |
CN115486082A (zh) | 视频编解码中的虚拟边界 | |
CN115398888B (zh) | 用于对视频编解码中并置图片的约束的方法、装置和介质 | |
CN115398898B (zh) | 视频编解码中的条带类型 | |
CN115699731A (zh) | 参考图片重采样 | |
CN115769585A (zh) | 子层的数量限制 | |
JP7575478B2 (ja) | 変換スキップモードにおける係数コーディング | |
JP2022164629A (ja) | サブピクチャエンティティグループに対するレベルインジケータ | |
CN115804086A (zh) | 补充增强消息中的子图片级信息信令 | |
CN115836524A (zh) | 自适应环路滤波 | |
CN115462085B (zh) | 视频处理方法、装置及可读记录介质 | |
JP7564250B2 (ja) | 映像コーディングにおける補足強化情報メッセージのスケーラブルネスティング |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |