[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114009032A - 视频编码层上切换指示 - Google Patents

视频编码层上切换指示 Download PDF

Info

Publication number
CN114009032A
CN114009032A CN202080045127.9A CN202080045127A CN114009032A CN 114009032 A CN114009032 A CN 114009032A CN 202080045127 A CN202080045127 A CN 202080045127A CN 114009032 A CN114009032 A CN 114009032A
Authority
CN
China
Prior art keywords
picture
layer
indication
identifier value
layer identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045127.9A
Other languages
English (en)
Inventor
理卡尔德·肖伯格
米特拉·达姆汉尼安
马丁·彼得松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN114009032A publication Critical patent/CN114009032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于从比特流中解码图片的集合的机制。方法包括：获得层访问LA指示，所述LA指示标识访问单元中的LA图片，其中，i)LA图片具有标识层的层标识符值，并且ii)按照解码顺序在LA图片之后是其他图片。所述方法包括：基于LA指示来确定比特流中的LA位置。所述方法包括：对LA图片和按照解码顺序在LA图片之后的其他图片进行解码，其中不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片进行解码。

Description

视频编码层上切换指示
技术领域
本公开涉及视频编码和解码。
背景技术
1.1 HEVC和VVC
高效率视频编码(HEVC)是由ITU-T和MPEG标准化的基于块的视频编解码。HEVC视频编解码利用时间预测和空间预测二者。使用来自当前图片内的帧内(I)预测来实现空间预测。根据先前解码的参考图片，在块级别上使用单向(P)或双向(B)帧间预测来实现时间预测。在编码器中，原始像素数据与预测像素数据之间的差(称为残差)在与也被熵编码的必要的预测参数(例如预测模式和运动矢量)一起发送之前，被变换到频域、被量化、然后被熵编码。解码器执行熵解码、逆量化和逆变换以获得残差，然后将残差与帧内预测或帧间预测相加，以重构图片。
MPEG和ITU-T正在联合视频探索小组(JVET)内开发HEVC的后继者。该开发中的视频编解码的名称为多功能视频编码(VVC)。在撰写时，当前的VVC草案可以在JVET文档JVET-N1001-V7中找到。
1.2 NAL单元
HEVC和VVC都定义了网络抽象层(NAL)。HEVC和VVC中的所有数据(即视频编码层(VCL)数据或非VCL数据二者)都封装在NAL单元中。VCL NAL单元包含表示样本值的数据。非VCL NAL单元包含附加的关联数据，例如参数集和补充增强信息(SEI)消息。
HEVC中的NAL单元以NAL单元首部(或简称为“首部”)开始，NAL单元首部指定了：i)NAL单元的NAL单元类型，标识NAL单元中携带的数据类型，ii)NAL单元所属的层id，以及iii)NAL单元所属的时间ID。NAL单元类型被编码在NAL单元首部中的nal_unit_type码字中，NAL单元类型指示和定义应如何解析和解码NAL单元。NAL单元的其余字节是由NAL单元类型指示的类型的有效载荷。比特流由一系列NAL单元组成。HEVC的NAL单元首部的语法如表1所示：
表1(HEVC NAL单元首部语法)
Figure BDA0003420796370000021
HEVC中每个NAL单元的第一个字节包含nal_unit_type语法元素(又名码字)。解码器或比特流解析器在查看第一个字节并确定编码在nal_unit_type码字中的NAL单元类型值之后，可以得出应如何处理(例如解析和解码)NAL单元的结论。
在VVC中，不同地以信号通知NAL单元类型，但是VVC中的NAL单元首部包含用于解码器导出NAL单元的NAL单元类型的信息。当前版本的VVC草案JVET-N1001-v7的NAL单元类型如下表2所示。
解码顺序是其中应对NAL单元进行解码的顺序，这与NAL单元在比特流内的顺序相同。解码顺序可以与输出顺序不同，输出顺序是其中解码器要输出(例如用于显示)经解码图片的顺序。
表2–当前版本的VVC草案中的NAL单元类型
Figure BDA0003420796370000022
Figure BDA0003420796370000031
Figure BDA0003420796370000041
1.3时间层
在HEVC中，所有图片都与指定图片所属的时间层的TemporalId值相关联。从NAL单元首部中的nuh_temporal_id_plus1语法元素中解码TemporalId值。在HEVC中，编码器需要设置TemporalId值，使得在丢弃较高时间层时，属于较低层的图片可被完美地解码。例如，假设编码器使用时间层0、1和2输出了比特流。然后移除所有层2NAL单元或者移除所有层1和层2NAL单元将导致可以毫无问题地解码的比特流。这通过编码器必须符合的HEVC规范中的约束来确保。例如，不允许一时间层的图片参考较高时间层的图片。
1.4 STSA图片
在HEVC中(以及在当前的VVC草案中)，存在被称为逐步时间子层访问(STSA)图片的图片类型。HEVC中存在两种类型的STSA图片，即STSA_R和STSA_N，STSA_R是还作为参考图片的STSA图片，STSA_N是作为非参考图片的STSA图片。在当前的VVC草案中，仅指定了一种类型的STSA图片，并且没有区分STSA图片是参考图片还是非参考图片。
STSA图片旨在指示比特流中能够“上切换”时间层的位置，即，从较低时间层切换到较高时间层。例如，解码器可以对时间层N进行解码，这意味着TemporalId等于或小于N的所有NAL单元被解码，并且TemporalId大于N的所有NAL单元被忽略。如果存在TemporalId为N+1的STSA图片，则确保解码器能够对该STSA图片以及按照解码顺序在STSA图片之后且TemporalId等于或小于N+1的所有NAL单元进行解码。
上面说明的时间层上切换特征通过HEVC中关于STSA图片的以下三个主要约束(在表3中列出和说明)来实现。
表3–HEVC STSA图片
Figure BDA0003420796370000051
1.5 TSA图片
HEVC还指定了时间子层访问(TSA)图片。与STSA图片类似，HEVC中存在两种类型的TSA图片，即TSA_R和TSA_N，TSA_R是还作为参考图片的TSA图片，TSA_N是作为非参考图片的TSA图片。当前的VVC草案中未指定TSA图片。
与STSA图片类似，TSA图片旨在指示比特流中能够从较低时间层上切换到较高时间层的位置，但是与STSA图片相反(对于STSA图片，可以针对每个STSA图片添加仅一个紧接的层)，TSA图片指示能够上切换到任何较高层。
1.6帧内随机访问点(IRAP)图片和编码视频序列(CVS)。
对于HEVC中的单层编码，访问单元(AU)是单个图片的编码表示。AU可以由若干视频编码层(VCL)NAL单元以及非VCL NAL单元组成。
HEVC中的帧内随机访问点(IRAP)图片是在其解码过程中不参考除自身之外的任何图片进行预测的图片。在HEVC中，比特流中按照解码顺序的第一个图片必须是IRAP图片，但是IRAP图片也可以另外在比特流中稍后出现。HEVC指定了三种类型的IRAP图片：i)断链访问(BLA)图片，ii)瞬时解码器刷新(IDR)图片，以及iii)纯净随机访问(CRA)图片。
编码视频序列(CVS)是从IRAP访问单元开始直到(但不包括)按照解码顺序的下一IRAP访问单元的一系列访问单元。在VVC中，还存在GRA图片，GRA图片可以在没有帧内图片的情况下开始CVS。
IDR图片始终开始新的CVS。CRA图片可以具有关联的RADL或RASL图片。CRA图片可以包含指定参考图片的非空集合的语法元素。CRA可以开始CVS也可以不开始CVS。
1.7参数集
HEVC指定了三种类型的参数集：i)图片参数集(PPS)，ii)序列参数集(SPS)，以及iii)视频参数集(VPS)。PPS包含对整个图片通用的数据，SPS包含对编码视频序列(CVS)通用的数据，VPS包含对多个CVS通用的数据。
在HEVC中，VPS和SPS的TemporalId应等于0。PPS的TemporalId应等于或大于与PPS处于相同访问单元中的图片的TemporalId。
在VVC中还存在适配参数集(APS)和解码参数集(DPS)。APS可以包含可用于多个片的信息，并且相同图片的两个片可以使用不同的APS。在当前的VVC草案中，APS可以包含ALF参数或整形器参数。DPS构成指定解码器将在整个比特流中遇到的配置文件和级别方面的“最坏情况”的信息。
VVC继承了PPS的TemporalId应等于或大于与PPS处于相同访问单元中的图片的TemporalId的规则。在VVC中，APS的TemporalId应等于相同访问单元中图片的TemporalId。
1.8图块和砖块(brick)
VVC视频编码标准草案包括被称为图块的工具，其将图片分为矩形的空间上独立的区域。VVC编码标准草案中的图块与HEVC中使用的图块类似，但是具有两步划分机制。使用图块，在VVC中可以将图片划分为多行样本和多列样本，其中图块是行和列的交集。例如，可以将图片分为4个图块行和5个图块列，使得图片总共20个图块。
通过指定行的厚度和列的宽度，在PPS中以信号通知图块结构。各个行和列可以具有不同的大小，但是划分始终跨越整个图片，分别为从左到右和从上到下。
相同图片的图块之间不存在解码依赖性。这包括帧内预测、熵编码的上下文选择和运动矢量预测。一个例外是在图块之间通常允许环路滤波依赖性。
VVC中的两步图块划分通过如在HEVC中那样将图片划分为图块开始。然后可选地，将每个图块按水平边界划分为砖块。在当前的VVC规范草案中，砖块这个词也用于表示没有被进一步划分为砖块的图块。
1.9片
HEVC中片的概念将图片分为独立编码的片，其中对图片中一个片的解码独立于相同图片中的其他片。不同的编码类型可用于相同图片的片，即，片可以是I片、P片或B片。片的主要目的是在数据丢失的情况下启用重新同步。
在当前版本的VVC中，片由多个完整的图块组成或仅由一个图块的完整砖块的连续序列组成。
1.10参考图片管理
在HEVC中，图片通过它们的图片顺序计数(POC)值(也称为完整POC值)来识别。每个片包含码字pic_order_cnt_lsb，其对于图片中的所有片应当相同。pic_order_cnt_lsb也被称为完整POC的最低有效比特(lsb)，因为它是固定长度的码字，并且仅以信号通知完整POC的最低有效比特。编码器和解码器都保持对POC的跟踪，并将POC值分配给每个被编码/解码的图片。可以通过4～16个比特以信号通知pic_order_cnt_lsb。HEVC中使用了变量MaxPicOrderCntLsb，该变量被设置为最大pic_order_cnt_lsb值加1。这意味着如果使用8比特来信号通知pic_order_cnt_lsb，则最大值为255，MaxPicOrderCntLsb被设置为2^8＝256。图片的图片顺序计数值在HEVC中被称为PicOrderCntVal。通常，当前图片的PicOrderCntVal被简称为PicOrderCntVal。
HEVC中的参考图片管理使用参考图片集(RPS)来完成。RPS是在片首部中以信号通知的参考图片的集合。当解码器已经对图片进行了解码时，它会与其POC值一起放在解码图片缓冲器(DPB)中。在对后续图片进行解码时，解码器从片首部中解析RPS语法，并构建参考图片POC值的列表。将这些列表与DPB中的所存储图片的POC值进行比较，RPS指定DPB中的哪些图片要保持在DPB中，哪些图片要移除。将未包括在RPS中的所有图片标记为要从DPB中移除。根据经解码的RPS信息，将保留在DPB中的图片标记为短期参考图片或长期参考图片。
HEVC参考图片管理系统的一个主要特性是针对每个片以信号通知在对当前图片进行解码之前DPB应具有的状态。这使得解码器能够将信号通知的状态与DPB的实际状态进行比较，并确定是否缺失任何参考图片。
VVC规范草案中的参考图片管理与HEVC中的参考图片管理略有不同。在HEVC中，以信号通知RPS，并从RPS中导出用于帧间预测的参考图片列表。在VVC规范草案中，以信号通知参考图片列表(RPL)并导出RPS。然而，在这两个规范中，都完成了将哪些图片保持在DPB中、哪些图片应当是短期和长期的信令。在两个规范中，都同样使用POC进行图片识别和确定缺失的参考图片。
1.11 HEVC可伸缩和多视图扩展
HEVC指定了少量扩展，包括可伸缩HEVC(SHVC)扩展和多视图HEVC(MV-HEVC)扩展。
SHVC在HEVC的第一版本已经提供的时间可伸缩性之上提供了对空间、SNR和色域可伸缩性的支持。SHVC定义了基本层和一个或多个可伸缩增强层。从NAL单元首部中的layer_id码字中解码层id。基本层的层id始终等于0，而可伸缩增强层的层id大于0。为了对增强层进行解码，必须首先对所参考的层进行解码，即所参考的基本层图片和潜在的其他所参考的增强层图片。利用空间可伸缩性，能够从具有较低分辨率的层预测具有较高分辨率的层。SNR可伸缩性允许从具有较低质量的层预测具有较高质量的层，而色域可伸缩性在可伸缩增强层中提供经扩展的色域。
MV-HEVC为利用层间预测对多个视图进行编码提供了支持。MV-HEVC中的每个视图以NAL单元首部中的layer_id码字来识别。
发明内容
存在某些挑战。例如，STSA图片和VVC规范中指定的约束并不能保证上切换在所有情况下都工作良好，因为没有任何阻止VVC比特流允许STSA图片(以及按照解码顺序在STSA图片之后的图片)使用按照解码顺序在STSA图片之前且具有与STSA图片相同的时间层的APS的机制。对于PPS、前缀SEI消息以及STSA图片所位于的访问单元中的第一STSA NAL单元之前的任何尚未定义的NAL单元，情况也是如此。
作为另一示例，在VVC中，上切换指示被设计为VCL NAL单元类型，并且可以预期对于VVC访问单元通常在访问单元中包含至少一个APS，该至少一个APS包含图片要使用的数据。如果APS必须在VCL NAL单元之前，并且上切换指示利用VCL NAL单元放置(这是针对VVC和HEVC STSA图片的情况)，则解码器不能在VCL NAL单元处执行上切换，因为这会导致APS未被解码。
因此，本公开提出了一个实施例，其中添加了对比特流的约束，使得不允许编码器让层N的上切换图片(以及上切换图片之后的图片)使用层N中按照解码顺序在包含上切换图片的访问单元之前的任何PPS、APS等。也就是说，在一个实施例中，以访问单元的粒度完成上切换，使得在发生上切换时，属于STSA图片的访问单元的所有NAL单元都被解码。
根据本公开的第一方面，提供了一种用于从比特流中解码图片的集合的方法。该方法包括：获得层访问LA指示，LA指示标识访问单元中的LA图片，其中，i)LA图片具有标识层的层标识符值，并且ii)按照解码顺序在LA图片之后是其他图片。该方法还包括：基于LA指示来确定比特流中的LA位置。该方法包括：对LA图片和按照解码顺序在LA图片之后的其他图片进行解码，其中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片进行解码。
根据本公开的第二方面，提供了一种用于从比特流中解码图片的集合的方法。该方法包括：获得层访问LA指示，LA指示标识访问单元中的LA图片，其中，i)LA图片具有标识层的层标识符值，并且ii)按照解码顺序在LA图片之后是至少一个图片，其中，LA图片之后的所述图片的层标识符值等于或大于LA图片的层标识符值。该方法包括：基于LA指示来确定比特流中的LA位置。该方法还包括：确定LA图片或LA图片之后的所述图片使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集。该方法包括：响应于确定LA图片或按照解码顺序在LA图片之后的所述图片使用所述参数集，确定存在错误情况。
根据本公开的第三方面，提供了一种用于对图片进行编码的方法。该方法包括：对层访问LA图片进行编码，其中，LA图片具有标识层的层标识符值。该方法还包括：对指示LA图片的LA指示进行编码，使得解码器能够根据LA指示来识别LA图片，其中，能够基于LA指示来识别比特流中的LA位置，其中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片进行编码。
根据本公开的第四方面，提供了一种视频解码器。该视频解码器适于：获得层访问LA指示，LA指示标识访问单元中的LA图片，其中，i)LA图片具有标识层的层标识符值，并且ii)按照解码顺序在LA图片之后是其他图片。该视频解码器还适于：基于LA指示来确定比特流中的LA位置。该视频解码器适于：对LA图片和按照解码顺序在LA图片之后的其他图片进行解码，其中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片进行解码。
根据本公开的第五方面，提供了一种视频解码器。该视频解码器适于：获得层访问LA指示，LA指示标识访问单元中的LA图片，其中，i)LA图片具有标识层的层标识符值，并且ii)按照解码顺序在LA图片之后是至少一个图片，其中，LA图片之后的所述图片的层标识符值等于或大于LA图片的层标识符值。该视频解码器适于：基于LA指示来确定比特流中的LA位置。该视频解码器还适于：确定LA图片或LA图片之后的所述图片使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集。该方法包括：响应于确定LA图片或按照解码顺序在LA图片之后的所述图片使用所述参数集，确定存在错误情况。
根据本公开的第六方面，提供了一种视频编码器。该视频编码器适于：对层访问LA图片进行编码，其中，LA图片具有标识层的层标识符值。该视频编码器还适于：对指示LA图片的LA指示进行编码，使得解码器能够根据LA指示来识别LA图片，其中，能够基于LA指示来识别比特流中的LA位置，其中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片进行编码。
根据本公开的第七方面，提供了一种包括计算机程序，包括指令，该指令在由处理电路执行时使处理电路执行根据第一方面或第二方面的方法。
根据本公开的第八方面，提供了一种包含根据第五方面的计算机程序在内的载体，其中，载体是电信号、光信号、无线电信号和计算机可读存储介质(942)之一。
有利地，所提出的上切换指示机制保证上切换之后对图片进行解码所需的所有必要数据被提供给解码器。例如，所提出的机制还允许编码器在对STSA图片(以及按照解码顺序在STSA图片之后的图片)进行解码时，使用按照解码顺序在STSA VCL NAL单元之前的APS数据，即使在APS数据属于与STSA图片相同的时间层时，前提是APS数据被放置在与STSA图片相同的访问单元中。
附图说明
图1是根据一个实施例的视频编码器的示意框图。
图2是根据一个实施例的视频解码器的示意框图。
图3示出了比特流。
图4是示出了根据实施例的解码过程的流程图。
图5是示出了根据实施例的解码过程的流程图。
图6是示出了根据实施例的解码过程的流程图。
图7是示出了根据实施例的解码过程的流程图。
图8是示出了根据实施例的编码过程的流程图。
图9是根据实施例的装置的框图。
图10A是根据实施例的视频解码装置的框图。
图10B是根据实施例的视频编码装置的框图。
图10C是根据实施例的视频解码装置的框图。
具体实施方式
本文描述的实施例可以用在视频编码器或视频解码器中。
在以下实施例中，描述了各种方法。本领域技术人员可以理解，两个或多个实施例或实施例的部分可以组合以形成新的解决方案，这些解决方案仍被本公开中描述的发明所涵盖。下面的一些实施例涉及不同的层及其标识符。所描述的解决方案中的层可以例如是时间层、空间层、质量层、视图层、任何其他类型的层以及不同层类型的组合。编码器或解码器通过层标识符保持对编码数据的跟踪。典型地，标签标识符由用于大块编码数据的一个或多个语法元素组成，其中语法元素表达了表示层标识的整数。下面的实施例将“层id”和“层标识符”用于相同事物。
在本说明书中，“用于解码”或“用于编码”意味着比特流中较早的数据在解码/编码过程中被参考和使用。例如，用于对图片进行编码的参数集可以被解释为在比特流中该参数集在图片之前，并且图片的解码过程使用来自参数集的数据，使得如果在图片的解码之前参数集不可用并且未被解码器解码，则解码器可能无法对图片进行解码。
图1是根据一个实施例的视频编码器140的示意框图。通过使用运动估计器150根据相同帧中或先前帧中已经提供的像素块执行运动估计来预测当前像素块。在帧间预测的情况下，运动估计的结果是与参考块相关联的运动矢量或位移矢量。运动矢量可以由运动补偿器150使用以输出像素块的帧间预测。帧内预测器149计算当前像素块的帧内预测。将运动估计器/补偿器150和帧内预测器149的输出输入选择器151中，选择器151为当前像素块选择帧内预测或帧间预测。将选择器151的输出输入加法器141形式的误差计算器中，该误差计算器还接收当前像素块的像素值。加法器141计算并输出作为像素块与其预测之间的像素值的差异的残余误差。该误差在变换器142中例如通过离散余弦变换进行变换，并且由量化器143量化，随后在编码器144(例如通过熵编码器)中编码。在帧间编码中，同样将所估计的运动矢量带到编码器144，以生成当前像素块的编码表示。还将当前像素块的经变换且经量化的残余误差提供给逆量化器145和逆变换器146，以获取原始残余误差。加法器147将该误差与运动补偿器150或帧内预测器149的块预测输出相加，以创建能够用于下一像素块的预测和编码的参考像素块。该新参考块首先由去块滤波器100处理。经处理的新参考块然后临时存储在帧缓冲器148中，在帧缓冲器148，经处理的新参考块可用于帧内预测器149和运动估计器/补偿器150。
图2是根据一些实施例的视频解码器260的框图。解码器260包括诸如熵解码器的解码器261，以对像素块的编码表示进行解码来获得经量化且经变换的残余误差的集合。这些残余误差由逆量化器262反量化并由逆变换器263逆变换，以提供残余误差的集合。加法器264将这些残余误差与参考像素块的像素值相加。取决于执行帧间预测还是帧内预测，由运动估计器/补偿器267或帧内预测器266确定参考块。选择器268由此互连到加法器264以及运动估计器/补偿器267和帧内预测器266。将从加法器264输出的所得经解码像素块输入去块滤波器200中。经滤波的像素块从解码器260输出，并且可以进一步临时提供给帧缓冲器265，以用作要解码的后续像素块的参考像素块。帧缓冲器265由此连接到运动估计器/补偿器267，以使所存储的像素块可用于运动估计器/补偿器267。也可以将加法器264的输出输入帧内预测器266中，以用作未经滤波的参考像素块。
如上所述，存在某些挑战，例如以下事实：VVC规范中指定的约束不能保证上切换在所有情况下都工作良好，因为没有任何阻止VVC比特流允许STSA图片(以及按照解码顺序在STSA图片之后的图片)使用按照解码顺序在STSA图片之前且具有与STSA图片相同时间层的APS的机制。对于PPS、前缀SEI消息以及STSA图片所位于的访问单元中的第一STSANAL单元之前的任何尚未定义的NAL单元，情况也是如此。
图3和下面的表4示出了使用示意该问题的STSA图片的VVC比特流300示例。示例中存在三个图片(即，图片301、302和303)，每个图片都在它们自己的访问单元中。第一图片301是时间层为0的IDR图片，两个随后的图片(即，图片302和303)都是时间层为1的STSA图片。查看访问单元2，那里的STSA B图片使用ID＝4的PPS和ID＝8的APS。然而，STSA B图片处的上切换意味着访问单元1的参数集数据没有被解码，并且由于ID＝4的PPS和ID＝8的APS都没有被解码，因此STSA B图片不能被正确解码。
表4–STSA示例
Figure BDA0003420796370000141
Figure BDA0003420796370000151
上述另一问题是，在VVC中，上切换指示被设计为VCL NAL单元类型，并且可以预期对于VVC访问单元通常在访问单元中包含至少一个APS，该至少一个APS包含图片要使用的数据。如果APS必须在VCL NAL单元之前，并且上切换指示利用VCL NAL单元放置(这是针对VVC和HEVC STSA图片的情况)，则解码器不能在VCL NAL单元处执行上切换，因为这会导致APS未被解码。查看图3和表4中的示例，STSA A图片使用比特流中在STSA A图片之前、ID＝4的PPS数据和ID＝8的APS数据。如果解码器正在对仅时间层0进行解码，找到上切换点作为STSA A图片的第一VCL NAL单元，并从STSA A图片开始对时间层1NAL单元进行解码，则解码器将不会对访问单元1的PPS和APS进行解码。这具有不期望的效果，即STSA图片无法参考其自身访问单元中的参数集。
1.0LA指示、LA图片、LA位置和规则
在一个实施例中，引入了层上切换指示。层上切换指示在本文中被称为层访问(LA)指示。在必须逐步执行上切换的某些实施例中，LA指示可以被称为“逐步LA”(SLA)指示。
在HEVC中，存在逐步时间子层访问(STSA)图片和时间子层访问(TSA)图片，但是在本文描述的实施例中，LA指示不需要是图片。此外，HEVC STSA和TSA图片指示时间层上切换，而LA指示可用于时间层以外的层。HEVC与本公开的实施例之间的另一差异在于HEVC不为其两个上切换图片，即TSA和STSA中的任何一个解决参数集可用性。
在一个实施例中，LA图片与LA指示相关联。如果对比特流执行上切换操作，则LA图片是LA指示指定可以解码的较高层中的第一个图片。在一个实施例中，将LA图片和对应的LA指示放置在一起，例如放置在比特流中的相同访问单元中。在这种情况下，解码器可以通过首先找到LA指示来识别LA图片，然后将LA图片导出为与LA指示相同的访问单元中的图片。也就是说，如果解码器在访问单元中找到LA指示，则确定该访问单元中的图片为LA图片。在访问单元中可以存在多于一个图片的实施例中，每个图片可以具有它自己的LA指示。
在一个实施例中，引入比特流中被称为层访问(LA)位置的位置。在一个实施例中，LA位置是从LA指示在比特流中的位置或放置中导出的。在另一实施例中，LA位置是从LA指示在比特流中的位置或放置与比特流中的一个或多个语法元素的组合中导出的。
在一个实施例中，导出源层和目标层。解码器可以例如对层0、1和2进行解码。解码器然后可以在比特流中找到LA指示，LA指示向解码器提供信息，解码器可以通过该信息导出等于2的源层id和等于4的目标层id。这意味着由于解码器正在对层2进行解码，因此解码器可以执行到层4的上切换。备选地，解码器可以执行到层3的上切换，因为没有较高层的数据用于对较低层的任何数据进行解码。这意味着可以上切换到等于或低于所导出的目标层的层。然而，如果示例中的解码器将遇到LA指示并导出等于3的源层id和等于4的目标层id，则由于解码器不是正在对层3进行解码，因此上切换不可能。
在一个实施例中，将目标层id导出为LA指示的层id值，例如导出为包含LA指示的NAL单元的层id值或导出为包含LA指示的访问单元的层id值。在另一实施例中，将目标层id导出为最高可能的层id值，例如导出为针对比特流的配置文件指定的最高层id值或导出为由比特流中(例如SPS、VPS或DPS中)的语法元素指示的最大层id值。在又一实施例中，通过与LA指示相关联的语法元素以信号通知目标层id值。目标层id值应大于源层id值。
在一个实施例中，将源层id导出为目标层id减1，例如导出为LA指示的层id值减1。在另一实施例中，通过与LA指示相关联的语法元素以信号通知源层id值。
在另一实施例中，引入规则，其中规则指定在对LA图片或按照解码顺序在LA图片之后、层id值大于源层id值且小于或等于目标层id值的图片进行解码时，不允许使用以下数据：i)在LA位置之前，并且ii)具有大于源层id值且小于或等于目标层id值的层id值。
因此，在一个实施例中，解码器可以执行以下过程400(参见图4)的步骤的全部或子集，以从比特流中解码图片的集合。过程400可以从步骤s402开始。
步骤s402包括：解码器获得LA指示，LA指示标识访问单元中的LA图片，其中，按照解码顺序在LA图片之后是其他图片。
步骤s404包括：解码器基于LA指示(例如，仅基于LA指示或至少部分地基于LA指示)来确定比特流中的LA位置。例如，在一个实施例中，仅基于LA指示在比特流中的位置来确定LA位置。在另一实施例中，基于LA指示所指示的位置来确定LA位置。
步骤s406包括：解码器基于LA指示来确定源层id和目标层id。
步骤s408包括：解码器对LA图片和按照解码顺序在LA图片之后的图片进行解码，其中不使用i)在LA位置之前、并且ii)具有大于源层id且小于或等于目标层id的层标识符值的特定类型的参数集对LA图片和按照解码顺序在LA图片之后、具有大于源层id且小于或等于目标层id的层标识符值的图片中的任何图片进行解码。
在一些实施例中，特定类型是包括在一个或多个特定类型的集合中的任何类型，其中，一个或多个特定类型的集合包括适配参数集(APS)类型。
在一些实施例中，特定类型是包括在一个或多个特定类型的集合中的任何类型，其中，一个或多个特定类型的集合包括图片参数集(PPS)类型。
在一些实施例中，特定类型是包括在一个或多个特定类型的集合中的任何类型，其中，一个或多个特定类型的集合包括SEI消息类型。
在另一实施例中，解码器可以执行以下过程500(参见图5)的步骤的全部或子集。过程500可以从步骤s502开始。
步骤s502包括：解码器获得LA指示，LA指示标识访问单元中的LA图片，其中，按照解码顺序在LA图片之后是其他图片。
步骤s504与步骤s404相同，包括：解码器基于LA指示来确定比特流中的LA位置。
步骤s506包括：解码器基于LA指示来确定源层id和目标层id。
步骤s508包括：解码器确定LA图片(或者按照解码顺序在LA图片之后、层标识符值大于源层id且小于或等于目标层id的图片)使用特定类型的参数集，该特定类型的参数集在LA位置之前、具有大于源层id且小于或等于目标层id的层标识符值。
步骤s510包括：解码器响应于该确定，确定比特流不符合编解码器规范，并且可以将其解释为比特错误、数据丢失或不符合的比特流或不符合的编码器。解码器可以基于比特流不符合的认识来报告错误、执行错误隐藏或采取其他动作。
1.1目标层ID等于LA图片的层ID
在一个实施例中，将目标层id导出为等于LA图片的层id值，并将源层id导出为目标层id值减1。在这样的实施例中，规则可以表达为：在对LA图片或按照解码顺序在LA图片之后、与LA图片属于相同层的图片中的任何图片进行解码时，不允许使用与LA图片相同的层中在LA位置之前的数据。该规则备选地可以使用以下两个规则来表达：
规则1：当当前图片是按照解码顺序在LA图片之后的图片并且当前图片和LA图片具有相同层id时，当前图片不应使用或参考也具有相同层id并在与LA图片相对应的LA位置之前(例如，属于LA图片的访问单元中按照解码顺序的第一NAL单元)的参数集。
规则2：当当前图片是LA图片时，当前图片不应使用或参考层id等于当前图片的层id且在与LA图片相关联的LA位置之前的参数集(例如，属于LA图片的访问单元中按照解码顺序的第一NAL单元)。
因此，在一个实施例中，解码器可以执行以下过程600(参见图6)的步骤的全部或子集，以从比特流中解码图片的集合。过程600可以从步骤s602开始。
步骤s602包括：解码器获得LA指示，LA指示标识访问单元中的LA图片，其中，i)LA图片具有标识层的层标识符值，并且ii)按照解码顺序在LA图片之后是其他图片。
步骤s604与步骤s404相同，包括：解码器基于LA指示来确定比特流中的LA位置。
步骤s606包括：解码器对LA图片和按照解码顺序在LA图片之后的图片进行解码，其中不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片进行解码。
在一些实施例中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对i)按照解码顺序在LA图片之后、并且ii)具有等于LA图片的层标识符值的层标识符值的任一其他图片进行解码。
在一些实施例中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对i)按照解码顺序在LA图片之后、并且ii)具有大于LA图片的层标识符值的层标识符值的任一其他图片进行解码。
在一些实施例中，不使用a)具有特定类型、b)具有大于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片或按照解码顺序在LA图片之后且层标识符值等于或大于LA图片的层标识符值的其他图片中的任一图片进行解码。
在另一实施例中，解码器可以执行以下过程700(参见图7)的步骤的全部或子集。过程700可以从步骤s702开始。
步骤s702包括：解码器获得LA指示，LA指示标识访问单元中的LA图片，其中，i)LA图片具有标识层的层标识符值，并且ii)按照解码顺序在LA图片之后是至少一个图片，其中，在LA图片之后的所述图片具有等于或大于LA图片的层标识符值的层标识符值。
在一些实施例中，获得LA指示包括：从VCL NAL单元类型中导出LA指示。
在一些实施例中，获得LA指示包括：从非VCL NAL单元的NAL单元类型中导出LA指示。
在一些实施例中，获得LA指示包括：从参数集中的一个或多个语法元素中导出LA指示。
在一些实施例中，获得LA指示包括：从非VCL NAL单元中的一个或多个语法元素中导出LA指示。
在一些实施例中，获得LA指示包括：从访问单元中的访问单元分隔符NAL单元中的一个或多个语法元素中导出LA指示。
在一些实施例中，获得LA指示包括：从前缀SEI消息中的一个或多个语法元素中导出LA指示。
在一些实施例中，获得LA指示包括：确定访问单元是否包含访问单元分隔符NAL单元；作为确定访问单元包含访问单元分隔符NAL单元的结果，从访问单元分隔符NAL单元的一个或多个语法元素中导出LA指示，否则从VCL NAL单元中导出LA指示。在这样的实施例中，如果访问单元包含访问单元分隔符NAL单元，则将LA位置导出为等于访问单元分隔符的位置，否则将LA位置导出为等于访问单元中第一VCL NAL单元的位置。
步骤s704与步骤s404相同，包括：解码器基于LA指示来确定比特流中的LA位置。在一些实施例中，将LA位置导出为包含LA指示的NAL单元的位置。
步骤s706包括：解码器确定LA图片或LA图片之后的所述图片使用以下参数集：a)具有特定类型，b)具有等于LA图片的层标识符值的层标识符值，并且c)在LA位置之前。
步骤s708包括：响应于确定LA图片或按照解码顺序在LA图片之后的所述图片使用所述参数集，确定存在错误情况。
在一些实施例中，确定存在错误情况包括解码器确定：i)已经发生比特错误，ii)数据已经丢失，iii)比特流是不符合的比特流，或iv)生成比特流的编码器是不符合的编码器。
在一些实施例中，过程700还包括：作为确定存在错误情况的结果，解码器报告错误情况和/或执行错误隐藏操作。
在一些实施例中，过程700还包括：解码器确定LA图片或LA图片之后的所述图片使用以下参数集：a)具有特定类型，b)具有大于LA图片的层标识符值的层标识符值，并且c)在LA位置之前；并且响应于确定LA图片或LA图片之后的所述图片使用所述参数集，确定存在错误情况。
在另一实施例中，编码器可以执行以下过程800(参见图8)的步骤的全部或子集。过程800可以从步骤s802开始。
步骤s802包括：编码器对LA图片进行编码，其中，LA图片具有标识层的层标识符值。
步骤s804包括：编码器对指示LA图片的LA指示进行编码，使得解码器可以根据LA指示来识别LA图片，其中，可以基于LA指示来识别比特流中的LA位置，其中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片进行解码。
在一些实施例中，过程800还包括步骤s806，其中编码器对按照解码顺序在LA图片之后的其他图片进行编码。
在一些实施例中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对按照解码顺序在LA图片之后且层标识符值等于LA图片的层标识符值的其他图片中的任一图片进行编码。
在一些实施例中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对按照解码顺序在LA图片之后且层标识符值大于LA图片的层标识符值的其他图片中的任一图片进行编码。
在一些实施例中，过程800还包括编码器输出(例如，发送或存储)：LA图片、标识LA图片的LA指示以及按照解码顺序在LA图片之后的其他图片。
1.2 LA位置的导出
如上所述，从LA指示中导出LA位置。例如，在一个实施例中，基于(例如，仅基于或部分地基于)LA指示在比特流中的位置来确定LA位置。在另一实施例中，基于LA指示在比特流中的位置与比特流中的一个或多个语法元素的组合来确定LA位置。
在一个实施例中，将LA位置确定为属于图片的包含LA指示的访问单元中按照解码顺序的第一NAL单元的位置。
在另一实施例中，将LA位置确定为LA图片的位置。
在另一实施例中，将LA位置确定为LA图片的按照解码顺序的第一VCL NAL单元的位置。
在另一实施例中，将LA位置确定为具有等于特定NAL单元类型的NAL单元类型的访问单元中按照解码顺序的第一NAL单元的位置。特定的NAL单元类型可以例如具有LA、访问单元分隔符、SPS、PPS、APS或SEI消息的NAL单元类型。
在另一实施例中，将LA位置确定为访问单元中按照解码顺序的第一NAL单元的位置，该访问单元的NAL单元类型等于所定义的NAL单元类型的集合中的NAL单元类型，其中该集合由至少两种类型组成。例如，NAL单元类型的集合可以由PPS NAL单元类型、APS NAL单元类型和LA VCL NAL单元类型中的至少两种组成。如果所有三种类型都包括在集合中，并且访问单元包含LA VCL NAL单元类型但不包含集合中的其他NAL单元类型，则将LA位置导出为LA VCL NAL单元的位置。但是，如果访问单元包含所有三种类型，则将LA位置导出为访问单元中按照解码顺序的第一类型的位置。
在一些实施例中，访问单元包括NAL单元的有序序列，并且将LA位置确定为NAL单元的有序序列中的第一NAL单元的位置。
1.3参数集详情
如上所述，在各种实施例中，不使用a)具有特定类型、b)具有等于LA图片的层标识符值的层标识符值、并且c)在LA位置之前的参数集对LA图片或LA图片之后具有与LA图片相同的层id其他图片中的任一图片进行解码。
在一个实施例中，特定类型是包括在一个或多个特定类型的集合中的任何类型。
在一个实施例中，一个或多个特定类型的集合包括适配参数集(APS)类型。这意味着，在该实施例中，在对LA图片和按照解码顺序在LA图片之后与LA图片属于相同层的图片中的任何图片进行解码时，不允许使用与LA图片相同的层中在LA位置之前的APS。
在一个实施例中，一个或多个特定类型的集合包括图片参数集(PPS)。这意味着，在对LA图片和按照解码顺序在LA图片之后具有与LA图片相同层标识符值的图片中的任何图片进行解码时，不允许使用具有与LA图片具有相同层id且在LA位置之前的PPS。
在一个实施例中，一个或多个特定类型的集合包括SEI消息。这意味着在对LA图片和按照解码顺序在LA图片之后具有与LA图片相同层标识符值的图片中的任何图片进行解码时，不允许使用与LA图片具有相同层标识符且在LA位置之前的SEI。
在一个实施例中，一个或多个特定类型的集合包括至少三种类型：SEI消息、PPS和APS。
1.4 LA指示在比特流中的位置
解码器(或其他网络节点)可以监控比特流以搜索LA指示，以便确定能够在何处进行上切换。LA指示的位置和LA位置可以是也可以不是比特流中的相同位置。但是，如上所述，基于LA指示来确定LA位置。
在一个实施例中，LA位置和LA指示的位置相同。例如，在一个实施例中，LA指示的位置是包含LA指示的NAL单元的位置，并且将LA位置确定为包含LA指示的该NAL单元的位置。因此，例如，解码器会在比特流中搜索LA指示，在特定NAL单元中找到LA指示(例如，找到其NAL单元类型值标识特定NAL单元类型的NAL单元)，然后将LA位置设置为特定NAL单元的位置。这样，例如，LA位置仅基于LA指示的位置。
在一个实施例中，从VCL NAL单元类型中导出LA指示。在一个实施例中，从非VCLNAL单元类型中导出LA指示。或者使用现有的非VCL NAL单元类型来导出LA指示，或者使用表2中未列出的新NAL单元类型。
如果这种新的NAL单元类型将被引入并用于VVC，则能够移除STSA NAL单元类型，并添加新的单独的非VCL NAL单元类型。例如，可以使用表2中的RSV_NVCL5 NAL单元类型，并且解码器可以找到作为具有RSV_NVCL5的NAL单元的LA指示，并且其层id值等于来自RSV_NVCL5 NAL单元的NAL单元首部的层id值或时间id值。在一个实施例中，RSV_NVCL5 NAL单元的层id值与以下图片的层id相同：与RSV_NVCL5 NAL单元相同的访问单元中的图片。在一个实施例中，访问单元中的RSV_NVCL5 NAL单元的位置早于访问单元中的任何APS、PPS、SEI消息和VCL NAL单元。解码器或网络节点可以导出LA位置作为RSV_NVCL5 NAL单元的位置。
在一个实施例中，从具有针对LA指示的有效载荷类型的SEI消息中导出LA指示。如果这种SEI有效载荷类型将被引入并用于VVC，则可以移除STSANAL单元类型，并取而代之添加新的SEI消息。解码器可以找到作为如下具有新的有效载荷类型的SEI消息的LA指示，并且其层id值等于来自SEI消息NAL单元的NAL单元首部的层id值或时间id值。在一个实施例中，SEI消息的层id值与以下图片的层id相同：与SEI消息相同的访问单元中的图片。在一个实施例中，访问单元中SEI消息的位置早于访问单元中的任何APS、PPS、其他SEI消息和VCLNAL单元。解码器或网络节点可以将LA位置导出为具有LA指示的有效载荷类型的SEI消息的位置。
在一个实施例中，从非VCL NAL单元中的一个或多个语法元素中导出LA指示。存在可以放置LA指示的若干选项，下面将解释其中的三种。
(1)在一个选项中，从访问单元分隔符NAL单元中的一个或多个语法元素中导出LA指示。这里假设访问单元分隔符NAL单元是访问单元分隔符NAL单元所属的访问单元中的第一NAL单元。将访问单元中的图片确定为LA图片。一个或多个语法元素可以是1比特的标志，其中标志的一个值(例如，1)指定访问单元分隔符携带LA指示，而另一个值(例如，0)指定它不携带。解码器可以找到作为访问单元分隔符的语法元素的一个值的LA指示，并且其层id值等于来自访问单元分隔符的NAL单元首部的层id值或时间id值。在一个实施例中，访问单元分隔符NAL单元的层id值与以下图片的层id相同：与访问单元分隔符相同的访问单元中的图片。可以将LA位置导出为访问单元分隔符的位置。
(2)在第二选项中，从具有用于LA指示的有效载荷类型的SEI消息中导出LA指示。如果这样的SEI有效载荷类型将被引入并用于VVC，则可以移除STSANAL单元类型，并取而代之添加新的SEI消息。解码器可以找到作为具有新的特定有效载荷类型值的SEI消息的LA指示，并且其层id值等于来自SEI消息NAL单元的NAL单元首部的层id值或时间id值。在一个实施例中，SEI消息的层id值与以下图片的层id相同：与SEI消息相同的访问单元中的图片。在一个实施例中，访问单元中SEI消息的位置早于访问单元中的任何APS、PPS、其他SEI消息和VCL NAL单元。解码器可以将LA位置导出为具有LA指示的有效载荷类型的SEI消息的位置。
(3)在第三选项中，从参数集中的一个或多个语法元素中导出LA指示。语法元素可以被实现为参数集的标志或实现为参数集的类型。例如，APS中可以存在用于指定参数集是否携带LA指示的标志。类似地，PPS中可以存在用于指定参数集是否携带LA指示的标志。如果标志指定参数集确实携带LA指示，则将与该参数集在相同访问单元中的图片确定为LA图片。解码器或网络节点可以找到作为参数集的语法元素的一个值的LA指示，并且其层id值等于来自参数集的NAL单元首部的层id值或时间id值。在一个实施例中，参数集的层id值与以下图片的层id相同：与参数集相同的访问单元中的图片。可以将LA位置导出为包含LA指示的参数集的位置。备选地，可以存在两种APS NAL单元类型或两种PPS NAL单元类型，其中一种类型是LA指示而另一种类型不是LA指示。
在一个实施例中，将LA指示导出为NAL单元首部中的标志。标志的存在可以取决于NAL单元类型；例如，当NAL单元类型指示访问单元分隔符时，可以存在该标志，或者当NAL单元类型指示拖尾图片NAL单元时，可以存在该标志。
在一个实施例中，从图片首部中的一个或多个语法元素中导出LA指示，例如作为标志。HEVC和当前的VVC草案中都不存在图片首部，但已经讨论过为VVC指定图片首部，该图片首部会包含图片中所有片的公共信息。
当前版本的VVC草案之上的实现方式可以如下所示，其中使用斜体文本示出添加的文本：
Figure BDA0003420796370000261
1.5组合
在一个实施例中，可以从访问单元分隔符NAL单元的一个或多个语法元素中或从VCL NAL单元的一个或多个语法元素中导出LA指示。例如，如果比特流包含具有LA指示的访问单元，则该访问单元中的所有VCL NAL单元都携带LA指示。此外，如果具有LA指示的访问单元包含访问单元分隔符NAL单元，则该访问单元分隔符NAL单元也携带LA指示。
搜索或扫描比特流以获得特定上切换指示的网络节点(例如，解码器或其他网络节点)可以执行根据一个实施例的以下步骤的全部或子集。
1-将目标层id值确定为网络节点当前正在解码的层id值加1或者将目标层id值确定为网络节点当前正在转发的层id值加1。
2-对于按照解码顺序的每个NAL单元，进行以下操作：
2(a)-如果上切换已经完成，则仅当NAL单元具有等于目标层id值或更低的层id值时才解码或转发该NAL单元；
2(b)-如果上切换尚未完成并且NAL单元是访问单元分隔符，则进行以下操作：
2(b)(i)检查访问单元分隔符中的一个或多个语法元素，以确定访问单元分隔符是否包含LA指示。
2(b)(ii)如果它包含LA指示，则根据访问单元分隔符的一个或多个语法元素来确定访问单元分隔符的层id，并检查层id值是否等于目标层id；
2(b)(iii)如果层id值等于目标层id，则解码和/或转发访问单元NAL单元并认为上切换完成。
2(c)否则，如果上切换尚未完成并且NAL单元是VCL NAL单元，则进行以下操作：
2(c)(i)检查VCL NAL单元的一个或多个语法元素，以确定VCL NAL单元是否包含LA指示。
2(c)(ii)如果它包含LA指示，则根据VCL NAL单元的一个或多个语法元素来确定VCL NAL单元的层id，并检查层id值是否等于目标层id。
2(c)(iii)如果层id值等于目标层id，则解码和/或转发VCL NAL单元并认为上切换完成。
换言之，通过确定访问单元是否包含访问单元分隔符NAL单元来导出LA指示，其中如果访问单元包含访问单元分隔符NAL单元，则从访问单元分隔符NAL单元的一个或多个语法元素中导出LA指示，否则从VCL NAL单元中导出LA指示。
如果访问单元包含访问单元分隔符NAL单元，则可以将LA位置导出为等于访问单元分隔符的位置，否则可以将LA位置导出为等于访问单元中第一VCL NAL单元的位置。
当前版本的VVC草案之上的实现方式可以如下所示，其中使用斜体文本示出添加的文本：
Figure BDA0003420796370000271
Figure BDA0003420796370000281
Figure BDA0003420796370000291
1.6多个LA指示
在一个实施例中，存在如下导出的至少三个LA指示。第一LA指示从VCL NAL单元的一个或多个语法元素中导出。第二LA指示从APS NAL单元的一个或多个语法元素中导出。第三LA指示从PPS NAL单元的一个或多个语法元素中导出。如果访问单元携带LA指示，则所有VCL NAL单元必须携带LA指示。如果访问单元包含APS，则该APS必须也携带LA指示。类似地，如果访问单元包含PPS，则该PPS必须也携带LA指示。如果访问单元不携带LA指示，则访问单元中的NAL单元不应携带LA指示。
网络节点(例如，解码器)然后将在APS、PPS和VCL NAL单元中查找LA指示。当找到按照解码顺序的第一LA指示时，其中找到LA指示的NAL单元的层id值等于目标层id，解码器开始解码(或网络节点开始转发)目标层NAL单元。
在该实施例中，可以将LA位置导出为其中找到LA指示的NAL单元的位置。
1.7附加变型
在一个实施例中，层标识符是时间层标识符、可伸缩或多视图层标识符。
在一个实施例中，在诸如SPS的参数集中存在标志，该标志指定CVS中是否存在LA指示。标志的一个值指定在CVS中不存在LA指示。标志的另一值指定在CVS中可以存在LA指示。
例如，在一个实施例中，比特流中的第一参数集(例如，SPS或PPS)包括指定在比特流中的第一CVS中不存在LA指示的信息(例如，标志)，并且比特流中的第二参数集包括指定在比特流中的第二CVS中可以包含LA指示的信息(例如，标志)。
1.8 LA位置和图片组的一个指示
在该实施例中，可以从参数集中的一个或多个语法元素(例如SPS或VPS中的标志)中导出LA指示，并且LA指示用于导出比特流中的多个LA位置，使得将比特流中的访问单元的第一NAL单元(例如具有特定NAL单元类型或特定层id值或特定NAL单元类型和特定层id的组合)导出为比特流中的LA位置，并且将比特流中的那些访问单元中的图片导出为LA图片。
在该实施例的版本中，参数集中的一个或多个码字将比特流中的LA位置指示为等于访问单元中按照解码顺序的第一NAL单元，该访问单元的层id等于特定层id。在该变型的一个示例中，编码器将SPS中的标志设置为特定值，并使用语法元素值以信号通知特定层id将指示：对于比特流中层id等于该特定层id的所有访问单元允许层上切换。类似地，解码器将该标志解码为特定值，并且对表示特定层id的语法元素进行解码，向解码器指示对于该特定层id值的所有访问单元允许层上切换。解码器可以在层id等于特定层id的图片处执行从特定层到较高层的上切换。
1.9显式地指定解码器可以上切换到的目标层
不需要逐步执行上切换，即仅递增一层。在这样的实施例中，可以显式地指定能够上切换到哪个时间层，即，可能的目标层是什么。目标层的集合可以由特定规则定义或由比特流中(例如访问单元分隔符中、新的LA非VCL NAL单元中或SEI消息中)的一个或多个语法元素指示。
一个或多个语法元素可以例如如HEVC中的TSA图片那样指示，能够上切换到最大层，即比特流中的最高层。
在一个实施例中，一个或多个语法元素指示解码器可以上切换到的最大层。例如，如果比特流包括层0到层5并且解码器对层0和层1进行解码，则一个或多个语法元素可以指示最大目标层为4，这意味着解码器可以对层0到层4进行解码，但不对层5进行解码。一个或多个语法元素可以是相对于另一层(例如LA指示的层)的增量值，也可以是绝对最大目标层。
在本实施例的一个示例中，在访问单元分隔符中以信号通知最大目标层，其中标志(layer_access_indication_flag)指示是否允许LA，如果标志指示允许LA，则访问单元分隔符还包含指示允许LA的目标层的信息。例如，访问单元分隔符可以如下地定义：
Figure BDA0003420796370000311
在本实施例的另一示例中，在访问单元分隔符中仅以信号通知增量最大目标层，其中零增量意味着不允许层访问上切换：
Figure BDA0003420796370000312
在本实施例的另一示例中，在特定的非VCL层访问(LA)NAL单元中以信号通知增量最大目标层，其中特定NAL单元的存在指示能够上切换并且最大目标层由显式码字指定：
Figure BDA0003420796370000321
在本实施例的另一变型中，一个或多个语法元素还可以定义能够上切换到的目标层的稀疏集合。例如，如果比特流包括层0到层5并且解码器对层0和层1进行解码，则一个或多个语法元素可以指示能够上切换到目标层3和5，这意味着解码器可以对层0、1、3和5进行解码，而不是层2和4。
1.10缓冲参数集
在一个实施例中，访问单元包括包含LA指示的NAL单元并且还包括包含参数集的NAL单元，并且过程600还包括：解码器在接收包含LA指示的NAL单元之前，接收包含参数集的NAL单元；并且解码器缓冲(即存储)参数集。在一些实施例中，LA位置是比特流中包含参数集的NAL单元的位置。
在一个实施例中，解码器可以缓冲作为访问单元的一部分的参数集，直到它确定访问单元中的图片是否使用该参数集为止。如果解码器确定访问单元中的图片使用参数集，则解码器对所缓存的参数集进行解码，并使用经解码的参数集对图片进行解码。如果解码器确定访问单元中没有图片使用参数集，则解码器丢弃所存储的参数集。
图9是根据一些实施例的用于实现视频编码器140或视频解码器260的装置900的框图。如图9所示，装置900可以包括：处理电路(PC)902，其可以包括一个或多个处理器(P)955(例如，通用微处理器和/或一个或多个其他处理器，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)，这些处理器可以共同位于单个外壳中或单个数据中心中，或者可以在地理上分布(即，装置900可以是分布式计算装置)；网络接口948，包括发射机(Tx)945和接收机(Rx)947，用于使得装置900能够向连接到网络110(例如，互联网协议(IP)网络)的其他节点发送数据和从连接到网络110的其他节点接收数据，网络接口948(直接或间接地)连接到网络110(例如，网络接口948可以无线连接到网络110，在这种情况下，网络接口948连接到天线布置)；以及本地存储单元(也称为“数据存储系统”)908，其可以包括一个或多个非易失性存储设备和/或一个或多个易失性存储设备。在PC 902包括可编程处理器的实施例中，可以提供计算机程序产品(CPP)941。CPP 941包括计算机可读介质(CRM)942，该计算机可读介质(CRM)942存储包括计算机可读指令(CRI)944在内的计算机程序(CP)943。CRM942可以是非暂时性计算机可读介质，例如磁介质(例如，硬盘)、光介质、存储设备(例如，随机存取存储器、闪存)等。在一些实施例中，计算机程序943的CRI 944被配置为使得在由PC902执行时，CRI使装置900执行本文描述的步骤(例如，本文参考流程图描述的步骤)。在其他实施例中，装置900可以被配置为在不需要代码的情况下执行本文描述的步骤。也即是说，例如，PC 902可以仅由一个或多个ASIC组成。因此，本文描述的实施例的特征可以以硬件和/或软件来实现。
图10A示意了根据实施例的视频解码装置1001的功能单元。
图10B示意了根据实施例的视频编码装置1021的功能单元。
图10C示意了根据实施例的视频解码装置1031的功能单元。
缩写
ALF 自适应环路滤波器
APS 适配参数集
AUD 访问单元分隔符
BLA 断链访问
CRA 纯净随机访问
CVS 编码视频序列
CVSS CVS开始
CU 编码单元
DPS 解码器参数集
GRA 渐进随机访问
HEVC 高效率视频编码
IDR 瞬时解码刷新
IRAP 帧内随机访问点
JVET 联合视频探索小组
LA 层访问
LMCS 亮度映射和色度缩放
MPEG 运动图片专家组
NAL 网络抽象层
PES 打包的基本流
PPS 图片参数集
RADL 随机访问可解码前导
RASL 随机访问跳过前导
SPS 序列参数集
STSA 逐步时间子层访问
TSA 时间子层访问
VCL 视频编码层
VPS 视频参数集
VVC 多功能视频编码
SEI 补充增强层
尽管本文描述了各种实施例(包括所附的贡献)，但是应当理解，它们仅作为示例而不是限制来提出的。因此，本公开的宽度和范围不应受到上述示例性实施例中任意一个的限制。此外，上述要素以其所有可能变型进行的任意组合都包含在本公开中，除非另有指示或以其他方式和上下文明确冲突。
附加地，尽管上文描述并附图中示出的处理被示为一系列步骤，但其仅用于说明目的。因此，可以想到可增加一些步骤、可省略一些步骤，可重排步骤顺序，以及可并行执行一些步骤。

Claims (30)

1.一种用于从比特流中解码图片的集合的方法(600)，所述方法包括：
获得(s602)层访问LA指示，所述LA指示标识访问单元中的LA图片，其中，i)所述LA图片具有标识层的层标识符值，并且ii)按照解码顺序在所述LA图片之后是其他图片；
基于所述LA指示来确定(s604)比特流中的LA位置；以及
对所述LA图片和按照解码顺序在LA图片之后的所述其他图片进行解码(s606)，
其中，不使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集对所述LA图片进行解码。
2.根据权利要求1所述的方法，其中，所述LA指示是逐步LA“SLA”指示，并且所述LA图片是SLA图片。
3.根据权利要求1或2所述的方法，其中，不使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集对i)按照解码顺序在所述LA图片之后、并且ii)具有等于所述LA图片的层标识符值的层标识符值的任一其他图片进行解码。
4.一种用于从比特流中解码图片的集合的方法(700)，所述方法包括：
获得(s702)层访问LA指示，所述LA指示标识访问单元中的LA图片，其中，i)所述LA图片具有标识层的层标识符值，并且ii)按照解码顺序在所述LA图片之后是至少一个图片，其中，所述LA图片之后的所述图片的层标识符值等于或大于所述LA图片的层标识符值；
基于所述LA指示来确定(s704)比特流中的LA位置；
确定(s706)所述LA图片或所述LA图片之后的所述图片使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集；以及
响应于确定所述LA图片或按照解码顺序在所述LA图片之后的所述图片使用所述参数集，确定(s708)存在错误情况。
5.根据权利要求4所述的方法，还包括，作为确定存在错误情况的结果：
报告所述错误情况；和/或
执行错误隐藏操作。
6.一种用于对图片进行编码的方法(800)，所述方法包括：
对层访问LA图片进行编码(s802)，其中，所述LA图片具有标识层的层标识符值；以及
对指示所述LA图片的LA指示进行编码，使得解码器能够根据所述LA指示来识别所述LA图片，其中，能够基于所述LA指示来识别比特流中的LA位置，
其中，不使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集对所述LA图片进行编码。
7.根据权利要求6所述的方法，还包括编码器输出：所述LA图片、标识所述LA图片的LA指示、以及按照解码顺序在所述LA图片之后的其他图片。
8.根据权利要求6至7中任一项所述的方法，还包括：
对按照解码顺序在所述LA图片之后的其他图片进行编码(s806)，
其中，不使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集对按照解码顺序在所述LA图片之后的其他图片中的层标识符值等于所述LA图片的层标识符值的任一图片进行编码。
9.根据权利要求1至8中任一项所述的方法，其中，
所述访问单元包括NAL单元的有序序列，以及
将所述LA位置确定为所述NAL单元的有序序列中的第一个NAL单元的位置。
10.根据权利要求1至9中任一项所述的方法，其中，所述特定类型是包括在一个或多个特定类型的集合中的任何类型，其中，所述一个或多个特定类型的集合包括适配参数集APS类型。
11.根据权利要求1至10中任一项所述的方法，其中，所述特定类型是包括在一个或多个特定类型的集合中的任何类型，其中，所述一个或多个特定类型的集合包括图片参数集PPS类型。
12.根据权利要求1至11中任一项所述的方法，其中，获得所述LA指示包括从VCL NAL单元类型中导出所述LA指示。
13.根据权利要求12所述的方法，其中，导出所述LA指示包括导出所述LA图片的层标识符值。
14.根据权利要求1至13中任一项所述的方法，其中，所述LA图片的层标识符值是标识时间层的时间层标识符值。
15.根据权利要求1至13中任一项所述的方法，其中，所述LA图片的层标识符值是标识可伸缩层的可伸缩层标识符值或标识多视图层的多视图层标识符值。
16.根据权利要求1至15中任一项所述的方法，其中，所述LA图片的层标识符值等于所述LA图片所属的层的层值。
17.根据权利要求1至15中任一项所述的方法，其中，所述LA图片的层标识符值不等于所述LA图片所属的层的层值。
18.根据权利要求1至17中任一项所述的方法，其中，
所述访问单元包括包含所述LA指示的NAL单元，并且还包括包含参数集的NAL单元，以及
所述方法还包括：解码器在接收到包含所述LA指示的所述NAL单元之前接收到包含所述参数集的所述NAL单元；并且解码器缓冲所述参数集。
19.根据权利要求18所述的方法，其中，所述LA位置是包含所述参数集的所述NAL单元在比特流中的位置。
20.根据权利要求18至19中任一项所述的方法，还包括：确定所述访问单元中的图片使用所缓冲的参数集，并且在确定所述访问单元中的图片使用所缓冲的参数集之后，对所缓冲的参数集进行解码。
21.一种视频解码器(260、900、1001)，所述视频解码器适于：
获得层访问LA指示，所述LA指示标识访问单元中的LA图片，其中，i)所述LA图片具有标识层的层标识符值，并且ii)按照解码顺序在所述LA图片之后是其他图片；
基于所述LA指示来确定比特流中的LA位置；以及
对所述LA图片和按照解码顺序在LA图片之后的所述其他图片进行解码，
其中，不使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集对所述LA图片进行解码。
22.根据权利要求21所述的视频解码器，其中，所述LA指示是逐步LA“SLA”指示，并且所述LA图片是SLA图片。
23.根据权利要求21或22所述的视频解码器，其中，不使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集对i)按照解码顺序在所述LA图片之后、并且ii)具有等于所述LA图片的层标识符值的层标识符值的任一其他图片进行解码。
24.一种视频解码器(260、900、1001)，所述视频解码器适于：
获得层访问LA指示，所述LA指示标识访问单元中的LA图片，其中，i)所述LA图片具有标识层的层标识符值，并且ii)按照解码顺序在所述LA图片之后是至少一个图片，其中，所述LA图片之后的所述图片的层标识符值等于或大于所述LA图片的层标识符值；
基于所述LA指示来确定比特流中的LA位置；
确定所述LA图片或所述LA图片之后的所述图片使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集；以及
响应于确定所述LA图片或按照解码顺序在所述LA图片之后的所述图片使用所述参数集，确定存在错误情况。
25.根据权利要求24所述的视频解码器，还适于作为确定错误情况存在的结果：
报告所述错误情况；和/或
执行错误隐藏操作。
26.一种视频编码器(140、900、1021)，所述视频编码器适于：
对层访问LA图片进行编码，其中，所述LA图片具有标识层的层标识符值；以及
对指示所述LA图片的LA指示进行编码，使得解码器能够根据所述LA指示来识别LA图片，其中，能够基于所述LA指示来识别比特流中的LA位置，
其中，不使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集对所述LA图片进行编码。
27.根据权利要求26所述的视频编码器，还适于输出：所述LA图片、标识所述LA图片的LA指示、以及按照解码顺序在所述LA图片之后的其他图片。
28.根据权利要求26至27中任一项所述的视频编码器，还适于：
对按照解码顺序在所述LA图片之后的其他图片进行编码，
其中，不使用a)具有特定类型、b)具有等于所述LA图片的层标识符值的层标识符值、并且c)在所述LA位置之前的参数集对按照解码顺序在所述LA之后的其他图片中的层标识符值等于所述LA图片的层标识符值的任一图片进行编码。
29.一种计算机程序(943)，包括指令(944)，所述指令(944)在由处理电路(902)执行时使所述处理电路(902)执行根据权利要求1至20中任一项所述的方法。
30.一种包含权利要求29所述的计算机程序在内的载体，其中，所述载体是电信号、光信号、无线电信号和计算机可读存储介质(942)之一。
CN202080045127.9A 2019-06-21 2020-05-20 视频编码层上切换指示 Pending CN114009032A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962864683P 2019-06-21 2019-06-21
US62/864,683 2019-06-21
PCT/SE2020/050522 WO2020256615A1 (en) 2019-06-21 2020-05-20 Video coding layer up-switching indication

Publications (1)

Publication Number Publication Date
CN114009032A true CN114009032A (zh) 2022-02-01

Family

ID=74040621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045127.9A Pending CN114009032A (zh) 2019-06-21 2020-05-20 视频编码层上切换指示

Country Status (7)

Country Link
US (2) US12022084B2 (zh)
EP (1) EP3987792A4 (zh)
JP (1) JP7414856B2 (zh)
CN (1) CN114009032A (zh)
BR (1) BR112021024418A2 (zh)
MX (1) MX2021015641A (zh)
WO (1) WO2020256615A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489872B1 (en) * 2009-10-16 2013-07-16 Vikas Kapoor Apparatuses, methods and systems for a real-time desktop configurer utilizing a user identifier or an initialization request to retrieve a data-structure-tracking syntax-configured string
WO2013160040A1 (en) * 2012-04-27 2013-10-31 Siemens Aktiengesellschaft Methods and devices for object detection in coded video data
CN104335585A (zh) * 2012-06-24 2015-02-04 Lg电子株式会社 图像解码方法和使用其的装置
US20150103881A1 (en) * 2012-11-21 2015-04-16 Lg Electronics Inc. Image decoding method and apparatus using same
CN104937942A (zh) * 2013-01-16 2015-09-23 瑞典爱立信有限公司 用于视频序列编码的解码器、编码器和方法
US20160212439A1 (en) * 2014-12-18 2016-07-21 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN109076264A (zh) * 2016-05-24 2018-12-21 高通股份有限公司 样本条目和随机存取
WO2019069968A1 (ja) * 2017-10-06 2019-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2019115865A1 (en) * 2017-12-13 2019-06-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT4195667T (pt) 2012-06-25 2024-10-04 Huawei Tech Co Ltd Sinalização de uma imagem de acesso gradual a camada temporal em codificação de vídeo
KR101835360B1 (ko) * 2012-10-01 2018-03-08 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
CN109982077B (zh) * 2012-12-14 2022-12-13 Lg 电子株式会社 编码视频的方法、解码视频的方法以及使用其的装置
WO2014163467A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
EP3051820B1 (en) 2013-10-22 2020-12-02 Huawei Technologies Co. Ltd. Image decoding device and image decoding method
US9621919B2 (en) * 2013-10-23 2017-04-11 Qualcomm Incorporated Multi-layer video file format designs
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
JP6437096B2 (ja) * 2014-08-20 2018-12-12 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオ合成
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
GB2539462B (en) * 2015-06-16 2019-04-03 Canon Kk Obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set
CA2988107A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10349067B2 (en) * 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
US11102495B2 (en) * 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
WO2017203098A1 (en) * 2016-05-24 2017-11-30 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
US10778999B2 (en) * 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
US10798404B2 (en) * 2016-10-05 2020-10-06 Qualcomm Incorporated Systems and methods of performing improved local illumination compensation
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
WO2019197712A1 (en) * 2018-04-09 2019-10-17 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489872B1 (en) * 2009-10-16 2013-07-16 Vikas Kapoor Apparatuses, methods and systems for a real-time desktop configurer utilizing a user identifier or an initialization request to retrieve a data-structure-tracking syntax-configured string
WO2013160040A1 (en) * 2012-04-27 2013-10-31 Siemens Aktiengesellschaft Methods and devices for object detection in coded video data
CN104335585A (zh) * 2012-06-24 2015-02-04 Lg电子株式会社 图像解码方法和使用其的装置
US20150103881A1 (en) * 2012-11-21 2015-04-16 Lg Electronics Inc. Image decoding method and apparatus using same
CN104937942A (zh) * 2013-01-16 2015-09-23 瑞典爱立信有限公司 用于视频序列编码的解码器、编码器和方法
US20160212439A1 (en) * 2014-12-18 2016-07-21 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN109076264A (zh) * 2016-05-24 2018-12-21 高通股份有限公司 样本条目和随机存取
WO2019069968A1 (ja) * 2017-10-06 2019-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2019115865A1 (en) * 2017-12-13 2019-06-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张楠;吕岩;吴枫;尹宝才;: "基于方向提升小波变换的多描述图像编码", 自动化学报, no. 06, 15 June 2007 (2007-06-15) *

Also Published As

Publication number Publication date
EP3987792A1 (en) 2022-04-27
JP7414856B2 (ja) 2024-01-16
MX2021015641A (es) 2022-02-03
US20240323388A1 (en) 2024-09-26
US12022084B2 (en) 2024-06-25
JP2022538551A (ja) 2022-09-05
EP3987792A4 (en) 2022-09-28
WO2020256615A1 (en) 2020-12-24
BR112021024418A2 (pt) 2022-01-18
US20220360787A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
US10091532B2 (en) Bitstream conformance constraints in scalable video coding
KR102014587B1 (ko) 다중-계층 비디오 코덱들에 대한 특정 hevc sei 메시지들의 이용
US10212435B2 (en) Device and method for scalable coding of video information
KR102079803B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
US20220264108A1 (en) Methods providing encoding and/or decoding of video using a syntax indicator and picture header
US20150195528A1 (en) Support of non-hevc base layer in hevc multi-layer extensions
EP3417620A1 (en) Weighted prediction for screen content coding and multi-layer coding
US12081784B2 (en) Support of mixed IRAP and non-IRAP pictures within an access unit in multi-layer video bitstreams
JP2022500919A (ja) ビデオエンコーダ、ビデオデコーダ、および対応する方法
US9848199B2 (en) Device and method for scalable coding of video information
CN112514399B (zh) 在参数集合中以信号传送参数值信息以减少编码视频比特流中包含的数据量
EP3707903A1 (en) Enhanced reference picture management in video coding
WO2020142704A1 (en) Sub-picture based random access
US10506244B2 (en) Method and apparatus for video coding using adaptive tile sizes
JP7414856B2 (ja) ビデオコーディングレイヤアップスイッチング指示
CN116018808A (zh) 确定对视频比特流中的第一图片进行解码的能力
JP7411787B2 (ja) セグメント存在情報を提供すること
WO2024177552A1 (en) Refresh indicator for coded video
WO2024080916A1 (en) Inter-predicted reference picture lists

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination