CN114073076B

CN114073076B - 量化矩阵的发信技术

Info

Publication number: CN114073076B
Application number: CN202080049574.1A
Authority: CN
Inventors: 赖贞延; 欧莱娜·邱巴赫; 庄子德; 陈庆晔; 徐志玮; 黄毓文
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2019-07-06
Filing date: 2020-07-06
Publication date: 2023-12-12
Anticipated expiration: 2040-07-06
Also published as: WO2021004434A1; KR20220024972A; CN114073076A; TWI796579B; TW202110193A; US20210006795A1; EP3987775A1; US11394973B2; MX2022000296A; EP3987775A4

Abstract

提供一种方法来发信用于转换系数量化的缩放矩阵。视频解码器接收来自比特流的数据以被解码作为视频的当前画面。视频解码器决定被用来作为编解码该当前画面的多个缩放矩阵，其中该多个缩放矩阵中的第一缩放矩阵通过参考该多个缩放矩阵中的先前已被决定的第二缩放矩阵来加以决定。视频解码器通过使用该多个被决定的多个缩放矩阵，来将该当前画面的转换块的转换系数加以去量化。视频解码器通过使用该多个已去量化的转换系数来重构该当前画面。

Description

量化矩阵的发信技术

技术领域

本揭示通常涉及视频编解码。尤其，本揭示关于发信与处理量化矩阵的方法。

背景技术

除非此处另有说明外，本小节所描述的方法相对于下面列出的请求项而言不是先前技术，并且不因纳入于本小节而被认为承认是先前技术。

量化矩阵(quantization matrix，QM)已经被使用于多种视频编解码标准中。基于块(Block-based)的混合视频编解码架构(其隐含残差信号的转换编解码)使用频率依存缩放(frequency dependent scaling)来控制在转换单元(transform unit，TU)中跨不同频率之间量化失真的分布(distribution of the quantization distortion)。为了达成跨空间频率之间感知上一致的量化，量化矩阵依据相关频率范围所感知的灵敏度，来对与转换系数相关联的每一频道施以权重，以使得转换块中对低频系数比高频系数以较细微的量化步距大小加以量化。在解码器处，相对应量化矩阵对每一频道去量化的转换系数施以相反的权重。量化矩阵已经成功地被使用于多种视频编解码标准中，例如H.264/AVC(Advanced Video Coding，进阶视频编解码)与H.265/HEVC(High Efficiency VideoCoding，高效率视频编解码)与在众多的商用产品中，以改善视频内容的主观品质。

对H.265/HEVC，取决于转换块的尺寸大小与类型，下列量化矩阵被支援。亮度：帧内4x4、帧间4x4、帧内8x8、帧间8x8、帧内16x16、帧间16x16、帧内32x32、帧间32x32。Cb：帧内4x4、帧间4x4、帧内8x8、帧间8x8、帧内16x16、帧间16x16。Cr：帧内4x4、帧间4x4、帧内8x8、帧间8x8、帧内16x16、帧间16x16。

发明内容

以下发明内容仅是说明性的，不打算以任何方式加以限制。也就是说，以下发明内容被提供以介绍此处所描述的新且非显而易知的技术的概念、重点、好处和优势。选择性而不是将所有的实施方式在下面的详细说明中进行进一步描述。因此，以下发明内容不用于决定所要求主题的本质特征，也不用于决定所要求主题的范围。

本揭示的一些实施例提供一种方法来发信用于转换系数量化的缩放矩阵。视频解码器接收来自比特流的数据以被解码作为视频的当前画面。视频解码器决定被用来作为编解码该当前画面的多个缩放矩阵，其中该多个缩放矩阵中的第一缩放矩阵通过参考该多个缩放矩阵中的先前已决定的第二缩放矩阵来加以决定。视频解码器通过使用该多个被决定的多个缩放矩阵，来将该当前画面的转换块的转换系数加以去量化。视频解码器通过使用该多个已去量化的转换系数来重构该当画面。

在一些实施例中，当比特流中旗标(例如，non_zero_delta_flag)指示出该第一与第二缩放矩阵的相对应元素为相同时，通过将该第二缩放矩阵的该多个元素复制作为该第一缩放矩阵的该多个元素，来决定该第一缩放矩阵；当该旗标指示出该第一与第二缩放矩阵的相对应元素不相同时，通过将一组差量数值(delta value)加入于该第二缩放矩阵的该多个元素中作为该第一缩放矩阵的该多个元素，来决定该第一缩放矩阵。

附图说明

下列图式用以提供本发明的进一步理解，并被纳入且构成本发明的一部分。这些图式说明了本发明的实施方式，并与说明书一起用以解释本发明的原理。为了清楚地说明本发明的概念，与实际实施方式中的尺寸相比，一些元件可以不按照比例被示出，这些图式无需按照比例绘制。

图1绘示出尺寸大小为4x4与8x8具有预设的数值的预设量化矩阵的内容。

图2绘示出上取样8x8量化矩阵来推导出较大块的量化矩阵。

图3a-d概念性地绘示出用来定义用于不同尺寸大小的矩阵的流程图。

图4a-b绘示出从预设的8x8量化矩阵所推导出的16x16与8x16量化矩阵。

图5概念性地绘示出通过参考先前所编解码的缩放矩阵来加以决定的缩放矩阵。

图6绘示出一个示例的视频编码器。

图7绘示出实施缩放矩阵的视频编码器的一些部份。

图8概念性地绘示出通过参考先前已被决定的缩放矩阵来对缩放矩阵加以决定的程序，以用来编码视频画面。

图9绘示出一个示例的视频解码器。

图10绘示出实施缩放矩阵的视频解码器的一些部份。

图11概念性地绘示出通过参考先前已被重构的缩放矩阵来对缩放矩阵加以重构的程序，以用来解码视频画面。

图12概念性地绘示出本揭示的一些实施例可以于其中加以实施的电子系统。

具体实施方式

在下面详细的说明书中，为了透彻理解相关教示内容，透过举例的方式进行说明大量具体的细节。基于本文所描述的教示内容的任何改变、推导和/或拓展均在本发明的保护范围内。为了避免不必要地混淆本发明的教示内容的方面，关于此处所公开的一个或者多个示例性实施方式中已知的方法、程式、元件和/或电路，在有些时候会用相对较高的层次加以描述而不细说。

I.自适应的多核心转换(Adaptive Multiple Core Transform)

HEVC规格书包括尺寸大小为4x4、8×8、16×16、与32×32的四个整数逆转换矩阵。这些转换矩阵为与DCT-2矩阵尺寸大小相同的整数近似(integer approximation)，目的在于保存DCT系数的结构。一个额外的4×4DST矩阵被指明以被应用到帧内预测4×4块的残差。为了与DST做区别，这四个DCT被称为HEVC核心转换。

在一些实施例中，自适应多重转换(Adaptive Multiple Transform，AMT)架构被用来对帧间与帧内编解码块进行残差编解码。多个从DCT/DST家族所选择出的转换被应用到残差块，例如DCT-8、DST-1、与DST-7的转换。

AMT应用于宽度与高度二者都小于或等于64的编解码单元(coding unit，CU)，而且是否应用AMT是通过CU阶层(CU level)的旗标所控制。当该CU阶层旗标等于0时，DCT-2被应用于该CU来编码残差。对一AMT致能的CU之中的亮度编解码块，二个额外旗标被发信来识别将被使用的水平与垂直转换。一块的残差可以用转换跳过模式(transform skip mode)加以编解码。在一些实施例中，为避免语法编解码的冗余(redundancy)，当CU阶层AMT旗标不等于零时，转换跳过旗标不被发信。对帧内残差编解码，由于不同帧内预测模式的不同残差统计特性，一模式-依存转换候选选择程序(mode-dependent transform candidateselection process)可以被使用。

在一些实施例中，三种转换组(或子组，subset)被定义，每一转换组包括二或更多个转换候选：转换组0包括DST-7与DCT-8，转换组1包括DST-7与DST-1，以及转换组2包括DST-7与DCT-8。在一些实施例中，会使用CU阶层AMT旗标等于1的一CU的帧内预测模式来先识别转换组。对每一水平与垂直转换，在所识别出的转换子组中二个转换候选之一可以被选择以及以旗标显性地发信。在一些实施例中，对帧内预测残差，只有一种转换组(其由DST-7与DCT-8所组成)可以被所有帧间模式以及被水平与垂直转换二者来使用。在一些实施例中，可以将DST-7符号改变(sign change)以及在DST-7计算之前与之后重新排序(reordering)，来推导出DCT-8，以便于将DCT-8所使用的额外记忆体减至最小。

II.量化矩阵

本揭示的一些实施例提供用于发信或表示量化矩阵的方法。量化矩阵被用来达到频率依存缩放(frequency dependent scaling)。因此，量化矩阵也可以被称为缩放矩阵、缩放列表、或缩放列表矩阵。对于HEVC，可以通过使用SPS中的语法元素scaling_list_enabled_flag来对频率依存缩放加以致能。当此旗标被致能时，SPS与PPS中的额外旗标控制是否使用预设的量化矩阵或是非-预设的量化矩阵。对一些实施例，图1绘示出尺寸大小为4x4与8x8具有预设数值的预设量化矩阵的内容。在一些实施例中，非-预设的量化矩阵可以被选择性地(optionally)在序列参数组(sequence parameter set，SPS)或画面参数组(picture parameter set，PPS)的比特流中加以传送。

为了减少所需储存量化矩阵的记忆体，8x8矩阵被用来推导出更大转换块的量化矩阵(例如，16x16、32x32、64x64等)。因此，8x8预设量化矩阵被称为基础缩放矩阵。例如，用于尺寸大小为16x16与32x32转换块的量化矩阵，是从相同类型的8x8基础缩放矩阵通过使用复制(replication)进行上取样而得出。

图2绘示出上取样一基础缩放矩阵(8x8量化矩阵)来推导出较大块的量化矩阵。如所绘示，8x8量化矩阵中的1x1区域被上取样成为16x16量化矩阵中的2x2区域以及32x32量化矩阵中的4x4区域。

A.预设量化矩阵(基础缩放矩阵)

在一些实施例中，尺寸大小为MxN的预设量化矩阵被定义与储存，在每一位置具有特定系数以用于MxN转换单元(其中M与N可以是2与64之间的任何偶数)。在一些实施例中，可以有三个预设量化/缩放矩阵：一个尺寸大小为M＝N＝4(用于尺寸大小为4x4的残差块，帧内与帧间预测二者)以及二个尺寸大小为M＝N＝8(一个用于帧内预测与另一个用于帧间预测)。在一些实施例中，参考上述图1的预设量化/基础缩放矩阵被使用。在一些实施例中，只有用于帧内预测的预设量化矩阵被定义(例如，尺寸大小为4x4与8x8)，而用于帧间预测的量化矩阵可以从相对应用于帧内预测的矩阵来取得。在一些实施例中，于YUV4:4:4格式中某些序列的颜色分量，此尺寸大小为MxN的预设量化矩阵未被定义(被传送)。在一些实施例中，于YUV4:4:4颜色格式中的序列的色度分量，此2x2预设的缩放矩阵未被定义。

在一些实施例中，预设的MxN量化矩阵被定义与储存，而且被一视频编解码器(视频编码器或解码器)使用来推导用于2^p x 2^k转换单元的预设2^p x 2^k量化矩阵，其中p与k可以是1与6之间的任何数值。在一实施例中，k＝p＝4、k＝p＝5以及k＝p＝6，其对应于转换单元尺寸大小为16x16、32x32以及64x64。

在一些实施例中，一视频编解码器从预设MxN量化矩阵/基础缩放矩阵产生量化矩阵来用于2^px2^k(例如，4x4、4x8、8x4、8x8、4x16、16x4、4x32、32x4、8x16、16x8、16x16、8x32、32x8、16x32、32x16、32x32、16x64、64x16、32x64、64x32、64x64)转换块，尤其是通过施行一种特别的方法，其包括系数映射(coefficient mapping)与包括简单零阶内插(simplezero order interpolation)的内插，而简单零阶内插为重复(repetition)与基于线性内插的上取样(linear interpolation based up-sampling)。在一些实施例中，视频编解码器在低频系数以一小的间隔对MxN基础缩放矩阵进行上取样，而且在高频系数以一大的间隔对MxN基础缩放矩阵进行上取样。图3a-d概念性地绘示出用来定义用于尺寸大小为2^p x2^k的矩阵的流程图。矩阵是通过使用一种特别的方法来加以定义，此方法包括系数映射与包括简单零阶内插的内插，而简单零阶内插为重复与基于线性内插的上取样。

例如，图1所示用于帧内亮度(IntraLuma)、帧内Cb(IntraCb)、帧内Cr(IntraCr)的8x8预设量化矩阵/基础缩放矩阵可以被使用来取得用于16x16转换单元的16x16量化矩阵帧间亮度(InterLuma)、帧间Cb(InterCb)、帧间Cr(InterCr)，以及取得用于8x16转换块的8x16量化矩阵。为了取得16x16量化矩阵，可以在水平与垂直方向上将2倍的上取样应用于8x8预设量化矩阵。为了取得8x16量化矩阵，上取样仅可以被应用于列(column)。图4a-b绘示出从8x8的预设量化矩阵所推导出的16x16与8x16量化矩阵。

B.客制化量化矩阵表示

在一些实施例中，在每一位置具有特定系数以用于MxN转换单元的使用者定义的MxN预设量化矩阵，以无失真熵编解码(lossless entropy coding)被传送或被发信(其中M与N可以是2与64之间的任何偶数)。在一些实施例中，于YUV4:4:4格式中某些序列的颜色分量，此尺寸大小为MxN的使用者定义预设量化矩阵未被定义(被传送)。在一些实施例中，于YUV4:4:4颜色格式中的序列的色度分量，此2x2的使用者定义缩放矩阵未被定义。

在一些实施例中，使用者定义的较小尺寸大小为MxN的预设量化矩阵/基础缩放矩阵(其中M与N可以是2与64之间的任何偶数)被发信或传送。此较小尺寸大小的量化矩阵被用来推导用于2^p x 2^k转换单元的2^p x 2^k量化矩阵，其中p与k可以是1与6之间的任何数值。

在一些实施例中，一视频编解码器从预设MxN量化矩阵产生量化矩阵来用于2^px2^k与p！＝k(例如，4x8、8x4、4x16、16x4、4x32、32x4、8x16、16x8、8x32、32x8、16x32、32x16、16x64、64x16、32x64、64x32)转换块，而不传送任何位元。量化矩阵是通过使用系数映射与内插来产生(例如，简单零阶内插，其为重复与基于线性内插的上取样)。

C.对量化矩阵进行上取样与下取样

在一些实施例中，用于MxN转换单元的一较小尺寸大小的MxN量化矩阵(其中M与N可以是2与64之间的任何偶数)，是从较大尺寸大小2^p x 2^k的量化矩阵所产生(其中p与k可以是1与6之间的任何数值)。在一些实施例中，DC系数被保留，而且MxN矩阵以一固定间隔被次取样。在一些实施例中，DC系数被保留，而且MxN矩阵在低频系数以一小的间隔被次取样，而且在高频系数以一大的间隔被次取样。在一些实施例中，DC系数被保留，而且MxN矩阵的低频部份(其具有与目标(objected)较小尺寸的矩阵相同尺寸大小)也被保留。

在一些实施例中，相对应于较小尺寸大小MxN的量化矩阵(其中M与N可以是2与64之间的任何偶数)的较大尺寸大小2^p x 2^k的量化矩阵(其中p与k可以是1与6之间的任何数值)可以被推导出。可以通过使用上面第II.B节所描述的次取样方法来产生较小尺寸大小MxN的量化矩阵。

在一些实施例中，较大尺寸大小的量化矩阵是通过使用固定间隔内插与/或重复来进行上取样所产生。在p≠k的情况下(即转换是非-方形)，在水平与垂直方向经过内插的系数的数目分别等于(2^p)/M与(2^k)/N，其中2^p与M(2^k与N)–目标矩阵中行(row)(列(column))的数目则被相对应地发信。一些实施例中，上取样的进行是基于在低频系数以较小间隔的内插与/或重复，以及在高频系数以较大间隔的内插与/或重复。一些实施例中，较小尺寸大小的MxN矩阵(其中M与N可以是2与64之间的任何偶数)被使用作为较大尺寸大小2^p x 2^k的量化矩阵(其中p与k可以是1与6之间的任何数值)中的低频部份，而较大尺寸大小的量化矩阵中的高频系数是基于固定型态(fixed pattern)所产生。

D.用于帧间与帧内预测的量化矩阵

在一些实施例中，用于帧间预测中相对应于MxN转换单元的MxN量化矩阵(其中M与N可以是2与64之间的任何数字)，是从用于帧内预测的相对应量化矩阵来加以定义。

在一些实施例中，用于帧间预测转换块的不同量化矩阵可以取决于转换单元的尺寸大小而加以取得，也就是说：用于帧间预测的所有矩阵从用于帧内预测的相对应量化矩阵来加以定义，通过应用如相对应系数的线性组合、矩阵乘法、线性/非线性回归(linear/nonlinear regression)等方法到用于帧内块的相对应矩阵元素。

在一些实施例中，只有某些用于帧间预测转换块的量化矩阵可以从用于帧内预测的相对应量化矩阵取得，通过应用如相对应系数的线性组合、矩阵乘法、线性/非线性回归等方法到用于帧内块的相对应矩阵元素。在一些实施例中，通过应用第II.A节所描述的方法，用于帧间转换块的所有矩形矩阵可以从用于帧间转换块的相对应方形量化矩阵来加以取得。

E.量化矩阵与转换类型

在一些实施例中，取决于转换类型，不同量化/缩放矩阵可以被应用，使得在转换后其可被校准至能量压缩(aligned to the energy compaction)。详言之，当AMT被应用于残差信号时，相对应于MxN转换单元的不同MxN量化矩阵(其中M与N可以是2与64之间的任何数字)可以被应用(例如，取决于不同预测模式)。

在一些实施例中，可以取决于预测模式(帧间或帧内预测)来定义不同缩放矩阵，而与应用于残差块的AMT转换类型无关。在一些实施例中，可以对尺寸大小小于K的块取得分开不同的矩阵，其中K可以是从4到32之间的任何数值。而且对所有剩下的转换块尺寸大小，从转换所使用的相同量化矩阵被独立地应用于残差块。在一些实施例中，不同缩放矩阵被取得用于亮度与色度分量，而与应用于残差块的AMT转换类型无关。在一些实施例中，在AMT中所考虑的转换为DST-1、DST-7、与DCT-8，而且不同缩放/量化矩阵可以被定义用于每一转换(包括DCT-2)，然后在水平与垂直转换步骤之后被分开应用。在一些实施例中，这些转换为DST-1、DST-7、与DCT-8；而且基于这些转换之间的关系，可以对DCT-2、DST-1、DST-7、与DCT-8的所有组合来计算出不同的缩放矩阵。

在一些实施例中，只有少数缩放矩阵被定义作为转换的基础组(DCT-2、DST-1、DST-7、与DCT-8)，而且用于基础转换的组合结果的缩放矩阵可以通过下列方式加以定义：矩阵乘法的一线性组合、置换(permutation)、符号改变、翻转(flipping)、与/或基础缩放矩阵的这些转换的基础组的任何组合。

在一些实施例中，缩放矩阵可以被定义与被发信用于基础转换的一子组(例如，仅包括DCT-2、或DCT-2与DST-7的一子组)，而且用于其余转换(用于DST-7、DST-1、与DCT-8、或用于DST-1与DCT-8)的缩放矩阵可以通过下列方式加以定义：矩阵乘法的一线性组合、置换(permutation)、符号改变、翻转(flipping)、与/或基础缩放矩阵的这些转换的任何组合。在一例子中，推导过程取决于被定义的转换类型与目标转换类型之间的关系。在一些实施例中，推导过程取决于被定义的转换系数与目标转换系数之间的关系。在一些实施例中，可以基于上述缩放矩阵推导方法的任何组合来对缩放矩阵加以定义与发信。

F.用于帧内块复制(Intra Block Copy)模式的量化矩阵

帧内块复制模式(或IBC)是一架构，其中在相同帧或画面之中的一先前已编码块可被用来作为当前块的一预测子。在某些实施例中，帧内块复制模式使用用于帧间(预测)模式的缩放矩阵。在一些实施例中，帧内块复制模式使用用于帧内(预测)模式的缩放矩阵。在一些实施例中，帧内块复制模式使用不同于帧间模式与帧内模式所使用的缩放矩阵。在一些实施例中，使用于帧内块复制模式的有些缩放矩阵和帧间模式所使用的那些缩放矩阵相同；而其他和帧内模式所使用的那些缩放矩阵相同。用于帧内块复制模式的缩放矩阵的选择可以是隐含的选择(例如，取决于尺寸大小、量化参数、方块组类型等等)，或显性的选择(在序列阶层、画面阶层、方块组阶层、方块阶层、块阶层对选择加以发信)。

G.通过参考来编解码量化矩阵

在一些实施例中，有多个选项是可用(available)来编码缩放矩阵。在一些实施例中，缩放矩阵的元素可以从较小缩放矩阵的元素来加以预测。在一些实施例中，缩放矩阵的元素可以从较大与/或较小缩放矩阵的元素来加以预测。在一些实施例中，用来预测的(例如最接近，closest)缩放矩阵的一个索引，连同在所得到预测的元素以及将被预测缩放矩阵的元素之间的差异，会被传送至解码器。在一些实施例中，依据用来预测的缩放矩阵的宽度/高度以及将被预测缩放矩阵的宽度/高度之间的尺寸比(aspectratio)，用来预测的较小缩放矩阵的元素可以被复制/次取样(duplicated/subsampled)。在一些实施例中，最后被发信的缩放矩阵的元素被用来预测，而且在所得到被预测的缩放矩阵的元素以及将被预测缩放矩阵的元素之间的差异，会被传送至解码器。在一些实施例中，较小缩放矩阵的元素可以从较大缩放矩阵(具有宽度≤W与/或高度≤H)的元素来加以预测。在一个实施例中，W＝H＝32。在一个实施例中，W＝H＝16。

在一些实施例中，通过依据M与N尺寸大小之间的尺寸比(aspect ratio)来进行复制/次取样(duplication/subsampling)，MxM较小的缩放矩阵的元素可以从较大缩放矩阵的左上方NxN部分的元素加以预测，以及所得到被预测的缩放矩阵以及将被预测缩放矩阵的元素之间的差异会被传送至解码器。在一些实施例中，该较大将被预测的缩放矩阵的其余元素的一部份会被直接传送至解码器。

在一些实施例中，当较小缩放矩阵的元素是从较大缩放矩阵的元素来加以预测时，而且较大缩放矩阵的右下方MxN部分的元素是被推论为零且未被发信至解码器时，预测仅被允许来自较大缩放矩阵的非归零部分(non-zeroed outpart)。在一个实施例中，较大缩放矩阵的尺寸大小为64x64，M＝N＝32。在一个实施例中，较大缩放矩阵的尺寸大小为32x32，M＝N＝16。在一些实施例中，较小缩放矩阵的其余(该多个)元素(由于归零而无法被预测，这是因为较大缩放矩阵中无发信相对应的系数)被直接发信至解码器。

在一些实施例中，尺寸大小为MxM的当前将被编码的缩放矩阵(或量化矩阵)仅可以从先前已编码相同尺寸大小的缩放矩阵(或量化矩阵)之一来加以预测。在一些实施例中，尺寸大小为MxM的缩放矩阵可以从所有先前已编码可用为参考的(available forreferencing)尺寸大小NxN的为缩放矩阵来加以预测，其中N小于或等于M。在一些实施例中，用于一个、二个、或所有三个颜色分量(例如在YUV)的M可以不同。

在一些实施例中，差动式脉冲码调变(differential pulse-code modulation，DPCM)编解码是可用的而且被使用来编码尺寸大小为MxM的一或多个缩放矩阵。在一些实施例中，DPCM编解码被使用来编码尺寸大小为MxM的第一缩放矩阵(其在用于当前转换块的其他MxM缩放矩阵之前被编解码)，其中M等于或为下列组中的一个子组：{4、8、16、32、64}。在一些实施例中，为编码尺寸大小为MxM的第一缩放矩阵之后的每一缩放矩阵，先前已编码的缩放矩阵可以被用来参考，而且索引被用来指示出或识别用为当前缩放矩阵的预测(或预测子缩放矩阵)的缩放矩阵。

图5概念性地绘示出通过参考先前所编解码的缩放矩阵来加以决定的缩放矩阵(或缩放矩阵或量化矩阵)。此图绘示出QM0到QM31缩放矩阵的例子，以用来量化或去量化视频画面或视频序列的转换系数。不同的缩放矩阵被设计用于不同类型的转换块，例如，不同尺寸大小(2、4、8、16、32、64)、不同颜色分量(YCrCb或YUV)、与/或不同预测模式(帧间/帧内)。

QM0到QM31的缩放矩阵也被称为基础或基本缩放矩阵，这是由于他们被发信于一比特流中而且作为推导用来量化或去量化一转换块的实际量化矩阵的基础(通过例如，上取样或下取样)。

此图绘示出基础或基本缩放矩阵QM0到QM31的发信。一编码器通过决定每一缩放矩阵与将被决定的缩放矩阵编码入比特流，来对缩放矩阵QM0到QM31进行发信。解码器从比特流中接收用于缩放矩阵的信号，并且通过基于所接收到的信令来决定每一缩放矩阵的内容而重构该多个缩放矩阵。在此例子中，缩放矩阵QM0到QM15已经被发信或决定，而缩放矩阵QM16到QM31尚未被发信或决定。

视频编码器或解码器可以通过参考先前已被决定或被编解码的缩放矩阵来决定缩放矩阵的内容。在此例子中，视频编码器或解码器通过参考缩放矩阵QM14的内容来决定缩放矩阵QM16的内容。在一些实施例中，缩放矩阵QM14是缩放矩阵QM16的完美预测子(perfect predictor)，因此视频编码器可以通过拷贝或复制(copying or replicating)QM14的元素且不应用差量数值，来建构(或视频解码器可以重构)QM16。如果QM14不是QM16的完美预测子，视频编码器可以通过加入差量数值至QM14的元素，来进行建构(或视频解码器可以重构)以形成QM16的元素。在一些实施例中，用来预测的参考缩放矩阵以及将被编码的缩放矩阵之间额外的差量数值可以被传输。

在此例子中，被参考的缩放矩阵QM14具有与将被编解码的缩放矩阵QM16一样的尺寸大小。在一些实施例中，当参考先前已被编解码的缩放矩阵来决定当前将被编码的缩放矩阵时，该被参考的缩放矩阵必须具有与当前缩放矩阵一样的尺寸大小。在一些实施例中，该被参考的缩放矩阵可以具有与当前缩放矩阵不同的尺寸大小，因此通过对该被参考的缩放矩阵进行上取样或下取样来建构当前缩放矩阵。

在一些实施例中，指示出哪一个编解码模式被使用来编码缩放矩阵(DPCM，或参考/预测加上差量)的旗标被发信至解码器。在一些实施例中，语法元素non_zero_delta_flag被使用来指示出并未找到一完美预测子以用于当前缩放矩阵，以及预测子缩放矩阵以及将被编码的当前缩放矩阵的元素之间的至少一个差值不等于零，以及因此除了识别出参考缩放矩阵的参考索引之外，差量会被编码。在一些实施例中，DPCM模式被用来编解码在预测子缩放矩阵以及将被编码以用于传输的当前缩放矩阵之间的差量数值。

在一些实施例中，当额外的DC数值被编码用于缩放矩阵时，此DC数值不被考虑用于参考/预测而且是被分开地编码。在一些实施例中，此DC数值(当存在时)可以被使用于参考/预测(之后缩放矩阵的DC数值)。在一些实施例中，在该被参考的预测子缩放矩阵的DC数值以及将被编码的当前缩放矩阵的DC数值之间的差量数值，是被分开地编码并且传输到解码器。在一些实施例中，当此分开的DC数值不存在于被参考的预测子缩放矩阵时，预设的DC数值被用作预测将被编码的当前缩放矩阵的DC数值的参考。在一些实施例中，此预设DC数值等于16。在一些实施例中，当此分开的DC数值不存在于用来预测的(预测子)缩放矩阵时，用来预测的(预测子)缩放矩阵的左上方元素的数值被使用当作被编解码的(当前)缩放矩阵分开的DC数值的预测子。如此一来，即使当前将被编解码的缩放矩阵具有分开被编解码的DC数值而且被参考的预测子缩放矩阵不具有分开的DC数值时，不具有分开DC数值的缩放矩阵还是可以被用来预测其他缩放矩阵。

在一些实施例中，用于不同颜色分量(YUV)的缩放矩阵被分开地编解码。在另一实施例中，用于不同颜色分量(YUV)的缩放矩阵可以被一起编解码，通过将相同尺寸大小依照尺寸大小渐增的顺序分组。

在一些实施例中，所支援缩放矩阵的最大尺寸大小是取决于最大转换块(transform block，TB)的尺寸大小。最大亮度转换块的尺寸大小可以是64或32。在一些实施例中，所支援缩放矩阵的最大尺寸大小是取决于用来指示出在SPS阶层的最大TB尺寸大小的旗标。在一些实施例中，所支援缩放矩阵的最大尺寸大小连同APS中的缩放矩阵被发信。在这个情况下，所支援缩放矩阵的最大尺寸大小是和SPS中最大所支援亮度TB的尺寸大小相同。

可以在编码器与/或解码器的各种硬体、软体具体实现、或是上述的一组合中来实施任何之前所提出的方法。例如，本发明的一实施例可以为一或多个电路来整合于视频压缩晶片中，或程式码来整合于视频压缩软体中，来实施本文所说明的处理流程。例如，任何所提出的方法也可以实施为电路来耦合至编码器的量化模组或逆量化模组，而且可以实施为电路来耦合至解码器的逆量化模组。在一实施例中，任何所提出的方法也可以实施在编码器的量化模组或逆量化模组中，而且可以实施在一解码器的一逆量化模组中。

III.语法元素

对本揭示的一些实施例，在SPS(sequence parameter set RBSP syntax，序列参数组RBSP语法)、PPS(picture parameter set RBSP syntax，画面参数组RBSP语法)、切片、方块、CTU、与CU标头的语法被用来将量化矩阵发信至解码器中。

在一些实施例中，在一序列阶层，一语法元素“seq_quant_matrix_present_flag”被使用于SPS来对于整个序列是否会使用量化矩阵加以发信。在一实施例中，如果“seq_quant_matrix_present_flag”为真，对于每一转换尺寸与每一频道(Y,U,V)会检查另一语法“seq_quant_matrix_present_idx”，以决定特定的转换尺寸与每一频道是否会使用量化矩阵。

在一些实施例中，如果“seq_quant_matrix_present_idx”为真，“use_default_seq_quant_matrix”会被检查以发信预设的量化矩阵是否会被使用。在一些实施例中，如果“use_default_seq_quant_matrix”被发信，预设的量化矩阵会被使用。详言之，预设的量化矩阵会从一被硬编码写死(hard coded)的记忆体中读出，而其余方形与长方形量化矩阵、较大的量化矩阵以及用于所有AMT情况下的量化矩阵会从预设的量化矩阵中被隐含地产生出。在一些实施例中，如果“use_default_seq_quant_matrix”不为真，序列阶层量化矩阵会通过如基于预测熵编解码的编解码方法来显性地加以产生。

在一些实施例中，“pic_quant_matrix_present_flag”被使用于PPS来对于当前画面是否会使用量化矩阵加以发信。此外，下列语法可以被加入于PPS、或切片、或方块、或CTU、或CU阶层。在一些实施例中，如果“pic_quant_matrix_present_flag”为真，对每一预测模式(帧间与帧内)、转换、转换尺寸大小与频道(Y,U,V)，“pic_quant_matrix_present_idx”会被检查，来对特定的预测模式、转换、转换尺寸大小与频道是否会使用量化矩阵加以发信。在一些实施例中，如果“pic_quant_matrix_present_idx”为真，“use_seq_quant_matrix_flag”会被检查来对是否会使用序列阶层量化矩阵加以发信。

在一些实施例中，如果“pic_quant_matrix_present_idx”不为真，例如对某些预测模式与小型转换尺寸大小，量化矩阵会通过如基于预测熵编解码的编解码方法来显性地加以产生。在一些实施例中，对于(非方形)长方形与/或较大的转换尺寸大小，“use_implicit_quant_matrix”会被检查。如果此为真，量化矩阵会通过如上述第II节的技术来隐含地加以产生。否则，量化矩阵会通过如基于预测熵编解码的编解码方法来显性地加以产生。

视频编码器必须遵循前述的语法设计以便产生合法的比特流，而且只有剖析处理流程合乎前述语法设计的规范时，视频解码器才可以正确地解码比特流。当语法在比特流中被跳过时，编码器与解码器应该设定语法数值为一推论出的数值，以确保编码与解码的结果相符合。

IV.示例性的视频编码器

图6绘示出示例性的视频编码器0600。如图所示，视频编码器0600从视频源0605接收输入视频信号并将该信号编码进比特流0695。视频编码器0600具有若干组件或模组以将来自视频源0605的信号加以编码，至少包括有些组件是选择自转换模组0610、量化模组0611、逆量化模组0614、逆转换模组0615、帧内-画面估计模组320、帧内-预测模组0625、运动补偿模组0630、运动估计模组0635、回路滤波器0645、已重构画面缓冲器0650、MV缓冲器0665、MV预测模组0675以及熵编码器0690。运动补偿模组0630与运动估计模组0635是帧间-预测模组0640的一部份。

在一些实施例中，模组0610-0690是由计算设备或电子装置的一个或多个处理单元(例如，处理器)所执行的软体指令的模组。在一些实施例中，模组0610-0690是由电子装置的一个或多个积体电路(integrated circuit，IC)所实现的硬体电路的模组。虽然模组0610-0690被示出为分开的模组，但是一些模组可以被组合成单一个模组。

视频源0605提供原始视频信号，其呈现没有压缩的每个视频帧的像素数据。减法器0608计算视频源0605的原始视频像素数据与来自于运动补偿模组0630或者帧内-预测模组0625的已预测像素数据0613之间的差。转换模组0610将此差(或残差像素数据或残差信号0609)转换为转换系数(例如，透过执行离散余弦转换，或DCT)。量化模组0611将转换系数量化为已量化数据(或已量化系数)0612，其由熵编码器0690编码进比特流0695中。

逆量化模组0614逆量化已量化数据(或已量化系数)0612，以获得转换系数，而逆转换模组0615对转换系数执行逆转换以产生已重构残差0619。已重构残差0619与已预测像素数据0613相加以生成已重构像素数据0617。在一些实施例中，已重构像素数据0617被暂时存储在一个线缓冲器(未示出)中以用于帧内-画面预测和空间MV预测。已重构像素由回路滤波器0645进行滤波并被存储在已重构画面缓冲器0650中。在一些实施例中，已重构画面缓冲器0650是在视频编码器0600之外的记忆体。在一些实施例中，已重构画面缓冲器0650是在视频编码器0600之内的记忆体。

帧内-画面估计模组0620基于已重构像素数据0617执行帧内-预测，以产生帧内预测数据。帧内-预测数据被提供给熵编码器0690以被编码进比特流0695中。帧内-预测数据也被帧内-预测模组0625使用，以产生已预测像素数据0613。

运动估计模组0635通过提供MV给存储在已重构画面缓冲器0650中的先前已解码视频帧的参考像素数据，来执行帧间-预测。这些MV被提供给运动补偿模组0630以产生已预测像素数据。

不用将完整实际MV编码进比特流中，视频编码器0600使用MV预测来产生已预测MV，并且将用于运动补偿的MV与已预测MV之间的差被编码为残差运动数据并被存储在比特流0695中。

MV预测模组0675基于参考MV来产生已预测MV，所述参考MV是在编码先前视频帧所产生的，也就是用于执行运动补偿的运动补偿MV。MV预测模组0675从MV缓冲器0665中取回来自先前视频帧的参考MV。视频编码器0600将所产生以用于当前视频帧的MV存储在MV缓冲器0665中，以作为用于产生已预测MV的参考MV。

MV预测模组0675使用参考MV来创建已预测MV。已预测MV可以由空间MV预测或时间MV预测来加以计算。当前视频帧(残差运动数据)的已预测MV与运动补偿MV(MC MV)之间的差值由熵编码器0690编码进比特流0695中。

熵编码器0690透过使用诸如上下文自适应二进制算术编码(Context-basedAdaptive Binary Arithmetic Coding，CABAC)或霍夫曼编码(Huffman encoding)的熵编解码技术，将各种参数和数据编码进比特流0695中。熵编码器0690将各种标头元素、旗标、以及已量化转换系数0612与残差运动数据，一起作为语法元素编码进入比特流0695中。然后比特流0695依序被存储于存储装置中或透过诸如网路的通信介质被传输至一解码器。

回路滤波器0645对已重构像素数据0617进行滤波运算或平滑操作运算以减少编解码伪影，特别是在像素块的边界处。在一些实施例中，所执行的滤波操作包括取样自适应偏移(Sample Adaptive Offset，SAO)。在一些实施例中，滤波操作包括自适应回路滤波器(Adaptive Loop Filter，ALF)。

图7绘示出实施缩放矩阵的视频编码器0600的一些部份。如之前所述，量化模组0611使用量化矩阵来量化转换系数0616。量化矩阵是通过量化矩阵产生器0730来提供。量化矩阵产生器0730基于一组基础缩放矩阵0720来产生用于当前转换块的量化矩阵，例如通过选择基础缩放矩阵以及对所选择的基础缩放矩阵进行下取样或上取样，来产生与当前转换块的尺寸大小相匹配的量化矩阵。

该组基础缩放矩阵是通过缩放矩阵产生器0710来加以决定或建构以用于当前画面或画面的当前序列，并用于不同尺寸大小、不同颜色分量、与不同预测模式的转换块。缩放矩阵产生器0710也提供与缩放矩阵相关的信号给熵编码器0690以纳入于比特流0695之中。

缩放矩阵产生器0710决定缩放矩阵0720。当产生缩放矩阵时，缩放矩阵产生器0710可以参考预设的缩放矩阵。缩放矩阵产生器0710也可以通过预测或拷贝(copying)来决定缩放矩阵0720。详述之，缩放矩阵产生器可以通过参考先前决定的缩放矩阵(例如图5中QM16参考QM14)来决定缩放矩阵。为了发信或编码缩放矩阵，缩放矩阵产生器0710可以直接发信(例如通过使用DPCM)缩放矩阵的内容给熵编码器0690。缩放矩阵产生器0790也可以给熵编码器0690提供：所被参考的预测子缩放矩阵的识别子(identifier)、该预测子缩放矩阵与被编解码的当前缩放矩阵之间的差量数值、以及指示出该预测子缩放矩阵是否为完美预测子(perfect predictor)的旗标(例如non_zero_delta_flag)。

图8概念性地绘示出通过参考先前已被决定的缩放矩阵来对缩放矩阵加以决定的程序0800，以用来编码视频画面。在一些实施例中，通过执行储存于电脑可读取媒介上的指令，实施编码器0600的计算装置上的一个或多个处理单元(例如，处理器)会执行程序0800。在一些实施例中，实施解码器0600的电子装置会执行程序0800。

编码器接收(于区块0810)将被编码作为视频的当前画面的数据。编码器决定(于区块0820)被用来作为编解码该当前画面的多个缩放矩阵。该多个缩放矩阵中的第一缩放矩阵通过参考该多个缩放矩阵中的一先前已被决定的第二缩放矩阵来加以决定。在一些实施例中，当该编码器于比特流中发信旗标(例如non_zero_delta_flag)来指示出该第一与第二缩放矩阵的相对应元素为相同时，通过将该第二缩放矩阵的该多个元素复制(replicate)作为该第一缩放矩阵的该多个元素，来决定该第一缩放矩阵；当该旗标指示出该第一与第二缩放矩阵的相对应元素不相同时，通过将一组差量数值加入于该第二缩放矩阵的该多个元素中作为该第一缩放矩阵的该多个元素，来决定该第一缩放矩阵。在一些实施例中，该组差量数值是通过使用差动式脉冲码调变(differential pulse-codemodulation，DPCM)来加以编码。

在一些实施例中，该第二缩放矩阵可以通过识别子(identifier)来识别，此识别子是储存于该当前画面的画面参数集(picture parameter set，PPS)或是包含该当前画面的视频画面序列的序列参数集(sequence parameter set，SPS)当中。该第一缩放矩阵与该第二缩放矩阵可以具有相同的宽度与高度。在一些实施例中，该第一缩放矩阵与该第二缩放矩阵可以具有不同的宽度与高度。在一些实施例中，如上面第二节所说明该第一缩放矩阵可以通过对较小缩放矩阵的元素进行上取样来加以决定。在一些实施例中，该第二缩放矩阵的最左上方元素被用作为该第一缩放矩阵的直流数值。在一些实施例中，该第一缩放矩阵的直流数值是通过应用差量数值于该第二缩放矩阵的直流数值来加以决定。

编码器将该当前画面编码(于区块0830)为转换块的转换系数。编码器通过使用多个缩放矩阵(基础缩放矩阵)来将该多个转换系数加以量化(于区块0840)。例如，当编码转换块时，编码器可以从多个缩放矩阵中选择缩放矩阵，以及进行下取样或上取样来产生与该转换块的尺寸大小、颜色分量、与预测类型相匹配的量化矩阵。

V.示例性的视频解码器

图9绘示出一示例性的视频解码器0900。如图所示，视频解码器0900是画面-解码或视频-解码电路，其接收比特流0995并将比特流的内容解码为视频帧的像素数据以用于显示。视频解码器0900具有用于解码比特流0995的若干组件或模组，包括有些组件是选择自逆量化模组0911、逆转换模组0910、帧内-预测模组0925、运动补偿模组0930、回路滤波器0945、已解码画面缓冲器0950、MV缓冲器0965、MV预测模组0975与解析器0990。运动补偿模组0930是帧间-预测模组0940的一部份。

在一些实施例中，模组0910-0990是由计算设备的一个或多个处理单元(例如，处理器)所执行的软体指令的模组。在一些实施例中，模组0910-0990是由电子设备的一个或多个积体电路所实现的硬体电路的模组。虽然模组0910-0990被表示为分开的模组，但是一些模组可以被组合成单一个模组。

解析器0990(或熵解码器)接收比特流0995，并且根据由视频-编解码或影像-编解码标准所定义的语法来进行初步剖析。所剖析的语法元素包括各种标头元素、旗标、以及已量化数据(或已量化系数)0912。解析器0990通过使用诸如上下文自适应二进制算术编码(context-adaptive binary arithmetic coding，CABAC)或霍夫曼编码的熵编解码技术来剖析出各种语法元素。

逆量化模组0911对已量化数据(或已量化系数)0912进行去量化(de-quantize)以获得转换系数，并且逆转换模组0910对转换系数0916执行逆转换运算以产生已重构残差信号0919。已重构残差信号0919与来自于帧内-预测模组0925或运动补偿模组0930的已预测像素数据0913相加，以产生已解码像素数据0917。已解码像素数据由回路滤波器0945滤波并被存储在已解码画面缓冲器0950中。在一些实施例中，已解码画面缓冲器0950是在视频解码器0900之外的记忆体。在一些实施例中，已解码画面缓冲器0950是在视频解码器0900之内的记忆体。

帧内-预测模组0925从比特流0995接收帧内-预测数据，并且据此从存储在已解码画面缓冲器0950中的已解码像素数据0917来产生已预测像素数据0913。在一些实施例中，已解码像素数据0917也被存储在用于帧内-画面预测和空间MV预测的线缓冲器(未示出)中。

在一些实施例中，已解码画面缓冲器0950的内容被用于显示。显示装置0955直接取回出已解码画面缓冲器0950的内容以进行显示，或将已解码画面缓冲器的内容取回到显示缓冲器。在一些实施例中，显示装置透过像素传输从已解码画面缓冲器0950来接收像素值。

运动补偿模组0930根据运动补偿MV(MC MV)，从存储在已解码画面缓冲器0950中的已解码像素数据0917来产生已预测像素数据0913。这些运动补偿MV透过将自比特流0995接收的残差运动数据与自MV预测模组0975接收的预测MV相加而被解码。

MV预测模组0975基于参考MV来产生已预测MV，所述参考MV是在解码先前视频帧所产生的，也就是用于执行运动补偿的运动补偿MV。MV预测模组0975从MV缓冲器0965中取回先前视频帧的参考MV。视频解码器0900将产生用来解码当前视频帧的运动补偿MV存储在MV缓冲器0965中，以作为用于产生已预测MV的参考MV。

回路滤波器0945对已解码像素数据0917执行滤波操作或平滑操作，以减少编解码伪影，特别是在像素块的边界处。在一些实施例中，所执行的滤波操作包括取样自适应偏移(Sample Adaptive Offset，SAO)。在一些实施例中，滤波操作包括自适应回路滤波器(Adaptive Loop Filter，ALF)。

图10绘示出实施缩放矩阵的视频解码器0900的一些部份。如图所示，去量化模组(de-quantization module)0911使用量化矩阵来对转换系数0916进行去量化。量化矩阵是通过一量化矩阵产生器1030所提供。量化矩阵产生器1030基于一组基础缩放矩阵1020来产生用于当前转换块的量化矩阵，通过例如选择基础缩放矩阵以及对所选择的基础缩放矩阵进行下取样或上取样，来产生与当前转换块的尺寸大小相匹配的量化矩阵。

该组基础缩放矩阵是通过缩放矩阵产生器1010来加以决定或建构以用于当前画面或画面的当前序列，并用于不同尺寸大小、不同颜色分量、与不同预测模式的转换块。缩放矩阵产生器01010从比特流0995之中接收通过熵解码器0990所剖析的缩放矩阵相关的信号。

缩放矩阵产生器1010决定缩放矩阵1020。当产生缩放矩阵时，缩放矩阵产生器1010可以参考预设的缩放矩阵。缩放矩阵产生器1010也可以通过预测或拷贝(copying)来决定缩放矩阵1020。详述之，缩放矩阵产生器可以通过参考先前决定的缩放矩阵(例如图5中QM16参考QM14)来决定缩放矩阵。为了重构或解码缩放矩阵，缩放矩阵产生器1010可以从熵解码器0990直接接收(例如通过使用DPCM)与缩放矩阵的内容相关的信号。缩放矩阵产生器1090也可以从熵解码器0990接收：所被参考的预测子缩放矩阵的识别子(identifier)、该预测子缩放矩阵与被编解码的当前缩放矩阵之间的差量数值、以及指示出该预测子缩放矩阵是否为完美预测子(perfect predictor)的旗标(例如non_zero_delta_flag)。

图11概念性地绘示出通过参考先前已被重构的缩放矩阵来对缩放矩阵加以重构的程序1100，以用来解码视频画面。在一些实施例中，通过执行储存于电脑可读取媒介上的指令，实施解码器0900的计算装置上的一个或多个处理单元(例如，处理器)会进行程序1100。在一些实施例中，实施解码器0900的电子装置会进行程序1100。

解码器接收(于区块1110)来自比特流的数据以被解码作为视频的当前画面。解码器决定(于区块1120)被用来作为编解码该当前画面的多个缩放矩阵。该多个缩放矩阵中的第一缩放矩阵通过参考该多个缩放矩阵中的先前已被决定或被解码的第二缩放矩阵来加以决定。在一些实施例中，当该解码器于比特流中接收旗标(例如non_zero_delta_flag)来指示出该第一与第二缩放矩阵的相对应元素为相同时，通过将该第二缩放矩阵的该多个元素复制(replicate)作为该第一缩放矩阵的该多个元素，来决定该第一缩放矩阵；当该旗标指示出该第一与第二缩放矩阵的相对应元素不相同时，通过将一组差量数值加入于该第二缩放矩阵的该多个元素中作为该第一缩放矩阵的该多个元素，来决定该第一缩放矩阵。在一些实施例中，该组差量数值是通过使用差动式脉冲码调变(differential pulse-codemodulation，DPCM)来加以编码。

在一些实施例中，该第二缩放矩阵可以通过识别子(identifier)来识别，此识别子是储存于该当前画面的画面参数集(picture parameter set，PPS)或是包含该当前画面的视频画面序列的序列参数集(sequence parameter set，SPS)当中。该第一缩放矩阵与该第二缩放矩阵可以具有相同的宽度与高度。在一些实施例中，该第一缩放矩阵与该第二缩放矩阵可以具有不同的宽度与高度。在一些实施例中，如上面第二节所说明决定该第一缩放矩阵可以涉及对较小矩阵的元素进行上取样。在一些实施例中，该第二缩放矩阵的最左上方元素被用作为该第一缩放矩阵的直流数值。在一些实施例中，该第一缩放矩阵的直流数值是通过应用差量数值于该第二缩放矩阵的直流数值来加以决定。

在一些实施例中，当该比特流中旗标(例如non_zero_delta_flag)来指示出该第一与第二缩放矩阵的相对应元素为相同时，通过将该第二缩放矩阵的该多个元素复制(replicate)作为该第一缩放矩阵的该多个元素，来决定该第一缩放矩阵；当该旗标指示出该第一与第二缩放矩阵的相对应元素不相同时，通过将一组差量数值加入于该第二缩放矩阵的该多个元素中作为该第一缩放矩阵的该多个元素，来决定该第一缩放矩阵。在一些实施例中，该组差量数值是通过使用差动式脉冲码调变(differential pulse-codemodulation，DPCM)来加以编解码。

在一些实施例中，用来指示出该第一与第二缩放矩阵的相对应元素是否相同的旗标，是储存于该当前画面的画面参数集(picture parameter set，PPS)或是包含该当前画面的视频画面序列的序列参数集(sequence parameter set，SPS)当中。

解码器通过使用该多个已被决定的缩放矩阵(基础缩放矩阵)来将该当前画面的转换块的转换系数加以去量化(于区块1130)。例如，当解码转换块时，解码器可以从多个缩放矩阵中选择缩放矩阵，以及进行下取样或上取样来产生与该转换块的尺寸大小、颜色分量、与预测类型相匹配的量化矩阵。解码器通过使用该多个已去量化的转换系数来重构(于区块1140)该当前画面。

VI.示例的电子系统

很多上述的特征和应用可以被实现为软体处理，其被指定为记录在电脑可读存储介质(computer readable storage medium)(也被称为电脑可读介质)上的指令集。当这些指令由一个或者多个计算单元或者处理单元(例如，一个或者多个处理器、处理器核或者其他处理单元)来执行时，则这些指令使得该处理单元执行这些指令所表示的动作。电脑可读介质的示例包括但不限于CD-ROM、快闪记忆体驱动器(flash drive)、随机存取记忆体(random access memory，RAM)晶片、硬碟、可读写可程式设计唯读记忆体(erasableprogrammable read only memory，EPROM)，电可擦除可程式设计唯读记忆体(electrically erasable programmable read-only memory，EEPROM)等。该电脑可读介质不包括透过无线或有线连接的载波和电信号。

在本说明书中，术语“软体”意味着包括唯读记忆体中的韧体或者存储在磁存储装置中的应用程式，该应用程式可以被读入到记忆体中以用于处理器进行处理。同时，在一些实施例中，多个软体发明可以作为更大程式的子部分来实现，而保留不同的软体发明。在一些实施例中，多个软体发明可以作为分开的程式来实现。最后，一起实现此处所描述的软体发明的分开的程式的任何结合是在本发明的范围内。在一些实施例中，当被安装以在一个或者多个电子系统上进行操作时，软体程式定义了一个或者多个特定的机器实现方式，该机器实现方式执行和实施该软体程式的操作。

图12概念性地绘示一电子系统1200，本揭示的一些实施例可以于其中加以实施。电子系统1200可以是电脑(例如，台式电脑、个人电脑、平板电脑等)、电话、PDA或者其他种类的电子设备。这个电子系统包括各种类型的电脑可读媒质和用于各种其他类型的电脑可读媒质的介面。电子系统1200包括汇流排1205、处理单元1210、影像处理单元(graphics-processing unit，GPU)1215、系统记忆体1220、网路1225、唯读记忆体(read-only memory，ROM)1230、永久存储装置1235、输入设备1240和输出设备1245。

汇流排1205集体表示与大量的电子系统1200通信连接的内部设备的所有系统汇流排、外设汇流排和晶片组汇流排。例如，汇流排1205透过影像处理单元1215、唯读记忆体1230、系统记忆体1220和永久存储装置1235，与处理单元1210通信连接。

对于这些各种记忆体单元，处理单元1210取回执行的指令和处理的数据，以为了执行本发明的处理。在不同实施例中，该处理单元可以是单个处理器或者多核处理器。某些指令被传输影像处理单元1215和并被其执行。该影像处理单元1215可以卸载各种计算或补充由处理单元1210提供的影像处理。

唯读记忆体1230存储处理单元1210或者电子系统的其他模组所需要的静态数据和指令。另一方面，永久存储装置1235是一种读写记忆体设备(read-and-write memory)。这个设备是一种非易失性(non-volatile)记忆体单元，其即使在电子系统1200关闭时也存储指令和数据。本发明的一些实施例使用大容量存储设备(例如磁片或光碟及其相应的磁碟机)作为永久存储装置1235。

其他实施例使用卸载式存储装置设备(如软碟、快闪记忆体设备等，以及其相应的磁碟机)作为该永久存储装置。与永久存储装置1235一样，系统记忆体1220是一种读写记忆体设备。但是，与存储装置1235不一样的是，该系统记忆体1220是一种易失性(volatile)读写记忆体，例如随机读取记忆体。系统记忆体1220存储一些处理器在运行时需要的指令和数据。在一些实施例中，根据本发明的处理被存储在该系统记忆体1220、永久存储装置1235和/或唯读记忆体1230中。例如，各种记忆体单元包括用于根据一些实施例的处理多媒体剪辑的指令。对于这些各种记忆体单元，处理单元1210取回执行的指令和处理的数据，以为了执行某些实施例的处理。

汇流排1205也连接到输入设备1240和输出设备1245。该输入设备1240使得使用者沟通资讯并选择指令到该电子系统上。该输入设备1240包括字母数位元键盘和指点设备(也被称为“游标控制设备”)，摄像机(如网路摄像机(webcam))，用于接收语音命令的麦克风或类似的设备等。输出设备1245显示由电子系统生成的图像或以其他方式输出的数据。输出设备1245包括印表机和显示装置，例如阴极射线管(cathode ray tube，CRT)或液晶显示器(liquid crystal display，LCD)，以及扬声器或类似的音讯输出设备。一些实施例包括诸如同时用作输入设备和输出设备的触控式萤幕等设备。

最后，如图12所示，汇流排1205也透过网路介面卡(未示出)将电子系统1200耦接到网路1225。在这个方式中，电脑可以是电脑网路(例如，局域网(local area network，LAN)、广域网路(wide area network，WAN)或者内联网)或者网路的网路(例如互联网)的一部分。电子系统1200的任一或者所有元件可以与本发明结合使用。

一些实施例包括电子元件，例如，微处理器、存储装置和记忆体，其将电脑程式指令存储到机器可读介质或者电脑可读介质(可选地被称为电脑可读存储介质、机器可读介质或者机器可读存储介质)。电脑可读介质的一些实例包括RAM、ROM、唯读光碟(read-onlycompact disc，CD-ROM)，可烧录光碟(recordable compact disc，CD-R)、可读写光碟(rewritable compact disc，CD-RW)、唯读数位通用光碟(read-only digital versatiledisc)(例如，DVD-ROM，双层DVD-ROM)、各种可记录/可读写DVD(例如DVD RAM、DVD-RW、DVD+RW等)、快闪记忆体(如SD卡、迷你SD卡，微SD卡等)、磁性和/或固态硬碟、唯读和可烧录盘、超高密度光碟和其他任何光学介质或磁介质，以及软碟。电脑可读介质可以存储由至少一个处理单元执行的电脑程式，并且包括用于执行各种操作的指令集。电脑程式或电脑代码的示例包括机器代码，例如编译器产生的机器代码，以及包含由电脑、电子元件或微处理器使用注释器(interpreter)而执行的高级代码的文档。

当以上讨论主要是指执行软体的微处理器或多核处理器时，很多上述的功能和应用程式由一个或多个积体电路执行，如特定应用的积体电路(application specificintegrated circuit，ASIC)或现场可程式设计闸阵列(field programmable gate array，FPGA)。在一些实施例中，这种积体电路执行存储在该电路本身上的指令。此外，一些实施例执行存储在可程式设计逻辑器件(programmable logic device，PLD)，ROM或RAM设备中的软体。

如本发明的说明书和任一请求项中所使用，术语“电脑”、“伺服器”、“处理器”和“记忆体”均指电子设备或其他技术设备。这些术语不包括人或群体。为了本说明书的目的，术语显示或显示装置指在电子设备上进行显示。如本发明的说明书和任一请求项中所使用，术语“电脑可读介质”、“电脑可读媒质”和“机器可读介质”完全局限于有形的、实体的物体，其以电脑可读的形式存储资讯。这些术语不包括任何无线信号、有线下载信号和其他任何短暂信号。

在结合许多具体细节的情况下描述了本发明时，本领域通常知识者将认识到，本发明可以以其他具体形式而被实施，而不脱离本发明的精神。此外，大量的图(包括第8图和图11)概念性示出了处理。这些处理的具体操作可以不以所示以及所描述的确切顺序来被执行。这些具体操作可用不在一个连续的操作系列中被执行，并且不同的具体操作可以在不同的实施例中被执行。另外，该处理透过使用几个子处理而被实现，或者作为更大巨集处理的部分。因此，本领域通常知识者将能理解的是，本发明不受前述说明性细节的限制，而是由请求项加以界定。

附加的说明

本文所描述的主题有时表示不同的元件，其包含在或者连接到其他不同的元件。可以理解的是，所描述的结构仅是示例，实际上可以由许多其他结构来实施，以实现相同的功能。从概念上讲，任何实现相同功能的组件的排列实际上是“相关联的”，以便实现所需的功能。因此，不论结构或中间部件，为实现特定的功能而组合的任何两个元件被视为“相互关联”，以实现所需的功能。同样，任何两个相关联的元件被看作是相互“可操作连接”或“可操作耦接”，以实现特定功能。能相互关联的任何两个组件也被视为相互“可操作地耦合”以实现特定功能。可操作连接的具体例子包括但不限于物理可配对和/或物理上相互作用的元件，和/或无线可交互和/或无线上相互作用的元件，和/或逻辑上相互作用和/或逻辑上可交互的元件。

此外，关于基本上任何复数和/或单数术语的使用，本领域的技术人员可以根据上下文和/或应用从复数转换为单数和/或从单数到复数。为清楚起见，本文明确规定了不同的单数/复数排列。

此外，本领域的通常知识者可以理解，通常，本发明所使用的术语特别是请求项中的，如请求项的主题，通常用作“开放”术语，例如，“包括”应解释为“包括但不限于，“有”应理解为“至少有”“包括”应解释为“包括但不限于”等。本领域的通常知识者可以进一步理解，若计画介绍特定数量的请求项内容，将在请求项内明确表示，并且，在没有这类内容时将不显示。例如，为帮助理解，下面请求项可能包含短语“至少一个”和“一个或多个”，以介绍请求项内容。然而，这些短语的使用不应理解为暗示使用不定冠词“a”或“an”介绍请求项内容，而限制了任何特定的请求项。甚至当相同的请求项包括介绍性短语“一个或多个”或“至少有一个”，不定冠词，例如“a”或“an”，则应被解释为表示至少一个或者更多，对于用于介绍请求项的明确描述的使用而言，同样成立。此外，即使明确引用特定数量的介绍性内容，本领域通常知识者可以认识到，这样的内容应被解释为表示所引用的数量，例如，没有其他修改的“两个引用”，意味着至少两个引用，或两个或两个以上的引用。此外，在使用类似于“A、B和C中的至少一个”的表述的情况下，通常如此表述是为了本领域通常知识者可以理解该表述，例如，“系统包括A、B和C中的至少一个”将包括但不限于单独具有A的系统，单独具有B的系统，单独具有C的系统，具有A和B的系统，具有A和C的系统，具有B和C的系统，和/或具有A、B和C的系统，等。本领域通常知识者进一步可理解，无论在说明书中、请求项中或者附图中，由两个或两个以上的替代术语所表现的任何分隔的单词和/或短语应理解为，包括这些术语中的一个，其中一个，或者这两个术语的可能性。例如，“A或B”应理解为，“A”，或者“B”，或者“A和B”的可能性。

从前述可知，为了说明目的，此处已描述了各种实施方案，并且在不偏离本发明的范围和精神的情况下，可以进行各种变形。因此，此处所公开的各种实施方式不用于限制，专利申请范围表示真实的范围和精神。

Claims

1.一种视频解码方法，包括：

接收来自比特流的数据以被解码作为视频的当前画面；

决定被用来作为编解码该当前画面的多个缩放矩阵，其中该多个缩放矩阵中的第一缩放矩阵通过参考该多个缩放矩阵中的先已被决定的第二缩放矩阵来加以决定；其中该第二缩放矩阵的最左上方元素被用作为该第一缩放矩阵的直流数值；

通过使用该多个被决定的缩放矩阵来将该当前画面的转换块的转换系数加以去量化；以及

通过使用该多个已去量化的转换系数来重构该当前画面。

2.根据权利要求1所述的视频解码方法，其特征在于，当该比特流中一个旗标指示出该第一与第二缩放矩阵的相对应元素为相同时，该第一缩放矩阵通过将该第二缩放矩阵的该多个元素复制作为该第一缩放矩阵的该多个元素来决定。

3.根据权利要求1所述的视频解码方法，其特征在于，当该比特流中一个旗标指示出该第一与第二缩放矩阵的相对应元素不相同时，该第一缩放矩阵通过将一组差量数值加入于该第二缩放矩阵的该多个元素中作为该第一缩放矩阵的该多个元素来决定。

4.根据权利要求3所述的视频解码方法，其特征在于，当该组差量数值是通过使用差动式脉冲码调变来加以编码。

5.根据权利要求1所述的视频解码方法，其特征在于，该第一缩放矩阵与该第二缩放矩阵具有相同的宽度与高度。

6.根据权利要求1所述的视频解码方法，其特征在于，该第一缩放矩阵与该第二缩放矩阵具有不同的宽度与高度。

7.根据权利要求1所述的视频解码方法，其特征在于，决定该第一缩放矩阵包括对一个较小矩阵的元素进行上取样。

8.一种电子装置，包括：

视频解码器电路被配置来进行下列操作，包括：

接收来自比特流的数据以被解码作为视频的当前画面；

决定被用来作为编解码该当前画面的多个缩放矩阵，其中该多个缩放矩阵中的第一缩放矩阵通过参考该多个缩放矩阵中的先前已被决定的第二缩放矩阵来加以决定；其中该第二缩放矩阵的最左上方元素被用作为该第一缩放矩阵的直流数值；

通过使用该多个已去量化的转换系数来重构该当前画面。

9.一种视频编码方法，包括：

接收将被编码作为视频的当前画面的数据；

将该当前画面编码为转换块的转换系数；以及

通过使用该多个被决定的缩放矩阵来将该多个转换系数加以量化。