CN117956152A - 图像编码设备和方法、图像解码设备和方法以及存储介质 - Google Patents

Abstract

本发明涉及一种图像编码设备和方法、图像解码设备和方法以及存储介质。根据具有N×N的大小的第一量化矩阵，生成具有P×Q大小的第二量化矩阵，其中，N是正整数，P和Q是满足P<N<Q或Q<N<P的正整数。使用第二量化矩阵对具有与P×Q的大小相对应的大小的子块中的变换系数进行量化。

Description

图像编码设备和方法、图像解码设备和方法以及存储介质

(本申请是申请日为2019年11月15日、申请号为2019800831646、发明名称为“图像编码设备和方法、图像解码设备和方法以及存储介质”的申请的分案申请。)

技术领域

本发明涉及一种针对图像的编码技术和解码技术。

背景技术

作为用于运动图像压缩记录的编码方法，已知有HEVC(高效视频编码)编码方法(下文称为HEVC)。在HEVC中，为了提高编码效率，采用具有比传统宏块(16像素×16像素)大的大小的基本块。具有大的大小的基本块称为CTU(编码树单元)，基本块的最大大小为64像素×64像素。CTU被进一步分割为子块，各个子块是用于进行预测或转换的单位。

在HEVC中，使用被称为量化矩阵并且被配置为根据频率分量对正交变换后的系数(下文称为正交变换系数)进行加权的矩阵。通过进一步减少其劣化对人类视觉不明显的高频分量的数据，可以在维持图像质量的同时提高压缩效率。专利文献1公开了一种编码这样的量化矩阵的技术。

近年来，作为HEVC的替代，开始了实现更高效率的编码方法的国际标准化的行动。在ISO/IEC和ITU-T之间设立了JVET(联合视频专家组)，并推动了VVC(多功能视频编码)编码方法(下文称为VVC)的标准化。为了提高编码效率，除了传统的基于正方形子块的帧内预测/正交变换方法之外，还研究了基于矩形子块的帧内预测/正交变换方法。

引用列表

专利文献

专利文献1：日本专利特开2013-38758

发明内容

发明要解决的问题

在VVC中，也像HEVC那样研究了量化矩阵的引入。此外，在VVC中，不仅正方形子块分割，而且矩形子块分割以及与矩形子块分割相对应的正交变换的形状也已被研究。由于正交变换系数的分布根据正交变换的形状而改变，因此优选根据正交变换的形状来应用最优量化矩阵。然而，如果针对所有正交变换形状单独定义量化矩阵，则量化矩阵的代码量不必要地增加。本发明提供一种生成与矩形正交变换相对应的量化矩阵的技术。

用于解决问题的方案

根据本发明的一个方面，提供了一种图像编码设备，用于对图像进行编码，其特征在于，包括：生成部件，用于根据具有N×N的大小的第一量化矩阵来生成具有P×Q的大小的第二量化矩阵，其中，N是正整数，P和Q是满足P<N<Q或Q<N<P的正整数；以及量化部件，用于使用所述第二量化矩阵来对具有与P×Q的大小相对应的大小的子块中的变换系数进行量化。

发明的效果

根据本发明的配置，可以提供一种生成与矩形正交变换相对应的量化矩阵的技术。

通过下面结合附图进行的描述，本发明的其它特征和优点将明显。注意，所有附图中相同的附图标记表示相同或类似的组件。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出本发明的实施例，并且与其中的描述一起用于说明本发明的原理。

图1是示出图像编码设备的功能配置的示例的框图；

图2是示出图像解码设备的功能配置的示例的框图；

图3是输入图像和量化矩阵的编码处理的流程图；

图4是位流的解码处理的流程图；

图5是示出计算机设备的硬件配置的示例的框图；

图6A是示出位流的配置的示例的视图；

图6B是示出位流的配置的示例的视图；

图7A是示出分割方法的示例的视图；

图7B是示出分割方法的示例的视图；

图7C是示出分割方法的示例的视图；

图7D是示出分割方法的示例的视图；

图7E是示出分割方法的示例的视图；

图7F是示出分割方法的示例的视图；

图8是示出原始量化矩阵的示例的视图；

图9A是示出量化矩阵的示例的视图；

图9B是示出量化矩阵的示例的视图；

图10A是示出量化矩阵的示例的视图；

图10B是示出量化矩阵的示例的视图；

图11A是示出扫描方法的视图；

图11B是示出差分矩阵1000的视图；

图12A是示出编码表的配置的示例的视图；

图12B是示出编码表的配置的示例的视图；

图13A是示出量化矩阵的示例的视图；

图13B是示出量化矩阵的示例的视图；

图14A是示出量化矩阵的示例的视图；

图14B是示出量化矩阵的示例的视图；

图15A是示出量化矩阵的示例的视图；以及

图15B是示出量化矩阵的示例的视图。

附图标记列表

102：块分割单元，103：生成单元，104：预测单元，105：转换/量化单元，106：逆量化/逆转换单元，107：图像再生单元，108：帧存储器，109：环内滤波单元，110：编码单元，111：合成编码单元，113：量化矩阵编码单元

具体实施方式

现在将参照附图描述本发明的实施例。注意，下面描述的实施例示出在详细实施本发明的情况下的示例，并且是权利要求中描述的配置的详细实施例之一。

[第一实施例]

首先将参照图1的框图描述根据本实施例的图像编码设备的功能配置的示例。控制单元199控制整个图像编码设备的操作。块分割单元102将输入图像(运动图像的各个帧的图像，或静止图像)分割为多个基本块，并输出各个基本块(分割的图像)。

生成单元103使用具有N×N大小的量化矩阵(具有行方向上的N个元素和列方向上的N个元素的量化矩阵)作为原始量化矩阵。生成单元103根据原始量化矩阵生成具有与用作正交变换单位的子块的像素相对应的大小(P×Q)的量化矩阵。这里，P和Q是正整数，P≠Q。

预测单元104将各个基本块分割为多个子块(分割的图像)。针对各个子块，预测单元104通过进行作为在帧中的预测的帧内预测或作为帧之间预测的帧间预测来生成预测图像，并且获得输入图像和预测图像之间的差作为预测误差。此外，预测单元104生成表示如何将基本块分割为子块的信息、预测模式以及诸如运动矢量等的预测所需的信息作为预测信息。

转换/量化单元105对各个子块的预测误差进行正交变换，由此获得各个子块的变换系数。针对各个子块，转换/量化单元105从生成单元103获取根据该子块的大小的量化矩阵，并使用该量化矩阵对该子块中的变换系数进行量化，由此生成子块的量化系数。

逆量化/逆转换单元106通过使用用于对子块进行量化的量化矩阵而对由转换/量化单元105生成的各个子块的量化系数进行逆量化来生成变换系数，并对变换系数进行逆正交变换，由此生成预测误差。

图像再生单元107基于预测单元104所生成的预测信息，根据存储在帧存储器108中的编码图像数据生成预测图像，并且根据该预测图像和逆量化/逆转换单元106所生成的预测误差来对图像进行再生。图像再生单元107将再生图像存储在帧存储器108中。存储在帧存储器108中的图像数据是当预测单元104针对当前帧或下一帧的图像进行预测时所参考的图像数据。

环内滤波单元109针对存储在帧存储器108中的图像进行环内滤波处理，诸如解块滤波(deblocking filter)或样本自适应偏移等。

编码单元110对转换/量化单元105所生成的量化系数和预测单元104所生成的预测信息进行编码，由此生成编码数据。量化矩阵编码单元113对原始量化矩阵进行编码，由此生成编码数据。

合成编码单元111使用由量化矩阵编码单元113生成的编码数据而生成报头(header)编码数据，生成包括由编码单元110生成的编码数据、以及报头编码数据的位流，并输出位流。

接下来将描述根据本实施例的图像编码设备的操作。注意，在本实施例中，为了便于描述，将描述输入图像的帧内预测编码处理。然而，本发明不限于此，并且还可以应用于输入图像的帧间预测编码处理。此外，在本实施例中，假设基本块的量化矩阵的大小是包括16×16个元素的大小。然而，基本块的大小不限于16×16。在本实施例中，在上述编码处理中，需要在转换/量化单元105或逆量化/逆转换单元106的处理开始时准备好量化矩阵。

首先，将描述量化矩阵的生成和编码。在图8中示出原始量化矩阵的示例。图8所示的原始量化矩阵800是与8×8正交变换系数相对应的量化矩阵的示例。确定形成原始量化矩阵的元素的元素值的方法没有特别限定。例如，可以将预定的初始值用作形成原始量化矩阵的元素的元素值，或者可以单独设置元素的元素值。可以根据图像的特性生成原始量化矩阵。

在本实施例中，生成单元103根据原始量化矩阵800生成与其它正交变换的大小(即，分割出的子块的大小)相对应的量化矩阵。在本实施例中，生成单元103根据图8中所示的原始量化矩阵800分别生成图9A、9B、10A和10B中所示的具有矩形形状的量化矩阵901、902、1001和1002。注意，在图9B和10B中所示的量化矩阵902和1002中，如果当原始量化矩阵的大小是N×N时所生成的量化矩阵具有P×Q的大小，则P和Q是满足P<N<Q或Q<N<P的正整数。

图9A中所示的量化矩阵901是与8×16正交变换系数相对应的量化矩阵。在量化矩阵901中，原始量化矩阵800中的位置(行，列)＝(m，n)处的元素被布置在量化矩阵901(在量化矩阵中)中的位置(行，列)＝(2m，n)处和位置(行，列)＝(2m+1，n)处。这里，m和n是零或更大的整数。

图10A中所示的量化矩阵1001是与16×8正交变换系数相对应的量化矩阵。在量化矩阵1001中，原始量化矩阵800中的位置(行，列)＝(m，n)处的元素被布置在量化矩阵1001中的位置(行，列)＝(m，2n)处和位置(行，列)＝(m，2n+1)处。

图9B中所示的量化矩阵902是与4×16正交变换系数相对应的量化矩阵。在量化矩阵902中，原始量化矩阵800中的位置(行，列)＝(m，2n)处的元素被布置在量化矩阵902中的位置(行，列)＝(2m，n)处和位置(行，列)＝(2m+1，n)处。

图10B中所示的量化矩阵1002是与16×4正交变换系数相对应的量化矩阵。在量化矩阵1002中，原始量化矩阵800中的位置(行，列)＝(2m，n)处的元素被布置在量化矩阵1002中的位置(行，列)＝(m，2n)处和位置(行，列)＝(m，2n+1)处。

如上所述，在本实施例中，生成单元103根据原始量化矩阵800生成量化矩阵901、902、1001和1002，并保持这些量化矩阵。无论分割的矩形子块的大小是8×16、16×8、16×4还是4×16，已生成了相应大小的量化矩阵。因此，可以进行子块的量化/逆量化。特别地，图9B和10B中所示的量化矩阵902和1002是通过在一个方向上扩大原始量化矩阵并且在另一个方向上减小原始量化矩阵(通过每隔一行/每隔一列对原始量化矩阵进行间隔剔除)来生成的。与通过简单地减小原始量化矩阵来生成量化矩阵的情况相比，这可以减小原始量化矩阵的数据量，并且与通过简单地扩大原始量化矩阵来生成量化矩阵的情况相比，这可以抑制图像质量的劣化。因此，可以预期具有良好的率失真(rate-distortion)的平衡的结果。

生成单元103将以此方式生成的原始量化矩阵800和量化矩阵901、902、1001和1002保持为二维形状。注意，也可以根据后述的预测方法(例如是使用帧内预测还是帧间预测)，或者根据编码对象是亮度块还是色差块，针对相同大小的正交变换保持多个量化矩阵。一般而言，在量化矩阵中，为了实现根据人的视觉特性的量化处理，如图8、9A、9B、10A和10B所示，与量化矩阵的左上部分相对应的低频部分中的元素小，而与右下部分相对应的高频部分中的元素大。

量化矩阵编码单元113从生成单元103获取以二维形状保持的量化矩阵，通过扫描元素来计算差，并且生成以计算顺序一维地布置差的一维矩阵(差分矩阵)。量化矩阵编码单元113对生成的差分矩阵进行编码，由此生成编码数据。

在本实施例中，图9A、9B、10A和10B中所示的量化矩阵可以根据原始量化矩阵800以上述方式生成，量化矩阵编码单元113仅对原始量化矩阵800进行编码。更具体地，根据按图11A中箭头所指示的顺序扫描元素的扫描方法，量化矩阵编码单元113计算原始量化矩阵800中的各个元素与按照扫描顺序紧挨着的先前元素之间的差。例如，通过图11A中所示的对角线扫描来扫描原始量化矩阵800。接着位于左上角的第一个元素“6”，扫描位于紧挨着第一个元素的下方的元素“9”，并计算差“+3”。为了对原始量化矩阵800的第一个元素(在本实施例中为“6”)进行编码，计算与预定初始值(例如“8”)的差。然而，该值不限于此，并且可以使用与任意值的差，或者可以使用第一个元素本身的值作为差。

如上所述，在本实施例中，量化矩阵编码单元113使用图11A中所示的扫描方法，根据原始量化矩阵800生成图11B所示的差分矩阵1000。然后，量化矩阵编码单元113对差分矩阵1000进行编码，由此生成编码数据。在本实施例中，使用图12A中所示的编码表来进行编码。然而，编码表不限于此，例如，可以使用图12B中所示的编码表。

在本实施例中，由于在原始量化矩阵800以及量化矩阵901、902、1001和1002中仅对原始量化矩阵800进行编码，因此可以减少具有矩形形状的量化矩阵的代码量。另外，不管要生成的量化矩阵的形状如何，当仅使用图11A中所示的一种类型的扫描方法进行编码时，可以将用于实现图11A所示的扫描方法的表限制到仅一个表，并且可以节约存储器。

合成编码单元111对(后述的)图像的解码所需的报头信息进行编码，并对报头信息和由量化矩阵编码单元113生成的量化矩阵的编码数据进行合成。

接下来将描述输入图像的编码。块分割单元102将输入图像分割为多个基本块并输出所分割的基本块。预测单元104确定将基本块分割为多个子块的分割方法。图7A至7F示出将基本块分割为多个子块的分割方法的示例。

图7B示出子块分割方法(四叉树分割)。即，图7B示出在水平方向和垂直方向上将基本块700分割为两个相等部分、由此将基本块700分割为四个子块(一个子块的大小是8×8像素的大小)的分割方法(分割模式)。另一方面，图7C至7F示出将基本块700分割为矩形子块的子块分割方法。

图7C示出在垂直方向上将基本块700分割为两个相等部分、由此将基本块700分割为两个垂直长的子块(一个子块的大小是8×16像素的大小)的分割方法。

图7D示出在水平方向上将基本块700分割为两个相等部分、由此将基本块700分割为两个水平长的子块(一个子块的大小是16×8像素的大小)的分割方法。

图7E示出通过在垂直方向上分割基本块700而获得的三个垂直长的子块(从左侧起，与4×16像素相对应的子块、与8×16像素相对应的子块以及与4×16像素相对应像素的子块)(三叉树分割)。

图7F示出通过在水平方向上分割基本块700而获得的三个水平长的子块(从左侧起，与16×4像素相对应的子块、与16×8像素相对应的子块以及与16×4像素相对应的子块)(三叉树分割)。

在本实施例中，使用图7B至7F中所示的分割方法(分割模式)之一。然而，方法不限于图7B至7F中所示的那些方法。注意，如图7A所述，基本块700可以用作子块而不被分割。

预测单元104例如以子块为单位来确定诸如水平预测或垂直预测等的帧内预测模式。预测单元104以基本块为单位，根据所确定的分割方法将基本块分割为多个子块。针对各个子块，预测单元104通过使用帧存储器108中的图像、根据所确定的帧内预测模式进行预测来生成预测图像，并且获得输入图像和预测图像之间的差作为预测误差。此外，预测单元104生成表示子块分割方法(分割模式)的信息、帧内预测模式和诸如运动矢量等的预测所需的信息作为预测信息。

转换/量化单元105对各个子块的预测误差进行正交变换，由此生成各个子块的变换系数。针对各个子块，转换/量化单元105从生成单元103获取根据子块的大小的量化矩阵，并使用量化矩阵对子块中的变换系数进行量化，由此生成子块的量化系数。

为了对8像素×8像素的子块的变换系数进行量化，转换/量化单元105从生成单元103获取原始量化矩阵800，并使用所获取的原始量化矩阵800对变换系数进行量化。

为了对8像素×16像素的子块的变换系数进行量化，转换/量化单元105从生成单元103获取量化矩阵901，并使用所获取的量化矩阵901对变换系数进行量化。

为了对16像素×8像素的子块的变换系数进行量化，转换/量化单元105从生成单元103获取量化矩阵1001，并使用所获取的量化矩阵1001对变换系数进行量化。

为了对4像素×16像素的子块的变换系数进行量化，转换/量化单元105从生成单元103获取量化矩阵902，并使用所获取的量化矩阵902对变换系数进行量化。

为了对16像素×4像素的子块的变换系数进行量化，转换/量化单元105从生成单元103获取量化矩阵1002，并使用所获取的量化矩阵1002对变换系数进行量化。

逆量化/逆转换单元106通过使用用于对子块进行量化的量化矩阵而对由转换/量化单元105生成的各个子块的量化系数进行逆量化来生成变换系数，并对变换系数进行逆正交变换，由此生成预测误差。

图像再生单元107基于由预测单元104生成的预测信息，根据存储在帧存储器108中的处理图像生成预测图像，并且根据预测图像和由逆量化/逆转换单元106生成的预测误差来对图像进行再生。图像再生单元107将再生图像存储在帧存储器108中。

环内滤波单元109针对存储在帧存储器108中的图像进行环内滤波处理诸如解块滤波或样本自适应偏移等。

编码单元110对转换/量化单元105生成的量化系数(量化变换系数)和预测单元104生成的预测信息进行熵编码，由此生成编码数据。熵编码的方法不限于特定的方法，可以使用Golomb编码、算术编码、或Huffman编码等。

合成编码单元111使用由量化矩阵编码单元113生成的编码数据来生成报头编码数据，并且通过将由编码单元110生成的编码数据与报头编码数据相乘来生成位流。然后，合成编码单元111输出所生成的位流。

图6A示出位流的配置的示例。序列报头包括与原始量化矩阵800相对应的编码数据，序列报头由各个元素的编码结果形成。然而，要编码的位置不限于此，并且数据可以在图片报头或其它报头中被编码。如果要在一个序列中改变量化矩阵，则可以通过对量化矩阵进行新的编码来更新该量化矩阵。此时，可以重写所有量化矩阵，或者可以通过指定要被重写的量化矩阵的转换块大小来改变其中的部分量化矩阵。

将参照图3的流程图描述由上述图像编码设备对输入图像和量化矩阵的编码处理。在步骤S301中，生成单元103生成原始量化矩阵800，并根据原始量化矩阵800生成量化矩阵901、902、1001和1002。

在步骤S302中，量化矩阵编码单元113根据图11A所示的扫描方法，通过扫描原始量化矩阵800的元素来计算差，并生成一维矩阵作为差分矩阵1000，在该一维矩阵中以计算顺序一维地布置差。量化矩阵编码单元113对计算出的差分矩阵1000进行编码，由此生成编码数据。

在步骤S303中，合成编码单元111对图像编码所需的报头信息进行编码，并且对报头信息和由量化矩阵编码单元113生成的量化矩阵的编码数据进行合成。

在步骤S304中，块分割单元102将输入图像分割为多个基本块。

在步骤S305中，预测单元104选择在步骤S304中分割的基本块中的未被选择的一个，作为所选择的基本块。预测单元104确定子块分割方法(分割模式)，并根据所确定的子块分割方法将所选择的基本块分割为多个子块。此外，预测单元104以子块为单位确定帧内预测模式。针对各个子块，预测单元104通过使用帧存储器108中的图像根据所确定的帧内预测模式进行预测来生成预测图像，并且获得输入图像和预测图像之间的差作为预测误差。此外，预测单元104生成表示子块分割方法的信息、帧内预测模式和诸如运动矢量等的预测所需的信息作为预测信息。

在步骤S306中，转换/量化单元105对各个子块的预测误差进行正交变换，由此生成各个子块的变换系数。针对各个子块，转换/量化单元105使用根据在步骤S301中生成的量化矩阵中的子块的大小的量化矩阵来量化该子块的变换系数，由此生成该子块的量化系数。

在步骤S307中，逆量化/逆转换单元106通过使用用于对子块进行量化的量化矩阵而对在步骤S306中生成的各个子块的量化系数进行逆量化来生成变换系数。然后，逆量化/逆转换单元106对生成的变换系数进行逆正交变换，由此生成预测误差。

在步骤S308中，图像再生单元107基于由预测单元104生成的预测信息，根据存储在帧存储器108中的处理图像生成预测图像。然后，图像再生单元107根据预测图像和由逆量化/逆转换单元106生成的预测误差来对图像进行再生。图像再生单元107将再生图像存储在帧存储器108中。

在步骤S309中，编码单元110对转换/量化单元105生成的量化系数和预测单元104生成的预测信息进行熵编码，由此生成编码数据。合成编码单元111使用由量化矩阵编码单元113生成的编码数据生成报头编码数据，并且对由编码单元110生成的编码数据、以及报头编码数据进行多路复用，由此生成位流。

在步骤S310中，控制单元199判断是否所有基本块都被编码。作为判断的结果，如果所有基本块都被编码，则处理进行到步骤S311。如果还剩余有未编码的基本块，则处理返回到步骤S305。

在步骤S311中，环内滤波单元109针对存储在帧存储器108中的图像进行环内滤波处理，诸如解块滤波或样本自适应偏移等。

根据上述实施例，特别地，在步骤S301中根据一个量化矩阵生成多个量化矩阵，并且在步骤S302中仅对一个量化矩阵进行编码，由此减少量化矩阵的代码量。结果，由于减少了所生成的整体位流的数据量，因此可以提高压缩效率。此外，特别地，图9B和10B中所示的量化矩阵是通过在一个方向上扩大原始量化矩阵并且在另一个方向上减小原始量化矩阵来生成的。与通过简单地减小原始量化矩阵来生成量化矩阵的情况相比，这可以减小原始量化矩阵的数据量，并且与通过简单地扩大原始量化矩阵来生成量化矩阵的情况相比，这可以抑制图像质量的劣化。因此，可以预期具有良好的率失真的平衡的结果。

注意，在本实施例中，根据一个量化矩阵生成多个量化矩阵。然而，可以以量化矩阵为单位来选择是否根据其它量化矩阵生成量化矩阵或者是否对各个元素进行编码，并且可以在报头中编码有表示选择结果的标识符。例如，表示是否根据其它量化矩阵生成量化矩阵的各个元素或者是否对这些元素单独进行编码的信息可以在报头中被编码作为量化矩阵编码方法信息码，由此生成图6B中所示的位流。这使得能够选择性地生成使与子块的大小对应的图像质量控制优先的位流或者量化矩阵的代码量更小的位流。

此外，在本实施例中，描述了根据原始量化矩阵800生成量化矩阵901、902、1001和1002的方法。然而，根据正方形量化矩阵生成矩形量化矩阵的方法不限于第一实施例中所描述的方法。

例如，可以采用根据原始量化矩阵800生成具有如图13A和13B以及图14A和14B所示的矩形形状的量化矩阵1201至1204的方法。

图13A中所示的量化矩阵1201是与8×16正交变换系数相对应的量化矩阵。原始量化矩阵800的行被布置在量化矩阵1201的偶数行中。在量化矩阵1201的各个奇数行中，排列有从夹着奇数行的偶数行插值出的元素。例如，量化矩阵1201中的位置(行，列)＝(1，2)处的元素“14”是作为从紧挨着的上方的偶数行中的元素“13”和紧挨着的下方的偶数行中的元素“15”插值出的值而获得的。

图13B中所示的量化矩阵1202是与4×16正交变换系数相对应的量化矩阵。量化矩阵1202仅由如上所述的根据原始量化矩阵800生成的量化矩阵1201的除去了奇数列的偶数列形成。

图14A中所示的量化矩阵1203是与16×8正交变换系数相对应的量化矩阵。原始量化矩阵800的列被布置在量化矩阵1203的偶数列中。在量化矩阵1203的各个奇数列中，排列有从夹着奇数列的偶数列插值出的元素。例如，在量化矩阵1203中的位置(行，列)＝(2，1)处的元素“14”是作为从在左侧相邻的列中的元素“13”和在右侧相邻的列中的元素“15”插值出的值而获得的。

图14B中所示的量化矩阵1204是与16×4正交变换系数相对应的量化矩阵。量化矩阵1204仅由如上所述的根据原始量化矩阵800生成的量化矩阵1203的除去了奇数行的偶数行形成。

如上所述，在行方向或列方向上扩大或缩小原始量化矩阵800，由此生成另一个量化矩阵。通过此生成方法，可以进行根据频率分量的更精细的量化控制，并且结果是，可以提高图像质量。

此外，在本实施例中，当生成量化矩阵902或量化矩阵1002时，使用原始量化矩阵800的偶数列或偶数行的元素。然而，可以使用原始量化矩阵800的奇数列或奇数行的元素来生成量化矩阵。

例如，可以生成与如图15A所示的4×16正交变换系数相对应的量化矩阵1601或与如图15B所示的16×4正交变换系数相对应的量化矩阵1602。

在量化矩阵1601中，原始量化矩阵800中的位置(行，列)＝(m，2n+1)处的元素被布置在量化矩阵1601中的位置(行，列)＝(2m，n)处和位置(行，列)＝(2m+1，n)处。

在量化矩阵1602中，原始量化矩阵800中的位置(行，列)＝(2m+1，n)处的元素被布置在量化矩阵1602中的位置(行，列)＝(m，2n)处和位置(行，列)＝(m，2n+1)处。

如上所述，可以根据一个原始量化矩阵生成具有相同形状和不同元素的多个量化矩阵。可以对表示对原始量化矩阵的偶数列或奇数列的选择的标志或表示对偶数行或奇数行的选择的标志进行编码。

此外，可以采用根据要使用的正交变换方法的类型来切换这样生成的并具有相同形状的多个量化矩阵的配置。例如，如果正交变换基于离散余弦变换，则生成量化矩阵902或量化矩阵1002。如果正交变换基于离散正弦变换，则生成量化矩阵1601或量化矩阵1602。因此，可以根据要使用的正交变换的特性来使用量化矩阵。

在要使用的正交变换的大小被限制的情况下，可以省略部分量化矩阵的生成或编码。例如，在未进行针对具有大小为4×16像素的子块或具有大小为16×4像素的子块的像素的正交变换的情况下，可以省略量化矩阵902或量化矩阵1002的生成。在未进行针对具有大小为8×8像素、16×8像素、8×16像素、16×4像素以及4×16像素的子块的像素的正交变换的情况下，可以省略原始量化矩阵800自身的编码。在这种情况下，当然也省略量化矩阵901、902、1001和1002的生成。然而，即使未使用针对具有大小为8×8像素的子块的像素的正交变换，在进行针对具有大小为16×8像素、8×16像素、16×4像素和4×16像素中的至少一个的子块的像素的正交变换的情况下，对原始量化矩阵800进行编码，并且生成与正交变换相对应的量化矩阵。因此，仅对要使用的量化矩阵进行编码/生成，并且可以减少在未使用量化矩阵的情况下的额外的代码量。

[第二实施例]

在本实施例中，将描述对由根据第一实施例的图像编码设备编码的输入图像进行解码的图像解码设备。下面将描述与第一实施例的区别，并且除非下面另有说明，否则其余与第一实施例相同。将参照图2的框图描述根据本实施例的图像解码设备的功能配置的示例。

控制单元299控制图像解码设备整体的操作。解复用/解码单元202获取由图像编码设备生成的位流，从位流解复用与解码处理有关的信息和与系数有关的编码数据，并对存在于位流的报头中的编码数据进行解码。在本实施例中，解复用/解码单元202从位流解复用量化矩阵的编码数据。即，解复用/解码单元202进行与上述合成编码单元111的操作相反的操作。

量化矩阵解码单元209获取由解复用/解码单元202从位流解复用的量化矩阵的编码数据，并对获取的编码数据进行解码，由此生成量化矩阵。

解码单元203对由解复用/解码单元202从位流解复用的编码数据进行解码，由此获取量化系数和预测信息。逆量化/逆转换单元204进行与上述图像编码设备中设置的逆量化/逆转换单元106的操作类似的操作。逆量化/逆转换单元204基于由量化矩阵解码单元209解码的量化矩阵，通过对量化系数进行逆量化来获取变换系数，并针对该变换系数进行逆正交变换，由此获取预测误差。

图像再生单元205基于由解码单元203解码的预测信息，通过参考存储在帧存储器206中的图像来生成预测图像。图像再生单元205使用所生成的预测图像和由逆量化/逆转换单元204获得的预测误差来生成再生图像，并将所生成的再生图像存储在帧存储器206中。

环内滤波单元207针对存储在帧存储器206中的再生图像进行环内滤波处理(诸如解块滤波等)。存储在帧存储器206中的再生图像由控制单元299适当地输出。再生图像的输出目的地不限于特定的输出目的地。例如，可以在诸如显示器等的显示装置的显示屏幕上显示再生图像，或者可以将再生图像输出到诸如投影仪等的投影设备。

接下来将描述具有上述配置的图像解码设备的操作(位流解码处理)。在本实施例中，输入到解复用/解码单元202的位流是运动图像的各个帧的位流。然而，输入到解复用/解码单元202的位流可以是静止图像的位流。在本实施例中，为了便于描述，将仅描述帧内预测解码处理。然而，本发明不限于此，并且还可以应用于帧间预测解码处理。

解复用/解码单元202获取由图像编码设备生成的一个帧的位流，从位流解复用与解码处理有关的信息和与系数有关的编码数据，并对存在于位流的报头中的编码数据进行解码。解复用/解码单元202从图6A中所示的位流的序列报头中提取量化矩阵编码数据(量化矩阵的编码数据)，并将量化矩阵编码数据发送到量化矩阵解码单元209。此外，解复用/解码单元202将图片数据的各个基本块的编码数据输出到解码单元203。

量化矩阵解码单元209对由解复用/解码单元202从位流解复用的量化矩阵的编码数据进行解码，由此生成一维差分矩阵。为了对量化矩阵的编码数据进行解码，使用在编码侧所使用的编码表(在第一实施例中，图12A中所示的编码表和图12B中所示的编码表中的在编码侧所使用的编码表)。量化矩阵解码单元209对生成的一维差分矩阵进行逆扫描，由此生成二维量化矩阵(原始量化矩阵)。该处理是与第一实施例中所描述的量化矩阵编码单元113的处理相反的处理。即，在本实施例中，图8中所示的原始量化矩阵800是使用图11A中所示的扫描方法根据图11B中所示的差分矩阵1000来生成的。如在第一实施例中那样，量化矩阵解码单元209根据所生成的原始量化矩阵800生成量化矩阵901、902、1001和1002。此时，根据需要，对上述表示对原始量化矩阵的偶数列或奇数列的选择的标记或者表示对偶数行或奇数行的选择的标记进行解码。根据标记进行根据原始量化矩阵的生成。

解码单元203对由解复用/解码单元202从位流解复用的编码数据进行解码，由此获取量化系数和预测信息。逆量化/逆转换单元204基于作为预测信息之一的表示子块分割方法模式的信息，从由量化矩阵解码单元209生成的原始量化矩阵800以及量化矩阵901、902、1001和1002中选择与要解码的子块的大小对应的量化矩阵。逆量化/逆转换单元204通过使用所选择的量化矩阵对解码对象的子块的量化系数进行逆量化来获取变换系数，并针对变换系数进行逆正交变换，由此获取预测误差。

图像再生单元205基于由解码单元203解码的预测信息，通过参考存储在帧存储器206中的图像来生成预测图像。图像再生单元205使用所生成的预测图像和由逆量化/逆转换单元204获得的预测误差来生成再生图像，并将所生成的再生图像存储在帧存储器206中。环内滤波单元207针对存储在帧存储器206中的再生图像进行环内滤波处(诸如解块滤波等)。

将参照图4的流程图描述由上述图像解码设备对与一个帧相对应的位流进行的解码处理。在步骤S401中，解复用/解码单元202获取与由图像编码设备生成的一个帧相对应的位流。然后，解复用/解码单元202从位流解复用与解码处理有关的信息和与系数有关的编码数据，并对存在于位流的报头中的编码数据进行解码。

在步骤S402中，量化矩阵解码单元209对由解复用/解码单元202从位流解复用的量化矩阵的编码数据进行解码，由此生成一维差分矩阵。然后，量化矩阵解码单元209对所生成的一维差分矩阵进行逆扫描，由此生成二维原始量化矩阵800。如在第一实施例中那样，量化矩阵解码单元209根据所生成的原始量化矩阵800生成量化矩阵901、902、1001和1002。特别地，图9B和10B中所示的量化矩阵902和1002是通过在一个方向上扩大原始量化矩阵并且在另一个方向上减小原始量化矩阵来生成的。与通过简单地减小原始量化矩阵来生成量化矩阵的情况相比，这可以减小原始量化矩阵的数据量，并且与通过简单地扩大原始量化矩阵来生成量化矩阵的情况相比，这可以抑制图像质量的劣化。因此，可以预期具有良好的率失真的平衡的结果。

注意，在图9B和10B中所示的量化矩阵902和1002中，如果当原始量化矩阵的大小是N×N时所生成的量化矩阵具有P×Q的大小，则P和Q是满足P<N<Q或Q<N<P的正整数。注意，当将块分割为子块时，可以根据表示应使用图7B至7F所示的图案中的哪种类型的图案的分割信息来自适应地生成子块。

基于各个基本块来进行步骤S403至S406的处理。在步骤S403中，解码单元203对由解复用/解码单元202从位流解复用的编码数据进行解码，由此获取量化系数和预测信息。

在步骤S404中，逆量化/逆转换单元204从由量化矩阵解码单元209生成的量化矩阵中选择与解码对象的子块的大小和形状对应的量化矩阵。逆量化/逆转换单元204通过使用所选择的量化矩阵对解码对象的子块的量化系数进行逆量化来获取变换系数，并针对变换系数进行逆正交变换，由此获取预测误差。

在步骤S405中，图像再生单元205基于由解码单元203解码的预测信息，通过参考存储在帧存储器206中的图像来生成预测图像。图像再生单元205使用所生成的预测图像和由逆量化/逆转换单元204获得的预测误差来生成再生图像，并将所生成的再生图像存储在帧存储器206中。

在步骤S406中，控制单元299判断位流中所包括的所有基本块的解码是否完成。作为判断的结果，如果位流中所包括的所有基本块的解码完成，则处理进行到步骤S407。另一方面，如果在位流中所包括的所有基本块中还剩余有解码尚未完成的子块，则针对解码尚未完成的子块重复从步骤S403起的处理。

在步骤S407中，环内滤波单元207针对存储在帧存储器206中的再生图像进行环内滤波处理(诸如解块滤波等)。

根据上述实施例，由于仅对在第一实施例中生成的原始量化矩阵进行编码，因此可以对量化矩阵的代码量减少了的位流进行解码。另外，由于将用于对量化矩阵进行解码的元素扫描方法限制为图11A所示的一种类型，因此，可以将用于实现图11A所示的扫描方法的表限制到仅一个表，能够节约存储器。

注意，在本实施例中，根据一个量化矩阵生成多个量化矩阵。然而，可以量化矩阵为单位，从报头解码如下的标识符，该标识符用于选择是否从其它量化矩阵衍生地生成量化矩阵或者是否对被与其它量化矩阵独立地编码的各个元素进行解码。例如，可以从图6B所示的位流的报头，将表示是根据其它量化矩阵生成量化矩阵的元素还是单独解码这些元素的信息解码为量化矩阵编码方法信息码。这使得能够对选择了是否使与子块的大小对应的图像质量控制优先或者是否使量化矩阵的代码量更小的位流进行解码。

此外，在本实施例中，描述了根据原始量化矩阵800生成量化矩阵901、902、1001和1002的方法。然而，与图像编码设备侧一样，根据具有正方形形状的量化矩阵生成具有矩形形状的量化矩阵的方法不限于第一实施例中所描述的方法。例如，可以采用根据原始量化矩阵800生成13A和13B以及图14A和14B中所示的量化矩阵1201至1204的方法。通过此方法，可以进行根据频率分量的更精细的量化控制，并且结果是，可以解码具有更高图像质量的位流。

此外，在由于要使用的正交变换的大小的限制而未使用某量化矩阵大小的情况下，可以省略对未使用的量化矩阵的解码或生成。例如，在未进行针对具有4×16像素或16×4像素的像素大小的子块的正交变换的情况下，可以省略量化矩阵902或量化矩阵1002的生成。在未进行针对具有8×8像素、16×8像素、8×16像素、16×4像素和4×16像素的像素大小的子块的正交变换的情况下，可以省略对原始量化矩阵800自身的解码。在这种情况下，当然也省略量化矩阵901、902、1001和1002的生成。然而，即使未进行针对具有8×8像素的像素大小的子块的正交变换，在进行针对具有16×8像素、8×16像素、16×4像素和4×16像素中的至少一个的大小的子块的正交变换的情况下，对原始量化矩阵800进行解码，并且生成与正交变换相对应的量化矩阵。因此，仅解码/生成要使用的量化矩阵，并且可以对在未使用量化矩阵的情况下额外的代码量减少了的位流进行解码。

注意，在本实施例中，将图像解码设备描述为了与根据第一实施例的图像编码设备不同的设备。然而，图像解码设备和根据第一实施例的图像编码设备可以被合成为一个设备。在这种情况下，该设备可以对输入图像进行编码并且根据需要对编码的输入图像进行解码。

[第三实施例]

图1和2中所示的所有功能单元可以由硬件实现，并且部分可以由软件(计算机程序)实现。在这种情况下，包括作为存储器装置的帧存储器108或帧存储器206并且能够执行计算机程序的计算机设备可以被应用于上述图像编码设备或图像解码设备。将参照图5的框图描述可应用于上述图像编码设备或图像解码设备的计算机设备的硬件配置的示例。

CPU 501使用存储在RAM 502或ROM 503中的计算机程序和数据执行各种处理。因此，CPU 501进行计算机设备整体的操作控制，并执行或控制作为将由上述图像编码设备或图像解码设备执行的处理的上述处理。

RAM 502具有用于存储从ROM 503或外部存储装置506加载的计算机程序和数据以及经由I/F(接口)507从外部接收到的数据(例如，上述运动图像或静止图像的数据)的区域。RAM 502还具有由CPU 501用来执行各种处理的工作区域。因此，RAM 502可以适当地提供各种区域。计算机设备的设置数据和启动程序存储在ROM 503中。

操作单元504是诸如键盘、鼠标或触摸面板等的用户接口。通过操作操作单元504，用户可以向CPU 501输入各种指令。

显示单元505由液晶屏幕或触摸面板屏幕形成，并且可以将CPU 501的处理结果显示为图像或字符。例如，可以在显示单元505上显示由上述图像解码设备解码的再生图像。注意，显示单元505可以是投影设备，诸如投影图像或字符的投影仪等。

外部存储装置506是诸如硬盘驱动器等的大容量信息存储装置。在外部存储装置506中存储有OS(操作系统)和使CPU 501执行或控制上述各种处理(作为由上述图像编码设备或图像解码设备执行的处理)的计算机程序及数据。存储在外部存储装置506中的计算机程序包括用于使CPU 501实现除上述帧存储器108和帧存储器206之外的功能单元的功能的计算机程序。此外，存储在外部存储装置506中的数据包括编码或解码所需的各种信息，诸如图12A或12B中所示的编码表等。

存储在外部存储装置506中的计算机程序和数据在CPU 501的控制下被适当地加载到RAM 502中并由CPU 501处理。注意，上述帧存储器108或帧存储器206可以由诸如RAM502、ROM 503或外部存储装置506等的存储器装置来实现。

I/F 507用作被配置为与外部装置进行数据通信的接口。例如，可以经由I/F 507从外部服务器设备或图像拍摄设备将运动图像或静止图像获取到RAM 502或外部存储装置506。

CPU 501、RAM 502、ROM 503、操作单元504、显示单元505、外部存储装置506和I/F507连接到总线508。注意，图5所示的配置仅仅是可应用于上述图像编码设备或图像解码设备的计算机设备的硬件配置的示例，可以进行各种改变/修改。

[第四实施例]

上述描述中所使用的数值仅用于进行详细描述，并且不意在将上述实施例限制为所使用的数值。例如，量化矩阵的大小和量化矩阵的元素不限于上述数值。

部分或所有上述实施例可以适当地组合使用。可替代地，可以选择性地使用上述实施例中的部分或全部。

(其它实施例)

本发明可以通过经由网络或存储介质向系统或设备提供用于实现上述实施例的一个或多个功能的程序、并使系统或设备的计算机中的一个或多个处理器读出并执行该程序的处理来实现。本发明还可以通过用于实现一个或多个功能的电路(例如，ASIC)来实现。

本发明不限于上述实施例，可以在本发明的精神和范围内进行各种改变和修改。因此，为了向公众告知本发明的范围，作出随附的权利要求。

本申请要求2018年12月17日提交的日本专利申请2018-235909的优先权，其在此通过引用并入本文。

Claims (6)

1.一种图像编码设备，用于对图像进行编码，包括：

生成单元，其被配置为根据具有8×8的大小的第一量化矩阵来生成具有4×16的大小的第二量化矩阵，其中，4×16的大小指示水平方向上的4的大小和垂直方向上的16的大小，所述第一量化矩阵具有r行和r列，并且所述第二量化矩阵具有p行和q列，r是满足0≤r≤7的整数，p是满足0≤p≤15的整数，q是满足0≤q≤3的整数；

变换单元，其被配置为对预测误差进行变换以得到变换系数；以及

量化单元，其被配置为使用所述第二量化矩阵来对具有与4×16的大小相对应的大小的块中的所述变换系数进行量化，

其中，所述生成单元通过如下方式来生成所述第二量化矩阵：在根据所述第一量化矩阵生成所述第二量化矩阵的情况下减少具有8×8的大小的所述第一量化矩阵在水平方向上的元素而不增加具有8×8的大小的所述第一量化矩阵在所述水平方向上的元素，以使得所述第一量化矩阵中的第1列、第3列、第5列和第7列处的所有元素被去除，并且增加具有8×8的大小的所述第一量化矩阵在垂直方向上的元素，以使得所述第一量化矩阵中的第m行且第2n列处的元素被布置为所述第二量化矩阵中的第2m行且第n列处的元素和所述第二量化矩阵中的第2m+1行且第n列处的元素，其中，m和n是零或更大的整数。

2.一种图像解码设备，用于对编码图像进行解码，包括：

生成单元，其被配置为根据具有8×8的大小的第一量化矩阵来生成具有4×16的大小的第二量化矩阵，其中，4×16的大小指示水平方向上的4的大小和垂直方向上的16的大小，所述第一量化矩阵具有r行和r列，并且所述第二量化矩阵具有p行和q列，r是满足0≤r≤7的整数，p是满足0≤p≤15的整数，q是满足0≤q≤3的整数；

逆量化单元，其被配置为使用所述第二量化矩阵来对具有与4×16的大小相对应的大小的块中的量化变换系数进行逆量化，以得到变换系数；以及

逆变换单元，其被配置为对所述变换系数进行逆变换，

其中，所述生成单元通过如下方式来生成所述第二量化矩阵：在根据所述第一量化矩阵生成所述第二量化矩阵的情况下减少具有8×8的大小的所述第一量化矩阵在水平方向上的元素而不增加具有8×8的大小的所述第一量化矩阵在所述水平方向上的元素，以使得所述第一量化矩阵中的第1列、第3列、第5列和第7列处的所有元素被去除，并且增加具有8×8的大小的所述第一量化矩阵在垂直方向上的元素，以使得所述第一量化矩阵中的第m行且第2n列处的元素被布置为所述第二量化矩阵中的第2m行且第n列处的元素和所述第二量化矩阵中的第2m+1行且第n列处的元素，其中，m和n是零或更大的整数。

3.一种图像编码方法，用于对图像进行编码，包括：

根据具有8×8的大小的第一量化矩阵来生成具有4×16的大小的第二量化矩阵，其中，4×16的大小指示水平方向上的4的大小和垂直方向上的16的大小，所述第一量化矩阵具有r行和r列，并且所述第二量化矩阵具有p行和q列，r是满足0≤r≤7的整数，p是满足0≤p≤15的整数，q是满足0≤q≤3的整数；

对预测误差进行变换以得到变换系数；以及

使用所述第二量化矩阵来对具有与4×16的大小相对应的大小的块中的所述变换系数进行量化，

其中，通过如下方式来生成所述第二量化矩阵：在根据所述第一量化矩阵生成所述第二量化矩阵的情况下减少具有8×8的大小的所述第一量化矩阵在水平方向上的元素而不增加具有8×8的大小的所述第一量化矩阵在所述水平方向上的元素，以使得所述第一量化矩阵中的第1列、第3列、第5列和第7列处的所有元素被去除，并且增加具有8×8的大小的所述第一量化矩阵在垂直方向上的元素，以使得所述第一量化矩阵中的第m行且第2n列处的元素被布置为所述第二量化矩阵中的第2m行且第n列处的元素和所述第二量化矩阵中的第2m+1行且第n列处的元素，其中，m和n是零或更大的整数。

4.一种图像解码方法，用于对编码图像进行解码，包括：

根据具有8×8的大小的第一量化矩阵来生成具有4×16的大小的第二量化矩阵，其中，4×16的大小指示水平方向上的4的大小和垂直方向上的16的大小，所述第一量化矩阵具有r行和r列，并且所述第二量化矩阵具有p行和q列，r是满足0≤r≤7的整数，p是满足0≤p≤15的整数，q是满足0≤q≤3的整数；

使用所述第二量化矩阵来对具有与4×16的大小相对应的大小的块中的量化变换系数进行逆量化，以得到变换系数；以及

对所述变换系数进行逆变换，

其中，通过如下方式来生成所述第二量化矩阵：在根据所述第一量化矩阵生成所述第二量化矩阵的情况下减少具有8×8的大小的所述第一量化矩阵在水平方向上的元素而不增加具有8×8的大小的所述第一量化矩阵在所述水平方向上的元素，以使得所述第一量化矩阵中的第1列、第3列、第5列和第7列处的所有元素被去除，并且增加具有8×8的大小的所述第一量化矩阵在垂直方向上的元素，以使得所述第一量化矩阵中的第m行且第2n列处的元素被布置为所述第二量化矩阵中的第2m行且第n列处的元素和所述第二量化矩阵中的第2m+1行且第n列处的元素，其中，m和n是零或更大的整数。

5.一种非暂时性计算机可读存储介质，其存储计算机程序，所述计算机程序用于使计算机：

根据具有8×8的大小的第一量化矩阵来生成具有4×16的大小的第二量化矩阵，其中，4×16的大小指示水平方向上的4的大小和垂直方向上的16的大小，所述第一量化矩阵具有r行和r列，并且所述第二量化矩阵具有p行和q列，r是满足0≤r≤7的整数，p是满足0≤p≤15的整数，q是满足0≤q≤3的整数；

对预测误差进行变换以得到变换系数；以及

使用所述第二量化矩阵来对具有与4×16的大小相对应的大小的块中的所述变换系数进行量化，

其中，通过如下方式来生成所述第二量化矩阵：在根据所述第一量化矩阵生成所述第二量化矩阵的情况下减少具有8×8的大小的所述第一量化矩阵在水平方向上的元素而不增加具有8×8的大小的所述第一量化矩阵在所述水平方向上的元素，以使得所述第一量化矩阵中的第1列、第3列、第5列和第7列处的所有元素被去除，并且增加具有8×8的大小的所述第一量化矩阵在垂直方向上的元素，以使得所述第一量化矩阵中的第m行且第2n列处的元素被布置为所述第二量化矩阵中的第2m行且第n列处的元素和所述第二量化矩阵中的第2m+1行且第n列处的元素，其中，m和n是零或更大的整数。

6.一种非暂时性计算机可读存储介质，其存储计算机程序，所述计算机程序用于使计算机：

根据具有8×8的大小的第一量化矩阵来生成具有4×16的大小的第二量化矩阵，其中，4×16的大小指示水平方向上的4的大小和垂直方向上的16的大小，所述第一量化矩阵具有r行和r列，并且所述第二量化矩阵具有p行和q列，r是满足0≤r≤7的整数，p是满足0≤p≤15的整数，q是满足0≤q≤3的整数；

使用所述第二量化矩阵来对具有与4×16的大小相对应的大小的块中的量化变换系数进行逆量化，以得到变换系数；以及

对所述变换系数进行逆变换，

其中，通过如下方式来生成所述第二量化矩阵：在根据所述第一量化矩阵生成所述第二量化矩阵的情况下减少具有8×8的大小的所述第一量化矩阵在水平方向上的元素而不增加具有8×8的大小的所述第一量化矩阵在所述水平方向上的元素，以使得所述第一量化矩阵中的第1列、第3列、第5列和第7列处的所有元素被去除，并且增加具有8×8的大小的所述第一量化矩阵在垂直方向上的元素，以使得所述第一量化矩阵中的第m行且第2n列处的元素被布置为所述第二量化矩阵中的第2m行且第n列处的元素和所述第二量化矩阵中的第2m+1行且第n列处的元素，其中，m和n是零或更大的整数。