CN1347621A - 减少“块状图像”效应 - Google Patents

Abstract

通过利用相邻像素块的行程长度代码(RLC)将块减少技术应用于图像,对感兴趣的译码图像数据(DP)进行自适应滤波(40),从而平滑相邻像素块之间亮度和颜色层次的一种方法和装置。本发明能够在单个图像块内同时在不同的块之间对像素数据进行自适应滤波(40)。该方法包括获得(20)第一个图像块和相邻图像块的行程长度代码(RLC)的步骤,在第一个图像块和相邻图像块行程长度代码的基础之上获得(30)滤波器系数的步骤,将滤波器系数、第一个译码图像数据(DP)和相邻图像数据提供给一个自适应滤波器(40)的步骤,以及对第一个和相邻图像块的译码图像数据(DP)进行滤波,从而产生滤波图像信号(FP)输出的步骤。该装置包括必要的结构来实现这一方法。

Description

减少“块状图像”效应

总的来说本发明涉及如何改善图像数据的视觉效应(也就是改善图像的质量)，具体地说，涉及一种装置和方法，用于减少采用离散余弦变换的译码图像，比方说MPEG或者JPEG译码图像中的“块状图像”效应。

以数字方式传输图像信号很受欢迎，因为跟模拟信号的传输和广播相比，它具有良好的质量和更大的灵活性。但是，人们已经认识到，数字图像通常都需要大量的数据来表示。已经开发了压缩技术，用来减少代表图象数据信号需要的数据量。

已经开发出各种压缩技术用来压缩这种数字视频或者静态图像信号。这些方法在本质上讲是“有损失的”，也就是说，它们试图用较少的数据来代表数据中最重要的信息，希望译码以后经过MPEG处理过的视频或者其它图像信号的普通观众很难发现译码信号跟原来未译码信号之间的差别。一种常见的压缩形式是将数字信号进行变换编码，将数字信号从空域变换成频率，其思想是利用变换的能量压缩特性，并且将图像像素进行解相关，从而在变换以后的域中更加有效地消除图像的冗余。

从效率和复杂性角度看，人们发现离散余弦变换(DCT)是一种合适的变换。这样，离散余弦变换已经成为一些最新确定的图像压缩国际标准化组织(ISO)标准，比方说JPEG、MPEG第一阶段和MPEG第二阶段的核心技术。MPEG-2标准在国际标准组织—移动图象专家组，H.262建议草案，ISO/IEC 13818-1和13818-2，标题是“信息技术—运动图像和有关音频信号的通用编码”中进行了描述(以后叫做“ISO-MPEG委员会1993年11月的草案”)。在这里采用的术语跟MPEG-2标准中同样的术语含义相同，除非特别说明。

为了利用离散余弦变换方法压缩图像，将这些图像划分成方形象素块(例如8×8的像素块)，然后利用离散余弦变换将这些块中的每一个变换成变换以后的块(8×8)，它们包括离散余弦变换系数。图像中相邻的像素通常都是高度相关的，使得离散余弦变换将图像像素变换成这样的少量离散余弦变换系数，它们的能量只是集中在变换以后的块中左上角，这个区域是低频区域。然后可以将变换获得的这些块量化成量化系数，稍后对它们进行行程长度和可变长度编码，成为行程长度编码数据，进一步地减少统计冗余。离散余弦变换的能量压缩特性能够被很容易地用于高度相关的像素块。

对于边缘块，也就是包括沿着边缘亮度发生突变的部分边缘的块，到现在为止仍然不能有效地对信号能量进行压缩。此外，还没能够有效地屏蔽具有不同能量的相邻像素的亮度突变。也就是说，在编码过程中压缩过度的时候，经过量化以后，多数高阶离散余弦变换系数都变成了0，变化步长太大。这会导致编码图像的空间和色彩细节发生损失。

但是，不能说没有为了克服以上问题进行过许多努力。在第5654759号美国专利中描述了(Augenbraun等)减少译码视频信号中“块”的一次这种努力。但是，Augenbraun等等在描述他们克服以上缺陷的尝试的时候，主要集中在视频数据的预先处理方面。也就是说，Augenbraun等等通过将指令结合进编码视频流，比方说通过利用MPEG传输报头，来试图减少“块”。

由于许多原因这些方法和装置不那么让人满意，一个原因是需要介入传输的编码数据一侧。也就是说，利用这样的结构要求编码器和译码器比通常需要的更加兼容的配置。这样的结构要求系统的译码器一端被特别配制成交换和评估编码器发送的数据，使得系统比只是按照MPEG标准传输数据更加复杂。也就是说，这样的系统中必须结合一些其它技术。

本发明的目的是改善图像的视觉效果，这个图象是从译码图像信号获得的，它包括成块量化系数数据。为此，本发明提供一种方法和一种装置，用于改善图像的视觉效果，就如同独立权利要求中所说明的一样。在从属权利要求中说明了优选实施方案。

一方面，本发明将块减少技术用于编码视频图像或者其它图像，利用相邻象素块的行程长度代码对感兴趣的译码像素数据进行自适应滤波，从而在需要的地方将相邻像素数据之间的亮度和色度层次过滤掉。这个优选实施方案能够自适应地在单独一个图像块内对像素数据进行滤波，也能在块之间这样做，从而进一步改善图像质量。因此，译码能够满足现有技术标准中的要求，比方说MPEG或者JPEG标准，而且不需要对编码数据进行任何额外的预先处理，从而最大程度地降低现有额外处理给系统增加的成本。除此以外，还最大程度地减少了系统的译码器一端需要的努力和额外成本，与此同时改善视频图像。本发明克服了上面提到的缺点，并且能够达到上面的目的和下面将说明的目的。

一般而言，按照本发明的优选实施方案，改善图像视觉效果的方法包括以下步骤：对代表第一个编码图像块的第一个图像数据进行译码，对代表相邻编码图像块的相邻图像数据进行译码，获得第一个编码图像块和相邻编码图像块中每一个的行程长度代码，在第一个编码图像块和相邻编码图像块的行程长度的基础之上获得滤波器系数，将滤波器系数、译码以后的第一个图像数据和相邻图像数据提供给一个自适应滤波器，对第一个和相邻图像块的译码图像数据进行滤波，在它们中间和它们之间对第一个和相邻图像块的译码图像数据进行滤波，将这一算法用于整个图像，包括水平方向和垂直方向，产生一个滤波输出图像信号。

在本发明的一个优选结构中，改善图像视觉效果的一种装置包括对代表第一个编码图像块的图像数据和代表相邻译码图像块的相邻编码图像数据进行译码的一个译码器电路，用于接收跟第一个编码图像块和相邻编码图像块有关的行程长度代码，并且在它们的基础之上获得一组滤波器系数的一个系数获得器，以及在这些滤波器系数和从译码器电路获得的译码图像数据的基础之上产生滤波图像数据的一个自适应滤波器。

本发明的一个目的是提供一种改善了的装置和方法，用于将决减少技术用于编码视频或者其它静态图像数据。

本发明的另外一个目的是利用单个像素块和/或相邻像素块的行程长度代码对译码像素数据进行自适应滤波，平滑亮度和颜色的层次，更加有效地减少“块状图像”效应。也就是说，本发明的一个目的是以自适应方式在单个图像块内部和块之间对像素数据进行自适应滤波。

通过以下描述，同时参考优选实施方案和附图，本发明的这些目的和特征以及其它目的和特征将会变得一目了然，其中相似的部件用相似的引用数字表示，其中：

图1是说明按照本发明的一个实施方案构造的一个装置的框图；

图2说明按照本发明的一个优选实施方案构造的一个自适应滤波器的结构；和

图3说明本发明的一个实施方案中对一组未滤波像素数据进行滤波的一个实例。

本发明提供一些方法和装置，用于减少译码图像中的块。本发明利用行程长度代码(RLC)将自适应滤波技术用于译码图像数据来改善图像质量。

按照本发明的一个实施方案，在广播压缩图像数据之前，比方说但不限于MPEG视频数据，用一个编码器产生编码视频数据流。这样的编码器在本领域中众所周知，可以跟例如第5844614号美国专利或者第5654759号美国专利中所描述的编码器相似。为了完整起见，下面将简短描述用于本发明的合适的编码器。

一般而言，通过压缩对数字图像数据信号进行编码通常都是至少利用帧存储器、离散余弦变换器、量化器、速率控制器和编码单元来做到的。

现在参考一个视频信号。本发明同样可以应用于例如JPEG图像。输入的数字视频或者其它图像序列将一帧一帧地首先进入一个帧存储器。在采用运动估计和补偿技术的压缩系统中，输入的图像帧可以被划分成P帧或者I帧。P帧利用运动估计和补偿进行编码，利用前面的编码帧预测要编码的当前帧的内容。将输入的数字帧馈入帧存储器的时候，还将它存入参考帧存储器用于运动补偿。然后将它传递给一个块采样器，将这个图像划分成空间上不重叠的像素数据块。为了获得合理的自适应能力，最好采用8×8个像素的块。

作为I帧，将采样块输入离散余弦变换器，进行离散余弦变换。变换像素数据获得一个离散余弦变换系数决。获得的离散余弦变换系数被随后传递给量化器，产生量化系数。量化器利用速率控制器给出的量化器矩阵和量化器步长，保证每秒钟产生相当恒定量的数据。量化系数被随后传递给编码单元，对量化系数进行行程长度编码和可变长度编码。编码单元进行的行程长度编码和可变长度编码得到的结果是输出的比特流，它们是要储存或者传递给译码器的图像信号比特流。

现在参考图1，它说明本发明一个优选实施方案中的一个图像译码器10。译码器10最好包括一个图像译码器电路20，将编码图像信号EP作为输入接收。译码器电路20的一个输出(标记为RLC)被传递给系数获得器30的一个输入端，下面将详细描述这个获得器30的功能。第二个输出端，比方说从译码器电路20发送译码图像数据的DP输出，跟自适应滤波器40的输入端连接，比方说按照本发明构造的有限冲击响应滤波器。系数获得器30的输出被传递给自适应滤波器40的第二个输入端。如下所述，滤波器40的输出是按照本发明进行过滤波的滤波图像数据FP，是滤波以前相邻像素块数据和译码图像数据DP的RLC的函数。

合适的图像译码器电路的结构，比方说图像译码器电路20使用的结构，对于本领域里的普通技术人员而言应当是很熟悉的。但是，为了完整起见，下面将概略描述可以接受的图像译码器电路，这个译码器电路在第5844614号美国专利中进行了描述，它们能够用于实现本发明。

一般而言，图像译码器电路20最好至少包括译码单元、逆量化器、逆离散余弦变换、译码帧存储器、本地译码帧存储器，并且可以跟前面描述的编码器连接。收到的比特流，也就是压缩图像信号EP，也有编码信息。这个译码器电路将可变长度和行程长度译码操作应用于编码图像信号。然后，译码单元对可变长度代码进行译码，产生每一块编码帧的量化系数。译码器电路最好还检查要译码的帧的属性，看这个帧是一个I帧还是一个P帧。逆量化器可以跟译码单元连接，接收译码量化系数块，并进行逆量化过程。逆DCT(逆离散余弦变换器)跟逆量化器连接，接收逆量化系数块，并且对它进行逆离散余弦变换。这样，逆离散余弦变换器产生逆离散余弦变换系数块，它是译码像素数据DP的一个块序列。

现在应该认识到图像译码器电路20已经在其中储存了前面提到的通常是在编码器中产生的译码像素数据和RLC，并且能够分别将它们输出给系数获得器30和自适应滤波器40。

系数获得器30从译码器电路20获得RLC。系数获得器30随后利用多个方法获得滤波器40的滤波器系数，这些全部都在本领域中技术人员所了解的范围之内。例如，滤波器系数可以利用储存在获得器30中的算法来获得。或者，滤波器系数可以利用加权因子计算出来。还有，滤波器系数可以储存在查阅表(LUT)中或者链接表中，用于标准编程的所有普通存储方法都用RLC作为“指针”获得。

在一个优选实施方案中，译码帧中跟相邻像素块相关的RLC被输入给系数获得器30，其中的那组滤波器系数可以被选择来对图像元素进行低通滤波。然后将这些滤波器系数输入给自适应滤波器40，其中的译码像素数据被滤波，从而有效地平滑掉变化的亮度或者颜色的像素块之间出现的尖锐的亮度边缘。随后将获得的滤波图像按照普通方式输出。

应当明白，通过另外一种方式，舍弃高阶系数等价于降低编码器中的采样频率。也就是说，应当明白，如果按照奈奎斯特准则，采样频率必须是低通滤波器的带宽的至少两倍才能在恢复以后获得平滑的模拟信号，那么这一个等价频率就可以被用于构造一个滤波器，适当的滤波器系数可以从获得器30中获得。

现在参考图2，它详细地描述滤波器40的结构(为了方便起见同时画出了系数获得器30)。在这个实例中，默认的n×m像素(来自源(也就是译过码的)图像DP’)是8×8，“平滑”操作将在两个图像块的边缘进行，作为一个实例只是针对一条线。也就是说，图2中进行的“平滑”操作是针对第一个像素块中水平域中最后四个像素和相邻块中水平域中的前四个像素进行的。第一块中的每个像素值(也就是坐标是7，5；7，6；7，7；7，8的像素)和相邻块中的每个像素值(也就是坐标是7，1；7，2；7，3；7，4的像素)被分别用跟它有关的一个滤波器系数(K₁～K₈)相乘。通过这种方式，可以通过将调整过的每个译码像素数据值输入给对应的加法器(E₁，E₂，……，E₈)，在相邻像素值的基础之上调整每个未滤波的像素数据值。相应的加法器输出相应滤波块像素的滤波像素数据值，每个滤波图像数据值都是前面提到的刚刚在相应的系数(K₁～K₈)的基础之上调整过来所有像素数据值(来自源图像)的函数。第一个滤波像素块(图2所示)和相邻滤波像素块(没有画出)的每个滤波像素数据值都可以按照这种方式来计算。如果未滤波译码图像数据中存在着无法接受的颜色或者亮度变化，那么就要对这些图像进行平滑，产生观众看起来更加令人舒服的图像。

图3更加一般地描述前面的过程。具体的说，图3是输入给自适应滤波器40的未滤波像素数据DP的一个简单说明。图3还说明RLC被输入给系数获得器30。自适应滤波器40的输出包括调整过的(如果合适，就像下面描述的一样)像素数据，它代表观众看到的滤波图像。

不应当认为前面的实例是限制性的。本发明能够适用于许多不同的结构。例如，本发明能够在块之间或者在块内部平滑译码图像。滤波器40能够在块内，或者在两个相邻块的边缘上调整像素值。在水平域上，上面的实例说明第一个像素块最后四个像素值和相邻块中前四个像素值的滤波。或者单独一个像素块中水平线上的所有八个象素值的像素数据都可以进行滤波。可以修改图2，将两个像素块(也就是7，5；7，6；7，7；7，8；7，1；7，2；7，3；7，4)的源图像像素坐标的基准线向左或向右移动4个坐标(也就是7，1；7，2；7，3；7，4；7，5；7，6；7，7；7，8)。通过这种方式，可以在一块中平滑颜色/亮度。

以上方案还可以组合起来，其中的图像既可以在块内也可以在块间进行平滑。还有，8×8仅仅是n×m像素块的一个实例。可以选择更小的像素块也可以选择更大的像素块，滤波器可以因此而改变。

还有，在这个实例中，在某个时刻滤过波的每个像素数据都取依赖于滤波器内的其它像素数据值。当新的没有滤波的像素值输入滤波器40的时候，滤过波的每个象素值都可以动态地改变。这一特征可以部分地由输出滤波数据的方法来确定，也就是由它是串行输出的还是并行内输出的来确定。

本发明利用RLC中包括的信息。可以用多种方式将RLC发送给获得器30，它们都在本发明的范围之内。在它的基础之上，输出给滤波器40的是预先确定的滤波器系数组，每个译码像素值都可以用对应的预定滤波器系数中的一个相乘。结果被输入给加法器，为每个以前的译码像素值输出一个调整过的像素值。

如同本领域里的技术人员会明白的一样，本发明在水平域和垂直域中同样适用，它的滤波既可以是顺序的也可以是同时进行的，具体取决于图像系统或者滤波器的结构。

应当认识到，本发明能够动态地对具有大量谐波(从而代表具有详细细节的图像数据)的图像数据和少量谐波(代表具有少量细节的图像数据)的图像数据进行滤波。也就是说，仔细地选择、获得算法或者“链接表”数据能够使滤波器40不对像素数据滤波。如果合适，比如在进行逆量化以后离散余弦变换系数都是非0的情形，也就是说在译码像素数据中存在重要的高阶谐波，滤波器40将不调整译码像素数据，滤波器40将输出像素块中的所有细节。在这种情况下，每个滤波器的系数都将等于1，从而不改变对应的像素值。

可以按照以下方式来描述改善图像视觉效果的一种优选方法，其中的图像是从包括通过对输入的图像信号进行编码产生的量化系数数据块的译码图像信号获得的。

具体而言，本发明的这一方法包括以下步骤：从编码器收到编码图像信号以后，对收到的代表n×m像素的第一个图像块的图像数据进行译码，对代表n×m像素的相邻图像块的相邻图像数据进行译码(作为实例而不是进行限制，其中n和m最好都是8)，获得第一个图像块和相邻图像块中每一个的行程长度代码，在第一个图像块和相邻图像块中每一个的行程长度代码的基础之上获得滤波器系数。“获得”不是限制性的。“获得”用于滤波器40的系数也可以是利用已知的算法或者上面描述的方法“计算”出来的。所以，获得应该包括获得这些系数的所有方法。

这个方法还包括以下步骤：将这些滤波器系数和译码图像数据提供给一个自适应滤波器，比方说有限冲击响应滤波器，其中的自适应滤波器可以包括可变衰减器和多个求和电路，如图2所示。从自适应滤波器输出的是输出的滤波图像信号，它们更适合于观看(心理视觉系统)。图4中给出的序列仅仅是实例。例如，RLC可以在译码步骤之前获得或者同时获得。某些步骤可以用不同的顺序来执行，而不会偏离本发明的范围。

最后，应当明白，本发明还可以用辅助的数据AD来加以改进，包括其它MPEG或者其它的压缩数据，进一步地帮助选择滤波器40的系数。在这样一个结果中，从译码器电路20输出给获得器30的将是图1所示的额外的辅助数据。此外，虽然针对的是第一块和相邻块，但是这样做仅仅是为了进行说明。也就是说，必须为整个图像的水平域和垂直域对第一块和所有相邻块(在依次滤波的情形中，首先是水平滤波的情形中，将有两个相邻块：水平方向上的前一个和后一个，上面和下面总共两个)的图像数据进行滤波。

虽然针对优选实施方案描述了本发明，但是本领域里的技术人员应当明白，可以对本发明在形式上和细节上进行修改而不会偏离本发明的范围。

在权利要求中，括号之间的引用符号不应当认为是对权利要求的限制。“包括”这个词不应当排除除了权利要求中列出的以外存在其它的元素或者步骤。本发明可以用包括几个单元的硬件来实现，也可以用适当编程的计算机实现。在列举出几个装置的装置权利要求中，这些装置中的几个可以用一个或者同一个硬件来实现。在互不相同的从属权利要求中重复特定的措施并不是意味着不能采用这些措施的组合。

总之，本发明提供了一种方法和装置，通过利用相邻像素块的行程长度编码(RLC)对感兴趣的译码像素数据(DP)进行自适应滤波，用于将块减少技术应用于图像，平滑掉相邻像素块之间的亮度和颜色层次。本发明能够自适应地对单独一块或者块之间的像素数据进行滤波。这个方法包括以下步骤：获得第一个图像块和相邻图像块的行程长度代码(RLC)，在第一个图像块和相邻图像块的行程长度代码的基础之上获得滤波器系数，并且将这些滤波器系数、译过码的第一个图像数据(DP)和相邻图像数据提供给一个自适应滤波器，对第一个和相邻图像块的图像数据(DP)进行滤波，从而产生一个滤波图像信号(FP)输出。这个装置包括必要的结构来实现这一方法。

Claims (9)

1.改善图像视觉效果的一种方法，其中的图像是从包括量化系数数据块的译码图像信号中获得的，这里的量化系数数据块是通过对输入的图像信号进行编码产生的，该方法包括：

对代表大小是n×m个像素的第一个编码图像块的第一个图像数据进行译码(20)，并且对代表大小是n×m个像素的一个相邻编码图像块的相邻图像数据进行译码；

获得(20)第一个编码图像块和相邻编码图像块中每一个的行程长度代码；

在第一个编码图像块和相邻编码图像块中每一个的行程长度代码的基础之上获得(30)滤波器系数；

将所述滤波器系数、译过码的第一个图像数据和相邻图像数据提供(30)给一个自适应滤波器(40)，对第一个和相邻图像块的译码图像数据进行滤波；

对第一个和相邻图像块的译码图像数据进行滤波(40)；和

产生(40)一个滤波图像信号输出。

2.权利要求1的方法，包括将n选择为等于8以及将m选择为等于8的步骤。

3.权利要求1的方法，包括为n×m个像素的第一个滤波像素块和n×m个像素组成的相邻滤波像素块产生滤波像素数据值的步骤，第一个和相邻滤波像素块的像素数据值是第一个和相邻图像块(500)的译码图像数据的函数。

4.权利要求1的方法，其中的一个滤波器系数等于1，其中滤波像素块中至少有一个滤波像素值等于来自第一个译码像素块和相邻像素块(500)之一的它的对应译码像素值。

5.改善图像视觉效果的一种装置(10)，这个图像是从译码图像信号获得的，包括对输入的图像信号进行编码产生的量化系数数据块，该装置包括：

一个译码器电路(20)，用于对代表n×m个像素的第一个编码图像块的图像数据进行译码，并且对代表n×m个像素的相邻译码图像块的相邻编码图像数据进行译码；

一个系数获得器(30)，跟所述译码器电路(20)连接，用于接收跟第一个编码图像块和相邻编码图像块有关的行程长度代码，以及用于在它的基础之上获得一组滤波器系数；

一个自适应滤波器(40)，跟所述译码器电路(20)和系数获得器(30)连接，用于在来自所述译码器电路的滤波器系数和译码图像数据的基础之上产生滤波图像数据。

6.权利要求5的装置，包括输出滤波图像信号的装置。

7.权利要求5的装置，其中的n被选择为等于8，并且其中的m被选择为等于8。

8.权利要求5的装置，其中的n被选择为不等于8的一个整数，m被选为不等于8的一个整数。

9.权利要求5的装置，其中的自适应滤波器(40)包括多个加法器(E₁，……，E₈)，其中第一个滤波像素块的滤波图像数据是第一个和相邻图像块的行程长度代码和译码图像数据的函数。