CN100562129C - 视频编码的时域滤波方法 - Google Patents

Abstract

本发明公开了一种视频编码的时域滤波方法，在同一宏块内部，对亮度分量和色度分量数据分别进行操作：对于亮度分量，首先计算当前帧当前宏块与前一帧对应宏块中亮度分量的绝对差值总和以初步将该宏块赋予一定的属性标记，根据所判定的宏块属性标记分别采取相应策略。对于判定为可能静止并且其邻近宏块满足特定规则的宏块，根据其中各象素点与前一帧对应象素点亮度分量的绝对差值的统计信息，判断其运动属性，根据判定的宏块属性，分别采取相应的滤波方法，对于判定为静止宏块的宏块，根据其属性采取相应策略。本发明克服了现有技术中复杂度较高、适应性较弱的缺点，在满足实时性要求的同时具有较强的鲁棒性。

Description

视频编码的时域滤波方法

技术领域

本发明属于计算机图像信息处理领域，具体涉及一种在视频编码中减少噪声的时域滤波方法。

背景技术

计算机图像信息处理技术随着社会各领域的需求而快速发展。视频编码噪声的处理是其中的重要问题。将摄像头拍摄到的静止场景输送到电视屏幕时，往往会发现图形序列出现麻点噪声，对于纹理丰富的场景，这一现象尤为明显。由于麻点噪声的影响，使得静止场景相同位置下的象素值在不同时刻出现非相关性。当采用诸如国际标准化组织(ISO)的MPEG和国际无线通信联盟(ITU)推荐的H.263图像编码标准直接对这些序列进行编码时，由于相邻时刻图像在预测时的相关性比较弱，必将导致编码压缩比降低，进而影响静止序列下的图像效果。

为了抑制噪声，可以通过空域的、时域的或时空域的滤波器来实现，其中空域滤波器只需要在某时刻一帧图像内完成，而时域滤波器则需要从两个或更多的连续的图像上获取数据，另外，时域滤波能够更好地消除序列间的不相关性。对于时域滤波，近年来出现一些相关研究和方法，例如：索尼公司申请的专利“视频数据处理设备和视频数据处理方法”(公开号为CN 1336765A)，该专利方法中的时域滤波部分将输入视频数据作为图像编码难易程度的函数，在编码时由自适应滤波器自适应滤波，方法包括场景变化检测、编码难易计算、运动补偿字段递归降噪、多路复用等一系列处理过程，其计算复杂度较高，对实时视频的编码不太适用；美国公开号为6,281,942的“Spatial and temporal filtering mechanism for digital motionvideo signals”，该专利方法首先以一定大小的块为单位判断其是否满足特定准则，然后在符合条件的块内根据其中各象素与其前帧对应象素之间的差值信息决定该象素的滤波强度，此方法对噪声小的静止序列能获得较好的处理效果，但难以区分噪声较小的小运动区域和噪声较大的静止区域，适应性较弱。

发明内容

本发明所要解决的技术问题是提供一种在编码系统中减小编码序列噪声的时域滤波方法，使编码序列中的静止宏块在序列中不同图像之间具有更好的相关性，并且克服现有技术中复杂度较高、适应性较弱的缺点，在满足实时性要求的同时具有较强的鲁棒性。本发明所述的视频编码的时域滤波方法中，作为视频编码系统的一部分，当前帧当前宏块的滤波操作在其上一宏块的运动搜索之后、当前宏块的运动搜索之前进行，在同一宏块内部，对亮度分量和色度分量数据分别进行操作：

(一)亮度分量的处理，包括以下步骤：

第一步：计算当前帧(指未经时域滤波的当前图像，以下同)当前宏块与前一帧(指经过时域滤波的前帧图像，以下同)对应宏块中亮度分量的绝对差值总和(即SAD值)以初步将宏块赋予一定的属性标记(此时的属性标记自定义为运动宏块或可能静止宏块两种情况)；

1)计算当前帧的任一宏块与前一帧对应宏块的各亮度分量之差的绝对值总和；

2)根据该总和与门限的比较结果，将宏块赋予一定的标记；其中门限值为经验值，通过大量实验确定。

第二步：根据第一步所判定的宏块属性标记，及其邻近宏块的标记及运动矢量等信息，分别采取相应策略：对于运动宏块或其邻近宏块不满足预定规则的可能静止宏块，不执行滤波操作，以当前宏块的亮度分量作为处理结果，跳到第六步；否则继续执行第三步操作；

第三步：对于由第二步判断为需要继续进行处理的宏块，根据其中各象素点与前一帧对应象素点亮度分量的绝对差值的统计信息，判断其运动属性(此时运动属性定义为运动或静止两种)；

1)根据各对应象素点的亮度分量之间的绝对差值与设定门限的比较结果，将象素点赋予运动或静止标记；

2)分别统计该宏块的四个块中运动象素点的数目并计算其总和；

3)由2)的结果，依照预定判决规则及门限，最终确定该宏块的属性。其中，预定判决规则以及门限值由大量实验结果确定。

第四步，根据第三步判定的宏块属性，分别采取相应的滤波方法：对于运动宏块，不执行滤波操作，跳到第六步；对于静止宏块，继续执行第五步操作；

第五步，对于在第三步判定为静止宏块的宏块，将其亮度分量SAD值与设定门限相比较判定其属性(此处的属性自定义为绝对静止或一般静止)。然后根据其属性采取以下策略：如果被判定为绝对静止宏块，则采用前一帧对应宏块的亮度分量作为该宏块的亮度分量；反之，如果被判定为一般静止宏块，则将该宏块的各亮度分量与前一帧对应亮度分量采用预定权值逐一进行滤波，所产生的新亮度值为该宏块的处理结果。

第六步，结束本宏块亮度分量的时域滤波处理。

(二)色度分量的处理，包括以下步骤：

第一步，计算当前帧当前宏块与前一帧对应宏块的色度分量的绝对差值总和(即SAD值)并判断其是否需要执行滤波操作；

第二步，根据第一步的判断结果，分别采取相应的处理方法：如判断为需要进行滤波，则将该宏块的色度分量与前一帧对应宏块色度分量采用预定权值逐一进行滤波，所产生的新象素值为色度分量的处理结果；否则，不执行滤波操作，直接保存当前数据；

第三步，结束本宏块色度分量的时域滤波处理。

采用本发明的方法，使编码序列中的静止宏块在序列中不同图像之间具有更强的相关性，并且克服现有技术中复杂度较高、适应性较弱的缺点，在满足实时性要求的同时具有较强的鲁棒性。

附图说明

图1是本发明所述的时域滤波方法中亮度分量处理流程图；

图2是本发明所述的时域滤波方法中色度分量处理流程图；

具体实施方式

下面结合附图和具体实施方式对本发明所述方法作进一步描述。

本发明的时域滤波方法以宏块为单位进行，作为视频编码系统的一部分，当前帧当前宏块的滤波操作在其上一宏块的运动搜索之后、当前宏块的运动搜索之前进行，在同一宏块内部，对亮度分量和色度分量数据分别进行操作，两者的处理可以并行进行。下面结合附图对本发明做进一步的详细描述。

(一)亮度分量的具体实施方式

本发明的时域滤波方法对亮度分量的处理可具体分为宏块中运动宏块的检测与处理，可能静止并满足预定规则的宏块中绝对静止宏块与一般静止宏块的检测与滤波几部分(如图1所示)。

第一步，计算当前帧当前宏块与前一帧对应宏块中亮度分量的绝对差值总和(即SAD值)以初步将该宏块赋予一定的属性标记，此时属性标记分别表示运动宏块、可能静止宏块。具体包括以下步骤：

1)计算当前宏块与前一帧对应宏块各亮度分量之差的绝对值总和(SAD)；

具体实施如下：

对任意当前宏块，计算 ${\mathrm{SAD}}_y=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\right|Y_i-Y_i^{\′}\left|\right);$

其中，SAD_y为当前宏块与前一帧对应宏块亮度分量之间的SAD值；N为宏块的亮度分量总数；Y_i为当前宏块第i个亮度分量的值；Y′_i为前一帧对应宏块第i个亮度分量的值；

2)根据该SAD值与门限的比较结果，确定该宏块属性。

具体实施如下：

如果任一宏块的SAD_y＞T₁，将该宏块标记为运动宏块；否则将该宏块标记为可能静止宏块。其中T₁为门限值，该数值通过大量的实验获得，这里选择的是一个偏大的数值，以尽量避免一些噪声较大的静止宏块被误判为运动宏块，例如，可取为1200。

第二步，根据第一步判定的宏块属性标记，及其邻近宏块的标记及运动矢量等信息，分别采取相应策略：

对于运动宏块或其邻近宏块不满足预定规则的可能静止宏块，则认为该宏块与前一帧对应位置宏块已不具备内容上的相关性，对其不执行滤波操作，以当前宏块的亮度分量作为处理结果，但不改变当前宏块属性标记，跳到第六步；否则，继续执行第三步的操作。

具体实施如下：

如果宏块被标记为可能静止宏块，

如果其邻近宏块不满足预定规则，

以当前宏块亮度分量作为处理结果，并跳到第六步；

否则继续进行第三步操作，

否则以当前宏块亮度分量作为处理结果，并跳到第六步。

其中，这里提到的邻近宏块指的是以当前宏块为中心，一定尺寸窗口内已经过处理(包括视频编码中的前处理、运动搜索等操作)的一个或多个宏块；预定规则是指为增强方法鲁棒性所添加的附加规定，这样使得一些SAD值较小的非静止宏块在不进行后续判断的同时得到正确处理。这些规定包括邻近宏块是否包含带运动标记的宏块(第一步的判断结果)、带运动矢量的宏块，以及该宏块相同列方向的邻近宏块在水平方向一定范围内是否存在带运动矢量的宏块等情况，此规则由实验确定，可根据效果进行调整，实用中并不局限于此。

例如，可以采用如下规则：

1)其左边宏块、左上边、正上、右上边宏块均为由第一步标记为可能静止宏块的宏块；

2)其左边宏块、左上边、正上、右上边宏块均无运动矢量；

3)其前面三行相同列位置的宏块在其同一行上一定范围内左右两边不同时存在带运动矢量的非孤立宏块(这里指其周围至少存在一个带运动矢量的宏块)。具体实施时，可以将任一行上在不超过一定跨度的两个带运动矢量的非孤立宏块对之间的宏块加以特殊标记，如果前面三行相同列的宏块均未被打上此标记，则认为此宏块符合3)的规定。

若以上三条规则同时满足则表示符合规定。

第三步，考虑到对于一些包含小面积运动对象的宏块，其SAD值可能小于第一步所设定的门限，并且其邻近宏块满足第二步设定的规则，故需要对可能静止宏块进行进一步的判断以排除其中的非静止宏块：根据其中各象素点与前一帧对应象素点亮度分量绝对差值的统计信息，判断其运动属性，其属性最终自定义为运动或静止两种。具体包括以下步骤：

1)根据各对应象素点的亮度分量之间的绝对差值与门限的比较结果，将象素点赋予运动或静止标记。

具体实施如下：

令Diff_i＝|Y_i-Y′_i|，如果Diff_i＞T_d，令Mark_i＝1；否则，令Mark_i＝0

其中，Diff_i表示该宏块与前一帧对应宏块第i个亮度分量之差的绝对值；Y_i、Y′_i的定义与前面相同；Mark_i为第i个象素点的标记；T_d为将象素点判断为运动的门限值，其取值由大量实验确定，本发明中取为8。

2)在该宏块的亮度分量中以块为单位分别统计其运动象素点的数目并计算其总和；

具体实施如下：

$P_j=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{Mark}}_i,\mathrm{Sum}=\underset{j=1}{\overset{4}{\mathrm{\Σ}}}{P}_j$

其中P_j表示第j个块的运动象素点数；M表示一个块的亮度分量总数；Sum表示该宏块的总运动象素点数。

3)由2)的结果，依照预定判决规则及门限，最终确定该宏块的属性。

具体实施如下：

如果任一P_j＞T_a或Sum＞T_b，判断该宏块为运动宏块；否则，判断该宏块为静止宏块。其中，门限值T_a、T_b分别表示块与宏块中运动象素点数门限，其取值由大量实验结果确定，本发明中分别取3、6。

第四步，根据第三步判定的宏块属性，采取相应的滤波方法：对于运动宏块，不执行滤波操作，跳到第六步；对于静止宏块，继续执行第五步操作；

第五步，对于由第三步判定为静止宏块的宏块，根据其第一步计算的亮度分量的SAD值与设定门限的比较结果判定其属性(此处的属性自定义为绝对静止或一般静止)，并根据其属性采取相应的策略，具体实施如下：

如果SAD_y＞T₂，对宏块中各亮度分量：Y_i＝αY_i+βY′_i；否则，对宏块中各亮度分量：Y_i＝Y′_i。其中T₂为门限值，由实验确定，本发明中取400；Y_i、Y′_i的定义与前面相同；α、β表示权值系数，由实验进行设置，也可以根据需要使其随宏块的SAD值或该象素与其对应象素亮度分量的绝对差值等信息自适应变化，本发明中各取0.5，相当于执行均值操作。

第六步，结束本宏块亮度分量的时域滤波处理。

(二)色度分量的具体实施方式

本发明的时域滤波方法中对色度分量的处理比较简单，下面结合图2进行说明。

第一步，计算当前帧当前宏块与前一帧对应宏块色度分量的绝对差值总和(即SAD值)并判断其是否需要执行滤波操作。具体实施如下：

对任一宏块，令 ${\mathrm{SAD}}_{\mathrm{uv}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\right|{\mathrm{UV}}_i-{\mathrm{UV}}_i^{\′}\left|\right);$

其中SAD_uv为当前宏块与前一帧对应宏块色度分量的SAD值；N为宏块的色度分量总数；UV_i为当前宏块第i个色度分量的值；UV′_i为前一帧对应宏块第i个色度分量的值。

第二步，根据该SAD值与门限的比较结果，分别采取相应的处理方法。具体实施如下：

如果该宏块SAD_uv＜T₃，则UV_i＝(UV_i+UV′_i)/2；否则，不执行滤波操作。其中，UV_i、UV′_i的定义与前同。T₃为门限值，通过大量实验获得，本发明中取为200。

第三步，结束本宏块色度分量的时域滤波处理。

时域滤波方法是视频压缩中视频序列预处理的一个重要技术，会直接影响图像的主观质量。本发明的滤波方法可广泛应用于视频编码系统中，方法计算复杂度较低，并且在一定的传输速率下可以获得实时高质的图像效果，具有较高的实用价值。

Claims (11)

1、一种视频编码的时域滤波方法，其特征在于，当前帧当前宏块的滤波操作在其上一宏块的运动搜索之后、当前宏块的运动搜索之前进行，在同一宏块内部，对亮度分量和色度分量数据分别进行如下操作：

(一)亮度分量的处理，包括以下步骤：

第一步：计算当前帧当前宏块与前一帧对应宏块中亮度分量的绝对差值总和(SAD)值，以初步将当前宏块赋予属性标记，所述属性标记是运动宏块或可能静止宏块；

第二步：根据第一步所判定的当前宏块的属性标记，及该当前宏块的邻近宏块的属性标记及运动矢量信息，分别进行下述处理：对于属性标记为运动宏块的当前宏块，或属性标记为可能静止宏块的当前宏块且该当前宏块的邻近宏块不满足预定规则，则不执行滤波操作，以当前宏块的亮度分量作为处理结果，跳到第六步；否则继续执行第三步操作；

第三步：根据当前宏块各象素点亮度分量与前一帧对应宏块的各对应象素点亮度分量的绝对差值的统计信息，判断当前宏块的运动属性，所述运动属性是运动或静止；

第四步：根据第三步判定的当前宏块的运动属性，分别采取相应的滤波方法：对于运动属性为运动的当前宏块，不执行滤波操作，跳到第六步；对于运动属性为静止的当前宏块，继续执行第五步操作；

第五步：将当前宏块的亮度分量的SAD值与设定门限相比较，判定当前宏块的属性，所述属性自定义为绝对静止或一般静止，如果被判定为绝对静止宏块，则采用前一帧对应宏块的亮度分量作为该当前宏块的亮度分量；反之，如果被判定为一般静止宏块，则将该当前宏块的各亮度分量与前一帧对应亮度分量采用预定权值逐一进行滤波，所产生的新亮度值为该当前宏块的处理结果；

第六步：结束本当前宏块亮度分量的时域滤波处理；

(二)色度分量的处理，包括以下步骤：

第一步：计算当前帧当前宏块与前一帧对应宏块的色度分量的绝对差值总和；

第二步：根据所述色度分量的绝对差值总和，判断当前宏块是否需要执行滤波操作，若不需要执行滤波操作，则以当前宏块的色度分量作为处理结果，若需要执行滤波操作，则将该当前宏块的色度分量与前一帧对应色度分量采用预定权值逐一进行滤波，所产生的新象素值为色度分量的处理结果；

第三步：结束本当前宏块色度分量的时域滤波处理。

2、根据权利要求1所述视频编码的时域滤波方法，其特征在于，所述的当前帧指未经时域滤波的当前图像，所述的前一帧指经过时域滤波的前帧图像。

3、根据权利要求1所述视频编码的时域滤波方法，其特征在于，所述亮度分量处理第一步中将当前宏块赋予属性标记具体包括以下步骤：

将SAD值与门限进行比较，若SAD值大于所述门限，则将当前宏块的属性标记设为运动宏块；否则将当前宏块的属性标记设为可能静止宏块。

4、根据权利要求1所述视频编码的时域滤波方法，其特征在于，所述亮度分量处理第三步具体包括以下步骤：

1)根据当前宏块与前一帧对应宏块各对应象素点的亮度分量之间的绝对差值与设定门限的比较结果，将象素点赋予运动或静止标记；

2)在该当前宏块的亮度分量中以块为单位分别统计块内运动象素点的数目并计算当前宏块运动象素的数目的总和；

3)由2)的结果，依照预定判决规则及门限，最终确定该当前宏块的运动属性。

5、根据权利要求4所述视频编码的时域滤波方法，其特征在于，在步骤1)中，该当前宏块与前一帧对应宏块第i个亮度分量之差的绝对值Diff_i＝|Y_i-Y′_i|，如果Diff_i＞T_d，令Mark_i＝1，否则令Mark_i＝0；

其中，Y_i、Y′_i分别是当前宏块和前一帧对应宏块第i个亮度分量；Mark_i为第i个象素点的标记；T_d为将象素点判断为运动的门限值。

6、根据权利要求4所述视频编码的时域滤波方法，其特征在于，在步骤2)中， $P_j=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{Mark}}_i,$ $\mathrm{Sum}=\underset{j=1}{\overset{4}{\mathrm{\Σ}}}{P}_j;$

其中P_j表示第j个块的运动象素点数；M表示一个块的亮度分量象素总数；Sum表示该当前宏块的总运动象素点数。

7、根据权利要求4所述视频编码的时域滤波方法，其特征在于，在步骤3)中，如果任一p_j＞T_a或Sum＞T_b，则判断该当前宏块为运动宏块，否则判断该当前宏块为静止宏块；

其中，门限值T_a、T_b分别表示块与宏块中运动象素点数门限。

8、根据权利要求1所述视频编码的时域滤波方法，其特征在于，所述亮度分量处理第五步中，判定当前宏块的属性的具体方式和相应采用的滤波器为：如果SAD＞T₂，则当前宏块的属性为一般静止，且采用的滤波器为： ${\tilde{Y}}_i=\mathrm{\α}{Y}_i+\mathrm{\β}{Y}_i^{\′};$ 否则当前宏块的属性为绝对静止，且采用的滤波器为： ${\tilde{Y}}_i=Y_i^{\′}$

其中T₂为门限值；Y_i、Y′_i分别是当前宏块和前一帧对应宏块第i个亮度分量，是当前宏块第i个亮度分量的滤波结果；α、β表示权值系数。

9、根据权利要求8所述视频编码的时域滤波方法，其特征在于，T₂取400；α、β各取0.5。

10、根据权利要求1所述视频编码的时域滤波方法，其特征在于，所述色度分量处理第一步中，具体实施如下：

对任一当前宏块，令 ${\mathrm{SAD}}_{\mathrm{uv}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\right|{\mathrm{UV}}_i-{\mathrm{UV}}_i^{\′}\left|\right);$

其中SAD_uv为当前宏块与前一帧对应宏块色度分量的SAD值；N为宏块的色度分量象素总数；UV_i为当前宏块色度分量第i个象素值；UV′_i为前一帧对应宏块色度分量第i个象素值。

11、根据权利要求10所述视频编码的时域滤波方法，其特征在于，所述色度分量处理第二步中，具体实施如下：

如果该当前宏块SAD_uv＜T₃，则UV_i＝(UV_i+UV′_i)/2；否则不执行滤波操作；

其中T₃为门限值。