CN100493141C - 基于下采样和插值同一性建立数学模型的处理图像的方法 - Google Patents

Abstract

基于下采样和插值同一性建立数学模型的处理图像的方法，它涉及图像处理方法，它解决了现有下采样后图像保持信息少的问题。本发明的步骤为：首先输入待下采样图像F_O；其次建立插值数学模型：F_H＝C_I(U_H F_L U_V)，之后选择插值方法，确定预测模型，确定插值方法的算子C_I，同时根据图像F_O大小确定U_H和U_V；接下来建立下采样数学模型：F_L＝D_H(C_F F_O)D_V；建立插值和下采样统一像素预测模型，由插值的算子C_I和下采样的算子C_F同一性得到C_F，同时得到D_H和D_V；最终通过所得到的F_L＝D_H(C_F F_O)D_V，对图像F_O进行下采样处理；得到下采样图像。本发明可以应用于图像及视频的低码率压缩，不仅减少了压缩算法的计算量，加快处理速度减少延时，还使恢复图像质量有明显的提高。

Description

基于下采样和插值同一性建立数学模型的处理图像的方法

技术领域

本发明涉及一种图像处理方法，具体涉及一种图像插值在下采样中应用的图像处理方法。

背景技术

尺度变换是图像处理中常用的一种技术手段。尺度变换包括尺度降低和尺度提升，分别由下采样(Down-sampling)和插值(Interpolation)来完成。图像下采样降低图像的分辨率，减少了处理的数据量，可以作为在条件受限的系统中实现某些应用的预处理，对于图像及视频低码率压缩也具有重要的意义。例如，H.26X帧内压缩流程与经典的静态图像压缩算法JPEG类似，这里以JPEG为对象进行说明。众所周知，在低比特率情况下，JPEG压缩会导致讨厌的方块效应。但是，同一幅图像通过现有下采样方法后经过JPEG压缩然后再插值，得到的图像比直接采用JPEG压缩到同样的比特率后的恢复图像的质量要好。

下面直观的来解释一下这个现象。假定对给定图像采用8×8像素块进行编码，如果分配太少的比特(例如平均4比特每块)，仅DC系数被编码，解码后图像由常数像素块组成，这样的图像肯定会表现出很强的方块效应。如果图像进行2倍的下采样处理，那么编码的8×8像素块对应原来的16×16像素块，平均使用4·2²＝16比特来编码系数，这样一些比特会被分配给高频DCT系数，并且像素块会表现出更多的细节。更进一步，在提升解码图像尺度的同时，还可以填加进一些增强的因素，而且插值也能进一步模糊方块效应。因此可以推知，低比特率情况下，应用尺度变换进行压缩可以带来较好的客观和主观的图像质量。

2003年12月9日出版的：A.Bruckstein，M.Elad，R.Kimmel.Down-Scalingfor Better Transform Compression.IEEE Transcations on Image Processing文献，1132～1144页，针对JPEG压缩，建立了一个压缩前后经下采样和插值的理论模型，来分析经压缩-解压缩之后图像的重建误差的期望与总的码率、图像的统计特性以及下采样因子之间的函数关系。为尺度变换在低码率图像压缩中的应用提供了理论依据。

虽然下采样具有重要的意义，但是长期以来，对于图像下采样的研究较少，不能满足各种应用的需求。通常采用邻域平均或像素分除的简单方法。与之相对地，人们对图像插值进行了大量的研究并取得了丰富的成果，提出了包括利用临近元素灰度值的连续性进行插值，如最近邻点插值，线性插值，双线性插值，多项式插值和样条插值等；以分形几何为基础的分形内插方法；在变换域(如小波域)实现的插值方法；基于边缘的插值方法等。而且，对下采样和插值研究通常是分开独立进行的，并没有相互借鉴。

发明内容

本发明为了解决现有下采样后图像保持信息少的问题，提出了一种基于下采样和插值同一性建立数学模型的处理图像的方法。

本发明的步骤如下：

步骤一：输入待下采样图像F_o；

步骤二：建立插值数学模型：

F_H＝C_I(U_HF_LU_V)，  (1-1)

其中F_H的像素点的个数等于F_o的像素点的个数，它们的分辨率相同，U_H和U_V为对低分辨率图像进行水平和垂直方向上零像素的插补的算子；C_I为插值处理的算子，即插值像素预测模型；

步骤三：选择插值方法，确定插值像素预测模型，即确定插值方法的算子C_I，同时根据图像F_o大小确定U_H和U_V；

步骤四：建立下采样数学模型：

F_L＝D_H(C_F F_o)D_V，  (1-2)

C_F为下采样的算子，即下采样像素预测模型；D_H和D_v为水平和垂直方向进行下采样的算子；

步骤五：建立插值和下采样统一像素预测模型，由插值的算子CI和下采样的算子C_F的同一性得到C_F，同时得到D_H和D_V；

步骤六：通过所得到的F_L＝D_H(C_F F_o)D_v，对图像F_o进行下采样处理；

步骤七：得到下采样图像。

本发明首先通过建立尺度变换的数学模型，将下采样与插值均看作是对邻域未知像素的预测，建立了统一的像素预测模型，将插值方法应用于图像下采样。现有下采样处理前的图像和插值方法处理后的图像的像素相同，而下采样处理后的图像和插值方法处理前的图像的像素也相同。根据建立尺度变换的数学模型，尺度变换包括尺度降低和尺度提升两种情况，分别由下采样和插值来完成。尺度变换可以通过下面的数学模型来进行描述：给定一幅图像F_o，像素点数为rM×rN，当下采样因子为r时，得到的低分辨率图像为F_L，像素点数为M×N；经插值后恢复到原始分辨率的图像为F_H，像素点数仍为rM×rN。其数学模型可以描述为：

    F_L＝D_H(C_F F_o)D_v

F_H＝C_I(U_HF_LU_V)

由于插值后图像分辨率与下采样前相同，故D_H＝U_H ^T，D_V＝U_V ^T；若水平方向与垂直方向下采样因子同为r且M＝N时，DH＝D_V ^T、U_H＝U_V ^T、D_HD_V＝U_VU_H＝I_M(I_M为M阶单位阵，D_H和D_V、U_H和U_V互为对方的广义逆矩阵)；若以上条件都满足，D_H＝D_V ^T＝U_H ^T＝U_V＝S；模型可以简化为：

F_L＝S(C_FF_o)S^T

F_H＝C_I(S^TF_LS)

假定M＝N＝4，r＝2，那么 $S=\left[\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0\end{array}\right].$

下采样中的C_F与插值中的C_I均是在分辨率为rM×rN的图像上进行的，且均不改变分辨率，因此下采样和插值之间具有同一性。将下采样与插值均看作是对邻域未知像素的预测，建立统一像素预测模型。见附图1和图2，以r＝2为例对下采样与插值的过程进行了说明。其中实心方块表示处理前的原像素，空心三角表示滤波/插值处理之后的像素，图1中实心三角表示经分除后剩余低分辨率图像的像素，图2中原像素是否被更新取决于恢复图像网格与下采样前图像网格的对应关系，操作中并无本质区别。

假设二维光学图像X，不同分辨率图像Y，通过对X进行尺度变换来获得对Y的预测

。首先对Y进行仿射变换，将不同分辨率的Y的坐标网格映射到与X一致的坐标网格上；然后对Y逐点进行预测。若n表示按照光栅扫描的顺序图像像素的坐标，在X中采用N个与Y(n)邻近的点{X(n-k)}，k＝0，1，...，N-1的像素值去预测Y(n)的像素值，则统一像素预测模型表示为：

$\hat{Y}\left(n\right)=F\left(N\left(Y\left(n\right)\right)\right)$

其中，N(·)表示X中Y(n)所对应的邻域，F(·)表示预测函数。

若采用线性预测(即预测值由有限个原图像像素的线性组合来表示)，则统一像素预测模型表示为：

$\hat{Y}\left(n\right)=\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{\α}\left(k\right)X(n-k)$

C_F与C_I的操作分别需要进行rM×rN和(r²-1)×M×N点的预测(C_I不对原低分辨像素点进行更新，反之则预测点数与C_F相同)。实际中下采样操作不对分除像素进行处理，只需进行M×N点的预测。则下采样和插值可以使用同样的预测模型，如果预测函数F(·)既可以在下采样中使用，也可以在插值中使用，那就可以说明下采样和插值确实具有同一性。下采样过程中不同分辨率像素的对应关系，如附图3所示，虚线框内的4个高低分辨率正好是预测低分辨率像素的最好邻域。

本发明通过下采样和插值具有同一性，将图像尺度变换中的下采样与插值过程统一地建立成对邻域未知像素预测的模型，下采样可以使用插值方面的大量成熟技术。实验结果验证了该统一性的思想，并表明与常用的下采样方法相比，在具有保持特征、保护边缘、维持平滑等特性的基础上，能够使下采样后的图像保持更多的信息，从而为下采样在不同应用中的实现提供了更多可选择的方法。

采用512×512的国际公认的测试图像Lena图像作为原图像，分别基于以下5种插值方法进行下采样：像素复制插值方法(PD)、双线性插值方法(Ave)、基于几何对偶性的边缘保持图像插值方法(GD)、基于图像网格三角剖分的图像插值方法(IMT)和基于局域协方差方法(EDILC)进行下采样。(这里仍然沿用PD、Ave、GD、IMT和EDILC代表这几种下采样方法)。采用图像的标准差和信息熵来比较各种方法，对于总像素数为N的8比特灰度图像X，计算公式如下：

$\mathrm{\σ}=\sqrt{\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2}$ 其中 $\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i$

$\mathrm{Entropy}=-\underset{i=1}{\overset{255}{\mathrm{\Σ}}}{p}_i{\log }_2{p}_i$ 　其中p_i表示灰度级i出现的概率

表1　Lena图像下采样结果的比较

评价结果如表1所示，第一行表示的是原始Lena图像的标准差和信息熵。可以看到，PD下采样后，标准差和信息熵与原图几乎完全一致，这是由于这时实际上是在评价原图像的一个子集。而同样与原图信息熵较接近的是EDILC方法，但是可以看到其标准差甚至超过了原图像，说明该方法是由于像素的波动客观上超过了原图像而带来了类似视觉增强的效果。Ave下采样后，邻域平均使得像素波动变小，体现在主观上是图像变得平滑、对比度降低；体现在客观上是标准差和信息熵降低。本章研究的GD和IMT方法下采样后，相比Ave的结果保持了像素灰度上的波动，信息损失较小，视觉上边缘较清晰。如图4～图9所示。

结果表明与常用的下采样方法相比，在具有保持特征、保护边缘、维持平滑等特性的基础上，能够使下采样后的图像保持更多的信息，从而为下采样在不同应用中的实现提供了更多可选择的方法。本发明可以应用于图像及视频的低码率压缩，不仅减少了压缩算法的计算量，加快处理速度减少延时，还使恢复图像质量有明显的提高。

附图说明

图1是下采样过程中像素对应关系示意图；图2是插值过程中像素对应关系示意图；图3是下采样过程中不同分辨率像素的对应关系示意图；图4是原图像的效果图；图5是基于像素复制插值方法(PD)进行下采样的效果图；图6是基于双线性插值方法(Ave)进行下采样图像的效果图；图7是基于几何对偶性的边缘保持图像插值方法(GD)进行下采样图像的效果图；图8是基于图像网格三角剖分的图像插值方法(IMT)进行下采样的效果图；图9是基于局域协方差的方法(EDILC)进行下采样的效果图；图10是本发明的流程图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式的步骤如下：

步骤一：输入待下采样图像F_O；

步骤二：建立插值数学模型：

F_H＝C_I(U_H F_L U_V)，  (1-1)

其中F_H的像素点等于F_O的像素点，它们的分辨率相同，U_H和U_V为对低分辨率图像进行水平和垂直方向上零像素的插补的算子；C_I为插值处理的算子，即像素预测模型；

步骤三：选择插值方法，确定像素预测模型，即确定插值方法的算子C_I，同时根据图像F_O大小确定U_H和U_V；

步骤四：建立下采样数学模型：

F_L＝D_H(C_F F_O)D_V，  (1-2)

C_F为下采样的算子，即像素预测模型；D_H和D_V为水平和垂直方向进行下采样的算子；

步骤五：建立插值和下采样统一像素预测模型，由插值的算子C_I和下采样的算子C_F同一性得到C_F，同时得到D_H和D_V；

步骤六：通过所得到的F_L＝D_H(C_F F_O)D_V，对图像F_O进行下采样处理；

步骤七：得到下采样图像。

具体实施方式二：本实施方式与具体实施方式一不同点在于步骤三中所选择插值方法有像素复制插值方法(PD)、双线性插值方法(Ave)、基于几何对偶性的边缘保持图像插值方法(GD)、基于图像网格三角剖分的图像插值方法(IMT)和基于局域协方差方法(EDILC)；确定其中的像素预测模型：

$\hat{Y}\left(n\right)=F\left(N\left(Y\left(n\right)\right)\right);---(1-3)$

其中，N(·)表示X中Y(n)所对应的邻域，F(·)表示预测函数。

若采用线性预测(即预测值由有限个原图像像素的线性组合来表示)，则预测模型表示为：

$\hat{Y}\left(n\right)=\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{\α}\left(k\right)X(n-k);---(1-4)$

基于线性预测模型的像素复制插值方法预测模型为：

Y_{2l-1,2j-1＝Xi,j}，Y_2i，2j＝Y_2l,-1，2j-1；

基于线性预测模型的双线性插值方法预测模型为：

Y_2i-1，2j-1＝X_i,j；

Y_2l，2j＝(1-α)(1-β)Y_2l-1，2j-1+α(1-β)Y_2l-1,2j+1+β(1-α)Y_2l+1，2j-1+αβY_2l+1，2j+1；其中的αβ均为双线型插值参数；

基于线性预测模型的几何对偶性的边缘保持图像插值方法预测模型为：

Y_2i-1，2j-1＝X_i，j， $Y_{2i,2j}=\underset{k=0}{\overset{1}{\mathrm{\Σ}}}\underset{l=0}{\overset{1}{\mathrm{\Σ}}}{\mathrm{\α}}_h^{2k+l+1}{Y}_{2(i+k)-\mathrm{1,2}(j+l)-1},$

对于 ${\stackrel{\→}{\mathrm{\α}}}_h={[{\mathrm{\α}}_h^1,{\mathrm{\α}}_h^2,{\mathrm{\α}}_h^3,{\mathrm{\α}}_h^4]}^T$ 的求取利用低分辨线性预测模型和高分辨线性预测模型之间的几何对偶特性。其它步骤与具体实施方式一相同。

Claims (4)

1、基于下采样和插值同一性建立数学模型的处理图像的方法，其特征在于它的步骤如下：

步骤一：输入待下采样图像F_O；

步骤二：建立插值数学模型：

F_H＝C_I(U_HF_LU_V)，(1-1)

其中F_H的像素点的个数等于F_O的像素点的个数，它们的分辨率相同，U_H和U_V为对低分辨率图像进行水平和垂直方向上零像素的插补的算子；C_I为插值处理的算子，即插值像素预测模型；

步骤三：选择插值方法，确定插值像素预测模型，即确定插值方法的算子C_I，同时根据图像F_O大小确定U_H和U_V；

步骤四：建立下采样数学模型：

F_L＝D_H(C_FF_O)D_V，(1-2)

C_F为下采样的算子，即下采样像素预测模型；D_H和D_V为水平和垂直方向进行下采样的算子；

步骤五：建立插值和下采样统一像素预测模型，由插值的算子C_I和下采样的算子C_F同一性得到C_F，同时得到D_H和D_V；

步骤六：通过所得到的F_L＝D_H(C_FF_O)D_V，对图像F_O进行下采样处理；

步骤七：得到下采样图像，

下采样中的C_F与插值中的C_I均是在分辨率为rM×rN的图像上进行的，且均不改变分辨率，因此下采样和插值之间具有同一性。

2、根据权利要求1所述的基于下采样和插值同一性建立数学模型的处理图像的方法，其特征在于步骤三中所选择插值方法有像素复制插值方法(PD)、双线性插值方法(Ave)、基于几何对偶性的边缘保持图像插值方法(GD)、基于图像网格三角剖分的图像插值方法(IMT)和基于局域协方差方法(EDILC)。

3、根据权利要求1所述的基于下采样和插值同一性建立数学模型的处理图像的方法，其特征在于步骤三中的插值像素预测模型表示为：

$\hat{Y}\left(n\right)=F\left(N\left(Y\left(n\right)\right)\right)---(1-3)$

其中，N(·)表示X中Y(n)所对应的邻域，X为二维光学图像，F(·)表示预测函数。

4、根据权利要求3所述的基于下采样和插值同一性建立数学模型的处理图像的方法，其特征在于预测函数F(·)采用线性预测。

Images