CN1440203A - 自适应运动估计装置和方法 - Google Patents

Abstract

一种自适应运动估计装置和方法。全搜索运动估计部分根据当前帧和/或场以及参考帧和/或场从在预定搜索范围中的所有块获得一个运动向量；预测运动估计部分从其中估计候选运动向量的一个块的周围块估计一个运动向量。运动向量选择部分在所获得和估计的运动向量中确定与存储的阈值相比具有最小误差的位置值的运动向量来作为最终运动向量。由于自适应地选择全搜索运动估计算法和预测运动估计算法，因此可以获得平滑和正确的反映实际运动的运动向量。

Description

自适应运动估计装置和方法

技术领域

本申请要求于2002年2月23日向韩国知识产权局提交的韩国申请第2002-9746号的优先权，其公开内容在此并入作为参考。

本发明涉及一种用于自适应运动估计的装置和自适应运动估计的方法，具体涉及一种一种自适应地选择全搜索运动估计方法和预测运动估计方法之一和按照自适应选择的方法来估计运动矢量的自适应运动估计装置和方法。

背景技术

具有多维特性的图象数据比一般的数据有更多的信息。需要大量的数据来表示作为数字化图象的可视图象。为了处理、存储和发送这样的数字图象，可以获得各种使用超大规模集成(VLSIU)和信号处理技术的发送和存储媒介，但是当考虑到用于发送数字化图象所需的通信路径的带宽、用于存储数字图象所需的存储容量等的时候，也需要高压缩率的数据压缩技术。

图象信号的高度自相关在多数情况下导致冗余，因此通过消除这些冗余可以获得有效的数据压缩。为了有效地压缩随时间改变的视频帧/场，需要消除在两维空间和时间轴方向上的冗余。

在时间轴方向上的冗余的消除基于这样的思想：通过将在当前帧/场中未改变的部分或运动但仍然类似的部分替换为在紧靠前的帧/场——即参考帧/场——中的对应部分而大大减少要发送的数据量。

为了进行所述替换，有必要找到在当前帧/场和参考帧/场之间的最相似的块，这被称为“运动估计”，并有必要找到所述块的位移量的指示，这被称为“运动向量”。

即，运动向量是两维的信息，并指示在参考帧/场和当前帧/场之间发生的一个物体的两维X-Y坐标的运动量。因此，运动向量由在水平方向上的运动量和在垂直方向上的运动量构成。

典型的用于估计运动向量的方法是块匹配算法(BMA)和像素递归算法(PRA)。块匹配算法一般在考虑精度、效率、实时处理能力、硬件实现等的时候使用。

块匹配算法以块为单位比较诸如参考帧/场和当前帧/场的两个连续图象，然后根据对应的信号模式的匹配程度来估计一个运动。在块匹配算法中，以特定的大小执行估计和补偿，即以在水平方向上的M个像素和在垂直方向上的N个像素的组为单位。所述像素组被称为一个“宏块”，它一般被表示为M×N。

利用块匹配算法等，参照当前帧/场和参考帧/场来估计运动向量，并利用所估计的运动向量来执行运动补偿预测。

图1是传统的全搜索运动估计装置的方框图。

图1所示的传统全搜索运动估计装置具有参考帧/场存储部分10、当前帧/场存储部分12和全搜索运动估计部分14。

参考帧/场存储部分10和当前帧/场存储部分12分别存储一个当前帧/场和参考帧/场，以用于运动向量的估计。

全搜索运动估计部分14利用存储在参考帧/场存储部分10和当前帧/场存储部分12中的帧/场按照全搜索算法来估计运动向量。

全搜索算法定义了一个搜索范围，并从在搜索范围的最大位移内可能的所有块选择指示最小匹配误差的一个块的位置来作为运动向量。因为在搜索范围中对在当前帧/场和参考帧/场中的所有块执行模式匹配，因此可以找到具有极高精度的运动信息，其中一个块的实际最大运动不偏离搜索范围。

图2示传统预测运动估计装置的方框图。

图2的传统预测运动估计装置具有参考帧/场存储部分20、当前帧/场存储部分22、预测运动估计部分24和候选运动向量发生部分30。所述候选运动向量发生部分30具有候选运动向量发生器32和运动向量存储器34。

参考帧/场存储部分20和当前帧/场存储部分22分别存储当前帧/场和参考帧/场，以便用于运动向量的估计。

预测运动估计部分24通过预测运动估计算法估计一个运动向量。不象全搜索算法那样，预测运动估计算法估计其中估计一个候选运动向量的一个块的周围块的一个运动向量。候选运动向量被从候选运动向量发生部分30提供到预测运动估计部分。在由预测运动估计部分24估计的一个运动向量被存储在向量存储器34中后可以使用由候选运动向量发生部分30提供的候选运动向量。也可以使用一个外部输入的运动向量。

全搜索运动估计装置具有一个问题，即不在块的大小增大时估计反映实际运动的平滑运动向量。具体上，全搜索运动估计装置可能搜索其中在图象的边缘存在物体的运动的错误运动向量。为了使得全搜索运动估计装置估计反映实际运动的平滑运动向量，应当通过减少块的大小或重叠块来获得运动向量，这导致计算变得更复杂的问题。

预测运动估计算法比全搜索算法更准确地估计反映实际运动的平滑运动向量，但是预测运动估计算法可以产生未搜索正确的运动向量的情况，导致错误的运动向量被用做候选运动向量。在这种情况下，因为不使用正确的运动向量，视觉效果可能比利用不使用运动信息的方法的视觉效果更差。

发明内容

本发明旨在解决上述问题。本发明的目的在于提供一种自适应地选择由全搜索运动估计方法提供的运动向量和由预测运动估计方法提供的运动向量之一以便获得反映实际运动的平滑和正确运动向量的自适应运动估计装置和方法。

本发明的其他目的和优点将在后面的说明中部分给出，并且一部分可以从说明中明显看出或可以通过本发明的实践来获知。

为了实现本发明的上述和/或其他目的，按照本发明的一种自适应运动估计装置包括：全搜索运动估计部分，它根据当前帧和/或场以及参考帧和/或场从在预定的范围中的所有块获得运动向量；预测运动估计部分，它从其中估计了预定的候选运动向量的一个块的周围块估计运动向量；运动向量选择部分，它从全搜索运动估计部分和预测运动估计部分输入运动向量，并选择输入的运动向量之一作为最终运动向量。最终运动向量可以是与存储的阈值相比具有最小误差的位置值的输入运动向量。自适应运动估计装置还可以包括候选向量发生部分，它向预测运动估计部分提供候选运动向量。

候选向量发生部分还可以包括：运动向量存储器，它存储最终运动向量；候选运动向量发生器，它从存储在运动向量存储器的最终运动向量和外部输入的运动向量之一选择候选运动向量，并向预测运动估计部分提供所选择的候选运动向量。而且，外部输入的运动向量可以是全局向量、用户定义向量和零向量之一。

运动向量选择部分还可以包括：运动向量选择器，它选择从预测运动估计部分输出的运动向量和从全搜索运动估计部分输出的运动向量之一，并输出最终运动向量；阈值表，它存储阈值；自适应阈值选择器，它将存储的阈值与输入的运动向量相比较，并控制运动向量选择器的输出以便具有最小误差的位置值的运动向量成为最终运动向量。

运动向量选择器可以按照候选运动向量的类型使用不同的阈值来进行比较。通过使用所有的块的像素差的累加值来计算全搜索运动估计部分估计的运动向量的精度。

按照本发明的一种运动向量估计方法包括：基于在当前帧和/或场以及参考帧和/或场的预定搜索范围中的所有块而获得第一运动向量；根据其中估计了候选运动向量的一个块的周围块来估计第二运动向量；从第一和第二运动向量之一选择最终运动向量。所述最终运动向量可以是与存储的阈值相比具有最小误差的位置值的运动向量。而且，第二运动向量的估计可以还包括提供候选运动向量。

第二运动向量的估计可以使用最终运动向量、全局运动向量、零运动向量和用户定义运动向量之一作为候选运动向量。在最终运动向量的选择中，阈值可以按照所比较的运动向量的类型来变化。

附图说明

通过参照附图详细说明本发明的优选实施例，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是传统的全搜索运动估计装置的方框图；

图2是传统的预测运动估计装置的方框图；

图3是按照本发明的一个实施例的运动估计装置的方框图；

图4是按照本发明的一个实施例的运动估计算法的流程图；

图5是示出一个候选运动向量块和所述候选运动向量块的周围块的视图。

具体实施方式

现在详细说明本发明的实施例，其示例在附图中示出，其中在全文中相同的附图标记表示相同的元件。

图3是按照本发明的一个实施例的运动估计装置的方框图。

图3的运动估计装置包括参考帧/场存储部分100、当前帧/场存储部分102、全搜索运动估计部分104、预测运动估计部分106、候选向量发生部分110和运动向量选择部分120。

候选向量发生部分110包括候选运动向量发生器112和运动向量存储器114。运动向量选择部分120包括运动向量选择器122、自适应阈值选择器124和阈值表126。

参考帧/场存储部分100和当前帧/场存储部分102分别存储参考帧/场和当前帧/场，它们可用于运动向量估计。

全搜索运动估计部分104按照全搜索运动估计算法来估计运动向量。预测运动估计部分106从被估计为从候选向量发生部分110提供的一些候选运动向量块的多个块的周围块来估计运动向量。

运动向量选择部分120将存储的阈值与由全搜索运动估计部分104估计的运动向量和由预测运动估计部分106估计的运动向量相比较，并根据比较结果来选择在最小误差的位置的运动向量。多个阈值可以被存储在阈值表126中，自适应阈值选择器124按照所使用的候选运动向量的种类来选择合适的阈值，并控制运动向量选择器122的输出。

由运动向量选择部分120选择的运动向量被输出以由外部使用，同时，所选择的运动向量被存储在运动向量存储器114中供运动向量发生器112使用。

作为从候选向量发生部分110提供到预测运动估计部分106的候选运动向量，由运动向量选择部分120选择的运动向量可以被使用，或者可以使用外部输入的运动向量。

图4是用于使用图3所示的运动向量估计装置运动估计运动向量的流程图。

在这个流程图中，在步骤S200，运动向量估计装置参考当前帧/场和参考帧/场在一个搜索范围中通过全搜索运动估计算法来获得运动向量。

为了通过全搜索运动估计算法获得运动向量，首先，定义一个搜索范围。如果在当前帧/场f_n中的N×N大小的参考块的运动被估计在参考帧/场f的±p像素的范围中，则在参考帧/场内的运动估计范围的大小变成(N+2p)×(N+2p)，其中，在计算了在作为一个运动向量的可能的候选者的总共(2p+1)²个位置的所有的相关系数之后，将指示最大相关程度的一个位置确定为运动向量。

为了估计具有最大相关程度的一个运动向量，可以使用如下面表达式(1)和(2)所示的MES(均方差)、MAE(平均绝对误差)或MAD(平均绝对差)等的估计函数。 $\mathrm{MSE}(i,j)=\frac{1}{\mathrm{MN}}\underset{m=0}{\overset{M}{\mathrm{\Σ}}}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{[S_{t,k}(m,n)-S_{t-l,k}(m+i,n+j)]}^2...\left(1\right)$ $\mathrm{MAE}(i,j)=\frac{1}{\mathrm{MN}}\underset{m=0}{\overset{M}{\mathrm{\Σ}}}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{|S}_{t,k}(m,n)-S_{t-l,k}(m+i,n+j)|---\left(2\right)$

其中，S_t，k表示在第t个帧/场中的第k个宏块，S_t-1，k表示在第t-1个帧/场中的第k个宏块。这样的估计函数根据像素的差选择在最小MAD或MES值情况下的运动向量。

在步骤200，通过预测运动估计算法来获得运动向量，在步骤210，通过全搜索运动估计算法来获得运动向量。预测运动估计算法从其中估计由候选向量发生部分110提供的候选运动向量的块周围的块获得运动向量。

图5示出了在预测运动估计部分106中使用的候选运动向量块V₀和块V₀周围的块(V₁到V₈)。在图5中，阴影部分表示候选的运动向量块。如果候选运动向量块和所述候选运动向量块周围的块的运动向量被定义为Vi(i＝0，…，8)，则各个运动向量被设置为当前块的初始运动向量，并由下面的表达式(3)确定最终运动向量。 $\hat{V}=\arg \underset{x\∈B}{\mathrm{\Σ}}|f(x-v-\stackrel{\→}{V},n-1)-f(x+v+{\stackrel{\→}{V}}_i,n)|,i=0,...,8_{V\∈\hat{S}}^{\min }---\left(3\right)$

其中：B表示块；s表示搜索区域；V表示运动向量；Vi表示候选运动向量周围的块的运动向量。

从这样的周围块获得的运动向量中具有绝对差(SAD)的最小和的块的运动向量被确定为当前块的运动向量。

从候选向量发生部分110提供到预测运动估计部分106的候选运动向量一般是当前运动向量，但是也可以使用全局运动向量、零运动向量或用户定义运动向量。

通过利用输入的运动向量和估计全局的移动性可以获得全局运动向量。即，获得每个块的运动向量的直方图，然后从直方图确定主要者，将其确定为全局运动向量。关于此的公式可以表达如下。

首先，获得每个块的运动向量的直方图。在此，如果在水平和垂直方向的直方图被表示为h_x，h_y，则可以按照下面的表达式(4)确定全局运动的存在。

其中：I_x和I_y被表达式(5)和(6)定义如下。

I_x＝{k|k∈[-sr，sr]，k≠0，h_x(k)＞ε_P}                (5)

I_y＝{k|k∈[-sr，sr]，k≠0，h_y(k)＞ε_P}                (6)其中-sr，sr表示搜索范围，ε_P表示阈值。在此，全局运动向量 $v^g={(v_x^g,v_y^g)}^T$ 被表示在下面的表达式(7)和(8)中。 $v_x^g=\arg \underset{k\∈[-\mathrm{sr},\mathrm{sr}]}{\max }{h}_x\left(k\right)---\left(7\right)$ $v_y^g=\arg \underset{k\∈[-\mathrm{sr},\mathrm{sr}]}{\max }{h}_y\left(k\right)---\left(8\right)$

在运动很少或没有运动的时候，可以使用零运动向量来作为候选运动向量，另一个用户定义的运动向量可以用作候选运动向量。

在步骤S220运动向量选择部分120将从预测运动向量估计算法和全搜索运动向量算法获得的运动向量与存储在阈值表126中的阈值相比较，并选择在最小误差的位置的运动向量作为输出运动向量。此时，按照候选运动向量可以不同地设置阈值供使用，并且自适应阈值选择器124按照所使用的候选运动向量来选择一个合适的阈值。通过如此，可以估计平滑和准确的运动向量。

如上所述，利用本发明，可以获得比利用全搜索运动估计算法估计的运动向量更平滑和准确的运动向量，并可以防止继续将在预测运动估计中错误估计的运动向量用作候选运动向量。

虽然已经说明和示出了本发明的一些实施例，本领域的技术人员会明白，在不脱离本发明的原理和精神的情况下，可以对这些实施例进行改变，本发明的范围由权利要求或其等同物限定。

Claims (20)

1.一种自适应运动估计装置，包括：

全搜索运动估计部分，它根据当前帧和/或场以及参考帧和/或场从在预定搜索范围中的所有块获得第一运动向量；

预测运动估计部分，它从其中估计候选运动向量的一个块的周围块估计第二运动向量；和

运动向量选择部分，它选择第一和第二运动向量之一作为最终运动向量。

2.如权利要求1所述的运动向量估计装置，其中最终运动向量是在第一和第二运动向量中与存储的阈值相比具有最小误差的位置值的运动向量。

3.如权利要求1所述的运动向量估计装置，还包括候选运动向量发生部分，它向预测运动估计部分提供候选运动向量。

4.如权利要求3所述的运动向量估计装置，其中所述候选向量发生部分包括：

运动向量存储器，它存储最终运动向量；

候选运动向量发生器，它从存储在运动向量存储器的最终运动向量和外部输入的运动向量之一选择候选运动向量，并向预测运动估计部分提供所选择的候选运动向量。

5.如权利要求3所述的运动向量估计装置，其中外部输入的运动向量是全局向量、用户定义向量和零向量之一。

6.如权利要求1所述的运动向量估计装置，其中所述运动向量选择部分包括：

运动向量选择器，它选择第一和第二运动向量之一，并输出最终运动向量；

阈值表，它存储阈值；

自适应阈值选择器，它将存储的阈值与第一和第二运动向量相比较，并控制运动向量选择器以便具有最小误差的位置值的运动向量成为最终运动向量。

7.如权利要求6所述的运动向量估计装置，还包括：

候选运动向量发生部分，它向预测运动估计部分提供候选运动向量；

其中：

运动向量选择器按照由候选运动向量发生器提供的候选运动向量的类型使用阈值来进行比较。

8.如权利要求1所述的运动向量估计装置，其中通过使用所有的块的像素差的累加值来计算全搜索运动估计部分中估计的运动向量的精度。

9.一种运动向量估计方法，包括：

基于在当前帧和/或场以及参考帧和/或场的预定搜索范围中的所有块而获得第一运动向量；

根据其中估计候选运动向量的一个块的周围块来估计第二运动向量；

从第一和第二运动向量之一选择最终运动向量。

10.如权利要求9所述的运动向量估计方法，其中所述第二运动向量的估计还包括提供候选运动向量。

11.如权利要求9所述的运动向量估计方法，其中最终运动向量是与存储的阈值相比较具有最小误差的位置值的运动向量。

12.如权利要求11所述的运动向量估计方法，其中阈值根据所比较的运动向量的类型而变化。

13.如权利要求9所述的运动向量估计方法，其中第二运动向量的估计使用最终运动向量作为候选运动向量。

14.如权利要求9所述的运动向量估计方法，其中第二运动向量的估计使用全局运动向量作为候选运动向量。

15.如权利要求9所述的运动向量估计方法，其中第二运动向量的估计使用零运动向量作为候选运动向量。

16.如权利要求9所述的运动向量估计方法，其中第二运动向量的估计使用用户定义运动向量作为候选运动向量。

17.一种运动向量估计方法，包括：

利用全搜索运动估计算法来获得第一运动向量；

利用候选运动向量和预测运动估计算法来获得第二运动向量；

确定第一和第二运动向量中的哪个具有最小误差的位置值；和

响应于确定结果而自适应地从第一和第二运动向量之一选择最终运动向量。

18.如权利要求17的方法，还包括：

提供最终运动向量作为候选运动向量以获得下一个第二运动向量。

19.如权利要求17的方法，其中所述确定包括：

将第一和第二运动向量的每个与各自的阈值相比较以确定最小误差的位置值。

20.如权利要求19的方法，还包括：

提供一个阈值表以存储各个阈值。

Images