CN1656515A - 估计当前运动矢量的单元和方法 - Google Patents

Abstract

运动估计单元(100)被安排成估计第一像素组(212)的当前运动矢量，包括：产生单元(106)，用从先前估计的运动矢量组中提取的候选运动矢量产生第一像素组(212)的候选运动矢量组；匹配误差单元(102)，用于计算各候选运动矢量的匹配误差；和选择单元(104)，用于从候选运动矢量中选择当前运动矢量。运动估计单元(100)被安排成根据对第一图像的分割结果来调整预定匹配误差阈值。如果第一候选运动矢量的匹配误差低于当前预定匹配误差阈值，则选择第一候选运动矢量并跳过对第一像素组其它候选运动矢量的评估。

Description

估计当前运动矢量的单元和方法

本发明涉及一种用于估计图像的第一像素组的当前运动矢量的运动估计单元，包括：

-产生装置，用于产生第一像素组的候选运动矢量组，所述候选运动矢量从先前估计的运动矢量组中提取，所述候选运动矢量组包括对应于已经为图像的第二像素组选定的第一个先前估计运动矢量的第一个候选运动矢量；

-匹配误差计算单元，用于计算各个候选运动矢量的匹配误差，该计算单元被安排成当所计算的第一个候选运动矢量的匹配误差低于预定匹配误差阈值时停止计算匹配误差；和

-选择单元，用于当所计算的第一个候选运动矢量的匹配误差低于预定匹配误差阈值时选择第一个候选运动矢量为当前运动矢量，否则，根据比较各个候选运动矢量的匹配误差来从候选运动矢量组中选择当前运动矢量。

本发明进一步涉及一种用于估计图像像素组的当前运动矢量的方法，包括：

-产生第一像素组的候选运动矢量组，所述候选运动矢量从先前估计的运动矢量组中提取，所述候选运动矢量组包括对应于已经为图像的第二像素组选定的第一个先前估计的运动矢量的第一个候选运动矢量；

-计算各个候选运动矢量的匹配误差，如果所计算的第一个候选运动矢量的匹配误差低于预定匹配误差阈值则停止计算匹配误差；和

-如果所计算的第一个候选运动矢量的匹配误差低于预定匹配误差阈值则选择第一个候选运动矢量为当前运动矢量，否则，根据比较各个候选运动矢量的匹配误差来从候选运动矢量组中选择当前运动矢量。

本发明还涉及一种图像处理设备，包括：

-接收装置，用于接收表示一系列图像的信号；

-这种运动估计单元；和

-运动补偿的图像处理单元，用于根据图像和当前运动矢量来确定处理的图像。

在开始段落中描述的这种运动估计单元的实施例从G.de Haan等人的文章“True-Motion Estimation with 3-D Recursive Search BlockMatching”(利用3维递归搜索块匹配的真实运动估计)(IEEETransactions on circuits and systems for video technology，vol.3，no.5，1993年10月，368-379页)可知。

对于许多视频信号处理中的应用，有必要知道图像序列的视在速度场(apparent velocity filed)，称为光流(optical flow)。该光流以时间变化的运动矢量场的形式给出，即每对图像一个运动矢量场。注意一个图像可以是几个图像对的一部分。

所引述的运动估计单元依赖于两个基本假设。第一，对象大于块，这是指在块的附近估计的运动矢量将与该块的当前运动矢量有高相关性，并且因此能够作为该运动矢量的所谓的空间预测，即空间候选运动矢量来使用。第二，对象具有惯性。这是指对象的运动不会逐个图像地不规律地变化，并且当前块的当前运动矢量将与先前图像中对应块的运动矢量有高相关性。来自这些块的运动矢量可以作为当前块的运动矢量的所谓时间预测，即时间候选运动矢量来使用。为了允许运动矢量的更新，添加了称为随机预测的额外预测，即随机候选运动矢量，其等于添加了小的噪声运动矢量的空间候选运动矢量。

在所引述的文章中，通过将图像划分为块来估计该运动矢量场。对每个块的候选运动矢量组计算匹配误差，并在最小化程序中使用匹配误差来从块的候选运动矢量组寻找最适合的运动矢量，即当前运动矢量。通过对像素块的像素值和第二图像的第二像素块的像素值进行比较来计算匹配误差。在已知的运动估计单元中，匹配误差对应于SAD：第一图像块中的像素与参考图像(即被候选运动矢量偏移的第二图像)中块的像素间的绝对亮度差之和。如果参考图像和第一图像彼此直接连续，SAD可以计算为：

$\mathrm{SAD}(x,y,d_x,d_y,n)=\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}|Y(x+i,y+j,n)-Y(x+d_x+i,y+d_y+j,n+1)|---\left(1\right)$

这里(x，y)是块的位置，(d_x，d_y)是运动矢量，n是图像号，N和M是块的宽和高，而Y(x，y，n)是图像n中位置(x，y)处像素的亮度值。

运动估计中的一个问题是计算复杂度。尤其是计算各候选运动矢量的匹配误差花费许多计算。一种称为“块跳跃”的技术极大地降低了该计算量。块跳跃是指设置匹配误差的预定阈值。如果候选运动矢量的匹配误差(即SAD)降到该阈值以下，则该候选运动矢量被选定并被指定给当前块，而当前块的候选运动矢量组的其它矢量被忽略。这意味着不执行还没有被计算的其它候选运动矢量的匹配误差的计算。

虽然“块跳跃”看起来是降低计算量的适当方法，但是它并不是在所有环境下都执行得最好。已知运动估计单元的问题之一是空间候选运动矢量能够在其下使用的假设在对象边界上不成立。位于另一对象中的空间候选运动矢量将与当前块的运动矢量没有相关性。因此，在对象边界，“块跳跃”很危险，因为更好的候选运动矢量可能被跳过(即没有被评估并从而被选择)。

本发明的一个目的是提供一种在开始段落描述的那种运动估计单元，其能够提供更精确的运动矢量场。

实现本发明的该目的在于运动估计单元被安排成根据将图像分割为像素段的分割结果来调整预定匹配误差阈值，分割的结果与第一像素组的第一部分和第二像素组的第一部分都对应第一段的概率有关。在对应于被捕获并由图像表示的场景中的对象的段中，第一像素组的适当运动矢量和第二像素组的空间候选运动矢量之间的相关性非常高。块跳跃的效率通过增加对象内的预定匹配误差阈值而进一步提高。换言之，如果第一像素组的第一部分和第二像素组的第一部分都对应相同段的概率增加，则用于评估有关候选运动矢量的预定匹配误差阈值增加。这在匹配误差即使对适当的运动矢量都通常较高的细节区域是一个优点。在对象边界，第一像素组的运动矢量和空间候选运动矢量之间的相关性要小得多。因此，“块跳跃”很危险，并在对象边界降低预定匹配误差阈值。降低的匹配误差阈值意味着“块跳跃”的机会相对小了。注意术语“块跳跃”也可意味着跳跃到下一组像素。

对于运动补偿应用分割结果并不新颖。例如在欧洲专利申请号01202615.9(代理人文档PHNL010445)中，组合了分级分割方法和运动估计。但是按照本发明应用分割结果是新颖的：根据分割结果调整预定匹配误差阈值。因此，应用由匹配误差表示的实际匹配质量和分割结果来确定特定候选运动矢量是否适当。按照本发明的运动估计单元的一个优点是运动矢量场的质量。另一个优点是计算复杂度进一步降低，而没有损害运动矢量场的质量。

按照本发明的运动估计单元的一个实施例被安排成根据概率大小调整预定匹配误差阈值的值。分割可以是二进制的，得到每像素一个标签，表示该像素是否属于特定段。但是，优选地，分割方法为像素或像素组提供属于特定段的概率。像素也可能有多个概率：例如属于段A的20％的第一概率和属于段B的80％的第二概率。按照发明的该实施例被安排成应用实际概率来调整预定匹配误差阈值。例如，如果不属于相同对象的概率相对较高则预定匹配误差阈值应相当较低，反之亦然。该方法的优点是更精确即调协得更好的预定匹配误差阈值，以及是否应当进行“块跳跃”或是否应执行对其它运动矢量候选的评估的更好的确定标准。

按照本发明的运动估计单元的另一实施例被安排成根据第一像素组第一部分的第一像素数和第一像素组的第二像素数之间的比调整预定匹配误差阈值。分割和运动估计可以更强地相关。这意味着例如对像素组执行分割并且对相同像素组执行运动估计。但是分割和运动估计可以独立执行。此时，分割例如基于像素执行而运动估计基于块执行。结果，可能是将要被用于运动估计的像素组的第一部分像素分类为属于段A而将另一部分像素分类为属于段B。在后一情况中，对像素组可以根据第一部分的像素数和整个像素组的像素数之间的比来计算“属于段A的总概率”。该方法的优点是更精确即调协的更好的预定匹配误差阈值，以及是否应当进行“块跳跃”或是否应执行对其它运动矢量候选的评估的更好的确定标准。

在按照本发明的运动估计单元的一个实施例中，第一像素组是像素块。原理上，像素组可以具有任何形状，甚至不规则。优选的是基于块的形状，因为这降低了运动估计单元的设计复杂度。

在按照本发明的运动估计单元的另一实施例中，匹配误差计算单元被设计为通过从另一图像的第三组像素的像素亮度值减去第一组像素的像素亮度值来计算第一个候选运动矢量的匹配误差。优选地，计算绝对亮度差的和(SAD)。SAD是能够较快计算的相对可靠的相关性量度。

在按照本发明的运动估计单元的另一实施例中，选择单元被安排成当对应的匹配误差是最小的匹配误差时，从候选运动矢量组中选择特定运动矢量作为当前运动矢量。这是从候选运动矢量组中选择当前运动矢量的较简单的方法。

本发明的另一目的是提供一种在开始段落描述的那种方法，其能够提供更精确的运动矢量场。

实现本发明的该目的在于根据将图像分割为像素段的分割结果来调整预定匹配误差阈值，分割的结果与第一像素组的第一部分和第二像素组的第一部分这二者对应第一段的概率有关。

将按照本发明的运动估计单元的实施例应用在开始段落描述的图像处理设备中是有利的。该图像处理设备可以包括附加的部件，例如用于显示处理的图像的显示装置，或用于存储处理的图像的存储装置。运动补偿的图像处理单元可以支持以下类型图像处理中的一个或多个：

-去交织：交织是交替发送奇数或偶数图像行的通用视频广播程序。去交织试图恢复完全的垂直分辨率，即使每个图像奇偶行同时可用；

-上变换：从原始输入图像系列中计算出更大的输出图像系列。输出图像在时间上位于两个原始输入图像之间；

-时间降噪。这也可包括空间处理，产生空-时降噪；和

-视频压缩，即例如按照MPEG标准或H26L标准的编码或解码。

图像处理设备的修改及其变化可以对应于所述运动估计单元的修改及其变化。

按照本发明的运动估计单元、方法和图像处理设备的这些和其它方面将就下文所述的实现方式和实施例并参考附图来说明和变得明白，其中：

图1示意性示出了结合图像分割单元的运动估计单元；

图2示意性示出了运动矢量场；和

图3示意性示出了按照本发明包括运动估计单元的图像处理设备的各元件。

所有附图中对应的参考号具有相同的意义。

图1示意性示出了结合图像分割单元108和用于存储图像的存储装置110的运动估计单元100。图像分割是为了将图像划分为段，其中一定的特征保持恒定或在预定阈值之间。对于图像的像素或像素组，计算表示属于任何段的概率的值。该特征可以是从简单灰度值到结合彩色信息的复杂纹理量度的任何一种。基于所选定的特征的分割方法(即提取段的方法)可以是从简单的取阈值到分水岭算法的任何方法。

运动估计单元100被安排成估计图像第一像素组212的当前运动矢量，包括：

-产生单元106，用从先前估计的运动矢量组中提取的候选运动矢量产生第一像素组212的候选运动矢量组；

-匹配误差计算单元102，用于计算各候选运动矢量的匹配误差；和

-选择单元104，用于从候选运动矢量中选择当前运动矢量。

通过对第一像素组212的像素值和第二图像的第二像素组的像素值进行比较来计算匹配误差。此时，匹配误差对应于SAD：第一图像当前块中的像素和参考图像(即被候选运动矢量偏移的第二图像)中第二块的像素之间的绝对亮度差的和。参见方程式1。原理上，对属于当前像素块的候选运动矢量组的所有运动矢量候选计算匹配误差。但是，如果出现刚计算的运动矢量候选的匹配误差低于预定匹配误差阈值，则匹配误差计算单元102将不继续计算还未对其计算匹配误差的运动矢量候选的匹配误差。此时，选择刚处理过的运动矢量候选作为当前像素块的当前运动矢量。运动估计单元100将继续估计后续像素块的适当运动矢量。

运动估计单元100被安排成根据将第一图像分割为像素段的分割结果来调整预定匹配误差阈值。首先，假定分割单元108被安排成基于块执行分割。在图像分割期间，每个块B(x，y)被指定一个对应其所属段S_k的标签1_k。该信息被存储在图像分割掩码M(x，y)中。为了降低对象边界上运动估计单元的空间一致性，按照：

调整预定匹配误差阈值T，其中T_high是高值，以便允许段中的平缓的跳跃，T_low是低值，以便在对象边界处实施对更多运动矢量候选的评估，(x，y)是当前块的位置，(x_p，y_p)是另一像素块(即已经对其估计了运动矢量并且是运动矢量候选所基于的像素块)的位置。此时预定匹配误差阈值T有两个不同的值：

-如果分割结果得出当前块和另一块都属于相同段S_k则T_high；和

-如果分割结果得出当前块和另一块不属于相同段S_k则T_low。

其次，假定分割单元108被安排成基于像素执行分割。这是指对每个像素指定其属于段S_k的概率。运动估计仍然基于块，即为像素块估计运动矢量。预定匹配误差阈值T基于当前块的像素和另一块的像素属于相同段S_k的概率，k∈K。S_k是来自段组中的一个段。预定匹配误差阈值T可以用方程式3计算：

$T=C*\underset{k=0}{\overset{K}{\mathrm{\Σ}}}\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}P((x+i,y+j)\∈S_k)}{N*M}*\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}P((x_p+i,y_p+j)\∈S_k)}{N*M},---\left(3\right)$

其中C为常数。如果当前块的像素属于段S_k的概率(即 $\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}P((x+i,y+j)\∈S_k)}{N*M})$ 和另一块的像素属于段S_k的概率(即 $\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}P((x_p+i,y_p+j)\∈S_k)}{N*M})$ 较高，则预定匹配误差阈值T较高。

假定顺序评估运动矢量候选。则优选地，运动矢量候选根据分割结果被排序。这是指和有关其它块的概率相比，其所属像素块属于相同段的概率最高的候选运动矢量将首先被评估。

显然，每像素属于特定段S_k的概率值和具有一定概率的像素数都是有关的。在二进制分割时，仅需计数位于段S_k中的块部分的像素数，因为对于这些像素，属于特定段S_k的概率相等：即100％。

在图1中描绘了从运动估计单元100的输出端114至分割单元108的连接116。该连接116是可选的。通过该连接116，可以对于将图像分割为像素段的分割应用运动估计结果(例如运动矢量场)。这可以是对于对其执行运动估计的相同图像或对于图像系列的另一图像。此外，还可能将对特定图像的分割结果用于不包括该特定图像而包括图像系列的另一图像的图像对的运动估计。

运动估计单元100的匹配误差计算单元102、选择单元104和产生单元106可以使用一个处理器来实现。通常，这些功能在软件程序产品的控制下执行。在执行期间，通常将软件程序产品装载到存储器中(例如RAM)，并从那儿执行。程序可以从后台存储器装载(如ROM、硬盘或磁和/或光存储器)，或者可以经网络(如互联网)装载。可选地，特定用途集成电路提供所公开的功能。

图2示意性示出了表示具有白背景和在背景前以与背景相反方向运动的球202的场景的图像的部分运动矢量场200，即正在构造中的矢量场。假定已经对多个像素块204-210估计了运动矢量214-226，和必须要对当前像素块212估计运动矢量。对于该估计，根据先前为像素块204-210计算的运动矢量214-226创建候选运动矢量组214-220。在图1中，可以看到当前像素块212位于对应球202的段中。此外，像素块204也位于对应球202的段中。但是像素块210对应背景，块206和208部分属于球202而部分属于背景。各候选运动矢量214-220的预定匹配误差阈值取决于块204-210的通过分割而被标为属于表示球202的段的对应像素数。结果，由像素块204得出的候选运动矢量220的匹配误差的预定匹配误差阈值将最高，而由像素块210得出的候选运动矢量218的匹配误差的预定匹配误差阈值将最低。

图3示意性示出了图像处理设备300的各元件，包括：

-接收单元302，用于接收表示要在已经对其执行一些处理之后显示的图像的信号。该信号可以是经天线或电缆接收的广播信号，但也可以是来自如VCR(录像机)或数字通用盘(DVD)之类的存储装置的信号。信号在输入连接器310处提供。

-处理单元304，包括结合图1说明的运动估计单元100和分割单元108；

-运动补偿的图像处理单元306；和

-显示装置308，用于显示处理的图像。该显示装置308是可选的。

运动补偿的图像处理单元306需要图像和运动矢量作为它的输入。运动补偿的图像处理单元306可以支持以下类型图像处理的一个或多个：去交职；上变换；时间降噪；和视频压缩。

应当注意，上述实施例说明而不是限制本发明，本领域熟练技术人员能够在不脱离所附权利要求书的范围的情况下设计替代的实施例。在权利要求书中，任何置于括号之间的参考符号将不构成对权利要求的限制。单词“包括”不排除权利要求中未列出的元件或步骤的存在。元件之前的单词“一个”不排除多个这种元件的存在。本发明能够通过包括几个不同元件的硬件和通过适当编程的计算机来实施。在列举若干个装置的装置权利要求中，这些装置中的若干个可以用同一个硬件项实现。

Claims (12)

1.一种用于估计图像的第一像素组的当前运动矢量的运动估计单元，包括：

-产生装置，用于产生第一像素组的候选运动矢量组，所述候选运动矢量从先前估计的运动矢量组中提取，所述候选运动矢量组包括对应于已经为图像的第二像素组选定的第一个先前估计运动矢量的第一个候选运动矢量；

-匹配误差计算单元，用于计算各个候选运动矢量的匹配误差，该计算单元被安排成当所计算的第一个候选运动矢量的匹配误差低于预定匹配误差阈值时停止计算匹配误差；和

-选择单元，用于当所计算的第一个候选运动矢量的匹配误差低于预定匹配误差阈值时选择第一个候选运动矢量为当前运动矢量，否则，根据比较各个候选运动矢量的匹配误差来从候选运动矢量组中选择当前运动矢量，其特征在于运动估计单元被安排成根据将图像分割为像素段的结果来调整预定匹配误差阈值，所述分割结果与第一像素组的第一部分和第二像素组的第一部分这二者对应于第一段的概率有关。

2.如权利要求1所述的运动估计单元，其特征在于运动估计单元被安排成根据概率大小来调整预定匹配误差阈值的值。

3.如权利要求1所述的运动估计单元，其特征在于运动估计单元被安排成根据第一像素组第一部分的第一像素数与第一像素组的第二像素数之间的比值来调整预定匹配误差阈值。

4.如权利要求1所述的运动估计单元，其特征在于第一像素组为像素块。

5.如权利要求1所述的运动估计单元，其特征在于匹配误差计算单元被设计为通过从另一图像的第三像素组的像素亮度值中减去第一像素组的像素亮度值来计算第一个候选运动矢量的匹配误差。

6.如权利要求1所述的运动估计单元，其特征在于选择单元被安排成当对应的匹配误差是最小的匹配误差时，从候选运动矢量组中选择特定运动矢量作为当前运动矢量。

7.一种估计图像的第一组像素的当前运动矢量的方法，包括：

-产生第一像素组的候选运动矢量组，所述候选运动矢量从先前估计的运动矢量组中提取，所述候选运动矢量组包括对应于已经为图像的第二像素组选定的第一个先前估计的运动矢量的第一个候选运动矢量；

-计算各个候选运动矢量的匹配误差，如果所计算的第一个候选运动矢量的匹配误差低于预定匹配误差阈值则停止计算匹配误差；和

-如果所计算的第一个候选运动矢量的匹配误差低于预定匹配误差阈值则选择第一个候选运动矢量为当前运动矢量，否则，根据比较各个候选运动矢量的匹配误差来从候选运动矢量组中选择当前运动矢量，其特征在于根据将图像分割为像素段的结果来调整预定匹配误差阈值，所述分割的结果与第一像素组的第一部分和第二像素组的第一部分这二者对应于第一段的概率有关。

8.一种图像处理设备，包括：

-接收装置，用于接收表示包括一个图像的图像系列的信号；

-如权利要求1所述的运动估计单元，用于估计图像的第一像素组的当前运动矢量；和

-运动补偿的图像处理单元，用于根据图像和当前运动矢量来确定所处理的图像。

9.如权利要求8所述的图像处理设备，其特征在于运动补偿的图像处理单元被设计为执行视频压缩。

10.如权利要求8所述的图像处理设备，其特征在于运动补偿的图像处理单元被设计为降低图像系列中的噪声。

11.如权利要求8所述的图像处理设备，其特征在于运动补偿的图像处理单元被设计为对图像系列进行去交织。

12.如权利要求8所述的图像处理设备，其其特征在于运动补偿的图像处理单元被设计为执行上变换。

Images