CN1853416A - 运动矢量场的再定时 - Google Patents

Abstract

本发明公开了一种根据对第一图像估算的第一运动矢量场 (D₃ (x，n－1))并根据对第二图像估算的第二运动矢量场(D₃ (x，n))来对特定像素估算特定运动矢量(D_R (x，n+α))的方法，特定像素具有特定空间位置且位于视频图像序列的第一图像和第二图像中间的时间位置(n+α)。该方法包括：根据特定像素的特定空间位置，通过从第一运动矢量场(D₃ (x，n－1))和第二运动矢量场(D₃ (x，n))中选出多个运动矢量，来产生一组运动矢量(D_p，D_n，D_c)；以及通过对该组运动矢量(D_p，D_n，D_c)进行顺序统计运算来建立特定运动矢量(D_R (x，n+α))。

Description

运动矢量场的再定时

本发明涉及根据对第一图像估算的第一运动矢量场以及根据对第二图像估算的第二运动矢量场来对特定像素估算特定运动矢量的方法，特定像素具有特定空间位置并位于一视频图像序列中的第一图像和第二图像中间的时间位置。

本发明还涉及根据对第一图像估算的第一运动矢量场和根据对第二图像估算的第二运动矢量场来对特定像素估算特定运动矢量的运动估算单元，特定像素具有特定空间位置并位于一视频图像中的第一图像和第二图像中间的时间位置。

本发明还涉及一种图像处理装置，它包括：

-用于接收相应于一视频图像序列的信号的接收装置；

-用于对第一视频图像估算第一运动矢量场以及对第二视频图像估算第二运动矢量场的运动估算装置；

-如上所述的用于估算特定运动矢量的运动估算单元；以及

-用于根据视频图像序列和特定的运动矢量来计算输出图像序列的图像处理单元。

本发明还涉及将由计算机装置来装载的计算机程序产品，它包括根据对第一图像估算的第一运动矢量场以及对第二图像估算的第二运动矢量场对特定像素估算特定运动矢量的指令，特定像素具有特定空间位置并位于一视频图像序列中的第一图像和第二图像中间的时间位置，计算机装置包括处理装置和存储器。

遮断区(occlusion area)是指与所捕获的一部分场景所对应的区域，而该区域在一系列连续图像中的一幅图像中可见，而在后一幅图像或前一幅图像中却不可见。其原因是，场景中比背景物体更靠近摄像机的前景物体会覆盖背景物体的一部分。例如前景物体在运动时，背景物体的一部分会被遮断(occluded)，而背景物体的其它部分则显现。

遮断区会在时间插入(temporal interpolation)中造成假象。例如，在进行上变换时，遮断区会产生所谓的光晕。在进行上变换时，对运动矢量估算，以便通过时间插入来计算上变换的输出图像。对于时间插入，即，对于计算两个原始输入图像中间的新图像，从连续的图像中取出最好与同一个物体相关的多个像素。这在遮断区的情况下不能直接这样做，因为不能在二幅连续图像中找到相关的像素。还需要通常基于仅仅是前一原始图像或后一原始图像的像素值的插入的其它插入策略。很清楚，对于遮断区的合适运动矢量的估算是很重要的。

从WO01/88852中可以得知开头段落中所描述的那种单元的实施例。用于检测前一图像和后一图像之间时间中间位置处的运动的已知装置具有优化装置，优化用于候选运动矢量的标准函数，从而这种标准函数取决于来自前一图像和下一图像的数据。该运动是在非覆盖区和非显现区中的时间中间位置处检测到的。这种已知的装置具有用来检测覆盖区和显现区的装置，并且具有其优化装置，用来在覆盖区中下一个时间位置处以及在显现区中前一图像的时间位置处执行优化处理。

本发明的一个目的是提供一种如开头段落中所述类型的相对强健健壮的方法。

实现本发明的这一目的的方法包括：

-根据特定像素的特定空间位置，通过从第一运动矢量场和第二运动矢量场中选择多个运动矢量来产生一组运动矢量；以及

-通过对该组运动矢量进行顺序统计运算(order statisticaloperation)来建立该特定的运算矢量。

顺序统计运算优选地是中值运算(median operation)。按照本发明的方法是基于从一组运动矢量为中间运动矢量场选择一个合适的运动矢量，其包括对原始输入图像序列的图像计算的运动矢量。对这些原始输入图像而估算的正确运动矢量的几率相当高。特别是当根据三个或更多的输入图像而已经估算了这些运动矢量的时候。根据两个输入的图像对一中间时间位置的运动矢量进行直接估算通常会导致遮断区的运动矢量出现错误。应用对前一原始图像和下一个原始图像估算的运动矢量产生用于中间时间位置的强健 健壮的运动矢量场。可选地，也可以将对中间时间位置初始估算的初始运动矢量用作该组运动矢量的元素和/或用来确定必须选择原始输入图像序列中图像的哪些运动矢量。

在按照本发明方法的一个实施例中，产生一组运动矢量包括选择对第一图像估算的第一运动矢量，该第一运动矢量具有对应于特定像素的特定空间位置的第一空间位置。换言之，根据零矢量，选择对第一图像估算的第一运动矢量。按照本发明的本实施例的优点是无需对中间运动矢量场进行初始计算。优选地，所选择的第一运动矢量接着用来选择产生这组运动矢量的另一些运动矢量。因此，优选地，产生这组运动矢量包括选择对第一图像估算的第二运动矢量，该第二运动矢量具有由特定像素的特定空间位置和所选择的第一运动矢量所确定的第二空间位置；产生该组运动矢量包括选择对第二图像估算的第三运动矢量，该第三运动矢量具有由特定像素的特定空间位置和所选择的第一运动矢量所确定的第三空间位置。

在按照本发明方法的实施例中，产生一组运动矢量包括选择对第一图像估算的第二运动矢量，该第二运动矢量具有由特定像素的特定空间位置和对特定像素估算的第一运动矢量所确定的第二空间位置。产生一组运动矢量最好包括选择对第二图像估算的第三运动矢量，该第三运动矢量具有由特定像素的特定空间位置和对特定像素估算的第一运动矢量所确定的第三空间位置。

在按照本发明方法的实施例中，产生一组运动矢量包括选择对第二图像估算的第二运动矢量，该第二运动矢量具有对应于特定像素的特定空间位置的第二空间位置。按照本发明的这个实施例的优点是，选择第一运动矢量和第二运动矢量是直接，即基于特定的空间位置。优选地，产生这组运动矢量进一步包括选择对第一图像估算的具有第三空间位置的第三运动矢量和选择对第一图像估计的具有第四空间位置的第四运动矢量，第一空间位置、第三空间位置和第四空间位置位于一条线上。优选地，从第二运动矢量场中选择的运动矢量位于第二条线上。第一条线的取向对应于第一运动矢量，而第二条线的取向则对应于第二运动矢量。通过在第一空间位置和第二空间位置的相邻空间中选择相对大量的运动矢量来产生这组运动矢量的优点是健壮性。每一运动矢量场的所选运动矢量的个数即执行顺序统计运算的滤波器的孔径，与所期望的最大运动即最大运动矢量的大小相关。

按照本发明方法的实施例包括：将第一中间运动矢量场上变换至第一运动矢量场，第一运动矢量场具有比第一中间运动矢量场的分辨率高的分辨率；包括将第二中间运动矢量场上变换至第二运动矢量场，第二运动矢量场具有比第二中间运动矢量场的分辨率还高的分辨率。该上变换优选地通过所谓的块腐蚀(block-erosion)来进行。块腐蚀是一种根据特定像素块的运动矢量和相邻像素块的运动矢量来计算特定块的像素的不同运动矢量的已知方法。例如在美国专利申请US5,148,269中公开了块腐蚀。通过增加分辨率，在第一空间位置和第二空间位置的空间相邻中产生更多的运动矢量，产生更可靠的特定运动矢量。

本发明的另一个目的是提供一种如开头段落中所述类型的相对强健 健壮的运动估算单元。

本发明的这个目的是这样来实现的，即运动估算单元包括：

-设置产生装置，用于根据特定像素的特定空间位置，通过从第一运动矢量场和第二运动矢量场中选择多个运动矢量来产生一组运动矢量；以及

-建立装置，用于通过对该组运动矢量进行顺序统计运算来建立特定运动矢量。

本发明的进一步的目的是提供一种如开头段落中所述类型的图像处理装置，它包括一个相对强健 健壮的运动估算单元。

本发明的这个目的是这样来实现的，即运动估算单元包括：

-设置产生装置，用于根据特定像素的特定空间位置，通过从第一运动矢量场和第二运动矢量场中选择多个运动矢量来产生一组运动矢量；以及

-建立装置，用于通过对该组运动矢量进行顺序统计运算来建立特定运动矢量。

优选地，图像处理装置还包括用于显示输出图像的显示设备。该图像处理装置可以是例如电视机、机顶盒、VCR(盒式录像机)播放机、卫星调谐器、DVD(数字通用盘)播放机或记录器。

本发明的另一目的是提供一种如开头段落中所述类型的相对强健健壮的计算机程序产品。

本发明的这个目的是这样来实现的，计算机程序产品在被装载后给所述处理装置提供执行如下步骤的能力：

-根据特定像素的特定空间位置，通过从第一运动矢量场和第二运动矢量场中选择出多个运动矢量来产生一组运动矢量；以及

通过对该组运动矢量进行顺序统计运算来建立特定的运动矢量。

运动估算单元的修改形式和其变化形式可以对应于所描述的图像处理装置、方法和计算机程序产品的修改形式及其变化形式。

下面参照附图并且针对各种实施例和实施方式，按照本发明的运动估算单元、图像处理装置、方法和计算机程序产品的这些和其它方面变得显而易见并且被说明，其中，

图1示意示出场景中前景物体的运动和背景的运动；

图2示意示出对图1中所示图像估算的运动矢量场；

图3示意示出用于两例像素的按照本发明的方法；

图4示意示出在没有为中间时间位置计算初始运动矢量场的情况下，用于两例像素的按照本发明的方法；

图5A示意示出按照本发明的具有三个运动矢量场的运动估算单元的实施例；

图5B示意示出按照本发明的具有两个运动矢量场的运动估算单元的实施例；

图6A示意示出在按照本发明的一个实施例中应用的一组运动矢量的产生；

图6B示意示出在按照本发明的一个替换实施例中应用的一组运动矢量的产生；

图7示意示出按照本发明的图像处理装置的实施例。

在整个图中，采用相同的参考符号来表示类似的部件。

图1中示意示出场景中的前景物体118的运动和背景的运动。在图1中，绘出了时间位置n-1和n处的两个原始图像100、104。这些图像中的物体118沿向上的方向

运动，该方向用由实线106和108相连的阴影长方形表示。虚线长箭头110和112表示背景的运动

是向下的。阴影区114和116表示遮断区。必须在用虚线120表示的时间位置n+α(-1≤α≤0)处产生的新图像102。

图2示意示出对图1中所示图像估算的运动矢量场，即，用箭头表示估算的运动矢量场。对两个原始图像中的第一个图像100估算第一运动矢量场，而对两个原始图像中的第二个图像104估算第二运动矢量场。这两个运动矢量场是采用三帧运动估算器来计算的。第一运动矢量场用 来表示。该估算的第一运动矢量场介于亮度帧

和

之间。第二运动矢量场用 来表示。该估算的第二运动矢量场介于亮度帧

和

之间。除此之外，对第一运动矢量场和第二运动矢量场中间的时间位置n+α计算初始运动矢量场。该估算的初始运动矢量场

介于亮度帧

和

之间。注意，三帧运动估算器的运动矢量场

和 大体与前景物体118相匹配，而二帧运动估算器的运动矢量场 示出延伸到背景中的前景矢量。

按照本发明的方法，最终运动矢量场 可以采用三个运动矢量场

和 来计算，它在所有的位置处即在覆盖区域和显现区域中具有合适的运动矢量。这就是说，背景矢量是在遮断区中确定的。优选地通过对来自二帧运动估算器的运动矢量 ${\stackrel{\→}{D}}_c={\stackrel{\→}{D}}_2(\stackrel{\→}{x},n+\mathrm{\α})$ 和用来自运动矢量场 和

的矢量

获取的运动矢量取中间值来产生这个最终运动矢量场

后面的矢量用 ${\stackrel{\→}{D}}_p={\stackrel{\→}{D}}_3(\stackrel{\→}{x}-(\mathrm{\α}+1){\stackrel{\→}{D}}_c,n-1)$ 和 ${\stackrel{\→}{D}}_n={\stackrel{\→}{D}}_3(\stackrel{\→}{x}-\mathrm{\α}{\stackrel{\→}{D}}_c,n)$ 来表示。中间值用等式1表示：

${\stackrel{\→}{D}}_R(\stackrel{\→}{x},n+\mathrm{\α})=\mathrm{med}({\stackrel{\→}{D}}_c,{\stackrel{\→}{D}}_p,{\stackrel{\→}{D}}_n)---\left(1\right)$

其中，“med”运算符可以分别是一个矢量中间值，或多个矢量分量的中间值。如果运动矢量是子像素的精度(subpixel accurate)，则优选地进行合适的插入。矢量中间值运算可参见论文：“Vector medianfilter(矢量中间值滤波器)”(J.Astola et al.In Proceedings ofIEEE，78：678-689，April 1990)。矢量中间值可以采用等式2和3来给出。假设：

$\mathrm{\Δ}\left(\stackrel{\→}{D}\right)=\underset{k}{\mathrm{\Σ}}|\stackrel{\→}{D}-{\stackrel{\→}{D}}_k|---\left(2\right)$

则

${\stackrel{\→}{D}}_{\mathrm{median}}=\left\{\stackrel{\→}{D}\right|\arg \underset{\stackrel{\→}{D}}{\min }\left(\mathrm{\Δ}\left(\stackrel{\→}{D}\right)\right)\}$

图3示意地示出分别用于位于空间位置

和 处的两例像素的按照本发明的方法。首先考虑位于位置

处像素周围的情况。来自初始运动矢量场

的运动矢量

用来分别从第一矢量场 和第二运动矢量场

获取运动矢量

和

这一选择过程分别用粗箭头300和302来表示。来自初始运动矢量场

的运动矢量

是前景矢量，但由于所获取的矢量

和

是背景矢量，因此，中间值运算符将选择背景矢量。

类似的过程可以用来为位置

处的其它像素建立合适的运动矢量。来自初始运动矢量场

的运动矢量

用来分别从第一矢量场

和第二运动矢量场

获取运动矢量

和

这一选择过程分别用粗黑箭头304和306来表示。这里，用

和

所获得的运动矢量分别是背景矢量和前景矢量。由于来自初始运动矢量场

的运动矢量 也是背景矢量，所以中间值运算符将再次选择背景矢量。

与图2和图3结合描述了根据初始运动矢量场

来确定时间位置n+α的运动矢量场。图4示意示出用于两例像素的按照本发明的方法，其中，没有为中间时间位置来计算初始运动矢量场

示例的像素分别位于空间位置

和 处。

首先考虑位置

处像素周围的情况。来自第一运动矢量场 的运动矢量 用来分别从第一矢量场 和第二运动矢量场

获取运动矢量

和

运动矢量

是基于第一像素的零运动矢量和空间位置

而得到的。图中用虚线箭头400来表示。该选择过程分别用粗黑箭头300和302来表示。运动矢量

是背景矢量，但是，由于所获得的矢量

和 是背景矢量，因而中间值运算符将选择背景矢量。

类似的过程可以用来为位置

处其它像素建立合适的运动矢量。来自第二运动运动场

的运动矢量 用来分别从第一矢量场

和第二运动矢量场

获取运动矢量 和

运动矢量

是根据第二像素的零运动矢量和空间位置

来求得的。图中用虚线箭头402表示。该选择过程分别用粗黑箭头304和306表示。这里，所获得的运动矢量

和

分别是背景矢量和前景矢量。由于运动矢量

也是背景矢量，因此中间值运算符将再次选择背景矢量。

图5A示意示出按照本发明的运动估算单元500的实施例，该运动估算单元被设置用来对时间位置n+α计算最终运动矢量场。运动估算单元500具有三个运动矢量场。所提供的三个运动矢量场的第一

和第二

是采用3-帧运动估算器506来计算的。在美国专利6,011,596中公开了3帧运动估算器506的例子。所提供的第三个运动矢量场

是采用2帧运动估算器508来计算的。该2帧运动估算器508例如在G.de Haan等人的论文“True-MotionEstimation with 3-D Recursive Search Block Matching”中论述(IEEETransactions on circuits and systems for video technology，vol.3，no.5，October 1993，page 368-379)。

按照本发明的运动估算单元500被设置用来估算特定像素的特定运动矢量，并且包括：

-设置产生单元502，用来根据特定像素的特定空间位置，分别通过从第一运动矢量场

第二运动矢量场 和第三运动矢量场

中选择多个运动矢量来产生一组运动矢量 和

以及

-建立单元504，用来通过对该组运动矢量进行顺序统计运算来建立特定的运动矢量

按照本发明的运动估算单元500的工作如结合图3所描述的那样。

采用一个处理器可以实现3帧运动估算器506、2帧运动估算器508、设置产生单元502和建立单元504。通常，这些功能是在软件程序产品的控制下执行的。在执行期间，通常把软件程序产品加载在存储器例如RAM内并由此执行软件程序产品。该程序可以从背景存储器例如ROM、硬盘或磁盘存储器和/或光盘存储器中加载，也可以通过网络例如互联网来加载。可选地，也可以由专用集成电路来提供所公开的功能。

图5B示意示出按照本发明的运动估算单元501的替换实施例。该运动估算单元501也称为是运动矢量再定时单元501，这是因为运动矢量再定时单元501被设置用来对时间位置n+α计算最终运动矢量场，时间位置n+α在分别位于时间位置n-1和n的所提供的两个运动矢量场

和 的中间。所提供的这些运动矢量场的第一

和第二 是采用3帧运动估算器506来计算的。3帧运动估算器506的例子公开在美国专利6,011,596中。

按照本发明的运动估算单元501被设置用来对特定像素估算特定运动矢量，并且包括：

-设置产生单元502，用来根据特定像素的特定空间位置，分别通过从第一运动矢量场

和第二运动矢量场

中选择多个运动矢量来产生一组运动矢量 和

以及

-建立单元504，用来通过对该组运动矢量进行顺序统计运算来建立特定的运动矢量

按照本发明的运动估算单元501的工作如结合图4所描述的那样。

应当注意，按照本发明运动估算单元中产生的该组运动矢量中的运动矢量的个数可以大于结合图3和图4所描述的例子中的三个运动矢量。

不同时间位置n-1、n+α和n的运动矢量的计算优选地是同步进行的。这就是说，某一特定的运动矢量场(例如时间位置n-1处的)不必对应于一起代表相应原始输入视频图像的所有像素的运动的那一组运动矢量。换言之，运动矢量场可以对应于这样一组运动矢量，该组运动矢量一起代表相应原始输入视频图像中仅为10％像素的那一部分像素的运动。

图6A示意示出在按照本发明的实施例中所采用的那一组运动矢量的产生。图6A示意示出对第一图像估算的第一运动矢量场620和对第二图像估算的第二运动矢量场622。这一组运动矢量是根据必须为其建立特定运动矢量的那一特定像素的特定空间位置而通过从第一运动矢量场620和第二运动矢量场中选出多个运动矢量来产生的。该特定像素位于一视频图像序列中的第一图像和第二图像中间的时间位置(n+α)处。这组运动矢量包括从第一运动矢量场620中选出的第一分组运动矢量601-607。该第一分组是基于第一图像中的第一空间位置600，该第一空间位置对应于该特定的空间位置，并且是基于属于第一空间位置的第一运动矢量604的。根据第一运动矢量604，定义直线608。在该直线上，选择第一数量的运动矢量，来形成第一分组运动矢量601-607。通常，第一分组包括9个运动矢量。所选择的第一数量的运动矢量优选地以第一图像中的第一空间位置600为中心。可替换地，可以选择以第一空间位置600为中心，而沿第一运动矢量604的方向在线608上偏移。

该组运动矢量包括从第二运动矢量场620中选出的第二分组运动矢量611-617。该第二分组是基于对应特定空间位置的第二图像中的第二空间位置610并且基于属于第二空间位置的第二运动矢量614。根据第二运动矢量614来定义直线618。在该直线上，选择第二数量的运动矢量，而形成第二分组运动矢量611-617。通常，第二分组还包括9个运动矢量。所选择的第二个数量的运动矢量优选地以第二图像中的第二空间位置610为中心。可替换地，选择不以第二空间位置610为中心，但沿第二运动矢量614的方向在直线618上偏移。

可替换地，该组运动矢量包括从第二运动矢量场中选出的另一第二分组的运动矢量。(这些运动矢量未在图中示出)。该另一第二分组是基于对应特定的空间位置的第二图像中的第二空间位置610，并且是基于属于第一空间位置的第一运动矢量604。根据第一运动矢量604，定义一条直线。在该直线上，选择第二数量的运动矢量，形成另一第二分组运动矢量。通常，该第二分组还包括9个运动矢量。

最后，通过对该组运动矢量例如601-607、611-617进行顺序统计运算，来建立特定运动矢量。优选地，该顺序统计运算是中间值运算。可选地，该中间值也可以是所谓的加权或中心加权中间值运算。这就是说，该组运动矢量包括与相同空间位置相对应的多个运动矢量。例如，该组运动矢量包括多例第一运动矢量和第二运动矢量。假设总共有9个运动矢量601-607从第一运动矢量场620中被选出，那么该组可能包括9例第一运动矢量604。

图6B示意示出在按照本发明的另一种实施例中所应用的该组运动矢量的产生。图6B示意示出对第一图像估算的第一运动矢量场620和对第二图像估算的第二运动矢量场622。该组运动矢量是根据为其必须建立特定运动矢量的特定像素的特定空间位置，通过从第一运动矢量场620和第二运动矢量场中选择多个运动矢量来产生的。

该组运动矢量包括从第一运动矢量场620选出的第一分组运动矢量621-627。该第一分组是基于对应特定的空间位置的第一图像中的第一空间位置600。相对于该第一空间位置，选择第一数量的运动矢量，形成第一分组运动矢量621-627。

该组的运动矢量包括从第二运动矢量场622中选出的第二分组运动矢量631-637。该第二分组是基于对应特定的空间位置的第二图像中的第二空间位置610。相对于该第二空间位置，选择第二数量运动矢量，以形成第二分组运动矢量631-637。

最后，通过对该组运动矢量621-627、631-637进行顺序统计运算来建立特定运动矢量。优选地，顺序统计运算是中间值运算。可选地，该中间值也可以是所谓的加权或中心加权的中间值运算。

可替换地，可以根据两组不同的分量来进行两个顺序统计运算。其工作过程如下。第一分组运动矢量的水平分量是通过取第一运动矢量场620的第一数量的运动矢量625-627的水平分量而产生的，而第二分组运动矢量的水平分量是通过取第二运动矢量场622的第一数量的运动矢量635-637的水平分量而产生的。根据总的水平分量组，通过顺序统计运算来确定特定运动矢量的水平分量。运动矢量的第一分组垂直分量是通过取第一运动矢量场620的第一数量的运动矢量621-624的垂直分量来产生的，运动矢量的第二分组垂直分量是通过取第二运动矢量场622的第一数量的运动矢量631-634的垂直分量来产生的。根据总的垂直分量组，通过顺序统计运算来确定特定运动矢量的垂直分量。

图7示意示出按照本发明的图像处理装置700的实施例，其包括：

-接收装置702，用于接收对应于视频图像序列的信号；

-运动估算单元506，用于对视频图像的第一个图像估算第一运动矢量场和对视频图像的第二个图像估算第二运动矢量场；

-运动矢量再定时单元501，如结合图5B所描述的那样；

-遮断检测器708，用于检测覆盖和显现的区域，该遮断检测器708例如为WO03/041416或WO00/11863中所描述的那样；

-图像处理单元704，用于根据该视频图像序列、运动矢量再定时单元501所提供的运动矢量场和遮断检测器708所提供的遮断图，来计算输出图像的序列；以及

-显示设备706，用于显示图像处理单元704的输出图像。

信号可以是通过天线或电缆接收的广播信号，也可以是来自存储器设备例如VCR(视频盒式录像机)或数字通用盘(DVD)的信号。该信号是在输入连接器708处提供的。图像处理装置700可以例如是电视机。可替换地，图像处理装置700还可以不包括任选的显示设备，但向确实包括显示设备706的装置提供输出图像。接着，图像处理装置700可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。可选地，图像处理装置700还可以包括存储装置例如硬盘或在可移动媒介例如光盘上进行存储的装置。图像处理装置700也可以是由电影厂或广播电台使用的系统。

应当注意，上述实施例仅仅对本发明进行描述，而非对本发明进行限制，并且在不偏离所附权利要求书的范围的情况下，本领域中的普通技术人员可以设计可替换的实施例。在这些权利要求书中，不应当把括号之间的参考符号理解成是对权利要求的限制。术语“包括”不排除权利要求书中未列举的元件或步骤的存在。元件前的术语“一”或“一个”不排除存在多个这样元件。本发明可以采用包括多个分立元件的硬件以及采用合适编程的计算机来实现。在枚举多个装置的单元权利要求中，这些装置的若干个可以采用同一个硬件来实现。使用的术语第一、第二和第三等并不表示任何顺序。这些术语应当被理解成是名称。

Claims (16)

1.一种根据对第一图像估算的第一运动矢量场 并根据对第二图像估算的第二运动矢量场

来对特定像素估算特定运动矢量 的方法，特定像素具有特定空间位置并位于视频图像序列的第一图像和第二图像中间的时间位置(n+α)，所述方法包括：

-根据所述特定像素的特定空间位置，通过从第一运动矢量场和第二运动矢量场 中选出多个运动矢量，来产生一组运动矢量

以及

-通过对该组运动矢量

进行顺序统计运算，来建立所述特定运动矢量

2.如权利要求1所述的估算特定运动矢量的方法，其特征在于，所述顺序统计运算是中间值运算。

3.如权利要求1所述的估算特定运动矢量的方法，其特征在于，产生该组运动矢量包括选择对第一图像估算的第一运动矢量，所述第一运动矢量具有与特定像素的特定空间位置对应的第一空间位置。

4.如权利要求3所述的估算特定运动矢量的方法，其特征在于，产生该组运动矢量包括选择对所述第一图像估算的第二运动矢量，所述第二运动矢量具有由特定像素的特定空间位置和所述被选择的第一运动矢量确定的第二空间位置。

5.如权利要求4所述的估算特定运动矢量的方法，其特征在于，产生该组运动矢量包括选择对所述第二图像估算的第三运动矢量，所述第三运动矢量具有由特定像素的特定空间位置和所述被选择的第一运动矢量确定的第三空间位置。

6.如权利要求1所述的估算特定运动矢量的方法，其特征在于，产生该组运动矢量包括选择对所述第一图像估算的第二运动矢量，所述第二运动矢量具有由特定像素的特定空间位置和对该特定像素估算的第一运动矢量确定的第二空间位置。

7.如权利要求6所述的估算特定运动矢量的方法，其特征在于，产生该组运动矢量包括选择对所述第二图像估算的第三运动矢量，所述第三运动矢量具有由特定像素的特定空间位置和对该特定像素估算的第一运动矢量确定的第三空间位置。

8.如权利要求3所述的估算特定运动矢量的方法，其特征在于，产生该组运动矢量包括选择对第二图像估算的第二运动矢量，所述第二运动矢量具有与特定像素的特定空间位置对应的第二空间位置。

9.如权利要求8所述的估算特定运动矢量的方法，其特征在于，产生该组运动矢量包括选择对所述第一图像估算的具有第三空间位置的第三运动矢量和选择对第一图像估算的具有第四空间位置的第四运动矢量，所述第一空间位置、所述第三空间位置和所述第四空间位置位于一条线上。

10.如权利要求9所述的估算特定运动矢量的方法，其特征在于，所述线的方向与第一运动矢量一致。

11.如权利要求1所述的估算特定运动矢量的方法，其特征在于，所述方法包括将第一中间运动矢量场上变换成第一运动矢量场，所述第一运动矢量场具有比所述第一中间运动矢量场更高的分辨率，并且包括将第二中间运动矢量场上变换成第二运动矢量场，所述第二运动矢量场具有比所述第二中间运动矢量场还要高的分辨率。

12.一种根据对第一图像估算的第一运动矢量场并根据对第二图像估算的第二运动矢量场来对特定像素估算特定运动矢量的运动估算单元(501)，所述特定像素具有特定空间位置并位于视频图像序列的第一图像和第二图像中间的时间位置，所述运动估算单元包括：

-设置产生装置(502)，用于根据所述特定像素的特定空间位置，通过从第一运动矢量场和第二运动矢量场中选出多个运动矢量来产生一组运动矢量；以及

-建立装置(504)，用于通过对该组运动矢量进行顺序统计运算来建立所述特定的运动矢量。

13.一种图像处理装置(700)，它包括：

-接收装置(702)，用于接收对应于视频图像序列的信号；

-运动估算装置(506)，用于对视频图像的第一个图像估算第一运动矢量场，--和对视频图像的第二个图像估算第二运动矢量场；

-运动估算单元(501)，用于对特定像素估算特定运动矢量，所述特定像素具有特定的空间位置并位于所述视频图像中的第一个图像和所述视频图像中的第二个图像之间的时间位置，所述运动估算单元包括：

-设置产生装置(502)，用于根据所述特定像素的特定空间位置，通过从所述第一运动矢量场和所述第二运动矢量场中选出多个运动矢量来产生一组运动矢量；以及

-建立装置(504)，用于通过对该组运动矢量进行顺序统计运算来建立所述特定运动矢量；以及

-图像处理单元(704)，用于根据所述视频图像序列和所述特定运动矢量来计算输出图像的序列。

14.如权利要求13所述的图像处理装置(700)，它还包括用于显示输出图像的显示设备(406)。

15.如权利要求14所述的图像处理装置(700)，它是一种电视机。

16.一种由计算机装置加载的计算机程序产品，它包括用来根据对第一图像估算的第一运动矢量场并根据对第二图像估算的第二运动矢量场对具有特定空间位置且位于视频图像序列中的第一图像和第二图像中间的时间位置处的特定像素估算特定运动矢量的指令，所述计算机装置包括处理装置和存储器，所述计算机程序产品在加载后向所述处理装置提供执行下述功能的能力：

-根据所述特定像素的特定空间位置，通过从所述第一运动矢量场和第二运动矢量场中选择出多个运动矢量而产生一组运动矢量；以及

-通过对该组运动矢量进行顺序统计运算来建立所述特定运动矢量。

Images