CN1041043C - 运动预测方法及其装置 - Google Patents

Abstract

按照本发明的运动预测方法及其装置，根据用于测出象素单元的运动矢量的误差值中对应于测出的运动矢量的前一帧内的图象信息组及该图象信息组上下左右各移动一个象素所产生的图象信息组，与要进行运动预测的本帧内的图象信息组间的图象信号进行比较，而产生误差值。对所得的误差值进行上下比较，检测出半象素单元运动矢量的垂直分量，而进行左右比较，则检测出半象素运动矢量的水平分量，这就使检测出半象素单元运动矢量所必要的信息量大幅度减少。

Description

运动预测方法及其装置

本发明涉及运动预测方法及其装置，尤其涉及数字图象信号编码的DPCM(差分脉冲偏码调制)制式中，用决定运动矢量的运动预测时产生的误差值，可以更进一步地对微细动作作出预测的运动预测方法及其装置。

一般，在高清晰度电视(HDTV)、数字磁带录象机(数字VTR)及多种记录载体等的用连续数字图象信号的图象处理装置中，为了更有效地压缩传输的信息，已经提出了许多编码方式，其中之一就是用视频信号各帧之间存在的信息相关性进行编码的DPCM编码制式。

DPCM制式中，把时间上相邻的帧间差分信号编码的情况下，处理运动图象要比处理静止图象时的编码信息量多得多，这是它的缺点。

但是，如果知道当前一帧(下称本帧)的哪个特定的信息组是由以前的信息组的哪一部分运动而来，即本帧的特定图象与前一帧的哪个部分最相似，因为这个差值是很小的，所以可望有效地进行信息压缩。

因此，如果把运动预测用于DPCM制式，只要把相互对应的前一帧给定的图象信息组与本帧给定的图象信息组的信号差的少量差分信息进行编码，就可提高传输效率。

至于运动预测方法，就是把运动图象，即把帧间有移动的区域的运动程度作为运动矢量，把本帧内运动图象与前一帧相比，计算出在哪个方向上有何种程度的移动。

而且，对应于上述运动预测，以大约的运动矢量来移动前一帧信号，作为运动补偿。

作为象素单元的运动预测方法，已提出各种方案。通常，时间相邻的两帧之间的运动，由于没有准确固定数象素单元的可能性居多，如果把表示固定数目象素单元的运动矢量用作运动补偿，那末，恐怕就会在运动补偿方面产生较大的误差。因此，为了减小这样的运动补偿误差，需要作辅助象素单元(以下称之为“副象素”)的运动矢量计算。为此，有用半象素单元(下称“半象素”)作为副象素单元的运动预测方法，首先简单地说明采用已有方法的半象素单元的运动预测方法。

图1的装置由以下各部分组成：输入本帧图象信号，形成由N1×N2象素构成的图象信息组的N1×N2信息组形成部1、输入前一帧图象信号，形成由M1×M2象索构成的图象信息组的M1×M2探索区域形成部2、输入N1×N2信息组形成部1的信号和M1×M2探索区域形成部2的信号而检测出象素单元的运动矢量MV1的第1探索部3、输入N1×N2信息组形成部1以及M1×M2探索区域形成部2的输出信号，而用与第1探索部3所检测出的上述运动矢量MV1相应的前一帧内的基准象素及其周围象素算出基准象素周围半象素位置的图象信号值的半象素内插部4、输入N1×N2信息组形成部1以及半象素内插部4的输出信号，而输出半象索单元的运动矢量MV2的第2探索部5以及输入第1探索部3与第2探索部5的输出信号MV1，MV2，而输出运动矢量MV的综算部6。

在N1×N2信息组形成部1，输入本帧图象信号，形成N1×N2大小的信息组。在M1×M2探索区域形成部2，则输入前一帧图象信号，而形成M1×M2大小的探索区域。第1探索部3让本帧的N1×N2信息组在前一帧的探索区域内移动象素单元，比较两个信息组之间的象素信息，找出探索区域内平均绝对误差(MAE)或均方误差(MSE)最小值的位置，就算出固定数象素单元的运动矢量MV1。

第1探索部3生成的固定数象素单元的运动矢量MV1输入到综算部6与半象素内插部4。半象素内插部4用线性内插法在前一帧内根据固定数象素单元的运动矢量MV1从指定的基准象素及其周围象素计算出半象素值，然后输出到第二探索部5。

图2中，“O”表示象素单元间隔，“X”表示半象素单元间隔。第2探索部5在与已得到的固定数象素单元的运动矢量MV1所对应的前一帧图象信息组向上下左右各移动半个象素得到8个半象素运动矢量的位置“X”及运动矢量MV1位置内检测有最小运动补偿误差的位置，从而确定出半象素位置的细微调整值的矢量成分(-1/2，0，1/2之中的一个)，然后输出去。

综算部6把从第1探索部3输出的固定数象素单元的运动矢量MV1与从第2探索部5输出的半象素单元的运动矢量MV2进行矢量计算，来确定用于运动预测的整个运动矢量MV。例如，综算部6在来自第1探索部3的象素单元的运动矢量MV＝(X，Y)上加上来自第2探索部5的半象素单元的运动矢量的左右方向分量-1/2，确定出运动矢量MV＝X-1/2，Y。

上述已有的方法是采用象素间隔单元的运动矢量来确定信息组位置，如果用根据所确定的信息组位置及位于该信息组位置周围的象素间的内插而得到所要的半象素值，并用平均绝对误差MAE来一个个计算8个半象素的运动位置，即图2的“X”，就必须依据固定数象素单元的运动预测时产生的误差来求出运动矢量。因此，这种方法存在的问题是为了预测半象素单元的运动矢量而进行的信息处理需要很长的时间。

为解决上述的问题，本发明的目的是提供一种运动予测方法，该方法的步骤是：首先根据本帧所给图象信息组与前一帧内的图象信息组之间的运动矢量予测的误差值内的象素单元的运动矢量，让所确定的前一帧内的所给图象信息组及该信息组向左右上下各移动一个象素间隔，由所得图象信息组的比较产生误差值，然后用产生的误差值的大小比较，予测副象素单元的运动矢量，进一步对细微运动作可能的补偿。

本发明的另一个目的是提供一种运动预测装置，它首先根据用于本帧所给的图象信息组与前一帧内的图象信息组之间的运动矢量预测的误差值之内的象素单元的运动矢量，让所确定的前一帧内的所给的图象信息组及该信息组向左右上下各移动一个象素间隔，产生取决于所得到的信息组的误差值，再对所产生的误差值作的大小比较预测出副象素单元的运动矢量，进一步对细微运动作可能的补偿。

为达到上述的目的，对相邻的帧间图象信号作比较来预测图象运动的方法，本发明的预测方法的特征在于包括下述步骤：形成由本帧的图象信号构成的第1图象信息组与由前一帧的图象信号构成的第2图象信息组的步骤；存贮在第2图象信息组之中，把上述与第1图象信息组有相同信息组大小的多个图象信息组的图象信号和上述的第1图象信息组作比较，产生多个误差值的步骤；用上述产生的误差值检测出象素单元运动矢量的第1运动矢量的步骤；用于检测上述第1运动矢量的误差值中，输出存储于第二图象信息组、并与上述第1运动矢量相应的前一帧内的基准图象信息组所相关的误差值，以及输出将基准图象信息组向上下左右各移动一个象素位置的周围图象信息组与上述第1图象信息组相比较产生的误差值的步骤；用上述的输出的误差值产生半象素单元的第2运动矢量的步骤；以及将上述的第1运动矢量与第2运动矢量进行矢量相加的步骤。

而且，为达到本发明的另一个目的，把相邻帧间的图象信号用来预测图象运动的装置中，本发明的预测装置的特征在于：包括如下各部分：输入本帧图象信号，形成第1图象信息组的部件；输入前一帧图象信号，形成第2图象信息组的部件；输人来自上述第1图象信息组的形成部件及第2图象信息组的形成部件的图象信号，检测象素单元的第1运动矢量，并将用于检测第1运动矢量的误差值中，输出存储于第二图象信息组、并与上述第1运动矢量相应的前一帧内的基准图象信息组所相关的误差值，以及输出将基准图象向上下左右各移动一个象素所产生的周围图象信息组与上述第1图象信息组相比较所产生的误差值的探索部件；输入从上述探索部件输出的误差值产生半象素单元的第2运动矢量的半象素调整部件；以及输人上述的第1运动矢量与第2运动矢量而作矢量相加的输出部件。

图1是表示已有运动预测装置的框图。

图2是说明象素单元与半象素单元的示意图。

图3是表示本发明的最佳实施例的运动预测装置。

图4是针对图3的左右方向半象素调整部件的详细框图。

图5A与图5B是说明左右方向半象素调整部件的半象素单元运动矢量的确定方法的示意图。

对应于前一帧的探索区域的本帧所给的信息组的运动矢量，可表示为MV＝(X，Y)，此处运动矢量MV具有水平运动矢量分量X和垂直运动矢量分量Y。下面以半象素单元作为副象素单元的一种情况来说明本发明。

图3是表示根据本发明的最佳实施例的运动预测装置的框图。

图3装置由下述诸部分构成：输入本帧图象信号，形成由N1×N2象素组成的图象信息组的N1×N2信息组形成部件31、输入前一帧图象信号，形成由M1×M2象素组成的图象信息组的M1×M2探索区域形成部件32、输入N1×N2信息组形成部件31和M1×M2探索区域形成部件32的输出信号，检测出象素单元运动矢量的第1运动矢量MV1，将对应于该检出的运动矢量MV1的前一帧之内的基准象素作为中心，把有N1×N2大小的信息组向上下左右各移动一个象素，而输出由所产生的5个图象信息组与本帧内的图象信息组之间的信息作比较的误差值的探索部件33、输入来自探索部件33的误差值，计算从上述基准象素出发向上下或左右有半象素间隔的运动矢量即第2运动矢量MV2的半象素调整部件34、以及输入来自探索部件33的运动矢量MV1和来自半象素调整部件34的运动矢量MV2，进行矢量相加计算而输出的综算部件37。

半象素调整部件34设有检测第2运动矢量的水平分量的左右半象素调整部35以及检测第2运动矢量的垂直分量的上下半象素调整部36。

如果将时间上相邻的两帧图象信号之中的本帧图象信号输入到N1×N2信息组形成件31，那么，N1×N2信息组形成部件31就把输入的本帧的图象信号存储成N1×N2大小的信息组。因为本帧的图象信号输入的同时，前一帧的图象信号输入到M1×M2探索区域形成部件32中，所以，M1×M2探索区域形成部件32要把输入的前一帧图象信号存储为比N1×N2信息组大的M1×M2大小的信息组，存储完毕的M1×M2大小的探索区域的图象信号与N1×N2信息组的图象信号分别从M1×M2探索区域形成部32与N1×N2信息组形成部31输出到探索部件33。

用固定数象素单元的运动矢量把运动预测时的运动预测误差规定为P0、由预测出的运动矢量向上下左右各移动大约一个象素时的运动预测误差分别规定为P1′，P-1′，P-1和P1，而用平均绝对误差或均方误差方法来计算该运动预测误差值。

其中，根据平均绝对误差法计算左右运动预测误差P0、P1、和P-1的公式如下： $\mathrm{Po}=\underset{M=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{M=0}{\overset{N-1}{\mathrm{\Σ}}}|Y(N_{k+m},N_{l+n})-Y^{\′}(N_{k+m+x},N_{l+n+y})|..\left(1\right)$ $P1=\underset{M=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{M=0}{\overset{N-1}{\mathrm{\Σ}}}|Y(N_{k+m},N_{l+n})-Y^{\′}(N_{k+m+x+1},N_{l+n+y})|....\left(2\right)$ $P-1=\underset{M=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{M=0}{\overset{N-1}{\mathrm{\Σ}}}|Y(N_{k+m},N_{l+n})-Y^{\′}(N_{k+m+x-1},N_{l+n+y})|....\left(3\right)$

这里，Y表示本帧图象信号，Y′表示前一帧图象信号，而N1＝N2＝N表示信息组的大小，另外，上述公式是表示对应于帧的左侧上方的第(k，l)信息组。上下运动予测误差P1′和P-1′也按照上述的计算方法求出。

探索部件33将本帧图象信息组存入上述的前一帧探索区域内，并与具有相同大小的多个图象信息组按象素单元作数据大小比较，计算出运动预测误差，把运动预测误差最小的位置确定为固定数象素单元的运动矢量MV1而输入到综算部37中。而且，探索部件33按照上述的计算公式(1)、(2)和(3)，由所得的运动预测误差之中固定数象素单元的运动矢量确定以前一帧内的基准图象信息组和使基准信息组上下左右各移动一个象素间隔而产生的周围图象信息组的运动预测误差P-1′、P1、P0、P-1′、P1′和P0输出到半象素调整部件34中，至于本发明，虽然同时独立地确定半象素单元运动矢量的左右分量与上下分量，因左右半象素调整部35和上下半象素调整部36采用相同的方法，所以只说明确定半象素单元运动矢量的左右分量的方法。

图4是对应图3的左右半象素调整部的详细方框图。

图4装置设置有：输入运动预测误差P1，P0和P-1的三个输入端41，42和43；将第1输入端41的输入信号P1与第2输入端42的输入信号POsh加输出的第1加法器A1；将第2输入端42的输入信号P0与第3输入端43的输入信号P-1相加输出的第2加法器A2；把给定信号输人端连接到第1加法器A1的输出端，而对输入信号作比较输出的第1比较器CMP1；把给定信号输入端连接到第2加法器A2的输出端而对输入信号作比较输出的第2比较器CMP2；以给定的系数与第1加法器A1的输出信号作乘法计算而输出到第2比较CMP2的第2乘法器M2；以给定的系数与第2加法器的输出信号相乘而输出到第1比较器CMP1的第1乘法器M1；以及对比较器CMP1和CMP2的输出信号进行非与输出的或非门P1。另外还设有分开第1比较器CMP1和或非门P1以及第2比较器CMP2的输出信号的三个输出端44、45和46。

如果将探索部件33输出的运动预测误差P1、P0和P-1输入到半象素调整部件34的左右半象素调整部35中，那么，第1加法器A1从来自第1信号输入端41的信号P1中减去来自第2信号输入端42的输入信号P0，然后输出。第2加法器A2从来自第3信号输人端43的信号P-1中减去来自第2信号输入端42的输入信号P0，并输出。第1乘法器M1和第2乘法器M2，以给定的系数K与各自的输入信号相乘后，分别输入到与各自的输出端连接的比较器CMP1和CMP2。如果将P0与P-1的差值a和P0与P1的差值b分别输入到第1比较器CMP1与第2比较器CMP2，则第1比较器对第1加法器A1的输出信号与第1乘法器M1的输出信号作比较而输出，第2比较器CMP2则对第2加法器A2的输出信号与第2乘法器M2的输出信号作比较而输出。

图5A及图5B是为了说明左右半象素调整部的半象素单元运动矢量的确定方法的示意图。图5A表示半象素单元的运动矢量处于象素单元运动矢量的左侧。图5B表示半象素单元运动矢量处于象素单元矢量的右侧。

图5A中，P1具有远大于P-1的值(即图5B具有大于图5A的值)，这意味着运动矢量MV位于象素P15红笔标注处单元和预测出的运动矢量MV1的右侧大约1/2处。

在图5A上，以P0为基准，P1的值比P-1大的情况下，因为仅仅第1比较器CMP1的输出端44是“高”电平，所以左右半象素调整部35输出第2运动矢量的水平分量值为“-1/2”。

在图5B上，以P0为基准，P-1值比P1大得多的情况下，由于仅仅第2比较器CMP2的输出端46是“高”电平，所以，左右半象素调整部35输出第2运动矢量的水平分量值“1/2”。以P0为基，P1与P-1无论哪一个都不比另一侧的值大的情况下，由于两个比较器CMP1和CMP2的输出端44与46全都是“低”电平，所以，把它们加到或非门NOR时，NOR的输出端45就为“高”电平，第2运动矢量的水平分量输出为“0”。

综算部件37由输入第2运动矢量MV2与从探索部件33得到的象素单元运动矢量MV1相加，而预测出半象素单元的运动矢量。

按照上述的本发明的运动预测方法及其装置，使对应于用象素单元的运动矢量测出的误差值之中所测出的运动矢量的前一帧内的图象信息组以及该图象信息组向上下左右各移动一个象素，将所产生的图象信息组与要进行运动预测的本帧内的图象信息组之间的图象信号作比较，产生误差值，对所产生的误差值上下作比较，检测出半象素单元运动矢量的垂直分量，对产生的误差值左右作比较，检测出半象素单元运动矢量的水平分量，这就使检测半象素单元的运动矢量所必需的信号处理量得以大幅度地减少。

本发明可用于将数字图象信号编码的DPCM方式进一步对细微运动作预测的运动预测方法及其装置。

Claims (5)

1、一种对相邻帧间的图象信号作比较，而预测图象运动的方法，其特征在于包括：

形成由本帧图象信号构成的第1图象信息组以及由前一帧图象信号构成的第2图象信息组的步骤；

把存储在第2图象信息组内而与前述第1图象信息组具有相同信息组大小的多个图象信息组的图象信号和上述第1图象信息组作比较，而产生多个误差值的步骤；

用上述所产生的误差值，检测出象素单元的第1运动矢量的步骤；

用于检测上述第1运动矢量的误差值中，输出存储于第二图象信息组、并与上述第1运动矢量相应的前一帧内的基准图象信息组所相关的误差值，以及输出将基准图象信息组向上下左右各移动一个象素位置的周围图象信息组与上述第1图象信息组相比较产生的误差值的步骤；

用上述输出的误差值，产生半象素单元的第2运动矢量的步骤；以及

把上述第1运动矢量与第2运动矢量作矢量相加的步骤。

2、按照权利要求1的运动预测方法，其特征在于上述第2运动矢量产生步骤包括：把基准图象信息组及位于基准图象信息组左右的上述周围图象信息组与上述第1图象信息组按给定形态作图象信号比较，而产生误差值，比较所产生的误差值的大小，检测出第2运动矢量的水平分量的步骤；把基准信息组及位于基准图象信息组上下的上述周围图象信息组与上述第1图象信息组按给定的形态进行图象信号比较，而产生误差值，比较所产生的误差值的大小，检测出第2运动矢量的垂直分量的步骤。

3、按照权利要求2的运动预测方法，其特征在于上述大小比较步骤是比较其大小，把对应于最小误差值的图象位置作为第2运动矢量的矢量成分而输出。

4、一种用相邻帧间的图象信号预测图象运动的装置，其特征在于包括：

输入本帧图象信号，而形成第1图象信息组的部件；

输入前一帧的图象信号，而形成第2图象信息组的部件；

输入来自上述第1图象信息组的形成部件及第2图象信息组的形成部件的图象信号，检测象素单元的第1运动矢量，并将用于检测第1运动矢量的误差值中，输出存储于第二图象信息组、并与上述第1运动矢量相应的前一帧内的基准图象信息组所相关的误差值，以及输出将基准图象向上下左右各移动一个象素所产生的周围图象信息组与上述第1图象信息组相比较所产生的误差值的探索部件；

输入由上述探索部件输出的误差值，而产生半象素单元的第2运动矢量的半象索调整部件；以及

输入上述第1运动矢量与第2运动矢量，进行矢量相加并输出的部件。

5、按照权利要求4的运动预测装置，其特征在于半象素调整部件设有：比较与上述基准图象信息组相关的误差值及位于基准图象信息组左右的上述周围图象信息组与上述第1图象信息组相比较所产生的误差值，产生第2运动矢量的水平方向分量的水平半象素调整部件；以及比较与上述基准图象信息组相关的误差值及位于基准图象信息组上下的上述周围图象信息组与上述第1图象信息组相比较所产生的误差值，产生第2运动矢量的垂直方向分量的垂直半象素调整部件。

Images