[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN1671209A - 运动图像编码装置 - Google Patents

运动图像编码装置 Download PDF

Info

Publication number
CN1671209A
CN1671209A CNA2005100551185A CN200510055118A CN1671209A CN 1671209 A CN1671209 A CN 1671209A CN A2005100551185 A CNA2005100551185 A CN A2005100551185A CN 200510055118 A CN200510055118 A CN 200510055118A CN 1671209 A CN1671209 A CN 1671209A
Authority
CN
China
Prior art keywords
motion vector
prediction
sub
current block
pixel precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005100551185A
Other languages
English (en)
Inventor
小宫大作
柴原阳司
角野真也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1671209A publication Critical patent/CN1671209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种运动图像编码装置，包括：运动矢量估计单元，其使用第一滤波器，以子像素精确度，内插在参考图像之搜索区域内的一预定区域，以及在所述内插的区域内，估计出表示与待编码的当前块具有高相关性的若干预测块之位置的两个或多个运动矢量；以及运动矢量确定单元，其使用比所述第一滤波器的抽头数量更多的第二滤波器，以子像素精确度，内插由所述估计的若干运动矢量表示的所述若干预测块的每一个，并且基于所述内插的若干预测块的每一个与所述当前块之间的差异数据，从所述运动矢量估计单元估计的所述若干运动矢量当中，确定用于表示与所述当前块具有最高相关性的预测块之位置的运动矢量。

Description

运动图像编码装置
技术领域
本发明涉及一种运动图像编码装置，以及具体地，涉及一种在用于利用有限资源对运动图像进行编码的大规模集成系统(LSI)、软件等中允许进行子像素精确度的有效运动估计的运动图像编码装置。
背景技术
近来年，随着计算机性能的提高以及因特网通信能力的增加，数字内容已经被广泛使用。对于作为静态图像序列的运动图像(视频)的记录，数字DVD已经飞速地代替了模拟家用录像系统(VHS)。视频序列包含巨量的信息，并且由此对于将视频信息处理为数字数据来说，压缩视频大小的技术是必需的。在数字视频内容中，通过编码来压缩信息。这种视频压缩技术已经被用于各种产品。例如，MPGE-2被用在DVD录像机中作为编码方法，同时MPGE-4被用在作为视频电话的移动电话中。
可以预料到：与视频有关的应用将会日益发展。如果使用设置有摄像机的移动电话作为视频播放器变得普及，那么对于将视频数据存储在例如安全数码(SD)卡的存储介质中的需求就会增长。同样，经由因特网下载以及观看用于大屏幕(例如电影)的高清晰度视频数据流也变得普及。这些应用共同之处在于对提高视频压缩性能具有强烈的需求。换句话说，如果视频压缩性能被提高，就有可能在具有相同的容量的存储介质中记录更长时间段的视频数据，或者在相同的网络频带中传送更高质量的视频数据。
在此背景下，运动图像专家组(Moving Picture Expert Group：MPEG)以及国际电信联盟-电信标准化部门(ITU-T)形成联合视频工作组(Joint Video Team：JVT)，最终确定用于更有效压缩和编码的下一代编解码器的标准化，并且MPEG-4 AVC/H.264现在已经被标准化。这个标准此后被称为MPEG-4 AVC。MPEG-4 AVC针对于传统的混合编码器结构，其采用图像与利用空间相关性的频率变换之间的时间相关性来进行运动补偿。然而，它通过在其中引入几个新的工具以及优化现有的工具，达到了传统标准(例如ITU-T H.263和MPEG-4)之编码效率的两倍。这里，图像表示帧或半帧。
MPEG-4 AVC实现了用于视频解码的增强压缩性能，同时它要求进行巨量的计算。因此，在MPEG-4 AVC处理被实施于LSI的情况下，增大了它的电路尺寸，以及由于操作周期的增加而消耗了更多的功率。这种电路尺寸的增大不仅引起了LSI价格的上涨，而且增大了LSI占据的空间，这对于小型以及轻重量的移动设备是不合适的。另外，功率消耗的增加使得电池驱动型设备的操作时间极大地减小。另一方面，在MPEG-4 AVC处理作为软件被实施的情况下，功率消耗的增大需要有一个能够快速执行大量计算的中央处理器(CPU)，或者引起处理时间的极大增加。
图1显示了按照包括有MPEG-4 AVC的传统MPEG标准所使用的混合编码装置的一个例子。参考图1，以下对传统运动图像编码装置的内部连接结构进行描述。该运动图像编码装置包括：输入单元2001，用于接收输入的运动图像；运动矢量估计电路2002，用于图像间运动预测；运动补偿电路2004，用于创建预测图像；减法电路2003；正交变换电路2007；量化器2008；逆量化器2010；逆正交变换电路2011；加法电路2006；参考图像存储器2005，其保持用于图像间运动预测的参考图像；编码单元2012，用于将相应的编码分配给一信息序列；输出单元2009，用于将编码的位信息分割成合适大小的若干块，以及将它们输出到外部。
接着，参考图2的流程图，给出了传统运动图像编码装置之操作的总体说明。
步骤2301：输入单元2001从外部存储器接连读取将要编码的当前图像。当外部存储器中没有可以被读取的图像时，输入单元2001终止它的操作。它将每一个读取的图像分割成N个称为宏块的像素块。
步骤2302：然后，输入单元2001按照宏块编号从1到N的上升顺序，将这些宏块传送到运动矢量估计电路2002和减法电路2003。当完成所述N个宏块的传送时，它又开始读取新的图像(到步骤2301)。
步骤2303：运动矢量估计电路2002从参考图像存储器2005读取与第n个宏块相对应的参考图像上的搜索区域，以及执行运动预测处理。在此，运动矢量估计电路2002根据利用6抽头滤波器的子像素精确度的块匹配来估计运动矢量，其中6抽头滤波器将在稍后描述。然后，运动矢量估计电路2002将与通过运动估计获得的第n个宏块相对应的运动矢量输出到运动补偿电路2004。同时，运动矢量估计电路2002将这些运动矢量输出到编码单元2012。参考图像的图像存储在参考图像存储器2005中。
步骤2304：运动补偿电路2004根据从运动矢量估计电路2002获得的运动矢量来获取存储在参考图像存储器2005中的参考图像的像素值。然后，它通过像素内插来产生一个与第n个宏块的形状相同并且大小相等的预测图像，并且将它输出到减法电路2003和加法电路2006。
步骤2305：不仅将要被编码的当前图像中的第n个宏块的图像数据被从输入单元2001传送到减法电路2003，而且通过运动补偿电路2004执行运动补偿的参考图像中相对应区域的图像数据也被传送到减法电路2003。减法电路2003从当前图像中第n个宏块的图像数据中减去参考图像中相应区域的图像数据，以便计算出差异数据。该差异数据被传送到正交变换电路2007。
步骤2306：正交变换电路2007对差异数据执行正交变换。例如使用离散余弦变换(DCT)作为这种正交变换。由正交变换电路2007获得的变换系数被传送到量化器2008。量化器2008对变换系数进行量化。量化器2008将用于量化处理的量化值以及量化的变换系数输出到编码单元2012和逆量化器2010。
步骤2307：逆量化器2010根据接收的量化值以及变换系数来执行逆量化。然后，逆正交变换电路2011执行例如逆DCT的逆频率变换，从而再现减法电路2003输出的第n个宏块的差异数据，以及将再现的差异数据输出到加法电路2006。
步骤2308：已执行了运动补偿的参考图像的图像数据(即预测图像数据)被从运动补偿电路2004传送到加法电路2006。再现的差异数据被增加到该预测图像数据中，从而获得将要编码的当前图像的图像数据。该当前图像的图像数据被存储到参考图像存储器2005中与宏块编号n相对应的位置，作为用于以下编码的参考图像。
步骤2309：编码单元2012对从量化器2008所传送的量化值以及量化的变换系数、从运动矢量估计电路传送的运动矢量等进行编码。作为用于这种编码的方法，可以使用基于上下文的自适应变长编码(Context-Adaptive Variable Length Coding：CAVLC)、基于上下文的二进制算术编码(Context-Adaptive Binary Arithmetic Coding：CABAC)等。编码单元2012将编码的位信息传送到输出单元2009。
步骤2310：输出单元2009将从编码单元2012接收的位信息存储到图中没有示出的缓冲器中，以及根据预先确定的分割方法对其进行分组化。依据将位信息传送到网络、存储到存储器介质中等等的应用目的，来确定分隔方法。当完成对第n个宏块的所有操作时，接着执行对第n+1个宏块的处理(到步骤2302)。
传统运动图像编码装置按照以上模式对输入的图像进行编码。输入单元2001按时间顺序接连读取图像。可替换地，它可以按照其它顺序读取图像。在这种情况下，时间靠后的图像的读取早于时间靠前的图像的读取，例如以0、3、1、2、6、4、5、9、7、8...的顺序读取。先前编码的图像作为参考图像被存储在参考图像存储器2005中，并且在图像间预测编码期间是可利用的。在运动预测处理中，图像根据它们可利用的参考图像被分类为两种类型。仅仅根据时间上在它们之前的参考图像所预测的那些图像称为P-图像，同时根据时间上在它们之前以及之后的参考图像所预测的那些图像称为B-图像。将要用作参考图像的图像在合理的时间段内存储在参考图像存储器2005中，并且可以被运动矢量估计电路2002以及运动补偿电路2004所访问。
在图1所示的高效率编码装置中，运动矢量估计电路2002中的估计运动矢量的处理通常承担着最高的负荷。根据MPEG中的图像间运动预测，图像被分割成若干块，并且在逐块的基础上执行运动补偿。这也使用在ITU-T H.261中，ITU-T H.261是用于视频电话的运动图像编码的国际标准。这种逐块的运动补偿一般是基于利用块匹配的运动矢量估计来执行的。图3是用于解释块匹配的示意图。在图3中，2101表示将要编码的当前图像，以及2102表示参考图像。将要编码的当前图像2101被分割成若干块，并且在逐块的基础上在参考图像2102中的搜索区域2106内执行搜索。可以指定一个任意大小的搜索区域2106。在块2103是目标块(当前块)的情况下，以下面的模式执行块匹配，即在搜索区域2106内搜索最类似于目标块的块并且预测块2104被估计作为最相关的块。基于绝对误差总和(SAD)来评估块之间的相似性。然而，相似性并不总是需要基于SAD来估计，并且它也可以基于SAD变换(SADT)来估计，其中SAD变换是正交变换的SAD。预测块2104与目标块2103之间的相对位置误差由运动矢量2105来表示。运动矢量估计电路2002基于上述块匹配来估计运动矢量。
为了提高通过块匹配来估计运动矢量的精确性，以及为了提高图像间运动预测中的编码效率，运动矢量估计电路2002通常利用子像素精确度来估计运动矢量，子像素精确度的运动矢量估计是符合上述块匹配的方法。更具体地，通过在参考图像2102中内插像素值来在坐标平面上产生非整数像素值，从而创建一个高分辨率的参考图像。结果，可以产生与目标块更相关的预测块，以及因此也实现了增强的编码效率。
图4是解释子像素精确度的运动预测之通用操作的示意图，并且图4显示了组成图3所示搜索区域2106的若干像素的细节。在搜索区域2106中，圆圈(○)表示整数像素值2502，并且获得整数像素精确度的预测块2501，作为由运动矢量估计电路2002所执行的整数像素精确度的运动预测的结果。接着，运动矢量估计电路2002在搜索区域中内插若干像素值，以便预测在预测块2501周围具有子像素精确度的运动。交叉(×)表示利用内插式滤波器通过搜索区域之像素精确度的像素内插而获得的子像素。运动矢量估计电路2002利用像素精确度的搜索区域来执行运动预测，并且得到像素精确度的预测块以及运动矢量。它还利用像素内插式滤波器来在通过像素运动预测获得的预测块周围执行搜索区域的像素内插，以及利用图中未显示的子像素来执行具有像素精确度的运动预测。结果，最终获得如图3所示的预测块2104以及运动矢量2105。在图4中，内插是在只包括相邻于通过整数像素精确度的运动预测获得的预测块2501之每个边的八个环绕像素的范围内执行的。然而，可以内插任意大的范围，作为用于子像素精确度的运动预测的搜索区域。另外，尽管在图4中利用直到等于像素精确度来执行运动预测，但是它也可以利用任意较高精确度来执行运动预测。
当利用这种子像素精确度来执行运动估计时，除了正常的运动估计之外，运动矢量估计电路2002需要执行以下处理：(1)创建具有较高分辨率的图像；以及(2)根据具有高分辨率并且具有较宽搜索范围的参考图像来估计运动矢量。在MPEG-2中，为了达到上述(1)的目的，利用2抽头滤波器来执行线性内插。在MPEG-4 AVC中，利用6抽头滤波器来产生参考图像。更详细地，首先利用6抽头滤波器来产生像素精确度的内插值，以及进一步利用2抽头滤波器从精确度的像素中产生像素精确度的内插值。
图5显示了参考图像中的整数像素以及子像素。参考图5，描述利用2抽头滤波器的像素内插与利用6抽头滤波器的像素内插之间的区别。在参考图像中，由粗线圆圈(○)表示的整数像素2201以及由细线圆圈(○)表示的像素精确度的子像素都是以均匀间隔排列的，尽管图中没有显示与本描述无关的像素。这些子像素的使用允许提高参考图像的分辨率。2抽头滤波器利用两个像素来执行线性内插，而6抽头滤波器利用六个像素来执行内插。这里集中于子像素c，2抽头滤波器利用像素G和H产生像素c，而6抽头滤波器利用像素E、F、G、H、I以及J产生像素c。
根据以下等式，利用这些2抽头滤波器和6抽头滤波器来产生子像素。这里，w1到w6是确定6抽头滤波器之形状的系数，即，像素的权重。
*利用2抽头滤波器的像素内插：
c＝(G+H+1)/2
f＝(G+M+1)/2
g＝(f+h+1)/2＝(G+H+M+N+2)/4
*利用6抽头滤波器的像素内插：
c＝(w1×E+w2×F+w3×G+w4×H+w5×I+w6×J+(W/2))/W
f＝(w1×A+w2×C+w3×G+w4×M+w5×R+w6×T+(W/2))/W
g＝(w1×d+w2×e+w3×f+w4×h+w5×i+w6×j+(W/2))/W
W＝w1+w2+w3+w4+w5+w6
正如从上述等式中清楚看到的，利用六个像素来预测子像素的6抽头滤波器实现了比2抽头滤波器更准确的像素内插。另一方面，利用6抽头滤波器的像素内插极大地增大了用于产生单个子像素的加法数和乘法数，并且由此增加了计算负荷。另外，所提到的用于计算的像素数量的增加引起了对存储器访问次数的增加。
在这种背景下，已经考虑了一种技术，用于减小将要执行的计算量，以及因此减小电路尺寸，同时没有降低子像素精确度的运动预测的性能。例如，日本专利申请公开No.7-162868(专利文件1)描述了一种通过执行多级运动预测来缩小用于子像素精确度的运动预测的搜索区域并且由此减少计算量的方法。日本专利申请公开No.7-95585(专利文件2)描述了一种用于减少用于产生高分辨率的参考图像的计算量以及减少用于搜索运动矢量的计算量的方法，其中通过在子像素精确度的运动预测中只在垂直和平行方向执行像素内插而在斜向不执行像素内插来实现该方法。日本专利申请公开No.2003-348595(专利文件3)描述了一种用于当执行子像素精确度的运动预测时减少通过6抽头滤波器产生每个块之搜索区域的冗余计算的方法，其中通过将由6抽头滤波器产生的一个图像的子像素精确度的内插参考图像数据存储在存储器中来实现该方法。图6显示了专利文件3中公开的运动图像编码装置的结构。图像产生单元2401以及高分辨率的参考图像存储器2402都没有包括在图1显示的传统运动图像编码装置中，以及用于一个图像的内插数据被存储在高分辨率参考图像存储器2402中。
然而，专利文件1和专利文件2都没有公开了当执行子像素精确度的运动预测时减少利用6抽头滤波器产生参考图像所需要的计算量。此外，专利文件3中公开的方法通过用于产生子像素的6抽头滤波器来减少冗余的计算量，但是实际上当执行子像素精确度的运动预测时需要计算没有用于搜索的范围，以便图像产生单元2401产生对于一个图像的整体内插图像。专利文件3的方法还有一个缺点在于：它需要高容量的高分辨率参考图像存储器作为新的组成元件，用于保持已经通过6抽头滤波器进行内插的高分辨率参考图像。
发明内容
本发明的一个目的在于：保持正如利用由6抽头滤波器内插的参考图像之传统子像素精确度的运动预测的高压缩性能，同时没有添加新需要的存储器，而将运动矢量估计电路2002执行的计算数量保持在传统水平以下。
为了实现这个目的，本发明的运动图像编码装置包括：运动矢量估计单元，其使用第一滤波器，以子像素精确度，内插在参考图像之搜索区域内的一预定区域，以及在所述内插的区域内，估计出表示与待编码的当前块具有高相关性的若干预测块之位置的两个或多个运动矢量；以及运动矢量确定单元，其使用比所述第一滤波器的抽头数量更多的第二滤波器，以子像素精确度，内插由所述估计的若干运动矢量表示的所述若干预测块的每一个，并且基于所述内插的若干预测块的每一个与所述当前块之间的差异数据，从所述运动矢量估计单元估计的所述若干运动矢量当中，确定用于表示与所述当前块具有最高相关性的预测块之位置的运动矢量。
换句话说，根据本发明的运动图像编码装置，运动矢量估计单元使用2抽头滤波器来产生子像素，以及使用产生的参考图像，来执行子像素精确度的运动预测，由此减少运动矢量的数量，运动矢量确定单元利用6抽头滤波器对这两个或多个运动矢量执行运动补偿，由此产生预测块，以及比较这些运动补偿的预测块的编码成本(这也称为“评估成本”)，从而可以达到正如利用由6抽头滤波器创建的参考图像进行的子像素精确度运动预测的高压缩性能，在将计算量保持在传统的水平以下的同时，没有添加最新需要的存储器。请注意，编码成本是基于预测块与当前(目标)块之间的差异图像数据而得到的值，并且表示预测块与当前块之间的相关性的微弱(lowness)程度。
也可以是：第二子像素精确度运动矢量估计单元估计出两个或多个运动矢量，作为前向运动矢量和后向运动矢量每一个的候选者，运动矢量确定单元也包括：第二编码成本评估单元，其在使用第二滤波器，以子像素精确度，内插每一个预测块之后，基于当前块与每一个预测块之间的差异数据，来计算出第二编码成本，第二编码成本表示随着第二编码成本值变得越变小，每一个预测块与当前块之间的相关性变得越高，并且在方向确定单元确定当前块的预测方向是单向的情况下，运动矢量确定单元基于第二编码成本，从为前向运动矢量或者后向运动矢量估计的运动矢量候选者当中，确定表示与当前块最相关的预测块的运动矢量。
根据这个配置，可以将两个或多个运动矢量候选者输出到运动矢量确定单元，以及从这些候选者当中，选择表示与当前块具有最高相关性的预测块之位置的运动矢量，不管方向确定单元判定的预测方向。
可替换地，第一滤波器可以通过线性内插内插在参考图像中的一个区域。通过执行利用第一滤波器的线性内插，可以用少的数量计算来内插像素。
同时也可以是，运动矢量确定单元选择一个表示第二编码成本最小的预测块之位置的运动矢量，以及确定：(i)在方向确定单元确定当前块的预测方向是前向的情况下，来自估计的前向运动矢量候选者当中的运动矢量，以及(ii)在方向确定单元确定当前块的预测方向是后向的情况下，来自估计的后向运动矢量候选当中的运动矢量。
此外，也可以是，运动图像编码装置还包括一平均图像产生单元，用于在方向确定单元确定当前块的预测方向是双向的情况下，产生前向预测块和后向预测块的平均图像，其中第二子像素精确度运动矢量估计单元估计出至少一个第一运动矢量以及第二运动矢量，作为前向运动矢量和后向运动矢量的每一个的候选者，第一运动矢量表示与当前块具有最高相关性的预测块的位置，以及第二运动矢量表示当前块具有次高相关性的预测块的位置，在方向确定单元确定当前块的预测方向是双向的情况下，运动矢量确定单元将第一前向运动矢量和第一后向运动矢量的每一个都确定为运动矢量，以及平均图像产生单元产生由第一前向运动矢量表示的预测块和由第一后向运动矢量表示的预测块的平均图像，第一前向运动矢量以及第一后向运动矢量的每一个都被运动矢量确定单元确定为运动矢量。
根据这个配置，可以确定当方向确定单元判定当前块的预测方向是前向时，所有的运动矢量候选者都是前向的，当它判定预测方向是后向时，所有的运动矢量候选者都是后向的，以及当它判定预测方向是双向时，一个运动矢量是前向的并且另一个运动矢量是后向的。运动矢量确定单元也可以基于第二编码成本，从多个运动矢量候选者当中选择最优的运动矢量。此外，第二编码成本计算单元可以从多个运动矢量候选中选择与作为利用由6抽头滤波器内插的参考图像来进行子像素精确度的运动预测的结果而获得的运动矢量相同的运动矢量。
根据本发明，在使用由6抽头滤波器内插的参考图像来执行子像素精确度的运动估计中，可以减小运动补偿处理所需要的计算数量，同时没有降低运动矢量估计的精确度，也没有增加用于保持高分辨率参考图像的存储器。
请注意：本发明不仅可以被体现为上述的运动图像编码装置而且可以作为一种运动图像编码方法，包含有运动图像编码装置中包括的特性单元作为步骤。或者，本发明可以被体现为计算机程序，使得计算机执行这些步骤。当然，程序可以经由例如CD-ROM的记录介质以及例如因特网的传输介质进行分发。
作为对本申请技术背景的进一步信息，2004年03月17日提交的日本专利申请No.2004-076049的公开内容(包括说明书、附图以及权利要求)通过参考文件的形成而整体合并于此。
附图说明
通过以下结合附图对本发明的描述，本发明的这些以及其它目的、优势以及特征将变得更加清晰，其中附图描述了本发明的特定实施利，在附图中：
图1是显示用于传统MPEG系统的混合运动图像编码装置之结构的一个例子的方框图；
图2是显示由传统运动图像编码装置所执行的处理流程的流程图；
图3是常用块匹配方法的说明图；
图4是用于常用子像素精确度的运动预测的搜索区域的说明图；
图5是显示参考图像中的整数像素和子像素以及如何利用6抽头滤波器产生这些子像素的说明图；
图6是显示日本专利申请公开No.2003-348595中公开的运动图像编码装置之结构的方框图；
图7是显示本发明第一实施例的运动图像编码装置之结构的方框图；
图8是显示由第一实施例中的运动图像编码装置所执行的编码处理流程的流程图；
图9是显示第一实施例中的运动图像编码装置的运动矢量估计电路之结构的方框图；
图10是显示在第一实施例中的运动图像编码装置的运动矢量估计电路中所执行的运动预测处理流程的流程图；
图11是显示第一实施例中的运动图像编码装置的运动补偿电路之结构的方框图；
图12是显示在第一实施例中的运动图像编码装置的运动补偿电路中所执行的运动补偿处理流程的流程图；
图13是显示根据来自利用2抽头滤波器所估计的运动矢量之编码成本的判定在单向预测和双向预测之间转换的示意图，以及在单向预测的情况下，相对于利用6抽头滤波器的两个运动矢量，可以执行运动预测；
图14是显示第一实施例中的运动图像编码装置的运动矢量确定单元之结构的方框图；
图15是显示由第一实施例中的运动图像编码装置的运动矢量确定单元所执行的运动补偿处理流程的流程图；
图16是显示由第一实施例中的运动图像编码装置所执行的运动矢量估计流程的流程图；
图17A显示了作为存储介质之主要单元的软盘的物理格式的一个例子，图17B显示了软盘之外观的正面图、其中的横截面图以及软盘本身，以及图17C显示了用于在软盘FD上记录程序和从软盘中再现程序的配置；
图18是显示实现内容分发服务的内容提供系统之整体配置的方框图；
图19是显示使用第一实施例中描述的运动图像编码方法以及运动图像解码方法的移动电话的示意图；
图20是显示移动电话的机构的方框图；
图21是显示数字广播系统的一个例子的示意图。
具体实施模式
参考附图，给出了本发明之实施例的详细描述。本发明并不局限于这些实施例，而是可以进行各种修改和变型，而没有背离本发明的精神和范围。
(第一实施例)
将描述本发明之第一实施例中的运动图像编码装置。本发明的运动图像编码装置是这样一种装置，它接收一个运动图像信号，作为输入信号；对图像进行编码；以及输出编码的信息。它在与视频存储装置或视频传送装置的结合中具有广泛的应用性。
图7是显示本发明第一实施例的运动图像编码装置之结构的方框图。相同的参考数字被分配给与图1中显示的传统运动图像编码装置的组成元件执行相同的操作组成元件。本实施例中的运动图像编码装置将运动矢量的搜索限制在由2抽头滤波器事先产生的搜索区域内，以及对于这些作为搜索结果获得的运动矢量候选者，最终利用6抽头滤波器所内插的子像素精确度的预测块来执行运动补偿。该运动图像编码装置包括：运动矢量估计电路101、运动补偿电路102、运动矢量确定单元103、减法电路2003、参考图像存储器2005、加法电路2006、正交变换电路2007、量化器2008、输出单元2009、逆量化器2010、逆正交变换电路2011以及编码单元2012。在该运动图像编码装置中，运动矢量估计电路101、运动补偿电路102、运动矢量确定单元103是与传统组成元件之操作不同的组成元件。
图8是显示第一实施例中的运动图像编码装置之操作的流程图。这里只给出了对与图2中显示的传统运动图像编码装置之操作不同的操作的描述。
步骤203：在子像素精确度的运动预测的情况下，传统运动矢量估计电路利用由6抽头滤波器所产生的搜索区域来估计出运动矢量，而本实施例中的运动矢量估计电路101利用由2抽头滤波器产生的搜索区域来估计运动矢量。此外，传统运动矢量估计电路在估计运动矢量之后将运动矢量输出到编码单元2012(图2中步骤2302)，而本实施例中的运动矢量估计电路101不输出运动矢量到编码单元2012。
步骤204：本实施例中的运动矢量估计电路101输出两个或多个利用由2抽头滤波器产生的搜索区域估计的运动矢量到运动补偿电路102。
步骤205：本实施例中的运动补偿电路102对从运动矢量估计电路101输入的各个运动矢量执行运动补偿，利用6抽头滤波器产生两个或多个预测图像，并且将它们输出到减法电路2003以及运动矢量确定单元103。同时，运动补偿电路102将这些用于产生预测图像的运动矢量输出到运动矢量确定单元103。
步骤206：减法电路2003按次序对从输入单元2001输入的将要编码的当前图像和从运动补偿电路102输入的两个或多个预测图像上执行减法操作，从而产生差异图像数据。这些差异数据依次被输入到运动矢量确定单元103。
步骤207：运动矢量确定单元103计算出从减法电路2003输入的差异图像数据的编码成本，确定具有最小编码成本的运动矢量，以及将它输出到编码单元2012。同时，运动矢量确定单元103将相应于那个运动矢量的预测图像输出到加法电路2006，同时它把它的差异图像数据值输出到正交变换电路2007。因为以下步骤208到212与图2中描述的步骤2306到2310相同，所以这里不再重复对它们的描述。
接着，通过参照附图，来给出对运动矢量估计电路101之结构以及操作的详细描述。
图9是显示图7中显示的运动矢量估计电路101之内部结构的方框图。运动矢量估计电路101是利用由2抽头滤波器产生的搜索区域来估计出两个或多个运动矢量的电路。它包括：前向参考图像缓冲器601、后向参考图像缓冲器602、前向运动估计单元(前向ME)603、后向运动估计单元(后向ME)604、2抽头图像内插装置605、宏块缓冲器606、运动矢量方向确定单元607、前向运动矢量缓冲器608以及后向运动矢量缓冲器609。前向参考图像缓冲器601是保持前向参考图像中的搜索区域的缓冲器。后向参考图像缓冲器602是保持后向参考图像中的搜索区域的缓冲器。前向ME 603利用保持在宏块缓冲器606中的当前宏块和保持在前向参考图像缓冲器601中的搜索区域来执行运动预测。后向ME 604利用保持在宏块缓冲器606中的当前宏块和保持在后向参考图像缓冲器602中的搜索区域来执行运动预测。2抽头图像内插装置605利用2抽头滤波器来执行参考图像的内插。宏块缓冲器606保持将要编码的当前图像的宏块。前向运动矢量缓冲器608保持前向运动矢量的候选者。后向运动矢量缓冲器609保持后向运动矢量的候选者。运动矢量方向确定单元607基于作为运动预测处理的结果而获得编码成本来确定运动矢量的方向。
图10是显示在第一实施例中的运动图像编码装置的运动矢量估计电路中执行的运动预测处理流程的流程图。通过参照图10中的流程图，给出对运动矢量估计电路101之内部操作的详细描述。运动矢量估计电路101包括图中未显示的控制器，其执行以下处理。
步骤701：从输入单元2001传送的宏块被存储在宏块缓冲器606中。
步骤702：控制器基于宏块数量来计算用于宏块的搜索区域，以及从参考图像存储器2005将搜索区域的图像数据分别读入前向参考图像缓冲器601以及后向参考图像缓冲器602中。在宏块缓冲器606中保持的宏块是P-图像的宏块的情况下，图像数据不读入后向参考图像缓冲器602中，并且在这个宏块上不执行后向参考的处理。
步骤703：在完成读取搜索区域之后，控制器启动前向ME 603和后向ME 604。前向ME 603利用保持在宏块缓冲器606中的当前宏块和保持在前向参考图像缓冲器601中的搜索区域来执行运动预测，并且最终得到使评估成本最小的子像素精确度的前向运动矢量以及它的成本值。以同样的模式，后向ME 604利用保持在宏块缓冲器606中的当前宏块和保持在后向参考图像缓冲器602中的搜索区域来执行运动预测，并且最终得到使评估成本最小的子像素精确度的后向运动矢量以及它的成本值。
步骤704：前向ME 603和后向ME 604分别将整数像素精确度的运动矢量传送给2抽头图像内插装置605。2抽头图像内插装置605基于整数像素精确度的运动矢量从各自的参考图像缓冲器中读取整数像素，产生像素精确度的子像素，并且将它们写入各自的参考图像缓冲器。正如以上所述，它只在整数像素精确度的预测块周围执行像素内插。
步骤705：在完成写入像素精确度的子像素之后，控制器再次启动前向ME 603和后向ME 604。前向ME 603利用保持在宏块缓冲器606中的当前宏块和保持前向参考图像缓冲器601中的像素精确度的搜索区域来执行运动预测，并且最终得到使评估成本最小的像素精确度的前向运动矢量以及它的成本值。以同样的模式，后向ME604利用保持在宏块缓冲器606中的当前宏块和保持在后向参考图像缓冲器602中的像素精确度的搜索区域来执行运动预测，并且最终得到使评估成本最小的像素精确度的后向运动矢量以及它的成本值。
步骤706：前向ME 603和后向ME 604分别将像素精确度的运动矢量传送给2抽头图像内插装置605。2抽头图像内插装置605基于像素精确度的运动矢量分别从参考图像缓冲器中读取整数像素精确度和像素精确度的像素，利用2抽头滤波器产生像素精确度的子像素，并且将它们写入各自的参考图像缓冲器。正如以上所述，它只在像素精确度的预测块周围执行像素内插。
步骤707：在完成写入像素精确度的子像素之后，控制器启动前向ME 603和后向ME 604。前向ME 603利用保持在宏块缓冲器606中的当前宏块和保持在前向参考图像缓冲器601中的像素精确度的搜索区域来执行运动预测，并且得到使评估成本最小的像素精确度的前向运动矢量以及它的成本值。它把获得的像素精确度的前向运动矢量(第一运动矢量)的成本值输出到运动矢量方向确定单元607，并且将那个像素精确度的前向运动矢量(第一运动矢量)存储在前向矢量缓冲器608中。同时，它也把使评估成本次小的像素精确度的运动矢量(第二运动矢量)存储在前向矢量缓冲器608中。如果需要，它可以存储第一到第N个运动矢量(N是3或者更大的整数值)。
以同样的模式，后向ME 604利用保持在宏块缓冲器606中的当前宏块和保持在后向参考图像缓冲器602中的像素精确度的搜索区域来执行运动预测，并且得到使评估成本最小的像素精确度的后向运动矢量以及它的成本值。它把获得的像素精确度的后向运动矢量(第一运动矢量)的成本值输出到运动矢量方向确定单元607，并且将那个像素精确度的后向运动矢量(第一运动矢量)存储在后向矢量缓冲器609中。它也把使评估成本次小的像素精确度的运动矢量(第二运动矢量)存储在后向矢量缓冲器609中。或者，如果需要，它可以存储第一到第N个运动矢量(N是3或者更大的整数值)。
步骤708：运动矢量方向确定单元607基于从前向ME 603和后向ME 604传送的成本值来确定运动矢量的方向，即，前向、后向以及双向。方向是通过以下模式确定的：例如，对前向和后向成本值之间的差异设定阈值。当前向成本值明显小于后向成本值时(例如，通过从后向成本值中减去前向成本值而得到的差值超出了阈值)，方向被确定为前向，当后向成本值明显小于前向成本值时(例如，通过从前向成本值中减去后向成本值而得到的差值超出了阈值)，方向被确定为后向，以及当前向成本值和后向成本值相互接近时(例如，前向和后向成本值之间的差值小于阈值)，方向被确定为双向。这个方法仅仅是一个例子，以及运动矢量的方向可以通过其它方法确定。请注意到：因为如果当前宏块是P-图像的宏块就没有后向成本值被输入，所以运动矢量的方向总是被确定为前向。
步骤709：当确定运动矢量的方向时，运动矢量方向确定单元607从一个/多个运动矢量缓冲器中取出一个/多个确定方向的运动矢量，并且将它们传送到运动补偿电路102。
(1)当确定是双向时，运动矢量方向确定单元607从前向运动矢量缓冲器608得到第一前向运动矢量以及从后向运动矢量缓冲器609得到第一后向运动矢量，并且将它们传送到运动补偿电路102。
(2)当确定是前向时，运动矢量方向确定单元607从前向运动矢量缓冲器608得到第一前向运动矢量和使评估值次小第二运动矢量，并且将它们传送到运动补偿电路102。如果需要，它可以得到第一到第N个运动矢量并且传送它们。
(3)当确定是后向时，运动矢量方向确定单元607以同样的模式从后向运动矢量缓冲器609得到第一后向运动矢量和使评估价值次小的第二运动矢量，并且将它们传送到运动补偿电路102。如果需要，它可以得到第一到第N个运动矢量并且传送它们。
正如以上所述，运动矢量估计电路101利用由2抽头滤波器产生的参考图像来执行子像素精确度的运动预测，从而缩小了用于当前块的运动矢量的候选者。另一方面，运动矢量估计电路101没有利用由6抽头滤波器产生的参考图像来执行子像素精确度的运动预测。因此，可以在保持使用于产生子像素的计算量和来自外部存储器的数据传送量比传统的低的同时执行运动矢量预测。两个或多个运动矢量被缩小作为由运动矢量估计电路101执行的运动预测处理的结果，并且将它们输出到运动补偿电路102。
接着，给出对运动补偿电路102之结构以及操作的详细描述。
图11是显示运动补偿电路102的结构的方框图。运动补偿电路102是用于通过6抽头滤波器来产生预测块以及用于执行高精确度的运动补偿的电路，并且包括：6抽头图像内插装置901、6抽头预测块缓冲器902、运动矢量缓冲器903以及平均图像产生单元904。6抽头图像内插装置901利用6抽头滤波器来执行参考图像的内插，以便产生运动补偿的预测块。6抽头预测块缓冲器902保持由6抽头图像内插装置901产生的预测块。运动矢量缓冲器903保持从运动矢量估计电路101输入的多个运动矢量。在双向运动矢量的情况下，平均图像产生单元904产生保持在6抽头预测块缓冲器902中的与前向运动矢量相应的预测块和与后向运动矢量相应的预测块的平均图像，并且将它作为双向预测块输出到减法电路2003以及运动矢量确定单元103。
图12是显示在图11中显示的运动补偿电路102中执行的运动补偿处理流程的流程图。通过参考图12中的流程图，给出对运动补偿电路102之内部操作的详细描述。运动补偿电路102包括图中未显示的控制器，其控制每一个模块的操作定时。
步骤1001：当接收到从运动矢量估计电路101传送的多个运动矢量以及它们的方向时，运动矢量缓冲器903将它们保持在图中未显示的内部存储器中，以及将它们输出到6抽头图像内插装置901。
步骤1002：6抽头图像内插装置901从参考图像存储器2001中读取用于创建与每一个运动矢量相对应的预测块的整数像素。当接收的运动矢量的方向彼此不同时，6抽头图像内插装置901识别出当前的宏块是双向预测的，并且据此通报给控制器。
步骤1003：6抽头图像内插装置901利用6抽头滤波器来产生与每一个运动矢量相对应的预测块，以及将产生的预测块存储在6抽头预测块缓冲器902中。
步骤1004：当运动矢量不是双向预测的时，控制器中止平均图像产生单元904的操作，以及依次将6抽头预测块缓冲器902中存储的多个预测块输出到减法电路2003以及运动矢量确定单元103。在那时，它将待传送的预测块的总数(两个或多个)通报给运动矢量确定单元103。
步骤1005：同时，控制器将运动矢量缓冲器903中存储的多个运动矢量传送到运动矢量确定单元103。
步骤1006：当运动矢量是双向预测的时，控制器接通平均图像产生单元904的操作，并且将存储在6抽头预测块缓冲器902中的与前向运动矢量相对应的预测块和与后向运动矢量相对应的预测块输入到平均图像产生单元904中。平均图像产生单元904产生这两个预测块的平均图像，并且将它作为双向预测的块输出到减法电路2003以及运动矢量确定单元103。在那时，它将待传送的预测块的总数(始终是一个)通报给运动矢量确定单元103。
步骤1007：同时，控制器将运动矢量缓冲器903中存储的前向以及后向运动矢量传送到运动矢量确定单元103。
正如以上所述，运动补偿电路102利用6抽头滤波器来执行子像素精确度的运动补偿，以及产生用于将要编码的当前宏块的预测块。该运动补偿是在MPEG4-AVC解码器的说明中定义的，并且对于编码装置的执行来说是不可或缺的处理。作为在运动补偿电路102中执行的运动补偿处理的结果，为双向运动矢量产生了一个双向预测块，同时为单向运动矢量产生了两个或多个预测块。图13是显示基于对利用2抽头滤波器估计的运动矢量之编码成本的判断而在单向预测和双向预测之间进行转换的示意图，以及在双向预测的情况下，可以利用6抽头滤波器执行关于两个运动矢量的运动预测。这种基于当前宏块是否是双向预测的而执行的子处理的优势在于：可以基于图13中显示的适应性判断，充分利用具有高计算性能的6抽头运动补偿电路。因为与6抽头运动预测(在MPEG4-AVC标准中定义的若干工具之一)相比，2抽头运动预测包含有某种程度的图像质量的下降，所以期望对于高图像质量尽可能地执行6抽头运动预测。如图13所示，编码装置包括有滤波器电路，该滤波器电路能够对n个候选者执行双向预测的6抽头运动预测，该编码装置例如能够执行直到2×n候选者的单向预测。“直到2×n”意味着：可以结合单向和双向预测，以便对n个候选者的一部分执行双向预测，以及对剩余数量的候选者执行单向预测。对于P-图像，在MPEG4-AVC标准下，总是执行单向预测，而对于B-图像，可以基于通过2抽头滤波器获得的成本适应性地判断是执行单向预测还是执行双向预测。例如，在双向预测候选者的前向和后向成本相互之间有很大差异时，只对成本值较小候选者执行单向预测就足够好了。这种自适应的电路操作处理利用尺寸尽可能小的6抽头滤波器获得尽可能高质量的图像。
接着，利用附图来给出对运动矢量确定单元103之结构以及操作的详细描述。
图14是显示运动矢量确定单元103的内部结构的方框图。
运动矢量确定单元103包括：预测图像缓冲器1101、运动矢量缓冲器1102以及编码成本计算/比较单元1103。预测图像缓冲器1101保持两个或多个预测块作为候选者。编码成本计算/比较单元1103计算当前宏块之候选者的编码成本，以及对他们进行相互比较。作为比较结果，它确定了使宏块的编码成本最小的运动矢量，并且将相应于该运动矢量的差异图像数据输出到正交变换电路2007。
图15是显示由运动矢量确定单元103执行的处理流程的流程图。通过参考图15中的流程图，给出了对运动矢量确定单元103的内部操作的详细描述。运动矢量确定单元103包括图中未显示的控制器，其控制着每一个模块的操作定时。
步骤1201：控制器事先通报将要从运动补偿电路102传送的预测块的总数N。它将已经接收并保持在内部的预测图像的数量n初始化为零(0)，它也将编码成本计算/比较单元1103中的最小成本存储器(图中未显示)的值初始化为最大的存储器值。以下描述是假定运动矢量的最大数量是两个。因为双向预测是利用两个运动矢量来执行的，所以在双向预测的情况下N为1，然而在单向预测的情况下N为除了1之外的其它值(在这种情况下为“2”)。
步骤1202：从运动补偿电路102传送的预测块被保持在预测图像缓冲器1101的临时存储区。然后，控制器给接收的预测图像的数量n加一。
步骤1203：当N为1时，双向预测将被执行，于是两个运动矢量(前向和后向)从运动补偿电路102被传送，并且保持在运动矢量缓冲器1102的主存储区。
步骤1204：控制器中止编码成本计算/比较单元1103的操作，并且将从减法电路2003输入的差异块(difference block)本身输出到正交变换电路2007。
步骤1205：控制器也将保持在预测图像缓冲器1101的临时存储区中的预测块输出到加法电路2006，以及
步骤1206：将保持在运动矢量缓冲器1102的主存储区中的双向运动矢量输出到编码单元2012。
步骤1207：当N不为1时，单向预测将被执行，于是从运动补偿电路102传送的运动矢量被存储在运动矢量缓冲器1102的临时存储区中。
步骤1208：在接收到运动矢量时，控制器接通编码成本计算/比较单元1103的操作，并且计算从减法电路2003输入的每一个差异块的成本。
步骤1209：它将计算的成本值与编码成本计算/比较单元1103中的最小成本存储器(图中未显示)值进行比较，并且当差异块的成本值较大时，接收下一个预测块。(到步骤1202)
步骤1210：当差异块的成本值比最小成本存储器值小时，用差异块的成本值来重写最小成本存储器值。
步骤1211：然后，控制器把保持在预测图像缓冲器1101的临时存储区中的预测块移动到预测图像缓冲器1101的主存储区。同时，将保持在运动矢量缓冲器1102的临时存储区中的运动矢量移动到运动矢量缓冲器1102的主存储区。
步骤1212：当n小于N时，它接收下一个预测块。(到步骤1202)
步骤1213：当n等于N时，编码成本计算/比较单元1103把从减法电路2003输入的差异块输出到正交变换电路2007。
步骤1214：控制器也将保持在预测图像缓冲器1101的主存储区中的预测块输出到加法电路2006。
步骤1215：它将保持在运动矢量缓冲器1102的主存储区中的单向运动矢量输出到编码单元2012。
正如以上所述，在单向预测的情况下，运动矢量确定单元103计算两个或多个差异块的编码成本，并且对它们进行相互比较，从而依次确定使编码成本最小的运动矢量。即使存在两个或多个候选者，也可以继续进行比较它们，以便在各个比较中选择最好的一个，于是不需要增加工作存储器等来从若干候选者当中选择一个。换句话说，为了选择最好的一个，不需要将所有的候选者都存储在这种存储器中并且按照编码成本的顺序对它们进行分类。所有需要做的就是对候选者的数量进行比较，这只需要很小的计算量。因此，利用本发明的使用2抽头滤波器的方法取代传统的使用6抽头滤波器的方法来作为少处理量并且高图像质量的方法是没有坏处的，并且传统的利用由6抽头滤波器创建的参考图像进行子像素精确度的运动预测相比，本发明的方法实现了高压缩性能。请注意：即使以上描述已经假定当判定是单向预测时确定使编码成本最小的仅仅一个运动矢量，但是当判定是前向单向预测时，可以确定使编码成本最小和次小的两个运动矢量。
接着，以下将描述一种机制，其中由本发明的运动图像编码装置执行的运动预测与传统的利用由6抽头滤波器创建的参考图像进行子像素精确度的运动预测相比能够实现高压缩性能，在没有增加新需要的存储器同时也将计算量保持在传统的水平以下。更具体地，为了实现高压缩性能，期望利用由6抽头滤波器创建的参考图像进行的子像素精确度的运动预测所获得的运动矢量与由本发明的编码装置中的运动矢量估计电路101、运动补偿电路102以及运动矢量确定单元103执行的子像素精确度的运动预测所获到的运动矢量相同。
图16是显示通过由本发明的编码装置中的运动矢量估计电路101、运动补偿电路102以及运动矢量确定单元103所执行的操作来获得运动矢量的过程的流程图。通过参考图16，进行详细描述。
步骤301：运动矢量估计电路101从参考图像存储器2005读取用于将要编码的当前宏块的搜索区域，并且执行整数像素精确度的运动预测。结果，它获得整数像素精确度的运动矢量。
步骤302：运动矢量估计电路101在获得的整数像素精确度的运动矢量所指向的预测块周围产生一参考图像，用于利用2抽头滤波器的子像素精确度的运动预测。
步骤303：运动矢量估计电路101利用参考图像执行子像素精确度的运动预测，从而获得运动矢量的候选者。正如以上在步骤705和步骤706中所描述的，它可以获得在像素精确度使编码成本最小的块位置，以及还在获得的块位置周围获得在像素精确度使编码成本最小的n个块的位置。可替换地，它可以从在整数精确度使编码成本最小的块的位置周围的所有在像素精确度的位置当中获得使编码成本最小的n个块的位置。在任意一种情况下，利用较低精确度的2抽头滤波器使运动矢量的数量限制到n，然后利用较高精确度的6抽头滤波器确定最终的运动矢量。确实，用于这个运动预测的参考图像与通过6抽头滤波器产生的参考图像不同，因此，在获得的若干运动矢量候选者当中使编码成本最小的运动矢量并不总是相同于利用由6抽头滤波器产生的参考图像执行的子像素精确度的运动预测处理所获得的运动矢量。另一方面，由2抽头滤波器和6抽头滤波器获得的参考图像相互之间非常相似，于是获得的运动矢量候选者极有可能包括与利用由6抽头滤波器产生的参考图像执行的子像素精确度的运动预测处理所获得的运动矢量相同的运动矢量。
步骤304：运动补偿电路102在两个或多个运动矢量候选者上执行运动补偿，以便产生相对于这些候选者的预测块。在这种情况下，运动补偿电路102从参考图像存储器2005获取用于内插运动矢量所表示的块所需要的像素，以及利用6抽头滤波器产生预测块。
步骤305：运动矢量确定单元103计算这些预测块的编码成本，以及对它们进行相互比较，并且获得最小编码成本的运动矢量。获得的运动矢量与利用由6抽头滤波器产生的参考图像执行的子像素精确度的运动预测处理所获得的运动矢量相同。此时，用于计算和比较预测块之编码成本的处理与利用由6抽头滤波器产生的参考图像估计运动矢量的处理完全相同。
正如以上所述，根据由本发明的运动图像编码装置执行的运动预测，利用除6抽头滤波器之外的滤波器来产生高分辨率参考图像，以及估计子像素精确度的运动矢量。因此，可以限制到两个或多个运动矢量候选者，在抑制用于参考图像产生的计算量增加的同时没有增加新需要的存储器。另一方面，这些运动矢量候选者经常包括利用由6抽头滤波器产生的参考图像执行的子像素精确度的运动预测所获得的运动矢量。因此，通过利用6抽头滤波器对这些运动矢量候选者执行运动补偿使得产生预测块并且比较它们的编码成本，可以从这些预测块当中选出与利用由6抽头滤波器产生的参考图像执行的子像素精确度的运动预测所获得的运动矢量匹配的运动矢量。换句话说，用于对当前图像进行编码的相同运动矢量是在由本发明的运动图像编码装置执行的运动预测处理中或者在传统的利用由6抽头滤波器产生的参考图像执行的子像素精确度的运动预测处理中选择的。因此，本发明达到了与传统的方法一样高压缩性能。
正如以上所述，根据本发明的运动图像编码装置，运动矢量估计电路101利用由2抽头滤波器产生的参考图像执行子像素精确度的运动估计使得限制了运动矢量候选者的数量，因此可以获得运动矢量候选者，同时将计算量维持在传统的水平以下。当运动补偿电路102执行运动补偿时，利用6抽头滤波器产生了关于这些运动矢量候选者的运动补偿的预测块。此外，运动矢量确定单元103计算与各自的运动矢量相对应的差异块的编码成本并对它们进行相互比较，因此可以保持与传统的利用由6抽头滤波器产生的参考图像执行的子像素精确度的运动预测一样高的压缩性能，而没有增加新需要的存储器，同时将计算量保持在传统的水平以下。
请注意：方框图(例如图7、9、11以及14)中的每一个功能块通常体现为LSI，LSI是集成的电路。这些块可以通过单独的芯片实现，或者其所有或一部分可以在单个芯片上实现。
例如，除存储器之外的功能块都可以在单个芯片上实现。
请注意：在描述中假定集成电路是LSI，但是根据它的集成程度有时称为集成电路(IC)、系统LSI、超级LSI或者特超级LSI。
为了以集成电路的形式具体每一个功能块，其不仅可以被体现为LSI而且可以体现为特殊目的电路或通用处理器。可替换地，可以在LSI制造之后使用用户可编程的现场可编程门阵列(FPGA)或重新构造的处理器，其中可以重新构造LSI中的电路单元的连接以及设定。
此外，如果伴随着半导体技术或源自半导体技术的其它技术的发展，出现了可替换这种LSI的电路集成技术，则这种新技术可以被用于功能块的集成。生物技术有可能被用于这种集成。
或者，也可以作为单独的元件设置一存储单元，用于存储待编码或待解码的数据，不将其集成到单个芯片中。
此外，本发明的LSI中是否实现缓冲器或存储器都是无关紧要的。
(第二实施例)
如果用于实现上述第一实施例中显示的运动图像编码方法以及运动图像解码方法的程序被记录在例如软盘的记录介质上，则可以在独立的计算机系统中很容易地执行上述第一实施例中显示的处理。
图17A、17B和17C是显示在计算机系统中利用记录在例如软盘的存储介质上的计算机程序执行上述第一实施例中的运动图像编码方法以及运动图像解码方法的情况的示意图。
图17B是显示软盘之外观的正面图、其横截面图以及软盘本身，以及图17A显示了作为存储介质主体的软盘的物理格式的一个例子。软盘FD包含在外壳F中，并且在磁盘的表面上沿半径方向从外周到内部环形地设置了多个轨道Tr，并且每一个轨道都沿角方向分割成16个扇区。因此，对于存储上述计算机程序的软盘，作为上述计算机程序的运动图像编码方法和运动图像解码方法都记录在软盘FD上为其分配的区域中。
图17C显示了用于在软盘上记录程序和从软盘中再现程序的结构。当计算机程序被记录在软盘FD上时，作为程序的运动图像编码方法和运动图像解码方法都经由软盘驱动器从计算机系统Cs写入软盘。当通过软盘上存储的计算机程序在计算机系统中构造运动图像编码方法和运动图像解码方法时，利用软盘驱动器将程序从软盘读出，并且传送到计算机系统。
以上描述是假定存储介质为软盘，然而也可以利用光盘来执行相同的处理。另外，记录介质并不局限于软盘和光盘，而是也可以利用任何其它的介质来执行相同的处理，例如能够记录程序的CD-ROM、存储卡以及ROM盒式磁带。
(第三实施例)
此外，将描述如上述第一实施例中所显示的运动图像编码方法和运动图像解码方法的应用以及使用这些方法的系统。
图18是显示用于实现内容分发服务的内容提供系统ex100整体结构的方框图。提供通信服务的区域被分割成期望大小的若干单元，以及各个单元中都设置有基站ex107到ex110，它们为固定的无线电基站。
在这个内容提供系统ex100中，例如计算机ex111、个人数字助理(PDA)ex112、、移动电话ex114以及装备有摄像机的移动电话ex115等设备经由因特网服务提供商ex102、电话网络ex104以及基站ex107到ex110连接到因特网上。
然而，内容提供系统ex100并不局限于图18中显示的配置，并且可以连接它们的任何组合上。同样，每一个设备可以直接连接到电话网络ex104，而不经由基站ex107到ex110。
摄像机ex113是例如能够拍摄运动图像的数字视频摄像机等设备。移动电话可以是个人数字通信(PDC)系统、码分多址(CDMA)系统、宽带码分多址(W-CDMA)系统、移动通信全球系统(GSM)系统、个人手持电话系统(PHS)等等的移动电话，以及可以使用其中任何一个。
流服务器ex103经由基站ex109和电话网络ex104连接到摄像机ex113，其利用摄像机ex113基于来自用户传送的编码数据来进行实时分发等。摄像机ex113或者用于传送数据的服务器等都可以对拍摄的数据进行编码。同时，由摄像机ex113拍摄的运动图像数据可以经由计算机ex111被传送到流媒体服务器ex103。摄像机ex116是例如能够拍摄静止以及运动图像的数字摄像机。在这种情况下，摄像机ex116或者计算机ex111都可对运动图像数据进行编码。实际上是由计算机ex111或摄像机ex116中包括的LSI ex117执行编码处理。用于对运动图像进行编码或解码的软件可以被集成在任何类型的存储介质(例如CD-ROM、软盘以及硬盘)中，存储介质是计算机ex111等能够读取的记录介质。此外，装备有摄像机的移动电话ex111可以传送运动图像数据。这种运动图像数据是被移动电话ex115中包括的LSI编码的数据。
按照与上述第一实施例相同的模式，内容提供系统ex100对由用户利用摄像机ex113、摄像机ex116等拍摄的内容(例如实时音乐视频)进行编码，并且将其传送到流媒体服务器ex103，同时流服务器ex103按照客户机的请求进行内容数据的流分发。客户机包括：计算机ex111、PDAex112、摄像机ex113、移动电话ex114等，它们能够对以上描述的编码的数据进行解码。在内容提供系统ex100中，客户机可以接收和再现编码的数据，并且客户还可以实时对数据进行接收、解码以及再现，使得可以实现个人广播。
当该系统中的每个设备执行编码或者解码时，可以使用如上述第一实施例中显示的运动图像编码方法或者运动图像解码方法。
下面把移动电话作为该设备的一个例子来进行说明。
图19是显示使用上述第一实施例中描述的运动图像编码方法以及运动图像解码方法的移动电话ex115的方框图。移动电话ex115局有：天线ex201，用于发送无线电波到基站ex110以及从基站ex110接收无线电波；摄像机单元ex203，例如能够拍摄视频以及静止图像的CCD摄像机；显示单元ex202，例如用于显示通过对摄像机单元ex203拍摄的视频等进行解码而获得的以及经由天线ex201接收的数据的液晶显示器；包含有一套操作键的主体单元ex204；语音输出单元ex208，例如用于输出语音的扬声器；语音输入单元ex205，例如用于输入语音的麦克风；存储介质ex207，用于存储编码的或解码的数据，例如拍摄的运动或静止图像数据、接收的电子邮件数据、以及接收的运动或静止图像数据；以及插槽单元ex206，用于将存储介质ex207固定到移动电话ex115。存储介质ex207包括闪存元件，闪存元件为一种可电擦除的可编程只读存储器(EEPROM)，其是在例如SD的塑料外壳中的可电擦除可重写的非易失性存储器。
还将通过参考图20来对移动电话ex115进行描述。在移动电话ex115中，用于总体上控制显示单元ex202和包含有操作键的主体单元ex204的主控制单元ex331被连接到电源电路单元ex310、操作输入控制单元ex304、图像编码单元ex312、摄像机接口单元ex303、液晶显示器(LCD)控制单元ex302、图像解码单元ex309、多路复用/多路分用单元ex308、记录/再现单元ex307、调制解调器电路单元ex306以及语音处理单元ex305，并且这些单元经由同步总线ex313相互连接。
当通过用户的操作接通结束键(call-end key)或电源键时，电源电路单元ex310从电池组向各个单元提供功率，使得将装备有摄像机的移动电话ex115激活到待机状态。
在移动电话ex115中，语音处理单元ex305在包括CPU、ROM、RAM等的主控制单元ex311的控制下以语音会话模式将语音输入单元ex205接收的语音信号转换为数字语音数据，调制解调器电路单元ex306执行数字语音数据的扩频处理，以及发送/接收电路单元ex301执行数字模拟转换和数据的频率变换，使得经由天线ex201对其进行传送。同样，在移动电话ex115中，在对由天线ex201以语音会话模式接收的数据进行放大并且执行频率变换以及数字模拟转换之后，调制解调器电路单元ex306对数据执行逆扩频处理，以及语音处理单元ex305将其转换为模拟语音数据，使得经由语音输出单元208将其输出。
此外，当以数据通信模式发送电子邮件时，通过操作主体单元上的操作键ex204所输入的电子邮件的文本数据经由操作输入控制单元ex304被发送到主控制单元ex311。在调制解调器电路单元ex306对文本数据执行了扩频处理并且发送/接收电路单元ex301对其执行数字模拟转换以及频率变换之后，主控制单元ex311将产生的数据经由天线ex201传送到基站ex110。
当图像数据以数据通信的模式进行传送时，由摄像机单元ex203拍摄的图像数据经由摄像机接口单元ex303被提供到图像编码单元ex312。当图像数据没有被传送时，也可以经由摄像机接口单元ex303和液晶显示器(LCD)控制单元ex302将摄像机单元ex203拍摄的图像数据直接显示在显示单元202上。
包括如本发明中所描述的运动图像编码装置的运动图像编码单元ex312通过如上述第一实施例中所描述的用于运动图像编码装置的编码方法对从摄像机单元ex203所提供的图像数据进行压缩和编码，使得将其转换成编码的图像数据，并且将其发送到多路复用/多路分用单元ex308。同时，移动电话ex115在摄像机单元ex203的拍摄期间将语音输入单元ex205所接收的语音经由语音处理单元ex305发送到多路复用/多路分用单元ex308。
多路复用/多路分用单元ex308通过预定的方法对从图像编码单元ex312提供的编码图像数据和从语音处理单元ex305提供的语音数据进行多路复合。调制解调器电路单元ex306对作为多路复合结果获得的多路复用数据执行扩频处理，以及发送/接收电路单元ex301对产生的数据执行数字模拟转换以及频率变换，并且经由天线ex201传送获得的数据。
在接收以通信模式链接到网页等的运动图像文件数据的情况下，调制解调器电路单元ex306对经由天线ex201从基站ex110接收的数据执行逆扩频处理，并且将作为处理结果获得的多路复用数据发送到多路复用/多路分用单元ex308。
为了对经由天线ex201接收的数据进行解码，多路复用/多路分用单元ex308将多路复用数据分开为图像数据的位流和语音数据的位流，并且经由同步总线分别将编码的图像数据提供到图像解码单元ex309以及将语音图像提供到语音处理单元ex305。
接着，包含有本发明中所描述的图像解码设备的图像解码单元ex309通过与上述第一实施例中显示的编码方法相应的解码方法对图像数据的位流进行解码，使得产生再现的运动图像数据，并且把该数据经由LCD控制单元ex302提供到显示单元ex202，并且这样例如显示包括在链接到网页的运动图像文件中的运动图像数据。同时，语音处理单元ex305将语音数据转换为模拟语音数据，并且将该数据提供到语音输出单元ex208，并且这样例如再现包括在链接到网页的运动图像文件中的运动语音数据。
本发明并不局限于上述系统，并且至少上述第一实施例中的运动图像编码装置或者运动图像解码设备可以被并入如图21中显示的数字广播系统。这些陆基或卫星数字广播最近已经很流行。更具体地，视频信息位流通过无线电波被从广播基站ex409传送到通信或广播卫星ex410。在接收到它时，广播卫星ex410传送用于广播的无线电波，带有卫星广播接收装置的家用天线ex406接收该无线电波，并且例如电视机(接收装置)ex401或者机顶盒(STB)ex407的设备对位流进行解码，用于再现。用于对记录在存储介质ex402上的位流进行读取以及解码的再现装置ex403中可以设置可以如上述第一实施例中所显示的运动图像解码装置，存储介质ex402是例如CD和DVD的记录介质。在这种情况下，再现的视频信号被显示在监视器ex404上。也可以想出来将运动图像解码装置设置在机顶盒ex407中，其中机顶盒ex407连接到用于有线电视的电缆ex40或者用于卫星和/或陆基广播的天线ex4056，从而在电视机的监视器ex408上对进行再现。运动图像解码设备可以并入在电视机中，而不并入在机顶盒中。或者，带有天线ex411的汽车ex412可以接收来自卫星ex410、基站ex107等的信号，用于在例如汽车中ex412中的汽车导航系统ex413的显示设备上再现运动图像。
此外，正如上述第一实施例中所示的一样的运动图像编码装置可以对图像数据进行编码，使得将其记录在记录介质上。作为具体的例子，存在记录装置ex420，例如用于将图像信号记录在DVD光盘ex421上DVD刻录机，或者用于将图像信号记录在盘上的盘记录器。图像信号可以记录在SD卡ex422上。如果记录装置ex420包括如上述第一实施例中显示的一样的运动图像编码装置，那么可以再现记录在DVD光盘ex421或SD卡ex422上的图像信号，用于显示在监视器ex408上。
作为汽车导航系统ex413的结构，可以构想出一种结构，该结构是在图20中所示的元件中去除了摄像机单元ex203、摄像机接口单元ex303以及图像编码单元ex312。同样适用于计算机ex111、电视机(接收装置)ex401等。
另外，可以想出以下三种实施方式，用于例如上述移动电话ex114的终端：包含编码器和解码器的发送/接收终端、只包含编码器的发送终端以及只包含解码器的接收终端。
正如以上所述，可以在任何一种上述装置和系统中使用正如上述第一实施例中显示的运动图像编码方法以及运动图像解码方法，并且利用该方法，可以实现上述第一实施例中所描述的效果。
尽管以上只对本发明的示例性实施例作了详细地描述，本领域技术人员应当很容易意识到：可以对这些示例性实施例做出多种变型，而在本质上没有背离本发明的新颖的教示和优势。因此，企图将所有这种变型都包括在本发明的范围内。
工业应用性
根据本发明的运动图像编码装置用作对未压缩的运动图像数据进行压缩和解码的编码器LSI是很有价值的。如果该运动图像编码装置实现在各种系统中，那么它也能用作视频存储设备、视频传送设备等。

Claims (16)

1、一种运动图像编码装置，包括：
运动矢量估计单元，其使用第一滤波器，以子像素精确度，内插在参考图像之搜索区域内的一预定区域，以及在所述内插的区域内，估计出表示与待编码的当前块具有高相关性的若干预测块之位置的两个或多个运动矢量；以及
运动矢量确定单元，其使用比所述第一滤波器的抽头数量更多的第二滤波器，以子像素精确度，内插由所述估计的若干运动矢量表示的所述若干预测块的每一个，并且基于所述内插的若干预测块的每一个与所述当前块之间的差异数据，从所述运动矢量估计单元估计的所述若干运动矢量当中，确定用于表示与所述当前块具有最高相关性的预测块之位置的运动矢量。
2、根据权利要求1的运动图像编码装置，
其中，所述运动矢量估计单元包括：
整数像素精确度运动矢量估计单元，其在所述参考图像的所述搜索区域内，以整数像素精确度，估计出用于表示与所述当前块具有最高相关性的预测块之位置的运动矢量；
子像素精确度内插单元，其使用所述第一滤波器，以所述子像素精确度，内插由以所述整数像素精确度估计的运动矢量所表示的预测块以及所述搜索区域内的所述预测块周围的区域；以及
子像素精确度运动矢量估计单元，其在以所述子像素精确度内插的区域内，估计出两个或多个运动矢量，以及
所述运动矢量确定单元从由所述子像素精确度运动矢量估计单元估计的若干运动矢量当中确定所述运动矢量。
3、根据权利要求1的运动图像编码装置，
其中，所述运动矢量估计单元包括：
整数像素精确度运动矢量估计单元，其在所述参考图像中的所述搜索区域内，以整数像素精确度，估计出用于表示与所述当前块具有最高相关性的预测块之位置的运动矢量。
第一子像素精确度内插单元，其使用所述第一滤波器，以第一子像素精确度，内插由以所述整数像素精确度估计的运动矢量所表示的预测块以及所述搜索区域内的所述预测块周围的区域；以及
第一子像素精确度运动矢量估计单元，其在以所述第一子像素精确度内插的区域内，估计出一运动矢量。
4、根据权利要求3的运动图像编码装置，
其中，所述运动矢量估计单元还包括：
第二子像素精确度内插单元，其使用所述第一滤波器，以比所述第一子像素精确度更精确的第二子像素精确度，内插由以所述第一子像素精确度估计的运动矢量所表示的预测块以及所述搜索区域内的所述预测块周围的区域；以及
第二子像素精确度运动矢量估计单元，用于在以所述第二子像素精确度内插的区域内，估计出两个或多个运动矢量，以及
所述运动矢量确定单元从由所述第二子像素精确度运动矢量估计单元估计的若干运动矢量当中确定所述运动矢量。
5、根据权利要求4的运动图像编码装置，
其中，所述第二子像素精确度运动矢量估计单元在以所述第二子像素精确度内插的区域内估计前向运动矢量以及后向运动矢量。
6、根据权利要求5的运动图像编码装置，
其中，所述第二子像素精确度运动矢量估计单元估计出至少一个第一运动矢量和第二运动矢量，作为所述前向运动矢量和所述后向运动矢量每一个的候选者，所述第一运动矢量表示与所述当前块具有最高相关性的预测块的位置，以及所述第二运动矢量表示与所述当前块具有次高相关性的预测块的位置。
7、根据权利要求5的运动图像编码装置，
其中，所述第二子像素精确度运动矢量估计单元还包括：
编码成本计算单元，其计算预测块与待编码的当前块之间的差异数据，以及基于所述计算的差异数据，来计算编码成本，其中，所述编码成本表示随着所述编码成本值变得越小，所述预测块与所述当前块之间的相关性就变得越高；以及
方向确定单元，其对由所述前向运动矢量表示的前向预测块的编码成本与由所述后向运动矢量表示的后向预测块的编码成本进行比较，以及基于所述比较，来确定所述当前块的预测方向，其中，通过所述第二子像素精确度运动矢量估计单元来估计所述前向运动矢量以及所述后向运动矢量。
8、根据权利要求7的运动图像编码装置，
其中，所述方向确定单元确定：
(i)在所述前向预测块的编码成本与所述后向预测块的编码成本之间的差异在一预定范围值内的情况下，所述当前块的预测方向是双向的，
(ii)在所述前向预测块的编码成本比所述后向预测块的编码成本小并且编码成本之间的差异非常大以至于超出所述预定范围的情况下，所述当前块的预测方向是单向的，以及
(iii)在所述后向预测块的编码成本比所述前向预测块的编码成本小并且编码成本之间的差异非常大以至于超出所述预定范围的情况下，所述当前块的预测方向是单向的。
9、根据权利要求8的运动图像编码装置，
其中，所述第二子像素精确度运动矢量估计单元估计出两个或多个运动矢量，作为所述前向运动矢量和所述后向运动矢量每一个的候选者，
所述运动矢量确定单元还包括：
第二编码成本计算单元，其在使用所述第二滤波器以子像素精确度内插每一个预测块之后，基于所述当前块与所述若干预测块的每一个之间的差异数据来计算一个第二编码成本，其中，所述第二编码成本表示随着第二编码成本值变得越小，每一个预测块与所述当前块之间的相关性变得越高，以及
在所述方向确定单元确定所述当前块的预测方向是单向的情况下，所述运动矢量确定单元基于所述第二编码成本，从为所述前向运动矢量或者所述后向运动矢量估计的若干运动矢量候选者当中，确定表示与所述当前块具有最高相关性的预测块之位置的运动矢量。
10、根据权利要求9的运动图像编码装置，
其中，所述运动矢量确定单元选择出表示具有最小第二编码成本的预测块之位置的运动矢量，以及：(i)在所述方向确定单元确定所述当前块的预测方向是前向的情况下，从所述估计的前向运动矢量候选者当中确定所述运动矢量，以及(ii)在所述方向确定单元确定所述当前块的预测方向是后向的情况下，从所述估计的后向运动矢量候选者当中确定所述运动矢量。
11、根据权利要求9的运动图像编码装置，还包括：
平均图像产生单元，用于在所述方向确定单元确定所述当前块的预测方向是双向的情况下，产生所述前向预测块与所述后向预测块的平均图像，
其中，所述第二子像素精确度运动矢量估计单元估计出至少一个第一运动矢量和第二运动矢量，作为所述前向运动矢量和所述后向运动矢量每一个的候选者，所述第一运动矢量表示与所述当前块具有最高相关性的预测块的位置，以及所述第二运动矢量表示与所述当前块具有次高相关性的预测块的位置，
在所述方向确定单元确定所述当前块的预测方向是双向的情况下，所述运动矢量确定单元确定所述前向运动矢量和所述后向运动矢量每一个都是所述运动矢量，以及
所述平均图像产生单元产生由所述第一前向运动矢量表示的预测块和由所述第一后向运动矢量表示的预测块的平均图像，其中所述第一前向运动矢量和所述第一后向运动矢量的每一个都通过所述运动矢量确定单元被确定为所述运动矢量。
12、根据权利要求1的运动图像编码装置，
其中，所述第一滤波器通过线性内插来内插参考图像中的一个区域。
13、根据权利要求1的运动图像编码装置，
其中，所述第一滤波器是2抽头滤波器，以及所述第二滤波器是6抽头滤波器。
14、一种集成电路，包括：
运动矢量估计单元，其使用第一滤波器，以子像素精确度，内插在参考图像之搜索区域内的一预定区域，以及在所述内插的区域内，估计出表示与待编码的当前块具有高相关性的若干预测块之位置的两个或多个运动矢量；以及
运动矢量确定单元，其使用比所述第一滤波器的抽头数量更多的第二滤波器，以子像素精确度，内插由所述估计的运动矢量表示的所述若干预测块的每一个，并且基于所述内插的若干预测块的每一个与所述当前块之间的差异数据，从所述运动矢量估计单元估计的所述若干运动矢量当中，确定用于表示与所述当前块具有最高相关性的预测块之位置的运动矢量，
其中，所述运动矢量估计单元以及所述运动矢量确定单元都被集成在一单个单元中。
15、一种运动图像编码方法，包括：
(i)使用第一滤波器，以子像素精确度，内插在参考图像之搜索区内的一个预定区域，以及(ii)在所述内插的区域内，估计出两个或多个表示与待编码的当前块具有高相关性的预测块之位置的运动矢量；以及
(i)使用比所述第一滤波器的抽头数量更多的第二滤波器，以子像素精确度，内插由所述估计的运动矢量所表示的所述若干预测块的每一个，以及(ii)基于所述内插的预测块与所述当前块之间的差异数据，从通过所述运动矢量估计单元估计的若干运动矢量当中，确定表示与当前块具有最高相关性的预测块之位置的运动矢量。
16、一种计算机程序，使得计算机执行：
(i)使用第一滤波器，以子像素精确度，内插在参考图像之搜索区内的一个预定区域，以及(ii)在所述内插的区域内，估计出两个或多个表示与待编码的当前块具有高相关性的预测块之位置的运动矢量；以及
(i)使用比所述第一滤波器的抽头数量更多的第二滤波器，以子像素精确度，内插由所述估计的运动矢量所表示的所述若干预测块的每一个，以及(ii)基于所述内插的预测块与所述当前块之间的差异数据，从通过所述运动矢量估计单元估计的若干运动矢量当中，确定表示与当前块具有最高相关性的预测块之位置的运动矢量。
CNA2005100551185A 2004-03-17 2005-03-17 运动图像编码装置 Pending CN1671209A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004076049 2004-03-17
JP076049/2004 2004-03-17

Publications (1)

Publication Number Publication Date
CN1671209A true CN1671209A (zh) 2005-09-21

Family

ID=34836536

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005100551185A Pending CN1671209A (zh) 2004-03-17 2005-03-17 运动图像编码装置

Country Status (4)

Country Link
US (1) US20050207496A1 (zh)
EP (1) EP1578137A2 (zh)
KR (1) KR20060044356A (zh)
CN (1) CN1671209A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101990760A (zh) * 2008-04-10 2011-03-23 高通股份有限公司 用于视频译码中的运动补偿的高级内插技术
CN101360238B (zh) * 2007-07-13 2011-06-15 索尼株式会社 图像处理设备及相应的图像处理方法
CN101361369B (zh) * 2006-01-06 2011-09-21 国际商业机器公司 用于视觉信号外插或内插的系统和方法
CN101416515B (zh) * 2006-03-31 2012-07-04 索尼德国有限责任公司 用于改进递归运动估计器的收敛速度的方法和设备
CN102056009B (zh) * 2009-11-05 2012-08-29 中国移动通信集团公司 视频序列的图像质量评估方法及装置
CN102812708A (zh) * 2010-04-01 2012-12-05 索尼公司 图像处理设备和方法
CN102017631B (zh) * 2008-04-10 2013-05-01 高通股份有限公司 视频译码中的整数像素位置的似内插滤波
CN103250414A (zh) * 2010-12-10 2013-08-14 高通股份有限公司 用于内插视频译码的子像素的值的自适应支持
CN101632306B (zh) * 2006-12-01 2014-03-19 法国电信公司 用于运动补偿预测视频编码和解码的自适应内插方法和系统
US8804831B2 (en) 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
CN104104961A (zh) * 2013-04-10 2014-10-15 华为技术有限公司 一种视频编码方法、解码方法和装置
CN106210734A (zh) * 2011-01-12 2016-12-07 佳能株式会社 将图像序列编码成位流以及对位流进行解码的方法和装置
CN107592972A (zh) * 2015-05-11 2018-01-16 高通股份有限公司 用于视频数据中特定图片内的帧间译码的搜索区域确定
CN107646194A (zh) * 2015-05-21 2018-01-30 华为技术有限公司 用于视频运动补偿的装置和方法
CN107707912A (zh) * 2011-12-28 2018-02-16 Jvc 建伍株式会社 动图像编码装置以及动图像编码方法
WO2018058622A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种帧间预测的图像编解码方法和装置
US10440388B2 (en) 2008-04-10 2019-10-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
CN112866702A (zh) * 2019-03-11 2021-05-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841714B (zh) * 2004-08-31 2012-12-26 松下电器产业株式会社 运动图像编码、解码方法及装置、记录介质的记录方法
US8243820B2 (en) * 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US8588304B2 (en) 2005-03-31 2013-11-19 Panasonic Corporation Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
JP4590337B2 (ja) * 2005-10-27 2010-12-01 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
GB2431800A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Interpolation involving motion vectors and mutiple tap spatial filters.
GB2431799A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Motion vector allocation and pixel generation using spatial filters
GB2431796A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Interpolation using phase correction and motion vectors
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP4417918B2 (ja) * 2006-03-30 2010-02-17 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
JP2008005163A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
US20080002772A1 (en) * 2006-06-28 2008-01-03 Hong Kong Applied Science and Technology Research Institute Company Limited Motion vector estimation method
JP2008042332A (ja) * 2006-08-02 2008-02-21 Toshiba Corp 補間フレーム作成方法及び補間フレーム作成装置
KR100827093B1 (ko) * 2006-10-13 2008-05-02 삼성전자주식회사 영상 부호화 방법 및 장치
KR100790178B1 (ko) * 2006-10-20 2008-01-02 삼성전자주식회사 동영상의 프레임 레이트 변환 방법
KR100878536B1 (ko) * 2006-11-08 2009-01-13 삼성전자주식회사 영상 보간 방법 및 장치
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8625672B2 (en) * 2008-01-07 2014-01-07 Thomson Licensing Methods and apparatus for video encoding and decoding using parametric filtering
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
RU2479941C2 (ru) * 2008-04-10 2013-04-20 Квэлкомм Инкорпорейтед Технологии прогнозирования для интерполяции при кодировании видео
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
KR101085963B1 (ko) * 2008-08-11 2011-11-22 에스케이플래닛 주식회사 동영상 부호화 장치 및 방법
US8462849B2 (en) * 2008-12-23 2013-06-11 General Instrument Corporation Reference picture selection for sub-pixel motion estimation
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
CN103004200A (zh) * 2010-05-14 2013-03-27 三星电子株式会社 使用扩展的块滤波对视频编码和解码的方法和设备
CN102316317B (zh) * 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
PL2661892T3 (pl) 2011-01-07 2022-08-16 Nokia Technologies Oy Przewidywanie ruchu w kodowaniu wideo
PT2744204T (pt) * 2011-09-14 2019-01-31 Samsung Electronics Co Ltd Método para descodificar uma unidade de previsão (up) com base no seu tamanho
JP2013098899A (ja) * 2011-11-04 2013-05-20 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2017178782A1 (en) * 2016-04-15 2017-10-19 Magic Pony Technology Limited Motion compensation using temporal picture interpolation
GB2564133B (en) * 2017-07-04 2021-03-17 Canon Kk Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
US11044480B2 (en) * 2019-01-24 2021-06-22 Google Llc More accurate 2-tap interpolation filters for video compression
CN110769256B (zh) * 2019-11-01 2021-10-01 西安邮电大学 一种基于可重构阵列处理器的分数像素插值方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3163830B2 (ja) * 1993-03-29 2001-05-08 ソニー株式会社 画像信号伝送方法及び装置
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
US6697430B1 (en) * 1999-05-19 2004-02-24 Matsushita Electric Industrial Co., Ltd. MPEG encoder
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7408988B2 (en) * 2002-12-20 2008-08-05 Lsi Corporation Motion estimation engine with parallel interpolation and search hardware

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101361369B (zh) * 2006-01-06 2011-09-21 国际商业机器公司 用于视觉信号外插或内插的系统和方法
CN101416515B (zh) * 2006-03-31 2012-07-04 索尼德国有限责任公司 用于改进递归运动估计器的收敛速度的方法和设备
CN101632306B (zh) * 2006-12-01 2014-03-19 法国电信公司 用于运动补偿预测视频编码和解码的自适应内插方法和系统
CN101360238B (zh) * 2007-07-13 2011-06-15 索尼株式会社 图像处理设备及相应的图像处理方法
CN102017631B (zh) * 2008-04-10 2013-05-01 高通股份有限公司 视频译码中的整数像素位置的似内插滤波
US10440388B2 (en) 2008-04-10 2019-10-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
CN101990760B (zh) * 2008-04-10 2014-04-23 高通股份有限公司 用于视频译码中的运动补偿的高级内插技术
US8804831B2 (en) 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US11683519B2 (en) 2008-04-10 2023-06-20 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
CN101990760A (zh) * 2008-04-10 2011-03-23 高通股份有限公司 用于视频译码中的运动补偿的高级内插技术
CN102056009B (zh) * 2009-11-05 2012-08-29 中国移动通信集团公司 视频序列的图像质量评估方法及装置
CN102812708A (zh) * 2010-04-01 2012-12-05 索尼公司 图像处理设备和方法
CN103250414A (zh) * 2010-12-10 2013-08-14 高通股份有限公司 用于内插视频译码的子像素的值的自适应支持
US10045046B2 (en) 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
CN103250414B (zh) * 2010-12-10 2017-03-08 高通股份有限公司 用于内插视频译码的子像素的值的自适应支持
US11146792B2 (en) 2011-01-12 2021-10-12 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
US10609380B2 (en) 2011-01-12 2020-03-31 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
CN106210734B (zh) * 2011-01-12 2020-01-14 佳能株式会社 将图像序列编码成位流以及对位流进行解码的方法和装置
US10506236B2 (en) 2011-01-12 2019-12-10 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
US10499060B2 (en) 2011-01-12 2019-12-03 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
CN106851310A (zh) * 2011-01-12 2017-06-13 佳能株式会社 错误恢复改进的视频编码和解码
US10165279B2 (en) 2011-01-12 2018-12-25 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
CN106210734A (zh) * 2011-01-12 2016-12-07 佳能株式会社 将图像序列编码成位流以及对位流进行解码的方法和装置
US20180352236A1 (en) 2011-01-12 2018-12-06 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
CN107888913A (zh) * 2011-12-28 2018-04-06 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
CN107888913B (zh) * 2011-12-28 2020-05-22 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
CN107888914A (zh) * 2011-12-28 2018-04-06 Jvc 建伍株式会社 动图像编码装置以及动图像编码方法
CN107707912A (zh) * 2011-12-28 2018-02-16 Jvc 建伍株式会社 动图像编码装置以及动图像编码方法
CN107888914B (zh) * 2011-12-28 2020-05-22 Jvc 建伍株式会社 动图像编码装置以及动图像编码方法
CN107707912B (zh) * 2011-12-28 2020-05-22 Jvc 建伍株式会社 动图像编码装置以及动图像编码方法
CN104104961A (zh) * 2013-04-10 2014-10-15 华为技术有限公司 一种视频编码方法、解码方法和装置
WO2014166412A1 (zh) * 2013-04-10 2014-10-16 华为技术有限公司 一种视频编码方法、解码方法和装置
CN104104961B (zh) * 2013-04-10 2018-09-21 华为技术有限公司 一种视频编码方法、解码方法和装置
US9706220B2 (en) 2013-04-10 2017-07-11 Huawei Technologies Co., Ltd. Video encoding method and decoding method and apparatuses
CN107592972B (zh) * 2015-05-11 2020-08-07 高通股份有限公司 用于视频数据中特定图片内的帧间译码的搜索区域确定
CN107592972A (zh) * 2015-05-11 2018-01-16 高通股份有限公司 用于视频数据中特定图片内的帧间译码的搜索区域确定
US10536716B2 (en) 2015-05-21 2020-01-14 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
CN107646194A (zh) * 2015-05-21 2018-01-30 华为技术有限公司 用于视频运动补偿的装置和方法
RU2715010C1 (ru) * 2016-09-30 2020-02-21 Хуавей Текнолоджиз Ко., Лтд. Способ и устройство кодирования и декодирования изображения с использованием межкадрового прогнозирования
US11039144B2 (en) 2016-09-30 2021-06-15 Huawei Technologies Co., Ltd. Method and apparatus for image coding and decoding through inter-prediction
WO2018058622A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种帧间预测的图像编解码方法和装置
CN112866702A (zh) * 2019-03-11 2021-05-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112866702B (zh) * 2019-03-11 2022-03-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11902563B2 (en) 2019-03-11 2024-02-13 Hangzhou Hikvision Digital Technology Co., Ltd. Encoding and decoding method and device, encoder side apparatus and decoder side apparatus

Also Published As

Publication number Publication date
KR20060044356A (ko) 2006-05-16
US20050207496A1 (en) 2005-09-22
EP1578137A2 (en) 2005-09-21

Similar Documents

Publication Publication Date Title
CN1671209A (zh) 运动图像编码装置
CN1293762C (zh) 图象编码方法及图象解码方法
CN1254113C (zh) 图像编码装置、图像编码方法、图像解码装置、图像解码方法和通信装置
CN100352287C (zh) 图像编码装置、图像解码装置及它们的方法
CN1295934C (zh) 移动向量编码方法和移动向量解码方法
CN1910933A (zh) 图像信息编码装置和图像信息编码方法
CN1612614A (zh) 帧内预测编码方法
CN1968412A (zh) 图像解码方法
CN1685732A (zh) 动态图像编码方法和动态图像解码方法
CN1518835A (zh) 动态图像编码方法及动态图像解码方法
CN1623333A (zh) 动态补偿方法、图像编码方法及图像解码方法
CN1522543A (zh) 可变长编码方法和可变长译码方法
CN1751512A (zh) 运动图像编码方法、运动图像解码方法及程序
CN1620144A (zh) 图像信号处理方法、处理装置、处理程序及集成电路装置
CN1478356A (zh) 动态图像编码方法及动态图像解码方法
CN1926882A (zh) 运动补偿装置
CN1685733A (zh) 动态画像的编码方法及解码方法
CN101061725A (zh) 运动图像编码方法以及运动图像解码方法
CN1505900A (zh) 活动图象压缩编码装置及运动矢量检测方法
CN1691783A (zh) 运动图像编码和解码方法,装置,程序及程序产品
CN101031082A (zh) 移动向量解码方法和移动向量解码装置
JP4495013B2 (ja) 動画符号化装置
CN1910594A (zh) 图像编码方法和设备、图像解码方法和设备及其程序
CN1717939A (zh) 图像解码装置、图像编码装置及其方法
CN1976472A (zh) 图像的译码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication