CN1125570C - 运动图象转换装置 - Google Patents
运动图象转换装置 Download PDFInfo
- Publication number
- CN1125570C CN1125570C CN98106061.7A CN98106061A CN1125570C CN 1125570 C CN1125570 C CN 1125570C CN 98106061 A CN98106061 A CN 98106061A CN 1125570 C CN1125570 C CN 1125570C
- Authority
- CN
- China
- Prior art keywords
- macro block
- mobile vector
- image
- mobile
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
一种在高速下进行运动图象格式转换的运动图象转换装置,包括输入装置101;与输入装置连接的帧存储器102;与帧存储器连接的块读出装置103;与块读出装置连接的区域分隔部分113;与块读出装置和区域分隔部分连接的解码装置110;与解码装置连接的编码处理部分111;以及与编码处理部分连接的输出装置112,区域分隔部分包括:区域分隔部分控制装置109;分量提取装置104;两个低分辨率帧存储器105;移动检测装置106;宏块分类装置107和标记存储装置114。
Description
技术领域
本发明涉及运动图象压缩格式转换用的运动图象转换装置,尤其涉及通过降低移动矢量检测工作量提高运动图象格式转换速度的运动图象转换装置。
背景技术
最近,电信技术的数字化已经取得进展,对诸如当前NTSC/PAL/SECAM的模拟广播系统进行数字化的计划也取得进展。采用数字技术的新的广播服务是用卫星提供多频道服务的直播、高清晰度电视广播(ATV:先进的电视)的地波广播、电视点播或类似广播。然而,当用数字信号传送运动图象时,一个共有的问题是信息量大。为了在高帧速下进行实时重现以及抑制网络的通信量,运动图象图象压缩技术是必不可少的。
为了有效地压缩信息量大的运动图象图象数据,采用一种以时间轴方向或时间轴方向相关来减少冗余的方法。典型的方法是MPEG(运动图象图象编码专家组)系统。ISO-IEC/JTC1/SC2/WG11对此作了讨论并提议将其作为标准。在这一系统中,采纳了一个组合有移动补偿编码、DCT(离散余弦变换)编码和可变长度编码(VLC)的混合系统。图15示出典型MPEG编码装置的构成。把当前帧输入到移动矢量检测部分和减法器。在移动矢量检测部分中,将当前帧划分成多个矩形的块。通过计算每个块与以前存放在帧存储器中的前一帧之间的相关性,检测每个块的移动矢量。通过把前一帧从当前帧块的位置移位到移动矢量所指的点产生预测图象,然后输入到减法器。在减法器中,计算当前帧与预测图象之间的差分图象。然后,分别用DCT装置和量化装置对差分图象进行离散余弦变换和量化。用可变长度编码装置对数据进行可变长度编码,然后向外输出。这时,用移动信息编码装置也对移动矢量检测部分检测的移动矢量进行编码,然后与数据一起向外输出。在把量化数据输入到可变长度编码装置的同时,也将其输入到逆量化装置。经过逆DCT装置,数据被恢复成差分图象。在加法器中,使当前帧预测图象与差分图象相互相加,从而重构当前帧。把重构的帧存储到帧存储器中,准备作下一帧编码。
在这种一连串的编码处理中,移动矢量检测部分进行操作需要花费许多时间。为了减少或简化这个处理,至今已经开展了研究。然而,由于这种减少或简化对于所有宏块采用同一方式,因此降低了移动矢量检测的精确度。因此,可以这样定义移动矢量,把处理单元针对宏块(16×16个象素)而设置。根据其移动矢量把宏块分类成三种类型(Intra:由于移动大,采用块本身;Non-MC编码:由于移动很小,在各帧之间作简单的差处理;MC编码:一般移动补偿)。公开号为4-181888的日本专利申请揭示了一种方法,其中在移动矢量检测部分前提供一个块确定电路,由此对宏块进行分类,从而根据分类结果改变所作的处理。然而,当用这一方法确定移动时,要将块与位于前一帧宏块自身的块(对应于移动矢量0)进行比较。无论是否存在移动都要对块进行简单分类。如果确定一个块未移动,那么对于这个块不进行移动检测。
另一方面,数字式VTR是上述数字广播通信技术的一个重要因素。至今一直把非压缩的数字VTR作为广播电台或电视台的数字VTR。数字VTR的一个优点是,它具有高质量,在录制期间没有明显的性能退化。然而,数字化引出一个记录信息增大的问题。此外,由于数字式VTR尺寸大、价格贵,通常较少被使用。然而,近年来,在频带压缩技术方面的进展以及记录密度的提高允许研制小尺寸/家用数字式VTR。对于这种数字式VTR,可采用HD数字VTR会议标准化的DVC(数字视频盒带)格式。用以下方式对DVC数据进行特征化,即利用DCT在空间方向上对数据进行压缩,然后,用Huffman编码对数据进行可变长度编码,对信息进行压缩不采用时间方向相关。因此,尽管由于未采用时间方向相关性进行压缩,DVC数据的信息量大,但是它具有高质量,易于对于每一帧进行编辑。此外,由于采用DVC数据,能够将其捕获到计算机中,因此,预计未来将会更多地采用DVC数据。在诸如电视点播一类通过网络交换运动图象图象的系统中,依据网络的传输性能,很难实时发射/接收DVC数据。在这种情况下,把运动图象图象作为DVC数据存储起来,在需要时将数据转换成MPEG之类图象格式的方法,从有效利用盘资源这个角度看是有效的。尽管至今为止运动图象格式转换一直是利用专用硬件进行的,但是,在考虑到图象质量、成本、面向各种格式的灵活性、装入计算机所需的劳动、与计算机的兼容性、易于分发等因素,期望利用软件进行运动图象格式转换。
然而,这存在一个问题,即用软件方式对DVC数据解码并一次编码成MPEG,所用的处理时间很长。从上述问题看,本发明的一个目的是降低在MPEG编码中施加到移动矢量检测上的负载以及提高运动图象转换的转换速度。作为现有的移动矢量检测处理,日本专利申请公开号为4-181888揭示了一种方法,在MPEG编码中在移动矢量检测前提供一个块确定电路,由此对宏块进行分类,从而根据分类结果改变所作的处理。然而,这个方法存在以下问题:
1.块确定电路的分类仅有两个类型(non-MC编码或其它)。尽管以MPEG将宏块分成三种类型的块,但是分类不与在前一帧中未发现移动矢量的Intra相联系。
2.块确定电路是否检测移动的确定是根据各个块之间的简单差异作出的,这引起其长度为0的移动矢量检测精确度的问题。
如上所述,由于宏块的分类不充分且分类方法不够有效,仍留有较少减少处理和移动矢量检测精确度退化的问题。
发明内容
为了解决上述问题已经完成本发明。因此,本发明的一个目的是减少MPEG编码处理。根据本发明,每个块的输入和输出分别限制为DCT/DVC数据和MPEG数据。在对DVC数据解码前,根据宏块的移动范围对数据进行分类,由此降低MPEG编码处理量。
根据本发明的第一个方面,提供一种运动图象转换装置,它包括:从外界捕获经正交变换的数字图象信号的输入装置;储存图象的帧存储器;根据请求从帧存储器读出块或宏块的块读出装置;将读出请求发送给块读出装置的区域分隔部分控制装置;仅提取被捕获图象中直流分量的分量提取装置;两个储存所提取信息的低分辨率帧存储器;根据低分辨率帧存储器中信息检测移动的移动检测装置;区域分隔部分,它包括:根据移动检测装置的移动检测结果给宏块加标记的宏块分类装置和储存宏块标记的标记存储装置;解码装置;根据标记存储装置中的标记改变宏块编码处理的编码处理部分;以及向外输出编码信号的输出装置。因此,根据其编码处理前的移动范围以三种类型对宏块加标记。按照标记改变编码处理,由此降低施加到移动矢量检测的负载,从而在高速下进行运动图象图象转换。
根据本发明的第二个方面,提供一种运动图象转换装置,这里,当第一方面中的标记存储装置输出表明宏块移动小的标记时,编码处理部分选择一个小的移动矢量搜索区,从而能够进行移动矢量检测。因此,有可能提高编码处理部分的移动矢量检测精确度。
根据本发明的第三个方面,提供一种运动图象转换装置,这里,第一方面中的区域分隔部分进一步包括通过插入输入图象转换分辨率的分辨率转换装置。因此,当低分辨率搜索区的分辨率因分量提取装置提取不充分而低得不足以作移动检测时,对从低分辨率帧存储器中读出的数据的分辨率进行转换,由此能够提高搜索区的分辨率。
根据本发明的第四个方面,提供一种运动图象转换装置,这里,第一方面中的分量提取装置对所捕获图象的直流分量和低频分量进行取样,区域分隔部分包括对分量提取装置所提取的低频分量进行逆DCT的逆DCT装置。因此,利用实际图象的象素值而非DCT数据能够进行图案匹配,能够提高检测精确度。
根据本发明的第五个方面,提供一种运动图象转换装置,它包括:从外界捕获经正交变换的数字图象信号的输入装置;储存图象的帧存储器;根据请求从帧存储器读出块或宏块的块读出装置;将读出请求发送给块读出装置的区域分隔部分控制装置;仅提取被捕获图象中被正交基所分辨的特定分量的分量提取装置;对提取信息进行逆正交变换的逆正交变换装置;两个储存逆正交变换装置所获取信息的帧存储器;根据逆正交变换装置所获取信息检测移动的移动矢量检测装置;区域分隔部分,它包括:根据移动矢量检测装置输出的移动矢量幅度给宏块加标记的宏块分类装置和储存宏块标记的标记存储装置;解码装置;根据标记存储装置中的标记改变宏块编码处理的编码处理部分;以及向外输出编码信号的输出装置。因此,不用进行如全部搜索的高负载处理,可进行移动检测。对宏块加标记,然后根据标记改变编码处理,由此降低施加到移动矢量检测的负载,从而在高速下进行运动图象图象转换。
根据本发明的第六个方面,提供一种运动图象转换装置,它包括:输入由宏块构成的数字图象信号的输入装置,宏块是一个块的集合,对每个块进行正交变换;储存所述数字图象信号的帧存储器;根据请求从所述帧存储器读出块或宏块的块读出装置;将读出请求发送给块读出装置的区域分隔部分控制装置;仅提取被捕获图象中直流分量的分量提取装置;两个储存所提取信息的低分辨率帧存储器;利用低分辨率帧存储器中信息检测移动的移动检测装置;区域分隔部分,它包括:根据移动检测装置的输出给宏块加标记的宏块分类装置、根据所述移动检测装置的结果恢复检测到移动的宏块的移动矢量的移动矢量恢复装置、和储存宏块标记的标记存储装置;解码装置;编码处理部分,它包括:DCT装置、量化装置、可变长度编码装置、逆量化装置、逆DCT装置、帧存储器装置、图象差分器、图象加法器、搜索区变化装置位于其中的移动矢量检测部分及移动信息编码装置;以及向外输出编码信号的输出装置。这里,根据所述区域分隔部分中所述移动检测装置的移动检测结果,所述编码处理部分中的所述移动矢量检测部分限制移动矢量搜索区,由此执行移动矢量检测。因此,根据宏块移动的程度进行分类。从这一分类结果仅检测所需宏块的移动矢量,由此降低施加到编码处理的负载,从而在高速下进行运动图象图象转换。
根据本发明的第七个方面,提供一种运动图象转换装置,这里,第六方面的所述区域分隔部分被第五方面的区域分隔部分所代替,利用所述区域分隔部分中所述移动矢量检测装置检测的移动矢量,所述编码处理部分中所述移动矢量检测部分限制移动矢量搜索区,由此进行移动矢量检测。因此,在高速下进行移动矢量检测。
根据本发明的第八个方面,提供一种运动图象转换装置,这里,取消了第七方面的所述编码处理部分中所述编码处理部分中的所述移动矢量检测部分,由此所述编码处理部分根本不检测移动矢量,而是利用所述区域分隔部分中所述移动矢量检测装置检测的移动矢量。因此,去掉了与MPEG编码中移动矢量检测有关的负载。
附图简述
从以下的详细描述,并结合附图,本发明的目的和各方面将变得更加明显,其中:
图1示出根据本发明实施例1的运动图象转换装置的构成。
图2是表明本发明实施例1的整个运动图象转换装置的工作流程图。
图3是表明根据编码处理部分中标记之间的差别的处理流程图。
图4示出本发明实施例1的第二改型运动图象转换装置的构成。
图5示出根据本发明实施例2的运动图象转换装置的构成。
图6是表明本发明实施例2的运动图象转换装置的区域分隔部分工作的流程图。
图7示出一种从输入图象中提取分量的方法和一种逆DCT方法。
图8是表明根据本发明实施例2的运动图象转换装置的移动检测处理的流程图。
图9示出根据本发明实施例3的运动图象转换装置的构成。
图10是表明使搜索区变窄和检测移动矢量的处理流程图。
图11示出把移动图像输入到实施例3的运动图象转换装置的一个例子。
图12示出把移动图像输入到实施例3的第一改型运动图象转换装置的一个例子。
图13示出把移动图像输入到实施例3的第二改型运动图象转换装置的一个例子。
图14示出把移动图像输入到实施例1的第二改型运动图象转换装置的一个例子。
图15示出典型的MPEG编码装置的构成。
图16示出家用数字VTR的DVC格式。
图17示出家用数字VTR的DVC格式。
图18示出根据移动矢量最大图象梯度方向上的分量确定移动矢量的方法。
具体实施方式
(实施例1)
图1示出本发明实施例1的运动图象转换装置的构成。
首先将概述实施例1的装置。该装置将DVC格式的输入图象转换成MPEG格式的图象并输出转换后的图象。该装置的特征在于通过宏块单元检测粗移动矢量,根据矢量的大小对宏块进行分类,由此减少有关图象编码的处理。以下参考图16和17简要地描述DVC格式。图16(a)示出在A/D转换部分提取亮度信号和色度信号所获得的帧。亮度帧在尺寸上为720×480个象素,色度帧在尺寸上为180×480个象素。当把帧划分成DCT的小块(DCT块)时,亮度帧被划分成形状与图16(a)所示相等的90×60个块。而色度帧被划分成仅在最右一列中块的形状有所不同的块。图16(b)示出从图16(a)帧获取的块,示出了每个块的大小。亮度块的尺寸为8×8,而色度块具有8×8和4×16两种尺寸。将一些DCT块收集在一起,形成宏块。图16(c)示出宏块的构成。宏块包括四个排成一行的相互邻接的亮度块和两个与四个亮度块相对应的色度块。最右面的宏块包括四个亮度块,每个亮度块有两条边分别与其它两个亮度块邻接;以及两个与四个亮度块相对应的色度块。图17(a)示出宏块在帧中的排列。将27个宏块的集合称为一个超级块。一帧有5行×10列的超级块。图17(b)示出一帧中超级块的排列。图17(c)示出由27个宏块组成的一个超级块的构成。在数据压缩前,为了使屏幕上的图象质量在压缩后均等以及在考虑信号失落和特定重现中分散编码误差的影响,可改变数据的次序。这个处理被称为重排。在重排中,从每一列中选择一个超级块,然后从每个超级块中取出一个宏块,由5个宏块构成一个视频区。在压缩时,控制DCT、量化和可变长度编码,使数据总是在每个视频区中的预定量内。因此,在DVC格式中,对每个块进行DCT,去除在空间方向上的冗余。
以下将描述实施例1的装置的构成。从外界捕获图象的输入装置101、储存图象的帧存储器102以及读出块或宏块的块读出装置103相互连接起来。仅提取图象中直流分量的分量提取装置104、两个储存所提取信息的低分辨率帧存储器105a、105b、利用低分辨率帧存储器105a、105b中信息检测移动的移动检测装置106、根据移动检测装置106的输出给宏块加标记的宏块分类装置107、包含标记存储装置114和区域分隔部分控制装置109的区域分隔部分113、解码装置110、编码处理部分111以及输出装置112依次相互连接起来。
以下参考图2的流程图描述实施例1的装置的操作。图中把步骤缩写成St。
步骤101:首先输入装置101将DVC格式的输入图象写入到帧存储器102中。
步骤102:区域分隔部分控制装置109把块读出请求发送给块读出装置103。当块读出装置103接收到读出请求时,它把图象(第1块至第N块)发送给分量提取装置104。
步骤103:分量提取装置104仅对每个块中直流分量取样。
步骤104:分量提取装置104按照提取次序将所提取数据写入到低分辨率帧存储器105a中。
步骤105:当被写入到低分辨率帧存储器105a中的图象是被处理运动图象序列的头一帧时,
步骤106:区域分隔部分控制装置109确定该帧中的所有宏块是intra块,并把表示宏块移动矢量大的标记发送给标记存储装置114。
步骤107:当被写入的图象不是头一帧时,移动检测装置106分别从低分辨率帧存储器105a、105b中读出当前图象和前一幅图象。
步骤108:移动检测装置106检查每个宏块的移动,输出粗移动矢量。
步骤109:宏块分类装置107根据粗移动矢量的幅度,用“移动大”、“移动被检测”和“移动小”三种类型给宏块加标记。把宏块的标记发送到FIFO(先进先出)标记存储装置114。
步骤110:区域分隔部分控制装置109检查标记存储装置114中排队的状态。
步骤111:当按照排队存储一帧的宏块标记时,将宏块读出请求发送给块读出装置103。当块读出装置103接收到读出请求时,它把图象(ID号0~M的宏块)送给解码装置110。
步骤112:当解码装置110从块读出装置103接收到ID为m的宏块时,它从标记存储装置114的排队中截取头一个标记。
步骤113:当标记表示移动小或移动被检测时,对ID为m的宏块进行逆DCT。因此,把宏块恢复成原始图象后,图象与标记一起被送到编码处理部分111。当标记表示其它时,对ID为m的宏块不进行处理。然后把未经改变的宏块与标记一起送到编码处理部分111。
步骤114:编码处理部分111根据标记对解码装置110输入的宏块进行编码。
步骤115:输出装置112把经过编码处理部分111编码的数据输出到装置外。
步骤116:区域分隔部分控制装置109检查标记存储装置114中排队的状态。
步骤117:当存储在队列中的标记被用完时,把低分辨率帧存储器105a中的图象写入到低分辨率帧存储器105b中。
步骤118:当当前帧不是被处理运动图象序列的最后一帧时,区域分隔部分控制装置109接着把块读出请求送到块读出装置103,进行下一帧处理(步骤102)。
以下将描述利用块读出装置103读出宏块的方法(步骤102)。本实施例的运动图象转换装置的每个装置采用一个块的ID,它是一帧中从左上方的块到右下方的块的一个流水号,以便针对每个块或宏块进行帧的处理。每一帧,设定块的ID为0至N,宏块的ID为0至M。根据区域分隔部分控制装置109的块或宏块读出请求,块读出装置103从帧存储器提取每个块或宏块的图象。依次地输出块的ID为0至N的块或宏块的ID为0至M的宏块。
以下将描述用移动检测装置106读出数据的方法(步骤107)。移动检测装置106从低分辨率帧存储器105a中读出与ID为m的宏块相对应的模板(大小为2×2个象素)。移动检测装置106还从低分辨率帧存储器105b中读出与ID为m的宏块的搜索区相对应的低分辨率搜索区。移动检测装置106以下述的方式(步骤108)按照ID号为0至M的次序进行移动检测。当移动检测装置106获得模板和低分辨率搜索区时,它利用它们开始图案匹配。移动检测装置106从一个减小搜索区检测大小与模板相等,具有与该模板图案的最高相关性的块。可以采用模板与搜索区在亮度值上的比率,一种绝对差之和作为图案匹配。在任何情况下,允许移动检测装置106在决策相关性采用一个阈值。如果相关性未达到这个阈值,那么,移动检测装置106输出信息,表示缺少与ID为m的宏块高度相关的块,即表示移动矢量未被检测到。当检测到高度相关的块时,移动检测装置106将搜索区的中心定义为原点并输出代表被检测块位置的粗移动矢量。移动检测装置106把包含其中进行移动检测的宏块的宏块ID和移动信息(移动矢量未被检测到或粗移动矢量)的数据包发送到宏块分类装置107。
以下将描述用宏块分类装置107对宏块进行分类的方法(步骤109)。宏块分类装置107从移动检测装置106输入的数据包输入中读出移动信息。当粗移动矢量的大小为0时,将代表移动小的标记加到数据包中。当不存在粗移动矢量时,把代表移动大的标记加到数据包中。在其它情况下,把代表移动被检测到的标记加到数据包中。然后,宏块分类装置107将数据包发送到标记存储装置114。标记存储装置114采用FIFO系统,因此,它依次地把所发送的数据包加到队列中。
在编码处理部分111中,以下参考图3的流程图描述依照标记之间的差对解码装置110输入的宏块进行编码处理(步骤114)。
步骤121:当宏块标记表示移动被检测到时,
步骤122:编码处理部分111对宏块进行移动矢量检测。
步骤123:当宏块标记表示移动小时,编码处理部分111省略移动矢量检测(步骤122)。编码处理部分111计算宏块和,其大小与位于搜索区中移动矢量的宏块相等的块之间的差。把差分信号划分成块(8×8)。
步骤124:对每个块进行DCT。
步骤125:当标记表示移动大时,编码处理部分111省略移动矢量检测(步骤122)、差的计算(步骤123)和DCT处理(步骤124),仅进行量化和可变长度编码。
因此,在这个实施例的运动图象转换装置中,在编码处理前提供一个区域分隔部分113,由此按照移动的程度对宏块进行分类。改变下一步宏块处理,由此能够减小施加到移动矢量检测的负载。
在依据实施例1装置的第一个改型中,对于标记为移动小的宏块,编码处理部分111可以选择小的移动矢量搜索区进行移动矢量检测。在这种情况下,尽管增加了标记为移动小的宏块处理所需的负载,但是移动矢量检测的精确度得到相应的提高。因此,减小了宏块同大小与位于搜索区中移动矢量的宏块相等的块之间的差,从而降低了量化误差。
图4示出实施例1运动图象转换装置的区域分隔部分113的第二个改型的构成。除了图1中所示的区域分隔部分的构成外,将一个分辨率转换装置406置于低分辨率帧存储器402b与移动检测装置403之间。在分辨率转换装置406中,通过插入输入图象,进行分辨率转换。因此,当低分辨率搜索区的分辨率由于分量提取装置401提取不充分而低得不足以作移动检测时,对从低分辨率帧存储器402b中读出的数据的分辨率进行转换,由此能够提高搜索区的分辨率。
在实施例1运动图象转换装置的区域分隔部分的第三个改型中,在分量提取装置104与低分辨率帧存储器105a之间设置一个逆DCT装置。分量提取装置104对低频分量以及直流分量进行取样。在把低频分量输入到低分辨率帧存储器105a前,用逆DCT装置对低频分量进行逆DCT,有可能形成适合移动检测装置106进行移动检测的低分辨率图象。在这种情况下,尽管增加了施加到逆DCT装置计算中的负载,但是可利用实际图象的象素值而不是DCT数据进行图案匹配,根据分量提取装置104提取的DCT低频分量,还能够改变分辨率。因此,提高了检测的精确度。
接下来,作为一个具体例子,考虑把如图14(a)所示的运动图象图象输入到第三改型的装置中。在图14(a)中,特定宏块的搜索区包括一个大小与该宏块相等的块A。宏块和块A都包括四个具有相等图案的块。图14(b)示出一个1/4宏块和一个1/4块A。在1/4宏块中,象素值为10的象素与象素值为0的象素交替排列在晶格中。在1/4块A中,所有象素的象素值都为5。图14(b)还示出一个其中进行DCT的1/4宏块。当把这种运动图象图象输入到第三改型的装置中时,分量提取装置104对DCT低频分量进行取样,即除了宏块的直流分量外,各分量基本上等于0。逆DCT装置进行逆DCT,从而形成具有均匀象素值的图象。因此,移动检测装置106检测指向块A位置的粗移动矢量。
正如从以上的描述中所能看到的,在这个实施例的装置中,在对输入DVC数据解码和将该数据编码成MPEG数据的过程中,在编码处理前提供一个区域分隔部分113,由此根据宏块的移动程度进行分类。由于仅利用DCT系数的低频分量和/或直流分量进行移动检测,因此,施加到图案匹配的负载是非常低的。由于大部分图象能量集中在低频分量中,精确度的退化要比在利用实际图象进行匹配的情况中退化小得多。采用这种方式,由于区域分隔部分113能够在高速下对每个宏块进行分类,编码处理部分111能够根据分类结果仅对必需的宏块进行移动矢量检测,因此,能够减少处理量。试图用本实施例的装置减少运动图象格式转换的编码时间并用软件实现运动图象格式转换。
(实施例2)
图5示出本发明实施例2的运动图象转换装置的构成。
首先概述实施例2的装置。本实施例的装置是将DVC格式的输入图象转换成MPEG格式的图象并输出经过转换的图象。实施例2的装置与实施例1的装置在区域分隔部分508的构成上是不同的。区域分隔装置508用于检测图象移动和根据其移动的大小对每个宏块加标记。
以下将介绍本实施例装置的构成。除了区域分隔部分508以外,实施例2的运动图象转换装置与实施例1是相同的。区域分隔部分508包括仅提取DCT图象中特定分量的分量提取装置501、对所提取信息进行逆DCT的逆正交变换装置502、存储逆正交变换装置502所获取图象的两个帧存储器503a和503b、根据逆正交变换装置502所获取图象检测移动的移动矢量检测装置504、宏块分类装置505、标记存储装置506以及区域分隔部分控制装置507。宏块分类装置505、标记存储装置506以及区域分隔部分控制装置507分别与实施例1的宏块分类装置107、标记存储装置114以及区域分隔部分控制装置109相同。
以下将介绍本实施例装置的操作。诸如输入装置509输入图象、块读出装置512读出块、帧存储器510存储图象、解码装置513进行解码、编码处理部分514进行编码以及输出装置515向外输出等操作,均与实施例1的运动图象转换装置的操作相同。实施例2的运动图象转换装置与实施例1的运动图象转换装置在区域分隔部分508的操作方面是不同的。以下参考图6所示的流程图介绍区域分隔部分508的操作。这些操作与图2中表明实施例1运动图象转换装置的整个操作的流程图中从分量提取(步骤103)至加标记(步骤109)的操作是相对应的。在图中,把步骤缩写成St。
步骤201:分量提取装置501仅对块读出装置512接收的图象中的特定分量进行取样。
步骤202:逆正交变换装置502对所提取数据进行逆DCT。
步骤203:将数据顺次地写入到帧存储器503a的各个块中。
步骤204:移动矢量检测装置504从帧存储器503a读出当前图象并确定图象的空间梯度。接着,从帧存储器503b读出前一帧图象,从而确定图象的时间方向梯度。从这两个结果,移动矢量检测装置504获得每个块的移动矢量的特定方向分量。特定方向是指块中最大图象梯度的方向。移动矢量检测装置504根据在移动矢量最大梯度方向上所获分量,在一维范围内对一个候选的块进行图案匹配,从而获得移动矢量。移动矢量检测装置504将该移动矢量送给宏块分类装置505。
步骤205:宏块分类装置505根据移动矢量的大小给宏块加标记。用以下方式对标记分类。即如果移动矢量超过宏块的额定搜索区,那么标记表示移动大。如果移动矢量在预定的微区内,那么标记表示移动小。在其它情况下,标记表示移动被检测。然后,把宏块的标记输出到标记存储装置506。
以下将详细介绍分量提取装置501的工作(步骤201)和逆正交变换装置502的工作(步骤202)。分量提取装置501顺次地接收块读出装置512读出的块ID号为0至N的块。图7示出分量的提取和逆DCT。将左上角的块定义为原点。如图所示,向右的方向定义为x-轴的正方向,而向下的方向定义为y-轴的正方向。分量提取装置501用一个掩膜掩盖ID号为n的块,掩膜中x-轴上的所有分量为1而其它分量为0。接着,逆正交变换装置502对被掩盖的块进行两维逆DCT。因此,如图所示,输出在y-方向上没有梯度的图像,即输出的图象,其沿平行于x-轴的平表面截取的截面与任意值y的截面相等。然后,将该图象写入帧存储器503a(步骤203)。在图7中,参考符号I表示图象的强度。接着,分量提取装置501用一个掩膜掩盖同一块(ID号为n的块),在该掩膜中y-轴上的所有分量为1而其它分量为0。然后,逆正交变换装置502对被掩盖的块进行两维逆DCT。因此,如图所示,输出在x-方向上没有梯度的图像,即输出的图象,其沿平行于y-轴的平表面截取的截面与任意值x的截面相等。然后,将该图象写入帧存储器503a(步骤203)。因此,帧存储器503a同时存放y-方向上没有频率分量的图象和x-方向上没有频率分量的图象。
由于y-方向上没有梯度的图象和x-方向上没有梯度的图象仅具有一维信息,把所有两维图像写入到帧存储器503a是没有用的。因此,可以分别从y-方向上没有梯度的图象和x-方向上没有梯度的图象中提取x-方向的一维信息和y-方向的一维信息,从而把所提取的信息写入到帧存储器503a中。另一方面,代替用分量提取装置501的两维掩膜,逆正交变换装置502也可以对位于发射掩膜位置中的DCT分量进行一维逆DCT,由此获得x-方向和y-方向的一维信息。
以下参考图8所示的流程图介绍移动矢量检测装置504的移动检测处理(步骤204)。
步骤211:首先,移动矢量检测装置504从帧存储器503a中读出与第m个宏块相对应的在y-方向上没有梯度的图象。
步骤212:接着,在y-方向上没有梯度的图象中,将注意力放在该宏块中心A点上。从穿过A点平行于x-轴的直线上的象素,计算x-方向的梯度I_x。参考符号I表示图象的强度。I_x表示A点在x-方向中的亮度梯度,它是由亮度值之间的差除以象素之间的距离给出的。计算结果暂时存放在移动矢量检测装置504中。
步骤213:移动矢量检测装置504读出位于等于A点位置中的象素值,A点被用于从储存在帧存储器503a中的前几帧的y-方向没有梯度的图象中确定x-轴方向的梯度(步骤212)。
步骤214:移动矢量检测装置504计算读出象素在时间方向上的梯度I_t。I_t表示每帧象素值的变化。
步骤215:移动矢量检测装置504从以前存放在移动矢量检测装置504中(步骤212)的x-轴方向上的梯度I_x和时间方向上的梯度I_t计算-I_t/I_x。当I_x为0时,由于基本上未发现图象速度,x-方向上的分量是不确定的,输出一个不确定的信号。-I_t/I_x这个值代表在移动矢量最大图象梯度方向分量在x-方向上的速度分量。也可以说,-I_t/I_x这个值代表被确定的移动矢量在宏块A点处投影在最大图象梯度方向上,进一步投影在x-轴上。
步骤216:接着,移动矢量检测装置504从帧存储器503a中读出与第m个宏块相对应的在x-方向上没有梯度的图象。
步骤217:采用与计算x-方向上分量相同的方法(步骤212至217),移动矢量检测装置504确定y-轴方向上的梯度I_y。
步骤218:移动矢量检测装置504从储存在帧存储器503b中的前几帧的在x-方向没有梯度的图象中读出象素。
步骤219:移动矢量检测装置504计算时间方向上的梯度I_t。
步骤220:移动矢量检测装置504计算y-方向分量的-I_t/I_y。y-方向上的这个分量是ID为m的宏块的移动矢量在最大图象梯度方向分量在y-方向上的速度分量。
步骤221:通过以上过程,获得移动矢量在最大图象梯度方向上的分量(-I_t/I_x,-I_t/I_y)。接着,为了检测ID为m的宏块的移动矢量,移动矢量检测装置504进行图案匹配。这时,从以前获得的移动矢量在最大图象梯度方向上的分量,把搜索区限制为一维搜索区。这个一维搜索区是通过B点的直线段,这个直线段是把在最大图象梯度方向上的移动矢量分量加到A点位置的矢量上产生的,对垂直于最大图象梯度方向的直线上的B点具有恒定长度。
步骤222:移动矢量检测装置504对一维搜索区中的图象进行图案匹配,从而获得移动矢量。
尽管选择宏块中心的象素作为焦点象素A,但是,只要是宏块中的象素,都可以选择。此外,通过计算象素之间的简单差或者通过利用最小平方的方法对直线拟合,可以确定时间和空间方向上的梯度。
如上所述,在本实施例的装置中,在对输入DVC数据解码和将该数据编码成MPEG数据的过程中,在编码处理前提供一个区域分隔部分508,由此根据宏块的移动程度进行分类。在移动检测中,仅利用DCT系数中的特定频率分量,形成y-方向上没有频率分量的图象和在x-方向上没有频率分量的图象。然后,从图象在空间和时间轴方向上的梯度,计算移动矢量在最大图象梯度方向上的分量。通过图案匹配,也能从一维有限搜索区获得宏块的移动矢量。利用如此获得的移动矢量的大小对宏块分类。
用这样的方法,由于区域分隔部分508先在高速下对每个宏块进行分类以及编码处理部分514根据分类结果仅对所需宏块进行更高精确度的移动矢量检测,因此,能够减少处理量。试图用本实施例的装置降低运动图象格式转换的编码时间以及运用软件完成运动图象格式转换。
(实施例3)
图9示出本发明的实施例3,示出了根据移动检测装置的输出使移动矢量搜索区变窄,在高速下进行移动矢量检测的运动图象转换装置的构成。
为了描述本实施例的装置,首先概述移动矢量的检测方法。编码处理部分925中的移动矢量检测部分924获得宏块的移动,参考前一帧将其标记为移动被检测。更具体地说,移动矢量检测部分924的特征在于,它根据区域分隔部分911的输出限制移动矢量搜索范围,由此进行移动矢量检测。
接着,将进一步描述实施例3的装置的构成。从外界捕获图象的输入装置901、储存图象的帧存储器902以及块读出装置903相互连接起来。仅提取图象中直流分量的分量提取装置904;两个储存所提取信息的低分辨率帧存储器905a、905b;利用低分辨率帧存储器905a、905b中信息检测移动的移动检测装置906;区域分隔部分911,它包括根据移动检测装置906的输出给宏块加标记的宏块分类装置907、根据移动检测装置906的结果恢复检测其移动的宏块的移动矢量的移动矢量恢复装置909、标记存储装置908和把读出请求发送给块读出装置903并控制区域分隔部分911中诸元件的区域分隔部分控制装置910;解码装置912;编码处理部分925,它包括DCT装置914、量化装置915、可变长度编码装置916、逆量化装置917、逆DCT装置918、帧存储器921、图象差分器913、图象加法器920、移动矢量检测部分924和移动信息编码装置922;以及输出装置926相互连接起来。搜索区改变装置923位于移动矢量检测部分924中。
以下将介绍实施例3的运动图象转换装置的工作。尽管基本工作流程与图2表明实施例1装置工作的流程图是相同的,但是,实施例3与实施例1之间的不同之处在于:移动矢量恢复装置909接收宏块分类装置907输出的数据包,把粗移动矢量恢复成移动矢量,然后把数据包传送到标记存储装置908。区域分隔部分911中的移动检测装置906检测低分辨率搜索区中宏块的粗移动矢量。然后,宏块分类装置907根据已检测的粗移动矢量对宏块分类。在实施例1的运动图象转换装置中,由编码处理部分111中的移动矢量检测部分从-方向搜索标记为移动已被检测的宏块的移动矢量。另一方面,实施例3的装置的特征在于:根据区域分隔部分911中移动检测装置906获得的粗移动矢量,对搜索区有所限制,由此进行搜索。参照图10所示的流程图,对通过使移动矢量搜索区变窄在高速下检测移动矢量的过程进行描述。在附图中步骤缩写成St。
步骤301:移动矢量恢复装置909从宏块分类装置907输入的数据包中读出标记。
步骤302:如果该标记表示移动小或移动大,那么,数据包不改变而被传送到标记存储装置908(步骤305)。如果读出的标记表示移动已被检测,
步骤303:从数据包中读出附加的移动信息(粗移动矢量),
步骤304:恢复在低分辨率搜索区中所获得的粗移动矢量,从而使其具有原始分辨率,由此更新数据包中的移动信息。
步骤305:移动矢量恢复装置909把数据包传送到标记存储装置908。
步骤306:当解码装置912从块读出装置903接收第m个宏块时,它从标记存储装置908中的队列中提取头一个数据包。在实施例1装置中,在用标记进行解码处理后(步骤113),
步骤307:如果标记表示移动小或移动大,那么,把第m个宏块和标记发送到编码部分925。如果标记表示移动已被检测,
步骤308:从数据包中提取移动矢量,然后把第m个宏块和标记发送到编码处理部分925。
步骤309:移动矢量检测部分924中的搜索区改变装置923确定新的搜索区,以使新的搜索区比原搜索区更小并被包含在已接收移动矢量附近的原搜索区内。
步骤310:移动矢量检测部分924从新确定的搜索区中获得移动矢量。
如上所述,在本实施例的装置中,在对输入DVC数据进行解码和将该数据编码成MPEG数据的过程中,在编码处理之前,提供区域分隔部分911,由此根据宏块的移动的程度进行分类。由于编码处理部分925根据分类结果仅对所需的宏块进行移动矢量检测,因此,能够减少处理量。在移动矢量检测中,由于移动矢量检测部分924使搜索区变窄并根据区域分隔部分911中移动检测装置906获得的粗移动矢量进行搜索,因此,能够在高速下获得移动矢量。与实施例1的运动图象转换装置相比,本实施例的装置试图进一步缩短编码时间以及用软件实现运动图象格式转换。
接着,作为一个具体例子,考虑把如图11(a)所示的运动图象图象输入到本实施例的装置中。在图11(a)中,·一个特定宏块的搜索区包括一个块A,其大小与这样一个宏块相等,即宏块中的所有象素值之和与块A中所有象素值之和相等;和一个块B,其大小与这样一个宏块相等,即块B中的每个象素值比宏块中的每个象素值小1。在搜索区中,块A和B是相互分离开来的。宏块和块A和B包括四个块,每个块具有相同图案。图11(b)示出1/4宏块、1/4块A和1/4块B。在1/4宏块中,从左上角象素到右下角象素,象素值依次为1至127,从而可以作出一个公差为2的等差级数。在1/4块A中,所有象素的象素值都为64。在1/4块B中,象素值比宏块中的象素值小1,即从左上角象素到右下角象素,象素值依次为0至126,从而可以作出一个公差为2的等差级数。
当把这样的运动图象图象输入到本实施例的装置中时,分量提取装置对宏块和块A中具有完全相同值的直流分量进行取样。块B中的直流分量小于分量提取装置904所提取的直流分量。因此,移动检测装置906检测指向块A位置的粗移动矢量。结果,移动矢量检测部分924输出靠近被检测粗移动矢量的移动矢量,或者不能检测移动矢量以及输出表示缺少移动矢量的信息。
作为实施例3运动图象转换装置的第一种改型,用实施例2的运动图象转换装置中的区域分隔部分508代替这里的区域分隔部分911。利用区域分隔部分508中移动矢量检测装置504输出的移动矢量,由编码处理部分925中移动矢量检测部分924使移动矢量搜索区变窄,由此,能够在高速下进行移动矢量检测。
接着,作为一个具体例子,考虑这样一种情况,即把如图12所示的运动图象1201编码成DVC数据,然后把DVC数据输入到第一种改型装置中。在运动图象1201中,宏块是由四个块A组成的,而大小等于由四个块B组成的宏块的块与该宏块由前一帧几个象素分开。在块A中,第0列块的所有象素值为100,第1列的所有象素值为90。以这种方式,随着列数的增大,象素值减小到10。这里,块的列是这样设定的,块中最左边的象素定义为第0列,其右侧的下一象素定义为第1列。即随着象素位置向右移动,列数依次加1。块的行是这样定义的,块中最上方的象素定义为第0行,次最上行定义为第1行。即随着象素位置向下移动,行数依次加1。在块B中,在块的第0、2、4和6行中,其象素具有相同值。一行中的值,块B的值是块A的值的两倍。即以这种方式,第0和1列中值分别为200和180,随着列数的增大,其值减少到20。在块的第1、3、5、和7行中,象素值为0。
对块A和B进行DCT,用块的第0行中象素值为1、其它行中象素值为0的掩膜掩盖块A和B,由此,进行逆DCT。这一结果示于图12的右侧。尽管二者的数据在被处理前在数据的图案匹配上相互很少相关,但是,在由本改型装置进行处理后,二者的数据是相同的。本改型装置中的移动矢量检测装置504在确定x-轴方向上的图象速度期间采用图12右侧所示的数据。由于二者的数据在x-轴方向上具有相同梯度,作为在移动矢量最大图象梯度方向上分量的x分量,移动矢量检测装置504输出相同位置的值,作为宏块与由四个块B组成的块之间在x-轴上位置中的差。
对于在移动矢量最大图象梯度方向上分量的y分量的情况,由于I_y为0,输出不确定的信号。然而,由于移动矢量的大小等于或大于作为在移动矢量在最大图象梯度方向上分量的x分量输出的值,把这个宏块标记标记为移动被检测。
作为实施例3运动图象转换装置的第二种改型,从编码处理部分925中除去移动矢量检测部分924,也能够利用区域分隔部分508中移动矢量检测装置504检测的未发生变化的移动矢量。在这种情况下,取消了编码处理部分925中移动矢量检测有关的负载,减少了处理量。
接着,作为一个具体例子,考虑把如图13所示的运动图象图象1302输入到本改型装置中。在DVC数据1301每个块中,假设把左上角的块定义为原点,把向右的方向定义为x-轴的正方向,把向下的方向定义为y-轴的正方向,用x-轴上和y-轴上的分量为1、其它分量为0的掩膜掩盖运动图象图象1302。当运动图象图象1302输入到本改型装置中时,移动矢量检测装置504输出与DVC数据输入到移动矢量检测装置504中时移动矢量相同的移动矢量。因此,移动矢量检测部分924能够采用装置504输出的未发生变化的移动矢量作为移动矢量,不用确定另外的移动矢量。
正如从以上描述中所能看到的,在本改型装置中,在对输入DVC数据解码和把数据编码成MPEG数据的过程中,在编码处理前提供区域分隔部分911,由此,根据宏块的移动程度进行分类。由于编码处理部分925根据分类结果仅对所需的宏块进行移动矢量检测,因此,能够减少处理量。在移动矢量检测中,移动矢量检测部分924使搜索区变窄并根据区域分隔部分508中移动矢量检测装置504获得的移动矢量来搜索移动矢量,因此,移动矢量检测部分924不用确定移动矢量,而是利用区域分隔部508中移动矢量检测装置504获得的未发生变化的移动矢量作为移动矢量,由此,能够在高速下获得移动矢量。与实施例2的运动图象转换装置相比,本实施例的装置试图进一步缩短编码时间以及用软件实现运动图象格式转换。
如上所述,在图象压缩处理前,用本发明的区域分隔部分对宏块进行分类,根据这一分类结果改变编码处理,由此,能够减少移动矢量检测的工作量,以及能够提高图象压缩处理的速度。
只要不偏离权利要求中所限定的本发明,可以对上述的实施例作各种改进和变化。
Claims (8)
1.一种运动图象转换装置,其特征在于包括:
输入装置,输入由宏块构成的数字图象信号,宏块是块的集合,每个块进行正交变换;
帧存储器,储存所述的数字图象信号;
块读出装置,根据请求从所述的帧存储器中读出所述的块或所述的宏块;
区域分割部分,包括:
区域分隔部分控制装置,将读出请求发送给所述的块读出装置;
分量提取装置,从对应于由多个宏块形成的帧的被捕获图象中仅提取直流分量;
两个低分辨率帧存储器,储存从所述分量提取装置所提取的信息;
移动检测装置,利用从所述两个低分辨率帧存储器所提取的信息检测移动;
宏块分类装置,由所述的移动检测装置根据移动检测结果给所述的宏块加标记;
标记存储装置,储存所述宏块的标记;
解码装置,响应于所述块读出装置的输出信号,对所述输出信号解码;
编码处理部分,以宏块为单元响应于所述解码装置的输出信号,根据所述标记存储装置中的标记改变所述宏块的编码处理;
输出装置,向外输出经过编码的信号。
2.如权利要求1所述的运动图象转换装置,其特征在于:当所述标记存储装置输出表明所述宏块移动小的标记时,所述编码处理部分选择一个小的移动矢量搜索区,从而可以进行移动矢量的检测。
3.如权利要求1所述的运动图象转换装置,其特征在于:所述的区域分隔部分进一步包括分辨率转换装置,响应于所述两个低分辨率存储器中一个存储器的输出信号,通过插入一幅输入图象转换分辨率,所述分辨率转换装置的输出信号馈送到所述移动检测装置。
4.如权利要求1所述的运动图象转换装置,其特征在于:所述的分量提取装置对被捕获图象的直流分量和低频分量进行取样;以及
所述的区域分隔部分包括逆DCT装置,对所述分量提取装置提取的低频分量进行逆DCT。
5.一种运动图象转换装置,其特征在于包括:
输入装置,输入由宏块构成的数字图象信号,宏块是块的集合,每个块进行正交变换;
帧存储器,储存所述的数字图象信号;
块读出装置,根据请求从所述的帧存储器中读出所述的块或所述的宏块;
区域分隔部分,包括:
区域分隔部分控制装置,将读出请求发送给所述的块读出装置;
分量提取装置,从对应于由多个宏块形成的帧的被捕获图象中仅提取被正交基所分辨的特定分量;
逆正交变换装置,对从所述分量提取装置所提取的信息进行逆正交变换;
两个帧存储器,储存所述逆正交变换装置所获取的信息;
移动矢量检测装置,根据所述逆正交变换装置所获取并存储在所述两个帧存储器中的信息检测移动;
宏块分类装置,根据从所述移动矢量检测装置输出的移动矢量的大小给所述的宏块加标记;
标记存储装置,储存所述宏块的标记;
解码装置,响应于所述块读出装置的输出信号,对所述输出信号解码;
编码处理部分,以宏块为单元响应于所述解码装置的输出信号,根据所述标记存储装置中的标记改变所述宏块的编码处理;
输出装置,向外输出经过编码的信号。
6.一种运动图象转换装置,其特征在于包括:
输入装置,输入由宏块构成的数字图象信号,宏块是块的集合,对每个块进行正交变换;
帧存储器,储存所述的数字图象信号;
块读出装置,根据请求从所述的帧存储器中读出所述的块或所述的宏块;
区域分隔部分,包括:
区域分隔部分控制装置,将读出请求发送给所述的块读出装置;
分量提取装置,从对应于由多个宏块形成的帧的被捕获图象中仅提取直流分量;
两个低分辨率帧存储器,储存从所述分量提取装置所提取的信息;
移动检测装置,利用从所述两个低分辨率帧存储器所提取的信息检测移动;
宏块分类装置,根据所述移动检测装置的输出给所述的宏块加标记;
移动矢量恢复装置,根据所述移动检测装置的结果恢复检测到移动的宏块的移动矢量;及
标记存储装置,储存所述宏块的标记;
解码装置,响应于所述块读出装置的输出信号,对所述输出信号解码;
以宏块为单元响应于所述解码装置的输出信号的编码处理部分,所述编码处理部分包括:
DCT装置,响应于所述解码装置的图象或者从图象差分器馈送的差分图象,输出DCT系数;
量化装置,响应于所述DCT装置的DCT系数,输出量化的DCT系数;
可变长度编码装置,响应于所述量化装置的所述量化DCT系数,输出可变长度代码;
逆量化装置,响应于所述量化装置的所述量化DCT系数,输出逆量化DCT系数;
逆DCT装置,响应于所述逆量化装置的逆量化DCT系数,输出通过逆DCT处理的图象;
图象加法器,根据所述逆DCT装置的通过逆DCT处理的所述图象以及帧存储器的图象,输出相加后的图象,
帧存储器装置,存储来自所述图象加法器的所述相加图象;
移动矢量检测部分,搜索区变化装置位于其中,根据所述帧存储器装置的所述相加图象和所述解码装置的图象,输出在所述搜索区变化装置的搜索区控制下通过移动矢量搜索操作的移动矢量;
图象差分器;按照所述移动矢量检测部分的所述移动矢量,输出所述帧存储器的所述相加图象与所述解码装置的所述图象之间的差分图象;及
移动信息编码装置,响应于所述移动矢量检测部分的所述移动矢量,输出移动信息代码;以及
输出装置,向外输出经过编码的信号;
其特征在于:根据所述区域分隔部分中所述移动检测装置的移动检测结果,所述编码处理部分中的所述移动矢量检测部分确定一个移动矢量搜索区,由此进行移动矢量检测。
7.一种运动图象转换装置,其特征在于包括:
输入装置,输入由宏块构成的数字图象信号,宏块是块的集合,对每个块进行正交变换;
帧存储器,储存所述的数字图象信号;
块读出装置,根据请求从所述的帧存储器中读出所述的块或所述的宏块;
区域分隔部分,包括:
区域分隔部分控制装置,将读出请求发送给所述的块读出装置;
分量提取装置,从对应于由多个宏块形成的帧的被捕获图象中仅提取被正交基所分辨的特定分量;
逆正交变换装置,对从所述分量提取装置所提取的信息进行逆正交变换;
两个帧存储器,储存所述逆正交变换装置所获取的信息;
移动矢量检测装置,根据所述逆正交变换装置所获取并存储在所述两个帧存储器中的信息检测移动;
宏块分类装置,根据所述移动检测装置输出的移动矢量的大小给所述的宏块加标记;及
标记存储装置,储存所述宏块的标记;
解码装置,响应于所述块读出装置的输出信号,对所述输出信号解码;
编码处理部分,以宏块为单元响应于所述解码装置的输出信号,根据所述标记存储装置内的标记改变所述宏块的编码;以及
输出装置,向外输出经过编码的信号;
其中:利用所述区域分隔部分中所述移动矢量检测装置检测到的移动矢量,所述编码处理部分中的所述移动矢量检测部分确定该移动矢量搜索区,由此进行移动矢量检测。
8.如权利要求7所述的运动图象转换装置,其特征在于:从所述编码处理部分中取消所述编码处理部分中的所述移动矢量检测部分,这里,所述编码处理部分根本不检测移动矢量,而是采用所述区域分隔部分中所述移动矢量检测装置检测的移动矢量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP60210/97 | 1997-02-28 | ||
JP6021097 | 1997-02-28 | ||
JP60210/1997 | 1997-02-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1192101A CN1192101A (zh) | 1998-09-02 |
CN1125570C true CN1125570C (zh) | 2003-10-22 |
Family
ID=13135573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN98106061.7A Expired - Fee Related CN1125570C (zh) | 1997-02-28 | 1998-03-02 | 运动图象转换装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US6192078B1 (zh) |
EP (1) | EP0862332B1 (zh) |
CN (1) | CN1125570C (zh) |
AU (1) | AU719060B2 (zh) |
CA (1) | CA2228361C (zh) |
DE (1) | DE69814212T2 (zh) |
MY (1) | MY129589A (zh) |
SG (1) | SG65739A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998041026A1 (en) * | 1997-03-12 | 1998-09-17 | Matsushita Electric Industrial Co., Ltd. | Encoding method, encoder and recording medium, and decoding method, decoder and recording medium |
US6647131B1 (en) | 1999-08-27 | 2003-11-11 | Intel Corporation | Motion detection using normal optical flow |
US6463445B1 (en) * | 1999-08-27 | 2002-10-08 | Sony Electronics Inc. | Multimedia information retrieval system and method including format conversion system and method |
JP2001094989A (ja) * | 1999-09-20 | 2001-04-06 | Toshiba Corp | 動画像送信装置及び動画像通信装置 |
US6795578B1 (en) * | 1999-09-29 | 2004-09-21 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
US6654483B1 (en) * | 1999-12-22 | 2003-11-25 | Intel Corporation | Motion detection using normal optical flow |
US6687388B2 (en) * | 2000-01-28 | 2004-02-03 | Sony Corporation | Picture processing apparatus |
JP2001346216A (ja) * | 2000-06-06 | 2001-12-14 | Toshiba Corp | 動画像圧縮方法および情報処理装置 |
US6765963B2 (en) * | 2001-01-03 | 2004-07-20 | Nokia Corporation | Video decoder architecture and method for using same |
US20020122491A1 (en) | 2001-01-03 | 2002-09-05 | Marta Karczewicz | Video decoder architecture and method for using same |
US7693220B2 (en) * | 2002-01-03 | 2010-04-06 | Nokia Corporation | Transmission of video information |
US20030206590A1 (en) * | 2002-05-06 | 2003-11-06 | Koninklijke Philips Electronics N.V. | MPEG transcoding system and method using motion information |
JP3934568B2 (ja) * | 2003-03-04 | 2007-06-20 | 松下電器産業株式会社 | 動画符号化方法および装置 |
JP4710607B2 (ja) * | 2003-07-14 | 2011-06-29 | ソニー株式会社 | 暗号装置、暗号方法および暗号プログラム、復号装置、復号方法および復号プログラム、ならびに、記録媒体 |
ATE374501T1 (de) * | 2004-03-02 | 2007-10-15 | Seiko Epson Corp | Erzeugung einer bilddatei mit zusätzlichen informationen zur weiterverarbeitung aus einer zeitfolge von quellbilddaten |
US8775452B2 (en) | 2006-09-17 | 2014-07-08 | Nokia Corporation | Method, apparatus and computer program product for providing standard real world to virtual world links |
US20080267504A1 (en) * | 2007-04-24 | 2008-10-30 | Nokia Corporation | Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search |
US20080267521A1 (en) * | 2007-04-24 | 2008-10-30 | Nokia Corporation | Motion and image quality monitor |
US20080268876A1 (en) * | 2007-04-24 | 2008-10-30 | Natasha Gelfand | Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities |
US8238676B2 (en) * | 2007-12-14 | 2012-08-07 | Yamaha Corporation | Image data compressor and image data decompressor |
CN101854541B (zh) * | 2009-04-03 | 2012-04-18 | 广达电脑股份有限公司 | 视频压缩电路及其方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04181888A (ja) * | 1990-11-16 | 1992-06-29 | Seiko Epson Corp | 動画像データ圧縮装置 |
CA2115976C (en) * | 1993-02-23 | 2002-08-06 | Saiprasad V. Naimpally | Digital high definition television video recorder with trick-play features |
KR970009302B1 (en) | 1993-08-17 | 1997-06-10 | Lg Electronics Inc | Block effect reducing apparatus for hdtv |
DE4416967A1 (de) * | 1994-05-13 | 1995-11-16 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten |
US6005623A (en) * | 1994-06-08 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Image conversion apparatus for transforming compressed image data of different resolutions wherein side information is scaled |
JP3336754B2 (ja) * | 1994-08-19 | 2002-10-21 | ソニー株式会社 | デジタルビデオ信号の記録方法及び記録装置 |
JPH08149482A (ja) * | 1994-11-18 | 1996-06-07 | Victor Co Of Japan Ltd | 動きベクトル検出回路 |
US5731850A (en) * | 1995-06-07 | 1998-03-24 | Maturi; Gregory V. | Hybrid hierarchial/full-search MPEG encoder motion estimation |
JPH0998422A (ja) * | 1995-09-29 | 1997-04-08 | Aiwa Co Ltd | 動き検出方法およびそれを使用したデータ伝送装置 |
US5883678A (en) * | 1995-09-29 | 1999-03-16 | Kabushiki Kaisha Toshiba | Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio |
US5819035A (en) * | 1995-10-20 | 1998-10-06 | Matsushita Electric Industrial Co., Ltd. | Post-filter for removing ringing artifacts of DCT coding |
US5870146A (en) * | 1997-01-21 | 1999-02-09 | Multilink, Incorporated | Device and method for digital video transcoding |
JP3901287B2 (ja) * | 1997-02-27 | 2007-04-04 | 松下電器産業株式会社 | 映像信号変換装置、映像信号変換方法及び映像提供システム |
US5987179A (en) * | 1997-09-05 | 1999-11-16 | Eastman Kodak Company | Method and apparatus for encoding high-fidelity still images in MPEG bitstreams |
US6014181A (en) * | 1997-10-13 | 2000-01-11 | Sharp Laboratories Of America, Inc. | Adaptive step-size motion estimation based on statistical sum of absolute differences |
-
1998
- 1998-02-27 MY MYPI98000873A patent/MY129589A/en unknown
- 1998-02-27 CA CA002228361A patent/CA2228361C/en not_active Expired - Fee Related
- 1998-02-27 AU AU56370/98A patent/AU719060B2/en not_active Ceased
- 1998-02-27 DE DE69814212T patent/DE69814212T2/de not_active Expired - Fee Related
- 1998-02-27 EP EP98103472A patent/EP0862332B1/en not_active Expired - Lifetime
- 1998-02-28 SG SG1998000460A patent/SG65739A1/en unknown
- 1998-03-02 CN CN98106061.7A patent/CN1125570C/zh not_active Expired - Fee Related
- 1998-03-02 US US09/033,087 patent/US6192078B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1192101A (zh) | 1998-09-02 |
US6192078B1 (en) | 2001-02-20 |
CA2228361C (en) | 2002-01-29 |
EP0862332A2 (en) | 1998-09-02 |
EP0862332B1 (en) | 2003-05-07 |
CA2228361A1 (en) | 1998-08-28 |
AU719060B2 (en) | 2000-05-04 |
SG65739A1 (en) | 1999-06-22 |
AU5637098A (en) | 1998-09-03 |
EP0862332A3 (en) | 1998-09-09 |
MY129589A (en) | 2007-04-30 |
DE69814212D1 (de) | 2003-06-12 |
DE69814212T2 (de) | 2004-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1125570C (zh) | 运动图象转换装置 | |
US6058210A (en) | Using encoding cost data for segmentation of compressed image sequences | |
CN1171460C (zh) | 用于隔行数字视频信号的视频目标平面的运动估算和补偿 | |
CN1087557C (zh) | 图象信号的高效编码 | |
EP1135934B1 (en) | Efficient macroblock header coding for video compression | |
CN1214647C (zh) | 图像编码方法和图像编码器 | |
CN1265321C (zh) | 检测视频数据流中卡通的方法和系统 | |
CN100338956C (zh) | 产生压缩的代码转换提示元数据的方法和设备 | |
CN103718554B (zh) | 用于视频译码的变换系数的译码 | |
CN104396247B (zh) | 用于视频译码的基于lcu的自适应环路滤波的方法和装置 | |
CN1643912A (zh) | 用于在视频序列中对运动进行编码的方法 | |
CN1212562A (zh) | 图像预测解码方法、解码装置、编码装置及数据存储媒体 | |
CN101035277A (zh) | 产生压缩的代码转换提示元数据的方法和设备 | |
CN1234941A (zh) | 图像信号复用装置和方法、分解装置和方法及传输媒体 | |
CN1149850C (zh) | 对移动图象进行编码的方法和装置 | |
CN1886759A (zh) | 对视频信号中的局部视觉时空细节的检测 | |
US20050175100A1 (en) | Data processing device and method of same, and encoding device and decoding device | |
CN100471220C (zh) | 在小尺寸显示器上显现大静止画面的方法 | |
CN1311690C (zh) | 图像信号处理装置及图像信号处理方法 | |
JP2002064823A (ja) | 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体 | |
EP0944265A2 (en) | Movement vector generating apparatus and method, and image encoding apparatus and method | |
JP3251900B2 (ja) | 動画変換装置 | |
CN1128098A (zh) | 图象数据编码 | |
JP2010062881A (ja) | 画像符号化方法及び画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |