CN101360236B - 一种Wyner-ziv视频编解码方法 - Google Patents
一种Wyner-ziv视频编解码方法 Download PDFInfo
- Publication number
- CN101360236B CN101360236B CN 200810063342 CN200810063342A CN101360236B CN 101360236 B CN101360236 B CN 101360236B CN 200810063342 CN200810063342 CN 200810063342 CN 200810063342 A CN200810063342 A CN 200810063342A CN 101360236 B CN101360236 B CN 101360236B
- Authority
- CN
- China
- Prior art keywords
- new images
- image
- pixel
- frame
- odd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种Wyner-ziv视频编码方法，利用时间轴上的图像重组方法对时域上相邻的前后两帧图像进行重组，使得重组后的关键帧图像和Wyner-ziv帧图像各自包含原输入视频信号时域上相邻的前后两帧图像的部分信息，提高了重组后的关键帧图像与Wyner-ziv帧图像之间的相关性，使得解码端能利用已有的关键帧图像的数据插值得到质量较高的Wyner-ziv帧图像的边信息，提高Wyner-ziv帧图像编码压缩性能，从而达到提高Wyner-ziv视频编解码的率失真性能的目的；此外，本发明方法虽然在解码端增加了图像重组、反重组和图像插值等处理，但免去了计算量极大的运动估计插值，因此相对于原有的Wyner-ziv编解码器其编解码复杂度增加极为有限。
Description
技术领域
本发明涉及一种视频编解码技术，尤其是涉及一种Wyner-ziv视频编解码方法。
背景技术
Wyner-ziv视频编解码技术是近年来国际上提出的一种新兴视频编解码方式，它能满足一些无线终端设备低编码复杂度、低功耗的视频编码压缩要求，因此有着较为广泛的应用前景。然而压缩效率低下、重建图像质量不高是当前Wyner-ziv视频编解码技术所面临的问题。其主要原因在于：与传统视频编码方法在编码端进行运动估计有所不同，Wyner-ziv视频编码方法在解码端实施运动估计，由于解码端的运动估计中不可能得到当前帧的原始帧，因而运动估计的准确性将受到影响，使得其后的仅仅通过运动估计插值(MEI，Motion Estimation Interpolation)技术插值出的Wyner-ziv帧的边信息与原始Wyner-ziv帧相差较大，解码端不得不请求编码端发送大量的校验比特，从而造成Wyner-ziv视频编解码方法的率失真性能不佳。
发明内容
本发明所要解决的技术问题是提供一种Wyner-ziv视频编解码方法，其通过利用时间轴上的图像重组方法，提高重组后的关键帧图像与Wyner-ziv帧图像之间的相关性，使解码端能利用已有的关键帧图像的数据插值得到质量较高的Wyner-ziv帧图像的边信息。
本发明解决上述技术问题所采用的技术方案为：一种Wyner-ziv视频编解码方法，它包括以下步骤：
a.在编码端，将时域上相邻的前后两帧图像分别定义为前一时刻图像和后一时刻图像，前一时刻图像记为Ft-1，后一时刻图像记为Ft；将Ft-1根据其自身的各个像素的位置信息分解成Ft-1 1和Ft-1 2两部分，将Ft根据其自身的各个像素的位置信息分解成Ft 1和Ft 2两部分，再根据图像重组方法将Ft-1 1和Ft 1、Ft-1 2和Ft 2分别重组为两帧新图像，将Ft-1 1和Ft 1重组得到的新图像记为In-1，将Ft-1 2和Ft 2重组得到的新图像记为In；定义In-1为关键帧图像及In为Wyner-ziv帧图像，将关键帧图像In-1和Wyner-ziv帧图像In分别送入Wyner-ziv编码器，对关键帧图像In-1进行帧内编码，对Wyner-ziv帧图像In进行Wyner-ziv帧编码，将Wyner-ziv帧图像In编码后得到的校验比特缓存在编码端以供解码端请求时发送给解码端；将编码后的关键帧图像In-1通过网络传输给解码端；
b.在解码端，将接收到的编码后的关键帧图像In-1通过Wyner-ziv解码器解码得到关键帧图像In-1的解码重建图像
然后对
进行低通滤波得到滤波后的重建图像再根据编码端所采用的图像重组方法对进行反重组分离得到包含在前一时刻图像Ft-1中的和包含在后一时刻图像Ft中的
采用公知的图像自适应插值方法对
和
分别进行自适应插值得到与前一时刻图像Ft-1和后一时刻图像Ft的分辨率相同的F′t-1和F′t；再根据编码端所采用的图像重组方法将F′t-1分解成F′t-1 1和F′t-1 2两部分，将F′t分解成F′t 1和F′t 2两部分，将F′t-1 2和F′t 2重组为I′n，定义I′n为Wyner-ziv帧图像In的边信息；利用关键帧图像In-1的解码重建图像
边信息I′n以及解码端向编码端请求发送的校验比特通过Wyner-ziv解码器解码得到Wyner-ziv帧图像In的解码重建图像
根据编码端所采用的图像重组方法对关键帧图像In-1的解码重建图像
和Wyner-ziv帧图像In的解码重建图像
进行反重组分离得到前一时刻图像Ft-1的解码重建图像
和后一时刻图像Ft的解码重建图像
所述的图像重组方法采用行图像重组模式、列图像重组模式、行交织图像重组模式、列交织图像重组模式、像素交织图像重组模式中的任一种模式。
所述的行图像重组模式为以下两类方式中的一种：1)取前一时刻图像Ft-1和后一时刻图像Ft的奇数行像素组成一帧新图像，取Ft-1和Ft的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的上半帧，则取自Ft帧的数据占据该新图像的下半帧，若取自Ft-1帧的数据占据该新图像的下半帧，则取自Ft帧的数据占据该新图像的上半帧；2)取前一时刻图像Ft-1的奇数行像素和后一时刻图像Ft的偶数行像素组成一帧新图像，取Ft的奇数行像素和Ft-1的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的上半帧，则取自Ft帧的数据占据该新图像的下半帧，若取自Ft-1帧的数据占据该新图像的下半帧，则取自Ft帧的数据占据该新图像的上半帧。
所述的列图像重组模式为以下两类方式中的一种：1)取前一时刻图像Ft-1和后一时刻图像Ft的奇数列像素组成一帧新图像，取Ft-1和Ft的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的左半帧，则取自Ft帧的数据占据该新图像的右半帧，若取自Ft-1帧的数据占据该新图像的右半帧，则取自Ft帧的数据占据该新图像的左半帧；2)取前一时刻图像Ft-1的奇数列像素和后一时刻图像Ft的偶数列像素组成一帧新图像，取Ft的奇数列像素和Ft-1的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的左半帧，则取自Ft帧的数据占据该新图像的右半帧，若取自Ft-1帧的数据占据该新图像的右半帧，则取自Ft帧的数据占据该新图像的左半帧。
所述的行交织图像重组模式为：取前一时刻图像Ft-1和后一时刻图像Ft的奇数行像素，并以行交替存放方式组成新图像In-1，取Ft-1和Ft的偶数行像素，并以行交替存放方式组成新图像In；或者，取Ft-1和Ft的偶数行像素，并以行交替存放方式组成新图像In-1，取Ft-1和Ft的奇数行像素，并以行交替存放方式组成新图像In；或者，取Ft-1的奇数行像素和Ft的偶数行像素，并以行交替存放方式组成新图像In-1，取Ft的奇数行像素和Ft-1的偶数行像素，并以行交替存放方式组成新图像In；或者，取Ft的奇数行像素和Ft-1的偶数行像素，并以行交替存放方式组成新图像In-1，取Ft-1的奇数行像素和Ft的偶数行像素，并以行交替存放方式组成新图像In。
所述的列交织图像重组模式为：取前一时刻图像Ft-1和后一时刻图像Ft的奇数列像素，并以列交替存放方式组成新图像In-1，取Ft-1和Ft的偶数列像素，并以列交替存放方式组成新图像In；或者，取Ft-1和Ft的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft-1和Ft的奇数列像素，并以列交替存放方式组成新图像In；或者，取Ft-1的奇数列像素和Ft的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft的奇数列像素和Ft-1的偶数列像素，并以列交替存放方式组成新图像In；或者，取Ft的奇数列像素和Ft-1的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft-1的奇数列像素和Ft的偶数列像素，并以列交替存放方式组成新图像In。
所述的像素交织图像重组模式为：取前一时刻图像Ft-1的奇数行中的奇数列像素和偶数行中的偶数列像素及取后一时刻图像Ft的奇数行中的偶数列像素和偶数行中的奇数列像素组成新图像In-1，取Ft-1的奇数行中的偶数列像素和偶数行中的奇数列像素及取Ft的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像In；或者，取Ft-1的奇数行中的偶数列像素和偶数行中的奇数列像素及取Ft的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像In-1，取Ft-1的奇数行中的奇数列像素和偶数行中的偶数列像素及取Ft的奇数行中的偶数列像素和偶数行中的奇数列像素组成新图像In。
所述的步骤b中的自适应插值方法为：采用公知的边缘检测方法对待插值图像进行边缘检测得到边缘方向；定义当前正在处理的待插值图像中的像素为当前像素，当当前像素属于待插值图像的边缘区域时，按照边缘方向对该当前像素进行线性插值；当当前像素属于待插值图像的非边缘区域时，直接对该当前像素进行双线性插值或立方插值。
与现有技术相比，本发明的优点在于利用时间轴上的图像重组方法对时域上相邻的前后两帧图像进行重组，使得重组后的关键帧图像和Wyner-Ziv帧图像各自包含原输入视频信号时域上相邻的前后两帧图像的部分信息，提高了重组后的关键帧图像与Wyner-ziv帧图像之间的相关性，使得解码端能利用已有的关键帧图像的数据插值得到质量较高的Wyner-ziv帧图像的边信息，提高Wyner-Ziv帧图像编码压缩性能，从而达到提高Wyner-ziv视频编解码的率失真性能的目的；此外，本发明方法虽然在解码端增加了图像重组、反重组和图像插值等处理，但免去了计算量极大的运动估计插值，因此相对于原有的Wyner-ziv编解码器其编解码复杂度增加极为有限。
附图说明
图1为本发明方法的流程框图；
图2a为前一时刻图像Ft-1的示意图；
图2b为后一时刻图像Ft的示意图；
图3a为采用其中一种行图像重组模式重组得到的关键帧图像In-1的示意图；
图3b为采用其中一种行图像重组模式重组得到的Wyner-ziv帧图像In的示意图；
图4a为采用另一种行图像重组模式重组得到的关键帧图像In-1的示意图；
图4b为采用另一种行图像重组模式重组得到的Wyner-ziv帧图像In的示意图；
图5a为采用其中一种行交织图像重组模式重组得到的关键帧图像In-1的示意图；
图5b为采用其中一种行交织图像重组模式重组得到的Wyner-ziv帧图像In的示意图；
图6a为采用另一种行交织图像重组模式重组得到的关键帧图像In-1的示意图；
图6b为采用另一种行交织图像重组模式重组得到的Wyner-ziv帧图像In的示意图；
图7a为采用像素交织图像重组模式重组得到的关键帧图像In-1的示意图；
图7b为采用像素交织图像重组模式重组得到的Wyner-ziv帧图像In的示意图；
图8a为QCIF格式的测试序列“Foreman”在前一时刻的帧图像；
图8b为QCIF格式的测试序列“Foreman”在后一时刻的帧图像；
图8c为对图8a和图8b所示的时域上相邻的前后两帧图像采用行图像重组模式得到的新图像；
图8d为对图8a和图8b所示的时域上相邻的前后两帧图像采用行交织图像重组模式得到的新图像；
图8e为对图8a和图8b所示的时域上相邻的前后两帧图像采用列图像重组模式得到的新图像；
图8f为对图8a和图8b所示的时域上相邻的前后两帧图像采用列交织图像重组模式得到的新图像；
图9为图1所示的流程框图的具体框图；
图10为对QCIF格式的测试序列“Coastguard”分别采用本发明方法与传统的8×8块运动估计插值生成边信息的Wyner-ziv编码方法、H.264帧内编码方法以及H.264帧间编码方法进行编码的率失真性能的比较图；
图11为对QCIF格式的测试序列“Foreman”分别采用本发明方法与传统的8×8块运动估计插值生成边信息的Wyner-ziv编码方法、H.264帧内编码方法以及H.264帧间编码方法进行编码的率失真性能的比较图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
一种Wyner-ziv视频编解码方法，如图1所示，它包括以下步骤：
a.在编码端，首先，将时域上相邻的前后两帧图像分别定义为前一时刻图像和后一时刻图像，前一时刻图像记为Ft-1，后一时刻图像记为Ft；将前一时刻图像Ft-1根据其自身的各个像素的位置信息分解成Ft-1 1和Ft-1 2两部分，将后一时刻图像Ft根据其自身的各个像素的位置信息分解成Ft 1和Ft 2两部分，再根据图像重组方法将Ft-1 1和Ft 1、Ft-1 2和Ft 2分别重组为两帧新图像，将Ft-1 1和Ft 1重组得到的新图像记为In-1，将Ft-1 2和Ft 2重组得到的新图像记为In；然后，定义In-1为关键帧图像及In为Wyner-ziv帧图像，将关键帧图像In-1和Wyner-ziv帧图像In分别送入Wyner-ziv编码器进行编码，即对关键帧图像In-1进行帧内编码，对Wyner-ziv帧图像In进行Wyner-ziv帧编码；将Wyner-ziv帧图像In编码后得到的校验比特缓存在编码端以供解码端请求时发送给解码端；最后，将编码后的关键帧图像In-1通过网络传输给解码端。在此具体实施例中，对关键帧图像In-1进行帧内编码可以采用现有的任意帧内编码方法，如H.264帧内编码方法；对Wyner-ziv帧图像In进行Wyner-ziv帧编码也可以采用现有的任意Wyner-ziv帧编码方法。
这里，图像重组方法可以采用行图像重组模式、列图像重组模式、行交织图像重组模式、列交织图像重组模式、像素交织图像重组模式中的任一种模式。下面以图2a所示的前一时刻图像Ft-1和图2b所示的后一时刻图像Ft为例对图像重组方法采用的各种模式进行详细描述，前一时刻图像Ft-1和后一时刻图像Ft在时域上相邻。
行图像重组模式为以下两类方式中的一种：1)取前一时刻图像Ft-1和后一时刻图像Ft的奇数行像素组成一帧新图像，取Ft-1和Ft的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的上半帧，则取自Ft帧的数据占据该新图像的下半帧，若取自Ft-1帧的数据占据该新图像的下半帧，则取自Ft帧的数据占据该新图像的上半帧；2)取前一时刻图像Ft-1的奇数行像素和后一时刻图像Ft的偶数行像素组成一帧新图像，取Ft的奇数行像素和Ft-1的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的上半帧，则取自Ft帧的数据占据该新图像的下半帧，若取自Ft-1帧的数据占据该新图像的下半帧，则取自Ft帧的数据占据该新图像的上半帧。图3a和图3b分别为对图2a所示的Ft-1和图2b所示的Ft采用行图像重组模式重组后得到的新图像In-1和In的示意图，其中图3a所示的重组后的新图像In-1中上半部分为Ft-1中奇数行像素，下半部分为Ft中奇数行像素，图3b所示的重组后的新图像In中上半部分为Ft-1中偶数行像素，下半部分为Ft中偶数行像素。在行图像重组模式下，也可以如图4a和图4b所示，取Ft-1帧的奇数行像素和Ft帧的偶数行像素重组成In-1和In中的一帧，取Ft帧的奇数行像素和Ft-1帧的偶数行像素重组成In-1和In中的另一帧。
列图像重组模式与行图像重组模式相似，只不过以列为单位而不是以行为单位进行图像重组。列图像重组模式为以下两类方式中的一种：1)取前一时刻图像Ft-1和后一时刻图像Ft的奇数列像素组成一帧新图像，取Ft-1和Ft的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的左半帧，则取自Ft帧的数据占据该新图像的右半帧，若取自Ft-1帧的数据占据该新图像的右半帧，则取自Ft帧的数据占据该新图像的左半帧；2)取前一时刻图像Ft-1的奇数列像素和后一时刻图像Ft的偶数列像素组成一帧新图像，取Ft的奇数列像素和Ft-1的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的左半帧，则取自Ft帧的数据占据该新图像的右半帧，若取自Ft-1帧的数据占据该新图像的右半帧，则取自Ft帧的数据占据该新图像的左半帧。
行交织图像重组模式为：取前一时刻图像Ft-1和后一时刻图像Ft的奇数行像素，并以行交替存放方式组成新图像In-1，新图像In-1如图5a所示，取Ft-1和Ft的偶数行像素，并以行交替存放方式组成新图像In，新图像In如图5b所示；或者，取Ft-1和Ft的偶数行像素，并以行交替存放方式组成新图像In-1，取Ft-1和Ft的奇数行像素，并以行交替存放方式组成新图像In；或者，取Ft-1的奇数行像素和Ft的偶数行像素，并以行交替存放方式组成新图像In-1，新图像In-1如图6a所示，取Ft的奇数行像素和Ft-1的偶数行像素，并以行交替存放方式组成新图像In，新图像In如图6b所示；或者，取Ft的奇数行像素和Ft-1的偶数行像素，并以行交替存放方式组成新图像In-1，取Ft-1的奇数行像素和Ft的偶数行像素，并以行交替存放方式组成新图像In。行交替存放方式为：在新图像In-1或新图像In中，若当前一行存放的是Ft-1中的一行，则下一行将存放Ft中的一行；若当前一行存放的是Ft中的一行，则下一行将存放Ft-1中的一行。
列交织图像重组模式与行交织图像重组模式相似，只不过是以列为单位而不是以行为单位进行图像重组。列交织图像重组模式为：取前一时刻图像Ft-1和后一时刻图像Ft的奇数列像素，并以列交替存放方式组成新图像In-1，取Ft-1和Ft的偶数列像素，并以列交替存放方式组成新图像In；或者，取Ft-1和Ft的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft-1和Ft的奇数列像素，并以列交替存放方式组成新图像In；或者，取Ft-1的奇数列像素和Ft的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft的奇数列像素和Ft-1的偶数列像素，并以列交替存放方式组成新图像In；或者，取Ft的奇数列像素和Ft-1的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft-1的奇数列像素和Ft的偶数列像素，并以列交替存放方式组成新图像In。列交替存放方式为：在新图像In-1或新图像In中，若当前一列存放的是Ft-1中的一列，则下一列将存放Ft中的一列；若当前一列存放的是Ft中的一列，则下一列将存放Ft-1中的一列。
像素交织图像重组模式为：取前一时刻图像Ft-1的奇数行中的奇数列像素和偶数行中的偶数列像素及取后一时刻图像Ft的奇数行中的偶数列像素和偶数行中的奇数列像素组成新图像In-1，新图像In-1如图7a所示，取Ft-1的奇数行中的偶数列像素和偶数行中的奇数列像素及取Ft的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像In，新图像In如图7b所示；或者，取Ft-1的奇数行中的偶数列像素和偶数行中的奇数列像素及取Ft的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像In-1，取Ft-1的奇数行中的奇数列像素和偶数行中的偶数列像素及取Ft的奇数行中的偶数列像素和偶数行中的奇数列像素组成新图像In。在如图7a和7b所示的新图像In-1和In中，当新图像中坐标为(x，y)的像素取自于Ft-1中坐标为(x，y)的像素时，新图像中坐标为(x-1，y)、(x+1，y)、(x，y-1)、(x，y+1)的像素分别取自于Ft中坐标为(x-1，y)、(x+1，y)、(x，y-1)、(x，y+1)的像素；同样，当新图像中坐标为(x，y)的像素取自于Ft中坐标为(x，y)的像素时，新图像中坐标为(x-1，y)、(x+1，y)、(x，y-1)、(x，y+1)的像素分别取自于Ft-1中坐标为(x-1，y)、(x+1，y)、(x，y-1)、(x，y+1)的像素。
图8a和图8b分别给出了QCIF(Quarter common intermediate format，常用的标准化视频图像格式)格式的测试序列“Foreman”的前后两帧图像。图8c、图8d、图8e和图8f分别给出了对图8a和图8b所示的图像采用行图像重组模式、行交织图像重组模式、列图像重组模式和列交织图像重组模式进行重组得到的图像。
b.在解码端，将接收到的编码后的关键帧图像In-1通过Wyner-ziv解码器解码得到关键帧图像In-1的解码重建图像然后对进行低通滤波得到滤波后的重建图像
再根据图像重组方法对滤波后的重建图像
进行反重组分离得到包含在前一时刻图像Ft-1中的和包含在后一时刻图像Ft中的采用公知的图像自适应插值方法对
和分别进行自适应插值得到与Ft-1和Ft的分辨率相同的F′t-1和F′t；再根据图像重组方法将F′t-1分解成F′t-1 1和F′t-1 2两部分，将F′t分解成F′t 1和F′t 2两部分，将F′t-1 2和F′t 2重组为I′n，定义I′n为Wyner-ziv帧图像In的边信息；利用关键帧图像In-1的解码重建图像
边信息I′n以及解码端向编码端请求发送的校验比特通过Wyner-ziv解码器解码得到Wyner-ziv帧图像In的解码重建图像根据图像重组方法对关键帧图像In-1的解码重建图像
和Wyner-ziv帧图像In的解码重建图像
进行反重组分离得到前一时刻图像Ft-1的解码重建图像
和后一时刻图像Ft的解码重建图像
在上述步骤b中对
和
可以采用现有的任意图像插值算法进行插值，考虑到最终的插值效果，本发明采用公知的图像自适应插值方法。在本实施例中采用的图像自适应插值方法为：采用公知的边缘检测方法对待插值图像进行边缘检测得到边缘方向；定义当前正在处理的待插值图像中的像素为当前像素，当当前像素属于待插值图像的边缘区域时，即当前像素自身为边缘像素或以该当前像素为中心的N×N邻域中有边缘像素时，按照边缘方向对该当前像素进行线性插值，在参与线性插值的样点中剔除不合适的样点，可有效避免边缘模糊现象；当当前像素属于待插值图像的非边缘区域时，直接对该当前像素进行双线性插值或立方插值；其中，N为窗口尺寸，窗口尺寸N的大小与待插值图像的大小有关，一般N可取3或5或7等。在对非边缘区域的像素进行插值时也可采用其他适用于平滑区域插值且计算量相对较小的插值方法。本发明方法对边缘区域的像素和非边缘区域的像素采用不同的插值方法，有利于在保证插值速度的同时保持图像边缘纹理的清晰。
边缘检测方法可以是任意公知的成熟的边缘检测算法，例如Sobel算子、Prewitt算子、Roberts算子、Canny算子等。
在本实施例中，上述步骤b中的校验比特的形成过程如图9所示，在编码端，对编码后的关键帧图像In-1进行解码得到关键帧图像In-1的解码重建图像
与Wyner-ziv帧图像In相减得到残差图像D；残差图像D经过DCT(Discrete CosineTransform，离散余弦变换)变换和量化后得到量化系数S，对S的各个位平面采用Turbo编码器编码形成校验比特。校验比特通常存储在Wyner-ziv编码器的缓冲区中。而在解码端，F′t-1 2和F′t 2重组为边信息I′n后，将边信息I′n与关键帧图像In-1的解码重建图像相减得到残差图像D′，D′经过DCT变换和量化后得到量化系数S′，将S′的各个位平面送入Turbo解码器，该Turbo解码器根据S′和编码端发送来的校验比特从S′的最高位平面开始进行迭代解码，直至解码误比特率降低至预定要求，当残差图像D和残差图像D′比较接近时，解码端请求编码端发送的校验比特较少，相反，需要的校验比特较多，以便得到较为准确的量化系数S的重建值
然后将Turbo解码器解码得到的
进行反量化和反DCT变换得到重建的残差图像
将重建的残差图像
与关键帧图像In-1的解码重建图像相加得到Wyner-ziv帧图像In的解码重建图像
最后对关键帧图像In-1的解码重建图像
和Wyner-ziv帧图像In的解码重建图像进行反重组，最终得到前一时刻图像Ft-1的解码重建图像
和后一时刻图像Ft的解码重建图像
以下为采用本发明方法对QCIF格式的测试序列“Coastguard”和“Foreman”进行Wyner-ziv编码的结果，实验中图像组GOP(Group OfPicture)长度为2，帧率为10fps，编码帧数为100帧。
图10和图11分别给出了对测试序列“Coastguard”和“Foreman”采用本发明方法(图像重组方法采用列图像重组模式)、传统的8×8块运动估计插值生成边信息的Wyner-ziv编码方法、H.264帧内编码方法以及H.264帧间编码方法进行编码的率失真性能的比较。图10和图11中H.264I、H.264P分别表示H.264帧内编码方法和H.264帧间编码方法在GOP＝2时的率失真性能曲线，TWZC-8×8Block则表示使用传统的8×8块运动估计插值生成边信息的Wyner-ziv编码方法的率失真性能曲线。实验结果表明本发明方法与使用传统的8×8块运动估计插值生成边信息的Wyner-ziv编码方法相比率失真性能提高0.5dB左右，位于H.264帧内编码方法和H.264帧间编码方法的率失真性能之间，特别是对于测试序列“Coastguard”，本发明方法与H.264帧间编码方法的率失真性能只相差0.1dB左右。由此可见，本发明的边信息生成方法相当有效，它有效地克服了传统的8×8块运动估计插值生成边信息的Wyner-ziv编码方法在边信息生成过程中的缺陷，提高了边信息生成质量。因而，本发明的Wyner-ziv视频编解码方法与基于传统的8×8块运动估计插值生成边信息的Wyner-ziv编码方法相比整体率失真性能有较大提高。
Claims (8)
1.一种Wyner-ziv视频编解码方法，其特征在于它包括以下步骤：
a.在编码端，将时域上相邻的前后两帧图像分别定义为前一时刻图像和后一时刻图像，前一时刻图像记为Ft-1，后一时刻图像记为Ft；将Ft-1根据其自身的各个像素的位置信息分解成Ft-1 1和Ft-1 2两部分，将Ft根据其自身的各个像素的位置信息分解成Ft 1和Ft 2两部分，再根据图像重组方法将Ft-1 1和Ft 1、Ft-1 2和Ft 2分别重组为两帧新图像，将Ft-1 1和Ft 1重组得到的新图像记为In-1，将Ft-1 2和Ft 2重组得到的新图像记为In；定义In-1为关键帧图像及In为Wyner-ziv帧图像，将关键帧图像In-1和Wyner-ziv帧图像In分别送入Wyner-ziv编码器，对关键帧图像In-1进行帧内编码，对Wyner-ziv帧图像In进行Wyner-ziv帧编码，将Wyner-ziv帧图像In编码后得到的校验比特缓存在编码端以供解码端请求时发送给解码端；将编码后的关键帧图像In-1通过网络传输给解码端；
b.在解码端，将接收到的编码后的关键帧图像In-1通过Wyner-ziv解码器解码得到关键帧图像In-1的解码重建图像
然后对
进行低通滤波得到滤波后的重建图像
再根据编码端所采用的图像重组方法对
进行反重组分离得到包含在前一时刻图像Ft-1中的
和包含在后一时刻图像Ft中的
采用公知的图像自适应插值方法对
和
分别进行自适应插值得到与前一时刻图像Ft-1和后一时刻图像Ft的分辨率相同的F′t-1和F′t；再根据编码端所采用的图像重组方法将F′t-1分解成F′t-1 1和F′t-1 2两部分，将F′t分解成F′t 1和F′t 2两部分，将F′t-1 2和F′t 2重组为I′n，定义I′n为Wyner-ziv帧图像In的边信息；利用关键帧图像In-1的解码重建图像
边信息I′n以及解码端向编码端请求发送的校验比特通过Wyner-ziv解码器解码得到Wyner-ziv帧图像In的解码重建图像
根据编码端所采用的图像重组方法对关键帧图像In-1的解码重建图像
和Wyner-ziv帧图像In的解码重建图像
进行反重组分离得到前一时刻图像Ft-1的解码重建图像
和后一时刻图像Ft的解码重建图像
2.根据权利要求1所述的一种Wyner-ziv视频编解码方法，其特征在于所述的图像重组方法采用行图像重组模式、列图像重组模式、行交织图像重组模式、列交织图像重组模式、像素交织图像重组模式中的任一种模式。
3.根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的行图像重组模式为以下两类方式中的一种：1)取前一时刻图像Ft-1和后一时刻图像Ft的奇数行像素组成一帧新图像，取Ft-1和Ft的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的上半帧，则取自Ft帧的数据占据该新图像的下半帧，若取自Ft-1帧的数据占据该新图像的下半帧，则取自Ft帧的数据占据该新图像的上半帧；2)取前一时刻图像Ft-1的奇数行像素和后一时刻图像Ft的偶数行像素组成一帧新图像，取Ft的奇数行像素和Ft-1的偶数行像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的上半帧，则取自Ft帧的数据占据该新图像的下半帧，若取自Ft-1帧的数据占据该新图像的下半帧，则取自Ft帧的数据占据该新图像的上半帧。
4.根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的列图像重组模式为以下两类方式中的一种：1)取前一时刻图像Ft-1和后一时刻图像Ft的奇数列像素组成一帧新图像，取Ft-1和Ft的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的左半帧，则取自Ft帧的数据占据该新图像的右半帧，若取自Ft-1帧的数据占据该新图像的右半帧，则取自Ft帧的数据占据该新图像的左半帧；2)取前一时刻图像Ft-1的奇数列像素和后一时刻图像Ft的偶数列像素组成一帧新图像，取Ft的奇数列像素和Ft-1的偶数列像素组成另一帧新图像，将这两帧新图像中的一帧记为In-1，另一帧记为In，重组后的新图像In-1和In中，若取自Ft-1帧的数据占据该新图像的左半帧，则取自Ft帧的数据占据该新图像的右半帧，若取自Ft-1帧的数据占据该新图像的右半帧，则取自Ft帧的数据占据该新图像的左半帧。
5.根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的行交织图像重组模式为：取前一时刻图像Ft-1和后一时刻图像Ft的奇数行像素，并以行交替存放方式组成新图像In-1，取Ft-1和Ft的偶数行像素，并以行交替存放方式组成新图像In；或者，取Ft-1和Ft的偶数行像素，并以行交替存放方式组成新图像In-1，取Ft-1和Ft的奇数行像素，并以行交替存放方式组成新图像In；或者，取Ft-1的奇数行像素和Ft的偶数行像素，并以行交替存放方式组成新图像In-1，取Ft的奇数行像素和Ft-1的偶数行像素，并以行交替存放方式组成新图像In；或者，取Ft的奇数行像素和Ft-1的偶数行像素，并以行交替存放方式组成新图像In-1，取Ft-1的奇数行像素和Ft的偶数行像素，并以行交替存放方式组成新图像In。
6.根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的列交织图像重组模式为：取前一时刻图像Ft-1和后一时刻图像Ft的奇数列像素，并以列交替存放方式组成新图像In-1，取Ft-1和Ft的偶数列像素，并以列交替存放方式组成新图像In；或者，取Ft-1和Ft的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft-1和Ft的奇数列像素，并以列交替存放方式组成新图像In；或者，取Ft-1的奇数列像素和Ft的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft的奇数列像素和Ft-1的偶数列像素，并以列交替存放方式组成新图像In；或者，取Ft的奇数列像素和Ft-1的偶数列像素，并以列交替存放方式组成新图像In-1，取Ft-1的奇数列像素和Ft的偶数列像素，并以列交替存放方式组成新图像In。
7.根据权利要求2所述的一种Wyner-ziv视频编解码方法，其特征在于所述的像素交织图像重组模式为：取前一时刻图像Ft-1的奇数行中的奇数列像素和偶数行中的偶数列像素及取后一时刻图像Ft的奇数行中的偶数列像素和偶数行中的奇数列像素组成新图像In-1，取Ft-1的奇数行中的偶数列像素和偶数行中的奇数列像素及取Ft的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像In；或者，取Ft-1的奇数行中的偶数列像素和偶数行中的奇数列像素及取Ft的奇数行中的奇数列像素和偶数行中的偶数列像素组成新图像In-1，取Ft-1的奇数行中的奇数列像素和偶数行中的偶数列像素及取Ft的奇数行中的偶数列像素和偶数行中的奇数列像素组成新图像In。
8.根据权利要求1所述的一种Wyner-ziv视频编解码方法，其特征在于所述的步骤b中的自适应插值方法为：采用公知的边缘检测方法对待插值图像进行边缘检测得到边缘方向；定义当前正在处理的待插值图像中的像素为当前像素，当当前像素属于待插值图像的边缘区域时，按照边缘方向对该当前像素进行线性插值；当当前像素属于待插值图像的非边缘区域时，直接对该当前像素进行双线性插值或立方插值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810063342 CN101360236B (zh) | 2008-08-08 | 2008-08-08 | 一种Wyner-ziv视频编解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810063342 CN101360236B (zh) | 2008-08-08 | 2008-08-08 | 一种Wyner-ziv视频编解码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101360236A CN101360236A (zh) | 2009-02-04 |
| CN101360236B true CN101360236B (zh) | 2010-08-11 |
Family
ID=40332559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200810063342 Expired - Fee Related CN101360236B (zh) | 2008-08-08 | 2008-08-08 | 一种Wyner-ziv视频编解码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101360236B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101835042B (zh) * | 2010-03-19 | 2013-01-23 | 西安电子科技大学 | 基于无反馈速率控制的Wyner-Ziv视频编码系统及方法 |
| CN101854548B (zh) * | 2010-05-25 | 2011-09-07 | 南京邮电大学 | 一种面向无线多媒体传感器网络的视频压缩方法 |
| CN101977323B (zh) * | 2010-11-16 | 2012-04-25 | 上海交通大学 | 基于视频时空相关性约束的分布式视频编码重构方法 |
| CN102088612B (zh) * | 2011-03-11 | 2012-07-25 | 西安电子科技大学 | 具有鲁棒性的无反馈Wyner-Ziv视频解码器 |
| CN102186077B (zh) * | 2011-05-04 | 2012-12-26 | 西安电子科技大学 | 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法 |
-
2008
- 2008-08-08 CN CN 200810063342 patent/CN101360236B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101360236A (zh) | 2009-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2355126C2 (ru) | Основывающиеся на множестве слоев способ кодирования/декодирования и видеокодер/декодер, в которых используется сглаживающее предсказание | |
| US10013746B2 (en) | High dynamic range video tone mapping | |
| CN102450009B (zh) | 在视频应用中用于视频预处理的滤波器选择 | |
| US7469011B2 (en) | Escape mode code resizing for fields and slices | |
| WO2019242491A1 (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| CN113923455B (zh) | 一种双向帧间预测方法及装置 | |
| JP2005123732A (ja) | デブロックフィルタ処理装置およびデブロックフィルタ処理方法 | |
| GB2509707A (en) | Encoding or decoding a video sequence using SAO parameters | |
| WO2008145039A1 (en) | Methods, systems and devices for generating upsample filter and downsample filter and for performing encoding | |
| CN1695381A (zh) | 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强 | |
| WO2011110088A1 (zh) | 一种视频预测编码方法和装置 | |
| CN101600109A (zh) | 基于纹理和运动特征的h.264降尺寸转码方法 | |
| KR20100024484A (ko) | 감소된 계수 개수를 가진 다중 변환 블록들의 공동 코딩 | |
| CN101360236B (zh) | 一种Wyner-ziv视频编解码方法 | |
| CN110677654A (zh) | 高效视频编码标准低时延编码结构的量化参数级联方法 | |
| CN1878304A (zh) | 编码和解码图像序列的方法和设备 | |
| Ma et al. | Rate-perception optimized preprocessing for video coding | |
| US20060088224A1 (en) | Method for coding and decoding moving image | |
| US7613351B2 (en) | Video decoder with deblocker within decoding loop | |
| US20240171733A1 (en) | Motion field estimation based on motion trajectory derivation | |
| CN108353192B (zh) | 视频处理系统和方法中的分层去块滤波 | |
| CN114827616B (zh) | 一种基于时空信息平衡的压缩视频质量增强方法 | |
| CN106688235B (zh) | 非因果预测的信号编码方法、解码方法 | |
| Guleryuz et al. | Sandwiched Compression: Repurposing Standard Codecs with Neural Network Wrappers | |
| GB2455979A (en) | Video processing using quincunx sub-sampling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: SHANGHAI SILICON INTELLECTUAL PROPERTY EXCHANGE CE Free format text: FORMER OWNER: NINGBO UNIVERSITY Effective date: 20120105 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 315211 NINGBO, ZHEJIANG PROVINCE TO: 200030 XUHUI, SHANGHAI |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20120105 Address after: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704 Patentee after: Shanghai Silicon Intellectual Property Exchange Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818 Patentee before: Ningbo University |
|
| ASS | Succession or assignment of patent right |
Owner name: SHANGHAI SIPAI KESI TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: SHANGHAI SILICON INTELLECTUAL PROPERTY EXCHANGE CENTER CO., LTD. Effective date: 20120217 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 200030 XUHUI, SHANGHAI TO: 201203 PUDONG NEW AREA, SHANGHAI |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20120217 Address after: 201203 Shanghai Chunxiao Road No. 350 South Building Room 207 Patentee after: Shanghai spparks Technology Co. Ltd. Address before: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704 Patentee before: Shanghai Silicon Intellectual Property Exchange |
|
| C56 | Change in the name or address of the patentee | ||
| CP02 | Change in the address of a patent holder |
Address after: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1706 Patentee after: Shanghai spparks Technology Co. Ltd. Address before: 201203 Shanghai Chunxiao Road No. 350 South Building Room 207 Patentee before: Shanghai spparks Technology Co. Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100811 Termination date: 20190808 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |