CN103024381B - 一种基于恰可察觉失真的宏块模式快速选择方法 - Google Patents
一种基于恰可察觉失真的宏块模式快速选择方法 Download PDFInfo
- Publication number
- CN103024381B CN103024381B CN201210536759.2A CN201210536759A CN103024381B CN 103024381 B CN103024381 B CN 103024381B CN 201210536759 A CN201210536759 A CN 201210536759A CN 103024381 B CN103024381 B CN 103024381B
- Authority
- CN
- China
- Prior art keywords
- image
- color image
- mode
- color
- noticeable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000010187 selection method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于恰可察觉失真的宏块模式快速选择方法，其通过获取待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像，然后计算时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，再根据时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，确定B帧彩色图像中的每个宏块的最优宏块编码模式，这种宏块编码模式的选择方法使得在保证彩色视频视觉感知质量的前提下，能够有效节约彩色视频的编码时间，节省的编码时间平均可达到72.7%，大大降低彩色视频的编码复杂度。
Description
技术领域
本发明涉及一种图像处理技术，尤其是涉及一种基于恰可察觉失真的宏块模式快速选择方法。
背景技术
随着三维电视（3Dtelevision，3DTV）和自由视点电视（Free-viewpointtelevision，FTV）等多媒体技术的快速发展，使用多个视点进行立体视频的场景描述的需求日益增加。三维立体视频能够提供更真实的感受和新颖的视觉享受，但需要多个摄像机同时从不同的位置或角度采集、编码、传输、解码、传输、显示等过程才能呈现出真正的3D世界的内容。然而，由于数据量与视频序列视点的数量成正比，因此三维立体视频需要巨大的存储空间、较宽的传输频带和较高的计算能力。多视点视频编码中的多视点视频信号具有很强的相关性，这些相关性主要集中在同一时刻的不同视点之间和同一视点的不同时间域。为了消除多视点视频信号时间上的冗余和视点间的空间冗余，以使多视点视频编码达到高效压缩的目的，通常采用联合多视点视频模型（JointMultiviewVideoModel，JMVM）编码平台，JMVM编码平台采用分层B帧（HierarchicalBPictures，HBP）编码预测结构。在HBP编码预测结构中，多视点视频编码结合了运动估计和视差估计预测技术，使得编码压缩效率明显提高，但同时显著增加了编码的复杂性。因此，多视点视频进入实际应用系统之前，高压缩效率和低复杂度的多视点视频编码（Multiviewvideoencoding，MVC）方法的发展是必要的。
目前，国内外很多研究者致力于宏块模式快速选择方法，而传统的宏块模式快速选择方法一般不能直接应用于多视点视频编码的HBP编码预测结构中，或者只能降低多视点视频中某些视点的编码复杂度。除此之外，因为人眼是视频的最终接受者，而传统的宏块模式快速选择方法并没有充分考虑人眼视觉系统（Humanvisualsystem，HVS）的特点，因此不能充分利用人眼的感知冗余提高编码的效率。所以在多视点视频编码中需结合人眼视觉系统的特点，例如人眼受到双目融合与抑制效应会增强或抑制甚至屏蔽某些信号的失真，从而使人眼并不能察觉到图像或者视频的所有失真。因此，如何充分利用人眼的视觉特性，在保证立体图像主观感知质量不变的前提下，直接或间接地用于改善视频信息的处理，已成为视频编码技术中一个重要课题。一般来说，恰可察觉失真（Justnoticeabledistortion，JND）模型的建立主要考虑HVS的感知特点，根据人眼掩蔽效应，人眼并不能在小于JND值的范围内感觉到任何的变化。所以，合适的JND模型将有利于视频编码方法性能的提高，在保持主观感知质量不变的情况下，降低多视点视频编码的复杂度。
发明内容
本发明所要解决的技术问题是提供一种在保证立体图像主观感知质量不变的前提下，能够有效缩短编码时间、降低编码复杂度的基于恰可察觉失真的宏块模式快速选择方法。
本发明解决上述技术问题所采用的技术方案为：一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于它的处理过程为：首先，获取待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像；然后，将待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像分割成多个互不重叠的且尺寸大小为16×16的图像块；接着，计算待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值；最后，根据待处理的彩色视频序列中的每幅彩色图像的帧类型为每幅彩色图像中的每个宏块选择最优宏块编码模式，当彩色图像为HBP编码预测结构中的I帧或P帧时，按照JMVC编码方法为彩色图像中的每个宏块选择各自对应的最优宏块编码模式，当彩色图像为HBP编码预测结构中的B帧时，根据待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，确定彩色图像中的每个宏块的最优宏块编码模式。
本发明方法具体包括以下步骤：
①将待处理的彩色视频序列记为{C(W,H,k)}，其中，W表示{C(W,H,k)}中的彩色图像的水平分辨率，H表示{C(W,H,k)}中的彩色图像的竖直分辨率，C(W,H,k)表示{C(W,H,k)}中的第k幅彩色图像，1≤k≤K，k的初始值为1，K表示{C(W,H,k)}中包含的彩色图像的幅数；
②获取{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时空域的恰可察觉失真图像记为STJND(W,H,k)；然后将{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像分割成个互不重叠的且尺寸大小为16×16的图像块，将STJND(W,H,k)中坐标位置为(i,j)的图像块记为其中， 再计算{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，将STJND(W,H,k)中坐标位置为(i,j)的图像块的恰可察觉失真值记为 其中，表示STJND(W,H,k)中坐标位置为(i,j)的图像块中坐标位置为(p,q)的像素点的恰可察觉失真值；
③将{C(W,H,k)}中当前待编码的第k幅彩色图像C(W,H,k)定义为当前彩色图像；
④判断当前彩色图像是否为HBP编码预测结构中的B帧，如果是，则执行步骤⑤，否则，按照JMVC编码方法为当前彩色图像中的每个尺寸大小为16×16的宏块选择各自对应的最优宏块编码模式；
⑤将当前彩色图像中当前正在处理的坐标位置为(i,j)的且尺寸大小为16×16的宏块定义为当前宏块，其中，
⑥判断STJND(W,H,k)中与当前宏块的坐标位置对应的图像块的恰可察觉失真值是否大于宏块模式选择阈值T，如果是，则仅搜索帧间模式中的Skip模式和Inter16×16模式及帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式，获取当前宏块的最优宏块编码模式，否则，仅搜索帧间模式中的Skip模式、Inter16×16模式、Inter8×16模式和Inter16×8模式及帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式，获取当前宏块的最优宏块编码模式；
⑦令i'=i+1,i＝i',j'=j+1,j=j'，将当前彩色图像中下一个待处理的尺寸大小为16×16的宏块作为当前宏块，然后返回步骤⑥继续执行，直至当前彩色图像中的所有宏块处理完毕，再执行步骤⑧，其中，i'=i+1,i＝i',j'=j+1,j=j'中“=”为赋值符号，i'的初始值为0，j'的初始值为0；
⑧令k'=k+1,k=k'，将{C(W,H,k)}中下一幅待编码的彩色图像作为当前彩色图像，然后返回步骤④继续执行，直至{C(W,H,k)}中的所有彩色图像处理完毕，其中，k'=k+1,k=k'中“=”为赋值符号，k'的初始值为0。
所述的步骤②中获取{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像的具体过程为：
②-1、计算{C(W,H,k)}中的每幅彩色图像中的每个像素点的空域的恰可察觉失真值，得到{C(W,H,k)}中的每幅彩色图像对应的空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的空域的恰可察觉失真图像记为SJND(W,H,k)；
②-2、计算{C(W,H,k)}中的每幅彩色图像中的每个像素点的时域的恰可察觉失真值，得到{C(W,H,k)}中的每幅彩色图像对应的时域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时域的恰可察觉失真图像记为TJND(W,H,k)；
②-3、根据{C(W,H,k)}中的每幅彩色图像对应的空域的恰可察觉失真图像和时域的恰可察觉失真图像，获得{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时空域的恰可察觉失真图像记为STJND(W,H,k)，将STJND(W,H,k)中坐标位置为(x,y)的像素点的恰可察觉失真值记为IJND(x,y)，其中，1≤x≤W,1≤y≤H。
所述的步骤⑥中的宏块模式选择阈值T的确定过程为：
⑥-1、采用HBP编码预测结构使用JMVC编码方法对一个彩色视频序列中的每幅彩色图像进行编码；
⑥-2、按照步骤①至步骤②的操作过程，获取该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值；
⑥-3、按照JMVC编码方法为该彩色视频序列中的每幅彩色图像中的每个尺寸大小为16×16的宏块选择各自对应的最优宏块编码模式；
⑥-4、统计该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与该彩色视频序列中的每幅彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系，得到该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与该彩色视频序列中的每幅彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系图；
⑥-5、按照步骤⑥-1至步骤⑥-4的操作过程，获取N个彩色视频序列相应的对应关系图，分析N个彩色视频序列相应的对应关系图，根据N幅对应关系图的统计规律，确定宏块模式选择阈值T的具体值，其中，N≥1。
所述的宏块模式选择阈值T的具体值为9。
与现有技术相比，本发明的优点在于：通过获取待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像，然后计算时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，再根据时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，确定B帧彩色图像中的每个宏块的最优宏块编码模式，这种宏块编码模式的选择方法使得在保证彩色视频视觉感知质量的前提下，能够有效节约彩色视频的编码时间（节省的编码时间平均可达到72.7%），并大大降低彩色视频的编码复杂度。
附图说明
图1为多视点视频编码的HBP编码预测结构；
图2a为“AltMobiat”视频序列中的视点6的第1帧彩色图像；
图2b为图2a所示的彩色图像对应的时空域的恰可察觉失真图像；
图2c为图2b所示的时空域的恰可察觉失真图像块化后的恰可察觉失真图像；
图3a为“AltMobiat”视频序列中的视点6的B帧中宏块的最优编码模式和对应的时空域的恰可察觉失真图像中对应坐标位置的图像块的恰可察觉失真值的对应关系图；
图3b为“LeaveLaptop”视频序列中的视点6的B帧中宏块的最优编码模式和对应的时空域的恰可察觉失真图像中对应坐标位置的图像块的恰可察觉失真值的对应关系图；
图4a为“Lovebird1”视频序列中的视点0的第1帧彩色图像；
图4b为“Lovebird1”视频序列中的视点1的第1帧彩色图像；
图4c为“Lovebird1”视频序列中的视点2的第1帧彩色图像；
图4d为“Lovebird1”视频序列中的视点3的第1帧彩色图像；
图4e为“Lovebird1”视频序列中的视点4的第1帧彩色图像；
图4f为“Lovebird1”视频序列中的视点5的第1帧彩色图像；
图4g为“Lovebird1”视频序列中的视点6的第1帧彩色图像；
图4h为“Lovebird1”视频序列中的视点7的第1帧彩色图像；
图5a为“Champagnetower”视频序列中的视点0的第1帧彩色图像；
图5b为“Champagnetower”视频序列中的视点1的第1帧彩色图像；
图5c为“Champagnetower”视频序列中的视点2的第1帧彩色图像；
图5d为“Champagnetower”视频序列中的视点3的第1帧彩色图像；
图5e为“Champagnetower”视频序列中的视点4的第1帧彩色图像；
图5f为“Champagnetower”视频序列中的视点5的第1帧彩色图像；
图5g为“Champagnetower”视频序列中的视点6的第1帧彩色图像；
图5h为“Champagnetower”视频序列中的视点7的第1帧彩色图像；
图6a为“Pantomime”视频序列中的视点0的第1帧彩色图像；
图6b为“Pantomime”视频序列中的视点1的第1帧彩色图像；
图6c为“Pantomime”视频序列中的视点2的第1帧彩色图像；
图6d为“Pantomime”视频序列中的视点3的第1帧彩色图像；
图6e为“Pantomime”视频序列中的视点4的第1帧彩色图像；
图6f为“Pantomime”视频序列中的视点5的第1帧彩色图像；
图6g为“Pantomime”视频序列中的视点6的第1帧彩色图像；
图6h为“Pantomime”视频序列中的视点7的第1帧彩色图像；
图7a为“AltMoabit”视频序列中的视点0的第1帧彩色图像；
图7b为“AltMoabit”视频序列中的视点1的第1帧彩色图像；
图7c为“AltMoabit”视频序列中的视点2的第1帧彩色图像；
图7d为“AltMoabit”视频序列中的视点3的第1帧彩色图像；
图7e为“AltMoabit”视频序列中的视点4的第1帧彩色图像；
图7f为“AltMoabit”视频序列中的视点5的第1帧彩色图像；
图7g为“AltMoabit”视频序列中的视点6的第1帧彩色图像；
图7h为“AltMoabit”视频序列中的视点7的第1帧彩色图像；
图8a为“Doorflowers”视频序列中的视点0的第1帧彩色图像；
图8b为“Doorflowers”视频序列中的视点1的第1帧彩色图像；
图8c为“Doorflowers”视频序列中的视点2的第1帧彩色图像；
图8d为“Doorflowers”视频序列中的视点3的第1帧彩色图像；
图8e为“Doorflowers”视频序列中的视点4的第1帧彩色图像；
图8f为“Doorflowers”视频序列中的视点5的第1帧彩色图像；
图8g为“Doorflowers”视频序列中的视点6的第1帧彩色图像；
图8h为“Doorflowers”视频序列中的视点7的第1帧彩色图像；
图9a为“LeaveLaptop”视频序列中的视点0的第1帧彩色图像；
图9b为“LeaveLaptop”视频序列中的视点1的第1帧彩色图像；
图9c为“LeaveLaptop”视频序列中的视点2的第1帧彩色图像；
图9d为“LeaveLaptop”视频序列中的视点3的第1帧彩色图像；
图9e为“LeaveLaptop”视频序列中的视点4的第1帧彩色图像；
图9f为“LeaveLaptop”视频序列中的视点5的第1帧彩色图像；
图9g为“LeaveLaptop”视频序列中的视点6的第1帧彩色图像；
图9h为“LeaveLaptop”视频序列中的视点7的第1帧彩色图像；
图10a为采用JMVC编码方法对“Champagnetower”视频序列的第35帧彩色图像编码后再重建的彩色图像；
图10b为采用本发明方法对“Champagnetower”视频序列的第35帧彩色图像的宏块编码模式进行选择，编码后再重建的彩色图像；
图10c为采用JMVC编码方法对“lovebird1”视频序列的第35帧彩色图像编码后再重建的彩色图像；
图10d为采用本发明方法对“lovebird1”视频序列的第35帧彩色图像的宏块编码模式进行选择，编码后再重建的彩色图像；
图10e为采用JMVC编码方法对“AltMoabit”视频序列的第35帧彩色图像编码后再重建的彩色图像；
图10f为采用本发明方法对“AltMoabit”视频序列的第35帧彩色图像的宏块编码模式进行选择，编码后再重建的彩色图像；
图10g为采用JMVC编码方法对“Doorflowers”视频序列的第35帧彩色图像编码后再重建的彩色图像；
图10h为采用本发明方法对“Doorflowers”视频序列的第35帧彩色图像的宏块编码模式进行选择，编码后再重建的彩色图像；
图11a为多视点彩色序列“Champagnetower”采用JMVC编码方法和采用本发明方法编码后的率失真性能曲线比较示意图；
图11b为多视点彩色序列“lovebird1”采用JMVC编码方法和采用本发明方法编码后的率失真性能曲线比较示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
多视点视频编码采用的是视点间和时间联合预测的HBP编码预测结构，其充分利用了视点内和视点间的相关性而取得很好的压缩性能；另一方面，大量使用B帧也是提高编码性能的重要原因。图1给出了8个视点且图像组（GOP）的长度为8的MVC-HBP结构图，每个GOP包含的图像的帧数为视点数Nview与GOP的长度LGOP的乘积，对于不同GOP结构中的B帧数量百分比为可知当Nview和LGOP均为8时，B帧有59帧，占整个GOP中的图像的总帧数的92.19%；而当GOP的长度为12或15时，B帧所占百分比将更高。然而，一方面由于B帧与I帧和P帧相比是更复杂的编码帧类型，占据了主要计算量；另一方面，MVC-HBP中的B帧所占百分比非常高，可达92.19%，因此针对B帧做低复杂度方法优化，将有效提高多视点视频编码的整体性能。
本发明正是针对多视点彩色视频编码中B帧中的宏块的最优编码模式选择过程的计算复杂度，充分考虑多视点视频信号最终是通过人眼进行感知的，提出了一种基于恰可察觉失真的宏块模式快速选择方法，其在保持视频主观感知质量的前提下，能够有效降低多视点彩色视频编码中B帧编码的复杂度，其处理过程为：首先，获取待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像；然后，将待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像分割成多个互不重叠的且尺寸大小为16×16的图像块；接着，计算待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值；最后，根据待处理的彩色视频序列中的每幅彩色图像的帧类型为每幅彩色图像中的每个宏块选择最优宏块编码模式，当彩色图像为HBP编码预测结构中的I帧或P帧时，按照JMVC编码方法为彩色图像中的每个宏块选择各自对应的最优宏块编码模式，当彩色图像为HBP编码预测结构中的B帧时，根据待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，确定彩色图像中的每个宏块的最优宏块编码模式；具体包括以下步骤：
①将待处理的彩色视频序列记为{C(W,H,k)}，其中，W表示{C(W,H,k)}中的彩色图像的水平分辨率，H表示{C(W,H,k)}中的彩色图像的竖直分辨率，C(W,H,k)表示{C(W,H,k)}中的第k幅彩色图像，1≤k≤K，k的初始值为1，K表示{C(W,H,k)}中包含的彩色图像的幅数。
②获取{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时空域的恰可察觉失真图像记为STJND(W,H,k)；然后将{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像分割成个互不重叠的且尺寸大小为16×16的图像块，将STJND(W,H,k)中坐标位置为(i,j)的图像块记为其中， 再计算{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，将STJND(W,H,k)中坐标位置为(i,j)的图像块的恰可察觉失真值记为 其中，表示STJND(W,H,k)中坐标位置为(i,j)的图像块中坐标位置为(p,q)的像素点的恰可察觉失真值。
在此具体实施例中，获取{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像的具体过程为：
②-1、计算{C(W,H,k)}中的每幅彩色图像中的每个像素点的空域的恰可察觉失真值，得到{C(W,H,k)}中的每幅彩色图像对应的空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的空域的恰可察觉失真图像记为SJND(W,H,k)。
②-2、计算{C(W,H,k)}中的每幅彩色图像中的每个像素点的时域的恰可察觉失真值，得到{C(W,H,k)}中的每幅彩色图像对应的时域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时域的恰可察觉失真图像记为TJND(W,H,k)。
②-3、根据{C(W,H,k)}中的每幅彩色图像对应的空域的恰可察觉失真图像和时域的恰可察觉失真图像，获得{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时空域的恰可察觉失真图像记为STJND(W,H,k)，将STJND(W,H,k)中坐标位置为(x,y)的像素点的恰可察觉失真值记为IJND(x,y)，其中，1≤x≤W,1≤y≤H。在此，采用现有技术计算STJND(W,H,k)中坐标位置为(x,y)的像素点的恰可察觉失真值IJND(x,y)，如采用IEEE（电气与电子工程师协会）电路及系统视频期刊（第15卷，第6期，第742-752页）中的视频编码中基于恰可察觉失真的运动补偿残差预处理【X.Yang,W.Lin,andZ.Lu.Motion-compensatedresiduepreprocessinginvideocodingbasedonjust-noticeable-distortionprofile[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2005,15(6):742-752.】中公开的恰可察觉失真值计算过程。
图2a给出了“AltMobiat”视频序列中的视点6的第1帧彩色图像，图2b给出了图2a所示的彩色图像对应的时空域的恰可察觉失真图像，图2c给出了对图2b所示的时空域的恰可察觉失真图像进行分块后的图像。
③将{C(W,H,k)}中当前待编码的第k幅彩色图像C(W,H,k)定义为当前彩色图像。
④判断当前彩色图像是否为HBP编码预测结构中的B帧，如果是，则执行步骤⑤，否则，按照JMVC编码方法为当前彩色图像中的每个尺寸大小为16×16的宏块选择各自对应的最优宏块编码模式。
⑤将当前彩色图像中当前正在处理的坐标位置为(i，j)的且尺寸大小为16×16的宏块定义为当前宏块，其中，
⑥在采用HBP编码预测结构的多视点视频编码中，宏块编码模式可分为帧间模式和帧内模式，帧间模式包括Skip模式、Inter16×16模式、Inter8×16模式、Inter16×8模式、Inter8×8模式，帧内模式包括Intra16×16模式、Intra8×8I模式、Intra4×4模式、PCM模式，在Inter8×8模式中可以进一步分为Inter8×4模式、Inter4×8模式及Inter4×4模式。在此，本发明方法根据块化后的恰可察觉失真图像中的每个图像块的恰可察觉失真值，在部分宏块编码模式中快速获取彩色图像中的每个宏块的最优宏块编码模式。具体过程为：
判断STJND(W,H,k)中与当前宏块的坐标位置对应的图像块的恰可察觉失真值是否大于宏块模式选择阈值T，如果是，则仅搜索帧间模式中的Skip模式和Inter16×16模式及帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式，获取当前宏块的最优宏块编码模式，否则，仅搜索帧间模式中的Skip模式、Inter16×16模式、Inter8×16模式和Inter16×8模式及帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式，获取当前宏块的最优宏块编码模式。
在此具体实施例中，宏块模式选择阈值T的确定过程为：
⑥-1、采用HBP编码预测结构使用JMVC编码方法对一个彩色视频序列中的每幅彩色图像进行编码。
⑥-2、按照步骤①至步骤②的操作过程，获取该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值；
⑥-3、按照JMVC编码方法为该彩色视频序列中的每幅彩色图像中的每个尺寸大小为16×16的宏块选择各自对应的最优宏块编码模式。
⑥-4、统计该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与该彩色视频序列中的每幅彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系，得到该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与该彩色视频序列中的每幅彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系图。
⑥-5、按照步骤⑥-1至步骤⑥-4的操作过程，获取N个彩色视频序列相应的对应关系图，分析N个彩色视频序列相应的对应关系图，根据N幅对应关系图的统计规律，确定宏块模式选择阈值T的具体值，其中，N≥1。
在此，按照步骤⑥-1至步骤⑥-4的操作过程，分别获取“AltMobiat”和“LeaveLaptop”彩色视频序列中的视点6的B帧彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与B帧彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系图，图3a给出了“AltMobiat”彩色视频序列中的视点6的B帧彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与B帧彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系，图3b给出了“LeaveLaptop”彩色视频序列中的视点6的B帧彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与B帧彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系，分析图3a和图3b，从中可以看出B帧中的宏块的最优宏块编码模式的比例分布，当B帧彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值大于9时，帧间模式中的Skip模式和Inter16×16模式及帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式作为宏块的最优宏块编码模式的比例相对比较大，当B帧彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值小于或等于9时，帧间模式中的Skip模式、Inter16×16模式、Inter8×16模式和Inter16×8模式作为宏块的最优宏块编码模式的比例相对比较大，而帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式并不影响彩色视频编码的速度，为了降低编码复杂度，同时最大限度地保持编码质量，因此也搜索帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式，综上分析在本实施例中取宏块模式选择阈值T的具体值为9。
⑦令i'=i+1,i＝i′，j'=j+1,j=j'，将当前彩色图像中下一个待处理的尺寸大小为16×16的宏块作为当前宏块，然后返回步骤⑥继续执行，直至当前彩色图像中的所有宏块处理完毕，再执行步骤⑧，其中，i'=i+1,i＝i′，j'=j+1,j=j'中“=”为赋值符号，i'的初始值为0，j'的初始值为0。
⑧令k'=k+1,k=k'，将{C(W,H,k)}中下一幅待编码的彩色图像作为当前彩色图像，然后返回步骤④继续执行，直至{C(W,H,k)}中的所有彩色图像处理完毕，其中，k'=k+1,k=k'中“=”为赋值符号，k'的初始值为0。
为更有力地说明本发明方法的有效性和可行性，在此选取“Lovebird1”、“Champagnetower”、“Pantomime”、“AltMoabit”、“DoorFlowers”、“LeaveLaptop”作为测试序列测试JMVC中宏块最优模式全搜索方法以及本发明方法的性能情况，上述各个测试序列的8个视点的第1帧彩色图像依次如图4a~图4h、图5a~图5h、图6a~图6h、图7a~图7h、图8a~图8h、图9a~图9h所示。上述各个测试序列的具体参数如表1所列。在表1所列的测试序列中，对HHI公司、ETRI研究所的四个彩色视频序列的第6个视点以及Nagoya大学两个彩色视频测试序列的第40个视点的前61帧彩色图像进行编码。
表1测试环境
表2给出了各个测试序列采用JMVC编码方法中的宏块最优模式全搜索方法以及本发明方法进行多视点彩色视频编码的节约的编码时间的百分比。表2中Ts表示与现有的JMVC宏块最优模式全搜索方法相比，本发明方法节约的编码时间的百分比。本发明方法所用的编码时间已包括求取恰可察觉失真图像的时间。表3给出了与现有的JMVC宏块最优模式全搜索方法相比，本发明方法的码率和重建图像的结构相似度（StructuralSimilarity，SSIM）的变化情况，表3中ΔSSIM表示利用本发明方法进行宏块编码模式选择再编码重建61帧彩色图像的平均结构相似度与现有的JMVC宏块最优模式全搜索方法重建61帧彩色图像的平均结构相似度的差值，ΔB表示利用本发明方法进行宏块编码模式选择再编码61帧彩色图像的平均码率相对于JMVC宏块最优模式全搜索方法编码61帧彩色图像的平均码率的差值。结合表2和表3可以看出，本发明方法在主观感知质量上和JMVC宏块最优模式全搜索方法基本保持一致，在码率基本不变的情况下，本发明方法平均节约编码时间72.7%，明显降低了编码复杂度。
表2编码时间比较
表3编码性能比较
图10a给出了采用JMVC编码方法对“Champagnetower”视频序列的第35帧彩色图像编码后再重建的彩色图像，图10b给出了采用本发明方法对“Champagnetower”视频序列的第35帧彩色图像的宏块编码模式进行选择，编码后再重建的彩色图像，图10c给出了采用JMVC编码方法对“lovebird1”视频序列的第35帧彩色图像编码后再重建的彩色图像，图10d给出了采用本发明方法对“lovebird1”视频序列的第35帧彩色图像的宏块编码模式进行选择，编码后再重建的彩色图像，图10e给出了采用JMVC编码方法对“AltMoabit”视频序列的第35帧彩色图像编码后再重建的彩色图像，图10f给出了采用本发明方法对“AltMoabit”视频序列的第35帧彩色图像的宏块编码模式进行选择，编码后再重建的彩色图像，图10g给出了采用JMVC编码方法对“Doorflowers”视频序列的第35帧彩色图像编码后再重建的彩色图像，图10h给出了采用本发明方法对“Doorflowers”视频序列的第35帧彩色图像的宏块编码模式进行选择，编码后再重建的彩色图像，图10a至图10h可以更直观、更清晰地说明本发明方法对各种视频内容、纹理信息、运动特性的多视点彩色视频序列，在保持重建图像的主观质量情况下，能够大大提高编码的效率。
图11a给出了多视点彩色序列“Champagnetower”采用JMVC编码方法和采用本发明方法编码后的率失真性能曲线比较示意图，图11b给出了多视点彩色序列“lovebird1”采用JMVC编码方法和采用本发明方法编码后的率失真性能曲线比较示意图，从图11a和图11b中可以看出，本发明方法与JMVC编码方法相比，在相同码率下，重建图像的客观质量PSNR基本保持不变；在相同的重建图像质量下，采用本发明方法选择宏块编码模式后编码所用平均码率不会增加，从而有力地证明了本发明方法在保持码率和客观质量基本不变的情况下，显著提高了多视点视频编码的速度。
Claims (4)
1.一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于它的处理过程为：首先，获取待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像；然后，将待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像分割成多个互不重叠的且尺寸大小为16×16的图像块；接着，计算待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值；最后，根据待处理的彩色视频序列中的每幅彩色图像的帧类型为每幅彩色图像中的每个宏块选择最优宏块编码模式，当彩色图像为HBP编码预测结构中的I帧或P帧时，按照JMVC编码方法为彩色图像中的每个宏块选择各自对应的最优宏块编码模式，当彩色图像为HBP编码预测结构中的B帧时，根据待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，确定彩色图像中的每个宏块的最优宏块编码模式；
该宏块模式快速选择方法具体包括以下步骤：
①将待处理的彩色视频序列记为{C(W,H,k)}，其中，W表示{C(W,H,k)}中的彩色图像的水平分辨率，H表示{C(W,H,k)}中的彩色图像的竖直分辨率，C(W,H,k)表示{C(W,H,k)}中的第k幅彩色图像，1≤k≤K，k的初始值为1，K表示{C(W,H,k)}中包含的彩色图像的幅数；
②获取{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时空域的恰可察觉失真图像记为STJND(W,H,k)；然后将{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像分割成个互不重叠的且尺寸大小为16×16的图像块，将STJND(W,H,k)中坐标位置为(i,j)的图像块记为其中，再计算{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，将STJND(W,H,k)中坐标位置为(i,j)的图像块的恰可察觉失真值记为 其中，表示STJND(W,H,k)中坐标位置为(i,j)的图像块中坐标位置为(p,q)的像素点的恰可察觉失真值；
③将{C(W,H,k)}中当前待编码的第k幅彩色图像C(W,H,k)定义为当前彩色图像；
④判断当前彩色图像是否为HBP编码预测结构中的B帧，如果是，则执行步骤⑤，否则，按照JMVC编码方法为当前彩色图像中的每个尺寸大小为16×16的宏块选择各自对应的最优宏块编码模式；
⑤将当前彩色图像中当前正在处理的坐标位置为(i,j)的且尺寸大小为16×16的宏块定义为当前宏块，其中，
⑥判断STJND(W,H,k)中与当前宏块的坐标位置对应的图像块的恰可察觉失真值是否大于宏块模式选择阈值T，如果是，则仅搜索帧间模式中的Skip模式和Inter16×16模式及帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式，获取当前宏块的最优宏块编码模式，否则，仅搜索帧间模式中的Skip模式、Inter16×16模式、Inter8×16模式和Inter16×8模式及帧内模式中的Intra16×16模式、Intra8×8I模式和Intra4×4模式和PCM模式，获取当前宏块的最优宏块编码模式；
⑦令i'＝i+1,i＝i',j'＝j+1,j＝j'，将当前彩色图像中下一个待处理的尺寸大小为16×16的宏块作为当前宏块，然后返回步骤⑥继续执行，直至当前彩色图像中的所有宏块处理完毕，再执行步骤⑧，其中，i'＝i+1,i＝i',j'＝j+1,j＝j'中“＝”为赋值符号，i'的初始值为0，j'的初始值为0；
⑧令k'＝k+1,k＝k'，将{C(W,H,k)}中下一幅待编码的彩色图像作为当前彩色图像，然后返回步骤④继续执行，直至{C(W,H,k)}中的所有彩色图像处理完毕，其中，k'＝k+1,k＝k'中“＝”为赋值符号，k'的初始值为0。
2.根据权利要求1所述的一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于所述的步骤②中获取{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像的具体过程为：
②-1、计算{C(W,H,k)}中的每幅彩色图像中的每个像素点的空域的恰可察觉失真值，得到{C(W,H,k)}中的每幅彩色图像对应的空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的空域的恰可察觉失真图像记为SJND(W,H,k)；
②-2、计算{C(W,H,k)}中的每幅彩色图像中的每个像素点的时域的恰可察觉失真值，得到{C(W,H,k)}中的每幅彩色图像对应的时域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时域的恰可察觉失真图像记为TJND(W,H,k)；
②-3、根据{C(W,H,k)}中的每幅彩色图像对应的空域的恰可察觉失真图像和时域的恰可察觉失真图像，获得{C(W,H,k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C(W,H,k)}中的第k幅彩色图像C(W,H,k)对应的时空域的恰可察觉失真图像记为STJND(W,H,k)，将STJND(W,H,k)中坐标位置为(x,y)的像素点的恰可察觉失真值记为IJND(x,y)，其中，1≤x≤W,1≤y≤H。
3.根据权利要求1或2所述的一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于所述的步骤⑥中的宏块模式选择阈值T的确定过程为：
⑥-1、采用HBP编码预测结构使用JMVC编码方法对一个彩色视频序列中的每幅彩色图像进行编码；
⑥-2、按照步骤①至步骤②的操作过程，获取该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值；
⑥-3、按照JMVC编码方法为该彩色视频序列中的每幅彩色图像中的每个尺寸大小为16×16宏块选择各自对应的最优宏块编码模式；
⑥-4、统计该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与该彩色视频序列中的每幅彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系，得到该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与该彩色视频序列中的每幅彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系图；
⑥-5、按照步骤⑥-1至步骤⑥-4的操作过程，获取N个彩色视频序列相应的对应关系图，分析N个彩色视频序列相应的对应关系图，根据N幅对应关系图的统计规律，确定宏块模式选择阈值T的具体值，其中，N≥1。
4.根据权利要求3所述的一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于所述的宏块模式选择阈值T的具体值为9。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210536759.2A CN103024381B (zh) | 2012-12-10 | 2012-12-10 | 一种基于恰可察觉失真的宏块模式快速选择方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210536759.2A CN103024381B (zh) | 2012-12-10 | 2012-12-10 | 一种基于恰可察觉失真的宏块模式快速选择方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103024381A CN103024381A (zh) | 2013-04-03 |
| CN103024381B true CN103024381B (zh) | 2016-01-20 |
Family
ID=47972455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210536759.2A Expired - Fee Related CN103024381B (zh) | 2012-12-10 | 2012-12-10 | 一种基于恰可察觉失真的宏块模式快速选择方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103024381B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103533348B (zh) * | 2013-09-26 | 2017-02-01 | 上海大学 | 基于视觉感知的多视点快速模式选择方法 |
| CN104469386B (zh) * | 2014-12-15 | 2017-07-04 | 西安电子科技大学 | 一种基于dof的恰可察觉误差模型的感知立体视频编码方法 |
| CN107241607B (zh) * | 2017-07-18 | 2020-06-16 | 厦门大学 | 一种基于多域jnd模型的视觉感知编码方法 |
| CN110062234B (zh) * | 2019-04-29 | 2023-03-28 | 同济大学 | 一种基于区域恰可察觉失真的感知视频编码方法 |
| CN111669601B (zh) * | 2020-05-21 | 2022-02-08 | 天津大学 | 一种3d视频智能多域联合预测编码方法及装置 |
| CN112967229B (zh) * | 2021-02-03 | 2024-04-26 | 杭州电子科技大学 | 基于视频感知特征参量度量计算恰可察觉失真阈值的方法 |
| CN114359784A (zh) * | 2021-12-03 | 2022-04-15 | 湖南财政经济学院 | 一种面向视频压缩的人眼恰可察觉失真的预测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841723A (zh) * | 2010-05-25 | 2010-09-22 | 东南大学 | 基于jnd和ar模型的感知视频压缩方法 |
| CN102724525A (zh) * | 2012-06-01 | 2012-10-10 | 宁波大学 | 一种基于中心凹恰可觉察失真模型的深度视频编码方法 |
-
2012
- 2012-12-10 CN CN201210536759.2A patent/CN103024381B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841723A (zh) * | 2010-05-25 | 2010-09-22 | 东南大学 | 基于jnd和ar模型的感知视频压缩方法 |
| CN102724525A (zh) * | 2012-06-01 | 2012-10-10 | 宁波大学 | 一种基于中心凹恰可觉察失真模型的深度视频编码方法 |
Non-Patent Citations (4)
| Title |
|---|
| 《Just noticeable distortion model and its applications》;X.K. Yang, W.S. Ling, Z.K. Lu, E.P. Ong , S.;《Signal Processing: Image Communication》;20050425;第20卷(第4期);全文 * |
| 《Motion-Compensated Residue Preprocessing》;X. Yang, W. Lin, and Z. Lu.;《IEEE Transactions on Circuits and Systems for Video Technology》;20050630;第15卷(第6期);全文 * |
| 《基于模式相关性的多视点视频编码宏块》;彭宗举，蒋刚毅，郁梅;《光学学报》;20090131;第29卷(第5期);全文 * |
| 《应用于多视点视频压缩的多参考B帧快速编码算法》;郁梅,徐秋敏,蒋刚毅,陈恳;《电子与信息学报》;20080630;第30卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103024381A (zh) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103024381B (zh) | 一种基于恰可察觉失真的宏块模式快速选择方法 | |
| CN100496121C (zh) | 一种交互式多视点视频系统的图像信号处理方法 | |
| CN102685532B (zh) | 自由视点四维空间视频编码系统的编码方法 | |
| JP5575908B2 (ja) | ２ｄビデオデータの３ｄビデオデータへの変換のための深度マップ生成技法 | |
| KR101753171B1 (ko) | 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법 | |
| CN101986716B (zh) | 一种快速深度视频编码方法 | |
| CN104412597B (zh) | 用于3d视频编码的统一视差矢量推导的方法及装置 | |
| CN106134191B (zh) | 用于低延迟亮度补偿处理以及基于深度查找表的编码的方法 | |
| CN101616322A (zh) | 立体视频编解码方法、装置及系统 | |
| CN103338370B (zh) | 一种多视点深度视频快速编码方法 | |
| CN104469336B (zh) | 多视点深度视频信号的编码方法 | |
| CN101404766B (zh) | 一种多视点视频信号的编码方法 | |
| CN103002306B (zh) | 一种深度图像编码方法 | |
| CN104904206B (zh) | 空间运动矢量预测推导方法和装置 | |
| CN102158712A (zh) | 一种基于视觉的多视点视频信号编码方法 | |
| WO2016155070A1 (zh) | 一种面向多纹理多深度视频的相邻视差矢量获取方法 | |
| CN102438147B (zh) | 帧内同步立体视频多参考帧模式视间预测编码及解码方法 | |
| CN103024402B (zh) | 一种自由视点视频整帧丢失错误隐藏方法 | |
| CN100581265C (zh) | 一种多视点视频的处理方法 | |
| CN101867816A (zh) | 一种基于人眼视觉特性的立体视频非对称压缩编码方法 | |
| CN101621683A (zh) | 一种基于avs的快速立体视频编码方法 | |
| CN105306954B (zh) | 一种基于视差最小可察觉误差模型的感知立体视频编码 | |
| CN102438167B (zh) | 一种基于深度图像绘制的立体视频编码方法 | |
| CN102710949B (zh) | 一种基于视觉感知的立体视频编码方法 | |
| CN106210741B (zh) | 一种基于视点间相关性的深度视频编码算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 Termination date: 20181210 |