CN106210740A - 使用视图间运动预测编码深度数据的方法及其装置 - Google Patents

Abstract

本发明提供一种使用视图间运动预测编码深度数据的方法及其装置。编码深度数据的方法用于三维或多视图视频编码系统，编码深度数据的方法包括：接收与附属视图中目前深度图的深度数据的目前深度区块相关的输入数据；确定与目前深度图相关的深度数据的位深；根据与位深相关的深度值，来推导已转换的视差向量；使用已转换的视差向量定位参考视图中视图间参考深度图中的对应深度区块；以及使用作为视图间预测的对应深度区块来编码或解码目前深度区块。本发明提供的使用视图间运动预测编码深度数据的方法及其装置，可以适应于任意的位深的深度值估计。

Description

使用视图间运动预测编码深度数据的方法及其装置

【与相关申请的交叉引用】

本发明主张申请于2014年6月4日，序列号为PCT/CN2014/079155，标题为“Depth Coding Compatible with Arbitrary Bit-Depth”的PCT专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及三维以及多视图视频编码技术领域，特别涉及一种编码深度数据的方法及其装置。

【背景技术】

三维(three-dimensional，3D)电视一直是今年来的技术趋势，其试图给观看者带来轰动的观看体验(viewing experience)。各种技术都被开发出来以使三维观看成为可能。其中，多视图视频(multi-view video)是三维电视应用中的一个关键技术。现有的视频是二维(two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个视图。然而，三维视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。

通常的，三维视频是通过使用具有相关装置的视频照相机来捕捉深度信息或同时地使用多个相机来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角捕捉场景。根据基于三维视频编码标准的高效视频编码(High Efficiency Video Coding，HEVC)(命名为3D-HEVC)的草案(draft)，视图间运动预测(inter-view motion prediction，IVMP)被应用于深度编码以及纹理编码(texture coding)。对于纹理编码，邻近区块视差向量(neighboring blockdisparity vector，NBDV)方法被用来导出两个视图之间的视差向量(disparityvector，DV)。然而，对于深度编码，Park等人的文章揭露了一种简化的方法(3D-CE2是相关于：Simplification of DV Derivation for Depth Coding,JointCollaborative Team on 3D Video Coding Extension of ITU-T SG 16 WP 3 andISO/IEC JTC 1/SC 29/WG 11,7th Meeting:San Jose,US,11-17 Jan.2014,Document:JCT3V-G0074)。

图1为根据现有的Park等人的文章中的用于深度数据的IVMP的视差向量推导的示意图。区块120是附属视图(V1)中的深度区块(depth block)，且区块110是基础视图或参考视图(V0)中对应的深度区块。区块110是经由视差向量112从当前区块120定位。根据Park等人的文章，已转换的视差向量(converted DV)是通过使用基于照相机模型的深度值到视差转换(depth value todisparity conversion)130将固定的深度值(即，128)转换为已转换的视差向量来决定。基于IVMP编码，视图间参考区块(即，区块110)使用视差向量(即，DV 112)根据当前区块(即，区块120)的位置被定位。接着，视图间参考区块(即，区块110)被用作当前区块(即，区块120)的预测子(predictor)。

使用固定的深度值128显然是基于深度数据具有精确对应于0到255的8比特的假设，且128是深度范围的中间深度值。然而，深度数据可以使用其它位深，例如10或12比特。于这样的情况下，固定的128个等级可能不能用于推导视差向量的合适的深度估计。因此，希望开发用于深度数据的IVMP编码技术，其可以可靠地工作于深度数据的各种位深。

【发明内容】

为了解决上述问题，本发明提出了一种编码深度数据的方法及其装置。

根据本发明的第一方面，提供一种使用视图间运动预测编码深度数据的方法，所述编码深度数据的方法用于三维或多视图视频编码系统，所述编码深度数据的方法包括：接收与附属视图中目前深度图的深度数据的目前深度区块相关的输入数据；确定与所述目前深度图相关的所述深度数据的位深；根据与所述位深相关的深度值，来推导已转换的视差向量；使用所述已转换的视差向量定位参考视图中视图间参考深度图中的对应深度区块；以及使用作为视图间预测的所述对应深度区块来编码或解码所述目前深度区块。

根据本发明的第二方面，提供一种使用视图间运动预测编码深度数据的装置，所述编码深度数据的装置用于三维或多视图视频编码系统，所述编码深度数据的装置包括一个或多个用于进行以下操作的电子电路：接收与附属视图中目前深度图的深度数据的目前深度区块相关的输入数据；确定与所述目前深度图相关的所述深度数据的位深；根据与所述位深相关的深度值，来确定已转换的视差向量；使用所述已转换的视差向量定位参考视图中视图间参考深度图中的对应深度区块；以及使用作为视图间预测的所述对应深度区块来编码或解码所述目前深度区块。

本发明提供的编码深度数据的方法及其装置，可以适应于任意的位深的深度值估计。

【附图说明】

图1为根据现有的Park等人所写的文章中的用于深度数据的IVMP的视差向量推导的示意图。

图2为根据本发明实施例的使用视差向量推导的深度数据的IVMP编码的示意图。

图3为根据本发明实施例的根据IVMP的深度数据的位深推导已转换的视差向量的示范性系统的流程图。

【具体实施方式】

下面的描述是实施本发明的较佳预期模式。这种描述是为了说明本发明的一般原理的目的，而不应被理解成具有限制性的意义。本发明的保护范围当视所附权利要求所界定者为准。

本发明涉及用于深度数据的三维以及多视图视频编码。特别地，本发明涉及用于深度数据的视图间运动预测(inter-view motion prediction，IVMP)的视差向量推导(disparity vector derivation)。

如上所述，当深度数据使用不是8个比特的位深时，被用于深度到视差转换的固定的深度值128可能不是一个好的深度值的估计。因此，期望能开发出一种可以适应于任意的位深的深度值估计。

在一个实施例中，深度数据的IVMP编码所使用的两个视图之间的视差向量是根据目前序列中指示的深度数据的位深来推导的。图2为根据本发明实施例的使用视差向量推导的深度数据的IVMP编码的示意图。与图1所示的的使用固定的深度值128不同的是，如图2所示，目前的发明使用位深(bit depth)来作为深度值估计(depth value estimation)210的输入，以推导出估计深度值(estimated depth value)。估计深度值被深度值到视差转换130使用来推导已转换的视差向量。于本公开中，已转换的视差向量也被称为已推导的视差向量。如图2所示，于深度值到视差转换130确定估计深度值后，剩余的IVMP编码过程与现有的IVMP编码过程是相同的。换句话说，估计深度值被用于使用深度值到视差转换130的IVMP编码来推导已转换的视差向量。

在另一实施例中，估计深度值可以是基于目前深度分量的位深。深度值到视差转换130使用估计深度值来推导已转换的视差向量。此外，IVMP编码使用已推导的视差向量来定位用于目前深度区块的视图间参考区块。

以下过程示出了根据位深推导IVMP编码的两个视图之间的视差向量(MvDisp)的示例。IVMP所需要的两个视图之间的视差向量MvDisp可以被计算如下：

MvDisp＝(DepthToDisparityB[(1<<(BitDepth–1))],0) (1)

其中，DepthToDisparityB是一个将深度值转换为对应视差向量的水平分量的函数，且BitDepth是指目前深度分量的位深。于等式(1)中，因为多视图相机通常被配置为水平的，所以可以假设垂直视差为0。然而，对应的深度到视差函数可用于其它多视图照相机配置。转换还可有效率的以查找表(lookup table)的形式被实现。其中，与所述位深相关的深度值可以表示为d，d是根据d＝1<<(BitDepth–1)来计算，BitDepth对应于位深，且“<<”对应于算术左移运算(arithmetic shift left operation)。已转换的视差向量对应于(DepthToDisparityB[d],0)，其中，DepthToDisparityB[]是映射输入深度值到输出视差向量的查找函数。也就是说，于以上示例中，估计深度值对应于(1<<(BitDepth–1))，其中“<<”对应于算术左移运算。因此，如果BitDepth为10，则估计深度值为512，且如果BitDepth为12，则估计深度值为2048。

在另一实施例中，用于深度数据的IVMP编码仅允许用于深度分量的位深为8。如果由于深度分量不为8，而位深不为8，则用于深度数据的IVMP编码是不被允许的。如果比特流指示IVMP被用于深度数据且位深不为8，则与深度数据相关的比特流被宣布无效。

图3为根据本发明实施例的根据IVMP的深度数据的位深推导已转换的视差向量的示范性系统的流程图。该系统是，例如，三维视频编码系统或多维视频编码系统。如步骤310所示，系统接收到与目前深度图的深度数据的目前深度区块相关的输入数据，其中目前深度图在附属视图内。对于编码，与深度数据相关的输入数据被编码。对于解码，与已编码的深度数据相关的输入数据被解码。输入数据可从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或从处理器中获取(retrieve)。于步骤320中，确定与目前深度图相关的深度数据的位深。如步骤330所示，根据位深从已选择的深度值中推导出已转换的视差向量。如步骤340所示，使用已转换的视差向量定位参考视图中的视图间参考深度图的对应深度区块。如步骤350所示，使用作为视图间预测对应深度区块的来编码或解码目前深度区块。于另一实施例中，与目前深度图相关的深度数据的位深是由与深度数据相关的比特流的序列等级来指示。

如上所示的流程图旨在根据本发明来说明用于深度数据的IVMP的示例。在本领域技术人员在不背离本发明精神的情况下可以修改每个步骤，重新排列步骤，分割步骤，或合并步骤以实施本发明。

以上描述被呈现以使本领域的普通技术人员能够实施如特定应用及其需求的上下文所提供的本发明。所描述的实施例的各种修改对本领域中技术人员来说是显而易见的，且本文定义的一般原理可以于其它实施例中被实施。因此，本发明并非旨在限定描述及所示的特定实施例，而是要符合与本文所揭露的原理及新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节将被示出，以便提供对本发明的彻底的理解。然而，本领域技术人员将明白，本发明是可以被实施的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (16)

1.一种使用视图间运动预测编码深度数据的方法，所述编码深度数据的方法用于三维或多视图视频编码系统，其特征在于，所述编码深度数据的方法包括：

接收与附属视图中目前深度图的深度数据的目前深度区块相关的输入数据；

确定与所述目前深度图相关的所述深度数据的位深；

根据与所述位深相关的深度值，来推导已转换的视差向量；

使用所述已转换的视差向量定位参考视图中视图间参考深度图中的对应深度区块；以及

使用作为视图间预测的所述对应深度区块来编码或解码所述目前深度区块。

2.如权利要求1所述的使用视图间运动预测编码深度数据的方法，其特征在于，所述已转换的视差向量是使用查找表从与所述位深相关的所述深度值中决定。

3.如权利要求1所述的编码深度数据的方法，其特征在于，与所述位深相关的所述深度值d是根据d＝1<<(BitDepth–1)来计算，BitDepth对应于所述位深，且“<<”对应于算术左移运算。

4.如权利要求3所述的使用视图间运动预测编码深度数据的方法，其特征在于，所述已转换的视差向量对应于(DepthToDisparityB[d],0)，其中，DepthToDisparityB[]是映射输入深度值到输出视差向量的查找函数。

5.如权利要求1所述的使用视图间运动预测编码深度数据的方法，其特征在于，与所述目前深度图相关的所述深度数据的所述位深是在与所述深度数据相关的比特流的序列等级中指示。

6.如权利要求1所述的使用视图间运动预测编码深度数据的方法，其特征在于，只有当所述位深为8时，所述确定所述已转换的视差向量，所述定位所述对应深度区块，以及所述使用作为所述视图间预测的所述对应深度区块编码或解码所述目前深度区块的步骤被执行。

7.如权利要求1所述的使用视图间运动预测编码深度数据的方法，其特征在于，如果所述位深不为8，则所述使用作为所述视图间预测的所述对应深度区块编码或解码所述目前深度区块的步骤不被执行。

8.如权利要求1所述的使用视图间运动预测编码深度数据的方法，其特征在于，如果所述比特流指示视图间运动预测被用于所述深度数据，且所述位深不为8，则与所述深度数据相关的比特流是无效的。

9.一种使用视图间运动预测编码深度数据的装置，所述编码深度数据的装置用于三维或多视图视频编码系统，其特征在于，所述编码深度数据的装置包括一个或多个用于进行以下操作的电子电路：

接收与附属视图中目前深度图的深度数据的目前深度区块相关的输入数据；

确定与所述目前深度图相关的所述深度数据的位深；

根据与所述位深相关的深度值，来确定已转换的视差向量；

使用所述已转换的视差向量定位参考视图中视图间参考深度图中的对应深度区块；以及

使用作为视图间预测的所述对应深度区块来编码或解码所述目前深度区块。

10.如权利要求9所述的使用视图间运动预测编码深度数据的装置，其特征在于，所述已转换的视差向量是使用查找表从与所述位深相关的所述深度值中决定。

11.如权利要求9所述的使用视图间运动预测编码深度数据的装置，其特征在于，与所述位深相关的所述深度值，d是根据d＝1<<(BitDepth–1)来计算，BitDepth对应于所述位深，且“<<”对应于算术左移运算。

12.如权利要求11所述的使用视图间运动预测编码深度数据的装置，其特征在于，所述已转换的视差向量对应于(DepthToDisparityB[d],0)，其中，DepthToDisparityB[]是映射输入深度值到输出视差向量的查找函数。

13.如权利要求9所述的使用视图间运动预测编码深度数据的装置，其特征在于，与所述目前深度图相关的所述深度数据的所述位深是在与所述深度数据相关的比特流的序列等级中指示。

14.如权利要求9所述的使用视图间运动预测编码深度数据的装置，其特征在于，只有当所述位深为8时，所述确定所述已转换的视差向量，所述定位所述对应深度区块，以及所述使用作为所述视图间预测的所述对应深度区块编码或解码所述目前深度区块的步骤被执行。

15.如权利要求9所述的使用视图间运动预测编码深度数据的装置，其特征在于，如果所述位深不为8，则所述使用作为所述视图间预测的所述对应深度区块编码或解码所述目前深度区块的步骤不被执行。

16.如权利要求9所述的使用视图间运动预测编码深度数据的装置，其特征在于，如果所述比特流指示视图间运动预测被用于所述深度数据，且所述位深不为8，则与所述深度数据相关的比特流是无效的。