CN102413353B - 立体视频编码过程的多视点视频和深度图的码率分配方法 - Google Patents

Abstract

本发明公开一种立体视频编码过程中的多视点视频和深度图的码率分配方法，包括设定待编码的当前多视点视频帧的初始码率和深度图的码率范围；计算当前多视点视频帧和深度图的编码量化参数；预测各个视点当前视频帧和当前深度图的编码量化失真；计算当前虚拟视点图像绘制失真；设置为当前虚拟视点图像绘制失真的优化值，将当前深度图的编码量化参数增加预设值并调整多视点视频帧的编码量化参数；计算得到当前多视点视频帧的优化码率和深度图的优化码率；计算其他多视点视频帧的优化码率和深度图的优化码率。本发明实现对立体视频中的多视点视频与深度图进行逐帧码率分配，从而利于立体视频系统在给定网络带宽的条件下获得最优的虚拟视点绘制质量。

Description

立体视频编码过程的多视点视频和深度图的码率分配方法

技术领域

本发明涉及视频编码技术领域，特别是涉及一种立体视频编码过程中的多视点视频和深度图的码率分配方法。

背景技术

在立体视频以及自由视点视频系统中，由多视点视频和深度图构成的数据格式获得了广泛的应用。在编码端，多视点视频是通过校准后的同步相机阵列拍摄获得。深度图则通过深度相机拍摄获得或对多视点视频中应用多视图几何关系求得。采集得到的多视点视频以及深度图序列经过多视点视频编码器进行压缩并发送到解码端。在解码端，解码器对码流进行解码重构多视点视频以及深度图序列。然后合成观看者所选择视点对应的视频，从而为观看者提供具有立体视觉的视频。

在基于多视点视频和深度图的立体视频系统中，多视点视频和深度图序列分别通过多视点视频编码器独立进行压缩。在解码端，多视点视频和深度图的重构误差均会造成虚拟视点重建质量的下降。为了获得最优的视点重建质量，需要在给定传输带宽下合理分配多视点视频以及深度图编码的码率，从而使得虚拟视点绘制失真最小。为估计虚拟视点绘制失真，需要获得在不同编码参数条件下多视点视频和深度图解码序列。这需要对多视点视频和深度图进行多次编解码操作，大大提高了编码器的复杂度。为了进行高效的码率分配，编码器需要对多视点视频和深度图编码率失真模型进行估计。进一步，编码器将估计不同编码参数条件下对应的虚拟视点绘制失真，从而在给定带宽下找到获得最优的虚拟视点视频绘制质量所对应的多视点视频和深度图编码参数选择。

传统涉及立体视频码率控制与分配技术方案，主要针对多视点视频码率控制问题，双目立体视频中左右视点码率分配以及各编码单元之间的码率分配问题。由于虚拟视点绘制失真是通过对多视点视频以及对应深度图逐帧分析获得，因此需要建立帧级多视点视频和深度图的码率分配方案，从而实现对多视点视频和深度图码率进行最优分配。

发明内容

本发明旨在至少解决上述技术问题之一。为此，本发明的目的在于提出一种立体视频编码过程中的多视点视频和深度图的码率分配方法，该方法使得立体视频系统在给定网络带宽的条件下获得最优的虚拟视点绘制质量。

为实现上述目的，本发明的实施例提出了一种立体视频编码过程中的多视点视频和深度图的码率分配方法，包括如下步骤：

(1)根据立体视频传输过程中的码率限制值，设定立体视频待编码的当前多视点视频帧的初始码率和当前深度图的初始码率，并设定一个当前虚拟视点图像绘制失真的优化值；

(2)根据所述当前多视点视频帧的初始码率，计算所述当前多视点视频帧的编码量化步长，并根据所述当前多视点视频帧的编码量化步长计算所述当前多视点视频帧的编码量化参数，根据所述当前深度图的初始码率，计算所述当前深度图的编码量化步长，并根据所述当前深度图的编码量化步长计算所述当前深度图的编码量化参数；

(3)根据所述当前多视点视频帧的编码量化参数和所述当前深度图的编码量化参数，预测所述各个视点的当前视频帧和当前深度图的编码量化失真；

(4)根据所述当前各个视点视频帧的编码量化失真和对应视点当前深度图的编码量化失真，计算当前虚拟视点图像绘制失真；

(5)判断所述当前虚拟视点图像绘制失真是否小于当前虚拟视点图像绘制失真的优化值，如果是则将所述当前虚拟视点图像绘制失真设置为所述当前虚拟视点图像绘制失真的优化值，将所述当前深度图的编码量化参数增加预设值，重新计算深度图编码码率，同时根据传输带宽限制调整多视点视频编码码率，重新计算当前多视点视频帧的编码量化参数，并返回步骤(3)，否则根据所述当前虚拟视点图像绘制失真的优化值对应的多视点视频帧的编码量化参数和当前深度图的编码量化参数，计算得到所述当前多视点视频帧的优化码率和所述当前深度图的优化码率；以及

(6)对立体视频待编码的其他多视点视频帧和深度图，按照步骤(1)-(5)所述的方法，计算得到所述其他多视点视频帧的优化码率和所述其他深度图的优化码率，实现码率优化分配。

根据本发明实施例的帧级多视点视频和深度图的帧级立体视频码率分配方法，实现了在给定传输带宽下，多视点视频和深度图码率的高效最优分配，从而使解码端在进行虚拟视点绘制时获得最优的绘制质量。

在本发明的一个实施例中，所述的立体视频的视点个数为两个。

在本发明的一个实施例中，所述的当前深度图的编码量化参数增加预设值设定为1。

在本发明的一个实施例中，所述的根据立体视频传输过程中的码率限制值，设定立体视频待编码的当前多视点视频帧的初始码率和当前深度图的初始码率，并设定一个当前虚拟视点图像绘制失真的优化值，具体包括：根据所述立体视频待编码的当前多视点视频帧和当前深度图各自的编码码率范围，设定所述立体视频待编码的当前多视点视频帧的初始码率和当前深度图的初始码率。

在本发明的一个实施例中，所述的根据所述各个视点的当前视频帧的编码量化失真和当前深度图的编码量化失真，计算当前虚拟视点图像绘制失真包括：根据所述每个视点的当前视频帧编码量化失真，计算每个视点的当前视频帧量化引入失真；根据所述当前每个视点的当前深度图编码量化失真，计算每个视点的当前深度图量化引入失真；以及根据所述每个视点的当前视频帧和深度图的量化引入失真，计算所述当前虚拟视点图像绘制失真。

在本发明的一个实施例中，所述的两个视点分别为左参考视点和右参考视点，根据所述各个视点的当前视频帧的编码量化失真和当前深度图的编码量化失真，计算当前虚拟视点图像绘制失真包括：

根据所述左参考视点的当前视频帧编码量化失真，计算所述左参考视点的当前视频帧量化引入失真，根据所述左参考视点的当前深度图编码量化失真，计算所述左参考视点的当前深度图量化引入失真；

根据所述右参考视点的当前视频帧编码量化失真，计算所述右参考视点的当前视频帧量化引入失真，根据所述右参考视点的当前深度图编码量化失真，计算所述右参考视点的当前深度图量化引入失真；以及

根据所述左参考视点的当前视频帧量化引入失真和当前深度图量化引入失真、所述右参考视点的当前视频帧量化引入失真和当前深度图量化引入失真，通过公式

计算得到所述当前虚拟视点图像绘制失真，其中，代表所述当前虚拟视点图像绘制失真，

代表所述左参考视点的当前视频帧量化引入失真，

代表所述左参考视点的当前深度图量化引入失真，

代表所述右参考视点的当前视频帧量化引入失真，

代表所述右参考视点当前深度图量化引入失真，w_a代表所述左参考视点加权系数，w_b代表所述右参考视点加权系数，

和

分别代表左右参考视点绘制虚拟视点时的非遮挡像素占全部画面像素的比例。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于帧级多视点视频和深度图的帧级立体视频码率分配方法的流程框图；

图2为根据本发明实施例的立体视频实体结构框图；

图3为根据本发明实施例的多视点视频编码预测结构框图；以及

图4为根据本发明实施例的虚拟视点绘制原理图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

下面参考图1至图4描述根据本发明实施例的立体视频编码过程中的多视点视频和深度图的码率分配方法。其中，本发明实施例提供的立体视频编码过程中的多视点视频和深度图的码率分配方法可以应用于立体视频系统中。

图2示出了立体视频系统。其中，用于立体视频编码的测试序列采用标清格式的名字为“Book Arrival”的标准测试序列；该标清格式视频序列的分辨率为1024×768；该测试序列包含16个视点的视频和对应的深度图。在本实施样例中，采用该序列的第10个视点和第8个视点的视频和深度图作为左、右参考视点。测试中，左、右参考视点的视频和深度图的帧数均为100帧。编解码器采用H.264/MPEG-4的多视点视频编码扩展版本的标准参考软件JMVC(Joint Multi-view Video Coding，联合多视点视频编码)；编码器GOP(Group ofPictures，图像组)的帧数为8；编码的时域预测编码采用Hierarchical B Picture(层次化双向预测编码帧，简称层次化B帧)的预测结构，编码预测结构图如图3所示。

在发明的一个实施例中，采用“Book Arrival测试序列的第9个视点作为虚拟视点进行测试。虚拟视点绘制采用参考软件VSRS(View Synthesis Reference Software)3.5版进行测试。其中，虚拟视点绘制的原理如图4所示。

如图1所示，根据本发明实施例的基于帧级多视点视频和深度图的帧级立体视频码率分配方法，包括如下步骤：

S110：根据码率限制设定当前待编码视频帧和深度图的初始码率。

根据立体视频传输过程中的码率限制值，设定立体视频待编码的当前多视点视频帧的初始码率和当前深度图的初始码率，并设定一个当前虚拟视点图像绘制失真的优化值。

具体设定步骤如下：

S111：设立体视频编码的总带宽限制为R_s，本实例设置为1.5M bps。根据立体视频编码过程中的码率限制值，深度图的码率范围设置为0＜R_d≤R_s/2，即0＜R_d≤750K bps。多视点视频编码的码率范围设置为R_s/2＜R_t≤R_s，即750K bps≤R_t＜1.5M bps。

S112：根据立体视频待编码的当前多视点视频帧和当前深度图各自的编码码率范围，设定立体视频待编码的当前多视点视频帧的初始码率和当前深度图的初始码率，设置深度图的初始码率为

即

设置多视点视频帧的初始码率为 $R_t^0=R_s/2,$ 即 $R_t^0=R_s/2=1500/2=750\mathrm{k\; bps}.$

在本发明的一个实施例中，设当前虚拟视点图像绘制失真的优化值为无穷大。

S120：计算当前多视点视频帧和当前深度图的编码量化参数。

多视点视频和深度图的码率与编码量化步长之间的关系可以表示为

j＝I，P，B。其中，I，P和B分别代表帧内编码帧(I帧)、单向预测编码帧(P帧)和双向预测编码帧(B帧)。i代表该帧的帧号。

为该帧的编码量化步长，与该帧编码量化参数QP_i之间的关系可以表示为

SAD_i为该帧预测残差的绝对值之和。K^j和C^j均为对应I帧、P帧和B帧的常数，需要根据不同的多视点视频帧和深度图进行设置。

具体地，步骤S120可以包括如下步骤：

S121：根据当前多视点视频帧的初始码率，以及预测得到深度图序列中第i帧预测残差的绝对值之和

计算对应的多视点视频帧编码初始量化步长

及对应的多视点视频帧编码初始量化参数并将

设置为当前多视点视频帧编码量化参数

设当前视频帧为左参考视点视频序列的第一帧。同样可以假设左、右参考视点的码率近似相等。当前视频帧的初始码率为

设当前视频帧的预测残差的绝对值之和为对于当前视频帧，码率和量化参数

之间的关系表达式为其中，

因此当前视频帧的初始编码量化步长为计算出当前视频帧的编码初始量化参数为 $Q{P}_1^{t_0}=[6\×{\log }_{2}31.88+4]=34.$

S122：根据当前深度图的初始码率，以及预测得到深度图序列中第i帧预测残差的绝对值之和计算对应的深度图编码初始量化步长

及对应的深度图编码初始量化参数

并将

设置为当前深度图编码量化参数

设当前深度图右参考视点的第一帧深度图。由于左右参考视点的深度图内容相似，在相同的编码参数下，可以假设左右参考视点深度图的码率近似相等。当前深度图的初始码率为

即当前深度图的初始编码比特数为25K bits。设当前深度图的预测残差的绝对值之和

对于当前深度图，码率和量化参数之间的关系表达式为

其中，

当前深度图的初始编码量化步长为又因为编码量化参数QP与量化步长Q之间的关系为Q＝2^(QP-4)/6。因此，当前深度图的编码初始量化参数

为其中，[·]代表取整。

可以理解的是，步骤S121和步骤S122可以先后执行也可以并行执行。换言之，可以同时执行步骤S121和步骤S122，也可以先执行步骤S121、后执行步骤S122或者先执行步骤S122、后执行步骤S121。

S130：预测当前深度图编码量化参数下当前深度图的编码量化失真。

当深度图的编码量化参数设置为

时，当前深度图的编码量化失真可以表示为

其中，l_d和b_d均为与深度图相关的常数，取值分别为l_d＝-0.64和h_d＝64.15。当编码量化参数为时，当前深度图的编码量化失真为 $D_{\mathrm{8,1}}^d=\frac{{255}^2}{{10}^{((-0.64\×29+64.15)/10)}}=1.80.$

S140：预测在当前视频帧的编码量化参数下当前视频帧的编码量化失真当多视点视频帧的编码量化参数设置为

时，当前多视点视频帧的编码量化失真可以表示为

其中，l_t和b_t均为与多视点视频帧相关的常数，取值分别为l_t＝-0.36和h_t＝48.27。当编码量化参数为

时，当前视频帧的编码量化失真为 $D_{\mathrm{8,1}}^t=\frac{{255}^2}{{10}^{((-0.36\×34+48.27)/10)}}=16.22.$

S150：预测在当前多视点频帧和当前深度图失真条件下虚拟视点图像绘制失真。

S151：在立体视频系统中，虚拟视点是有左右相邻参考视点的视频和深度图绘制而成，如图3所示。因此需要分别计算左右视点的失真值，将之综合为当前虚拟视点图像绘制失真值。如步骤S140所述，右参考视点视频帧的第一帧的编码量化失真为

采用步骤S140所述方法，可以获得左参考视点视频帧的第一帧的编码量化失真为

如步骤S130所述，右参考视点深度图的第一帧的编码量化失真为

同理，采用类似的方法，可以获得左参考视点深度图的第一帧的编码量化失真为对于左参考视点，当前视频帧和深度图的量化参数分别为

和

当采用当前解码视频帧进行虚拟视点绘制时，视频帧量化所引入的误差 $E_{a,i}^t=\frac{{255}^2}{{10}^{((l_t^a\×{\mathrm{QP}}_i^t+h_t^a)/10)}},$ 即 $E_{\mathrm{10,1}}^t=D_{\mathrm{10,1}}^t=15.97.$

采用当前帧的解码深度图进行虚拟视点图像绘制时，深度图量化误差会造成其对应的视差会产生误差。其对应视差的失真均方差可以表示为

其中，α为与多视点视频及其深度图相关的一个常数，取值为α＝0.02，。可以通过

计算获得，值为

由深度图编码量化失真所引入的虚拟视点图像绘制失真可以表示为

其中，为能量敏感因子。其计算公式可以表示为 ${\mathrm{\ψ}}_{a,i}^t=\frac{1}{2{\left(2\mathrm{\π}\right)}^2}(\∫\∫S_{a,t}^t\left(\mathrm{\ω}\right){\mathrm{\ω}}_1^2\mathrm{d\ω}+\∫\∫S_{a,i}^t\left(\mathrm{\ω}\right){\mathrm{\ω}}_2^2\mathrm{d\ω}),$ 其计算结果为

为左参考视点第i帧视频帧进行傅立叶变换后对应的能量密度，ω＝[ω₁，ω₂]代表水平和垂直方向的角频率。

代表左参考视点在虚拟视点绘制的过程中没有被遮挡的像素点的个数

与总像素点的个数n_a比例，即

通过解码的当前深度图计算所得视差的均方差失真为

当前深度图量化对于虚拟视点图像绘制所引入的误差

在从左参考视点的视频帧以及深度图绘制虚拟视点图像的过程中，没有被遮挡的像素点的个数为

虚拟视点绘制图像的总像素点的个数为n_a＝1024×768＝786432。因此，左参考视点在虚拟视点绘制的过程中没有被遮挡的像素点的个数比例为 $p_a^u=n_a^u/n_a=676331/786432=0.86.$

S152：对于右参考视点的失真计算方法与左参考视点类似。其中，视频帧量化所引入的误通过

计算，得出参数α的取值也为α＝0.02。深度图量化失真所引起的视差均方差误差为 ${\left|\right|\mathrm{\Δ}{d}_i^b\left|\right|}^2=\mathrm{\α}{D}_{b,i}^d=\mathrm{\α}\frac{{255}^2}{{10}^{((l_d^b\×Q{P}_i^d+h_d^b)/10)}},$ 即 ${\left|\right|\mathrm{\Δ}{d}_1^{10}\left|\right|}^2=0.2\×1.80=0.36.$ 深度图编码量化失真所引入的虚拟视点图像绘制失真可以表示为

的计算公式则可以表示为 ${\mathrm{\ψ}}_{b,i}^t=\frac{1}{2{\left(2\mathrm{\π}\right)}^2}(\∫\∫S_{b,t}^t\left(\mathrm{\ω}\right){\mathrm{\ω}}_1^2\mathrm{d\ω}+\∫\∫S_{b,i}^t\left(\mathrm{\ω}\right){\mathrm{\ω}}_2^2\mathrm{d\ω}),$ 即

表示为右参考视点在虚拟视点绘制的过程中没有被遮挡的像素点的个数

与总像素点的个数n_b比例，即在从右参考视点的视频帧以及深度图绘制虚拟视点图像的过程中，没有被遮挡的像素点的个数为

虚拟视点绘制图像的总像素点的个数为n_a＝1024×768＝786432。因此，右参考视点在虚拟视点绘制的过程中没有被遮挡的像素点的个数比例为 $p_a^u=n_a^u/n_a=652738/786432=0.83.$

S153：虚拟视点绘制的质量是左右参考视点的视频帧以及深度图的编码失真的函数。第i帧虚拟视点绘制图像的均方差失真可以表示为

$E_i^w=w_a\×p_a^u\×(E_{a,i}^t+E_{a,i}^d)+w_b\×p_b^u\×(E_{b,i}^t+E_{b,i}^d).$

其中，w_a＝l_b/(l_a+l_b)和w_b＝l_a/(l_a+l_b)代表左右参考视点加权系数，l_a和l_b代表左右参考视点到虚拟视点之间的基线距离。和

分别代表左右参考视点绘制虚拟视点时的非遮挡像素占全部画面像素的比例。

和

则代表左右参考视点视频帧量化引入失真。

和则代表左右参考视点深度图量化引入失真。

左右参考视点距离虚拟视点的基线距离相等，即l₁₀＝l₈。因此，虚拟视点绘制失真估计方法中的加权系数w₁₀和w₈满足w₁₀＝w₈＝0.5。将步骤(1)以及(2)中的结果进行综合可以得到，通过左右参考视点解码的当前视频帧和深度图绘制得到的虚拟视点图像的均方差失真

为

$E_1^w=w_{10}\×p_{10}^u\×(E_{\mathrm{10,1}}^t+E_{\mathrm{10,1}}^d)+w_8\×p_8^u\×(E_{\mathrm{8,1}}^t+E_{\mathrm{8,1}}^d)$

$=0.5\×0.86\×(15.97+19.60)+0.5\×0.83\×(16.22+17.28)$

$=29.20$

S160判断当前虚拟视点图像绘制失真是否小于虚拟视点图像绘制失真的优化值。

如果是，进入步骤S190；

如果不是，进入步骤S170。

S170：将最小虚拟视点图像绘制失真所对应的多视点视频帧和深度图编码参数作为当前帧的最优编码参数，当前帧的码率分配结束。

在经过五轮步骤迭代后，当前虚拟视点图像绘制失真

大于当前的虚拟视点图像绘制的最小失真

当前帧的码率分配结束。

S180判断当前帧是否为编码器缓存中的最后一个待编码帧。

如果否，进入步骤S210。

如果是，码率分配与编码过程结束。

S190：将当前虚拟视点图像绘制失真设置为当前虚拟视点图像绘制失真的优化值，将深度图编码量化参数

更新为

进入S130。

由于当前的虚拟视点图像绘制的最小失真

为无穷大，因此当前虚拟视点图像绘制失真

小于

将

的值赋给

即将当前深度图编码量化参数

加1，即

计算当前的深度图编码码率，同时根据总传输码率限制调整当前多视点视频帧编码码率，并更新当前视频帧的编码量化参数，重新进入S130计算。

S210：将多视点视频以及深度图各自编码器缓存中下一待编码帧作为当前待编码的多视点视频帧和当前待编码深度图，进入S110。

本发明取得的效果主要是：通过设计立体视频码率分配方案，实现了在给定传输带宽下，多视点视频和深度图码率的高效最优分配，从而使解码端在进行虚拟视点绘制时获得最优的绘制质量。

尽管本发明已参照具体实施方式进行描述和举例说明，但是并不意味着本发明限于这些描述的实施方式。本发明的实施例以两个视点的视频和深度图为例进行说明，但可以直接扩充到多个视点的情况，只要针对基于多视点视频和深度图的立体视频编码方案都属于本发明的保护范围。本发明是采用深度图来绘制虚拟视点，对于采用视差图等基于图像的绘制方法来绘制虚拟视点也应属于本发明的保护范围。本领域普通技术人员可在本发明的精神及观点内对本发明进行多种不同的修改，但凡依本发明权利要求书范围所做的同等的变化及修饰，皆为本发明所保护的范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种立体视频编码过程中的多视点视频和深度图的码率分配方法，其特征在于，包括：

（1）根据立体视频传输过程中的码率限制值，设定立体视频待编码的当前多视点视频帧的初始码率和当前深度图的初始码率，并设定一个当前虚拟视点图像绘制失真的优化值；

（2）根据所述当前多视点视频帧的初始码率，计算所述当前多视点视频帧的编码量化步长，并根据所述当前多视点视频帧的编码量化步长计算所述当前多视点视频帧的编码量化参数，根据所述当前深度图的初始码率，计算所述当前深度图的编码量化步长，并根据所述当前深度图的编码量化步长计算所述当前深度图的编码量化参数；

（3）根据所述当前多视点视频帧的编码量化参数和所述当前深度图的编码量化参数，预测各个视点的当前视频帧和当前深度图的编码量化失真；

（4）根据所述当前各个视点视频帧的编码量化失真和对应视点的当前深度图的编码量化失真，计算当前虚拟视点图像绘制失真；

（5）判断所述当前虚拟视点图像绘制失真是否小于当前虚拟视点图像绘制失真的优化值，如果是则将所述当前虚拟视点图像绘制失真设置为所述当前虚拟视点图像绘制失真的优化值，将所述当前深度图的编码量化参数增加预设值，重新计算深度图编码码率，并根据传输带宽限制调整多视点视频编码码率，重新计算当前多视点视频帧的编码量化参数，并返回步骤（3），否则根据所述当前虚拟视点图像绘制失真的优化值对应的多视点视频帧的编码量化参数和当前深度图的编码量化参数，计算得到所述当前多视点视频帧的优化码率和所述当前深度图的优化码率，其中，所述预设值设定为1；以及

（6）对立体视频待编码的其他多视点视频帧和深度图，按照步骤（1）-（5）所述的方法，计算得到所述其他多视点视频帧的优化码率和所述其他深度图的优化码率，实现码率优化分配。

2.根据权利要求1所述的多视点视频和深度图的码率分配方法，其特征在于，所述立体视频的视点个数为两个。

3.根据权利要求1所述的多视点视频和深度图的码率分配方法，其特征在于，所述步骤（1）进一步包括：

根据所述立体视频待编码的当前多视点视频帧和当前深度图各自的编码码率范围，设定所述立体视频待编码的当前多视点视频帧的初始码率和当前深度图的初始码率。

4.根据权利要求2所述的多视点视频和深度图的码率分配方法，其特征在于，所述步骤（4）进一步包括：

根据所述每个视点的当前视频帧编码量化失真，计算每个视点的当前视频帧量化引入失真；

根据所述每个视点的当前深度图编码量化失真，计算每个视点的当前深度图量化引入失真；以及

根据所述每个视点的当前视频帧量化引入失真和当前深度图量化引入失真，计算所述当前虚拟视点图像绘制失真。

5.根据权利要求4所述的多视点视频和深度图的码率分配方法，其特征在于，两个视点分别为左参考视点和右参考视点，所述步骤（4）进一步包括：

根据所述左参考视点的当前视频帧编码量化失真，计算所述左参考视点的当前视频帧量化引入失真，根据所述左参考视点的当前深度图编码量化失真，计算所述左参考视点的当前深度图量化引入失真；

根据所述右参考视点的当前视频帧编码量化失真，计算所述右参考视点的当前视频帧量化引入失真，根据所述右参考视点的当前深度图编码量化失真，计算所述右参考视点的当前深度图量化引入失真；以及

根据所述左参考视点的当前视频帧量化引入失真和当前深度图量化引入失真、所述右参考视点的当前视频帧量化引入失真和当前深度图量化引入失真，通过公式 $E_i^w=w_a\×p_a^u\×(E_{a,i}^t+E_{a,i}^d)+w_b\×p_b^u\×(E_{b,i}^t+E_{b,i}^d)$ 计算得到所述当前虚拟视点图像绘制失真，其中，

代表所述当前虚拟视点图像绘制失真，

代表所述左参考视点的当前视频帧量化引入失真，

代表所述左参考视点的当前深度图量化引入失真，

代表所述右参考视点的当前视频帧量化引入失真，

代表所述右参考视点当前深度图量化引入失真，w_a代表所述左参考视点加权系数，w_b代表所述右参考视点加权系数，

和

分别代表左右参考视点绘制虚拟视点时的非遮挡像素占全部画面像素的比例。

Images