CN104756489A - 一种虚拟视点合成方法及系统 - Google Patents

Abstract

本申请公开了一种虚拟视点合成方法及系统，包括建立左视点虚拟视图和右视点虚拟视图；在参考视图中搜索候选像素，对于搜索不到候选像素的像素块，标记为洞点；对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，进行加权求和；将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；对左视点虚拟视图和右视点虚拟视图进行视点合成；对合成图像进行洞点填补。本申请由于对于搜索不到候选像素的像素块，标记为洞点，使用对应图像中的信息进行填补，而空洞区域刚好是容易产生颜色混合的部分，避免了在边界区域容易产生边界与背景混合的现象，同时在边界和非边界区域获得良好的合成质量。

Description

一种虚拟视点合成方法及系统 技术领域

本申请涉及多视点视频编解码技术领域， 尤其涉及一种虚拟视点合 成方法及系统。 背景技术

多视点视频 ( Multi-View Video )指的是由不同视点的多个摄像机从 不同视角拍摄同一场景得到的一组视频信号， 是一种有效的 3D 视频表 示方法， 能更加生动地再现场景， 给人身临其境的感觉， 在立体电视、 自由视点电视、 立体视频会议和视频监控等领域有着非常广泛的应用前 景。

多视点视频通过一组同步的摄像机阵列从不同角度采集同一场景， 在显示时， 可以根据观看者所处位置显示相应角度的图像； 当观看者的 头部移动时， 看到内容也会出现相应的变化， 从而得到"环视"的效果。 为得到自然平滑的运动视差效果， 需要使用非常稠密的摄像机来获得多 视点视频序列。 然而随着相机数目的增加， 多视点视频的数据量也成倍 增加， 给存储和传输带来了巨大的挑战。 在低码率下为了得到高质量的 立体视频流， 多视点视频一般采用双视点加深度的格式， 将彩色视频图 和深度图各自进行压缩编码， 解码时， 采用基于深度图的虚拟视点合成 技术 （Depth Image Based Rendering, DIBR) ,用左右两视点和对应的深度 图生成多视点视频， 可根据用户的需求 （立体视频或任意视点视频） 重 建一个或多个角度的立体视频。 虚拟视点合成是多视点视频编解码中的 关键技术之一， 合成图像的质量直接影响到多视点视频的观看质量。

现有技术中的虚拟视点合成方法， 全程仅一副虚拟图像， 对一个像 素同时在左右参考视点中搜索候选像素， 因此其候选像素集可能包含来 自两个视点中的像素， 且所有候选像素都参与到下一步的加权求和中， 不作任何筛选。 而基于深度图的方法很大程度依赖于深度图的准确度。 深度图的不连续性也会影响合成视图的质量。 因此现有的技术或多或少 都存在一些缺陷， 要么在产生遮挡的边界区域， 要么在背景区域容易产 生一些 ί艮爽。 发明内容

本申请提供一种虚拟视点合成方法及系统。

根据本申请的第一方面，本申请提供一种虚拟视点合成方法， 包括： 建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为（U,V) 的像素取 (u,v)到（u+l,v)的像素块， 即 I(u) = [u,u+l);

所述左视点虚拟视图在左视点参考视图中搜索候选像素， 所述右视 点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和 / 或右视点虚拟视图中搜索不到候选像素的像素块， 则标记为洞点；

对搜索到的候选像素按照深度排序并依次计算前景系数和背景系 数， 依据所述前景系数和背景系数进行加权求和， 对于当前像素的深度 值与加权求和的第一个像素的深度值差超过第一预定阈值的， 则不参与 力口权求和；

将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩 大， 去除鬼影像素；

对所述左视点虚拟视图和右视点虚拟视图进行视点合成；

对合成图像进行洞点填补。

上述方法中， 所述左视点虚拟视图在左视点参考视图中搜索候选像 素， 所述右视点虚拟视图在右视点参考视图中搜索候选像素， 对于左视 点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块，则标记 为洞点， 还包括：

在参考视图中搜索候选像素， 设置第一调节参数， 所述第一调节参 数为预设初始值时， 若搜索不到候选参数的像素块， 则对所述第一调节 参数加 1 , 重新搜索， 若仍然搜索不到候选参数的像素快， 则标记为洞 点。

上述方法中， 所述前景系数通过 w/ = I ij (u_r, t) n i^j (u) I 计算； 所述背景系数通过 _Wj^b = I Ku) n ij (_Ur, t) I -w/计算；

其中 Ij (U_r，t ) = [Ur-t，Ur+l+t)为参考视点中的像素块， t为第二调节 参数， I^j (u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重； 依据所述前景系数和背景系数进行加权求和的公式为： , 其中 O j根据像素的深度值控制在合成过程 中所占的权重。 上述方法中， 所述将左视点虚拟视图和 /或右视点虚拟视图的洞点 区域向背景方向扩大， 去除鬼影像素， 具体包括：

对左视点和 /或右视点虚拟视图逐行扫描， 当检查到洞点时， 记录 洞点起始位置， 继续向右扫描， 找到洞点区域的右边界， 然后对左右边 界各自依次向外取预定数量的像素， 计算其深度平均值， 分别记为 d_left、 d.right, 计算所述 d.left, d.right 的差值， 与第二预定阈 值比较， 决定洞区扩充方向：

若 d_left-d_right大于所述第二预定阈值， 向左侧扩充；

若 d_left-d_right小于所述第二预定阈值， 向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值， 不扩充。

上述方法中， 所述对所述左视点虚拟视图和右视点虚拟视图进行视 点合成， 包括：

所述左视点虚拟视图和右视点虚拟视图均有像素值时， 按照与左右 视点的距离关系做加权求和；

所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像 素值， 另一幅虚拟图像的对应点为洞点时， 直接取该像素值；

所述左视点虚拟视图和右视点虚拟视图均为洞点时， 保留洞点。 根据本申请的第二方面， 本申请提供一种虚拟视点合成系统， 包括 视点映射模块， 鬼影去除模块、 视点合成模块和小洞填补模块， 所述视 点映射模块包括创建单元、 选择单元和控制单元，

所述创建单元用于建立左视点虚拟视图和右视点虚拟视图， 在虚拟 视点中，坐标为（u, V)的像素取 (u, V)到（u+1, V)的像素块，即 I(u) = [u,u+l);

所述选择单元用于在左视点参考视图中搜索所述左视点虚拟视图 的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素， 对于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素 块， 则标记为洞点；

所述控制单元对搜索到的候选像素按照深度排序并依次计算前景 系数和背景系数， 依据所述前景系数和背景系数进行加权求和， 对于当 前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值 的， 则不参与力口权求和；

所述鬼影去除模块用于将左视点虚拟视图和 /或右视点虚拟视图的 洞点区域向背景方向扩大， 去除鬼影像素； 所述视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图 进行视点合成；

所述小洞填补模块用于对合成图像进行洞点填补。

上述系统中， 所述选择单元还用于在参考视图中搜索候选像素， 设 置第一调节参数， 所述第一调节参数为预设初始值时， 若搜索不到候选 参数的像素块， 则对所述第一调节参数加 1, 重新搜索， 若仍然搜索不 到候选参数的像素快， 则标记为洞点。

上述系统中， 所述前景系数通过 I ij (u_r, t) n i^j (u) I 计算； 所述背景系数通过 _Wj^b= I Ku) n ij (_Ur, t) I -w/计算；

其中 Ij(U_r， t)=[U_r-t，Ur+l + t)为参考视点中的像素块， t为第二调节 参数， I^j(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重； 依据所述前景系数和背景系数进行加权求和的公式为： 其中 根据像素的深度值控制在合成过程 中所占的权重。

上述系统中， 所述鬼影去除模块还用于对左视点和 /或右视点虚拟 视图逐行扫描， 当检查到洞点时， 记录洞点起始位置， 继续向右扫描， 找到洞点区域的右边界， 然后对左右边界各自依次向外取预定数量的像 素， 计算其深度平均值， 分别记为 d_left、 d.right, 计算所述^ ^、 d-right的差值， 与第二预定阈值比较， 决定洞区扩充方向：

若 d_left-d_right大于所述第二预定阈值， 向左侧扩充；

若 d_left-d_right小于所述第二预定阈值， 向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值， 不扩充。

上述系统中， 所述视点合成模块还用于在所述左视点虚拟视图和右 视点虚拟视图均有像素值时， 按照与左右视点的距离关系做加权求和； 所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像 素值， 另一幅虚拟图像的对应点为洞点时， 直接取该像素值；

所述左视点虚拟视图和右视点虚拟视图均为洞点时， 保留洞点。 由于采用了以上技术方案， 使本申请具备的有益效果在于： 在本申请的具体实施方式中， 由于使用像素块代表像素点， 左视点 虚拟视图在左视点参考视图中搜索候选像素， 右视点虚拟视图在右视点 参考视图中搜索候选像素， 分别在左视点虚拟视图和右视点虚拟视图中 搜索像素块， 对搜索到的候选像素按照深度排序并依次计算前景系数和 背景系数， 进行加权求和， 当前像素的深度值与加权求和的第一个像素 的深度值差超过第一预定阈值的， 则被剔除， 对于搜索不到候选像素的 像素块， 则标记为洞点， 而空洞区域刚好是容易产生颜色混合的部分， 使用对应图像中的信息进行填补， 避免了在边界区域容易产生边界与背 景混合的现象， 能同时在边界和非边界区域获得良好的合成质量。 附图说明

图 1为本申请的虚拟视点合成方法在一种实施方式中的流程图； 图 2为本申请的单视点映射中间结构示意图；

图 3为本申请的基于像素块的映射方式示意图；

图 4为本申请的像素值计算方法示意图；

图 5为本申请的去鬼影示意图；

图 6为合成结果对比图；

图 7 PSNR曲线图；

图 8 平均 PSNR柱形图；

图 9 为本申请的虚拟视点合成系统在一种实施方式中的结构示意 图。 具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一：

如图所示， 本申请的虚拟视点合成方法， 其一种实施方式， 包括以 下步骤：

步骤 102: 建立左视点虚拟视图和右视点虚拟视图， 在虚拟视点中， 坐标为（u,v)的像素取 (u,v)到（u+Ι,ν)的像素块， 即 I(u) = [u,u+l)。

对左右视点分别绘制一幅虚拟视图， 将像素看作有一定面积的方 块， 而不是一个点， 虚拟视点中， 坐标为（u,v)的像素块指的是 (u,v)到 (u+Ι,ν)之间的部分, 将其定义为 I(u) = [u,u+l)， 为每一个 (u,v)在参考视 点中搜索映射到虚拟视点中与（u,v)能产生交集的所有像素， 即 I(u) n I (u_r+5)≠0。 步骤 104 :所述左视点虚拟视图在左视点参考视图中搜索候选像素， 所述右视点虚拟视图在右视点参考视图中搜索候选像素， 对于左视点虚 拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞 点。

来自左视点的虚拟视图仅在左视图中搜索候选像素， 如果找不到， 将该像素标记为洞点。 来自右视点的虚拟视图仅在右视图中搜索候选像 素， 如果找不到， 将该像素标记为洞点。 如此， 可以得到一幅如图 2所 示的边界区域为空洞的初步的虚拟视图。 空洞区域刚好是原方法中容易 产生颜色混合的部分， 这样留洞以后， 可以用对应图像中的信息进行填 补，如图 2 (a)中的空洞可以由图 2 (b)进行填补，这样就避免了原方法中 的边界部分的缺陷。

在参考视图中搜索候选像素， 可设置第一调节参数， 所述第一调节 参数为预设初始值时， 若搜索不到候选参数的像素块， 则对所述第一调 节参数加 1 , 重新搜索， 若仍然搜索不到候选参数的像素快， 则标记为 洞点。

如图 3中为（u,v)搜索到的候选像素集为 {PI , P2 , P3} , 此外， 设置 一个调节参数 t, 参考视点中的像素块的定义表示为 I(u_r,t)=[u_r-t,u_r+l+t), t的初始值为 0, 当对 (u,v)找不到候选像素时， t加 1 , 重新搜索， 如图 2 中的（ιι',ν')像素， t=0 时候选像素集为空， t=l 时为其搜索到候选像素 {P4} ; 若仍搜不到， 则终止， 标记为空洞。

空洞区域刚好是原方法中容易产生颜色混合的部分， 这样留洞以 后，可以用对应图像中的信息进行填补，如图 2 (a)中的空洞可以由图 2 (b) 进行填补， 这样就避免了原方法中的边界部分的缺陷。 此外， 加权求和 时， 如果当前像素的深度值与首像素 （加权求和的第一个像素） 的深度 值差超过一定阈值， 表示一个为前景， 一个为背景， 因此将其剔除， 不 参与加权求和， 否则同样可能产生颜色混合的问题。 左右视点分别进行 映射， 得到两幅带洞点的虚拟视点图像。

步骤 106 : 对搜索到的候选像素按照深度排序并依次计算前景系数 和背景系数， 依据所述前景系数和背景系数进行加权求和， 对于当前像 素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的， 则不参与加权求和；

若候选像素集 C (u)非空， 则将其按照深度从小到大排序， 即距离摄 像机从近到远， 依次对每个像素计算前景系数 w/、 背景系数 Wj^b, 计_: 方法如下：

前景系数：

ι_Ί· (u_r， t) n i^j (u) I ( 1 ) 其中， I^j(u)表示在目标像素块中， 还没有被之前的像素（具有 更小深度值） 遮挡的比重， 计算方法如下：

(") if 7 = 0

I^J( )

1 )η/»)) if j>0

(2) 那么， 背景系数为

w,^b = I I (u) ΓΊ L- (u_r， t) I -_Wi (3 ) 然后， 对所

上式中， 用于根据像素的深度值控制在合成过程中所占的权重， 以提高准确度， 计算公式为：

a_j =l-(z_j-z_l)/z_l ( 5 ) 图 4给出了图 3 中的块 （u, V ) 的候选像素集 {PI, P2, P3}的加权 求和过程。 PI, P2, P3按照深度从小到大排序，计算顺序为 P1→P2→P3。 首先计算 PI的前景系数 w/， 由 PI与块（u, V )重叠的部分得到其前景 系数 _Wl,_f; 然后计算 P2, P2与块（u, V )剩余的未被覆盖的部分的重叠 为图中所示 w₂,_f, 即其前景系数， 于是， P2与块 （u, V ) 的重叠部分减 去前景部分， 就得到 P2的背景系数 w₂,_b; 最后为 P3, 由于此时 PI, P2 的前景系数已完全覆盖了块 （u, V ), P3的前景系数为 0, 其与块 （u, V )的重叠部分全部为背景系数 w₃,_b。 为所有候选像素计算出前景系数和 背景系数后， 按照 （4) 式进行加权求和。

加权求和时， 如果当前像素的深度值与首像素（加权求和的第一个像 素） 的深度值差超过一定阈值将其剔除， 不参与加权求和。 左右视点分 别进行映射， 得到两幅带洞点的虚拟视点图像。 阈值可通过 ( minDepth+p* (maxDepth-minDepth) ) 计算 , ρ 为经验值 , 是满足 0.3<ρ<0.5的一个常数值， 在本实施方式中， ρ取 0.33,

步骤 108:将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背 景方向扩大， 去除鬼影像素。

鬼影的产生来自于深度图的不连续性， 使得前景边界映射到背景区 域上， 产生鬼影。 鬼影集中于洞点区域与背景的交界处， 如图 5 (a)(c) 所示， 因此在本步骤中， 将单视点映射模块生成的带洞点的虚拟视点图 像中的洞点区域向背景方向扩大， 去除鬼影像素， 形成洞点， 如图 5 (c) (d), 将在后面的步骤中用另一个视点的对应像素进行填补。

在本步骤中， 可对虚拟视点逐行扫描， 当检查到洞点时， 记录洞点 起始位置， 继续向右扫描， 找到洞区的右边界， 然后对左右边界各自依 次向外取几个像素， 选取的像素的数量可根据需要进行设定， 通常选取 3~ 8个像素， 在本实施方式中， 可取 5个像素， 计算其深度平均值， 分 别记为 d_left、 d.right, 计算其差值， 与第二预定阈值比较， 决定洞 区扩充方向， 具体如下：

对左视点和 /或右视点虚拟视图逐行扫描， 当检查到洞点时， 记录 洞点起始位置， 继续向右扫描， 找到洞点区域的右边界， 然后对左右边 界各自依次向外取预定数量的像素， 计算其深度平均值， 分别记为 d_left、 d.right, 计算所述 d.left, d.right 的差值， 与第二预定阈 值进行比较， 决定洞区扩充方向。 具体如下：

若 d_left-d_right大于所述第二预定阈值， 向左侧扩充；

若 d_left-d_right小于所述第二预定阈值， 向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值， 不扩充。

第二预定阈值为经验值， 可取 15 ~ 25, 在本实施方式中， 第二预定 阈值取 20。

步骤 110:对所述左视点虚拟视图和右视点虚拟视图进行视点合成； 左右视点分别生成一个虚拟视点图像后， 将其合成一副图像， 方法 为按照虚拟视点与左右视点的距离做加权求和。 具体来讲， 需要分三种 情况：

左视点虚拟视图和右视点虚拟视图均有像素值时， 按照与左右视点 的距离关系做加权求和；

左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值， 另一幅虚拟图像的对应点为洞点时， 直接取该像素值；

左视点虚拟视图和右视点虚拟视图均为洞点时， 保留洞点。

步骤 112: 对合成图像进行洞点填补。 完成前面的步骤后， 仍可能存在一些小洞。 这一步对所有剩下的洞 点完成填补。 实验结果表明， 一般完成前面的步骤后， 剩下的洞点很少， 所以采用筒单的背景填补方法即可。 背景判定方法类似判断背景在洞区 左侧还是右侧的方法。 不同的是， 不用阈值， 直接比较 ^、 d.right 的大小， 当 d_left>d_right时， 洞点左侧为背景， 用左侧最近的像素值 填充洞点； 当 d_left<d_right时， 用右侧最近点填补。

经过以上步骤之后， 就得到了最终的虚拟视点图像。

图 6 给出了申请的虚拟视点合成方法 （Pixe block Based View Synthesis, PBVS )、 MPEG的 VSRS视点合成参考软件、 以及由 Paradiso V等人在 2012年提出的视点合成方法 IBIS ( Paradiso V, Lucenteforte M, Granget to M. A novel interpolation method for 3D view synthes i s [C] // 3DTV-Conf erence: The True Vi s ion-Capture, Transmission and Display of 3D Video (3DTV-C0N) , 2012. IEEE, 2012: 1-4. ) 在 newspaper序列上的实验结果， 所示为第一帧的合成结果， 图 6 (a) 为原始视图， 图 6 (b) 为 ) 中用红色框标记的块 I的放大图， 从左到右依次为原始图像、 VSRS合成结果、 IBIS合成结果、 PBVS合成 结果。 图 6 ( c) 为 ) 中用红色框标记的块 II的放大图， 顺序与 （b) 一致。 从图 6 (b)可以观察到， IBIS算法在前景边缘部分（如， 盆栽的 叶子部分）存在颜色混合的现象， 而本发明提出的方法 PBVS效果良好。 这是因为在单视点映射中将边界部分留洞， 之后由对应视点高质量的对 应像素进行填补的结果。 从图 6 ( c) 可以观察到， PBVS在墙壁部分的 合成效果有明显改善， VSRS方法和 IBIS方法的结果中存在很多不够平 滑的裂缝状纹理， 而提出的 PBVS方法获得的结果是相当平滑的， 更接近 原始图像。 这归功于单向视点映射模块， 将有贡献的参考像素用科学的 方法进行力口权求和。

图 7 给出了三种方法在序歹 'J newspaper . kendo, bal loons . caf e 上的合成结果 PSNR曲线图， 其中图 7 ) 为 newspaper序列上合成结 果 PSNR曲线图， 图 7 ( b) 为 kendo序列上合成结果 PSNR曲线图， 图 7 ( c )为 balloons序列上合成结果 PSNR曲线图， 图 7 ( d )为 caf6序列 上合成结果 PSNR曲线图， 表 1给出了四个序列的描述信息。

测试序列 分辨率 帧数 参考视点 合成视点

Newspaper 1024*768 300 2, 4 3 Kendo 1024*768 300 3 5 4

Bal loons 1024*768 300 3 5 4

Cafe 1920*1080 300 2,4 3 从图 8可以看到， PBVS在序歹 'J newspaper, kendo balloons上的 合成效果比 VSRS均有提升， caf6序列上能达到相当的效果， 而 IBIS则 波动较大。

表 2给出了三种方法在各个序列上的平均 PSNR值。

图 9给出了三种方法的平均 PSNR柱形图。

本申请的虚拟视点合成方法， VSRS方法对不同序列的合成质量比较 稳定， IBIS 在部分序列上的合成质量相较于 VSRS 能有一定改善， 如 kendo, balloons, 但在部分序列上反而会有明显下降， 如 caf6, 尤其 在颜色差别较大的边界部分效果较差。 与这两种方法相比， PBVS在各个 序列上均能达到一个比较理想的合成效果， 在保证稳定性的前提下提升 了虚拟视点的合成质量。 从图 8可以看到， PBVS在平均 PSNR上相较于 VSRS与 IBIS均有明显提升。 实施例二：

如图 9所示， 本申请的虚拟视点合成系统， 其一种实施方式， 包括 视点映射模块， 鬼影去除模块、 视点合成模块和小洞填补模块， 视点映 射模块包括创建单元、 选择单元和控制单元。

创建单元用于建立左视点虚拟视图和右视点虚拟视图， 在虚拟视点 中， 坐标为（u, V)的像素取 (u, V)到（u+1, V)的像素块， 即 I(u) = [u,u+l)。

选择单元用于在左视点参考视图中搜索所述左视点虚拟视图的候 选像素， 在右视点参考视图中搜索所述右视点虚拟视图的候选像素， 对 于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块， 则标 i己为洞点。 控制单元对搜索到的候选像素按照深度排序并依次计算前景系数 和背景系数， 依据所述前景系数和背景系数进行加权求和， 对于当前像 素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的， 则不参与加权求和。

鬼影去除模块用于将左视点虚拟视图和 /或右视点虚拟视图的洞点 区域向背景方向扩大， 去除鬼影像素。

视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图进行 视点合成。

小洞填补模块用于对合成图像进行洞点填补。

在一种实施方式中， 选择单元还用于在参考视图中搜索候选像素， 设置第一调节参数， 第一调节参数为预设初始值时， 若搜索不到候选参 数的像素块， 则对第一调节参数加 1, 重新搜索， 若仍然搜索不到候选 参数的像素快， 则标记为洞点。

前景系数通过 I ij(u_r, t) ni^j(u) I计算； 背景系数通过 Wj^b = I Ku) n ij(u_r， t) I -w/计算；

其中 Ij(U_r， t)=[U_r-t，Ur+l + t)为参考视点中的像素块， t为第二调节 参数， I^j(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重； 依据所述前景系数和背景系数进行加权求和的公式为：

|C(u)|

∑ (w;+a )YG)

Y(u) ⁷ ∑|C(u)| . b、

r_l (w^a^w^ , 其中《根据像素的深度值控制在合成过程 中所占的权重。

在一种实施方式中， 鬼影去除模块还用于对左视点和 /或右视点虚 拟视图逐行扫描， 当检查到洞点时， 记录洞点起始位置， 继续向右扫描， 找到洞点区域的右边界， 然后对左右边界各自依次向外取预定数量的像 素， 计算其深度平均值， 分别记为 d_left、 d.right, 计算所述^ ^、 d-right的差值， 与第二预定阈值比较， 决定洞区扩充方向：

若 d_left-d_right大于所述第二预定阈值， 向左侧扩充；

若 d_left-d_right小于所述第二预定阈值， 向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值， 不扩充。

在一种实施方式中， 视点合成模块还用于在所述左视点虚拟视图和 右视点虚拟视图均有像素值时， 按照与左右视点的距离关系做加权求 和；

左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值， 另一幅虚拟图像的对应点为洞点时， 直接取该像素值；

左视点虚拟视图和右视点虚拟视图均为洞点时， 保留洞点。 以上内容是结合具体的实施方式对本申请所作的进一步详细说明， 不能认定本申请的具体实施只局限于这些说明。 对于本申请所属技术领 域的普通技术人员来说， 在不脱离本申请构思的前提下， 还可以做出若 干筒单推演或替换。

Claims (10)

1. 权 利 要 求

   1. 一种虚拟视点合成方法， 其特征在于， 包括：

   建立左视点虚拟视图和右视点虚拟视图， 在虚拟视点中， 坐标为（u, V)的像素取 (u, V)到（u+1 , V)的像素块， 即 I(u) = [u,u+ l) ;

   所述左视点虚拟视图在左视点参考视图中搜索候选像素， 所述右视 点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和 / 或右视点虚拟视图中搜索不到候选像素的像素块， 则标记为洞点；

   对搜索到的候选像素按照深度排序并依次计算前景系数和背景系 数， 依据所述前景系数和背景系数进行加权求和， 对于当前像素的深度 值与加权求和的第一个像素的深度值差超过第一预定阈值的， 则不参与 力口权求和；

   将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩 大， 去除鬼影像素；

   对所述左视点虚拟视图和右视点虚拟视图进行视点合成；

   对合成图像进行洞点填补。
2. 2. 如权利要求 1所述的虚拟视点合成方法， 其特征在于， 所述左 视点虚拟视图在左视点参考视图中搜索候选像素， 所述右视点虚拟视图 在右视点参考视图中搜索候选像素， 对于左视点虚拟视图和 /或右视点 虚拟视图中搜索不到候选像素的像素块， 则标记为洞点， 还包括：

   在参考视图中搜索候选像素， 设置第一调节参数， 所述第一调节参 数为预设初始值时， 若搜索不到候选参数的像素块， 则对所述第一调节 参数加 1 , 重新搜索， 若仍然搜索不到候选参数的像素快， 则标记为洞 点。
3. 3. 如权利要求 1所述的虚拟视点合成方法， 其特征在于， 所述前景系数通过 w/ = I ij (u_r, t) n i^j (u) I 计算；

   所述背景系数通过 _Wj^b = I Ku) n ij (_Ur, t) I -w/计算；

   其中 Ij (U_r， t) = [U_r-t，Ur+ l + t)为参考视点中的像素块， t为第二调节 参数， I^j (u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重； 依据所述前景系数和背景系数进行加权求和的公式为： , 其中 根据像素的深度值控制在合成过程 中所占的权重。
4. 4. 如权利要求 1所述的虚拟视点合成方法， 其特征在于， 所述将 左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大， 去 除鬼影像素， 具体包括：

   对左视点和 /或右视点虚拟视图逐行扫描， 当检查到洞点时， 记录 洞点起始位置， 继续向右扫描， 找到洞点区域的右边界， 然后对左右边 界各自依次向外取预定数量的像素， 计算其深度平均值， 分别记为 d_left、 d.right, 计算所述 d.left, d.right 的差值， 与第二预定阈 值比较， 决定洞区扩充方向：

   若 d_left-d_right大于所述第二预定阈值， 向左侧扩充；

   若 d_left-d_right小于所述第二预定阈值， 向右侧扩充；

   若 d_lef t-d_right等于所述第二预定阈值， 不扩充。
5. 5. 如权利要求 1至 4中任一项所述的虚拟视点合成方法，其特征 在于， 所述对所述左视点虚拟视图和右视点虚拟视图进行视点合成， 包 括：

   所述左视点虚拟视图和右视点虚拟视图均有像素值时， 按照与左右 视点的距离关系做加权求和；

   所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像 素值， 另一幅虚拟图像的对应点为洞点时， 直接取该像素值；

   所述左视点虚拟视图和右视点虚拟视图均为洞点时， 保留洞点。
6. 6. 一种虚拟视点合成系统， 其特征在于， 包括单视点映射模块， 鬼影去除模块、 视点合成模块和小洞填补模块， 所述单视点映射模块包 括创建单元、 选择单元和控制单元，

   所述创建单元用于建立左视点虚拟视图和右视点虚拟视图， 在虚拟 视点中，坐标为（u, V)的像素取 (u, V)到（u+1, V)的像素块，即 I(u) = [u,u+l);

   所述选择单元用于在左视点参考视图中搜索所述左视点虚拟视图 的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素， 对于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素 块， 则标记为洞点； 所述控制单元对搜索到的候选像素按照深度排序并依次计算前景 系数和背景系数， 依据所述前景系数和背景系数进行加权求和， 对于当 前像素的深度值与加权的第一个像素的深度值差超过第一预定阈值的， 则不参与加权求和；

   所述鬼影去除模块用于将左视点虚拟视图和 /或右视点虚拟视图的 洞点区域向背景方向扩大， 去除鬼影像素；

   所述视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图 进行视点合成；

   所述小洞填补模块用于对合成图像进行洞点填补。
7. 7. 如权利要求 6所述的虚拟视点合成系统， 其特征在于， 所述选 择单元还用于在参考视图中搜索候选像素， 设置第一调节参数， 所述第 一调节参数为预设初始值时， 若搜索不到候选参数的像素块， 则对所述 第一调节参数加 1, 重新搜索， 若仍然搜索不到候选参数的像素快， 则 标 i己为洞点。
8. 8. 如权利要求 6所述的虚拟视点合成系统， 其特征在于， 所述前景系数通过 I ij (u_r, t) n i^j (u) I 计算；

   所述背景系数通过 Wj^b = I Ku) n ij (_Ur, t) I -w/计算；

   其中 Ij(U_r， t)=[U_r-t，Ur+l + t)为参考视点中的像素块， t为第二 i

   , I^j(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比 依据所述前景系数和背景系数进行加权求和的公式为：

   、 " |C(u)| _{f b}

   (^Wj^+aj'^XWj) , 其中 根据像素的深度值控制在合成过程 中所占的权重。
9. 9. 如权利要求 6所述的虚拟视点合成系统， 其特征在于， 所述鬼 影去除模块还用于对左视点和 /或右视点虚拟视图逐行扫描， 当检查到 洞点时， 记录洞点起始位置， 继续向右扫描， 找到洞点区域的右边界， 然后对左右边界各自依次向外取预定数量的像素， 计算其深度平均值， 分别记为 d_left、 d.right, 计算所述 d_left、 d_right 的差值， 与第 二预定阈值比较， 决定洞区扩充方向：

   若 d_left-d_right大于所述第二预定阈值， 向左侧扩充； 若 d_left-d_right小于所述第二预定阈值， 向右侧扩充； 若 d_lef t-d_right等于所述第二预定阈值， 不扩充。
10. 10. 如权利要求 6至 9中任一项所述的虚拟视点合成系统，其特征 在于， 所述视点合成模块还用于在所述左视点虚拟视图和右视点虚拟视 图均有像素值时， 按照与左右视点的距离关系做加权求和；

    所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像 素值， 另一幅虚拟图像的对应点为洞点时， 直接取该像素值；

    所述左视点虚拟视图和右视点虚拟视图均为洞点时， 保留洞点。