CN1830217A - 多视图图像产生 - Google Patents
多视图图像产生 Download PDFInfo
- Publication number
- CN1830217A CN1830217A CNA200480022155XA CN200480022155A CN1830217A CN 1830217 A CN1830217 A CN 1830217A CN A200480022155X A CNA200480022155X A CN A200480022155XA CN 200480022155 A CN200480022155 A CN 200480022155A CN 1830217 A CN1830217 A CN 1830217A
- Authority
- CN
- China
- Prior art keywords
- input picture
- view image
- edge
- value
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000001914 filtration Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000000015 effect on sense Effects 0.000 description 4
- 210000000697 sensory organ Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Image Analysis (AREA)
Abstract
本发明披露了一种用于根据输入图像来产生多视图图像的多视图图像产生单元(100)。所述产生单元(100)包括：边缘检测装置(102)，用于检测输入图像中的边缘；深度映射产生装置(104)，用于根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值；和渲染装置(106)，用于根据所述输入图像和深度映射来渲染多视图图像。
Description
技术领域
本发明涉及一种用于根据输入图像来产生多视图图像的多视图图像产生单元。
本发明还涉及一种图像处理装置，包括：
-接收装置，用于接收与输入图像对应的信号；和
-这种用于根据输入图像来产生多视图图像的多视图图像产生单元。
本发明还涉及一种根据输入图像来产生多视图图像的方法。
本发明还涉及一种由计算机装置加载的计算机程序产品，其包括基于输入图像产生多视图图像的指令，所述计算机装置包括处理装置和存储器。
背景技术
为了在多视图显示装置上产生3D效果，必须渲染来自不同有效视点的图像。这需要呈现多个输入视图或一些3D或深度信息。该深度信息可从多视图照相机系统记录、产生，或从传统的2D视频素材产生。为了从2D视频产生深度信息，可应用若干种类型的深度提示：例如从运动恢复结构(structure from motion)、聚焦信息、几何形状和动态隐面。其目标是产生密集的深度映射，即每像素一个深度值。该深度映射随后被用于渲染多视图图像以给出观看者深度效果。由P.A.Redert、E.A.Hendriks和J.Biemond在Proceedingsof International Conference on Acoustics，Speech，and SignalProcessing上(卷IV，ISBN 0-8186-7919-0，2749-2752页，IEEEComputer Society，Los Alamitos，California，1997)发表的文章 “Synthesis of multi viewpoint images at non-intermediatepositions”中，披露了一种在输入图像和深度映射的基础上提取深度信息和渲染多视图图像的方法。
所述方法的缺点是所述深度映射产生过程通常并不会导致适当的结果，最后导致不满意的深度效果。
发明内容
本发明的目的是提供一种开头段落中所述种类的多视图图像产生单元，其被设置成根据相对有限的深度信息来渲染在感观上具有令人信服的深度效果的多视图图像。
本发明的这一目的是通过这样的产生单元实现的，其包括：
-边缘检测装置，用于检测输入图像中的边缘；
-深度映射产生装置，用于根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值；和
-渲染装置，用于根据所述输入图像和深度映射来渲染多视图图像。
因此，对多视图图像所执行的渲染是以这种方式进行的，即边缘被感知为比周围区域更靠近观看者，即产生了关于边缘的深度差。从人类感知视点，边缘呈现为属于前景对象。所以，局部的深度排序似乎是这样的，即前景对象确实在背景的前面。本发明者已经观察到人类感知就将该非常有限的和局部的深度信息结合为完整的深度效果。
应该注意，边缘不一定意味着1像素宽的过渡。它可以是通过多个像素延伸的软边缘。
在根据本发明的多视图图像产生单元的一个实施例中，所述边缘检测装置被设置来通过计算所述输入图像的第一像素值和第二输入图像的相应第二像素值之间的像素值差来检测所述边缘，所述输入图像和第二输入图像属于一个视频图像序列。在减去一个视频图像序列的随后图像的基础上检测边缘是相对容易的。该实施例的一个优点是，能够以相对简单的计算资源实现实时的实施方式。像素值表示可视信息，例如颜色或亮度。
在根据本发明的被设置成通过计算像素值差来检测边缘的多视图图像产生单元的一个实施例中，所述第一深度值是第一像素值差的函数。换句话说，所述计算的像素值差用于确定深度值。优选地，所述计算的像素值差与深度值成比例。可选择地，对像素值差的中间计算结果施加滤波。所述滤波可包括空间、时间或空间-时间低通滤波。可选择地，使用一个阈值来虑除相对低的像素值差。这些相对低的像素值差因此就被解释为噪音。
在根据本发明的多视图图像产生单元的一个实施例中，所述边缘检测装置被设置来在根据所述输入图像和第二输入图像计算的运动矢量场的基础上检测边缘，所述输入图像和第二输入图像属于一个视频图像序列。优选地，所述边缘检测装置被设置来借助计算运动矢量场的相邻运动矢量的运动矢量差来检测边缘。计算运动矢量场是已知用于例如视频压缩、去交错或时域向上变换的公知技术。典型的，运动矢量场中的不连续性，即运动矢量场的相邻运动矢量之间的相对较大差与正在拍摄的场景中的移动对象的边界对应，因此与有关边缘对应。根据本发明的这个实施例的优点是，它被设置成在不同类型的边缘之间进行区别：属于基本固定的对象的边缘和属于移动对象的边缘。尤其是，后一类型的边缘是相关的，因为这些边缘典型的与前景对象对应。
在根据本发明的被设置成根据运动矢量场来检测边缘的多视图图像产生单元的一个实施例中，所述第一深度值是第一运动矢量差的函数。换句话说，所述计算的运动矢量差用于确定深度值。优选地，所述计算的运动矢量差与深度值成比例。
本发明的另一个目的是提供一种图像处理装置，其包括：开头段落中所述类型的多视图图像产生单元，所述多视图图像产生单元被设置成根据相对有限的深度信息来渲染在感观上具有令人信服的深度效果的多视图图像。
本发明的这一目的是以这样的方式实现的，即所述产生单元包括：
-边缘检测装置，用于检测输入图像中的边缘；
-深度映射产生装置，用于根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值；和
-渲染装置，用于根据所述输入图像和深度映射来渲染多视图图像。
可选择地，所述图像处理装置还包括用于显示多视图图像的多视图显示装置。
本发明的再一个目的是提供一种开头段落中所述种类的方法，用于根据相对有限的深度信息来渲染在感观上具有令人信服的深度效果的多视图图像。
本发明的这一目的是以这样的方式实现的，即所述方法包括：
-检测输入图像中的边缘；
-根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值；和
-根据所述输入图像和深度映射来渲染多视图图像。
本发明的又一个目的是提供一种开头段落中所述种类的计算机程序产品，用于根据相对有限的深度信息来渲染在感观上具有令人信服的深度效果的多视图图像。
本发明的这一目的是以这样的方式实现的，即所述计算机程序产品在被装载之后给所述处理装置提供有执行下述步骤的能力：
-检测输入图像中的边缘；
-根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值；和
-根据所述输入图像和深度映射来渲染多视图图像。
对多视图图像产生单元的修改及其变形可与所述的图像处理装置、方法和计算机程序产品的修改及其变形一致。
附图说明
根据本发明的多视图图像产生单元、图像处理装置、方法和计算机程序产品的这些和其它方面通过之后参照附图所述的实现过程和实施方式将变得显而易见并将参照这样的实施例对其进行阐释，其中：
图1示意性示出根据本发明的多视图图像产生单元的一个实施例；
图2示意性示出根据本发明的多视图图像产生单元的另一个实施例；
图3示意性示出一个视频图像序列的输入图像；
图4A示意性示出基于随后的输入图像之间的色差的深度映射；
图4B示意性示出基于运动不连续性的深度映射；
图5A示意性示出对边缘进行深度分配的第一函数；
图5B示意性示出对边缘进行深度分配的第二函数；
图5C示意性示出对边缘进行深度分配的第三函数；
图6示意性示出根据本发明的图像处理装置的一个实施例。
相同的参考数字在附图中通篇指代相同的部分。
具体实施方式
图1示意性示出根据本发明的多视图图像产生单元100的一个实施例。所述多视图图像产生单元100被设置成根据视频图像序列来产生一个多视图图像序列。图3示意性示出该视频图像的输入图像。多视图图像产生单元100在输入连接器108处具有视频图像流，并分别在输出连接器110和112处提供两个相关的视频图像流。这两个相关的视频图像流将被提供给多视图显示装置，所述多视图显示装置被设置成根据第一个相关视频图像流来直观化第一图像序列，并根据第二相关视频图像流来直观化第二图像序列。如果用户通过他的左眼观察第一图像序列和通过右眼观察第二图像序列，则他会注意到3D效果。可能的情况是，第一相关视频图像流与接收的视频图像序列对应，并且根据所接收的视频图像序列来渲染第二相关视频图像流。优选地，两个视频图像流都是根据所述接收的视频图像序列来渲染的。所述渲染过程例如由P.A.Redert、E.A.Hendriks和J.Biemond在Proceedings of International Conference onAcoustics，Speech，and Signal Processing上(卷IV，ISBN 0-8186-7919-0，2749-2752页，IEEE Computer Society，Los Alamitos，California，1997)发表的文章“Synthesis of multi viewpointimages at non-intermediate positions”中所述。可选择地，所述渲染过程如在由R.P.Berretty和F.E.Ernst在ProceedingsEurographics(Granada，2003，Short Note 124)中所述。
多视图图像产生单元100包括：
-边缘检测单元102，用于检测输入图像中的边缘；
-深度映射产生单元104，用于根据检测的边缘来为相应的输入图像产生深度映射；和
-渲染单元106，用于根据输入图像和相应深度映射来渲染多视图图像。
检测边缘可基于各个输入图像的空间高通滤波进行。然而优选的是，在相互比较多个输入图像、尤其是计算视频图像序列的随后图像的像素值差的基础上来检测边缘。计算像素值差S(x，y，n)的第一个例子由等式1给出：
S(x，y，n)＝|I(x，y，n)-I(x，y，n-1)| (1)
其中，I(x，y，n)是在时间n具有图像坐标x和y的像素的亮度值。可选择地，所述像素值差S(x，y，n)是根据以下颜色值计算的：
S(x，y，n)＝|C(x，y，n)-C(x，y，n-1)| (2)
其中，C(x，y，n)是在时间n具有图像坐标x和y的像素的颜色值。在等式3中给出了基于三种不同的颜色分量R(红色)G(绿色)和B(蓝色)来计算像素值差S(x，y，n)的另一个可选择方案。
S(x，y，n)＝max(|R(x，y，n)-R(x，y，n-1)|，|G(x，y，n)-G(x，y，n-1)|，|B(x，y，n)-B(x，y，n-1)|) (3)
可选择地，像素值差信号
通过将低于预定阈值的所有像素值差削波至一个常量(例如零)而被滤波。可选择地，应用形态滤波操作来除去所有在空间上较小的边缘。形态滤波器通常是非线性图像处理单元。例如参见P.W.Verbeek，H.A.Vrooman和L.J.van Vliet在“Signal Processing”(卷15，第3期，249-258页，1988)发表的文章“Low-level image processing by max-min filters”。
在对滤波的像素值差信号
进行计算之后，确定深度映射。这在等式4中规定：
D(x，y，n)＝F(SF(x，y，n)) (4)
其中D(x，y，n)是在时间n具有图像坐标x和y的像素的深度值，而函数F(j)是像素值差SF(x，y，n)到深度值D(x，y，n)的线性或非线性变换。该函数F(j)可以是像素值差SF(x，y，n)与预定常数的简单乘法运算：
D(x，y，n)＝α·SF(x，y，n) (5)
可选择地，函数F(j)相当于像素值差SF(x，y，n)与一个加权因数W(i)的乘积，所述加权因数W(i)涉及的是所考虑的像素和与所考虑的像素邻近的空间中的第二像素之间的空间距离i，其具有局部最大值。假定第二像素位于边缘的中心。
D(x′，y′，n)＝W(x，y，x′，y′)*SF(x，y，n) (6)
图5A示意性示出对边缘进行深度分配的适当函数，即作为空间距离i的函数的加权因数W(i)。
如上所述的操作结果是，与所述边缘对应的特定深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的特定输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值。或者换句话说，与边缘对应的深度映射元素具有的值表示到观看者的距离要比到深度映射的其它元素小。
图4A示意性示出基于随后的输入图像之间的色差的深度映射的一个示例。该深度映射如上所述是根据等式2和5在没有滤波的情况下确定的。
边缘检测单元102、深度映射产生单元104和渲染单元106可使用一个处理器来实现。通常，在软件程序产品的控制下执行这些函数。在执行期间，通常将软件程序产品装载到存储器(例如RAM)中，并据此来执行。可从后台存储器装载所述程序，例如ROM、硬盘、或磁存储器和/或光存储器，或者可通过类似互联网的网络装载程序。可选择地，特殊用途集成电路提供所披露的功能性。
图2示意性示出根据本发明的多视图图像产生单元200的另一个实施例。所述多视图图像产生单元200被设置成根据视频图像序列来产生一个多视图图像序列。多视图图像产生单元200在输入连接器108处具有视频图像流，并分别在输出连接器110和112处提供两个相关的视频图像流。多视图图像产生单元200包括：
-运动评估单元202，用于计算输入图像的运动矢量场；
-边缘检测单元102，用于根据相应运动矢量场来检测输入图像中的边缘；
-深度映射产生单元104，用于根据检测的边缘来为相应的输入图像产生深度映射；和
-渲染单元106，用于根据输入图像和相应深度映射来渲染多视图图像。
运动评估单元202例如在G.de Haan等人在“IEEE Transactionson circuits and systems for video technology(卷3，第5期，1993年10月，368-379页)上发表的文章“True-Motion Estimationwith 3-D Recursive Search Block Matching”中所指出的。
边缘检测单元102具有由运动评估单元202所计算的运动矢量场。边缘检测单元102被设置成确定运动矢量场的不连续性。这意味着它被设置成检测运动矢量场中具有相对较大运动矢量对比度的区域。这些区域与相应图像中的边缘对应。可选择地，边缘检测单元102还具有像素值，即输入图像的颜色和/或亮度值。通过适当组合各个输入，就可获得图像中的片断。该处理还由F.Emst在“Proceedings of the ICOB(Imersive Communication andBroadcast Systems)workshop(Heinrich-Hertz-Institut，Berlin，2003年1月)上发表的“2D-to-3D video conversion based ontime-consistents egmentation”中有所说明。除了图像中的片段的检测边缘的坐标之外，边缘检测单元102还可以提供所述片段的拓扑信息。因此，可以知道边缘的哪一侧属于前景目标，以及边远的哪一侧属于背景。
在边缘检测之后，执行深度值的分配。优选地，深度值的分配是根据如图5B和5C所示的加权因数W(i)来进行的。在所述的图5B和5C中，假定左侧部分与前景对应。图5B表示不对称分配；深度跳变朝前景偏斜，并且图5C示出了偏斜的分配；深度跳变在背景中更加快速地衰落。如图5A中所示的，虽然在边缘附近的深度的对称分配看上去能满足充分的感知，但优选的是，如果有来自任何其它深度提示的额外深度信息，那么这适于将深度值分配给一个边缘。深度值的分配优选地被略微偏斜，使得边缘的前景侧至前部的渲染要比边缘的背景侧被略微渲染得多。如上所述，边缘检测单元102被设置成提供关于片段拓扑的信息。因此，知道边缘的哪一侧属于前景，以及哪一侧属于背景。图4B示意性示出基于运动不连续性的深度映射，其是由根据本发明的这个实施例的深度映射产生单元104所提供的。
运动评估单元202、边缘检测单元102、深度映射产生单元104和渲染单元106可使用一个处理器来实现。
总之，多视图图像产生单元100和200被设置来借助检测输入图像中的边缘并以将所述边缘感知为比周围区域更靠近观看者这样一种方式渲染这些图像来渲染多视图图像，所述输入图像中的边缘是深度不连续的良好候选。
因为深度分配主要是根据边缘检测进行的，所以能够容易且稳定地来实现。尤其是因为边缘检测是相对容易的：基于颜色、亮度、结构或运动。优选地，通过时间，例如通过时间一致性分割来跟踪边缘，以使对每边缘的深度分配随时间更加稳定。
图6示意性示出根据本发明的图像处理装置600的一个实施例，其包括：
-接收单元602，用于接收表示输入图像的视频信号；
-多视图图像产生单元604，用于根据接收的输入图像来产生多视图图像，如结合图1和2中的任何一幅所述的；和
-多视图显示装置606，用于显示由多视图图像产生单元604提供的多视图图像。
视频信号可以是通过天线或电缆接收的广播信号，但也可以是来自存储装置例如VCR(盒式磁带录像机)或数字万用盘(DVD)的信号。该信号在输入连接器610处被提供。图像处理装置600可以例如是电视。可选择地，图像处理装置600不包括任选的显示装置，而是将输出图像提供给包括显示装置606的装置。那么图像处理装置600可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。可选择地，图像处理装置600包括存储装置，例如硬盘或用于在可拆除介质(例如光盘)上进行存储的装置。图像处理装置600还可以是被电影工作室或广播公司应用的系统。
应该注意上述的实施例仅仅是示意说明而非限制本发明，在不脱离后附权利要求范围的情况下，本领域技术人员将能够设计出可选择的实施例。在权利要求中，置于括号间的任何参考标记都不应构成为限制权利要求。单词“包括”并不排除出现权利要求中未列举的元件或步骤。在一个元件前面的单词“一”或“一个”并不排除出现多个这种元件。本发明可借助包括若干个不同元件的硬件和借助适当编程的计算机来实现。在列举了若干个装置的单元权利要求中，若干个这些装置可由一个和相同项的硬件来体现。
Claims (11)
1.一种用于根据输入图像来产生多视图图像的多视图图像产生单元(100，200)，所述产生单元包括：
-边缘检测装置(102)，用于检测输入图像中的边缘；
-深度映射产生装置(104)，用于根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值；和
-渲染装置(106)，用于根据所述输入图像和深度映射来渲染多视图图像。
2.如权利要求1所述的多视图图像产生单元(100)，其中所述边缘检测装置(102)被设置来通过计算所述输入图像的第一像素值和第二输入图像的相应第二像素值之间的像素值差来检测所述边缘，所述输入图像和第二输入图像属于一个视频图像序列。
3.如权利要求2所述的多视图图像产生单元(100)，其中所述第一像素值表示颜色和亮度中的一个。
4.如权利要求2所述的多视图图像产生单元(100)，其中所述第一深度值是第一像素值差的函数。
5.如权利要求1所述的多视图图像产生单元(200)，其中所述边缘检测装置(102)被设置来在根据所述输入图像和第二输入图像计算的运动矢量场的基础上检测边缘，所述输入图像和第二输入图像属于一个视频图像序列。
6.如权利要求5所述的多视图图像产生单元(200)，其中所述边缘检测装置(102)被设置来借助计算运动矢量场的相邻运动矢量的运动矢量差来检测边缘。
7.如权利要求6所述的多视图图像产生单元(200)，其中所述第一深度值是第一运动矢量差的函数。
8.一种图像处理装置(600)，包括：
-接收装置(602)，用于接收与输入图像对应的信号；和
-如权利要求1所述的用于根据输入图像来产生多视图图像的多视图图像产生单元(604)。
9.如权利要求8所述的图像处理装置(600)，还包括用于显示多视图图像的多视图显示装置(606)。
10.一种根据输入图像来产生多视图图像的方法，该方法包括：
-检测输入图像中的边缘；
-根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值；和
-根据所述输入图像和深度映射来渲染多视图图像。
11.一种将由计算机装置加载的计算机程序产品，包括用于根据输入图像来产生多视图图像的指令，所述计算机装置包括处理装置和存储器，所述计算机程序产品在被装载之后给所述处理装置提供有执行下述步骤的能力：
-检测输入图像中的边缘；
-根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视图图像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视图图像的观看者有关，所述第一值小于第二值；和
-根据所述输入图像和深度映射来渲染多视图图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP03102431 | 2003-08-05 | ||
| EP03102431.8 | 2003-08-05 | ||
| PCT/IB2004/051315 WO2005013623A1 (en) | 2003-08-05 | 2004-07-28 | Multi-view image generation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1830217A true CN1830217A (zh) | 2006-09-06 |
| CN1830217B CN1830217B (zh) | 2010-06-09 |
Family
ID=34112498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200480022155XA Expired - Fee Related CN1830217B (zh) | 2003-08-05 | 2004-07-28 | 多视图图像产生 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7764827B2 (zh) |
| EP (1) | EP1654884A1 (zh) |
| JP (1) | JP4644669B2 (zh) |
| KR (1) | KR101038452B1 (zh) |
| CN (1) | CN1830217B (zh) |
| WO (1) | WO2005013623A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102113017A (zh) * | 2008-08-05 | 2011-06-29 | 高通股份有限公司 | 使用边缘检测产生深度数据的系统及方法 |
| CN102124742A (zh) * | 2008-08-20 | 2011-07-13 | 汤姆逊许可公司 | 精制深度图 |
| CN102918355A (zh) * | 2011-04-22 | 2013-02-06 | 松下电器产业株式会社 | 三维摄像装置、光透过部、图像处理装置及程序 |
| CN103765895A (zh) * | 2011-06-24 | 2014-04-30 | Lg电子株式会社 | 使用跳跃模式的编码/解码方法和装置 |
| US8913105B2 (en) | 2009-01-07 | 2014-12-16 | Thomson Licensing | Joint depth estimation |
| CN105631848A (zh) * | 2014-10-31 | 2016-06-01 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7457438B2 (en) * | 2003-12-23 | 2008-11-25 | Genesis Microchip Inc. | Robust camera pan vector estimation using iterative center of mass |
| US7346109B2 (en) * | 2003-12-23 | 2008-03-18 | Genesis Microchip Inc. | Motion vector computation for video sequences |
| US7480334B2 (en) * | 2003-12-23 | 2009-01-20 | Genesis Microchip Inc. | Temporal motion vector filtering |
| US7499494B2 (en) * | 2003-12-23 | 2009-03-03 | Genesis Microchip Inc. | Vector selection decision for pixel interpolation |
| FI117369B (fi) * | 2004-11-26 | 2006-09-15 | Imbera Electronics Oy | Menetelmä elektroniikkamoduulin valmistamiseksi |
| CN101107644B (zh) * | 2005-01-18 | 2010-11-24 | 皇家飞利浦电子股份有限公司 | 多视图显示设备 |
| KR100913173B1 (ko) | 2005-07-05 | 2009-08-19 | 삼성모바일디스플레이주식회사 | 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치 |
| KR100932977B1 (ko) | 2005-07-05 | 2009-12-21 | 삼성모바일디스플레이주식회사 | 입체 영상 표시 장치 |
| KR100898287B1 (ko) | 2005-07-05 | 2009-05-18 | 삼성모바일디스플레이주식회사 | 입체 영상 표시 장치 |
| CA2553473A1 (en) * | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
| US8279221B2 (en) | 2005-08-05 | 2012-10-02 | Samsung Display Co., Ltd. | 3D graphics processor and autostereoscopic display device using the same |
| US8325220B2 (en) | 2005-12-02 | 2012-12-04 | Koninklijke Philips Electronics N.V. | Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input |
| KR101345364B1 (ko) * | 2006-02-27 | 2013-12-30 | 코닌클리케 필립스 엔.브이. | 출력 영상 렌더링 |
| JP4875162B2 (ja) | 2006-10-04 | 2012-02-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像強調 |
| GB2445982A (en) * | 2007-01-24 | 2008-07-30 | Sharp Kk | Image data processing method and apparatus for a multiview display device |
| CA2627999C (en) * | 2007-04-03 | 2011-11-15 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
| US8213711B2 (en) * | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
| DE102007021518B4 (de) * | 2007-05-04 | 2009-01-29 | Technische Universität Berlin | Verfahren zum Verarbeiten eines Videodatensatzes |
| US8953684B2 (en) * | 2007-05-16 | 2015-02-10 | Microsoft Corporation | Multiview coding with geometry-based disparity prediction |
| US8854425B2 (en) * | 2007-07-26 | 2014-10-07 | Koninklijke Philips N.V. | Method and apparatus for depth-related information propagation |
| US20090094173A1 (en) * | 2007-10-05 | 2009-04-09 | Adaptive Logic Control, Llc | Intelligent Power Unit, and Applications Thereof |
| BR122012021796A2 (pt) * | 2007-10-05 | 2015-08-04 | Thomson Licensing | Método para incorporar informação de usabilidade de vídeo (vui) em um sistema de codificação de vídeo de múltiplas visualizações (mvc) |
| EP2061004A1 (en) * | 2007-11-14 | 2009-05-20 | Sony Corporation | Object boundary accurate motion detection using hierarchical block splitting and motion segmentation |
| KR101560182B1 (ko) | 2008-01-07 | 2015-10-15 | 삼성전자주식회사 | 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 |
| KR101524465B1 (ko) * | 2008-01-10 | 2015-06-02 | 삼성전자주식회사 | 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 |
| US10200749B2 (en) | 2008-04-10 | 2019-02-05 | Gvbb Holdings S.A.R.L. | Method and apparatus for content replacement in live production |
| KR101617842B1 (ko) | 2008-04-25 | 2016-05-18 | 톰슨 라이센싱 | 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩 |
| JP5083052B2 (ja) | 2008-06-06 | 2012-11-28 | ソニー株式会社 | 立体視画像生成装置、立体視画像生成方法およびプログラム |
| US9225965B2 (en) * | 2008-11-07 | 2015-12-29 | Telecom Italia S.P.A. | Method and system for producing multi-view 3D visual contents |
| KR101506926B1 (ko) | 2008-12-04 | 2015-03-30 | 삼성전자주식회사 | 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법 |
| KR20110024524A (ko) * | 2009-09-02 | 2011-03-09 | 삼성전자주식회사 | 백라이트 유닛, 디스플레이 장치 및 백라이트 유닛 제어 방법 |
| CN102326394B (zh) * | 2009-09-08 | 2014-06-11 | 株式会社东芝 | 图像处理方法以及装置 |
| EP2499829B1 (en) | 2009-10-14 | 2019-04-17 | Dolby International AB | Methods and devices for depth map processing |
| KR101281961B1 (ko) * | 2009-12-21 | 2013-07-03 | 한국전자통신연구원 | 깊이 영상 편집 방법 및 장치 |
| TWI387934B (zh) * | 2009-12-31 | 2013-03-01 | Ind Tech Res Inst | 多視角影像之建構方法及系統 |
| US8345958B2 (en) * | 2009-12-31 | 2013-01-01 | Industrial Technology Research Institute | Method and system for developing new-view image |
| US20110216065A1 (en) * | 2009-12-31 | 2011-09-08 | Industrial Technology Research Institute | Method and System for Rendering Multi-View Image |
| JP5784729B2 (ja) | 2010-08-27 | 2015-09-24 | サムスン エレクトロニクス カンパニー リミテッド | マルチビュー生成のためのレンダリング装置およびその方法 |
| US9305398B2 (en) * | 2010-10-08 | 2016-04-05 | City University Of Hong Kong | Methods for creating and displaying two and three dimensional images on a digital canvas |
| JP5549566B2 (ja) * | 2010-12-07 | 2014-07-16 | コニカミノルタ株式会社 | ステレオ撮影装置 |
| KR101336956B1 (ko) * | 2010-12-27 | 2013-12-04 | 주식회사 넥시아 디바이스 | 2차원 영상을 스테레오 영상으로 변환하는 방법 |
| KR101966920B1 (ko) * | 2012-07-10 | 2019-04-08 | 삼성전자주식회사 | 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치 |
| US20140267616A1 (en) * | 2013-03-15 | 2014-09-18 | Scott A. Krig | Variable resolution depth representation |
| WO2014163465A1 (ko) * | 2013-04-05 | 2014-10-09 | 삼성전자 주식회사 | 깊이맵 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
| GB2514557A (en) * | 2013-05-28 | 2014-12-03 | Snell Ltd | Image processing |
| KR102135914B1 (ko) * | 2013-11-29 | 2020-07-20 | 엘지디스플레이 주식회사 | 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치 |
| BR112017026903A2 (pt) | 2015-06-16 | 2019-05-07 | Koninklijke Philips N.V. | aparelho para gerar um mapa de profundidade, método para gerar um mapa de profundidade e produto de programa de computador |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPN732395A0 (en) * | 1995-12-22 | 1996-01-25 | Xenotech Research Pty Ltd | Image conversion and encoding techniques |
| JPH10276455A (ja) * | 1997-03-28 | 1998-10-13 | Sony Corp | 映像表示方法および映像表示装置 |
| US6031564A (en) * | 1997-07-07 | 2000-02-29 | Reveo, Inc. | Method and apparatus for monoscopic to stereoscopic image conversion |
| AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
| MY124160A (en) * | 1997-12-05 | 2006-06-30 | Dynamic Digital Depth Res Pty | Improved image conversion and encoding techniques |
| EP1395949A1 (en) * | 2001-05-23 | 2004-03-10 | Koninklijke Philips Electronics N.V. | Depth map computation |
| CN1284373C (zh) * | 2001-07-06 | 2006-11-08 | 皇家菲利浦电子有限公司 | 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备 |
| WO2004042662A1 (en) * | 2002-10-15 | 2004-05-21 | University Of Southern California | Augmented virtual environments |
| WO2004107266A1 (en) * | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
-
2004
- 2004-07-28 WO PCT/IB2004/051315 patent/WO2005013623A1/en active Application Filing
- 2004-07-28 EP EP04744668A patent/EP1654884A1/en not_active Withdrawn
- 2004-07-28 CN CN200480022155XA patent/CN1830217B/zh not_active Expired - Fee Related
- 2004-07-28 US US10/567,205 patent/US7764827B2/en not_active Expired - Fee Related
- 2004-07-28 JP JP2006522460A patent/JP4644669B2/ja not_active Expired - Fee Related
- 2004-07-28 KR KR1020067002454A patent/KR101038452B1/ko not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102113017A (zh) * | 2008-08-05 | 2011-06-29 | 高通股份有限公司 | 使用边缘检测产生深度数据的系统及方法 |
| US8477232B2 (en) | 2008-08-05 | 2013-07-02 | Qualcomm Incorporated | System and method to capture depth data of an image |
| CN102124742A (zh) * | 2008-08-20 | 2011-07-13 | 汤姆逊许可公司 | 精制深度图 |
| CN102124742B (zh) * | 2008-08-20 | 2013-09-11 | 汤姆逊许可公司 | 精制深度图 |
| US8913105B2 (en) | 2009-01-07 | 2014-12-16 | Thomson Licensing | Joint depth estimation |
| CN102918355A (zh) * | 2011-04-22 | 2013-02-06 | 松下电器产业株式会社 | 三维摄像装置、光透过部、图像处理装置及程序 |
| US9544570B2 (en) | 2011-04-22 | 2017-01-10 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program |
| CN103765895A (zh) * | 2011-06-24 | 2014-04-30 | Lg电子株式会社 | 使用跳跃模式的编码/解码方法和装置 |
| US9509972B2 (en) | 2011-06-24 | 2016-11-29 | Lg Electronics Inc. | Encoding/decoding method and apparatus using a skip mode |
| CN103765895B (zh) * | 2011-06-24 | 2017-03-08 | Lg电子株式会社 | 使用跳跃模式的编码/解码方法和装置 |
| CN105631848A (zh) * | 2014-10-31 | 2016-06-01 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| CN105631848B (zh) * | 2014-10-31 | 2018-11-09 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7764827B2 (en) | 2010-07-27 |
| KR101038452B1 (ko) | 2011-06-01 |
| WO2005013623A1 (en) | 2005-02-10 |
| EP1654884A1 (en) | 2006-05-10 |
| KR20060119864A (ko) | 2006-11-24 |
| US20060232666A1 (en) | 2006-10-19 |
| JP2007502454A (ja) | 2007-02-08 |
| CN1830217B (zh) | 2010-06-09 |
| JP4644669B2 (ja) | 2011-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1830217A (zh) | 多视图图像产生 | |
| US8036451B2 (en) | Creating a depth map | |
| CN102741879B (zh) | 由单眼图像产生深度图的方法及其系统 | |
| US8270768B2 (en) | Depth perception | |
| CN1745589A (zh) | 用于立体图像的视频滤波 | |
| JP4762994B2 (ja) | 視差マップ | |
| US7787658B2 (en) | Creating a depth map | |
| CN1914643A (zh) | 创建一种深度图 | |
| JP2009212605A (ja) | 情報処理方法、情報処理装置及びプログラム | |
| TW201802664A (zh) | 圖像輸出裝置、圖像輸出方法以及電腦程式產品 | |
| JP5566196B2 (ja) | 画像処理装置及びその制御方法 | |
| Lin et al. | A stereoscopic video conversion scheme based on spatio-temporal analysis of MPEG videos | |
| TW201208344A (en) | System and method of enhancing depth of a 3D image | |
| Sun et al. | Towards Casually Captured 6DoF VR Videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100609 Termination date: 20140728 |
|
| EXPY | Termination of patent right or utility model |