CN101300519A

CN101300519A - 用于3维显示的光学系统

Info

Publication number: CN101300519A
Application number: CNA2006800407990A
Authority: CN
Inventors: P·-A·雷德特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2005-11-02
Filing date: 2006-10-25
Publication date: 2008-11-05
Also published as: WO2007052183A1; JP2009515213A; EP1949170A1; US20080278808A1; US7701637B2

Abstract

一种对二维图像(1)附加光学深度信息的光学系统或前端，其中光学系统包括配置在二维图像(1)前方的光学透镜阵列(2)。光学透镜具有可响应于光学深度信息(D)进行调整的聚焦长度(光焦度)。挡光板(3)配置在光学透镜阵列(2)的前方，其光学开口与光学透镜阵列(2)的光学透镜对准。这种光学前端可被用于基于已知2D显示器的3D显示器，该2D显示器包括LCD、LCOS、等离子体和CRT类型的显示器。这种3D显示器不会受到由于多个视角造成的分辨率损失的困扰。在适于像素化的2D显示器的实施例中，光学透镜的阵列优选在每个像素上具有一个透镜。挡光板(3)可被固定或可调整来允许调整附加光学深度的特性。挡光板(3)的透镜和开口可被定形从而适于水平视角或垂直视角或者二者。透镜阵列(2)可基于电润湿透镜、流体聚焦透镜或者双折射LC材料的透镜。透镜阵列(2)可通过堆叠两个或多个透镜阵列来形成。

Description

用于3维显示的光学系统

技术领域

本发明涉及图像和/或视频信号的三维(3D)显示领域。特别的，本发明提供适于与传统二维(2D)显示器一起使用的光学系统。此外，本发明提供一种3D显示设备和基于2D图像提供3D效果的方法。

背景技术

在广播电视系统中，3D电视(3DTV)可能是继于彩色电视引入之后的下一场革命。在专业应用(医学/工业)中，3D可视化已经很常见。在娱乐和移动通信中，3D可视化是未来商业的重心。

一种3D显示器是自动立体多视点显示器，比如在[C.van Berkel的“Image preparation for 3D-LCD”，Proc SPIE，Vol.3639，84-91页，1999]中描述的3D-LCD。该显示器为多个观看者提供自由的3D观看，而不需要特制的3D眼镜。其由标准2D矩阵显示器以及一些光学前端组成。

这些显示器的一个严重问题是分辨率。光学前端将2D矩阵显示器的原始空间分辨率分布在空间和角度分辨率上。后者被称为“视点数量”N_views。当前的显示器具有N_views～10，导致了空间分辨率损失因子～10。

当前的发展通过可切换显示器部分地解决了分辨率损失的问题。光学前端可被切换为开或关，导致了具有降低分辨率的3D成像或者具有完全2D分辨率的2D成像。当前基于透镜的切换原则导致附加性能损失，其是由于可调整透镜相对于固定透镜的较低折射能力造成的。

多视点显示器需要N_views～100来满足高质量的深度和视角需求。这导致了严重的分辨率损失。

最后，当前的显示器仅提供水平角度分辨率。这在正常的观看条件是足够了。但是在一些情况下，观看被削弱了。观看者的垂直运动导致了3D图像中的灵活性。如果显示器例如对于文档写入被旋转90°，或者如果观看者旋转他的头(例如在躺椅上看电视)，3D效果会损失。附加垂直角度分辨率导致了附加因子的分辨率损失(整体上例如N^views：x*N_views：y)。

US6,014,259描述了一种具有生成多个像素的2D图像以及插入在其前方用于对显示器产生的图像提供光学深度的显示器的可替换3D显示器。所述前端包括配置在显示器前方的微透镜阵列，其中阵列的每个微透镜与一个像素对准，每个像素一个微透镜。每个微透镜的聚焦长度可响应于深度信息来调整，并且因此光学深度可应用到2D图像。理论上这种显示器可从很大的视角来观看。然而实际上，所述的显示器不能够用传统2D显示器满意地操作——结果是严重的可视伪像：图像看起来模糊和重像，就像同时看见了多个稍微移位的副本。

发明内容

可见本发明的目的是提供一种能将光学深度信息附加到2D图像例如可由传统2D显示器产生的方法和光学系统，并且没有2D显示器的空间分辨率损失。

本发明的第一方面提供了一种适于将光学深度信息附加到二维图像的光学系统，该光学系统包括

-配置在二维图像前方的光学透镜阵列，其中光学透镜的聚焦长度可响应于深度信息进行调整，

-配置在光学透镜阵列前方的挡光板，其中挡光板的光学开口与光学透镜阵列的光学透镜对准。

根据第一方面的光学系统可用作配置在2D图像前方并且为2D图像提供光学深度的光学前端。光学系统可应用于所有2D图像，例如打印的2D图像或来自显示器的2D图像，显示器比如为液晶显示器(LCD)，等离子显示器，硅基液晶(LCOS)显示器，和阴极射线管(CRT)显示器。

具有附加光学深度的2D图像的空间分辨率由原始2D图像的分辨率的最小值和光学前端的间距(即透镜和挡光板的间距)来确定。典型地，对于来自例如LCD监视器的像素化的2D图像，透镜和挡光板的间距可选择为等于或小于像素间距，从而不会恶化最终的空间分辨率。那么就因而保持了2D图像的原始空间分辨率，而深度已经被附加到图像。

显而易见的是，光学系统生成的深度的特征在于有效的视点数量N_views，类似于现有的多视点显示器。通过这种光学系统，不考虑N_views，没有分辨率损失。水平和/或垂直角度分辨率都可相同地获得。

通过光学透镜的可调整聚焦长度可以理解光学透镜的影响聚焦长度的任意可调整光学属性。存在着这种通过对每个光学透镜(例如，GRIN透镜或者所谓流体聚焦透镜)单独施加电流而能够调整聚焦长度的阵列。

通过根据第一方面的光学系统，不需要进行渲染来提供3D图像，即不需要强大的信号处理器或类似物来基于具有深度信息的视频信号例如RGBD视频信号(Philips Research公司的3D视频标准)提供3D图像。这种RGBD信号的深度部分D用于例如基于简单的转换公式来控制像素形式的光学透镜的聚焦长度，并且RGBD信号的2D图像部分RGB以传统方式应用到光学系统后的2D系统。

通过这个光学系统，可以选择透镜阵列和挡光板以获得大量的视角——垂直和水平视角。

在优选实施例中，光学透镜阵列和挡光板每个都是基本为平板状的，即它们每个都在一个平面上延伸。这在与平板2D显示器相结合时特别优选。然而，如果2D显示器具有弯曲表面，比如CRT显示器，那么光学透镜阵列和挡光板优选根据曲线来定形，但是这并不是关键的。

所述光学系统将提供与基于挡光板前端光学元件的多视点显示器中的亮度损失相等的亮度损失。

在一些实施例中，挡光板是固定挡光板。可替换的，挡光板是可调整的，从而允许调整显示器特性比如深度和视角的量。特别的，可以提供角度分辨率的在线调整，其将在稍后详细解释。

优选的，光学透镜阵列和挡光板覆盖了将被提供光学深度信息的整个2D图像，然而对于某些应用优选光学透镜阵列和挡光板仅覆盖2D图像一部分。

在像素化的2D图像的情况下，优选光学透镜阵列基本上包括在2D图像每个像素前方对准的一个或多个光学透镜(当透镜的数量低于像素数量时，空间图像分辨率将恶化)。

优选的，光学透镜的聚焦长度对于每个透镜都单独可调整。用于像素化的2D显示器的实施例非常适合于接收例如包括基于像素的深度信息的视频信号。

光学透镜阵列的透镜优选从以下选择：电润湿透镜、流体聚焦透镜、双折射LC材料透镜。然而，原则上可使用具有可调光学属性的任意给定类型的微透镜。

为了减小2D图像和提供在其上的光学深度信息的失准效应，光学系统可以包括空间低通滤波器，其适于在用来调整透镜的聚焦长度之前对深度信息，即RGBD视频信号的深度部分D，进行空间低通滤波。

在一个适用于仅具有一个方向(例如水平方向)的角度分辨率的3D显示器的实施例中，光学透镜优选具有基本为圆柱形的形状，并且挡光板的光学开口优选具有基本为细长的形状，即开口在基本平行于圆柱形光学透镜的中心轴的方向上延伸。

在另一个适于具有垂直和水平角度分辨率的3D显示器的实施例中，光学透镜优选具有基本为球形的形状，并且挡光板的光学开口的形状优选从以下选择：圆形、三角形和矩形。

光学透镜的阵列可包括基本为二维阵列光学透镜的两个或多个阵列的堆叠，产生具有增强光焦度的有效透镜阵列从而增加深度效应。

在第二方面，本发明提供一种将光学深度信息施加到二维图像的方法，该方法包括以下步骤

-在二维图像的前方施加光学透镜阵列，

-在光学透镜阵列的前方施加挡光板，其中挡光板的光学开口与光学透镜阵列的光学透镜对准，以及

-响应于光学深度信息来调整光学透镜的聚焦长度。

原则上对于第一方面的上述优点、实施例和应用也可应用到第二方面。

在本发明的第三方面提供了一种适于接收包括深度信息的视频信号的三维显示设备，该三维显示设备包括

-配置来显示表示视频信号的二维图像的显示器，以及

-光学系统，其包括：

-配置在二维图像前方的光学透镜阵列，其中光学透镜的聚焦长度响应于视频信号的深度信息是可调整的，

根据第三方面的3D显示器可通过任意已知类型的传统2D显示器和配置在其前方的光学系统来形成。3D显示器非常适于接收RGBD类型的视频信号，其中信号的2D部分RGB应用到2D显示器并且视频信号的深度信息部分D应用到光学系统并用于响应深度信息部分D来控制光学透镜的聚焦长度。

原则上对于第一方面的上述优点、实施例和应用也可应用到第三方面。

可以理解本发明的三个方面可应用于包括3D成像工具的任意类型的产品。例如电视机(比如3DTV)、计算机显示器、便携式计算机、移动电话、移动游戏等等、用于显示广告或显示公共事件例如运动事件或会议的大型显示器。在医学应用中本发明可应用到用于扫描结果的3D成像的3D显示器或者用于在复杂外科手术中导航以协助外科医生的3D显示器，或者在虚拟的现实操作中用于训练目的等等。

附图说明

以下本发明将参考附图进行更详细的描述，其中

图1说明根据本发明的3D显示器的实施例的一条扫描线的顶视图，以及

图2说明3D显示器实施例的各个物理量。

在本发明可进行各种修改和替换形式的同时，通过附图以示例方式示出了特定实施例并且将在此详细描述。然而还应当理解，本发明并不旨在限制于在此限定的特定形式。而且，本发明覆盖了权利要求定义的本发明原理和范围内的所有修改方式、等同方式和替代方式。

具体实施方式

为了便于解释，描述了具有像素化的2D显示器的实施例。在非像素化的2D图像源的情况下(例如黑白CRT，或者印刷品比如照片或海报)，有效像素可被定义为具有与非像素化图像的分辨率(锐度)相关的大小，并且以下的描述仍然适用。

为了说明的目的，图1以顶视图的形式示出了根据本发明的整个3D显示器的仅仅一条扫描线(即一维)。3D显示器适于接收RGBD视频信号。视频信号的RGB部分被应用到传统2D显示器1，示出了该显示器的一条扫描线的15个像素。2D显示器1的像素显示了表示RGB视频信号的图像。光学系统(即光学前端)2、3适于根据视频信号的深度信息部分D来提供深度尺寸。光学前端包括光学透镜阵列2和挡光板3。光学透镜阵列2配置在2D显示器的前方。如图所示，光学透镜阵列2中的每个光学透镜与2D显示器1的像素对准，从而对于每个像素有一个光学透镜。RGBD视频信号的深度信息部分D被应用到光学透镜阵列2，该光学透镜阵列2为每个单独的光学透镜提供可变的聚焦长度，其根据深度信息D进行调整。挡光板3配置在光学透镜阵列2的前方，挡光板3的光学开口与光学透镜阵列2的光学透镜对准，并且因此光学开口也和2D显示器1的像素对准。挡光板优选是完全不透明的板，其光学开口被形成为在每个透镜位置处的孔。

当光学透镜阵列2的所有透镜被关掉(即调整为无限聚焦长度)时，对于观看者的表观图像(apparent image)将位于2D显示器1上。光学前端2、3的唯一影响是使得来自2D显示器1的光线变暗。当光学透镜阵列2的透镜具有非零光焦度(有限聚焦长度)时，表观图像将在2D显示器1和观看者之间，甚至可能在光学前端2、3之前。当光学透镜阵列2的透镜的聚焦长度根据D来每个像素地进行调整时，将出现适当的3D图像，在不同深度出现不同的图像内容。

表观图像(或者像素的表观位置)10、11、12的一个例子在图1中示出为对于由箭头13指示的特定视角以及对于透镜的特定调整的虚线框。如线所示，在光学透镜阵列2左边的透镜被调整为无限聚焦长度，即它们基本上没有光学作用，并且因此导致表观图像10和2D显示器1重合。在光学透镜阵列2的中间的五个透镜被示出调整到不同的“中间”聚焦长度，并且因此形成了在2D显示器1和光学透镜阵列2之间的表观图像11。右边的五个透镜被示出调整到“低的”聚焦长度并且因此形成了与中间像素的表观图像11相比更靠近光学透镜阵列2的右边像素的表观图像12。透镜的效果以及因此表观图像10、11、12的位置通过以虚线表示的、从每个像素发出的、经过光学透镜阵列2、经过挡光板的光学开口的、在观看方向13上的光线来示出。

对于仅具有水平角度分辨率的显示器，透镜优选具有圆柱形形状并且挡光板3的光学开口优选是细长的垂直带，该带沿着与圆柱形透镜的中心轴平行的方向上延伸。对于同时具有水平和垂直角度分辨率的显示器，透镜优选具有球形形状并且挡光板的光学开口优选被定义为每个透镜一个形状，例如圆形、方形、三角形等等。

由于在改变观看位置时光学前端相对于显示器的不同对准，该显示器将不会示出与常规使用的传统多视点显示器精确地相同。这个不想要的可视效果可通过在将其应用到光学透镜之前通过低通滤波深度信息D，和/或扩大前景目标(考虑引入深度光晕)来减小。

为了简化，图2说明了图1的3D显示器1的单个像素20。与2D显示器1、光学透镜阵列2和挡光板3相关的各个物理参数以及产生的效果在图2中进行了说明。显示器的像素20的宽度由w_r表示。光学透镜阵列2的光学透镜22被调整为聚焦长度f，并且被配置为距像素20为d_d的距离。挡光板23被配置为距光学透镜22的中心为d_b的距离。仅示出了挡光板23的一个光学开口。该光学开口的宽度由w_b表示。产生的像素20的表观图像21用位于与像素20距离为d_a的虚线框来表示。基于图2，以下可被确定：

2D显示器分辨率：w_r (1)

3D显示器视角：

α_{display} = 2 \tan^{- 1} \frac{w_{r}}{2 d_{b}} - - - (2)

一种有效“视点”的角度：

α_{view} = 2 \tan^{- 1} \frac{w_{b}}{2 d_{b}} ~ \frac{w_{b}}{d_{b}} - - - (3)

有效“视点数量”：

N_{views} ~ \frac{w_{r}}{w_{b}} - - - (4)

相对亮度输出：

β = \frac{w_{b}}{w_{r}} ~ N_{views}^{- 1} - - - (5)

表观深度：

d_{a} = \frac{d_{d} d_{b}}{f} - - - (6)

如果观看者在视角之外，3D图像自身将重复，类似于传统多视点显示器提供的多个区域。

表观深度的总范围由最大透镜光焦度(最小为f)，以及类似于现有多视点显示器由视点数量N_views限定。

挡光板2可以被制成为可调整的，从而实现在线可调整的3D显示特征。挡光板的这种调整可包括相对于透镜机械地或者光学地调整其位置，例如通过使得开口的形状、尺寸和位置可调整的挡光板。通过调整w_b，可以调整亮度和有效视点数量之间的折中(以及由此的深度效应的数量)。

对于N_views＝1(以及处于“关”模式的所有透镜)，显示器回到2D模式。

大多像素化的2D显示器具有所谓不相关的伪细节；在像素中具有一些不应该被看见的结构，例如RGB点图案应当足够小从而在观看者的感观分辨率极限之下。这种伪细节可造成光学前端的干扰。这可通过将光学前端的分辨率(w_r)选择为比最小伪细节更好(更小的w_r)来解决。对于RGB点图案，这可使得w_r被选择为像素尺寸的0.1-1倍。其它的解决方式有例如在相对于透镜的适当角度对准RGB点图案。这仅仅应用于水平或垂直视差前端(不是二者)。典型的，由于RGB点图案，透镜应当基本垂直地对准。

本发明的一个重要特征是对于每个观看位置，每个透镜的仅仅一部分用于光输出。因此，很强的透镜能够与基于视点和透镜内位置的聚焦长度f一起使用。被称为透镜光学能力测量值的数值孔径，w_r/f，通常由大约1进行约束，限制了传统多视点显示器的性能。根据本发明可使用超出这个限制的透镜。然而，通常可调整透镜具有比固定透镜更低的光学能力。因此，我们假设我们的透镜被限制到w_r/f～1的数值孔径，其给出了d_a的深度范围：

d_{a} &Element; [0, \frac{d_{d}}{2 \tan \frac{1}{2} α_{dlsplay}}] - - - (7)

从(2)和(7)可知能够自由地调整3D显示器的观看角度α_display和深度范围。对于tanα_display～1，深度范围等于前端的位置d_d。对于较小观看角度α_display，深度范围增加。

在优选实施例中，以下值是优选的：w_r～1mm，w_b～0.1mm，d_b～2mm以及d_d～1cm。这些值使得：α_display～28。，N_views～10，d_a～0-2cm以及β～0.1。

当前，可调整透镜在Philips Research内能以不同的形式得到，例如通过电润湿或液体聚焦，以及通过如在当前可切换2D/3D显示器中使用的双折射LC材料。多个透镜层可被堆叠来增加数值孔径。固定挡光板可被轻松制造，并且可调整的挡光板等同于高分辨率的黑/白透射显示器(不需要纯黑/白，比如灰度级)。在每个像素可调整的版本中存在挡光板：它们仅是没有背光的灰度级LCD面板。例如基于双折射LC材料的、具有w_r～1mm的可调整透镜可通过当前技术轻松的制造。

对于显示器仅需要的处理是深度D到d_a的转换以及对于透镜的适当驱动信号，以获得适当的聚焦长度f。这是相对简单的处理，其仅包括基于像素的操作(不是像素间的操作)。该处理典型地包括从D缩放到d_a，(例如使用专利申请WO2003058556A1“Method of and scaling unit forscaling a three-dimens.Model and display apparatus”)，随后是透镜适应驱动器，该驱动器必须应用一个从d_a到透镜驱动器信号的、可能为非线性的已知映射。

显示器像素、透镜和挡光板的宽度(wr)在上面的描述中被选择为相等，但是它们可稍微不同。使用W_r；display～w_r；lens+δ～w_r；barrier+2δ来使得每个像素的视角被定位于对于每个像素稍微不同，在一些观看位置得出公共的“焦点”。这在传统多视点显示器中是常用手段。一旦其被完成，“焦点”在任意观看位置都可行。

在权利要求中包括附图的参考标记，仅用于清楚的目的。这些附图中对于示例性实施例的参考不应当以任何方式理解为对权利要求的限制。

Claims

1、一种适于将光学深度信息附加到二维图像(1)的光学系统，该光学系统包括

-配置在二维图像(1)前方的光学透镜阵列(2)，其中光学透镜的聚焦长度可响应于光学深度信息(D)进行调整，

-配置在光学透镜阵列(2)前方的挡光板(3)，其中挡光板(3)的光学开口与光学透镜阵列(2)的光学透镜对准。

2.如权利要求1所述的光学系统，其中光学透镜阵列(2)的光学透镜的尺寸基本上等于或小于二维图像(1)的分辨率。

3.如权利要求1所述的光学系统，其中二维图像(1)包括多个像素。

4.如权利要求3所述的光学系统，其中光学透镜阵列(2)的光学透镜的尺寸基本上等于或小于二维图像(1)的像素。

5.如权利要求1所述的光学系统，其中挡光板(3)是固定挡光板。

6.如权利要求1所述的光学系统，其中挡光板(3)是可调整的从而允许调整附加光学深度的特性。

7.如权利要求1所述的光学系统，其中光学透镜的聚焦长度对于每个透镜可单独调整。

8.如权利要求1所述的光学系统，其中光学透镜阵列(2)的透镜从以下选择：电润湿透镜、流体聚焦透镜以及双折射LC材料的透镜。

9.如权利要求1所述的光学系统，还包括空间低通滤波器，其适于用来在调整透镜的聚焦长度之前对深度信息(D)进行空间低通滤波。

10.如权利要求1所述的光学系统，其中光学透镜具有基本为圆柱形的形状，以及其中挡光板(3)的光学开口具有基本为细长的形状。

11.如权利要求1所述的光学系统，其中光学透镜具有基本为球形的形状，以及其中挡光板(3)的光学开口的形状从以下选择：圆形、三角形和矩形。

12.如权利要求1所述的光学系统，其中光学透镜阵列(2)包括基本为二维阵列光学透镜的两个或多个阵列的堆叠。

13.一种将光学深度信息应用到二维图像的方法，该方法包括以下步骤：

-将光学透镜阵列应用在二维图像的前方，

-将挡光板应用在光学透镜阵列的前方，其中挡光板的光学开口与光学透镜阵列的光学透镜对准，以及

-响应于光学深度信息来调整光学透镜的聚焦长度。

14.一种三维显示设备，其适于接收包括深度信息(D)的视频信号(RGBD)，该三维显示设备包括：

-配置来显示表示视频信号(RGBD)的二维图像(1)的显示器，以及

-光学系统，其包括：

-配置在二维图像(1)前方的光学透镜阵列(2)，其中光学透镜的聚焦长度可响应于视频信号(RGBD)的深度信息(D)进行调整，