[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116260951A - 用于显示视频数据和图像数据的方法和设备 - Google Patents

用于显示视频数据和图像数据的方法和设备 Download PDF

Info

Publication number
CN116260951A
CN116260951A CN202310048968.0A CN202310048968A CN116260951A CN 116260951 A CN116260951 A CN 116260951A CN 202310048968 A CN202310048968 A CN 202310048968A CN 116260951 A CN116260951 A CN 116260951A
Authority
CN
China
Prior art keywords
phase
phase modulator
function
image
modulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310048968.0A
Other languages
English (en)
Inventor
格温·丹贝格
詹姆斯·格雷格森
沃尔夫冈·海德里希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MTT Innovation Inc
Original Assignee
MTT Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=54765907&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN116260951(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by MTT Innovation Inc filed Critical MTT Innovation Inc
Publication of CN116260951A publication Critical patent/CN116260951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/50—Optics for phase object visualisation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/006—Projectors using an electronic spatial light modulator but not peculiar thereto using LCD's
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312—Driving therefor
    • H04N9/3126—Driving therefor for spatial light modulators in series
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3167—Modulator illumination systems for polarizing the light beam
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Liquid Crystal (AREA)
  • Projection Apparatus (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Lenses (AREA)

Abstract

本发明公开了用于显示视频数据和图像数据的方法和设备。一种用于控制相位调制器以显示由图像数据限定的图像的方法，所述方法包括：基于所述图像数据来确定目标函数的近邻算子；将所述近邻算子变换到频率空间中；在所述频率空间中评估经变换的近邻算子以获得所述频率空间中的相位函数，并且对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维位置相关联。

Description

用于显示视频数据和图像数据的方法和设备
本申请为于2020年5月15日提交、申请号为202010413872.6、发明
名称为“用于显示视频数据和图像数据的方法和设备”的一代分案申请的二代分案申请。上述一代分案申请为于2017年1月10日提交、申请号为201580037846.5、发明名称为“应用于成像、照明和投影的高效的动态高对比度透镜作用”的中国专利申请的分案申请。上述一代分案申请的母案申请的国际申请日为2015年6月3日，国际申请号为PCT/CA2015/050515。
相关申请的交叉引用
本申请要求于2014年6月3日提交的美国专利申请第62/007341号和于2015年2月20日提交的美国专利申请第62/118945号的优先权。为了美国的目的，本申请按照35U.S.C§119要求于2014年6月3日提交的题为DYNAMIC FREEFORM LENSING WITH APPLICATIONS TOHIGH DYNAMIC RANGE PROJECTION的美国专利申请第62/007341号和于2015年2月20日提交的题为EFFICIENT,NUMERICAL APPROACHES FOR HIGH CONTRAST FREEFORM LENSING的美国专利申请第62/118945的权益，并且出于各种目的，将其通过引用并入本文。
技术领域
本发明涉及产生所需的光图案。在一些实施方式中，所需的光图案与由图像数据指定的图像对应。具体实施方式提供了用于对自由曲面透镜诸如移相光调制器、可变反射镜等进行控制以实现所需的光分布的方法。其他实施方式提供了用于投射光的投影仪。
背景技术
光效率和动态范围两者都是商业投影仪设计的主要关注点。即使大多数图像只需要少量的在其平均图片水平之上的局部非常亮的高亮以看起来现实[Rempel等人，2011]，但是高对比度和峰值亮度对于更高的感知图像质量(亮度、色度)是至关重要的[Rempel等人，2009]。另一方面，光学系统应该是高效的以使功率消耗最小并且简化热管理。后一个问题使得通过提高投影仪光源的功率来实现非常高的峰值亮度是不切实际的。
幅度空间光调制器(或SLM)通常用于通过像素选择性阻挡光来在图像中创建色调和颜色。由于受阻挡的光被吸收，所以这样的SLM倾向于光学效率低。
可以通过提供两级或更多级的光调制器(Hoskinson等人)来实现HDR(高动态范围)图像投影。许多光调制器(例如LCD面板)通过减法(即通过吸收不需要的光)来产生所需的光场。已经进行了一些努力以通过对光进行重新分配来创建所需的光场。然而，许多可用的光重新分配技术具有显著的缺点。例如，一些需要激光，这可以导致激光斑点。一些计算非常密集。一些需要光的非常高的空间频率控制，这对光调制器提出要求并且还会导致由光的衍射引起的伪影。
可以设计自由曲面透镜以在预限定的照明条件下产生特定的焦散图像[Finckh等人，2010；Papa等人，2011；Schwartzburg等人，2014；Yue等人，2014]，自由曲面透镜可以是非球面非对称透镜。焦散图像是入射在自由曲面透镜上的光的重新分布或“重新分配”[Hoskinson等人2010]，设计这种自由曲面透镜的计算机图形方法被称为基于目标的焦散。设计自由曲面透镜以实现特定所需的图像可以是计算密集的。
自由曲面透镜可以应用于一般照明应用(例如[Minano等人，2009])，以及更具体地，应用于基于目标的焦散[Berry 2006；Hullin等人，2013]。用于设计自由曲面透镜的一些方法应用离散优化方法，该离散优化方法作用于问题的像素化版本上(例如[Papas等人2011，Papas等人2012，Papas等人2012])。针对连续表面的其他优化没有明显的像素结构(例如[Finckh等人，2010；Kiser等人，2013；Pauly和Kiser 2012；Schwartzburg等人，2014；Yue等人，2014)。
全息图像形成模型(例如[Lesem等人1969])适于创建数字全息图[Haugen等人1983]。对于研究和特殊应用提出全息投影系统[Buckley 2008]。这些系统中的许多系统使用在相位SLM上寻址的衍射图案(或全息图)与相干光(激光)组合以用于图像生成。尽管原则上是形成图像的有效方式，但是用于投影仪的全息术中的挑战在于实现足够好的图像质量，通过二进制相位调制器可实现的有限衍射效率[Buckley 2008]以及对傅立叶透镜的需求常常导致由于提高的黑色级别(在DC光斑被扩展的情况下)而引起的有效图像区域内的亮DC光斑或整个图像的减小的对比度。全息投影通常需要相干光。
发明人已经认识到需要更有效的方式来设计自由曲面透镜以实现所需的光图案。特别地，发明人已经确定可以应用足够有效的设计方法来提供动态自由曲面透镜的实时或近实时生成。例如，这样的动态自由曲面透镜可以递送视频内容或动态变化的光效应。
发明内容
本发明提供了用于控制空间光调制器提供光的自由曲面透镜效应的方法。光可以被投射和/或被进一步调制。本发明的另一方面提供了实现如本文所描述的方法的设备例如投影仪、显示器，照明系统及其部件。
动态自由曲面透镜可以应用于光投影系统中。这样的光投影系统可以有利地是光效率的，提供高(局部)峰值亮度和高对比度(高动态范围，HDR)。一些实施方式采用在唯相位SLM上实现的动态自由曲面透镜。唯相位SLM可以与常规光阻挡SLM(例如级联调制方法中的反射LCD)组合。当如本文所述进行控制时，相位调制器可以产生平滑但仍十分详细的“焦散”图像。如果需要，这样的焦散图像可以由幅度调制器进一步调制。与常规投影仪相比，该方法可以提供更高的动态范围和/或改进的(局部)峰值亮度两者。
本申请尤其描述：
·照明系统和投影仪，其中使用(近)准直光来照射相位调制器，并且
在相位调制器上寻址的相位图案在具有或不具有其他光学元件的情况下形成期望光场或图像；
·用于产生使用相位调制器能够以高帧速率动态光转向的自由曲面透镜配置的傅里叶域优化方法；
·实时自由曲面透镜效应算法及其在照明系统、投影仪和视频/图像处理系统中的应用；
·结合相位调制器和幅度调制器以用于图像生成，并且能够使用宽带光以及单色光(例如激光)两者工作的双调制投影机设计。
示例性自由曲面透镜优化方法基于一阶(近轴)近似，其适用于长焦距并且广泛地用于光学器件中。在该线性模型下，光的局部偏转与相位调制函数的梯度成比例，同时强度与拉普拉斯算子(Laplacian)成比例。相位调制函数可以例如使用优化方法在透镜面而不是像平面中求解，以获得非常简单的实现方法，该方法直接优化折射透镜的形状或相位函数而无需额外步骤。该方法可以在傅立叶域中非常有效地求解。在一些实施方式中，算法对于用于再现视频序列的自由曲面透镜效应配置的即时(on the fly)计算足够有效。
一个示例性方面提供了双调制投影仪设计，其中将仅影响照明的相位的一个空间光调制器与影响其幅度(强度)的一个空间光调制器组合。唯相位调制器对从其反射的光的波前进行曲线化，并且用作常规幅度调制器的预调制器。这种方法与白光和激光照明一起工作，在没有明显能量损失的情况下生成粗糙的图像表示。
双调制HDR投影仪设计使用自由曲面透镜优化方法来提供能量高效的高动态范围和高强度投影。这种方法能够使用白光(或其他宽带光)照明以及相干激光。宽带光的使用可以通过消除激光斑点和平均其他衍射伪影来显著改善图像质量。高分辨率自由曲面透镜的实时实现使得能够使用诸如视频处理。双调制HDR投影仪可以完全由当前市售的鲁棒性部件构成。
在一些实施方式中，相位调制器在幅度调制器上创建平滑的但仍然相当详细的“焦散”图像。由于焦散图像仅仅重新分布或“重新分配”光，所以与使用单个幅度调制器来调制光的常规投影仪相比，该方法产生较高的动态范围以及改进的(局部)峰值亮度两者。
一些实施方式应用线性模型，其中光的局部偏转与相位调制函数的梯度成比例，以及强度与拉普拉斯算子成比例。
一些实施方式将该模型的应用与透镜面而不是像平面中的优化问题的参数化组合，以获得非常简单的实现方法，该方法直接优化折射透镜的形状或相位函数，而无需任何附加步骤。虽然目标函数由于图像扭曲是非凸的，但是通常可以在几次迭代内实现算子收敛。
如本文所描述的技术应用于例如在光高效率、高(局部)峰值亮度和高对比度(高动态范围，HDR)投影系统中的控制动态自由曲面透镜方面。
本发明的一些方面提供了可以应用于有效地确定相位调制器的相位图案以在像平面中创建期望光分布的算法。在一些实施方式中，在透镜面中的位置处的相位与像平面的对应区域之间建立(接近)一对一关系。这与传统全息方法所需的发散或会聚光线或光束相反。
其在附图中示出和/或在下面的描述中描述他方面和示例性实施方式。
附图说明
附图示出了本发明的非限制性示例实施方式。
图1是针对图像形成的示例性几何图形的示意图。相位调制发生在透镜面中，透镜面被设置在距像平面为焦距f的距离处。这导致波前的曲率，波前的曲率由相位函数p(x)表示。
图2是示出由于微分面积dx的畸变引起的强度变化的示意图。
图3是示出针对由高度场h(x)限定的自由曲面透镜中的折射的几何图形的示意图。
图4示出了在用于自由曲面透镜效应的算法中的阶段。
图5C、图5D和图5E示出了使用本文所描述的方法制造的折射透镜的示例。
图5A和图5B示出了用于使用白光来驱动投影仪显示的唯相位空间光调制器。相同的设置还可以使用激光照明。这种方法在节能双调制HDR投影仪中特别有用。右边图像示出了针对基于目标的焦散使用相同的自由曲面透镜算法设计的折射透镜。对于摄影目的，两个结果都显示在背面照明而不是前面的屏幕上，使得所显示的“Lena”图像显示镜像。
图6A和图6B是原型实施方式的照片。窄带动态透镜效应测试装置的布局包括HeNe激光源、光束扩展器、线性偏振滤光器和折叠式反射镜、唯相位SLM和距SLM为50mm距离处的投影屏。用于产生自由曲面透镜(在本例中为Siggraph标志)的SLM相位图案还显示在笔记本屏幕上以用于可视化。应注意，菲涅耳状相位扭曲用于实现较大相变。底部：白光配置绕开激光器模块，并且白光配置包括白色LED、准直光学器件和线性偏振滤光器、唯相位SLM和距SLM为50mm距离处的投影屏。在该设置中的SLM针对550nm的中心波长进行校准。
图7是示例高亮度HDR投影仪的系统图：来自经扩展且准直的激光束的光被唯相位调制器反射。每像素的相位延迟量类似于使用如本文所述的算法计算的动态透镜的高度场。该自由曲面透镜的有效焦平面与由偏振分束器、LCoS微显示器和投影透镜组成的现成的反射投影头在面内。来自图像的暗部分的光可以用于创建高亮度特征，并同时降低黑色级别。
图8是包括中间像平面的示例高亮度HDR投影仪的系统图，其中，例如通过添加光成形漫射片对来自相位阶段的光进一步成形：来自经扩展且准直的激光束的光被唯相位调制器反射。每像素的相位延迟量类似于使用如本文所述的算法计算的动态透镜的高度场。该自由曲面透镜的有效焦平面与中间像平面在面内，中间像平面经由中继光学器件而被中继到现成的反射投影头上，现成的反射投影头包括偏振分束器、LCoS微显示器和投影透镜。来自图像的暗部分的光可以用于创建高亮度特征，并同时降低黑色级别。
图9示出了对模拟和捕获的结果从上到下逐行进行的比较。相位图案：由算法1计算的相位图案。模拟：预测图像的惠更斯-菲涅耳模拟。直接：在没有漫射片的情况下显示衍射伪影的实际图像的照片。漫射片：通过添加薄膜漫射片，几乎完全减轻伪影诸如衍射条纹。标准：标准的照片，使用单个幅度调制器的仅幅度调制投影示出提高的黑色级别和低对比度。建议(HDR)：使用我们的透镜效应方法将光从暗区域重新分配到亮区域，导致改进的黑色级别和增加的高亮强度。最后两行由于相机的偏离角度位置而显得轻微变形，相机的偏离角度位置由于短投投影和关闭屏幕以及挡板以有效地阻挡环境光以捕获系统的黑色级别而变得必要。
图10A、图10B和图10C：与图8中的位置A至位置C相关的从左到右：A：相位图案存在于唯相位LCoS调制器处，B：由中间像平面(在漫射片之前)中的透镜产生的直接图像，以及C：强度分布在穿过薄膜光成形漫射片之后存在于幅度LCoS调制器处。
图11A、图11B和图11C示出了基于双调制的示例性高动态范围投影系统。第一阶段对源照明相位进行调制以形成粗糙中间图像。这之后是用于形成最终图像的幅度调制阶段。因为光被重新分布而不是被阻挡，所以相较于常规投影，使用相位调制导致更大的对比度和更暗的黑色级别。
图12A示出了针对图像形成模型的几何图形，其中，在透镜面中发生相位调制p(x)，并且导致的偏转在距离f处的像平面上创建焦散图像。图12B示出了像平面上的局部强度与透镜面和像平面上的相应斑块之间的差分表面面积的变化相关。
图13A、图13B和图13C：通过镜像填补所输入的图像，可以在保持Toeplitz矩阵结构的情况下实现图像边缘处的纯纽曼(pure-Neumann)边界条件。这防止图像边界的畸变。模拟结果使用LuxRenderTM。
图14A、图14B、图14C和图14D：LuxRender光线跟踪模拟：平滑度参数α不利于图像中的实现高亮度但是差的图像质量的强焦散。
图15：简单示例性动态透镜效应测试设置的布局与宽带光一起使用。来自光源诸如白色LED以及准直光学器件(经修改的闪光灯)连同线性偏振滤光器(为相位调制器的合理使用而设置的)的光束被以唯相位模式操作的SLM反射，并且到达面对SLM的距离为50mm处的小投影屏上。在该设置中的SLM针对550nm的中心波长进行校准。由于光引擎功率限制，尽管这种设置示出了相位调制在宽带光的情况下是作用的，但是这种设置不足以驱动双调制设置(降低的强度还在嵌体中引入相机捕获噪声)。这为未来宽带照明相位+幅度双调制设置铺平了道路。例如，这样的设置可以应用工业标准氙灯泡、有成本效益的蓝色激光+磷光体光源或LED作为光源。
图16：针对激光器的单个调制测试设置，包括光源(黄色盒，532nm DPSS激光器和激光器控制器)、光束扩展和准直光学器件(橙色盒)、反射相位SLM(蓝色)、各种折叠式反射镜和简单的投影透镜以将图像从和中间像平面中继到投影屏(绿色)上。计算机屏幕上显示的相位图案与光学路径中的所需相位延迟线性相关以形成图像。相位图案在一个波长的倍数处被相位扭曲，并且可以被直接寻址到微显示器SLM上。
图17：示例性高亮度HDR投影仪的简化系统图：来自经扩展且准直的激光束的光被唯相位调制器反射。每像素的相位延迟量类似于使用我们的算法计算的动态透镜的高度场。该自由曲面透镜的有效焦平面与由偏振分束器以及LCoS微显示器和投影透镜组成的现成的反射投影头在面内。来自图像的暗部分的光可用于创建高亮度特征，并同时降低黑色级别。
图18：对模拟和捕获的结果从上到下逐行进行的比较。相位图案：由算法4.1计算的相位图案。模拟：预测图像的惠更斯-菲涅耳模拟。直接：在没有漫射片的情况下显示衍射伪影的实际图像的照片。漫射片：通过添加薄膜漫射片，几乎完全减轻伪影诸如衍射条纹。标准：标准的照片，使用单个幅度调制器的仅幅度调制投影示出提高的黑色级别和低对比度。建议的(HDR)：使用我们的透镜效应方法将光从暗区域重新分配到亮区域，从而导致改进的黑色级别和增加的亮度强度。最后两行由于相机的偏离角度位置而显得轻微变形，相机的偏离角度位置由于短投投影和关闭屏幕以及挡板以有效地阻挡环境光以捕获系统的黑色级别而变得必要。
图19A和图19B：在LDR比较模式(左边图像)和HDR模式(右边图像)中的原型投影仪的照片。左边：光重新分布被激活，从而导致增加的峰值亮度和降低的黑色级别。右边：使用相同的硬件进行比较的LDR投影仪。在LDR模式下，平坦相位分布导致在幅度衰减器(第二SLM)处的均匀照明分布。每个图像被竖直分割以在左半部分显示长曝光时间(暗级别细节是可见的)和在右侧显示短曝光(高亮中的细节是可见的)。两种曝光在屏幕上具有相同的投影图像。
具体实施方式
通过下面的描述，阐述了具体细节以提供对本发明的更透彻的理解。然而，本发明可以在没有这些细节的情况下实施。在其他情况下，没有详细示出或描述公知元件，以避免不必要地模糊本发明。因此，说明书和附图被认为是说明性的而不是限制性的。
自由曲面透镜效应
一些实施方式提供了确定在被照射时提供所需光场的透镜形状或相位函数的新方法。该方法的输出可以应用于对相位调制器或可变透镜或可变反射镜进行控制以得到所需的光场。
在根据一些实施方式的显示中，唯相位SLM用作可编程自由曲面透镜。可以使用宽带光(例如白光)照射透镜。这消除了斑点，同时透镜调制图案的空间平滑度减少了衍射伪影。任何剩余的衍射被照明的宽带特性所平均，仅导致可以在双调制设置中被建模和补偿的少量的模糊。
一些实施方式针对相位函数或等效地对透镜形状直接进行优化，而不需要随后的积分步骤。这通过直接在透镜面而不是像平面中表达优化的问题的参数化来促进。相较于文献中描述的方法，这导致自由曲面透镜优化问题更简单的等式。
相位调制图像形成
本申请部分地涉及用于通过使用不吸收太多光但在像平面内四处移动调制器的调制器来显示所需的光图案的方法。以此方式，可以将光从暗图像区域重新分配到亮图像区域。例如，可以对调制器进行控制以提供移动的亮光点。适用于此应用的调制器的示例是以唯相位方式操作的LCoS SLM。SLM可以具有合适的分辨率诸如1、25或更大的兆像素。可以通过对连续相位函数进行优化来实现对SLM的控制，该连续相位函数表示当光通过SLM时光波前的所需曲率。
根据不同实施方式的设备和方法使得能够使用宽带光(例如来自灯、LED或具有不同波长的激光器阵列)以及单色激光。相位调制阵列诸如在唯相位配置中操作的基于液晶的SLM被应用为可编程自由曲面透镜。能够使用宽带照明帮助消除屏幕斑点，同时透镜调制图案的空间平滑度减少其他伪影诸如衍射。像平面中的任何剩余衍射效应可以被照明的宽带特性所平均，从而仅导致通过设置一个或更多个附加调制器来易于被建模和补偿的少量模糊。
一种针对相位函数(即透镜面中的波前的形状)或等效地透镜形状直接进行优化而不需要随后的积分步骤的方法涉及使得能够直接在透镜面而不是像平面中表达优化的问题的参数化。
为了得到用于相位调制显示的图像形成模型，考虑图1所示的几何配置：透镜面和像平面(例如屏幕)距离焦距f彼此平行地放置。准直光在透镜面处从法线方向入射。透镜面中的相位调制器(或透镜)使光的相位变形，从而导致曲线形的相位函数p(x)，其对应于光线的局部偏转。在相关实施方式中，在透镜面中设置可变反射镜。
由平滑相位函数引入的相位延迟的影响可以与近轴近似下的等效物理折射透镜相关，这可以使用几何光学或者根据Hyugens原理导出。当sinθ≈θ时，近轴近似适用。对于|θ|≤12°的投影系统(在本示例中，全范围与将光从图像的一侧重新定向到另一侧对应)，近轴近似的误差小于1％。这有利于针对相位表面直接进行优化。
使用对于小偏转角有效的简单近轴近似sinφ≈φ，可以示出像平面中的几何位移与相位函数的梯度成比例。
关于对于小偏转角有效的近轴近似sinφ≈φ，在2D中获得
Figure SMS_1
在3D中，这导致用于透镜面上的点x与像平面上的对应点u之间的映射的下述等式：
Figure SMS_2
强度调制
使用上述映射，我们可以导出与该变形相关联的强度变化。令dx为透镜面上的微分面积，并且令du＝m(x)·dx为像平面上对应区域的微分面积，其中，m(.)为空间变化放大因数。然后给出像平面上的强度为
Figure SMS_3
其中，i0是入射在透镜面上的准直光的强度。在下面，为了简化符号，假设i0＝1。这对应于透镜面的均匀照明。
放大因数m(.)可以根据透镜面与像平面之间的映射的导数来表示(还参见图2)：
Figure SMS_4
这得到对于像平面上的强度分布的以下表达式：
Figure SMS_5
换言之，可以根据透镜面上的标量相位函数的拉普拉斯算子直接计算放大率m以及因此像平面上的强度i(u)。
优化问题
虽然可以将根据等式5的图像形成模式直接转换成优化问题，但是我们发现可以通过首先使用一阶泰勒近似法使该等式线性化来实现更好的收敛，这得到
Figure SMS_6
其中，左边侧可以被解释为像平面中的目标强度i(u)使用由给定相位函数p(x)产生的畸变u(x)而被向后扭曲到透镜面上的扭曲图像
Figure SMS_7
Figure SMS_8
根据该图像形成模型，可以构建下述优化问题以用于确定给定目标图像i(u)的相位函数p(x)：
Figure SMS_9
其中，ip是扭曲图像
Figure SMS_10
其中像平面中的目标强度i(u)使用由给定相位函数p(x)产生的畸变u(x)向后扭曲到透镜面上。
这个优化问题可以通过在更新相位函数与更新扭曲图像之间进行迭代来解决，如以下示例性算法0所示：
Figure SMS_11
在将i(.)和p(.)直接离散化为像素之后，相位更新与使用离散拉普拉斯算子作为系统矩阵求解线性最小二乘问题对应。可以使用包括共轭梯度(CG)、BICGSTAB和准最小残差(QMR)的多个不同算法中的任何一个来解决这种正半定系统。这样的算法可以由程序执行。图像扭曲与简单的纹理映射操作对应，这可以在GPU(图形处理器单元)上有效地实现。
在图4中示出该算法的收敛行为，图4示出了六次迭代的算法阶段。随着相位函数p(k)朝向解而收敛，目标图像i通过向后扭曲到透镜面i～k)上而逐渐变形。算法使用未变形的目标图像来优化初始相位函数。使用这个相位函数，通过向后扭曲像平面目标来更新透镜面上的目标图像。随着相位函数收敛，该过程越来越扭曲调制器平面的目标图像。虽然向后扭曲步骤意味着非凸目标函数，但是根据经验发现，仅在较少次数的迭代(5-10)中实现收敛。通过首先处理较低的图像分辨率并且上采样结果，可以进一步加速总体处理时间。
傅立叶域中的解
可以通过理解该方法的计算成本主要是由于大规模双调和问题的解而进一步提高该算法的收敛速度。例如，可以采用Krylov子空间方法(QMR)，然而由于难以找到有效的预处理器以及系统的规模，收敛通常较慢。用于双调和系统的有效解的算法是正在进行的研究主题，包括例如预处理方法[Silvester和
Figure SMS_12
2004]，多网格方法[Zhao2004]和算子分裂方案[Tang和Christov 2006]。将这些缩放到实时成像问题所需的数百万个自由度是极具挑战性的。
基于近邻算子的替代方法可以使得能够在傅里叶域中表示问题，并且因此使用高度可平行的快速傅立叶变换库来有效地解决问题。这种替代方法允许使用商品低成本数据处理器来实时或接近实时地获得解。
例如，如在[Ng等人，1999]中所描述的镜像填补输入图像使得由▽4的离散化引起的系统具有在标称图像边缘处的纯纽曼边界条件的周期性边界条件。这在图3中示出。这种修改使得目标函数(等式7)中的乘积▽4p经由傅立叶卷积定理被表示为卷积，这使得能够使用更快的傅立叶域解算器。
对于周期性边界条件，这个问题可以通过使用近邻算子在傅里叶空间中非常有效地求解。根据稀疏优化的近邻方法使得能够在不破坏系统的结构的情况下进行正则化。
对于任意凸函数F(z)，近邻算子proxγF(在等式8中限定)像其中寻找减小F但不离输入变元q太远的z的值的信任区域优化的单个步骤那样作用：
Figure SMS_13
对于最小二乘目标
Figure SMS_14
所产生的近邻算子如等式9所示。
proxγF(q)＝(γ+ATA)-1(γq+ATb) (9)
由于近邻算子包含严格凸正则化项，所以即使F只是弱凸，整个算子也是严格凸函数。近邻算子的这个属性有助于设计具有快速收敛的算法。直接的定点优化算法、近点方法[Parikh和Boyd 2013]利用这一点通过对目标的近邻算子(即zk+1＝proxγF(zk))重复求值直到收敛到F的极小值为止来优化严格凸函数或弱凸函数。由于近似正则化项还可以表示为Toeplitz矩阵(简单的单位矩阵)，所以近似正则化项不会破坏问题的循环结构，也不会通过进行不必要的正则化来改变解。
通过将正向傅立叶变换和反向傅立叶变换分别表示为F()&F-1()，通过*的复共轭以及逐点执行乘法和除法，针对Toeplitz矩阵A，等式7的近邻算子可以在傅立叶域中重新表示为等式10。
Figure SMS_15
已经添加常数α≥0以通过使解满足低曲率来对解算器进行正则化。这与对经形式修改的施以
Figure SMS_16
的不利后果的等式7进行求解相对应，如等
式11所示。
Figure SMS_17
参数α的影响是相较于可以以其他方式找到的解给予更平滑的解。这有助于防止该方法产生不需要的焦散，试图在较暗区域中以图像质量为代价实现非常亮的高亮。图13显示了α参数对模拟的影响。
通过限定
Figure SMS_18
和
Figure SMS_19
以及q＝pk(x)，上述问题可以使用算法1在傅里叶空间中迭代求解。这个改变使得能够进行使用一个正向/反向傅立叶变换、一个图像扭曲和一些次要的分量形式的操作来计算的非线性求解的每次迭代。如图所示，等式11是公共近邻算法即近点方法的非线性变体，其是用于使通过求值：pk+1←proxγF(pk)由递归地调用proxγF组成的任意凸F最小的定点算法。
Figure SMS_20
算法的重新形成导致当使用基于FFT的解算器在CPU上执行算法时比上述QMR解算器快几个数量级。如果QMR解算器的每一帧计算时间为20分钟或更长，则算法1中的傅里叶版本在Core i5台式计算机上在相同分辨率(256×128)下需要约0.6秒，约2000倍的加速。到傅里叶域解的转换还导致更容易实现以在一个或更多个GPU上并行运行的操作。已经在C++和使用CUFFT的CUDA两者中针对正向和反向傅立叶变换[NVIDIA]实现了算法算法。当在GeForce 770GPU上运行时，代码的CUDA&CUFFT版本得到的速度比单线程CPU版本高出近150倍，比使用QMR实现的原生CPU版本产生的速度高出大约300,000倍。本文描述的算法是发明人知道的能够实时操作的第一自由曲面透镜方法，参见表1。这与产生令人满意的结果的方法诸如[Schwartzburg等人，2014]形成对比，但是比我们的GPU算法在运行时间上高出约5个数量级。这目前防止其在能够实时投影系统中的使用。
算法 分辨率 运行时间
CPU 256×128 600ms
GPU 256×128 4ms
GPU 480×270 14ms
GPU 960×540 52ms
GPU 1920×1080 212ms
表1：使用算法1的10次迭代的各种分辨率输入的运行时间
该算法因为其使用高度平行的FFT和分量形式的操作而非常适合于在装置诸如GPU、FPGA或ASIC上的硬件实现。针对固定次数的迭代(通常为10)运行算法1。收敛到解是快速的，需要少于10次的迭代；然而对于硬件实现，非常期望具有独立于帧内容的计算时间。平滑因子α的选择可以在某种程度上取决于内容。
模拟结果
使用物理透镜与相位函数之间的等同使得能够生成固体透镜模型，以用于经由几何光学模拟进行测试(使用Blender+LuxRender)。虽然这些模型可能不满足近轴近似，但是因为厚度效应倾向于表现为低空间频率畸变，所以这些模型很好地用于快速定性比较。在图12和图13中示出了示例，图12和图13分别示出了镜像填补的效果和α的选择。重要的是应注意，因为原型很好地符合近轴近似的条件，所以这些畸变不影响原型投影仪结果。
当需要更高的物理准确度时，可以应用惠更斯-菲涅耳模拟，其将(复杂)入射照明近似为(复杂)点源的叠加。虽然模拟的增加的成本将分辨率限制在需要解决来自离散像素的衍射效应的水平之下，但是模拟结果显示在图18、图19A和图19B中，并且与实验观察到的结果(例如参见“模拟”和“直接”图像中的Marilyn的鼻子上的焦散)很好地一致。来自激光光源的斑点类似地不被建模。
基于这些结果，得出下述结论：主要如预期地执行相位调制，并且图像质量的主要限制是衍射伪影和斑点。
静态折射透镜
相位函数p(x)可以直接用于驱动数字相位调制显示(参见下文)。然而，如果替代，可以用透明材料创建折射透镜表面，然后该相位函数可以被转换为透镜形状的几何模型。
可以对在一侧上是平坦的并且在另一侧上具有自由曲面高度场h(x)的透镜形状进行建模(参见图3)。在(x，z)平面中，偏转角φ与高度场处的入射角(√i)和出射角(θ0)有关，如下所示
Figure SMS_21
在(y，z)平面中存在类似关系。
另外，透镜材料的折射率为n。使用斯涅耳定律，再次近轴近似，可以获得
Figure SMS_22
使用等式12和等式13以及
Figure SMS_23
可以导出透镜形状为
Figure SMS_24
其中，h0是透镜的基底厚度。
高度h(x)是相位的线性函数。折射率n仅呈现为相位函数p(.)的标量乘数。由于p本身在焦距f处近似线性，因此可以看出，高度场的均匀缩放和折射率的均匀变化仅将自身表现为透镜的重新聚焦。这还示出等同地可以调整上面提出的示例性优化过程以直接优化h(.)而不是p(.)。上述公式在仅因为例如空间相位调制器用于视频投影仪中寻求控制的情况下是优选的。
图5B、图5C、图5D和图5E示出了一些示例性3D打印的折射透镜。图5C示出了透镜本身，以及图5D和图5E示出了由透镜产生的焦散(Lena图像和Siggraph标志)。由于3D打印机的分辨率限制，针对大特征尺寸对透镜尺寸进行了优化，这导致短焦距。
图5B、图5C、图5D和图5E示出了使用利用我们的方法生成的折射自由曲面透镜的基于目标的焦散的结果。使用VeroClearTM材料在Objet Connex260快速原型机上将透镜(图5C所示)3D打印。然后，彻底清洁透镜，并且使用细粒砂纸和抛光膏手动抛光许可侧。这种类型的3D打印机具有42μm的层厚度，这限制了可以被容易创建的特征尺寸。
如上所述，可以对模型进行重新缩放以实现不同的焦距。为了适应制造方法的分辨率限制，选择非常短的焦距f(对于Siggraph标志约为1″，对于Lena图像约为5″)。虽然这些尺度测试了在图像形成模型的推导中使用的近轴近似的极限，但是图像质量仍然相当好。通过更好的制造方法如注塑成型、高精度铣削或甚至3D打印表面的详细手动抛光，可以同时改进图像质量并且减小特征尺寸，使得远场投影变得可行。
动态透镜效应
为了在投影显示中应用自由曲面透镜概念，可以应用能够对反射光或透射光的波前的形状进行操纵的空间光调制器。几种不同的技术可用于此目的。
几个自适应光学装置自身适合于实时视频能力实现。这样的装置包括基于显示的微机电系统(MEMS)如由[Hoskinson等人，2012]制造的反射镜的模拟2D阵列、或者在波前感测和校正应用中使用的可变形反射镜。连续可变形反射镜[Menn等人，2007]似乎是特别有吸引力的选择，因为它们消除了由于规则像素结构而引起的衍射。虽然已经报道了具有许多4096致动器的功能镜，但是这些基于MEMS的装置的空间分辨率仍然比在数字投影仪中常规使用的现有数字微显示的空间分辨率低几个数量级。这使得它们在这一点上的使用在双调制设置中不太有吸引力。
一些实施方式有利地应用基于液晶显示(LCD)技术的波前调制器。LCD通常通过将基于液晶显示(LCD)技术的波前调制器夹在两个线性偏振滤光器之间而被配置成幅度(强度)调制器。然而，当在没有第二偏振器的情况下操作时，基于液晶显示(LCD)技术的波前调制器取决于每个像素中的液晶的旋转状态而不同地延迟(调制)通过光的相位。跨越每个像素的单元间隙的电场控制相位延迟的量。原则上，这样的标准显示器足以实现动态透镜效应。然而，还存在专用的商业上可获得的微显示器，其已经被优化为a)使相位延迟的量最大化(2π和更大数量级)，以及b)使偏振变化的量最小化。因此，这种类型的SLM的像素值直接对应于如上导出的相位函数p(.)。因为需要更厚的单元间隙，所以较大的相位延迟使得透镜表面具有更陡的梯度，但是以切换速度为代价。如果SLM中的相位变化不影响偏振状态(“唯相位”)，则这使得能够将该显示器与沿光学路径更远的其他光电部件结合使用，特别是用于双调制目的的传统幅度SLM。有关该主题的更多信息，请参阅[Robinson等人，2005]。
示例性原型实施方式使用由[HOLOEYE]分发的反射式硅上液晶(LCoS)芯片。该芯片在6.4μm的像素间距处具有1920×1080个离散像素的空间分辨率，并且可以在高达60Hz时更新。访问查找表使得能够针对不同的工作波长校准调制器。与其他技术相比，显示器的填充因子和反射率分别高达93％和75％。相位延迟被校准在0与2π之间，等于一个波长的光。这足以产生具有长焦距的自由曲面透镜。对于较短的焦距，需要更强烈的曲线化波前，这为p(.)创建更大的值。可以通过相位扭曲来解决这个问题，即，仅使用p(.)的小数部分来驱动SLM。这导致类似于菲涅耳透镜的图案。
建造了两个测试台。第一个原型包含没有第二幅度调制器的相位SLM，并且可以在两种类型的光源之间重新配置：红色632.8nm HeNe激光器；和白色LED。这个原型使得能够单独测试自由曲面透镜效应方法，并且评估基于光源类型的伪影诸如衍射。第二个原型是使用绿色532nm二极管泵浦固态(DPSS)激光器作为光源的全双调制投影仪。
由于其良好的光束质量和低功率，首先实施使用HeNe气体激光器的基于激光的系统，这使得其在实验中安全(图6，上图)。这种装置使得能够确认和分析期望观察到的衍射图案。
相较于基于衍射的投影方法[Slinger等人，2005]，基于折射原理的方法的显著优点是对光源降低要求。在2D全息投影系统中使用的衍射图案理想地需要空间和时间相干光以用于图像形成，我们的方法使得能够使用部分准直的宽带光进行光重新定向。这是有利的，因为即使最近的基于激光的投影系统需要加宽以减少伪影如屏幕斑点对比度以及观察者同色异谱。
演示使用单个白色宽带LED作为光源的原型。在该示例中，LED具有短波长发光管芯(蓝色)和转换荧光体(绿色-黄色)。参见图6，下图。
还使用532nm DPSS激光器在基于激光的系统上应用新图像形成方法(图16)。与LED方法相比，激光光源的光功率(500mW)足以将所得的光强度分布中继并放大到较大的投影屏上用于评估。
如通过波前模拟(图18，第二行)所预期和后来证实的，单频率激光器的使用导致包括由于干扰引起的明显的屏幕斑点对比度和衍射“条纹”的伪影(图18，第三行)。如前所述，通过使用例如具有不同中心波长的一组激光器或宽带光源诸如LED和灯[2015]，这些伪影可以减少到低于可察觉的可见阈值。可以通过使用例如漫射片或在高速下以伪随机方式引入微小的角度多样性的商业上可获得的连续可变形反射镜来在空间或时间上平均图像来实现类似的图像“平滑”效果。这在限制到例如在测试装置中使用窄带光源时是特别有用的。为了易于实现，选择使用被放置在相位SLM之后的中间像平面中的薄膜漫射片。可以在(图8，第四行)看到“净化”强度分布的照片。
还演示了高亮度、高动态范围投影系统的第一原型，其中，基于动态透镜效应方法形成图像，并使用传统的基于LCoS的幅度调制显示来提供额外的清晰度和对比度。
在高水平，传统投影系统的光学路径包括高强度光源和某种形式的光束成形，例如光束扩展、准直和均匀化、颜色分离和重组光学器件。在投影仪的心脏处，小的SLM衰减每像素的光的幅度。我们的原型保留了这种架构，但用激光照明和相位SLM替代均匀照明模块(图7)。透镜效应系统插入在光源与现有SLM之间，并且在与SLM平面一致的中间像平面上形成近似的光分布。
自由曲面透镜效应方法将光从暗的图像区域重新分布到明亮的图像区域，从而增加对比度和局部峰值亮度两者，已知其对视觉真实性具有显著影响[Rempel等人，2011]。
最初使用用于相位SLM的粗糙正向图像形成模型来预测存在于第二的仅幅度调制器处的照明分布。给定来自自由曲面透镜效应算法的相位函数，使用来自等式2和等式4的简单模型来预测像平面上的光分布。在中间像平面处在漫射片处引入的平滑度的量可以使用模糊核进行近似，然后获得幅度调制器所需的调制图案，以在需要时引入任何缺失的空间信息以及附加对比。应注意，需要整个光学系统的表征和仔细校准以最佳地驱动SLM。对于这项工作，除了两个图像的仔细空间配准(由SLM上的幅度调制和相位延迟引起的照明分布)和校准到光强度的线性增量之外，不进行其他明显努力。
类似于平板HDR显示器的情况[Seetzen等人，2004]，可以使用用于相位SLM的正向图像形成模型来预测第二的仅幅度调制器的“背光”照明。可以通过HDR目标图像除以“背光”图案来获得用于幅度调制器的调制图案。
图18示出了我们的方法的模拟的选择和实验结果。图18的第一行(“相位图案”)示出了通过算法4.1计算的应用于相位调制器的相位图案，其中黑色对应于没有相位延迟，以及白色对应于2π的延迟。这些图案示出了具有大于2π的最大相位延迟的相位图案如何能够扭曲到调制器的最大相位延迟，导致类似于菲涅耳透镜的图案。
图18的第二行('模拟')示出了使用惠更斯-菲涅尔原理的相位图案的模拟。不像几何光学模拟如路径跟踪，这些模拟能够捕获许多衍射伪影。第三行(“直接”)示出了仅使用显示由于激光斑点引起的噪声以及衍射伪影的相位调制的原型的照片。通过在图18的第四行(“漫射”)中引入漫射片，可以几乎完全去除这些伪影；该行的照片使用与“直接”行相同的相机设置。
相位图案：通过算法1计算的相位图案。
模拟：预测图像的惠更斯-菲涅耳模拟。
直接：在没有漫射片的情况下显示衍射伪影的实际图像的照片。
漫射片：通过添加薄膜漫射片，几乎完全减轻伪影诸如衍射条纹。
标准：标准的照片，使用单个幅度调制器的仅幅度调制投影示出提高的黑色级别和低对比度。
建议(HDR)：使用我们的透镜效应方法将光从暗区域重新分配到亮区域，导致改进的黑色级别和增加的亮度强度。最后两行由于相机的偏离角度位置而显得轻微变形，相机的偏离角度位置由于短投投影和关闭屏幕以及挡板以有效地阻挡环境光以捕获系统的黑色级别而变得必要。
在图18的第五行(“标准”)中，示出了使用仅幅度调制器操作的我们的双调制投影仪的照片。这通过提供恒定值相位函数来禁用光重新分布来实现。结果是典型的单级投影仪，泄漏的光污染黑色级别并且整体对比度由于可用的功率限制高亮强度的低效使用而变得低。
最后，在图18的最后一行(“建议(HDR)”)中，显示了我们提出的相位+幅度双调制方法的照片。这些照片是使用与“标准”结果(第五行)相同的相机装置捕获的，并且示出我们的方法不仅恢复更好的黑色级别，而且如预期地通过将光从图像的暗区域重新分布到较亮区域来增加高亮的亮度。这使得更好地利用可用功率，实现高动态范围投影，与双幅度调制方法相比，功耗大大降低。
图5A(左)示出了在该装置的白光版本上再现的Lena图像。如所预期的，宽带照明将大多数衍射伪影平均化，仅产生相对小的空间模糊，非常类似于Seetzen等人[2004]的原始双调制工作中的背光模糊。该模糊可以被容易地校准并且可以在双调制设置中进行补偿。
来自我们的双调制设置的结果显示在图9和图10中。图9仅示出了自由曲面透镜效应方法的效果，其中幅度SLM设置为恒定值。如在HeNe激光器设置中，尽管由于较大的焦距而在文中较不明显，但是可以识别一系列衍射伪影，并且减少相位扭曲的使用。图10示出了实际双调制方法的结果。第二调制器阶段具有增加的对比度和增加的显著细节，但是不能消除一些高频伪影。
以下参考文献提供背景信息，并且在此通过引用并入本文。
·BERRY,M.2006.Oriental magic mirrors and the Laplacian image.欧洲物理学报，27,1,109。
·BIMBER,0.和IWAI,D.2008.Superimposing dynamic range.美国计算机学会图形学汇刊.27,5,150。
·BLACKHAM,G.和NEALE,A.,1998.Image display apparatus,3月18.
欧洲专利申请.EPI9,970,306,624。
·BUCKLEY,E.2008.70.2:Invited paper:holographic laserprojectiontechnology.In Proc.SID,卷.39,1074-1079。
·DAMBERG,G.,SEETZEN,H.,WARD,G.,HEIDRICH,W.和WHITEHEAD,L.2007.3.2:High dynamic range projection systems.InProc.SID,卷.38,威利在线图书馆,4-7。
·DAMBERG,G.,SEETZEN,H.,WARD,G.,KANG,M.,LONGHURST,P.,HEIDRICH,W.和WHITEHEAD,L.2007.High dynamic range projector.
Siggraph新兴技术。
·FINCKH,M.,DAMMERTZ,H.和LENSCH,H.P.2010.Geometryconstruction fromcaustic images.In Proc.ECCV,464-477。
·HAUGEN,P.R.,BARTELT,H.和CASE,S.K.1983.Image formation bymultifacetholograms.应用光学22,18,2822-2829。
·HOLOEYE.Photonics corporation.URLhttp://www.holoeye.com。
·HOSKINSON,R.,STOEBER,B.,HEIDRICH,W.和FELS,S.2010.Lightreallocationfor high contrast projection using an analog micromirror array.
美国计算机学会图形学汇刊(TOG)29,6,165。
·HOSKINSON,R.,HAMPL,S.和STOEBER,B.2012.Arrays of large-area,tip/tiltmicromirrors for use in a high-contrast projector.传感器和致动器A:物理l73,1,172-179。
·HULLIN,M.B.,IHRKE,I.,HEIDRICH,W.,WEYRICH,T.,DAMBERG,G.,AND FUCHS,M.2013.State of the art in computational fabricationand display of materialappearance.Eurographies年会(STAR)。
·KISER,T.,EIGENSATZ,M.,NGUYEN,M.M.,BOMPAS,P.,ANDPAULY,M.2013.Architectural causticscontrolling light with geometry.
先进建筑几何2012.施普林格出版公司,91-106。
·[Kusakabe等人.2009]Kusakabe,Y.,Kanazawa,M.,Nojiri,Y.,Furuya,M.
和Yoshimura,M.2009.Ahigh-dynamic-range and high-resolutionprojectorwith dual modulation,卷.7241,72410Q-72410Q-11。
·LESEM,L.,HIRSCH,P.和JORDAN,J.1969.The kinoform:a newwavefrontreconstruction device.研究和发展的IBM期刊13,2,150-155。·MENN,S.,CORNELISSEN,S.A.和BIERDEN,P.A.2007.Advances inmems deformable mirror technology for laserbeam shaping.In光学装置
+应用,光学和光子学的国际社团66630M-66630M。
·MINANO,J.C,BENITEZ,P.和SANTAMARIA,A.2009.Freeform opticsforillumination.光学评论16,2,99-102。
·[Ng等人.1999]Ng,M.K.,Chan,R.H.和Tang,W.-C.1999.Afastalgorithm fordeblurring models with neumann boundary conditions.科学计算的SIAM期刊21,3,851-866。
·[NVIDIA]NVIDIA,C.Programming guide,cusparse,cublas,and cufftlibraryuser guides.{在线}。
·PAPAS,M.,JAROSZ,W.,JAKOB,W.,RUSINKIEWICZ,S.,MATUSIK,W.和WEYRICH,T.2011.Goal-based caustics.计算机图形学论坛30,2,503-511。
·PAPAS,M.,HOUIT,T.,NOWROUZEZAHRAI,D.,GROSS,M.和JAROSZ,W.2012.Themagic lens:refractive steganography.美国计算机学会图形学汇刊(TOG)31,6,186。
·[Parikh and Boyd 2013]Parikh,N.和Boyd,S.2013.Proximal algorithms.
优化的基础和趋势1,3,123-231。
·PAULY,M.,AND KISER,T.2012.Caustic art.Tech.rep。
·REMPEL,A.,HEIDRICH,W.,LI,H.和MANTIUK,R.2009.Videoviewingpreferences for hdr displays under varying ambient illumination.
Proc.APGV,45-52。
·REMPEL,A.,HEIDRICH,W.和MANTIUK,R.2011.The role of contrastin theperceived depth of monocular imagery.Proc.APGV,115。
·ROBINSON,M.D.,SHARP,G.和CHEN,J.2005.Polarizationengineering for LCDprojection,卷.4.约翰威利国际出版公司。
·SCHWARTZBURG,Y.,TESTUZ,R.,T AGLIAS ACCHI,A.和PAULY,M.
2014.High-contrast computational caustic design.美国计算机学会图形学汇刊(Proc.Siggraph).(已出版)。
·SEETZEN,H.,HEIDRICH,W.,STUERZLINGER,W.,WARD,G.,WHITEHEAD,L.,TRENTACOSTE,M.,GHOSH和VOROZCOVS,A.
2004.High dynamic range display systems.美国计算机学会图形学汇刊(Proc.SIGGRAPH)(8月),760-768。
·SEETZEN,H.2009.High dynamic range display and projection systems.
英属哥伦比亚大学博士论文。
·[Silvester和MihajloviA2004]Silvester,D.J.和Mihajlovi c',M.D.2004.
Ablack-box multigrid preconditioner for the biharmonic equation.BIT数值数学44,1,151-163。
·SLINGER,C.,CAMERON,C和STANLEY,M.2005.
Computer-generated holography as a generic display technology.IEEE计算机38,8,46-53。
·[Tang和Christov 2006]Tang,X.H.和Christov,C.I.2006.Anoperatorsplitting scheme for biharmonic equation with acceleratedconvergence.大规模科学学报的第五届国际研讨会论文集,施普林格出版公司,柏林，海德堡,LSSC'05,387-394。
·YUE,Y.,IWASAKI,K.,CHEN,B.-Y.,DOBASHI,Y.和NISHITA,T.2012.
Pixel art with refracted light by rearrangeable sticks.计算机图形学论坛31,2pt3,575-582。
·YUE,Y.,IWASAKI,K.,CHEN,B.-Y.,DOBASHI,Y.和NISHITA,T.2014.
Poisson-based continuous surface generation for goal-based caustics.美国计算机学会图形学汇刊,(已出版)。
·[Zhao 2004]Zhao,J.2004.Convergence of v-cycle and f-cyclemultigridmethods for the biharmonic problem using the morley element.数值分析的电子交易17,112-132。
应理解，一些实施方式提供下述中的一个或更多个：
·比一些现有技术算法显著更简单的用于自由曲面透镜优化的新的算法(“基于目标的焦散”)。该算法可以应用于实时或近实时地控制光的投射。
·一些实施方式直接在相位空间中操作，并且因此可以被实现为迭代方法，其不仅可以针对相位调制器生成调制图案，而且可以针对常规折射透镜在没有额外步骤诸如泊松(Poisson)积分的情况下生成调制图案。
·结合一个相位和一个幅度调制器以用于图像生成，并且能够使用白色(非相干)光工作的新的双调制投影仪设计。就我们所知的那样，·本文所描述的方法和设备还可以应用于产生例如用于建筑照明和/或车辆照明的静态光场。
·直接优化光的调制相位，无需在数据项与表面的可积性之间折衷。
·通过查找使得能够在调制器/透镜面而不是像平面中表示优化的问题的参数化来可行。
·我们的推导依赖于小角度图像形成(近轴近似)，这在光学社区中已经确立。
术语的解释除非上下文另有明确要求，否则在整个说明书和权利要求书中：
·“包括”、“包含”等应被解释为包括的意思，而不是排他的或穷尽的意思；也就是说，在意义上“包括但不仅限于”；
·“连接”、“耦接”或其任何变体是指两个或更多个元件之间的直接或间接的任何连接或耦接；元件之间的耦接或连接可以是物理的、逻辑的或其组合；
·“本文”、“上面”、“下面”和类似含义的词语在用于描述本说明书时，
应当是指将本说明书作为整体而不是本说明书的任何特定部分；
·对于两个或更多个项目的列表，“或”涵盖了该词语的所有以下解释：
列表中的任何项目、列表中的所有项目，以及列表中的项目的任何组合；
·单数形式“一”、“一个”和“该”还包括任何适当的复数形式的含义。指示方向诸如“竖直”、“横向”、“水平”、“向上”、“向下”、“向前”、“向后”、“向内”、“向外”、“垂直”、“横向”、“左”、“右”、“前”、“后”、“顶部”、“底部”、“在上方”、“在下方”的词语根据所描述和示出的设备的特定取向在本说明书和随附权利要求中使用(如果存在)。本文所描述的主题可以假设各种替代取向。因此，这些方向性术语不是严格限定的，并且不应被狭义地解释。
可以使用专门设计的硬件、可配置硬件、可编程数据处理器来实现本发明的实施方式，可编程数据处理器通过提供能够在数据处理器、专用计算机或被特别编程、配置或构造成执行在如本文中详细说明的方法中的一个或更多个步骤和/或这些中的两个或更多个的组合的数据处理器上执行的软件(其可选地包括“固件”)来配置。具体设计的硬件的示例是：逻辑电路、专用集成电路(“ASIC”)、大规模集成电路(“LSI”)、超大规模集成电路(“VLSI”)等。可配置硬件的示例是：一个或更多个可编程逻辑器件诸如可编程阵列逻辑(“PAL”)、可编程逻辑阵列(“PLA”)和现场可编程门阵列(“FPGA”)。可编程数据处理器的示例是：微处理器、数字信号处理器(“DSP”)、嵌入式处理器、图形处理器、数学协处理器、通用计算机、服务器计算机、云计算机、大型计算机、计算机工作站等。例如，用于装置的控制电路中的一个或更多个数据处理器可以通过在可访问处理器的程序存储器中执行软件指令来实现如本文所述的方法。
处理可以是集中式的或分布式的。在处理是分布式的情况下，包括软件和/或数据的信息可以集中或分布保留。这样的信息可以通过通信网络诸如局域网(LAN)、广域网(WAN)或因特网，有线或无线数据链路，电磁信号或其他数据通信渠道在不同的功能单元之间交换。
例如，虽然以给定顺序呈现处理或块，但是替换示例可以以不同顺序执行具有步骤的例程或采用具有块的系统，并且可以删除、移动、添加、细分、组合和/或修改一些处理或块以提供替代或子组合。这些处理或块中的每一个可以以各种不同的方式来实现。此外，尽管处理或块有时被示为是串行执行，但是这些处理或块可以替代地并行执行，或者可以在不同时间执行。
此外，虽然元件有时被示为顺序执行，但是元件可以替代地同时或以不同的顺序执行。因此，旨在将所附权利要求解释为包括在其预期范围内的所有这样的变型。
软件和其他模块可以驻留在服务器、工作站、个人计算机、平板计算机、图像数据编码器、图像数据解码器、PDA、颜色分级工具、视频投影仪、视听接收器、显示器(例如电视机)、数字电影放映机、媒体播放器和适用于本文所述目的的其他装置。相关领域的技术人员应理解，系统的各方面可以用其他通信、数据处理或计算机系统配置来实践，包括因特网装置、手持装置(包括个人数字助理(PDA))、可穿戴计算机、所有方式的蜂窝或移动电话、多处理器系统、基于微处理器或可编程消费电子产品(例如视频投影仪、视听接收器、显示器诸如电视机等)、机顶盒、网络PC、微型计算机、大型计算机等。
本发明还可以以程序产品的形式提供。程序产品可以包括携带一组计算机可读指令的任何非暂态介质，当计算机可读指令由数据处理器执行时，使得数据处理器执行本发明的方法。根据本发明的程序产品可以是各种形式中的任一种。程序产品可以包括例如非暂态介质诸如包括软盘的磁性数据存储介质、硬盘驱动器、包括CD ROM的光学数据存储介质、DVD、包括ROM的电子数据存储介质、闪速RAM、EPROM、硬连线或预编程芯片(例如EEPROM半导体芯片)、纳米技术存储器等。程序产品上的计算机可读信号可以可选地被压缩或加密。
在一些实施方式中，本发明可以在软件中实现。为了更清楚起见，“软件”包括在处理器上执行的任何指令，并且可以包括(但不限于)固件、驻留软件、微代码等。如本领域技术人员已知的，处理硬件和软件两者可以是整体或部分地集中式或分布式(或其组合)的。例如，软件和其他模块可以经由本地存储器、经由网络、经由浏览器或分布式计算环境中的其他应用或者经由适合于上述目的的其他手段来访问。在一些实施方式中，图像数据由处理器执行软件指令来处理，以得到用于相位调制器的控制信号。在一些实施方式中，软件可以实时地执行(其他实施方式也是可行的)。
在上面提到部件(例如软件模块、处理器、组件、装置、电路等)的情况下，除非另有说明，否则对该部件的引用(包括对“装置”的引用)应当被解释为作为该部件的等同物包括执行所描述的部件的功能的任何部件(即功能上等同的)，包括在结构上不等同于执行本发明的所示示例性实施方式中的功能的所公开的结构的部件。
为了说明的目的，本文描述了系统、方法和设备的具体示例。这些仅是示例。本文提供的技术可以应用于除了上述示例性系统以外的系统。在本发明的实践中，许多替代、修改、添加、省略和置换是可行的。本发明包括对于本领域技术人员显而易见的所描述的实施方式的变型，包括通过以下方式获得的变型：用等同特征、元件和/或动作替换特征、元件和/或动作；混合和匹配来自不同实施方式的特征、元件和/或动作；将来自本文描述的实施方式的特征、元件和/或动作与其他技术的特征、元件和/或动作组合；和/或省略来自所描述的实施方式的特征、元件和/或动作的组合。
因此，旨在将所附权利要求和随后引入的权利要求解释为包括可合理推断的所有这样的修改、置换、添加、省略和子组合。权利要求的范围不应当受到在实施方式中阐述的优选实施方式的限制，而应当给予与作为整体的描述一致的最宽泛的解释。
关于包括以上实施例的实施方式，还公开下述的技术方案：
方案1.一种用于控制相位调制器以显示由图像数据限定的目标光图案的方法，所述方法包括：
基于所述图像数据来初始化扭曲图像，所述扭曲图像通过与相位函数p(x)对应的畸变从所述目标光图案扭曲，所述相位函数p(x)表示由所述相位调制器施加的针对透镜面中的区域的相移；
通过执行多次迭代来改进所述相位函数和所述扭曲图像，其中，所述多次迭代中的每一次包括以下步骤：
通过执行得到经更新的相位函数的优化来更新所述相位函数，其中，经更新的相位函数减小所述扭曲图像与由所述相位函数在所述扭曲图像中的点处提供的放大率的倒数之间的差值测量；以及
使用由经更新的相位函数p(x)产生的畸变u(x)来将所述目标光图案扭曲到所述透镜面上，以得到经更新的扭曲图像。
方案2.根据方案1所述的方法，其中，所述差值测量包括所述扭曲图像的像素与所述扭曲图像中的点处的放大率的倒数之间的差值的平方和。
方案3.根据方案1或2所述的方法，其中，更新所述相位函数包括：
计算所述扭曲图像的像素与
Figure SMS_25
的对应值之间的差值。
方案4.根据方案1或2所述的方法，其中，更新所述相位函数包括：
计算所述扭曲图像的像素与
Figure SMS_26
的对应值之间的差值。
方案5.根据方案1至3中任一项所述的方法，其中，更新所述相位函数的步骤包括求解线性最小二乘问题。
方案6.根据方案4所述的方法，其中，所述最小二乘问题包括具有离散拉普拉斯算子的系统矩阵。
方案7.根据方案1所述的方法，其中，更新所述相位函数的步骤包括求解：
Figure SMS_27
方案8.根据方案4至6中任一项所述的方法，其中，执行所述优化包括应用选自由共轭梯度(CG)、BICGSTAB和准最小残差(QMR)组成的组的算法。
方案9.根据方案1至7中任一项所述的方法，其中，将所述像平面中的目标强度向后扭曲到所述透镜面上的步骤包括执行纹理映射操作。
方案10.根据方案8所述的方法，其中，在图形处理器单元上实现所述纹理映射操作。
方案11.根据方案8或9所述的方法，其中，将所述像平面中的目标强度向后扭曲到所述透镜面上的步骤包括计算：
Figure SMS_28
方案12.根据方案1至11中任一项所述的方法，包括：对所述像平面处的图像中的模糊进行建模，并且生成倾向于至少部分地补偿所述模糊的用于幅度调制器的控制值。
方案13.根据方案1至12中任一项所述的方法，包括：通过根据所述相位函数控制所述相位调制器并使用光照射所述相位调制器，来显示所述目标光图案。
方案14.根据方案13所述的方法，其中，所述光是宽带光。
方案15.根据方案14所述的方法，其中，所述宽带光是白光。
方案16.根据方案13所述的方法，其中，所述光是单色的。
方案17.根据方案13或16所述的方法，其中，所述光是激光。
方案18.根据方案13至17中任一项所述的方法，其中，所述光是准直的。
方案19.根据方案18所述的方法，其中，所述光沿垂直于所述透镜面的方向入射到所述相位调制器上。
方案20.根据方案1至19中任一项所述的方法，其中，所述光图案包括一个或更多个光亮点。
方案21.根据方案20所述的方法，包括：对应用于所述相位调制器的所述相位函数进行控制，以使所述一个或更多个光亮点移动。
方案22.根据方案20或21所述的方法，其中，所述一个或更多个光亮点具有超过所述像平面处的最大均匀照射强度的强度。
方案23.根据方案1至22中任一项所述的方法，其中，所述相位调制器的分辨率为至少1兆像素。
方案24.根据方案23所述的方法，其中，所述相位调制器包括至少5兆像素。
方案25.根据方案1至24中任一项所述的方法，其中，所述光图案占据所述像平面中的图像区域，并且从所述相位调制器上的任何点，从所述点指向所述图像区域的边界的任何点的光线与所述相位调制器的法线形成角度θ，其中|θ|≤12°。
方案26.根据方案1至24中任一项所述的方法，其中，所述透镜面中的点的数值孔径使得近轴近似保持在1％内。
方案27.根据方案1至26中任一项所述的方法，其中，初始化所述扭曲图像包括：将所述扭曲图像设置为与所述目标光图案相同。
方案28.根据方案1至27中任一项所述的方法，其中，所述相位调制器包括液晶相位调制器。
方案29.根据方案28所述的方法，其中，所述相位调制器包括LCoS装置。
方案30.根据方案1至27中任一项所述的方法，其中，所述相位调制器包括可变反射镜。
方案31.根据方案1至30中任一项所述的方法，其中，所述图像数据包括具有至少每秒20帧的帧速率的视频数据。
方案32.根据方案31所述的方法，其中，所述视频数据针对每一帧提供不同的目标光图案，并且所述方法包括：针对每一帧计算不同的相位函数。
方案33.根据方案32所述的方法，包括：实时计算所述不同的相位函数。
方案34.根据方案1至33中任一项所述的方法，其中，以10次或更少次迭代来执行改进所述相位函数和所述扭曲图像。
方案35.根据方案1至34中任一项所述的方法，其中，以固定次数的迭代来执行改进所述相位函数和所述扭曲图像。
方案36.根据方案1至35中任一项所述的方法，包括：在一个或更多个图形处理器单元中并行地执行改进所述相位函数和所述扭曲图像的一个或更多个步骤。
方案37.根据方案1至35中任一项所述的方法，包括：在频域中执行改进所述相位函数和所述扭曲图像的至少一些步骤。
方案38.根据方案37所述的方法，包括：生成优化函数；对所述扭曲图像执行傅里叶变换；使用所述扭曲图像的傅立叶变换来在所述频域中生成所述相位函数；以及对所述相位函数执行傅立叶逆变换。
方案39.根据方案38所述的方法，包括：在被配置成执行所述傅里叶变换的硬件中执行所述傅立叶变换。
方案40.根据方案37至39中任一项所述的方法，包括：在所述频域中执行步骤之前，将所述图像数据扩展为具有周期性边界条件。
方案41.根据方案40所述的方法，其中，扩展所述图像数据包括：跨越所述图像数据的每个边界形成所述图像数据的镜像。
方案42.根据方案1至41中任一项所述的方法，包括：生成用于空间光调制器的控制信号，以校正由所述相位调制器调制的光的强度。
方案43.根据方案1至42中任一项所述的方法，包括：以第一空间分辨率执行一次或更多次迭代，并且对通过一次或更多次迭代得到的经更新的相位函数进行上采样。
方案44.根据方案43所述的方法，包括：在对经更新的相位函数进行上采样之后，以高于所述第一分辨率的第二分辨率执行所述迭代中的一次或更多次附加迭代。
方案45.根据方案1至44中任一项所述的方法，其中，所述图像数据包括视频数据，针对所述图像数据的一个帧来限定所述目标光图案，并且针对所述图像数据的其他帧在所述图像数据中限定不同的目标光图案。
方案46.一种用于控制相位调制器以显示由图像数据限定的目标光图案的设备，所述设备包括与所述相位调制器进行通信的数据处理器，所述数据处理器被配置成：
接收所述图像数据作为输入；
基于所述图像数据来初始化扭曲图像，所述扭曲图像通过与相位函数p(x)对应的畸变从所述目标光图案扭曲，所述相位函数p(x)表示由所述相位调制器施加的针对透镜面中的区域的相移；
通过执行多次迭代来改进所述相位函数和所述扭曲图像，其中，所述多次迭代中的每一次包括以下步骤：
通过执行得到经更新的相位函数的优化来更新所述相位函数，其中，经更新的相位函数减小所述扭曲图像与由所述相位函数在所述扭曲图像中的点处提供的放大率的倒数之间的差值测量；以及
使用由经更新的相位函数p(x)产生的畸变u(x)来将所述目标光图案扭曲到所述透镜面上，以得到经更新的扭曲图像；以及
基于经改进的相位函数生成用于所述相位调制器的控制信号。
方案47.根据方案46所述的设备，其中，所述差值测量包括：所述扭曲图像的像素与所述扭曲图像中的点处的放大率的倒数之间的差值的平方和。
方案48.根据方案46或47所述的设备，其中，更新所述相位函数的步骤包括：由所述数据处理器计算所述扭曲图像的像素与
Figure SMS_29
的对应值之间的差值。
方案49.根据方案46或47所述的设备，其中，更新所述相位函数的步骤包括：由所述数据处理器计算所述扭曲图像的像素与
Figure SMS_30
的对应值之间的差值。
方案50.根据方案46至48中任一项所述的设备，其中，更新所述相位函数的步骤包括：由所述数据处理器求解线性最小二乘问题。
方案51.根据方案49所述的设备，其中，所述最小二乘问题包括具有离散拉普拉斯算子的系统矩阵。
方案52.根据方案46所述的设备，其中，更新所述相位函数的步骤包括由所述数据处理器求解：
Figure SMS_31
方案53.根据方案49至51中任一项所述的设备，其中，执行所述优化包括由所述数据处理器应用选自由共轭梯度(CG)、BICGSTAB和准最小残差(QMR)组成的组的算法。
方案54.根据方案46至52中任一项所述的设备，其中，将所述像平面中的目标强度向后扭曲到所述透镜面上的步骤包括执行纹理映射操作。
方案55.根据方案53所述的设备，包括图形处理器单元，并且其中，在所述图形处理器单元上实现所述纹理映射操作。
方案56.根据方案53或54所述的设备，其中，将像平面中的目标强度向后扭曲到所述透镜面上的步骤包括由所述数据处理器计算：
Figure SMS_32
方案57.根据方案46至56中任一项所述的设备，其中，所述数据处理器被配置成：对所述像平面处的图像中的模糊进行建模，并且生成倾向于至少部分地补偿所述模糊的用于幅度调制器的控制值。
方案58.根据方案46至57中任一项所述的设备，包括所述相位调制器和用于将光投射在所述相位调制器上的光源，其中，所述数据处理器被配置成：通过根据所述相位函数控制所述相位调制器并控制所述光源以使用光照射所述相位调制器，来生成所述目标光图案。
方案59.根据方案58所述的设备，其中，所述光是宽带光。
方案60.根据方案59所述的设备，其中，所述宽带光是白光。
方案61.根据方案58所述的设备，其中，所述光是单色的。
方案62.根据方案59或61所述的设备，其中，所述光是激光。
方案63.根据方案58至62中任一项所述的设备，其中，所述光是准直的。
方案64.根据方案63所述的设备，其中，所述光源被配置成：沿垂直于所述透镜面的方向投射入射到所述相位调制器上的光。
方案65.根据方案58至64中任一项所述的设备，其中，所述相位调制器的分辨率为至少1兆像素。
方案66.根据方案65所述的设备，其中，所述相位调制器的分辨率为至少5兆像素。
方案67.根据方案58至66中任一项所述的设备，其中，所述目标光图案占据所述像平面中的图像区域，并且从所述相位调制器上的任何点，从所述点指向所述图像区域的边界的任何点的光线与所述相位调制器的法线形成角度θ，其中|θ|≤12°。
方案68.根据方案58至67中任一项所述的设备，其中，所述相位调制器包括液晶相位调制器。
方案69.根据方案68所述的设备，其中，所述相位调制器包括LCoS装置。
方案70.根据方案58至67中任一项所述的设备，其中，所述相位调制器包括可变反射镜。
方案71.根据方案46至70中任一项所述的设备，其中，所述目标光图案包括一个或更多个光亮点。
方案72.根据方案71所述的设备，其中，所述数据处理器被配置成：对应用于所述相位调制器的相位函数进行控制，以使所述一个或更多个光亮点移动。
方案73.根据方案71或72所述的设备，其中，所述一个或更多个光亮点具有超过所述像平面处的最大均匀照射强度的强度。
方案74.根据方案46至73中任一项所述的设备，其中，所述透镜面中的点的数值孔径使得近轴近似保持在1％内。
方案75.根据方案46至74中任一项所述的设备，其中，所述数据处理器被配置成初始化所述扭曲图像包括：所述数据处理器被配置成将所述扭曲图像设置为与所述目标光图案相同。
方案76.根据方案46至75中任一项所述的设备，其中，所述图像数据包括具有至少每秒20帧的帧速率的视频数据。
方案77.根据方案76所述的设备，其中，所述视频数据针对每一帧提供不同的目标光图案，并且所述数据处理器被配置成：针对每一帧计算不同的相位函数。
方案78.根据方案77所述的设备，其中，所述数据处理器被配置成：实时计算所述不同的相位函数。
方案79.根据方案46至78中任一项所述的设备，其中，所述数据处理器被配置成：以10次或更少次迭代来改进所述相位函数和所述扭曲图像。
方案80.根据方案46至78中任一项所述的设备，其中，所述数据处理器被配置成：以固定次数的迭代来改进所述相位函数和所述扭曲图像。
方案81.根据方案46至78中任一项所述的设备，包括一个或更多个图形处理器单元，其中，所述数据处理器被配置成：在所述一个或更多个图形处理器单元中并行地执行改进所述相位函数和所述扭曲图像的一个或更多个步骤。
方案82.根据方案46至80中任一项所述的设备，其中，所述数据处理器被配置成：在频域中执行改进所述相位函数和所述扭曲图像的至少一些步骤。
方案83.根据方案82所述的设备，其中，所述数据处理器被配置成：对所述扭曲图像执行傅里叶变换；使用所述扭曲图像的傅立叶变换来在所述频域中生成所述相位函数；并且对所述相位函数执行傅立叶逆变换。
方案84.根据方案83所述的设备，包括硬件傅立叶变换装置，其中，所述数据处理器被配置成：控制所述傅立叶变换装置以执行傅里叶变换。
方案85.根据方案46至84中任一项所述的设备，包括空间光调制器，其中，所述数据处理器被配置成：向所述空间光调制器施加控制信号，以校正由所述相位调制器调制的光的强度。
方案86.根据方案82至84中任一项所述的设备，其中，所述数据处理器被配置成：在所述频域中执行步骤之前，将所述图像数据扩展为具有周期性边界条件。
方案87.根据方案86所述的设备，其中，扩展所述图像数据包括：跨越所述图像数据的每个边界形成所述图像数据的镜像。
方案88.根据方案46至87中任一项所述的设备，包括：生成用于空间光调制器的控制信号，以校正由所述相位调制器调制的光的强度。
方案89.根据方案46至88中任一项所述的设备，其中，所述数据处理器被配置成：以第一空间分辨率执行一次或更多次迭代，并且对通过一次或更多次迭代得到的经更新的相位函数进行上采样。
方案90.根据方案89所述的设备，其中，所述数据处理器被配置成：在对经更新的相位函数进行上采样之后，以高于所述第一分辨率的第二分辨率执行所述迭代中的一次或更多次附加迭代。
方案91.根据方案46至90中任一项所述的设备，其中，所述图像数据包括视频数据，针对所述图像数据的一个帧来限定所述目标光图案，并且针对所述图像数据的其他帧在所述图像数据中限定不同的目标光图案。
方案92.一种用于从限定目标光图案的图像数据生成用于相位调制器的控制值的方法，所述方法包括：
在所述光图案中的点与所述相位调制器上的对应点之间建立映射；
使用所述映射，通过将所述目标光图案映射到所述相位调制器的坐标空间中来导出相位函数p，所述相位函数p包括所述控制值；以及
在所述相位调制器的坐标空间中处理所映射的目标光图案。
方案93.根据方案92所述的方法，其中，处理所映射的目标光图案包括：基于所映射的目标光图案在所述相位调制器上的点处的强度与所述相位函数在所述点的邻近区域的相应光学性质的比较，来优化试验相位函数。
方案94.根据方案93的方法，其中，所述相应光学性质包括放大率。
方案95.根据方案93和94中任一项所述的方法，包括：基于所述相位函数在所述对应点处的拉普拉斯算子来确定所述光学性质。
方案96.根据方案95所述的方法，包括：使用离散拉普拉斯算子来确定所述相位函数的拉普拉斯算子。
方案97.一种用于显示视频数据的方法，所述视频数据指定以帧速率显示的视频帧，所述方法包括：
实时地处理所述视频数据来以所述帧速率得到相位调制器控制信号的序列，
将所述相位调制器控制信号应用于被照射的二维空间相位调制器，以及
将所得到的经相位调制的光引导至观看区域。
方案98.根据方案97所述的方法，包括：对经相位调制的光进一步进行幅度调制。
方案99.根据方案98所述的方法，其中，对经相位调制的光进一步进行幅度调制包括：对经相位调制的光的路径中的空间光调制器进行控制。
方案100.根据方案99所述的方法，包括：计算经相位调制的光中的模糊，并且控制所述空间光调制器以减少所述模糊。
方案101.根据方案97至100中任一项所述的方法，其中，处理所述视频数据包括：
在所述光图案中的点与所述光调制器上的对应点之间建立映射；
使用所述映射，通过将所述目标光图案映射到所述相位调制器的坐标空间中来导出相位函数p，所述相位函数p包括所述控制值；以及
在所述相位调制器的坐标空间中处理所映射的目标光图案。
方案102.根据方案101所述的方法，其中，处理所映射的目标光图案包括：基于所映射的目标光图案在所述相位调制器上的点处的强度与所述相位函数在所述点的邻近区域的相应光学性质的比较，来优化试验相位函数。
方案103.根据方案102所述的方法，其中，所述相应光学性质包括放大率。
方案104.根据方案102或103所述的方法，包括：基于所述相位函数在所述对应点处的拉普拉斯算子来确定所述光学性质。
方案105.根据方案104所述的方法，包括：使用离散拉普拉斯算子来确定所述相位函数的拉普拉斯算子。
方案106.根据方案97至102中任一项所述的方法，其中，在频域中执行处理所述视频数据。
方案107.根据方案106所述的方法，其中，处理所述视频数据包括：生成优化函数；对所述优化函数执行傅里叶变换；在所述频域中生成相位函数；以及对所述相位函数执行傅里叶逆变换。
方案108.根据方案107所述的方法，包括：在被配置成执行傅里叶变换的硬件中执行傅立叶变换。
方案109.根据方案92至96和101至108中任一项所述的方法，其中，所述相位调制器具有最大相位延迟，并且所述方法包括：从所述相位函数的超过所述相位调制器的最大相位延迟的相移中减去2π的倍数。
方案110.一种用于控制相位调制器以显示由图像数据限定的图像的方法，所述方法包括：
基于所述图像数据来确定目标函数；
将所述目标函数变换到频率空间中；
在所述频率空间中最小化经变换的目标函数，以获得所述频率空间中的相位函数；以及
对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维中的位置相关联。
方案111.根据方案110所述的方法，其中，变换所述目标函数包括：计算所述目标函数的傅立叶变换。
方案112.根据方案111所述的方法，包括：在变换之前，将所述图像数据扩展为具有周期性边界条件，并且使所述目标函数基于经扩展的图像数据。
方案113.根据方案112所述的方法，其中，扩展所述图像数据包括：跨越所述图像数据的每个边界形成所述图像数据的镜像。
方案114.根据方案110至113中任一项所述的方法，其中，所述目标函数是最小二乘目标函数。
方案115.根据方案110至114中任一项所述的方法，其中，所述目标函数包括用于偏离输入变元的成本。
方案116.根据方案110至115中任一项所述的方法，其中，所述方法被迭代地执行，并且在多次迭代中的每一次中，所述目标函数的输入变元是先前迭代的解相位函数。
方案117.根据方案116所述的方法，包括：高速缓存所述先前迭代的解相位函数的傅里叶变换，并且在当前迭代中应用所述解相位函数的经高速缓存的傅立叶变换。
方案118.根据方案110至117中任一项所述的方法，其中，所述目标函数包括由下式给出的近邻算子：
proxγF(q)＝(γ+ATA)-1(γq+ATb).。
方案119.根据方案118所述的方法，其中，评估经变换的目标函数包括：确定
Figure SMS_33
方案120.根据方案119所述的方法，其中，
Figure SMS_34
方案121.根据方案119和120中任一项所述的方法，其中，
Figure SMS_35
方案122.根据方案119至121中任一项所述的方法，其中，α>0是正则化参数。
方案123.根据方案110至122中任一项所述的方法，其中，所述方法包括：初始化相位表面作为恒定值。
方案124.根据方案110至123中任一项所述的方法，其中，针对不同点并行执行评估经变换的目标函数。
方案125.根据方案124所述的方法，其中，在图形处理单元中执行评估。
方案126.根据方案110至125中任一项所述的方法，包括：通过根据所述解相位函数控制所述相位调制器的像素同时照射所述相位调制器，来显示图像。
方案127.根据方案126所述的方法，包括：使用准直光来均匀地照射所述相位调制器。
方案128.根据方案126至127中任一项所述的方法，其中，所述相位调制器包括液晶像素阵列，并且所述方法包括：根据所述解相位函数来设置至所述像素的控制信号。
方案129.根据方案128所述的方法，其中，所述相位调制器是LCoS相位调制器。
方案130.根据方案110所述的方法，其中，所述相位调制器是可变形反射镜。
方案131.根据方案126至130中任一项所述的方法，其中，所述相位调制器上的点的最大数值孔径为0.21或更小。
方案132.根据方案110至131中任一项所述的方法，其中，所述相位调制器具有最大相位延迟，并且所述方法包括：从所述相位函数的超过所述相位调制器的最大相位延迟的相移中减去2π的倍数。
方案133.一种用于控制相位调制器以显示由图像数据限定的图像的方法，所述方法包括：
基于所述图像数据来确定固定点迭代；
将所述固定点迭代变换到频率空间中；
在所述频率空间中评估所述固定点迭代，以获得所述频率空间中的相位函数；以及
对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维中的位置相关联。
方案134.根据方案133所述的方法，其中，变换所述固定点迭代包括：计算所述固定点迭代的傅立叶变换。
方案135.根据方案134所述的方法，包括：在变换之前，将所述图像数据扩展为具有周期性边界条件，并且使所述固定点迭代基于经扩展的图像数据。
方案136.根据方案135所述的方法，其中，扩展所述图像数据包括：跨越所述图像数据的每个边界形成所述图像数据的镜像。
方案137.根据方案133至136中任一项所述的方法，其中，所述固定点迭代是最小二乘固定点迭代。
方案138.根据方案133至137中任一项所述的方法，其中，所述固定点迭代包括用于偏离输入变元的成本。
方案139.根据方案133至138中任一项所述的方法，其中，所述方法被迭代地执行，并且在多次迭代中的每一次中，所述固定点迭代的输入变元是先前迭代的解相位函数。
方案140.根据方案139所述的方法，包括：高速缓存所述先前迭代的解相位函数的傅里叶变换，并且在当前迭代中应用所述解相位函数的经高速缓存的傅立叶变换。
方案141.根据方案133至140中任一项所述的方法，其中，所述固定点迭代包括由下式给出的近邻算子：
proxγF(q)＝(γ+ATA)-1(γq+ATb)。
方案142.根据方案141所述的方法，其中，评估经变换的固定点迭代包括：确定
Figure SMS_36
方案143.根据方案142所述的方法，其中，
Figure SMS_37
方案144.根据方案142和143中任一项所述的方法，其中，
Figure SMS_38
方案145.根据方案143至144中任一项所述的方法，其中，α>0是正则化参数。
方案146.根据方案133至145中任一项所述的方法，其中，所述方法包括：初始化相位表面作为恒定值。
方案147.根据方案133至146中任一项所述的方法，其中，针对不同点并行执行评估经变换的固定点迭代。
方案148.根据方案147所述的方法，其中，在图形处理单元中执行评估。
方案149.根据方案133至148中任一项所述的方法，包括：通过根据所述解相位函数控制所述相位调制器的像素同时照射所述相位调制器，来显示图像。
方案150.根据方案17所述的方法，包括：使用准直光均匀地照射所述相位调制器。
方案151.根据方案149至150中任一项所述的方法，其中，所述相位调制器包括液晶像素阵列，并且所述方法包括：根据所述解相位函数来设置至所述像素的控制信号。
方案152.根据方案151所述的方法，其中，所述相位调制器是LCoS相位调制器。
方案153.根据方案151所述的方法，其中，所述相位调制器是可变形反射镜。
方案154.根据方案149至153中任一项所述的方法，其中，所述相位调制器上的点的最大数值孔径为0.21或更小。
方案155.根据方案133至154中任一项所述的方法，其中，所述相位调制器具有最大相位延迟，并且所述方法包括：从所述相位函数的超过所述相位调制器的最大相位延迟的相移中减去2π的倍数。
方案156.一种用于从限定目标光图案的图像数据生成用于相位调制器的控制值的设备，所述设备包括与所述相位调制器进行通信的数据处理器，所述数据处理器被配置成：
在所述光图案中的点与所述相位调制器上的对应点之间建立映射；
使用所述映射，通过将所述目标光图案映射到所述相位调制器的坐标空间中来导出相位函数p，所述相位函数p包括所述控制值；以及
在所述相位调制器的坐标空间中处理所映射的目标光图案。
方案157.根据方案156所述的设备，其中，所述数据处理器被配置成处理所映射的目标光图案包括所述数据处理器被配置成：基于所映射的目标光图案在所述相位调制器上的点处的强度与所述相位函数在所述点的邻近区域的相应光学性质的比较，来优化试验相位函数。
方案158.根据方案157所述的设备，其中，所述相应光学性质包括放大率。
方案159.根据方案157和158中任一项所述的设备，其中，所述数据处理器被配置成：基于所述相位函数在所述对应点处的拉普拉斯算子来确定所述光学性质。
方案160.根据方案159所述的设备，其中，所述数据处理器被配置成：使用离散拉普拉斯算子来确定所述相位函数的拉普拉斯算子。
方案161.一种用于显示视频数据的设备，所述视频数据指定以帧速率显示的视频帧，所述设备包括数据处理器，所述数据处理器被配置成：
实时地处理所述视频数据来以所述帧速率得到相位调制器控制信号的序列；
将所述相位调制器控制信号应用于被照射的二维空间相位调制器；并且
对所述空间相位调制器进行控制，以将所得到的经相位调制的光引导至观看区域。
方案162.根据方案161所述的设备，其中，所述数据处理器被配置成：对经相位调制的光的路径中的空间光调制器进行控制，以对经相位调制的光进行幅度调制。
方案163.根据方案162所述的设备，其中，所述数据处理器被配置成：计算经相位调制的光中的模糊，并且控制所述空间光调制器以减少所述模糊。
方案164.根据方案161至163中任一项所述的设备，其中，所述数据处理器被配置成处理所述视频数据包括所述数据处理器被配置成：
在所述光图案中的点与所述光调制器上的对应点之间建立映射；
使用所述映射，通过将所述目标光图案映射到所述相位调制器的坐标空间中来导出相位函数p，所述相位函数p包括所述控制值；以及
在所述相位调制器的坐标空间中处理所映射的目标光图案。
方案165.根据方案164所述的设备，其中，所述数据处理器被配置成处理所映射的目标光图案包括所述数据处理器被配置成：基于所映射的目标光图案在所述相位调制器上的点处的强度与所述相位函数在所述点的邻近区域的相应光学性质的比较，来优化试验相位函数。
方案166.根据方案165所述的设备，其中，所述相应光学性质包括放大率。
方案167.根据方案165或166所述的设备，其中，所述数据处理器被配置成：基于所述相位函数在所述对应点处的拉普拉斯算子来确定所述光学性质。
方案168.根据方案167所述的设备，其中，所述数据处理器被配置成：使用离散拉普拉斯算子来确定所述相位函数的拉普拉斯算子。
方案169.根据方案161至165中任一项所述的设备，其中，所述数据处理器被配置成：在频域中处理所述视频数据。
方案170.根据方案169所述的设备，其中，所述数据处理器被配置成处理所述视频数据包括所述数据处理器被配置成：
生成优化函数；
通过对所述优化函数执行傅里叶变换，在所述频域中生成相位函数；并且
对所述频域中的相位函数执行傅里叶逆变换。
方案171.根据方案170所述的设备，包括被配置成执行傅立叶变换的硬件，并且所述数据处理器被配置成控制所述硬件以执行傅立叶变换。
方案172.根据方案161至165和169至171中任一项所述的设备，其中，所述相位调制器具有最大相位延迟，并且所述数据处理器被配置成：从所述相位函数的超过所述相位调制器的最大相位延迟的相移中减去2π的倍数。
方案173.一种用于控制相位调制器以显示由图像数据限定的图像的设备，所述方法包括：
基于所述图像数据来确定目标函数；
将所述目标函数变换到频率空间中；
在所述频率空间中最小化经变换的目标函数，以获得所述频率空间中的相位函数；以及
对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维中的位置相关联。
方案174.根据方案173所述的设备，其中，所述数据处理器被配置成变换所述目标函数包括：所述数据处理器被配置成计算所述目标函数的傅立叶变换。
方案175.根据方案174所述的设备，其中，所述数据处理器被配置成：在变换之前，将所述图像数据扩展为具有周期性边界条件，并且使所述目标函数基于经扩展的图像数据。
方案176.根据方案175所述的设备，其中，所述数据处理器被配置成扩展所述图像数据包括：所述数据处理器被配置成跨越所述图像数据的每个边界形成所述图像数据的镜像。
方案177.根据方案173至176中任一项所述的设备，其中，所述目标函数是最小二乘目标函数。
方案178.根据方案173至177中任一项所述的设备，其中，所述目标函数包括用于偏离输入变元的成本。
方案179.根据方案173至178中任一项所述的设备，其中，所述数据处理器被配置成：迭代地确定所述目标函数；变换所述目标函数，并且评估经变换的目标函数；并且在多次迭代中的每一次中，所述目标函数的输入变元是先前迭代的解相位函数。
方案180.根据方案179所述的设备，其中，所述数据处理器被配置成：高速缓存所述先前迭代的解相位函数的傅里叶变换，并且在当前迭代中应用所述解相位函数的经高速缓存的傅立叶变换。
方案181.根据方案173至180中任一项所述的设备，其中，所述目标函数包括由下式给出的近邻算子：
proxγF(q)＝(γ+ATA)-1(γq+ATb)。
方案182.根据方案181所述的设备，其中，所述数据处理器被配置成评估经变换的目标函数包括：所述数据处理器被配置成确定
Figure SMS_39
方案183.根据方案182所述的设备，其中，
Figure SMS_40
方案184.根据方案182或183所述的设备，其中，
Figure SMS_41
方案185.根据方案182至184中任一项所述的设备，其中，α>0是正则化参数。
方案186.根据方案173至185中任一项所述的设备，其中，所述数据处理器被配置成：初始化相位表面作为恒定值。
方案187.根据方案173至186中任一项所述的设备，其中，所述数据处理器被配置成：针对不同点并行评估经变换的目标函数。
方案188.根据方案187所述的设备，其中，所述数据处理器包括图形处理单元，并且所述图形处理单元评估经变换的目标函数。
方案189.根据方案173至188中任一项所述的设备，包括所述相位调制器和用于将光投射在所述相位调制器上的光源，所述数据处理器被配置成：通过根据所述解相位函数控制所述相位调制器的像素，同时控制所述光源照射所述相位调制器，来控制所述相位调制器显示图像。
方案190.根据方案189所述的设备，其中，所述光源被配置成：使用准直光均匀地照射所述相位调制器。
方案191.根据方案189至190中任一项所述的设备，其中，所述相位调制器包括液晶像素阵列，并且所述数据处理器被配置成：根据所述解相位函数来设置至所述像素的控制信号。
方案192.根据方案191所述的设备，其中，所述相位调制器是LCoS相位调制器。
方案193.根据方案19所述的设备，其中，所述相位调制器是可变形反射镜。
方案194.根据方案189至193中任一项所述的设备，其中，所述相位调制器上的点的最大数值孔径为0.21或更小。
方案195.根据方案173至194中任一项所述的设备，其中，所述相位调制器具有最大相位延迟，并且所述处理器被配置成：从所述相位函数的超过所述相位调制器的最大相位延迟的任何相移中减去2π的倍数。
方案196.一种用于控制相位调制器以显示由图像数据限定的图像的设备，所述设备包括与所述相位调制器进行通信的数据处理器，所述数据处理器被配置成：
基于所述图像数据来确定固定点迭代；
将所述固定点迭代变换到频率空间中；
在所述频率空间中评估所述固定点迭代，以获得所述频率空间中的相位函数；并且
对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维中的位置相关联。
方案197.根据方案196所述的设备，其中，所述数据处理器被配置成变换所述固定点迭代包括：所述数据处理器被配置成计算所述固定点迭代的傅立叶变换。
方案198.根据方案197所述的设备，其中，所述数据处理器被配置成：在变换之前，将所述图像数据扩展为具有周期性边界条件，并且使所述固定点迭代基于经扩展的图像数据。
方案199.根据方案198所述的设备，其中，所述数据处理器被配置成扩展所述图像数据包括：所述数据处理器被配置成跨越所述图像数据的每个边界形成所述图像数据的镜像。
方案200.根据方案196至199中任一项所述的设备，其中，所述固定点迭代是最小二乘固定点迭代。
方案201.根据方案196至200中任一项所述的设备，其中，所述固定点迭代包括用于偏离输入变元的成本。
方案202.根据方案196至201中任一项所述的设备，其中，所述数据处理器被配置成：迭代地确定所述固定点迭代；变换所述固定点迭代，并且评估经变换的固定点迭代；并且在多次迭代中的每一次中，所述固定点迭代的输入变元是先前迭代的解相位函数。
方案203.根据方案202所述的设备，其中，所述数据处理器被配置成：高速缓存所述先前迭代的解相位函数的傅里叶变换，并且在当前迭代中应用所述解相位函数的经高速缓存的傅立叶变换。
方案204.根据方案196至203中任一项所述的设备，其中，所述固定点迭代包括由下式给出的近邻算子：
proxγF(q)＝(γ+ATA)-1(γq+ATb)。
方案205.根据方案204所述的设备，其中，所述数据处理器被配置成评估经变换的固定点迭代包括：所述数据处理器被配置成确定
Figure SMS_42
方案206.根据方案205所述的设备，其中，
Figure SMS_43
方案207.根据方案205或206所述的设备，其中，
Figure SMS_44
方案208.根据方案205至207中任一项所述的设备，其中，α>0是正则化参数。
方案209.根据方案196至208中任一项所述的设备，其中，所述数据处理器被配置成：初始化相位表面作为恒定值。
方案210.根据方案196至209中任一项所述的设备，其中，所述数据处理器被配置成：针对不同点并行评估经变换的固定点迭代。
方案211.根据方案210所述的设备，其中，所述数据处理器包括图形处理单元，并且所述图形处理单元评估经变换的固定点迭代。
方案212.根据方案196至211中任一项所述的设备，包括所述相位调制器和用于将光投射在所述相位调制器上的光源，所述数据处理器被配置成：通过根据所述解相位函数控制所述相位调制器的像素，同时控制所述光源照射所述相位调制器，来控制所述相位调制器显示图像。
方案213.根据方案212所述的设备，其中，所述光源被配置成使用准直光均匀地照射所述相位调制器。
方案214.根据方案212至213中任一项所述的设备，其中，所述相位调制器包括液晶像素阵列，并且所述数据处理器被配置成：根据所述解相位函数来设置至所述像素的控制信号。
方案215.根据方案214所述的设备，其中，所述相位调制器是LCoS相位调制器。
方案216.根据方案214所述的设备，其中，所述相位调制器是可变形反射镜。
方案217.根据方案212至216中任一项所述的设备，其中，所述相位调制器上的点的最大数值孔径为0.21或更小。
方案218.根据方案1至22中任一项所述的设备，其中，所述相位调制器具有最大相位延迟，并且所述处理器被配置成：从所述相位函数的超过所述相位调制器的最大相位延迟的任何相移中减去2π的倍数。
方案219.一种用于控制相位调制器以显示由图像数据限定的图像的方法，所述方法包括：
基于所述图像数据来确定目标函数的近邻算子；
将所述近邻算子变换到频率空间中；
在所述频率空间中评估经变换的近邻算子以获得所述频率空间中的相位函数，并且对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维位置相关联。
方案220.根据方案219所述的方法，其中，变换所述近邻算子包括：计算所述近邻算子的傅立叶变换。
方案221.根据方案220所述的方法，包括：在变换之前，将所述图像数据扩展为具有周期性边界条件，并且使所述近邻算子基于经扩展的图像数据。
方案222.根据方案221所述的方法，其中，扩展所述图像数据包括：跨越所述图像数据的每个边界形成所述图像数据的镜像。
方案223.根据方案219至222中任一项所述的方法，其中，所述目标函数是最小二乘目标函数。
方案224.根据方案219至223中任一项所述的方法，其中，所述近邻算子包括用于偏离输入变元的成本。
方案225.根据方案219至224中任一项所述的方法，其中，所述方法被迭代地执行，并且在多次迭代中的每一次中，所述近邻算子的输入变元是先前迭代的解相位函数。
方案226.根据方案225所述的方法，包括：高速缓存所述先前迭代的解相位函数的傅里叶变换，并且在当前迭代中应用所述解相位函数的经高速缓存的傅立叶变换。
方案227.根据方案219至226中任一项所述的方法，其中，所述近邻算子由下式给出：
proxγF(q)＝(γ+ATA)-1(γq+ATb)。
方案228.根据方案227所述的方法，其中，评估经变换的近邻算子包括：确定
Figure SMS_45
方案229.根据方案226所述的方法，其中，
Figure SMS_46
方案230.根据方案228和229中任一项所述的方法，其中，
Figure SMS_47
方案231.根据方案228至230中任一项所述的方法，其中，α>0是正则化参数。
方案232.根据方案219至231中任一项所述的方法，其中，所述方法包括：初始化相位表面作为恒定值。
方案233.根据方案219至232中任一项所述的方法，其中，针对不同点并行执行评估经变换的近邻算子。
方案234.根据方案233所述的方法，其中，在图形处理单元中执行评估。
方案235.根据方案219至234中任一项所述的方法，包括：通过根据所述解相位函数控制所述相位调制器的像素同时照射所述相位调制器，来显示图像。
方案236.根据方案235所述的方法，包括：使用准直光均匀地照射所述相位调制器。
方案237.根据方案235至236中任一项所述的方法，其中，所述相位调制器包括液晶像素阵列，并且所述方法包括：根据所述解相位函数来设置至所述像素的控制信号。
方案238.根据方案237所述的方法，其中，所述相位调制器是LCoS相位调制器。
方案239.根据方案237所述的方法，其中，所述相位调制器是可变形反射镜。
方案240.根据方案235至239中任一项所述的方法，其中，所述相位调制器上的点的最大数值孔径为0.21或更小。
方案241.根据方案219至240中任一项所述的方法，其中，所述相位调制器具有最大相位延迟，并且所述方法包括：从所述相位函数的超过所述相位调制器的最大相位延迟的相移中减去2π的倍数。
方案242.一种用于控制相位调制器以显示由图像数据限定的图像的设备，所述设备包括与所述相位调制器进行通信的数据处理器，所述数据处理器被配置成：
基于所述图像数据来确定目标函数的近邻算子；
将所述近邻算子变换到频率空间中；
在所述频率空间中评估经变换的近邻算子以获得所述频率空间中的相位函数，并且对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维位置相关联。
方案243.根据方案242所述的设备，其中，所述数据处理器被配置成变换所述近邻算子包括：所述数据处理器被配置成计算所述近邻算子的傅立叶变换。
方案244.根据方案243所述的设备，其中，所述数据处理器被配置成：在变换之前，将所述图像数据扩展为具有周期性边界条件，并且使所述近邻算子基于经扩展的图像数据。
方案245.根据方案244所述的设备，其中，所述数据处理器被配置成扩展所述图像数据包括：所述数据处理器被配置成跨越所述图像数据的每个边界形成所述图像数据的镜像。
方案246.根据方案242至245中任一项所述的设备，其中，所述目标函数是最小二乘目标函数。
方案247.根据方案242至246中任一项所述的设备，其中，所述近邻算子包括用于偏离输入变元的成本。
方案248.根据方案242至247中任一项所述的设备，其中，所述数据处理器被配置成：迭代地确定所述近邻算子；变换所述近邻算子，并且评估经变换的近邻算子；并且在多次迭代中的每一次中，所述近邻算子的输入变元是先前迭代的解相位函数。
方案249.根据方案248所述的设备，其中，所述数据处理器被配置成：高速缓存所述先前迭代的解相位函数的傅里叶变换，并且在当前迭代中应用所述解相位函数的经高速缓存的傅立叶变换。
方案250.根据方案242至249中任一项所述的设备，其中，所述近邻算子由下式给出：
proxγF(q)＝(γ+ATA)-1(γq+ATb)。
方案251.根据方案250所述的设备，其中，所述数据处理器被配置成评估经变换的近邻算子包括：所述数据处理器被配置成确定
Figure SMS_48
方案252.根据方案251所述的设备，其中，
Figure SMS_49
方案253.根据方案251或252所述的设备，其中，
Figure SMS_50
方案254.根据方案251至253中任一项所述的设备，其中，α>0是正则化参数。
方案255.根据方案242至254中任一项所述的设备，其中，所述数据处理器被配置成：初始化相位表面作为恒定值。
方案256.根据方案242至255中任一项所述的设备，其中，所述数据处理器被配置成：针对不同点并行评估经变换的近邻算子。
方案257.根据方案256所述的设备，其中，所述数据处理器包括图形处理单元，并且所述图形处理单元评估经变换的近邻算子。
方案258.根据方案242至257中任一项所述的设备，包括所述相位调制器和用于将光投射在所述相位调制器上的光源，所述数据处理器被配置成：通过根据所述解相位函数控制所述相位调制器的像素，同时控制所述光源照射所述相位调制器，来控制所述相位调制器显示图像。
方案259.根据方案258所述的设备，其中，所述光源被配置成：使用准直光均匀地照射所述相位调制器。
方案260.根据方案258至259中任一项所述的设备，其中，所述相位调制器包括液晶像素阵列，并且所述数据处理器被配置成：根据所述解相位函数来设置至所述像素的控制信号。
方案261.根据方案260所述的设备，其中，所述相位调制器是LCoS相位调制器。
方案262.根据方案260所述的设备，其中，所述相位调制器是可变形反射镜。
方案263.根据方案258至262中任一项所述的设备，其中，所述相位调制器上的点的最大数值孔径为0.21或更小。
方案264.根据方案242至264中任一项所述的设备，其中，所述相位调制器具有最大相位延迟，并且所述处理器被配置成：从所述相位函数的超过所述相位调制器的最大相位延迟的任何相移中减去2π的倍数。
方案265.一种包括计算机可读软件指令的计算机可读介质，所述计算机可读软件指令被配置成使数据处理器执行上述方法方案中任一项所述的方法。
方案266.具有本文所述的任何新颖的和创造性特征、特征组合或特征的再组合的设备。
方案267.具有本文所述的任何新颖的和创造性的步骤、动作、步骤和/或动作的组合或者步骤和/或动作的再组合的方法。

Claims (46)

1.一种用于控制相位调制器以显示由图像数据限定的图像的方法，所述方法包括：
基于所述图像数据来确定目标函数的近邻算子；
将所述近邻算子变换到频率空间中；
在所述频率空间中评估经变换的近邻算子以获得所述频率空间中的相位函数，并且对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维位置相关联。
2.根据权利要求1所述的方法，其中，变换所述近邻算子包括：计算所述近邻算子的傅立叶变换。
3.根据权利要求2所述的方法，包括：在变换之前，将所述图像数据扩展为具有周期性边界条件，并且使所述近邻算子基于经扩展的图像数据。
4.根据权利要求3所述的方法，其中，扩展所述图像数据包括：跨越所述图像数据的每个边界形成所述图像数据的镜像。
5.根据权利要求1所述的方法，其中，所述目标函数是最小二乘目标函数。
6.根据权利要求1至5中任一项所述的方法，其中，所述近邻算子包括用于偏离输入变元的成本。
7.根据权利要求1至5中任一项所述的方法，其中，所述方法被迭代地执行，并且在多次迭代中的每一次中，所述近邻算子的输入变元是先前迭代的解相位函数。
8.根据权利要求7所述的方法，包括：高速缓存所述先前迭代的解相位函数的傅立叶变换，并且在当前迭代中应用所述解相位函数的经高速缓存的傅立叶变换。
9.根据权利要求1至5中任一项所述的方法，其中，所述近邻算子由下式给出：
proxγF(q)＝(γ+ATA)-1(γq+ATb)。
10.根据权利要求9所述的方法，其中，评估经变换的近邻算子包括：确定
Figure QLYQS_1
11.根据权利要求9所述的方法，其中，
Figure QLYQS_2
12.根据权利要求10所述的方法，其中，
Figure QLYQS_3
13.根据权利要求10所述的方法，其中，α>0是正则化参数。
14.根据权利要求1至5中任一项所述的方法，其中，所述方法包括：初始化相位表面作为恒定值。
15.根据权利要求1至5中任一项所述的方法，其中，针对不同点并行执行评估经变换的近邻算子。
16.根据权利要求15所述的方法，其中，在图形处理单元中执行评估。
17.根据权利要求1至5中任一项所述的方法，包括：通过根据所述解相位函数控制所述相位调制器的像素同时照射所述相位调制器，来显示图像。
18.根据权利要求17所述的方法，包括：使用准直光均匀地照射所述相位调制器。
19.根据权利要求17所述的方法，其中，所述相位调制器包括液晶像素阵列，并且所述方法包括：根据所述解相位函数来设置至所述像素的控制信号。
20.根据权利要求19所述的方法，其中，所述相位调制器是LCoS相位调制器。
21.根据权利要求19所述的方法，其中，所述相位调制器是可变形反射镜。
22.根据权利要求19所述的方法，其中，所述相位调制器上的点的最大数值孔径为0.21或更小。
23.根据权利要求1至5中任一项所述的方法，其中，所述相位调制器具有最大相位延迟，并且所述方法包括：从所述相位函数的超过所述相位调制器的最大相位延迟的相移中减去2π的倍数。
24.一种用于控制相位调制器以显示由图像数据限定的图像的设备，所述设备包括与所述相位调制器进行通信的数据处理器，所述数据处理器被配置成：
基于所述图像数据来确定目标函数的近邻算子；
将所述近邻算子变换到频率空间中；
在所述频率空间中评估经变换的近邻算子以获得所述频率空间中的相位函数，并且对所述相位函数进行逆变换以获得解相位函数，所述解相位函数将所述相位调制器的相位与二维位置相关联。
25.根据权利要求24所述的设备，其中，所述数据处理器被配置成变换所述近邻算子包括：所述数据处理器被配置成计算所述近邻算子的傅立叶变换。
26.根据权利要求25所述的设备，其中，所述数据处理器被配置成：在变换之前，将所述图像数据扩展为具有周期性边界条件，并且使所述近邻算子基于经扩展的图像数据。
27.根据权利要求26所述的设备，其中，所述数据处理器被配置成扩展所述图像数据包括：所述数据处理器被配置成跨越所述图像数据的每个边界形成所述图像数据的镜像。
28.根据权利要求25所述的设备，其中，所述目标函数是最小二乘目标函数。
29.根据权利要求24至28中任一项所述的设备，其中，所述近邻算子包括用于偏离输入变元的成本。
30.根据权利要求24至28中任一项所述的设备，其中，所述数据处理器被配置成：迭代地确定所述近邻算子；变换所述近邻算子，并且评估经变换的近邻算子；并且在多次迭代中的每一次中，所述近邻算子的输入变元是先前迭代的解相位函数。
31.根据权利要求30所述的设备，其中，所述数据处理器被配置成：高速缓存所述先前迭代的解相位函数的傅立叶变换，并且在当前迭代中应用所述解相位函数的经高速缓存的傅立叶变换。
32.根据权利要求24至28中任一项所述的设备，其中，所述近邻算子由下式给出：
proxγF(q)＝(γ+ATA)-1(γq+ATb)。
33.根据权利要求32所述的设备，其中，所述数据处理器被配置成评估经变换的近邻算子包括：所述数据处理器被配置成确定
Figure QLYQS_4
34.根据权利要求33所述的设备，其中，
Figure QLYQS_5
35.根据权利要求33所述的设备，其中，
Figure QLYQS_6
36.根据权利要求33所述的设备，其中，α>0是正则化参数。
37.根据权利要求24至28中任一项所述的设备，其中，所述数据处理器被配置成：初始化相位表面作为恒定值。
38.根据权利要求24至28中任一项所述的设备，其中，所述数据处理器被配置成：针对不同点并行评估经变换的近邻算子。
39.根据权利要求38所述的设备，其中，所述数据处理器包括图形处理单元，并且所述图形处理单元评估经变换的近邻算子。
40.根据权利要求24至28中任一项所述的设备，包括所述相位调制器和用于将光投射在所述相位调制器上的光源，所述数据处理器被配置成：通过根据所述解相位函数控制所述相位调制器的像素，同时控制所述光源照射所述相位调制器，来控制所述相位调制器显示图像。
41.根据权利要求40所述的设备，其中，所述光源被配置成：使用准直光均匀地照射所述相位调制器。
42.根据权利要求40所述的设备，其中，所述相位调制器包括液晶像素阵列，并且所述数据处理器被配置成：根据所述解相位函数来设置至所述像素的控制信号。
43.根据权利要求42所述的设备，其中，所述相位调制器是LCoS相位调制器。
44.根据权利要求42所述的设备，其中，所述相位调制器是可变形反射镜。
45.根据权利要24至44中任一项所述的设备，其中，所述相位调制器上的点的最大数值孔径为0.21或更小。
46.根据权利要求24至45中任一项所述的设备，其中，所述相位调制器具有最大相位延迟，并且所述处理器被配置成：从所述相位函数的超过所述相位调制器的最大相位延迟的任何相移中减去2π的倍数。
CN202310048968.0A 2014-06-03 2015-06-03 用于显示视频数据和图像数据的方法和设备 Pending CN116260951A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201462007341P 2014-06-03 2014-06-03
US62/007,341 2014-06-03
US201562118945P 2015-02-20 2015-02-20
US62/118,945 2015-02-20
PCT/CA2015/050515 WO2015184549A1 (en) 2014-06-03 2015-06-03 Efficient, dynamic, high contrast lensing with applications to imaging, illumination and projection
CN201580037846.5A CN106662739B (zh) 2014-06-03 2015-06-03 应用于成像、照明和投影的高效的动态高对比度透镜作用

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580037846.5A Division CN106662739B (zh) 2014-06-03 2015-06-03 应用于成像、照明和投影的高效的动态高对比度透镜作用

Publications (1)

Publication Number Publication Date
CN116260951A true CN116260951A (zh) 2023-06-13

Family

ID=54765907

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310048968.0A Pending CN116260951A (zh) 2014-06-03 2015-06-03 用于显示视频数据和图像数据的方法和设备
CN201580037846.5A Active CN106662739B (zh) 2014-06-03 2015-06-03 应用于成像、照明和投影的高效的动态高对比度透镜作用
CN202010413872.6A Active CN111641817B (zh) 2014-06-03 2015-06-03 用于显示视频数据和图像数据的方法和设备

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201580037846.5A Active CN106662739B (zh) 2014-06-03 2015-06-03 应用于成像、照明和投影的高效的动态高对比度透镜作用
CN202010413872.6A Active CN111641817B (zh) 2014-06-03 2015-06-03 用于显示视频数据和图像数据的方法和设备

Country Status (6)

Country Link
US (6) US10003776B2 (zh)
EP (1) EP3152616B2 (zh)
JP (3) JP6715188B2 (zh)
CN (3) CN116260951A (zh)
CA (1) CA2950958A1 (zh)
WO (1) WO2015184549A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054797A1 (en) * 2013-10-20 2015-04-23 Mtt Innovation Incorporated Light field projectors and methods
US20170150107A1 (en) 2014-05-15 2017-05-25 Mtt Innovation Incorporated Optimizing drive schemes for multiple projector systems
JP6757311B2 (ja) 2014-07-31 2020-09-16 エムティティ イノベーション インコーポレイテッドＭｔｔ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃｏｒｐｏｒａｔｅｄ フリーフォームレンジングのための数値的アプローチ、エリアパラメータ化フリーフォームレンジング
CA3238721A1 (en) 2014-08-14 2016-02-18 Mtt Innovation Incorporated Multiple-laser light source
JP2016106721A (ja) * 2014-12-03 2016-06-20 キヤノン株式会社 画像処理装置および画像処理方法
US10203499B2 (en) * 2015-08-24 2019-02-12 Finisar Corporation Image projection system
US10162086B2 (en) * 2016-03-07 2018-12-25 Microsoft Technology Licensing, Llc Imaging through highly diffusive media with wavefront shaping
JP6889495B2 (ja) 2016-03-09 2021-06-18 リフレクション メディカル， インコーポレイテッド 放射線療法のためのフルエンスマップ生成方法
US11106089B2 (en) 2016-04-12 2021-08-31 Magna International Inc. High-power dynamic lens
US10652435B2 (en) * 2016-09-26 2020-05-12 Rambus Inc. Methods and systems for reducing image artifacts
EP3520393B1 (en) 2016-09-30 2020-09-09 Dolby Laboratories Licensing Corporation Beam combining for highlight projection
WO2018169974A1 (en) * 2017-03-14 2018-09-20 Compound Photonics Limited Laser illumination system with reduced speckle
US10859845B2 (en) * 2017-03-31 2020-12-08 Nec Corporation Projection device, projection image control method, and recording medium having projection image control program recorded thereon
JP7203758B2 (ja) 2017-05-12 2023-01-13 エムティティ イノベーション インコーポレイテッド 画像を形成するべく光を投影する画像投影システム及び画像投影方法
US10416539B2 (en) * 2017-06-21 2019-09-17 Dolby Laboratories Licensing Corporation Spatial light modulator for reduction of certain order light
US10904495B2 (en) 2017-09-25 2021-01-26 Dolby Laboratories Licensing Corporation System and method for displaying high quality images in a dual modulation projection system
US10488746B2 (en) 2017-11-14 2019-11-26 Dolby Laboratories Licensing Corporation Aperture sharing for highlight projection
ES2902066T3 (es) * 2017-12-22 2022-03-24 Dolby Laboratories Licensing Corp Modelación temporal de moduladores de fase en proyección multi-modulación
GB201807461D0 (en) * 2018-05-08 2018-06-20 Barco Nv Closed loop driving of a highlighter type projector
CN110581984A (zh) * 2018-06-08 2019-12-17 深圳光峰科技股份有限公司 投影设备
US11109004B2 (en) * 2018-07-31 2021-08-31 Texas Instruments Incorporated Display with increased pixel count
US11665324B2 (en) * 2018-08-06 2023-05-30 University Of Maryland, College Park High fidelity configuration for two-photon SLM microscopy
US11153541B2 (en) * 2018-08-31 2021-10-19 Sony Corporation Illuminator and display apparatus
US10931853B2 (en) * 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling
CN109557028B (zh) * 2018-12-09 2021-05-14 山西大学 一种具有密集光斑图案的多通池
CN113348497B (zh) 2019-01-18 2023-11-28 杜比实验室特许公司 用于降噪的衰减波前确定
US20220171270A1 (en) 2019-02-28 2022-06-02 Barco N.V. Method and system for spatial and angular uniformization of light beams
US10880529B2 (en) * 2019-04-09 2020-12-29 GM Global Technology Operations LLC Speckle reduction with image dithering
US10880528B1 (en) 2019-10-31 2020-12-29 Christie Digital Systems Usa, Inc. Device, system and method for modulating light using a phase light modulator and a spatial light modulator
CN115552511B (zh) 2020-04-28 2024-11-01 杜比实验室特许公司 用于hdr显示器的图像相关对比度和亮度控制
CN113671695A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 抬头显示装置和抬头显示方法
WO2021235085A1 (ja) 2020-05-18 2021-11-25 ソニーグループ株式会社 照明装置、照明方法、プロジェクタ装置
WO2021235093A1 (ja) 2020-05-21 2021-11-25 ソニーグループ株式会社 画像表示装置、学習済みニューラルネットワークモデルの生成方法、並びにコンピュータプログラム
WO2021250993A1 (ja) 2020-06-07 2021-12-16 ソニーグループ株式会社 信号処理装置、信号処理方法、プログラム、照明装置
US11880124B2 (en) * 2020-12-17 2024-01-23 Texas Instruments Incorporated Scrolling laser illumination with a phase light modulator
WO2022174336A1 (en) * 2021-02-16 2022-08-25 Mtt Innovation Incorporated Patch correction for light steering projector
BR112023018225A2 (pt) * 2021-03-25 2023-10-03 Dolby Int Ab Sistema de projeção e método de acionar um sistema de projeção com mapeamento de campo
CN113093379B (zh) * 2021-03-25 2022-02-25 上海交通大学 面向光子伊辛机的正交空间相位调制方法
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
EP4392240A1 (en) * 2021-08-23 2024-07-03 Universiteit Gent A method for deriving a surface profile of a free-form master lens for patterning photo-alignment layers of planar optical components
CN113805414B (zh) * 2021-10-11 2023-05-09 中国科学院上海光学精密机械研究所 一种曲面投影的方法
US11822218B2 (en) * 2021-12-20 2023-11-21 Himax Display, Inc. Projection system having phase modulator
CN118901095A (zh) 2022-02-22 2024-11-05 巴科股份有限公司 用于调整数字图像的装置和方法
US11889033B2 (en) 2022-05-11 2024-01-30 Samsung Electronics Co., Ltd. Flare mitigation via deconvolution using high dynamic range imaging
WO2023230126A1 (en) * 2022-05-25 2023-11-30 Dolby Laboratories Licensing Corporation Optical architecture for beam-steering projectors
US20230412428A1 (en) * 2022-06-16 2023-12-21 Samsung Electronics Co., Ltd. Self-tuning fixed-point least-squares solver

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0657760A1 (en) * 1993-09-15 1995-06-14 Texas Instruments Incorporated Image simulation and projection system
EP0830632B9 (en) * 1995-04-28 2002-12-18 Forskningscenter Riso Phase contrast imaging
GB2317290B (en) 1996-09-11 2000-12-06 Seos Displays Ltd Image display apparatus
CN100397147C (zh) * 2001-10-25 2008-06-25 滨松光子学株式会社 相位调制装置和相位调制方法
US7109473B2 (en) * 2002-09-16 2006-09-19 University Of Chicago Transverse optical accelerator and generalized optical vortices
GB0329012D0 (en) * 2003-12-15 2004-01-14 Univ Cambridge Tech Hologram viewing device
JP2006235406A (ja) * 2005-02-25 2006-09-07 Tohoku Univ フーリエ面を介する投射光学系
JP4933083B2 (ja) * 2005-11-04 2012-05-16 株式会社日立製作所 投写型映像表示装置とその投写光学ユニット
GB2438026A (en) * 2006-05-11 2007-11-14 Univ Cambridge Tech Phase retrevial in hologram generation using amplitude and phase feedback
CN101086608A (zh) * 2006-06-05 2007-12-12 中国科学院物理研究所 一种投影显示装置
JP5371180B2 (ja) * 2006-06-15 2013-12-18 日立コンシューマエレクトロニクス株式会社 投写型映像表示装置
JP2008015064A (ja) 2006-07-04 2008-01-24 Seiko Epson Corp 照明装置及びプロジェクタ
JP2008026793A (ja) * 2006-07-25 2008-02-07 Ricoh Co Ltd 画像投影装置
JP2008145546A (ja) 2006-12-06 2008-06-26 Olympus Corp 投影装置
DE102007023739B4 (de) * 2007-05-16 2018-01-04 Seereal Technologies S.A. Verfahren zum Rendern und Generieren von Farbvideohologrammen in Echtzeit und holographische Wiedergabeeinrichtung
US8226247B2 (en) * 2007-06-12 2012-07-24 Panasonic Corporation Projection type image display device
US7551341B1 (en) * 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
GB2461894B (en) * 2008-07-16 2010-06-23 Light Blue Optics Ltd Holographic image display systems
JP2010072374A (ja) * 2008-09-19 2010-04-02 Hitachi Ltd 投射光学系
JP2010152178A (ja) * 2008-12-25 2010-07-08 Seiko Epson Corp 画像表示装置
CN101749641B (zh) * 2009-12-31 2013-02-13 华南理工大学 用于大功率led路灯照明的自由曲面偏光透镜
CN101794028B (zh) * 2010-03-04 2011-12-28 首都师范大学 光学实时三维立体显示装置及方法
RU2429513C1 (ru) * 2010-04-20 2011-09-20 Закрытое Акционерное Общество "Мегавижн" Трехмерный дисплей
GB201011830D0 (en) * 2010-07-14 2010-09-01 Two Trees Photonics Ltd Imaging
CA2815054C (en) * 2010-12-01 2017-05-16 Exxonmobil Upstream Research Company Simultaneous source inversion for marine streamer data with cross-correlation objective function
BR112013026538B1 (pt) * 2011-04-19 2022-06-07 Dolby Laboratories Licensing Corporation Sistema de projetor de realce, sistema de exibição e método para exibir uma imagem de acordo com dados de imagem
KR20130011420A (ko) * 2011-07-21 2013-01-30 삼성전자주식회사 공간 광변조기 및 이를 적용한 광학장치
JP5370427B2 (ja) * 2011-07-24 2013-12-18 株式会社デンソー ヘッドアップディスプレイ装置
JP2013122478A (ja) * 2011-12-09 2013-06-20 Nikon Corp 表示装置及び撮像装置
WO2013094011A1 (ja) * 2011-12-20 2013-06-27 Ｎｅｃディスプレイソリューションズ株式会社 画像投射装置およびその制御方法
CN103325129B (zh) * 2012-03-19 2016-04-20 无锡奥普顿光电子有限公司 一种利用相位调制器件输出图像的方法
CN202581120U (zh) * 2012-03-21 2012-12-05 广州市鸿利光电股份有限公司 一种led矩形光斑透镜
EP2919061B1 (en) * 2012-11-12 2017-08-16 Hamamatsu Photonics K.K. Phase modulation method and phase modulating device
CN103592702B (zh) * 2013-10-30 2015-05-20 浙江大学 用于激光光束整形的双自由曲面透镜及其设计方法
US9307208B2 (en) * 2014-03-07 2016-04-05 The University Of British Columbia System and method for solving inverse imaging problems

Also Published As

Publication number Publication date
US20200014895A1 (en) 2020-01-09
US20210092337A1 (en) 2021-03-25
CN111641817A (zh) 2020-09-08
JP2017520022A (ja) 2017-07-20
EP3152616B2 (en) 2023-06-07
CN111641817B (zh) 2023-02-17
US20170085846A1 (en) 2017-03-23
EP3152616B1 (en) 2020-08-12
US11877102B2 (en) 2024-01-16
JP2022180345A (ja) 2022-12-06
EP3152616A1 (en) 2017-04-12
US20180270457A1 (en) 2018-09-20
JP6715188B2 (ja) 2020-07-01
JP7104098B2 (ja) 2022-07-20
JP2020173449A (ja) 2020-10-22
US10003776B2 (en) 2018-06-19
WO2015184549A1 (en) 2015-12-10
US11558590B2 (en) 2023-01-17
EP3152616A4 (en) 2018-02-21
US10834369B2 (en) 2020-11-10
CA2950958A1 (en) 2015-12-10
US10404957B2 (en) 2019-09-03
US20230179749A1 (en) 2023-06-08
CN106662739A (zh) 2017-05-10
JP7511309B2 (ja) 2024-07-05
US20240179279A1 (en) 2024-05-30
CN106662739B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
US11877102B2 (en) Efficient, dynamic, high contrast lensing with applications to imaging, illumination and projection
Lee et al. Tomographic near-eye displays
US11586144B2 (en) Dynamic holography focused depth printing device
Damberg et al. High brightness HDR projection using dynamic freeform lensing
JP2022130532A (ja) フリーフォームレンジングのための数値的アプローチ、エリアパラメータ化フリーフォームレンジング
US12111616B2 (en) Head-up display
US11281003B2 (en) Near eye dynamic holography
Bianchi et al. Real-time optical micro-manipulation using optimized holograms generated on the GPU
Damberg et al. Efficient freeform lens optimization for computational caustic displays
JP7196838B2 (ja) 位相変調データ生成装置、照明装置、およびプロジェクタ
Symeonidou et al. Three-dimensional rendering of computer-generated holograms acquired from point-clouds on light field displays
Sun et al. Correcting the proximity effect in nanophotonic phased arrays
CN112802421B (zh) 显示设备和系统
JP2022161038A (ja) 液晶表示装置を使用するホログラム表示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination