CN118694912A - 具有自适应闪光的注视感知色调映射 - Google Patents

Abstract

公开了具有自适应闪光的注视感知色调映射。本发明与注视方向有关的信息例如与其它信息一起用于执行用于虚拟现实显示器或增强现实显示器的色调映射、亮度适应、和/或闪光产生/管理。例如，光适应的速度可以在用户的注视从较暗的场景移动到较亮的场景时增大，而在相反方向上减小，以匹配真实世界中的人类感知动态。可以根据以下项来调整来自较小对象的闪光：对象尺寸、对象的背景亮度和/或对象相对于用户的注视的位置——即，对象是在用户焦点中还是在外围。可以从镜面反射图(例如，与每个对象相关联的元数据)或从对场景的图像处理获取对象的镜面反射。局部闪光可以在用户的头部确定性地或随机地转动时闪烁，以提供真实生活闪光的感觉。

Description

具有自适应闪光的注视感知色调映射

相关申请的交叉引用

本申请要求于2023年3月21日提交的、第18/124,320号美国非临时专利申请的优先权，该申请的全部内容通过引用结合在本文中。

技术领域

本专利申请总体上涉及显示图像渲染技术，并且更具体地涉及使用具有自适应闪光的注视感知色调映射的系统和方法。

背景技术

近年来，随着技术的最新进步，内容创作和传递的普及和扩散大大增加。具体地，交互式内容已经变得对消费者具有吸引力，交互式内容例如为虚拟现实(virtualreality，VR)内容、增强现实(augmented reality，AR)内容、混合现实(mixed reality，MR)内容、以及真实环境和/或虚拟环境(例如，“虚拟实境(metaverse)”)内的内容和与真实环境和/或虚拟环境相关联的内容。

为了便于该内容和其它相关内容的传递，服务提供商已经努力提供各种形式的可穿戴显示系统。一个此类示例可以是头戴式显示器(head-mounted display，HMD)设备，例如可穿戴眼镜、可穿戴头戴式设备(headset)或眼镜)。在一些示例中，头戴式显示器(HMD)设备可以投射或引导光以形成第一图像和第二图像，并且利用这些图像来生成供用户观看的“双目”视觉。头戴式显示器(HMD)设备可以提供比其它显示器更宽的视场(field ofview，FOV)。然而，由于光学设计和硬件限制，可能很难在整个视场中实现均匀的颜色。例如，当从不同的视角观看时，一些显示硬件可能呈现出颜色变化。当从不同视角观看时，显示硬件与用户的眼睛之间的光学层和/或透镜也可能呈现出颜色变化。

发明内容

在本公开的一些示例中，与注视方向有关的信息可以与例如其它信息一起用来执行色调映射、亮度适应、和/或闪光生成/管理。例如，光适应的速度(色调映射调整的改变)可以在用户的注视从较暗的场景移动到较亮的场景时增大，而在用户的注视从较亮的场景移动到较暗的场景时减小，以匹配真实世界中的人类感知动态。可以根据以下项来调整(即，增强或减弱)来自较小对象的闪光：对象尺寸、对象的背景亮度和/或对象相对于用户的注视的位置——即，对象是在用户的焦点中还是在外围。可以从镜面反射图(例如，与每个对象相关联的元数据)或从对场景的图像处理来获取对象的镜面反射性。当用户的头部确定地或随机地转动时，局部闪光可以闪烁，以提供真实生活闪光的感觉。

附图说明

本公开的各特征通过示例的方式示出，且不限于以下附图，在以下附图中，相似的数字符号指代相似的元件。本领域技术人员将从下文容易地认识到，可以在不脱离本文所描述的原理的情况下，采用附图中所示出的结构和方法的替代示例。

图1示出了根据示例的包括近眼显示设备的人工现实系统环境的框图。

图2A至图2C示出了根据示例的头戴式显示器(HMD)设备形式的近眼显示设备的各种视图。

图3示出了根据示例的一副眼镜形式的近眼显示设备的立体图。

图4示出了根据示例的色调映射系统的框图。

图5是示出了根据示例的包括亮度调整的色调映射的示意图。

图6示出了杂散光(veiling glare)的示例的示意图。

图7是示出了根据一些示例的用于使用注视感知色调映射和色彩适应(chromaticadaptation)的示例方法的流程图。

图8示出了根据各示例的根据注视移动的光适应速度的变化。

图9A至图9D示出了根据各示例的生成闪光的各种技术。

图10示出了根据一些示例的生成闪光的方法的流程图。

具体实施方式

出于简化和说明目的，主要通过参考本申请的各示例来描述本申请。在以下描述中，阐述了许多具体细节，以便提供对本申请的透彻理解。然而，将显而易见的是，可以在不局限于这些具体细节的情况下对本申请进行实践。在其它实例中，未详细描述本领域普通技术人员容易理解的一些方法和结构，以免不必要地模糊本申请。如本文所使用的，术语“一”和“一个”旨在表示特定元件中的至少一个，术语“包括”意味着包括但不限于，术语“包含”意味着包括但不限于，并且术语“基于”意味着至少部分地基于。

虚拟现实(VR)显示器和增强现实(AR)显示器可以提供比传统显示器明显更宽的视场(FOV)，从而为用户创造沉浸式体验。然而，由于光学设计和硬件限制，可能很难在整个视场中实现均匀的颜色。例如，当从不同的视角观看时，显示硬件(例如，有机发光二极管(organic light emitting diode，OLED))可能呈现出感知颜色的变化。显示器与人眼之间的光学层和/或透镜也可能产生颜色失真。作为另一示例，由于复杂的光学层和涂层，虚拟现实(VR)系统中的观看光学器件(例如，薄饼光学器件)可能会呈现出重影和杂散光问题。

在本公开的一些示例中，与注视方向有关的信息可以与例如其它信息一起用来执行色调映射、亮度适应、和/或闪光生成/管理。例如，光适应的速度(色调映射调整的改变)可以在用户的注视从较暗的场景移动到较亮的场景时增大，而在用户的注视从较亮的场景移动到较暗的场景时减小，以匹配真实世界中的人类感知动态。可以根据以下项来调整(即，增强或减弱)来自较小对象的闪光：对象尺寸、对象的背景亮度和/或对象相对于用户的注视的位置——即，对象是在用户的焦点中还是在外围。可以从镜面反射图(例如，与每个对象相关联的元数据)或从对场景的图像处理来获取对象的镜面反射性。当用户的头部确定地或随机地转动时，局部闪光可以闪烁，以提供真实生活闪光的感觉。

在其它示例中，与注视方向有关的信息可以例如与其它信息一起用来在虚拟现实(VR)环境、增强现实(AR)环境或混合现实(MR)环境中执行色彩校正。例如，所显示的虚拟现实(VR)环境的视场中的区域可以用明亮内容来表征。在一些示例中，可以基于用户的注视所指向的用户聚焦位置来修改(例如，向下调整)区域的亮度。可以基于头戴式显示器(HMD)设备的光学设计来修改该区域的亮度。作为另一示例，用户聚焦位置可以用作区域的色彩适应(例如调整该区域的白点)的参考，使得该区域的颜色外观代表对应的物理环境的颜色外观。

虽然本公开的一些优点和益处是显而易见的，但其它优点和益处可以包括：在没有昂贵和复杂的物理部件的情况下向用户提供逼真的虚拟环境体验，所显示的场景的准确性的增强，以及在体验虚拟现实呈现或增强现实呈现时的用户舒适性。

图1示出了根据示例的包括近眼显示设备的人工现实系统环境100的框图。如本文所使用的，“近眼显示设备”可以指可以非常接近用户的眼睛的设备(例如，光学设备)。如本文所使用的，“人工现实”可以指“虚拟实境”或真实元素和虚拟元素的环境等方面，并且可以包括使用与虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)相关联的技术。如本文所使用的，“用户”可以指“近眼显示设备”的用户或佩戴者。

如图1所示，人工现实系统环境100可以包括近眼显示设备120、可选地外部成像设备150和可选地输入/输出接口140，近眼显示设备、可选地外部成像设备和可选地输入/输出接口中的每一者都可以耦接到控制台110。在一些实例中，控制台110可以是可选的，因为控制台110的功能可以被集成到近眼显示设备120中。在一些示例中，近眼显示设备120可以是向用户呈现内容的头戴式显示器(HMD)。

在一些实例中，对于近眼显示系统，通常可能希望扩大适眼区(eye box)、减小显示雾度、提高图像质量(例如，分辨率和对比度)、减小物理尺寸、提高功率效率以及增加或扩大视场(FOV)。如本文所使用的，“视场”(FOV)可以指用户所看到的图像的角度范围，该角度范围通常是以一只眼(对于单目头戴式显示器(HMD))或双眼(对于双目头戴式显示器(HMD))观察的度数来测量的。此外，如本文所使用的，“适眼区”可以是可位于用户眼睛前方的二维框，从该二维框可以观看来自图像源的显示图像。

在一些示例中，在近眼显示系统中，来自周围环境的光可以穿过波导显示器(例如，透明基板)的“透传”区域以到达用户的眼睛。例如，在近眼显示系统中，投影图像的光可以耦合到波导的透明基板中，在波导内传播，并在一个或多个位置被耦合或引导出波导，以复制出射光瞳并扩展适眼区。

在一些示例中，近眼显示设备120可以包括一个或多个刚性体，该一个或多个刚性体可以彼此刚性地或非刚性地耦接。在一些示例中，各刚性体之间的刚性耦接可以使所耦接的刚性体充当单个刚性实体，而在其它示例中，各刚性体之间的非刚性耦接可以允许各刚性体相对于彼此移动。

在一些示例中，近眼显示设备120可以以任何合适的形状要素来实现，其包括头戴式显示器(HMD)、一副眼镜或其它类似的可穿戴眼镜或设备。以下将参照图2和图3进一步描述近视显示设备120的示例。此外，在一些示例中，本文所述的功能可以用于头戴式显示器(HMD)或头戴式设备，该HMD或头戴式设备可以将近眼显示设备120外部的环境的图像与人工现实内容(例如，计算机生成的图像)相组合。因此，在一些示例中，近眼显示设备120可以利用所生成的和/或所覆盖的数字内容(例如，图像、视频、声音等)来增强近眼显示设备120外部的物理真实世界环境的图像，以向用户呈现增强现实。

在一些示例中，近眼显示设备120可以包括任意数量的显示电子器件122、显示光学器件124和眼动追踪单元130。在一些示例中，近视显示设备120还可以包括一个或多个定位器126、一个或多个位置传感器128、惯性测量单元(inertial measurement unit，IMU)132和无线通信子系统134。在一些示例中，近眼显示设备120可以省略眼动追踪单元130、一个或多个定位器126、一个或多个位置传感器128和惯性测量单元(IMU)132中的任何一者，或者可以包括附加元件。

在一些示例中，显示电子器件122可以根据所接收的来自例如可选地控制台110的数据，向用户显示图像或促进对图像的显示。在一些示例中，显示电子器件122可以包括一个或多个显示面板。在一些示例中，显示电子器件122可以包括发射诸如红色、绿色、蓝色、白色或黄色等主要颜色的光的任意数量的像素。在一些示例中，显示电子器件122可以例如使用由二维面板产生的立体效果来显示三维(three-dimensional，3D)图像，以创建对图像深度的主观感知。

在一些示例中，近眼显示设备120可以包括投影仪(未示出)，该投影仪可以形成角度域中的图像，以供观看者的眼睛通过光瞳直接观察。投影仪可以采用可控光源(例如，激光源)和微机电系统(micro-electromechanical system，MEMS)光束扫描器，以从例如经准直的光束产生光场。在一些示例中，可以使用相同的投影仪或不同的投影仪来将条纹图案投射到眼睛上，该条纹图案可以由摄像头采集并(例如，由眼动追踪单元130)分析以确定眼睛(瞳孔)的定位、注视等。

在一些示例中，显示光学器件124可以(例如，使用光波导和/或耦合器)光学地显示图像内容，或放大所接收的来自显示电子器件122的图像光，校正与该图像光相关联的光学误差，和/或向近眼显示设备120的用户呈现校正后的图像光。在一些示例中，显示光学器件124可以包括单个光学元件或各种光学元件的任意数量的组合、以及机械耦联件(mechanical couplings)，该机械耦联件用于保持该组合中的各光学元件的相对间隔和方位。在一些示例中，显示光学器件124中的一个或多个光学元件可以具有光学涂层，例如抗反射涂层、反射性涂层、过滤性涂层、和/或不同光学涂层的组合。

在一些示例中，显示光学器件124还可以被设计为校正一种或多种类型的光学误差，例如二维光学误差、三维光学误差或它们的任意组合。二维误差的示例可以包括桶形失真、枕形失真、纵向色差和横向色差。三维误差的示例可以包括球面像差、色差、场曲和像散。

在一些示例中，一个或多个定位器126可以是相对于彼此并且相对于近眼显示设备120上的参考点位于特定位置处的对象。在一些示例中，可选地控制台110可以识别由可选地外部的成像设备150采集的图像中的一个或多个定位器126，以确定人工现实头戴式设备的位置、方位或这两者。一个或多个定位器126可以各自是发光二极管(light-emittingdiode，LED)、隅角立方反射器(corner cube reflector)、反射标记、与近眼显示设备120运行的环境形成对比的一种类型的光源、或它们的任意组合。

在一些示例中，外部的成像设备150可以包括一个或多个摄像头、一个或多个摄像机、能够采集包括一个或多个定位器126的图像的任何其它设备、或者它们的任意组合。可选地外部的成像设备150可以被配置为检测从可选地外部的成像设备150的视场中的一个或多个定位器126发射或反射的光。

在一些示例中，一个或多个位置传感器128可以响应于近眼显示设备120的运动而生成一个或多个测量信号。一个或多个位置传感器128的示例可以包括任意数量的加速度计、陀螺仪、磁力计、和/或其它运动检测传感器或误差校正传感器、或它们的任意组合。

在一些示例中，惯性测量单元(IMU)132可以是基于接收到的来自一个或多个位置传感器128的测量信号来生成快速校准数据的电子设备。一个或多个位置传感器128可以位于惯性测量单元(IMU)132的外部、惯性测量单元(IMU)132的内部或它们的任意组合。基于来自一个或多个位置传感器128的一个或多个测量信号，惯性测量单元(IMU)132可以生成快速校准数据，该快速校准数据指示近眼显示设备120的可能相对于近眼显示设备120的初始位置的估计位置。例如，惯性测量单元(IMU)132可以随时间对接收到的来自加速度计的测量信号进行积分来估计速度矢量，并且随时间对速度矢量进行积分以确定近眼显示设备120上的参考点的估计位置。替代地，惯性测量单元(IMU)132可以向可选地控制台110提供采样的测量信号，该采样的测量信号可以确定快速校准数据。

眼动追踪单元130可以包括一个或多个眼动追踪系统。如本文所使用的，“眼动追踪”可以指确定眼睛的位置或相对位置，包括用户的眼睛的方位、位置和/或注视。在一些示例中，眼动追踪系统可以包括对眼睛的一个或多个图像进行采集的成像系统，并且可以可选地包括光发射器，该光发射器可以生成指向眼睛的光(例如，条纹图案)，使得由眼睛反射的光可以由成像系统(例如，摄像头)采集。在其它示例中，眼动追踪单元130可以采集由微型雷达单元发射的反射性无线波。这些与眼睛相关联的数据可以用来确定或预测眼睛的定位、方位、运动、位置和/或注视。

在一些示例中，输入/输出接口140可以是允许用户向可选地控制台110发送动作请求的设备。如本文中所使用的，“动作请求”可以是执行特定动作的请求。例如，动作请求可以是启动应用或结束应用，或者是在应用内执行特定动作。输入/输出接口140可以包括一个或多个输入设备。示例输入设备可以包括键盘、鼠标、游戏控制器、手套、按钮、触摸屏、或用于接收动作请求并向可选地控制台110传送接收到的动作请求的任何其它合适的设备。在一些示例中，由输入/输出接口140接收到的动作请求可以被传送到可选地控制台110，该可选地控制台可以执行与所请求的动作相对应的动作。

在一些示例中，可选地控制台110可以根据接收到的来自外部的成像设备150、近眼显示设备120和输入/输出接口140中的一者或多者的信息，向近眼显示设备120提供内容以供呈现给用户。例如，在图1所示的示例中，可选地控制台110可以包括应用存储库112、头戴式设备追踪模块114、虚拟现实引擎116和眼动追踪模块118。可选地控制台110的一些示例可以包括与结合图1所描述的模块不同的模块或附加的模块。下文进一步描述的功能可以以与此处所描述的方式不同的方式而分布在可选地控制台110的各部件之中。

在一些示例中，可选地控制台110可以包括处理器和非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储有能够由处理器执行的指令。处理器可以包括并行执行指令的多个处理单元。非暂态计算机可读存储介质可以是任意存储器，例如硬盘驱动器、可移动存储器、或固态驱动器(例如，闪存、或动态随机存取存储器(dynamic random accessmemory，DRAM))。在一些示例中，结合图1所描述的可选地控制台110的各模块可以被编码为非暂态计算机可读存储介质中的指令，这些指令在被处理器执行时，使得处理器执行下文进一步描述的功能。应当理解的是，可能需要或可能不需要可选地控制台110，或者可选地控制台110可以与近眼显示设备120集成在一起或分开。

在一些示例中，应用存储库112可以存储供可选地控制台110执行的一个或多个应用。应用可以包括一组指令，这组指令在被处理器执行时，生成用于呈现给用户的内容。应用的示例可以包括游戏应用、会议应用、视频播放应用或其它合适的应用。

在一些示例中，虚拟现实引擎116可以在人工现实系统环境100内执行应用，并且接收来自头戴式设备追踪模块114的近眼显示设备120的位置信息、近眼显示设备120的加速度信息、近眼显示设备120的速度信息、近眼显示设备120的预测的未来位置、或它们的任意组合。在一些示例中，虚拟现实引擎116还可以接收来自眼动追踪模块118的估计的眼睛位置和方位信息。基于接收到的信息，虚拟现实引擎116可以确定要提供给近眼显示设备120以用于呈现给用户的内容。

在一些示例中，可被实现为处理器的眼动追踪模块118可以接收来自眼动追踪单元130的眼动追踪数据，并且基于该眼动追踪数据来确定用户眼睛的定位。在一些示例中，眼睛的定位可以包括眼睛相对于近眼显示设备120或该近眼显示器的任意元件的方位、位置或这两者。因此，在这些示例中，因为眼睛的转动轴线随着眼睛在其眼窝(socket)中的位置而改变，所以确定眼睛在其眼窝中的位置可以允许眼动追踪模块118更准确地确定眼睛的方位。

在一些示例中，可以调整显示系统的投影仪的位置以实现任意数量的设计修改。例如，在一些实例中，投影仪可以位于观看者眼睛的前方(即，“前置”放置)。在一些示例中，在前置放置中，显示系统的投影仪可以位于远离用户眼睛的位置(即，“世界侧”)。在一些示例中，头戴式显示器(HMD)设备可以利用前置放置来向用户的一只或两只眼睛传播光以投射图像。

图2A至图2C示出了根据示例的头戴式显示器(HMD)设备200形式的近眼显示设备的各种视图。在一些示例中，头戴式显示器(HMD)设备200可以是以下系统的一部分：虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统、使用显示器或可穿戴设备的另一系统或它们的任意组合。在一些示例中，头戴式显示器(HMD)设备200可以包括本体220和头带230。图2A、图2B和图2C在立体图中显示了本体220的底侧223、前侧225、右侧229和左侧227。在一些示例中，头带230可以具有可调节或可延伸的长度。具体地，在一些示例中，在头戴式显示器(HMD)设备200的本体220与头带230之间可以存在足够的空间，以允许用户将头戴式显示器(HMD)设备200佩戴到用户的头部上。例如，头带230的长度可以是可调节的，以适应用户头部尺寸的范围。在一些示例中，头戴式显示器(HMD)设备200可以包括附加的部件、更少的部件和/或不同的部件。

在一些示例中，头戴式显示器(HMD)设备200可以向用户呈现媒体或其它数字内容，该媒体或其它数字内容包括具有计算机生成元素的物理真实世界环境的虚拟视图和/或增强视图。由头戴式显示器(HMD)设备200呈现的媒体或数字内容的示例可以包括图像(例如，二维(two-dimensional，2D)图像或三维(3D)图像)、视频(例如，2D视频或3D视频)、音频或它们的任意组合。在一些示例中，图像和视频可以由封在头戴式显示器(HMD)设备200的本体220中的一个或多个显示器组件(未示出)呈现给用户的每只眼睛。用户周围的真实(物理)环境的视频的图像也可以通过图像采集设备(例如，摄像头215)来采集，并且作为与一个或多个虚拟对象叠加的增强现实(AR)场景的一部分来呈现。

在一些示例中，头戴式显示器(HMD)设备200可以包括各种传感器(未示出)，例如深度传感器、运动传感器、位置传感器和/或眼动追踪传感器。出于感测目的，这些传感器中的一些传感器可以使用任意数量的结构光图案或非结构光图案。在一些示例中，头戴式显示器(HMD)设备200可以包括用于与控制台110通信的输入/输出接口140，如参考图1所描述的。在一些示例中，头戴式显示(HMD)设备200可以包括虚拟现实引擎(未示出)，但与参考图1描述的虚拟现实引擎116类似，该虚拟现实引擎可以在头戴式显示器(HMD)设备200内执行应用并且接收来自各种传感器的头戴式显示器(HMD)设备200的深度信息、位置信息、加速度信息、速度信息、预测的未来位置或它们的任意组合。

在一些示例中，由虚拟现实引擎116接收到的信息可以用于生成到一个或多个显示组件的信号(例如，显示指令)。在一些示例中，头戴式显示器(HMD)设备200可以包括定位器(未示出)，但与图1中描述的定位器126类似，所述定位器可以相对于彼此并且相对于参考点位于头戴式显示器(HMD)设备200的本体220上的固定位置。这些定位器中的每个定位器可以发射可由外部的成像设备检测的光。这对于头部追踪或其它运动/方位的目的可能是有用的。应理解的是，除了此类定位器之外或代替此类定位器，也可以使用其它元件或部件。

应理解的是，在一些示例中，安装在显示系统中的投影仪可以放置在用户眼睛附近和/或靠近用户的眼睛而放置(即，“眼侧”)。在一些示例中，并且如本文所论述的，用于形状类似眼镜的显示系统的投影仪可以被安装或定位在眼镜的镜腿(即，镜片侧的顶部远角)中。应理解的是，在一些实例中，利用背装投影仪放置可以帮助减小显示系统所需的任何所需外壳的尺寸或体积，这也可以使得显著改善用户的用户体验。

图3是根据示例的一副眼镜(或其它类似的眼镜)形式的近眼显示设备300的立体图。在一些示例中，近眼显示设备300可以是图1的近眼显示设备120的特定示例，并且可以被配置为作为虚拟现实显示器、增强现实(AR)显示器和/或混合现实(MR)显示器来运行。

在一些示例中，近眼显示设备300可以包括框架305和显示器310。在一些示例中，显示器310可以被配置为向用户呈现媒体内容或其它内容。在一些示例中，显示器310可以包括与参照图1和图2A至图2C所描述的部件类似的显示电子器件和/或显示光学器件。例如，如上文关于图1的近眼显示设备120所描述的，显示器310可以包括液晶显示器(liquidcrystal display，LCD)显示面板、发光二极管(LED)显示面板或光学显示面板(例如，波导显示组件)。在一些示例中，显示器310还可以包括任意数量的光学部件，例如波导、光栅、透镜、反射镜等。在其它示例中，显示器310可以包括投影仪，或者代替显示器310，近眼显示设备300可以包括投影仪。

在一些示例中，近眼显示设备300还可以包括位于框架305上或位于框架305内的各种传感器305A、305B、350C、305D和305E。在一些示例中，如所示出的，各种传感器305A至305E可以包括任意数量的深度传感器、运动传感器、位置传感器、惯性传感器和/或环境光传感器。在一些示例中，各种传感器305A至305E可以包括任意数量的图像传感器，该任意数量的图像传感器被配置为生成图像数据，该图像数据表示在一个或多个不同方向上的不同视场。在一些示例中，各种传感器305A至305E可以用作输入设备，以控制或影响近眼显示设备的显示内容，和/或以向近眼显示设备300的用户提供交互式虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)体验。在一些示例中，各种传感器305A至305E还可以用于立体成像或其它类似的应用。

在一些示例中，近眼显示设备300还可以包括一个或多个照明器330，以将光投射到物理环境中。所投射的光可以与不同的频带(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。在一些示例中，一个或多个照明器330可以用作定位器，例如上面参照图1和图2A至图2C所描述的一个或多个定位器126。

在一些示例中，近眼显示设备300还可以包括摄像头315或其它图像采集单元。例如，摄像头315可以采集视场中的物理环境的图像。在一些实例中，可以由例如虚拟现实引擎(例如，图1的虚拟现实引擎116)对所采集的图像进行处理，以将虚拟对象添加到所采集的图像或对所采集的图像中的物理对象进行修改，并且可以由用于增强现实(AR)应用和/或混合现实(MR)应用的显示器310向用户显示处理后的图像。近眼显示设备300还可以包括眼动追踪传感器312。

在一些示例中，光瞳复制波导可以是透明的或半透明的，以使用户能够观看外部世界、以及投射到每只眼睛中并与外部世界视图叠加的图像。投射到每只眼睛中的图像可以包括以模拟视差布置的对象，以便看起来沉浸在真实世界视图中。

在一些示例中，图像处理和眼睛位置/方位确定功能可以由近眼显示设备300的中央控制器(未示出)来执行。中央控制器还可以根据所确定的眼睛位置、眼睛方位、注视方向、眼睛辐辏等，向显示器310提供控制信号以生成要向用户显示的图像。

图4示出了根据示例的色调映射系统的框图。色调映射系统400可以包括一个或多个计算平台402。一个或多个计算平台402可以通过一个或多个网络420(例如，使用无线通信天线430)与一个或多个远程平台404通信地耦接。在一些示例中，用户可以经由远程平台404访问色调映射系统400。

在一些示例中，一个或多个计算平台402可以由存储在存储器418中并由一个或多个处理器426执行的计算机可读指令406来配置。计算机可读指令406可以包括多个模块。这些模块可以被实现为以下一者或多者：功能逻辑、硬件逻辑和电子软件模块等。这些模块可以包括以下一者或多者：数据获取模块408、眼动追踪模块410、颜色模块412和像素修改器模块414。

在一些示例中，数据获取模块408可以接收与物理环境(例如，色调映射系统400位于该物理环境中)相对应的图像。例如，色调映射系统400可以在头戴式显示器(HMD)设备中实现。头戴式显示器(HMD)设备可以包括采集表示该物理环境的图像的一个或多个摄像头或一个或多个图像传感器。这些图像可以是静态图像。这些图像可以是从视频馈送中提取的多个帧。头戴式显示器(HMD)设备可以包括显示图像或经修改的图像的显示器(例如，屏幕)。

在一些示例中，眼动追踪模块410可以确定物理环境内用户的注意力所聚焦的用户聚焦位置。色调映射系统400可以使用注视方向作为用户注意力的代理，例如，色调映射系统400可以确定用户的注意力聚焦在用户的注视所指向的位置上。在一些示例中，色调映射系统400可以至少部分地基于用于用户注意力的其它代理(例如，手势的位置或定点设备的位置)来确定用户聚焦位置。作为另一示例，色调映射系统400可以至少部分地基于物理环境中存在的对象的位置来确定用户聚焦位置。例如，如果一突出的对象处于物理环境中，则色调映射系统400可以确定色调映射应该以该对象为中心，即使用户可能没有在看该对象。在一些示例中，眼动追踪模块410确定用户的注视的方向。例如，眼动追踪模块410可以接收来自面向用户的摄像头或图像传感器的图像数据。该图像数据可以表示以下一个或多个图像：该一个或多个图像包括表示用户的瞳孔的像素。基于用户的瞳孔的位置，眼动追踪模块410可以确定用户的注视方向。在一些示例中，用户的眼睛可以被例如激光或近红外(near infrared，nIR)照明源(例如发光二极管(LED))照射。由图像数据表示的图像可以包括以下像素：所述像素表示来自用户眼睛的、可用于确定用户的注视方向的反射(例如，闪烁)。

在一些示例中，颜色模块412确定与用户聚焦位置相对应的物理环境的视觉属性。例如，颜色模块412可以接收来自面向世界的摄像头或图像传感器的表示物理环境的图像数据。颜色模块412可以分析与该图像数据中的一个或多个像素相关联的颜色值，以确定与物理环境中用户的注视所指向的用户聚焦位置相关联的颜色值。可以确定用户聚焦位置的亮度。

在一些示例中，颜色模块412可以选择用户聚焦位置的尺寸。例如，颜色模块412可以选择要用作色调映射和/或色彩适应的基础的区域的尺寸。在一些示例中，颜色模块412可以对表示物理环境的图像数据应用平均函数或滤波函数。例如，颜色模块412可以应用滤波函数，以考虑噪声和/或来自眼动追踪器的自然微扫视。在一些示例中，颜色模块412可以区分不同的眼睛运动，例如扫视、微扫视、缓慢追逐和/或前庭眼反射(vestibulo ocularreflex，VOR))。颜色模块412可以应用不同的滤波函数以考虑每种类型的眼动。例如，在扫视的情况下，颜色模块412可以对图像数据应用很少的平均或不应用平均，从而可以更快地应用变化。

在一些示例中，像素修改器模块414基于所确定的视觉属性来修改与物理环境相对应的图像的一区域的色调映射，以生成输出图像。例如，像素修改器模块414可以使用来自用户聚焦位置周围的区域的颜色值来在该图像的区域上执行色调映射。

在一些示例中，修改颜色映射可以包括修改图像的区域的色调映射。例如，像素修改器模块414可以执行动态亮度调整。

图5是示出了根据示例的包括亮度调整的色调映射的示意图。示意图500示出了真实世界场景的示例虚拟现实(VR)表示，该真实世界场景包括具有对象(例如，电话、平板电脑、两盏灯)的桌子502。示意图500中的场景包括两个不同的部分，与左侧部分504相比，右侧部分506被更明亮地照亮。将理解的是，与右侧部分506相比，在左侧部分504中减小了场景的图像的动态范围。一些用于高动态范围(high dynamic range，HDR)图像的显示器能够具有高绝对亮度(例如，尼特(nits))。在一些示例中，可以在无需具有高绝对亮度能力的显示器的情况下执行动态亮度调整。

例如，如示意图500所表示的，眼动追踪模块410可以确定用户的注视508指向左侧部分504。像素修改器模块414可以基于用户聚焦位置(左侧部分504)周围的区域来修改图像的色调映射。因为用户聚焦位置(左侧部分504)周围的该区域相对较暗，所以像素修改器模块414可以修改图像的色调映射以增加图像的亮度。同理，因为用户聚焦位置510(右侧部分506)周围的区域相对较亮，所以像素修改器模块414可以修改图像的色调映射以降低图像的亮度。

在一些示例中，由于光学设计和硬件限制，可能很难在整个视场(FOV)中实现均匀的颜色。当从不同视角观看时，显示硬件(例如，有机发光二极管(OLED))可能呈现出颜色变化。在一些示例中，亮度校正可以作为颜色校正的一部分来实现。可以通过发射占空比或持续性调整和/或背光空间调整来实现亮度校正。例如，在每帧内(例如，对于虚拟现实为每秒90帧(frames per second，fps))，显示器或背光可能不会一直打开。显示器或背光可以具有例如10％(例如，1ms)、20％或30％的占空比。在一些示例中，可以通过在空间上改变显示器整个表面的亮度来实现背光空间调整。这可以在具有呈阵列的LED的背光中实现。亮度校正在空间上可能较慢，例如，可能很少或没有急剧的校正。在一些示例中，可以在通过平滑过渡(例如，B样条曲面，例如图8的表面810)在视场(FOV)上每隔10°执行亮度校正。

图6示出了杂散光的示例的示意图。如示意图600所示，通过透镜606感知显示器604上的内容的眼睛602可以感知在用户聚焦位置608处的内容。在另一位置610处的高亮度内容可能产生杂散光影响624。示例图像612包括没有杂散光影响624的部分614和具有杂散光影响624的部分616。在一些示例中，像素修改器模块414可以基于用户聚焦位置622来调整该图像的至少一部分的颜色值以抵消杂散光影响。例如，杂散光影响624可以由来自外围方向的明亮信号产生，如示意图600的左侧所示。如果已知用户没有直视明亮信号，则可以调整图像中与该明亮信号对应的部分的颜色值以调暗该明亮信号。这可以减少杂散光影响624。

在一些示例中，由于光学设计和硬件限制，可能很难在整个视场(FOV)中实现均匀的颜色。当从不同视角观看时，显示硬件(例如，有机发光二极管(OLED))可能呈现出颜色变化。可以基于用户聚焦位置(例如，注视方向)在显示区域上以每帧为基础应用颜色校正。在一些示例中，颜色校正可能在空间上较慢，例如，可能很少或没有急剧的校正。在一些示例中，可以通过平滑过渡(例如，B样条曲面)在视场(FOV)上每隔10°执行颜色校正。

图7是示出了根据一些示例的用于使用注视感知色调映射和色彩适应的示例方法700的流程图。在各种示例中，方法700由设备(例如，图4的色调映射系统400)来执行。在一些示例中，方法700由处理逻辑来执行，该处理逻辑包括硬件、固件、软件或它们的组合。方法700可以由执行存储在非暂态计算机可读介质(例如，存储器)上的代码的处理器来执行。简而言之，在各种示例中，方法700可以包括：确定物理环境内的用户聚焦位置并接收与该物理环境相对应的图像。可以确定与用户聚焦位置相对应的物理环境的视觉属性。可以基于所确定的视觉属性来修改图像的区域的颜色(或色调)映射，以生成输出图像。

如框710所表示的，在各种示例中，方法700可以包括：确定物理环境内的用户聚焦位置。例如，色调映射系统400可以确定物理环境中用户注意力所指向的位置。注视方向可以用作用户注意力的代理。例如，色调映射系统400可以确定用户注意力聚焦在用户的注视所指向的位置上。如框710A所表示的，在一些示例中，眼动追踪模块410可以基于注视方向来确定用户聚焦位置。眼动追踪模块410可以基于表示用户眼睛的图像数据来确定用户的注视方向。例如，眼动追踪模块410可以接收来自面向用户的摄像头或图像传感器的图像数据。该图像数据可以表示以下一个或多个图像：该一个或多个图像包括表示用户的瞳孔的像素。眼动追踪模块410可以基于用户的瞳孔的位置，确定用户的注视方向。在一些示例中，用户的眼睛可以例如被激光或近红外(nIR)照明源(例如发光二极管(LED))照射。由图像数据表示的图像可以包括以下像素：这些像素表示来自用户眼睛的、可用于确定用户的注视方向的反射(例如，闪烁)。

如框720所表示的，在各种示例中，方法700可以包括：接收与物理环境相对应的图像。例如，颜色模块412可以接收来自面向世界的摄像头或图像传感器的、表示物理环境的图像数据。由于光学设计和硬件限制，用户看到的物理环境可能与该图像不同。例如，可能很难在所显示的物理环境的表示的视场中实现均匀的颜色。例如，当从不同的视角观看时，显示硬件(例如，有机发光二极管(OLED))可能呈现出感知颜色的变化。显示器与人眼之间的光学层和/或透镜也可能产生颜色失真。作为另一示例，由于复杂的光学层和涂层，虚拟现实(VR)系统中的观看光学电子器件(例如，薄饼电子器件)可能会呈现出重影和杂散光问题。

如框730所表示的，在各种示例中，方法700可以包括：确定与用户聚焦位置相对应的物理环境的视觉属性。在一些示例中，如框730A所表示的，视觉属性可以包括表征用户聚焦位置的颜色值。例如，颜色模块412可以分析与图像数据中的一个或多个像素相关联的颜色值，以确定与物理环境中用户的注视所指向的位置相关联的颜色值。在一些示例中，视觉属性可以包括表征用户聚焦位置的亮度值。例如，可以基于所选区域中的像素的RGB值来确定亮度。

在一些示例中，如框730B所表示的，方法700可以包括：确定用户聚焦位置的尺寸。例如，颜色模块412可以选择要用作色调映射和/或色彩适应的基础的区域的尺寸。在一些示例中，颜色模块412可以对表示物理环境的图像数据应用平均函数或滤波函数。例如，颜色模块412可以应用滤波函数，以考虑噪声和/或来自眼动追踪器的自然微扫视。在一些示例中，颜色模块412可以区分不同的眼动(例如，扫视、微扫视、缓慢追逐和/或前庭眼反射(VOR))。颜色模块412可以应用不同的滤波函数，以考虑每种类型的眼动。例如，在扫视的情况下，颜色模块412可以对图像数据应用很少的平均或不应用平均，从而可以更快地应用变化。

如框740所表示的，在各种示例中，方法700可以包括：基于所确定的视觉属性修改与物理环境相对应的图像的一区域的颜色映射，以生成输出图像。例如，像素修改器模块414可以使用来自用户聚焦位置周围的区域的颜色值来对图像区域执行颜色校正。

在一些示例中，如框740A所表示的，修改颜色映射可以包括：调整图像的该区域的色调映射。例如，像素修改器模块414可以执行动态亮度调整，如本文结合图5所描述的。

由于光学设计和硬件限制，可能很难在整个视场(FOV)中实现均匀的颜色。当从不同视角观看时，显示硬件(例如，有机发光二极管(OLED))可能呈现出颜色变化。在一些示例中，亮度校正可以作为颜色校正的一部分来实现。可以由发射占空比或持续性调整和/或背光空间调整来实现亮度校正。亮度校正在空间上可能很慢，例如，可能很少或没有急剧的校正。在一些示例中，可以通过平滑过渡(例如，B样条曲面)在视场(FOV)上每隔10°执行亮度校正。

在一些示例中，如框740B所示，修改颜色映射可以包括：调整图像的该区域的色彩映射。例如，像素修改器模块414可以基于用户聚焦位置周围的区域来执行局部白平衡(例如，调整白点)。

在一些示例中，由于光学设计和硬件限制，可能很难在整个视场(FOV)中实现均匀的颜色。当从不同视角观看时，显示硬件(例如，有机发光二极管(OLED))可能呈现出颜色变化。可以基于用户聚焦位置(例如，注视方向)在显示区域上以每帧为基础应用颜色校正。在一些示例中，颜色校正可能在空间上较慢，例如，可能存在很少或没有急剧的校正。在一些示例中，可以通过平滑过渡(例如，B样条曲面)在视场(FOV)上每隔10°执行颜色校正。

在一些示例中，像素修改器模块414可以使用用户聚焦位置(例如，注视方向)信息来对图像执行动态色彩校正(dynamic color correction，DCC)和动态亮度校正(dynamicbrightness correction，DBC)。如框740C所示，方法700可以包括：基于用户聚焦位置修改图像的一组像素，以校正失真。失真(例如，瞳孔游移)可能被引入不稳定性或加剧以实现其它益处(例如，中心视场(FOV)中的更高的分辨率或更准确的颜色)。像素修改器模块414可以通过动态失真校正(dynamic distortion correction，DDC)来补偿与用户聚焦位置(例如，注视方向)处的变化相关联的失真不稳定性。在一些示例中，动态失真校正(DDC)专注于具有大空间尺寸的外围微小调整。可能存在基部失真而例如呈现桶形显示图案，以通过透镜实现规则的角域。可以在该基部失真校正的顶部上应用动态色彩校正(DCC)、动态亮度校正(DBC)和/或动态失真校正(DDC)。

可以通过软件、通过显示驱动器集成电路(display driver integratedcircuit，DDIC)和/或通过片上系统(system on a chip，SOC)来执行动态色彩校正(DCC)、动态亮度校正(DBC)和/或动态失真校正(DDC)，该SOC可以包括中央处理单元(centralprocessing unit，CPU)和图形处理单元(graphical processing unit，GPU)。

图8示出了根据各示例的、根据注视移动的光适应速度的变化。示意图800显示了包括桌子802的场景，该桌子802具有在其上对象，其中，与场景的左侧部分804相比，场景的右侧部分806更亮(例如，通过台灯的照明)。当用户注视从左侧向右侧移动(816)时，可以增大(818)光适应速度(例如，色调映射调整)。当用户注视从右侧向左侧移动(812)时，还可以减小(814)光适应速度。

在一些示例中，可以基于方向来调整光适应的速度。当用户的注视从较亮的场景(或一个或多个对象)移动到较暗的场景(或一个或多个对象)时，可以在注视高动态范围(HDR)或色调映射调整中使用稍慢的变化。当用户注视从较暗的场景(或一个或多个对象)移动到较亮的场景(或一个或多个对象)时，可以在注视高动态范围(HDR)或色调映射调整中使用稍快的变化来匹配真实世界中的人类感知动态。

图9A至图9D示出了根据各示例的生成闪光的各种技术。图9A中的示意图900A显示了包括桌子902的场景，该桌子具有在其上的多个对象(例如，电话、台灯、第一装饰物908和第二装饰物910)。与场景的右侧部分906相比，场景的左侧部分904可以更暗。在一些示例中，较暗的左侧部分904中的第一装饰物908的镜面反射912(闪光)可以低于较亮的右侧部分906中的第二装饰物910的镜面反射914。

闪光是由于场景中的镜面反射而产生的、增强了虚拟现实(VR)显示器中的真实感的相对较小的高亮度区域。尽管大多数传统显示器只能复制较小同步范围的一小部分，但高动态范围(HDR)显示器可以支持更接近感知极限的亮度和对比度范围。在一些示例中，可以利用高动态范围(HDR)显示器的能力来增强对显示给用户的虚拟现实场景或增强现实场景的真实感。例如，如果对象的背景比所显示场景的平均亮度更亮，则可以增大与该对象相关联的闪光区域(例如，右侧部分906中的镜面反射914)。相反，如果较暗环境中的对象的背景比所显示场景的平均亮度更暗，则可以减小与该对象相关联的闪光区域(例如，右侧部分904中的镜面反射912)。

图9B中的示意图900B显示了包括桌子902的场景，该桌子具有在其上的多个对象(例如，电话、台灯、第一装饰物908和第二装饰物910)。具有其镜面反射914的第二装饰物910在示意图900B中被示为在具有注视920的用户的注视聚焦区域922内，而具有其镜面反射912的第一装饰物908在用户的注视聚焦区域的外围924处。

增加用户的注视聚焦区域内的对象的闪光区域(即，镜面反射)可能会导致注意力分散。然而，增加用户的注视聚焦区域的外围处的对象的闪光区域可以通过使对象更逼真来增强用户的真实感。例如，服饰、眼睛、金属物品和类似物上的珍珠装饰可以呈现自然的镜面反射。在一些示例中，控制器可以检测在用户的注视聚焦区域的外围处的对象，并增加它们的镜面反射(闪光区域)，以增强真实感知效果。随着用户的注视移动和用户的注视聚焦区域的外围改变，可以从要增强(镜面反射方面)的对象列表中删除增加了闪光区域的对象，并且可以将新对象添加到该列表中。

图9C中的示意图900C显示了沿转动方向932转动的用户的头部930和三个示例对象：在用户的头部930转动时进入用户的视野的具有相应的镜面反射933、镜面反射934和镜面反射935的第一装饰物、第二装饰物和第三装饰物。

如本文所述，头戴式显示器(HMD)设备可以通过头戴式显示器(HMD)设备上的一个或多个传感器来检测头部的运动(例如，转动和方向)。在一些示例中，第一装饰物、第二装饰物和第三装饰物的镜面反射933、镜面反射934和镜面反射935可以在检测到头部转动时随着这些装饰物进入用户的视野(但不是用户的注视聚焦区域，仅在外围)而闪烁，从而提供更真实的体验。闪烁效果可以是确定性的(即，由基于对象尺寸、用户注视聚焦区域、场景亮度等的算法来确定)或者是随机的。

图9D中的示意图900D显示了包括桌子902和该桌子上的多个对象(例如，第一台灯942、第一装饰物908、电话944、第二装饰物910和第二台灯946)的真实场景。该示意图还显示了可以如何使用镜面反射图952或图像处理954来生成(956)包括具有第一装饰物908和第二装饰物910以及它们各自的镜面反射912、914的桌子902的虚拟现实场景。

如本文所述，对象的诸如形状、材料、位置等属性可以为每个对象(和对象的各部分)产生不同的闪光或镜面反射。根据各示例的虚拟现实系统可以在包含一个或多个对象的虚拟场景中生成这些镜面反射，并对这些镜面反射进行修改以增强用户的真实感知(例如，基于用户注视聚焦区域、亮度等进行闪烁或调整)。在一些示例中，虚拟现实系统可以接收镜面反射图952(例如，与每个对象相关联的元数据的形式)，该镜面反射图定义了每个对象和/或该对象的各部分的镜面反射。在其它示例中，虚拟现实系统可以执行真实场景的图像处理954，检测各种对象及这些对象的各部分的镜面反射，并将这些镜面反射与所识别的对象(以及这些对象的各部分)相关联。然后，该系统可以为虚拟现实场景中的对象生成(并根据需要调整)镜面反射。

在一些示例中，虚拟现实系统一经执行图像处理954并确定各种所识别的对象的镜面反射，就可以在可包含镜面反射图的数据库处存储对象/镜面反射信息，或者向该数据库转发对象/镜面反射信息。

在一些示例中，对左眼的图像和右眼的图像实施的色调映射可能略有不同，以进一步增强全局和局部对比度。当各眼睛单独看到的内容被融合时，不仅在大脑中执行线性混合，而且还可能出现非线性效果，以保留更高的对比度、清晰的聚焦和更明亮的内容。在左侧视力上，较暗部分可以被突出，而在右眼上，较亮的部分可以被突出，并且大脑可以将它们混合在一起以获得更清晰的图像。因此，可以基于通过机器学习(machine learning，ML)算法的镜面提取或基于元数据来实现双重镜面效果。可以为两只眼睛调整色调映射曲线以获得合理的差异。可以在每只眼睛的曲线的峰值处呈现高光，以提供更多的突出。此外，可以通过沿边缘(例如，服饰的边缘)产生尖峰来模拟闪光效果(glistering effect)，以创建闪光效果。可以基于用户的注视方向而动态地改变或替换这些尖峰。

图10示出了根据一些示例的产生闪光的方法的流程图。因为可以有各种方式来执行本文所描述的方法，因此方法1000是通过示例的方式提供的。尽管方法1000主要被描述为由图1、图2A至图2C以及图4的各部件来执行，但是方法1000可以由另一系统或多个系统的组合的一个或多个处理部件来执行或以其它方式来执行。图10中示出的每个框还可以表示一个或多个过程、一种或多种方法、或一个或多个子程序，并且这些框中的一个或多个框可以包括机器可读指令，这些机器可读指令存储在非暂态计算机可读介质上并且由处理器或其它类型的处理电路执行，以执行本文所描述的一个或多个操作。

在框1002处，可以由虚拟现实系统来确定注视方向、注视聚焦区域、头部运动(包括方向)、场景亮度和/或场景中对象的属性(例如对象的尺寸、位置、形状、材料等)。

在可选地框1004处，可以由虚拟现实系统接收与场景中的多个对象中的一个或多个对象相关联的镜面反射图。例如，镜面反射图可以提供处于不同照明条件下、位于不同位置等的各种所识别的对象(以及这些对象的各部分)的镜面反射信息。替代地，虚拟现实系统可以基于在框1002处确定的信息来确定场景中的对象的镜面反射。

在框1006处，可以基于注视方向变化来确定光适应速度。例如，如果用户的注视正从场景的较亮部分移动到较暗部分，则色调调整可能执行得较慢。相反，如果用户的注视正从场景的较暗部分移动到较亮部分，则可以加速色调调整。

在框1008处，可以基于对象的尺寸、对象是处于场景的较亮部分还是较暗部分、和/或对象是位于用户注视聚焦区域还是位于外围，来确定对象或该对象的一部分的闪光区域(镜面反射)。此外，可以基于相同的因素和/或用户头部转动的方向来确定闪光效果，使得可以在对象进入用户视野和离开用户视野时提供逼真的闪光效果。

在框1010处，虚拟现实系统可以向用户显示包含以上所论述的对象的虚拟现实场景或增强现实场景，以提供增强现实感知体验。

根据各示例，本文描述了一种形成具有增强的现实感知的虚拟现实系统的方法。本文还描述了一种形成虚拟现实系统的系统。非暂态计算机可读存储介质可以具有存储在其上的可执行文件，该可执行文件在被执行时指示处理器执行本文所描述的方法。

在上述描述中，描述了各种示例，包括设备、系统和方法等。出于解释的目的，阐述了多个具体细节以提供对本公开的示例的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下实践各种示例。例如，设备、系统、结构、组件、方法和其它部件可以被示出为框图形式的部件，以免在不必要的细节中模糊示例。在其它实例中，可以在没有必要的细节的情况下示出众所周知的设备、过程、系统、结构和技术，以免混淆各示例。

这些附图和描述并不旨在进行限制。本公开中已经使用的术语和表述被用作描述术语而非限制性术语，并且在使用这些术语和表述时无意排除所示出和描述的特征的任何等同物或其部分。本文中使用的单词“示例”意为“用作示例、实例或说明”。本文中被描述为“示例”的任何实施例或设计不一定被解释为比其它实施例或设计优选或有利。

尽管本文所描述的方法和系统可以主要针对数字内容(例如视频或交互式媒体)，但是应理解，本文所描述的方法和系统也可以用于其它类型的内容或场景。本文所描述的方法和系统的其它应用或使用还可以包括社交网络、营销、基于内容的推荐引擎、和/或其它类型的知识或数据驱动系统。

Claims (20)

1.一种虚拟现实系统，包括：

显示器；

处理器；以及

存储器，所述存储器用于存储处理器可执行指令，所述处理器可执行指令在被所述处理器执行时，使得所述处理器：

确定场景中的用户注视聚焦区域；

检测所述场景中的至少一个对象；

确定所述至少一个对象的镜面反射；

基于所述至少一个对象相对于所述用户注视聚焦区域的位置，来调整所述至少一个对象的所述镜面反射；以及

生成具有所述至少一个对象的所述场景的虚拟表示，其中，所述虚拟表示包括所述至少一个对象的经调整的所述镜面反射。

2.根据权利要求1所述的虚拟现实系统，其中，所述存储器还存储有使得所述处理器执行以下操作的处理器可执行指令：

确定所述场景的包括所述至少一个对象的一部分的亮度；以及

还基于所述场景的包括所述至少一个对象的所述部分的所述亮度，调整所述至少一个对象的所述镜面反射。

3.根据权利要求1所述的虚拟现实系统，其中，所述存储器还存储有使得所述处理器执行以下操作的处理器可执行指令：

确定所述至少一个对象的尺寸；以及

还基于所述至少一个对象的所述尺寸，调整所述至少一个对象的所述镜面反射。

4.根据权利要求1所述的虚拟现实系统，其中，所述存储器还存储有使得所述处理器执行以下操作的处理器可执行指令：

检测所述用户注视聚焦区域从所述场景的第一部分到所述场景的第二部分的移动；以及

基于所述场景的所述第一部分与所述场景的所述第二部分的相对亮度，来修改所述镜面反射的调整速度。

5.根据权利要求4所述的虚拟现实系统，其中，所述存储器还存储有使得所述处理器执行以下操作的处理器可执行指令：

检测到所述场景的所述第一部分比所述场景的所述第二部分更暗；以及

响应于所述用户注视聚焦区域从所述场景的所述第一部分到所述场景的所述第二部分的所述移动，增大所述镜面反射的所述调整速度。

6.根据权利要求4所述的虚拟现实系统，其中，所述存储器还存储有使得所述处理器执行以下操作的处理器可执行指令：

检测到所述场景的所述第一部分比所述场景的所述第二部分更亮；以及

响应于所述用户注视聚焦区域从所述场景的所述第一部分到所述场景的所述第二部分的所述移动，减小所述镜面反射的所述调整速度。

7.根据权利要求1所述的虚拟现实系统，其中，所述处理器用于通过接收至少包括与多个对象相关联的镜面反射属性的镜面反射图，来确定所述至少一个对象的所述镜面反射。

8.根据权利要求1所述的虚拟现实系统，其中，所述处理器用于通过对所述场景的图像进行处理来确定所述至少一个对象的所述镜面反射。

9.根据权利要求1所述的虚拟现实系统，其中，所述存储器还存储有使得所述处理器执行以下操作的处理器可执行指令：

检测由于用户的头部的转动而引起的所述用户注视聚焦区域的移动；

检测当所述用户的头部转动时进入所述用户注视聚焦区域和离开所述用户注视聚焦区域的多个对象；以及

当所述多个对象进入所述用户注视聚焦区域和离开所述用户注视聚焦区域时，修改所述多个对象的镜面反射，以产生闪烁效果。

10.根据权利要求9所述的虚拟现实系统，其中，所述多个对象的所述镜面反射是被确定地或随机地修改的。

11.一种方法，包括：

确定真实场景中的用户注视聚焦区域；

检测所述真实场景中的至少一个对象；

基于镜面反射图或对所述真实场景的图像的处理，来确定所述至少一个对象的镜面反射；

基于所述至少一个对象相对于所述用户注视聚焦区域的位置，来调整所述至少一个对象的所述镜面反射；以及

生成具有所述至少一个对象的虚拟场景，其中，所述虚拟场景包括所述至少一个对象的经调整的所述镜面反射。

12.根据权利要求11所述的方法，还包括：

确定所述真实场景的包括所述至少一个对象的一部分的亮度或所述至少一个对象的尺寸中的至少一者；以及

还基于所述真实场景的包括所述至少一个对象的所述部分的所述亮度或所述至少一个对象的所述尺寸中的至少一者，调整所述至少一个对象的所述镜面反射。

13.根据权利要求11所述的方法，还包括：

检测所述用户注视聚焦区域从所述虚拟场景的第一部分到所述虚拟场景的第二部分的移动，其中，所述真实场景的对应的第一部分比所述真实场景的对应的第二部分更暗；以及

响应于所述用户注视聚焦区域从所述虚拟场景的所述第一部分到所述虚拟场景的所述第二部分的所述移动，增大所述镜面反射的调整速度。

14.根据权利要求11所述的方法，还包括：

检测所述用户注视聚焦区域从所述虚拟场景的第一部分到所述虚拟场景的第二部分的移动，其中，所述真实场景的对应的第一部分比所述真实场景的对应的第二部分更亮；以及

响应于所述用户注视聚焦区域从所述虚拟场景的所述第一部分到所述虚拟场景的所述第二部分的所述移动，减小所述镜面反射的调整速度。

15.根据权利要求11所述的方法，还包括：

检测由于用户的头部的转动而引起的所述用户注视聚焦区域的移动；

检测当所述用户的头部转动时进入所述用户注视聚焦区域和离开所述用户注视聚焦区域的多个对象；以及

当所述多个对象进入所述用户注视聚焦区域和离开所述用户注视聚焦区域时，确定性地或随机地修改所述多个对象的镜面反射，以产生闪烁效果。

16.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括可执行文件，所述可执行文件在被执行时，指示处理器：

确定真实场景中的用户注视聚焦区域；

检测所述真实场景中的至少一个对象；

确定所述真实场景的包括所述至少一个对象的一部分的亮度或所述至少一个对象的尺寸中的至少一者；

基于镜面反射图或对所述真实场景的图像的处理，来确定所述至少一个对象的镜面反射；

基于以下中的至少一者来调整所述至少一个对象的所述镜面反射：所述至少一个对象相对于所述用户注视聚焦区域的位置；所述真实场景的包括所述至少一个对象的所述部分的所述亮度；或所述至少一个对象的所述尺寸；以及

生成具有所述至少一个对象的虚拟场景，其中，所述虚拟场景包括所述至少一个对象的经调整的所述镜面反射。

17.根据权利要求16所述的非暂态计算机可读存储介质，其中，所述可执行文件还使得所述处理器确定注视方向和所述用户注视聚焦区域的尺寸。

18.根据权利要求17所述的非暂态计算机可读存储介质，其中，所述可执行文件还使得所述处理器确定所述用户注视聚焦区域相对于所述真实场景的平均亮度的亮度。

19.根据权利要求16所述的非暂态计算机可读存储介质，其中，所述可执行文件还使得所述处理器：

检测所述用户注视聚焦区域从所述虚拟场景的第一部分到所述虚拟场景的第二部分的移动，其中，所述真实场景的对应的第一部分比所述真实场景的对应的第二部分更暗；以及

响应于所述用户注视聚焦区域从所述虚拟场景的所述第一部分到所述虚拟场景的所述第二部分的所述移动，增大所述镜面反射的调整速度。

20.根据权利要求16所述的非暂态计算机可读存储介质，其中，所述可执行文件还使得所述处理器：

检测所述用户注视聚焦区域从所述虚拟场景的第一部分到所述虚拟场景的第二部分的移动，其中，所述真实场景的对应的第一部分比所述真实场景的对应的第二部分更亮；以及

响应于所述用户注视聚焦区域从所述虚拟场景的所述第一部分到所述虚拟场景的所述第二部分的所述移动，减小所述镜面反射的调整速度。