CN112558902B - 用于动态中央凹显示器的与注视无关的抖动 - Google Patents

Abstract

本公开涉及用于动态中央凹显示器的与注视无关的抖动。本文提供了一种电子设备，所述电子设备包括显示器和眼动跟踪器，所述眼动跟踪器被配置为收集关于用户的一个或多个眼睛在所述显示器上的注视的眼动跟踪数据。所述电子设备还包括处理电路，所述处理电路操作地耦接到所述显示器并且被配置为至少部分地基于所述眼动跟踪数据来生成内容帧的像素数据，使得所述内容被配置为以动态中央凹方式显示在所述显示器上。所述处理电路还被配置为独立于用户的一个或多个眼睛的所述注视而将抖动图案应用于所述内容帧。

Description

用于动态中央凹显示器的与注视无关的抖动

相关申请的交叉引用

本申请要求于2019年9月26日提交的名称为“GAZE-INDEPENDENT DITHERING FORDYNAMICALLY FOVEATED DISPLAYS”的美国临时专利申请62/906,510以及2020年7月14日提交的名称为“GAZE-INDEPENDENT DITHERING FOR DYNAMICALLY FOVEATED DISPLAYS”的美国非临时专利申请16/928,870的权益，前述专利申请据此全文以引用方式并入本文以用于所有目的。

发明内容

下面阐述本文所公开的某些实施方案的概要。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施方案的简明概要，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下面可没有阐述的多个方面。

本公开涉及可与中央凹内容诸如动态中央凹内容一起使用的抖动技术。中央凹是指基于固定点(诸如图像本身内的点或区域、观看者的眼睛聚焦于其上的图像的点或区域)或基于观看者的眼睛的注视移动，在图像上改变细节或分辨率的量的技术。更具体地讲，可通过在图像的各个部分中使用不同分辨率来改变细节的量。例如，在静态中央凹中，电子显示器的各种分辨率区域的尺寸和位置是固定的。又如，在动态中央凹中，电子显示器的使用各种分辨率的区域可基于观看者的注视在两个或更多个图像之间改变。例如，在使用多幅图像(诸如视频和视频游戏)的内容中，可以通过快速连续显示图像将内容呈现给观看者。以相对高分辨率和相对低分辨率显示内容的电子显示器的部分可在帧之间改变。

抖动通常是指将噪点应用于图像数据的技术。例如，可以将抖动图案应用于要由电子显示器的像素显示的图像数据，以防止在内容帧中出现色带。当正在呈现动态中央凹内容(例如，图像或内容帧)并且基于用户的注视来确定用于该内容的抖动图案时，可以在多个图像内容帧上使用许多不同的抖动图案。由于在动态中央凹期间随时间推移而改变抖动图案，可能出现视觉伪影。保留在显示器上的视觉伪影可被称为图像保留、图像持久性、粘贴伪影和/或重像。另外，视觉伪影可能导致图像出现在人眼中，并在电子显示器不再提供图像内容之后在该显示器上保留一段时间。例如，当显示器实际显示内容的后一帧时，人眼可以感知到正在显示器上显示该内容的一帧或其一部分。

因此，为了减少和/或消除视觉伪影，提供了与注视无关的抖动技术。更具体地讲，通过基于显示器内像素的原始位置而不是中央凹分组中可在帧之间移动的像素的位置来定义抖动块(例如，对应图像数据将以相同方式抖动的像素组)，可以在内容帧之间实现更均匀的抖动图案。通过提供更均匀的抖动图案，可减少或消除由于人眼可感知的抖动所致的图像伪影。

对于本公开的各个方面可作出对上述特征的各种改进。也可在这些各个方面中加入其他特征。这些改进和附加特征可以单独存在，也可以任何组合的形式存在。例如，下面讨论的与一个或多个所示实施方案相关的各种特征可单独地或以任何组合形式结合到本发明上述方面的任何一个中。上文所呈现的简要概要旨在使读者熟悉本公开实施方案的特定方面和上下文，并不限制要求保护的主题。

附图说明

在阅读以下详细描述并参考附图时可更好地理解本公开的各个方面，在附图中：

图1是根据一个实施方案的具有电子显示器的电子设备的框图；

图2是表示图1的电子设备的实施方案的笔记本电脑的透视图；

图3是表示图1的电子设备的另一个实施方案的手持设备的前视图；

图4是表示图1的电子设备的另一个实施方案的另一个手持设备的前视图；

图5是表示图1的电子设备的另一个实施方案的台式计算机的前视图；

图6是表示图1的电子设备的另一个实施方案的可穿戴电子设备的透视图；

图7A是其中利用静态中央凹的图1中的显示器的图示；

图7B是根据一个实施方案的其中利用动态中央凹的图1中的显示器的图示；

图8是根据一个实施方案的表示注视相关的抖动的图示；

图9是根据一个实施方案的示出当使用注视相关抖动时来自覆盖在彼此顶部上的两个内容帧的抖动图案的图像；

图10是根据一个实施方案的表示与注视无关的抖动的图示；

图11是根据一个实施方案的示出当使用与注视无关的抖动时来自覆盖在彼此顶部上的两个内容帧的抖动图案的图像；

图12是根据一个实施方案的用于生成与注视无关的抖动图案的过程的流程图；

图13示出了根据一个实施方案的中央凹分组区域；

图14示出了根据一个实施方案的处于原始像素域中的图13的框；

图15是示出根据一个实施方案的抖动块边界与其中不出现中央凹边界不匹配的中央凹分组区域边界的比较的图示；

图16是示出根据一个实施方案的抖动块边界与其中出现中央凹边界不匹配的中央凹分组区域边界的比较的图示；

图17是示出根据一个实施方案的校正中央凹分组不匹配的图示；和

图18是示出根据一个实施方案的校正中央凹分组不匹配的另一图示。

具体实施方式

下文将描述一个或多个具体实施方案。为了提供这些实施方案的简要描述，本说明书中未描述实际具体实施的所有特征。应当了解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须要作出特定于许多具体实施的决策以实现开发者的具体目标，诸如符合可从一个具体实施变化为另一具体实施的与系统相关和与商业相关的约束。此外，应当理解，此类开发工作有可能复杂并且耗时，但是对于受益于本公开的本领域的普通技术人员而言，其仍将是设计、加工和制造的常规工作。

据此，图1示出了可为中央凹内容诸如动态中央凹内容提供与注视无关的抖动的电子设备10的框图。如将在下面更详细描述的，电子设备10可表示任何合适的电子设备，诸如计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式装置、车辆仪表板等。例如，电子设备10可表示如图2所示的笔记本计算机10A、如图3所示的手持设备10B、如图4所示的手持设备10C、如图5所示的台式计算机10D、如图6所示的可穿戴电子设备10E或任何合适的类似设备。

图1所示的电子设备10可包括例如处理器内核复合体12、本地存储器14、主存储器存储设备16、电子显示器18、输入结构22、输入/输出(I/O)接口24、网络接口26、电源29、图像处理电路30和眼动跟踪器32。图像处理电路30可以准备来自处理器内核复合体12的图像数据(例如，像素数据)以用于显示在电子显示器18上。虽然图像处理电路30被示出为处理器内核复合体12内的部件，但是图像处理电路30可以表示在图像数据的初始创建与其准备在电子显示器18上显示之间可能出现的任何合适的硬件和/或软件。因此，图像处理电路30可以完全或部分地定位于处理器内核复合体12中，完全或部分地作为处理器内核复合体12与电子显示器18之间的单独部件，或者完全或部分地作为电子显示器18的部件。

图1中所示的各种功能块可包括硬件元件(包括电路)、软件元件(包括存储在有形非暂态介质，诸如本地存储器14或主存储器存储设备16上的机器可执行指令)或硬件和软件元件的组合。应当指出，图1仅是特定具体实施的一个示例，并且旨在示出可存在于电子设备10中的部件的类型。实际上，各种描绘的部件可被组合成较少部件或分离成附加部件。例如，本地存储器14和主存储器存储设备16可被包括在单个部件中。

处理器内核复合体12可以执行对电子设备10的各种操作，诸如生成要在电子显示器18上显示的图像数据并将抖动图案应用于图像数据。处理器内核复合体12可包括用于执行这些操作的任何合适的数据处理电路，诸如一个或多个微处理器、一个或多个专用处理器(ASIC)，或一个或多个可编程逻辑器件(PLD)。在一些情况下，处理器内核复合体12可执行存储在合适的制品上的程序或指令(例如，操作系统或应用程序)，诸如本地存储器14和/或主存储器存储设备16。除了用于处理器内核复合体12的指令之外，本地存储器14和/或主存储器存储设备16还可以存储要由处理器内核复合体12处理的数据。举例来讲，本地存储器14可包括随机存取存储器(RAM)，并且主存储器存储设备16可包括只读存储器(ROM)、可重写非易失性存储器(诸如闪存存储器、硬盘驱动器、光盘等)。

电子显示器18可显示图像帧，诸如用于操作系统的图形用户界面(GUI)或应用界面、静止图像或视频内容。处理器内核复合体12可提供至少一些图像帧。电子显示器18可为自发光显示器，诸如有机发光二极管(OLED)显示器、LED显示器或μLED显示器，或者可为由背光源照明的液晶显示器(LCD)。在一些实施方案中，电子显示器18可包括可允许用户与电子设备10的用户界面进行交互的触摸屏。另外，电子显示器18可显示中央凹内容。

电子设备10的输入结构22可使得用户能够与电子设备10进行交互(例如，按下按钮或图标以增大或减小音量水平)。正如网络接口26那样，I/O接口24可以使电子设备10能够与各种其他电子设备进行交互。网络接口26可包括例如用于如下网络的接口：用于个人局域网(PAN)诸如蓝牙网络、用于局域网(LAN)或无线局域网(WLAN)诸如802.11x Wi-Fi网络、和/或用于广域网(WAN)诸如蜂窝网络。网络接口26还可例如包括用于以下各项的接口：宽带固定无线接入网络(WiMAX)、移动宽带无线网络(移动WiMAX)、异步数字用户线路(例如，ADSL、VDSL)、数字视频地面广播(DVB-T)及其扩展DVB手持设备(DVB-H)、超宽带(UWB)、交流(AC)电力线等。电源29可包括任何合适的电源，诸如可再充电的锂聚合物(Li-poly)电池和/或交流电(AC)电源转换器。

眼动跟踪器32可测量观察电子设备10的电子显示器18的人的一只或两只眼睛的位置和移动。例如，眼动跟踪器32可以是相机，当观看者观看电子显示器18时，该相机可以记录观看者眼睛的移动。然而，可采用若干不同的操作来追踪观察者眼睛的移动。例如，可利用不同类型的红外/近红外眼动跟踪技术，诸如亮瞳孔跟踪和暗瞳孔跟踪。在这两种类型的眼动跟踪中，红外光或近红外光从观察者的一只眼睛或两只眼睛反射，以产生角膜反射。眼睛瞳孔的中心与角膜反射之间的矢量可用于确定观看者正在观看的电子显示器18上的点。此外，如下所述，电子显示器18的不同部分可用于基于观看者的眼睛正在观看的电子显示器18上的位置来以高分辨率部分和低分辨率部分显示内容。

在某些实施方案中，电子设备10可以采取以下形式：计算机、便携式电子设备、可穿戴电子设备，或其他类型的电子设备。此类计算机可包括通常便携的计算机(例如膝上型电脑、笔记本电脑和平板电脑)以及通常在一个地点使用的计算机(例如常规的台式计算机、工作站和/或服务器)。在某些实施方案中，计算机形式的电子设备10可以是购自AppleInc.(Cupertino,California)的Pro、MacBook mini或Mac机型。以举例的方式，根据本公开的一个实施方案，在图2中示出了笔记本电脑10A形式的电子设备10。所示出的计算机10A可包括外壳或壳体36、电子显示器18、输入结构22、以及I/O接口24的端口。在一个实施方案中，输入结构22(诸如键盘和/或触摸板)可用于与计算机10A进行交互，诸如以启动、控制或操作GUI或在计算机10A上运行的应用。例如，键盘和/或触摸板可允许用户在电子显示器18上所显示的用户界面或应用程序界面上导航。另外，计算机10A还可包括眼动跟踪器32，诸如相机。

图3描绘了手持设备10B的前视图，该手持设备表示电子设备10的一个实施方案。手持设备10B可表示例如便携式电话、媒体播放器、个人数据管理器、手持式游戏平台或此类设备的任何组合。以举例的方式，手持设备10B可以是购自Apple Inc.的或机型。手持设备10B可包括壳体36以保护内部部件免受物理损坏并使其免受电磁干扰。壳体36可包围电子显示器18。I/O接口24可通过壳体36打开并且可包括例如用于硬连线连接的I/O端口以用于使用标准连接器和协议诸如由Apple Inc.提供的Lightning连接器、通用串行总线(USB)，或其他类似的连接器和协议进行充电和/或内容操控。此外，手持装置10B可包括眼动跟踪器32。

结合电子显示器18的用户输入结构22可允许用户控制手持设备10B。例如，输入结构22可激活或去激活手持设备10B，将用户界面导航到home屏幕、用户可配置的应用屏幕，和/或激活手持设备10B的语音识别特征。其他输入结构22可提供音量控制，或者可以在振动和铃声模式之间切换。输入结构22还可包括获取用于各种语音相关特征的用户语音的麦克风，以及可启用音频回放和/或某些电话功能的扬声器。输入结构22还可包括可提供与外部扬声器和/或耳机的连接的耳机输入端。

图4描绘了另一个手持设备10C的前视图，该手持设备表示电子设备10的另一个实施方案。手持设备10C可表示例如平板计算机，或者各种便携式计算设备中的一种。举例来讲，手持设备10C可以是电子设备10的平板电脑尺寸的实施方案，其可以是例如购自AppleInc.的机型。与手持设备10B一样，手持设备10C还可包括眼动跟踪器32。

参见图5，计算机10D可表示图1的电子设备10的另一个实施方案。计算机10D可以是任何计算机，诸如台式计算机、服务器或笔记本式计算机，但也可以是独立媒体播放器或视频游戏机。举例来讲，计算机10D可为Apple Inc.的或其他类似设备。应当注意，计算机10D还可表示另一制造商的个人计算机(PC)。可提供类似的壳体36，以保护并包围计算机10D的内部部件诸如电子显示器18。在某些实施方案中，计算机10D的用户可以使用可连接到计算机10D的各种外围输入设备，诸如输入结构22A或22B(例如，键盘和鼠标)与计算机10D交互。此外，计算机10D可包括眼动跟踪器32。

类似地，图6描绘了表示图1中的电子设备10的另一个实施方案的可穿戴电子设备10E，该可穿戴电子设备被配置为使用本文所述的技术进行操作。举例来讲，可穿戴电子设备10E可为虚拟现实眼镜。然而，在其他实施方案中，可穿戴电子设备10E可包括其他可穿戴电子设备，诸如增强现实眼镜。当用户正在穿戴可穿戴电子设备10E时，可穿戴电子设备10E的电子显示器18对用户可见。另外，在用户正在穿戴可穿戴电子设备10E时，可穿戴电子设备10E的眼动跟踪器可跟踪用户的一只或两只眼睛的移动。在一些情况下，手持设备10B可用于可穿戴电子设备10E中。例如，可穿戴电子设备10E的头戴式耳机38的一部分37可允许用户将手持设备10B固定就位并使用手持设备10B来查看虚拟现实内容。

电子设备10的电子显示器18能够以中央凹方式显示内容诸如照片、视频和视频游戏的图像或帧。中央凹是指基于固定点(诸如图像本身内的点或区域、观看者的眼睛聚焦于其上的图像的点或区域)或基于观看者的眼睛的注视移动，在图像上改变细节或分辨率的量的技术。更具体地讲，可通过在图像的各个部分中使用不同分辨率来改变细节的量。例如，在电子显示器18的一个区域中，可以使用一个像素分辨率来显示图像的一部分，而可以使用更低或更高的像素分辨率来在电子显示器18的另一个区域中显示图像的另一部分。

为了显示中央凹内容，电子显示器18可以在中央凹区域中显示内容，这意味着在电子显示器18上显示的内容的分辨率在电子显示器18的各个部分处可以不同。例如，图7A是表示利用静态中央凹的电子显示器18的图示60。在静态中央凹中，电子显示器18的各种分辨率区域的尺寸和位置是固定的。在例示的实施方案中，电子显示器18包括高分辨率区域62、中分辨率区域64以及低分辨率区域66。然而，在其他实施方案中，可存在两个或更多个中央凹区域(例如，高分辨率区域和低分辨率区域)。

如上所述，电子显示器诸如电子显示器18也可使用动态中央凹。在动态中央凹中，电子显示器18的使用各种分辨率的区域可基于观看者的注视在两个或更多个图像之间改变。例如，在使用多幅图像(诸如视频和视频游戏)的内容中，可以通过快速连续显示图像将内容呈现给观看者。电子显示器18的以相对高分辨率和相对低分辨率显示内容的部分可以例如基于由眼动跟踪器32收集的指示电子显示器18上的观察者的注视所聚焦的位置的数据而改变。据此，图7B示出了图示70，其示出了电子显示器18的与第一内容帧72、第二内容帧74以及第三内容帧76相关联的部分。对于帧72、74、76中的每一者，利用高分辨率区域78、中分辨率区域80和低分辨率区域82。在从第一帧72到第二帧74的过渡期间，由于观察者的注视类似地移位，高分辨率区域78和中分辨率区域80从定位在电子显示器18的左下角附近移位到电子显示器18的顶部中心部分。类似地，当显示第三帧76时，高分辨率区域78和中分辨率区域80随着观看者的注视朝向电子显示器18的右下角移位。

记住前述内容，本公开提供了在抖动中央凹内容诸如动态中央凹内容时可使用的技术。抖动通常是指将噪点应用于图像数据。例如，为了防止图像(例如，连续的图像内容帧)中出现条带(例如，色带)，可以施加抖动图案，其中可以修改要由电子显示器18的一些像素显示的图像数据。作为更具体的示例，灰度级(例如，指示像素在发光时的亮度的值)可增大(以产生相对较亮的内容)或减小(以产生相对较暗的显示内容)。存在许多可用于抖动内容的抖动图案或抖动算法。示例包括Floyd-Steinberg抖动算法、阈值或平均抖动、随机抖动、图案化、有序抖动(例如，使用抖动矩阵)以及和误差扩散抖动。本文所讨论的技术可结合到此类抖动模式或算法中，或与此类抖动模式或算法结合应用。

继续附图，图8是表示注视相关抖动的图示100。换句话讲，图示100表示基于用户的注视(例如，如由眼动跟踪器32所跟踪的)的抖动图案。例如，在第一时间，用户的注视102A可以被引导至电子显示器18的一个区域。基于用户的注视102A，处理器内核复合体12可以确定中央凹分组104A，该中央凹分组是指确定电子显示器18的将在其中显示各种分辨率的内容的区域。例如，图7B的高分辨率区域78、中分辨率区域80以及低分辨率区域82可被认为是不同的中央凹分组。基于中央凹分组104A，处理器内核复合体12可确定分组像素位置106A，其可以是中央凹分组104A内的像素组。基于分组像素位置106A，处理器内核复合体12可确定并应用抖动图案108A。因此，可基于用户的注视或用户注视的移位来执行抖动。

当使用注视相关的抖动技术时，在用户的注视移动到电子显示器18的不同区域时，呈现在电子显示器18上的抖动图案可以随时间移位。继续上面的示例，在第二时间，诸如当用户的注视102A移位到注视102B时，该用户可能正在查看电子显示器18的另一部分。例如，基于由眼动跟踪器32所跟踪的用户的一只或两只眼睛，处理器内核复合体12可确定用户的注视已从电子显示器18的一个区域移动到电子显示器18的另一区域。处理器内核复合体12可基于具有注视102B的用户来确定中央凹分组104B。此外，基于中央凹分组104B，处理器内核复合体12可确定分组像素位置106B。此外，可以基于分组像素位置106B将不同的抖动图案108B应用于在电子显示器18上呈现的内容。因此，当利用注视相关的抖动技术时，在电子显示器18上显示动态中央凹内容时出现的抖动图案可以在电子显示器18的用户的注视所聚焦的区域改变时改变。

为了帮助说明抖动图案的变化，呈现了图9。具体地讲，图9包括图像120，该图像示出了来自覆盖在彼此顶部上的两个连续图像内容帧的抖动图案。图像120包括各种区域122A-E。相对暗的区域122A可以指示在形成图像120的两个帧之间以及在应用相同抖动图案的两个内容帧之间类似的中央凹分组。区域122B-E(以及通常看起来比区域122A更亮的图像120的任何其他部分)指示在两个帧中使用了两个不同的抖动图案。例如，当中央凹分组104在帧之间改变时，与另一帧相比，电子显示器18的不同像素在一个帧中可以更暗或更亮。由于抖动图案基于中央凹分组104，因此当用户的注视移位并且使用不同的中央凹分组时，可以使用不同的抖动图案。当具有不同抖动图案的两个内容帧重叠时，所得外观(例如，图像120)可包括相对大量的较亮区域(例如，区域122B-E)，其指示抖动模式在这两个内容帧之间的不同。

使用注视相关的抖动可导致用户能够感知的视觉伪影。例如，随着中央凹分组104改变，用户可能能够看到与内容帧之间的中央凹分组中的改变相关联的视觉伪影(例如，因为不同的抖动图案被应用于不同的内容帧)。使用下文所述的与注视无关的抖动技术可降低或消除视觉伪影的可感知性。

还可以执行与注视无关的抖动，这意味着可以独立于用户的注视(例如，如经由眼动跟踪器32所检测的)提供应用于图像内容帧的抖动图案。转到图10，图示140表示应用与注视无关的抖动。类似于图8中的图像120，用户的注视可以移位(例如，如注视102C移位到注视102D所示)，并且处理器内核复合体12可基于注视102C、102D中的每一者来确定中央凹分组104C、104D。然而，当使用与注视无关的抖动技术时，可使用像素的原始位置来确定分组像素位置106C。换句话讲，处理器内核复合体12可以基于电子显示器18上的像素的位置而不是基于中央凹分组(例如，中央凹分组区域)来确定分组像素位置106C。换句话讲，抖动图案可与中央凹分组解耦。因为电子显示器18上的像素的位置是固定的，所以相同或类似的分组像素位置106C可以用于每个图像内容帧。

例如，处理器内核复合体12可基于分组像素位置106C来应用抖动图案108C。因为分组像素位置106C是固定的，所以抖动图案108C可以在多个图像内容帧上基本上相同。因此，在显示动态中央凹内容(例如，注视相关的内容)时，能够以与注视无关的方式执行抖动。

为了帮助说明与注视无关的抖动图案，呈现了图11。具体地讲，图11包括图像160，该图像示出了来自覆盖在彼此顶部上的两个连续图像内容帧的抖动图案。因为在用于形成图像160的两个内容帧中应用相同的抖动图案(或应用两个非常类似的抖动图案)，所以图像160包括与图像120的区域122A-E相比相对更明显的区域162A-D。换句话讲，即使可以在两个内容帧中使用不同的中央凹分组104，区域162A-D也指示在内容帧上使用相同或类似的抖动方案。例如，相对暗的区域162A、162B可对应于两个内容帧中的不同中央凹分组104，其中应用了相同的抖动图案或者应用了基本上相同的抖动图案。相对亮的区域162C、162D可指示其中两个帧的抖动图案不同的区域。例如，亮的区域162C、162D可对应于内容帧中定位有不同尺寸的中央凹分组区域的区域(例如，具有不同分辨率的中央凹分组区域之间的边界或中央凹分组区域与抖动块之间的边界)或指示内容帧之间的中央凹分组中的移位。更具体地讲，亮的区域162C、162D可出现在包括不同数量的像素的中央凹分组区域之间的边界处或附近(例如，与相对高分辨率内容相关联的一个中央凹分组区域和与相对低分辨率内容相关联的另一个中央凹分组区域之间的边界)。

继续讨论与注视无关的抖动技术，图12是用于独立于用户的注视而生成抖动图案的过程200的流程图。过程200可由处理器内核复合体12、图像处理电路30或它们的组合通过执行存储在本地存储器14或主存储器存储设备16中的指令来执行。此外，虽然下文以特定顺序描述了过程200的操作，但应当指出的是，过程200的操作可以与下文在其他实施方案中所述的顺序不同的顺序来执行。方法200通常包括接收第一组眼动跟踪数据(例如，过程框202)、接收第二组眼动跟踪数据(例如，过程框204)、确定用户的眼睛在电子显示器18上的位置变化(例如，过程框206)、基于用户的眼睛的位置变化确定中央凹分组区域(例如，过程框208)、基于中央凹分组区域生成抖动相位索引(例如，过程框210)、将抖动块边界与中央凹分组区域边界进行比较(例如，过程框212)、确定是否存在中央凹边界不匹配(例如，决策框214)，并且当不存在中央凹边界不匹配时返回以将抖动块边界与中央凹分组区域边界进行比较(例如，过程框212)。当存在中央凹边界不匹配时，过程200可包括重置抖动块(例如，过程框216)并且返回以将抖动块边界与中央凹分组区域边界进行比较(例如，过程框212)。

在过程框202处，可以接收关于用户的眼睛在第一时间聚焦在电子显示器18上何处的第一组数据。可经由电子设备10的眼动跟踪部件(诸如眼动跟踪器32)获取和发送该数据。类似地，在框204处，可以接收关于用户的眼睛在第二时间聚焦在电子显示器18上何处的第二组数据。基于第一组数据和第二组数据，在框206处，可确定用户的眼睛在第一时间与第二时间之间的位置变化。

在过程框208处，可基于用户眼睛的位置变化来确定中央凹分组区域。例如，因为用户的注视可能已经移位，所以可以确定电子显示器18的将在其中显示内容的不同分辨率部分的各个部分。中央凹分组区域可对应于电子显示器18的其中将显示不同分辨率的内容的各个区域。为了帮助说明中央凹分组区域，提供了图13。具体地讲，图13示出了各种中央凹分组区域230A-F。区域230A对应于电子显示器18的低分辨率部分。例如，区域230A可以相对远离电子显示器18上的用户的眼睛聚焦在其上的点。区域230B-F可分别对应于电子显示器18的将在其中显示逐渐升高的分辨率内容的部分(例如，基于所检测的用户的注视)。例如，区域230F可以是最高分辨率区域，并且用户的注视可能已被检测到在区域230F的中心点处或附近。

当使用与注视无关的抖动时，抖动块或像素组可具有独立于中央凹分组区域(例如，区域230A-F)的相同或类似的抖动特性(例如，指示像素的抖动的随机数)。实际上，抖动块可以与电子显示器18上的原始像素位置相关。然而，因为正在电子显示器18上显示的内容是基于中央凹分组确定的，所以可能存在电子显示器18的其中抖动块包括来自不同中央凹分组区域的像素的部分。当一个抖动块中的像素包括来自不同中央凹分组区域的像素时，可以说存在“中央凹边界不匹配”。中央凹边界不匹配可导致抖动图案在内容帧之间改变。例如，在一些情况下，当连续帧的图像重叠时，所得图像可能看起来比图像160(与注视无关的抖动技术相关联)更类似于图像120(与注视相关的抖动技术相关联)。因此，为了增加帧之间抖动图案的均匀度，可利用下文讨论的技术来校正中央凹边界不匹配。

返回图12和对过程200的讨论，在过程框210处，可基于中央凹分组区域(例如，区域230A-F)来确定抖动相位索引。该抖动相位索引可使得能够检测到中央凹边界不匹配。为了确定或生成抖动相位索引，处理器内核复合体12(或图像处理电路30)可以使用多阶线性反馈移位寄存器，其中基于电子显示器18的每个部分中的中央凹分组区域来确定步长的大小。例如，图13示出了被扫描并用于填充线性反馈移位寄存器的若干块232A-C。在中央凹域中，第一块232A是四乘四(4×4)块，第二块232B是二乘四(2×4)块，并且第三块232C是一乘四(1×4)块。即，块232A-C的尺寸对应于中央凹分组区域。

为了帮助进一步说明块232A-C，提供了图14。具体地讲，图14示出了原始像素域中的块232A-C。块232A-C中的每一者包括若干较小的块240，其可被称为像素组或像素块。这些像素块可以是分组像素位置106C的一部分。例如，块232A包括对应于电子显示器18的十六个像素(例如，四个像素宽×四个像素长的块)的像素块240。因为块232A是4×4块，所以块232A包括十六个像素块240，其对应于电子显示器18的256个像素(例如，十六像素宽×十六像素长的区域)。块232A还可对应于线性移位反馈寄存器中的一个四步长条目。块232B(例如，2×4块)可以包括电子显示器18的八个像素块240或128个像素。另外，可使用两个像素块240宽的步长扫描块232B，这对应于线性反馈移位寄存器中的两个步长。块232C是4×1块，该块包括对应于电子显示器18的64个像素的四个像素块240。块232C可使用一个像素块240宽的步长来扫描，该步长对应于线性反馈区域中的一个步长。

返回图12和对过程200的讨论，在过程框212处，可以将抖动块边界与中央凹分组区域边界进行比较。图15包括示出此类比较的图示250。具体地讲，可以将抖动块252A、254B中包括的分组像素的子块252的实际位置与抖动块254A、254B内的分组像素的预期位置进行比较。换句话讲，可以将与抖动块254A、254B内的像素块240的特定行的线性移位反馈寄存器相关联的步长的大小(例如，像素块240的数量)与预期行位置进行比较。例如，短暂返回图14，抖动块252的每个子块可对应于像素块240的行260(例如，子块252A对应于行260A，子块252B对应于行260B，子块252C对应于行260A，子块252D对应于行260D)。

返回图15，图示250还包括分别指示抖动块254内的实际位置(例如，行数)和抖动块254内的预期行数的列270A、270B。例如，在由四行像素块240形成的抖动块254中，列270A可指示一行实际上是抖动块254的第一行、第二行、第三行还是第四行。列270B可指示可基于行(例如，像素块240的行)所位于的中央凹分组区域的大小来确定的预期行数。

预期行数N_exp(例如，像素块240的行)可通过将像素块240中的像素的第一行的行数N_pixel(在像素域中)除以像素块240所位于的中央凹分组区域的中央凹分组大小来确定。可对结果应用模运算(例如，MOD4)。可将值1加到模运算的结果上。在具有n行的抖动块中，预期行数的值可以是介于1和n之间的值(包括1和n)。行数的值可以是介于零和x-1之间的值(包括零和x-1)，其中x是包括在电子显示器18中的像素的行数。

现在将参照子块252C提供确定像素块240的实际行数和预期行数的示例。像素子块252C可对应于图14中的第一块232A的四个像素块240宽的行260C。因为行260C是第一块232A的第三行，所以在这种情况下实际行数将为3，这在列270A中指示。对于预期行数，N_pixel的值将为8，因为行260C内的像素的第一行是像素的第九行(例如，像素行0-8包括在行260A和260B中)，并且G的值将为4。8除以4得到2的商。2除以4的余数(即，2mod4)为2。并且，2加1为3。因此，子块260C的N_exp值将为3，由列270B所述示。

返回图12和对过程200的讨论，在决策框214处，可确定是否存在中央凹边界不匹配。例如，参见图15，列270A、270B的值可以存储在单独的寄存器中，并且可以将寄存器的值彼此进行比较以确定是否存在中央凹边界不匹配。如图所示，在图15中，列270A中的实际行值中的每一者都与在列270B中提供的其对应的预期行值相匹配。因此，不存在图15中所示的中央凹边界不匹配。没有检测到中央凹边界不匹配可对应于抖动块254，该抖动块包括在公共中央凹分组区域内发现的像素块240的行。例如，对于抖动块254A，子块252A-D中的每一者为四个像素块240宽(例如，如“4x”所示)。

重新参考图12，当在决策框214处没有检测到中央凹边界不匹配时，处理器内核复合体12或图像处理电路30可返回到过程框212并且继续将抖动块边界与中央凹分组区域边界进行比较。然而，如果在过程框216处检测到中央凹边界不匹配，则可以重置抖动块。

图16示出了中央凹边界不匹配的示例。更具体地讲，图16包括图示280，其中抖动块254C包括指示并非全部定位于相同中央凹分组区域内的像素块240的行的四个子块252E-H。例如，抖动块254C在电子显示器18内的位置可以对应于图13中的框290。如图13所示，框290的第一部分292定位于4×4中央凹分组区域(例如，中央凹分组区域230A)内，而框290的第二部分294定位于4×2中央凹分组区域(例如，中央凹分组区域230B)内。在该示例上扩展，第一部分292可包括位于中央凹分组区域230A内的三行像素块240和定位于中央凹分组区域230B内的像素块240的行。

重新参考图16，抖动块254C的列270C的实际行值对应于在框290内发现的像素块240的行。列270D的值指示与抖动块254C相关联的预期值。如框300所示，确定存在中央凹边界不匹配。更具体地讲，由框300指示的该中央凹边界不匹配对应于框290的第二部分294(例如，对应于抖动块254C的子块252H的像素块240的第四行)定位于与框290的第一部分292相比不同的中央凹分组区域中。虽然抖动块254C是四个像素块240宽，但是框290的第二部分294所位于的中央凹分组区域230B对应于两个像素块240的宽度。如果不进行处理，则在后续抖动块中可能继续出现更多中央凹分组不匹配，这由每个子块252的列270A、270B的值不相同来指示。如上所述，中央凹分组不匹配可能导致在不同的内容帧中使用不同的抖动图案。例如，中央凹分组不匹配的量越高，则两个内容帧的抖动图案之间的差异可能越大，这可能增加电子显示器18上的可感知视觉伪影的量。

为了帮助说明如何执行重置以校正中央凹分组不匹配，提供了图16、图17和图18。具体地讲，图17包括图示320，其示出了可如何使用软件(诸如可存储在本地存储器14或主存储器存储设备16上并由处理器内核复合体12或图像处理电路30执行的算法或指令)来校正中央凹分组不匹配。类似于图16，可以在第一抖动块254D中检测到中央凹分组不匹配(例如，如框300所示)。可使用第二抖动块254E，并且在利用第二抖动块254E时，处理器内核复合体12或图像处理电路30可通过在预期行值等于1的像素块240的下一行期间启动新抖动块(例如，第三抖动块254F)来引起发生重置。对应于子块252I的像素块240的行可以包括在第二抖动块254E和第三抖动块254F两者中(例如，作为第二抖动块254E中的最后一行和第三抖动块254F中的第一行)。换句话讲，当执行重置时，处理器内核复合体12或图像处理电路30可使得索引的实际行数的值被修改以匹配预期行数(例如，1)，并且可使用新抖动块254。如图17所示，在重置发生之后，实际行数(例如，如列270E所示)和预期行数(例如，如列270F所示)匹配，这表示所检测到的中央凹边界不匹配的消除。

图18示出了表示利用包括在电子设备10中的硬件诸如可包括在本地存储器14(或主存储器存储设备16)中的缓冲器来执行中央凹边界不匹配重置342的图示340。在该方法中，抖动操作通过以下方式完成：将第一行(例如，对应于抖动块254G的子块252K的组像素240的行)保存到第一缓冲器，并且将抖动图案应用于第二行(例如，对应于抖动块254G的子块252L的组像素240的下一行)和保存在缓冲器中的行。能够以这种方式继续应用抖动图案，直到检测到中央凹分组不匹配，在这种情况下，可以将预期行位置为1的像素块240的下一行(例如，对应于抖动块254H、254I的子块252M)保存到不同的第二缓冲器。可将抖动应用于下一行(例如，对应于第二子块的像素块240的第二行)。例如，类似于图17，在图18中的子块252N处，可由于实际行值和预期行值不同而检测到中央凹分组不匹配。作为抖动块252H的第一子块252的子块252O(预期行值为四)可以存储在第一缓冲器中。包括在抖动块252H、252两者中的下一个子块252M可以与存储在第一缓冲器中的子块252O抖动，并且对应于子块252O的像素块240的行被保存到第二缓冲器。可以是抖动块252I的第二子块252的下一个子块252P可以与存储在第二缓冲器中的像素块240的行抖动，并且可以重置实际位置的索引。

返回图12和对过程200的讨论，在重置抖动块之后(例如，在过程框216处)，过程200可以返回到过程框212并继续将抖动块边界与中央凹分组区域边界进行比较。例如，当已经比较图像(例如，内容帧)中的每个抖动块边界和中央凹分组区域时并且/或者当已经校正每个所检测到的中央凹分组边界不匹配时，过程200可以完成。例如，如上所述，中央凹区域边界不匹配可通过根据上文对图17和图18的讨论重置抖动块来校正。

虽然过程200在上文中被讨论为基于用户注视的位置变化来执行，但应当指出的是，在其他实施方案中，过程200可基于在与一个特定帧相关联的时间检测到的用户注视来执行。换句话讲，可基于与内容帧相关联的眼动跟踪数据来确定动态中央凹图像内容帧的中央凹分组区域，并且可为此类图像内容帧生成抖动图案。

因此，本公开提供了可用于抖动中央凹内容诸如动态中央凹内容的与注视无关的抖动技术。例如，如上所述，可基于电子显示器内的像素的原始位置而不是基于按照中央凹分组区域确定的像素组来应用抖动图案，如在利用注视相关的抖动技术时可进行的那样。此外，本发明所公开的抖动技术可用于校正当一组像素(例如，基于电子显示器内的原始位置定义的若干像素)中包括的像素定位于多于一个中央凹分组区域中时可能出现的中央凹分组不匹配。因此，本文所述的技术增加了当在显示器上呈现中央凹内容时所应用的抖动图案的均匀性。

已经以示例的方式示出了上述具体实施方案，并且应当理解，这些实施方案可容许各种修改和另选形式。还应当理解，权利要求书并非旨在限于所公开的特定形式，而是旨在覆盖落在本公开的实质和范围内的所有修改、等同物和替代方案。

本文所述的和受权利要求保护的技术被引用并应用于实物和实际性质的具体示例，其明显改善了本技术领域，并且因此不是抽象、无形或纯理论的。此外，如果附加到本说明书结尾的任何权利要求包含被指定为“用于[执行][功能]...的装置”或“用于[执行][功能]...的步骤”的一个或多个元件，则这些元件将按照35U.S.C.112(f)进行解释。然而，对于任何包含以任何其他方式指定的元件的任何权利要求，这些元件将不会根据35U.S.C.112(f)进行解释。

Claims (28)

1.一种电子设备，包括：

显示器；

眼动跟踪器，所述眼动跟踪器被配置为收集关于用户的一个或多个眼睛在所述显示器上的注视的眼动跟踪数据；以及

处理电路，所述处理电路操作地耦接到所述显示器并且被配置为：

至少部分地基于所述眼动跟踪数据来生成多个内容帧中的每个帧的像素数据，其中所述多个内容帧中的每个帧包括多个中央凹分组区域，所述多个中央凹分组区域包括相对高分辨率分组区域和相对低分辨率分组区域，所述相对高分辨率分组区域与所述显示器的第一部分相关联，并且所述相对低分辨率分组区域与所述显示器的第二不同部分相关联；以及

独立于所述用户的一个或多个眼睛的所述注视而将抖动图案应用于所述多个内容帧中的帧。

2.根据权利要求1所述的电子设备，其中：

所述显示器包括多个像素；以及

所述处理电路被配置为：

确定多个抖动块，其中所述多个抖动块中的每个抖动块对应于所述多个像素的子集；以及

至少部分地基于所述多个抖动块来应用所述抖动图案。

3.根据权利要求2所述的电子设备，其中所述处理电路被配置为确定多个像素块，其中所述多个像素块中的每个像素块对应于所述多个像素的一部分，并且至少部分地基于所述多个像素的所述一部分在所述显示器内的原始位置来限定。

4.根据权利要求3所述的电子设备，其中所述处理电路被配置为：

确定所述多个抖动块中的抖动块是否包括所述多个像素块中定位于所述多个内容帧中的单个帧的所述多个中央凹分组区域中的多于一个中央凹分组区域内的像素块；以及

当所述处理电路确定所述抖动块包括定位于所述多个中央凹分组区域中的多于一个中央凹分组区域内的像素块时，重置所述抖动块。

5.根据权利要求4所述的电子设备，其中所述处理电路被配置为通过确定所述抖动块的一部分的预期行值是否匹配所述抖动块的所述部分的实际行值来确定所述抖动块是否包括定位于所述多个中央凹分组区域中的多于一个中央凹分组区域内的像素块。

6.根据权利要求5所述的电子设备，其中所述抖动块的所述部分对应于所述多个像素块的行或其部分。

7.根据权利要求1-5中任一项所述的电子设备，其中当与所述多个内容帧中的第一帧相关联的第一抖动图案和与所述多个内容帧中的第二帧相关联的第二抖动图案重叠时，所得图像图案包括多个第一区域和多个第二区域，其中：

所述多个第一区域对应于所述第一帧和所述第二帧的其中所述第一抖动图案和所述第二抖动图案基本上相同的部分；以及

所述多个第二区域对应于所述第一帧和所述第二帧的其中应用不同抖动图案的部分。

8.根据权利要求1-5中任一项所述的电子设备，其中所述电子设备包括计算机、移动电话、便携式媒体设备、平板电脑、电视或虚拟现实头戴式耳机，所述虚拟现实头戴式耳机由于使用所述多个中央凹分组区域节省了功率而具有减少的功率消耗，同时使用所述抖动图案减少了图像伪影。

9.根据权利要求1所述的电子设备，其中所述处理电路被配置为至少部分地基于多个抖动块和多个像素块将所述抖动图案应用于所述多个内容帧中的所述帧，其中所述多个抖动块中的每个抖动块包括所述多个像素块的一部分，其中所述多个抖动块的每个像素块包括所述显示器的多个像素的子集。

10.一种电子设备，包括：

显示器；

眼动跟踪器，所述眼动跟踪器被配置为收集关于用户的一个或多个眼睛在所述显示器上的注视的眼动跟踪数据；以及

处理电路，所述处理电路操作地耦接到所述显示器并且被配置为：

接收所述眼动跟踪数据；

至少部分地基于所述眼动跟踪数据来生成多个内容帧中的每个帧的像素数据，使得内容被配置为以动态中央凹方式显示在所述显示器上；以及

独立于用户的一个或多个眼睛的所述注视而将抖动图案应用于所述多个内容帧中的帧。

11.根据权利要求10所述的电子设备，其中所述处理电路被配置为：

为所述多个内容帧中的每个帧确定多个抖动块；以及

至少部分地基于所述多个抖动块来应用所述抖动图案。

12.根据权利要求11所述的电子设备，其中所述处理电路被配置为确定所述多个内容帧中的帧中是否存在中央凹边界不匹配，其中所述中央凹边界不匹配对应于所述多个抖动块中的包括定位于多个中央凹分组区域中的多于一个中央凹分组区域中的像素的抖动块，其中所述多个中央凹分组区域中的每个中央凹分组区域与所述内容的分辨率以及所述显示器的不同部分相关联。

13.根据权利要求12所述的电子设备，其中所述处理电路被配置为至少部分地基于线性反馈移位寄存器来确定是否存在所述中央凹边界不匹配，所述线性反馈移位寄存器至少部分地基于所述多个中央凹分组区域来填充。

14.根据权利要求10-13中任一项所述的电子设备，其中当与所述多个内容帧中的第一帧相关联的第一抖动图案和与所述多个内容帧中的第二帧相关联的第二抖动图案重叠时，所得图像包括多个第一区域和多个第二区域，其中：

所述多个第一区域对应于所述第一帧和所述第二帧的其中所述第一抖动图案和所述第二抖动图案基本上相同的部分；以及

所述多个第二区域对应于所述第一帧和所述第二帧的其中应用不同抖动图案的部分。

15.根据权利要求14所述的电子设备，其中所述多个第一区域在外观上比所述多个第二区域相对较暗。

16.根据权利要求14所述的电子设备，其中所述多个第二区域中的区域指示所述第一帧与所述第二帧之间的中央凹分组区域中的一个或多个移位。

17.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括指令，所述指令在被执行时被配置为使得处理电路：

接收关于用户的一个或多个眼睛在显示器上的注视的眼动跟踪数据；

至少部分地基于所述眼动跟踪数据来生成多个内容帧中的每个帧的像素数据，使得内容被配置为以动态中央凹方式显示在所述显示器上；以及

至少部分地基于多个抖动块和多个像素块将抖动图案应用于所述多个内容帧中的帧，其中所述多个抖动块中的每个抖动块包括所述多个像素块的一部分，其中所述多个抖动块中的每个像素块包括所述显示器的多个像素的子集，其中所述多个像素块是独立于用户的一个或多个眼睛的所述注视而确定的。

18.根据权利要求17所述的非暂态计算机可读介质，其中所述指令在被执行时被配置为使得所述处理电路：

确定所述多个内容帧中的帧中是否存在中央凹边界不匹配，其中所述中央凹边界不匹配对应于所述多个抖动块中的包括定位于多个中央凹分组区域中的多于一个中央凹分组区域中的像素的抖动块，其中所述多个中央凹分组区域中的每个中央凹分组区域与所述内容的分辨率以及所述显示器的不同部分相关联；以及

响应于确定存在与所述抖动块相关联的中央凹边界不匹配，使得抖动块重置。

19.根据权利要求18所述的非暂态计算机可读介质，其中所述指令在被执行时被配置为使得所述处理电路通过包括以下步骤的方式确定所述抖动块中是否存在所述中央凹边界不匹配：

确定所述抖动块的子块的实际行值，其中所述抖动块的所述实际行值对应于所述抖动块内所述多个像素块的子集的像素块的行；

确定所述子块的预期行值；以及

当所述实际行值和所述预期行值不同时，确定存在所述中央凹边界不匹配。

20.根据权利要求19所述的非暂态计算机可读介质，其中所述指令在被执行时被配置为使得所述处理电路通过使得新抖动块被使用来引起所述抖动块重置。

21.根据权利要求20所述的非暂态计算机可读介质，其中所述指令在被执行时被配置为使得所述处理电路当所述多个像素块中的像素块具有等于最低预期行数的第二预期行数时使得所述新抖动块被使用。

22.一种用于应用抖动图案的系统，包括：

用于跟踪用户在显示器上的注视的装置；

用于至少部分地基于眼动跟踪数据来生成多个内容帧的像素数据，使得内容以动态中央凹方式显示在所述显示器上的装置；以及

用于至少部分地基于多个抖动块和多个像素块将抖动图案应用于所述多个内容帧中的帧的装置，其中所述多个抖动块包括所述多个像素块的一部分，其中所述多个抖动块的像素块包括所述显示器的多个像素的子集，其中所述多个像素块是独立于所述注视而确定的。

23.一种用于电子设备的方法，包括：

接收关于用户的一个或多个眼睛在所述电子设备的显示器上的注视的眼动跟踪数据；

至少部分地基于所述眼动跟踪数据来生成多个内容帧中的每个帧的像素数据，使得内容被配置为以动态中央凹方式显示在所述显示器上；以及

至少部分地基于多个抖动块和多个像素块将抖动图案应用于所述多个内容帧中的帧，其中所述多个抖动块中的每个抖动块包括所述多个像素块的一部分，其中所述多个抖动块中的每个像素块包括所述显示器的多个像素的子集，其中所述多个像素块是独立于用户的一个或多个眼睛的所述注视而确定的。

24.根据权利要求23所述的方法，其中所述方法还包括：

确定所述多个内容帧中的帧中是否存在中央凹边界不匹配，其中所述中央凹边界不匹配对应于所述多个抖动块中的包括定位于多个中央凹分组区域中的多于一个中央凹分组区域中的像素的抖动块，其中所述多个中央凹分组区域中的每个中央凹分组区域与所述内容的分辨率以及所述显示器的不同部分相关联；以及

响应于确定存在与所述抖动块相关联的中央凹边界不匹配，使得抖动块重置。

25.根据权利要求24所述的方法，其中确定所述抖动块中是否存在所述中央凹边界不匹配包括：

确定所述抖动块的子块的实际行值，其中所述抖动块的所述实际行值对应于所述抖动块内所述多个像素块的子集的像素块的行；

确定所述子块的预期行值；以及

当所述实际行值和所述预期行值不同时，确定存在所述中央凹边界不匹配。

26.根据权利要求25所述的方法，其中使得所述抖动块重置包括使得新抖动块被使用。

27.根据权利要求26所述的方法，其中所述方法还包括当所述多个像素块中的像素块具有等于最低预期行数的第二预期行数时使得所述新抖动块被使用。

28.一种计算机程序产品，包括程序代码部分，在所述计算机程序产品在一个或多个计算设备上被运行时，所述程序代码部分用于执行根据权利要求23至27中任一项所述的方法。