CN115601270A - 视频数据的基于注视方向的自适应预滤波 - Google Patents

Abstract

本公开涉及视频数据的基于注视方向的自适应预滤波。多层低通滤波器用于滤波表示个体的环境的至少一部分的视频数据的第一帧。滤波器的第一层具有用于第一帧的第一子集的第一滤波分辨率设置，而滤波器的第二层具有用于第二子集的第二滤波分辨率设置。第一子集包括沿个体的注视方向定位的数据元素，并且帧的第二子集围绕第一子集。滤波的结果被压缩并经由网络传输到视频处理引擎，该视频处理引擎被配置为生成环境的修改的视觉表示。

Description

视频数据的基于注视方向的自适应预滤波

相关申请引用

本申请是国际申请号为PCT/US2018/043033、国际申请日为2018年7月20日、进入中国国家阶段日期为2020年1月15日、中国国家申请号为201880047355.2、发明名称为“视频数据的基于注视方向的自适应预滤波”的发明专利申请的分案申请。

技术领域

本公开整体涉及用于处理和传输视频数据的系统和算法。

背景技术

随着视频捕获技术的改进以及成本的降低，越来越多的带有视频部件的应用程序变得流行。例如，混合现实应用程序(可以在其中使用虚拟对象或相关补充信息来增强现实世界物理对象或视图的应用程序)和/或虚拟现实应用程序(用户可以在其中穿越虚拟环境的应用程序)，在两者中视频数据都是可以捕获和操纵的，越来越成为开发和商业化的焦点。对于至少一些应用程序，可以在除视频捕获设备本身之外的设备处处理表示环境的视频数据。也就是说，视频数据可能必须通过网络路径(诸如无线链路)传输，该网络路径可能相对于原始视频数据的捕获速率具有相对较低的带宽容量。取决于应用程序的视频保真度要求，在受限的网络路径上管理视频数据流，同时保持用户对应用程序的高度满意可能存在不小的技术挑战。

发明内容

本公开描述了用于视频数据的基于注视方向的预滤波的方法和装置的各种实施方案。在至少一些实施方案中，滤波技术可以利用以下事实：人类视觉系统中的视敏度或感知精度通常作为远离注视的中心方向的角距离的函数而减小-与使用视网膜的远离中心定位的区域(称为中央凹)的部分所感测的场景部分相比，使用视网膜的中央凹所感测的可见场景部分通常被认为具有更高的清晰度。考虑到这种生物现象，在各种实施方案中，可以使用可配置的多层低通滤波器对要在网络上传输的视频数据进行预滤波(压缩之前)，其中相对于关于注视方向的内部或中心区域，以较低的分辨率设置对可见场景的外部或外围区域进行滤波，从而有助于减少必须通过网络传输的数据总量。

根据至少一个实施方案，一种方法可以包括例如使用指向个体的眼睛的头戴式设备(诸如头戴式耳机或头盔)的一个或多个传感器来跟踪该个体的注视方向。该方法可包括使用多层低通滤波器来对表示个体的环境的至少一部分的视频数据的一个或多个帧进行滤波。在各种实施方案中，被滤波的视频数据的给定帧可以包括一个或多个物理对象和/或虚拟对象(例如，由虚拟现实或增强现实应用程序生成的对象)的表示。在各种实施方案中，滤波器可以包括至少两层：第一层，其具有用于给定视频数据帧的第一子集的第一滤波分辨率设置；以及第二层，其具有用于给定帧的第二子集的第二滤波分辨率设置。在各种实施方案中，可以基于个体注视的方向来动态地选择使用相应的滤波器层滤波的任何给定帧的部分。例如，相对于给定帧，该帧的第一子集(对应于具有最高分辨率的滤波器层)可以包括位于与注视的中心方向对应的区域中的数据元素，而该帧的第二子集(对应于具有较低分辨率设置的滤波器层)可以对应于围绕第一子集的区域。在一些实施方案中，在使用多层低通滤波器滤波诸如帧的给定视频数据集之后，可以压缩该数据并将其经由网络传输到视频处理引擎。

在至少一个实施方案中，视频处理引擎可以被配置为生成环境的修改的视觉表示-例如，通过用虚拟对象或关于可见的现实对象的补充信息来增强原始查看的场景，并将修改版本发送给个体查看。在各种实施方案中，当个体与可见环境互动(在一些实施方案中可以包括现实对象和虚拟对象的混合，并且可以称为混合现实环境)时，个体注视的方向可以从一组显示/可见帧改变成另一组。在此类实施方案中，可以确定个体注视的修改方向，并且随着注视方向改变，可以选择视频帧的不同子集来使用各个层进行处理。也就是说，如果将使用滤波器的特定层进行滤波的给定帧的子集与不同帧的子集(在个体改变了注视方向之后)进行比较，则第二子集在其帧内的相对位置可以与第一子集不同。

在各种实施方案中，注视的跟踪、视频数据的预滤波以及滤波器结果的压缩都可以在可穿戴设备的部件(例如，使用传感器与其他硬件和软件的组合)处执行，诸如混合现实应用程序环境或系统或虚拟现实应用程序或系统的头戴式显示器(HMD)。例如，可以使用可穿戴设备经由诸如无线或有线连接之类的网络路径与之通信的基站来执行视频处理。

在至少一些实施方案中，可以使用混合技术来处理给定帧或一组视频数据中位于不同层的边界处或附近的部分。例如，在一个实施方案中，可以识别与对应于第一滤波层的帧的第一子集和对应于第二滤波层的帧的第二子集之间的边界区域对应的数据元素的混合目标集。在一些实施方案中，可以将滤波器的两个层分别应用于混合目标集，并且可以使用使两个区域之间的过渡平滑的混合函数来组合这两个层的滤波器输出，从而降低了在处理后可能在视频中生成难看的视觉伪影的概率。

在不同的实施方案中，使用不同的滤波器层处理的区域的形状可以不同。例如，在一个实施方案中，给定区域或帧子集的外周边可以包括圆形、椭圆形、诸如正方形或矩形的多边形或任何其他规则或不规则的期望形状。在至少一些实施方案中，与不同滤波器层对应的帧的子集可以是大致或大约同心的，但是不同子集的周边不需要具有相同的形状。例如，中心或最高分辨率子集可以是大致圆形的，周围的第二层子集可以具有椭圆形的外周边，而围绕第二层的第三层子集可以具有矩形的外周边。

在不同实施方案中，可以至少部分地基于来自一个或多个个体的反馈来选择用于预滤波的多个参数的值。此类参数可以包括，例如，多层低通滤波器中的层数，要使用多层低通滤波器的特定层进行滤波的帧的子集的大小或多层低通滤波器的特定层的滤波分辨率设置。在一些实施方案中，可以分析用户研究的结果以确定参数的默认设置，而至少一些设置可以与默认值不同，并且基于从使用在其处执行滤波的可穿戴设备的特定个体接收的反馈定制。在一些实施方案中，可响应于来自穿戴设备的个体的请求而重新校准可穿戴设备的滤波相关参数。在一个实施方案中，例如，响应于检测到个体的注视被定向在非预期的方向上一段时间，可以自动修改一个或多个设置，而不是需要重新校准过程以改变参数设置。

根据一个实施方案，一种系统可以包括一个或多个处理器、一个或多个传感器以及一个或多个存储器。存储器可以存储程序指令，该程序指令在一个或多个处理器上执行时可以实现一种方法，该方法包括使用多层低通滤波器对视频数据进行滤波。滤波器的第一层的分辨率设置可以不同于第二层；例如，第一层可以具有比第二层更高的分辨率设置，并且可用于处理最靠近个体注视的中心方向的帧的元素，而第二层用于围绕使用第一层处理的子集的帧的一部分。在各种实施方案中，可以使用一个或多个传感器来动态地检测和跟踪注视的方向。在各种实施方案中，多层滤波器的输出可以被压缩并传输到视频处理引擎。

根据另一实施方案，一种非暂态计算机可访问存储介质可以存储程序指令。当在一个或多个处理器上执行时，致使程序指令可使一个或多个处理器执行一种方法，该方法包括使用多层低通滤波器对视频数据进行滤波。滤波器的第一层的分辨率设置可以不同于第二层；例如，第一层可以具有比第二层更高的分辨率设置，并且可用于处理最靠近个体注视的中心方向的帧的元素，而第二层用于围绕使用第一层处理的子集的帧的一部分。在各种实施方案中，多层滤波器的输出可以被压缩并传输到视频处理引擎。

附图说明

图1示出了根据至少一些实施方案的示例性系统环境，其中在可穿戴设备处捕获的视频数据可以使用多层低通滤波器进行预滤波，并在传输至处理引擎之前进行压缩。

图2示出了根据至少一些实施方案的工作流的概述，其中在对视频数据进行分析之前在可穿戴设备处对其进行预滤波和压缩。

图3示出了根据至少一些实施方案的三层低通滤波器的示例，该三层低通滤波器的设计考虑了随着距中央凹的角距离人眼视敏度的下降。

图4示出了根据至少一些实施方案的可以将多层低通滤波器的滤波函数应用于其的视频数据帧的子集的示例。

图5示出了根据至少一些实施方案的可以用于预滤波视频数据的滤波函数的示例性形状。

图6示出了根据至少一些实施方案的用于视频数据的多层低通滤波系统的参数的示例。

图7是示出根据至少一些实施方案的可以被执行以在压缩和传输数据之前使用多层低通滤波器对视频数据进行预滤波的操作的各方面的流程图。

图8是示出根据至少一些实施方案的可以被执行以设置用于预滤波视频数据的参数设置的初始值并且稍后进行动态修改的操作的各方面的流程图。

图9是根据至少一些实施方案的其中可以执行视频数据的预滤波的混合现实系统的框图。

图10是示出了可在至少一些实施方案中使用的示例性计算设备的框图。

尽管本文通过举例的方式针对若干实施方案和说明性附图描述了实施方案，但是本领域技术人员将认识到，实施方案不限于所描述的实施方案或附图。应当理解，附图和对其的详细描述不旨在将实施方案限制为所公开的特定形式，而相反，本发明旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书或权利要求书的范围。如在整个本专利申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用字词“可”。类似地，字词“包括”意味着包括但不限于。在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。

具体实施方式

图1示出了根据至少一些实施方案的示例性系统环境，其中在可穿戴设备处捕获的视频数据可以使用多层低通滤波器进行预滤波，并在传输至处理引擎之前进行压缩。在所描绘的实施方案中，系统100可以包括混合现实应用程序的各种部件。值得注意的是，尽管混合现实应用程序表示其中使用多层低通滤波器的预滤波可用于视频数据的场景类型的一个示例，在不同的实施方案中，类似的预滤波技术可以同样成功地应用于多种其他应用程序。即，混合现实系统不是使用多层预滤波的必要条件。

在各种实施方案中，混合现实(MR)系统可以将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强个体的世界视图或向其添加内容，或者另选地可以将现实世界对象的表示与计算机生成的三维(3D)虚拟世界的视图相结合。在一些实施方案中，MR应用程序或系统的部件可以例如包括可以由个体或用户190佩戴的头戴式设备HMD 102(诸如头戴式耳机、头盔、护目镜或眼镜)和基站160。基站160可以包括处理引擎184，该处理引擎184被配置为渲染包括虚拟内容110的混合现实帧以供HMD 102显示。HMD102和基站160可各自包括无线通信技术，该无线通信技术允许HMD 102和基站160经由无线连接180来传达和交换数据。

在所描绘的实施方案中，可以使用世界传感器140(其可以包括例如图像传感器、摄像机等)来捕获表示个体190的环境的至少一些部分(可以包括现实对象和虚拟对象)的视频数据。在一些实施方案中，环境的虚拟对象可以例如由VR(虚拟现实)、AR(增强现实)或MR(混合现实)应用程序生成。可以采用一个或多个用户传感器150，诸如注视跟踪传感器，来监视个体190的行为和运动的各个方面；例如，可以使用针对个体眼睛的传感器跟踪个体的视线或注视125。如下面进一步详细讨论的，人眼的视敏度或分辨能力可以随被观察对象相对于注视125的中心轴或方向的角距离而变化，并且在所描绘的实施方案中，利用这种视敏度的变化的技术可用于对在HMD处捕获的视频进行预滤波。例如，可以使用HMD的部件187将多层低通滤波算法应用于由一个或多个世界传感器140捕获的原始视频帧。多层低通滤波器可以包括多个层，该多个层包括至少第一层，该第一层用于以高分辨率设置来滤波表示靠近注视的中心方向的对象的视频数据元素(例如，像素)，以及第二层，该第二层用于以较低分辨率设置来滤波表示进一步远离注视的中心方向的对象的视频数据元素。由于人的视敏度会随着距注视的中心轴的角距离的增加而降低，因此对较宽角度处的对象使用较低的分辨率设置可能导致很少或没有察觉到的失真(如果/当要查看视频帧数据的滤波版本，或者要查看视频帧的滤波版本的增强版本时)。

然后，在各种实施方案中，可以在后续步骤中压缩视频数据的滤波版本，然后经由无线连接180将其传输到基站160上进行处理。在所描绘的实施方案中，一个或多个硬件和/或软件部件187可以被结合在HMD 102内以实现预滤波和压缩算法。基站160处的处理引擎184可以例如分析所接收的视频数据的经滤波和压缩的版本182，以各种方式对其进行加强以增强个体环境的表示，并将环境的修改版本的表示作为增强渲染183发送回给HMD 102用于向个体显示。在一些实施方案中，如下所述，可以采用多层预滤波。作为使用多层滤波技术与压缩结合的结果，在各种实施方案中，可以减少渲染环境的高质量表示所需的网络带宽量。

在一些实施方案中，除了视频之外，世界传感器140还可以收集关于用户190的环境的附加信息(例如，深度信息、照明信息等)。类似地，在一些实施方案中，用户传感器150可以收集关于个体190的附加信息，诸如表情、手势、面部姿势、头部运动等。在一个实施方案中，除了对视频数据使用预滤波和压缩技术之外，HMD 102还可以将由传感器140和150收集的其他(非视频)信息中的至少一些发送到基站160，例如，不必一定先应用滤波算法再进行压缩。在一些实施方案中，基站160的处理引擎184可以至少部分地基于从传感器140和150获得的各种信息来渲染包括虚拟内容110的由HMD 102显示的帧183，并且可以在将帧发送回HMD 102之前压缩帧。

3D虚拟视图104可以包括三维空间(3D)，该三维空间包括在使用图1的混合现实系统时个体190看到的不同深度处的虚拟内容110。在一些实施方案中，在3D虚拟视图104中，虚拟内容110可在相对于由HMD 102提供的用户的当前视线的个体190的环境的视图中进行覆盖或复合。在不同的实施方案中，HMD 102可以实现各种类型的虚拟现实投影技术中的任一种。例如，HMD 102可以实现近眼VR技术，该近眼VR技术在个体190的眼睛前面的屏幕上显示左图像和右图像(该左图像和右图像由受试者查看)，诸如使用DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术VR系统的技术。作为另一示例，HMD 102可以包括直接视网膜投影仪系统，该直接视网膜投影仪系统逐像素地将左图像和右图像扫描到受试者的眼睛。为扫描图像，左投影仪和右投影仪可以生成光束，该光束被引导到位于个体190的眼睛的前面的左反射部件和右反射部件(例如，椭球反射镜)；反射部件可以将光束反射到眼睛。为了创建三维(3D)效果，3D虚拟视图104中的不同深度或距离处的虚拟内容110可以在两个图像中作为距离的三角测量的函数向左或向右移位，其中较近的对象比较远的对象移位得更多。

虽然未在图1中示出，但是，在一些实施方案中，混合现实系统可以包括一个或多个其他部件。例如，系统可包括光标控制设备(例如，鼠标或触控板)，以用于在3D虚拟视图104中移动虚拟光标以与虚拟内容110进行交互。在一些实施方案中，3D视图104中可包括其他类型的虚拟设备，诸如虚拟键盘、按钮、旋钮等。虽然图1示出了单个个体190和HMD 102，但在一些实施方案中，混合现实环境可以支持多个HMD 102同时与基站160通信，以使多个个体190在协同定位的环境中同时使用该系统。如上所述，在一些实施方案中，使用多层低通滤波器的预滤波技术可用于除混合现实应用程序之外或与之无关的应用程序。例如，在一个实施方案中，此类技术可以用于涉及视频分析的安全相关应用程序或医疗/外科应用程序中。

图2示出了根据至少一些实施方案的工作流的概述，其中在对视频数据进行分析之前在可穿戴设备处对其进行预滤波和压缩。在所描绘的实施方案中，可以以一系列视频帧203的形式捕获个体环境的可见或渲染部分201。可以使用称为中央凹的或基于注视的预滤波205的技术来变换视频帧数据，这将在下面进一步详细描述。中央凹是视网膜的视敏度最高的区域，术语“中央凹的”可应用于所采用的预滤波算法，因为该算法被设计成基于利用随着距离中央凹的角距离视敏度下降来降低网络带宽使用。在各种实施方案中可以使用术语预滤波，因为在此类实施方案中，可以在压缩207和传输之前执行视频帧数据的滤波。

在所描绘的实施方案中，视频数据帧的经滤波的版本可以经由网络209被发送到处理引擎211(例如，在混合现实系统的基站处)。在一些实施方案中，可以采用无线网络，而在其他实施方案中，可以使用一个或多个有线链路。在至少一些实施方案中，处理引擎211可以在地理上与在其处捕获、预先滤波和压缩视频数据的设备相距遥远-例如，在一个极端的示例中，数据可以在外太空中的飞行器处捕获并在地球上(或在外太空中的其他飞行器或站处)进行处理。在其他实施方案中，处理引擎211可以位于非常靠近在其处捕获、滤波和压缩视频数据的可穿戴设备250的位置-例如，处理引擎可以包括一个或多个芯片，这些芯片附接到使用在其处捕获视频的可穿戴设备的个体携带的衣服或背包。在所接收的数据已经被处理之后，在各种实施方案中，表示环境的修改或增强版本的数据集可以经由网络209被发送回可穿戴设备250，并且被显示/渲染给个体。应当注意，在各种实施方案中，可以为相应的个体定制预滤波算法的一个或多个参数，如下面进一步详细讨论的，这使得能够优化关于使用视频数据实现的应用程序的用户体验。

图3示出了根据至少一些实施方案的三层低通滤波器的示例，该三层低通滤波器的设计考虑了随着距中央凹的角距离人眼视敏度的下降。在曲线图301中，示出了远离中央凹的角距离对视敏度的影响的表示。要注意的是，提供曲线图301主要是为了说明随着距中央凹的距离降低的视敏度的概念，而并非旨在提供距离和视敏度之间的精确(甚至近似)数学关系。

沿着曲线图301的X轴302，远离中心定位的中央凹的视网膜上的偏心度或角距离从左向右增加，并以度数表示。沿着Y轴304，视网膜分辨能力的指标(即，感知对象的精度或精细度)从底部到顶部增加。单位“像素/度”用于表示曲线图301中的分辨能力。如图所示，对于位于距中央凹的短角距离内的对象(从原点沿X方向的位移最小)，可获得最高分辨率的视图(从原点沿Y方向的位移最大)。如视敏度曲线321所示，分辨率随角距离的增加而降低可以为非线性的。值得注意的是，基于解剖、生理和神经系统功能的差异，对于不同的个体，随着角距离的分辨率下降可能有所不同，并且在如下所述的至少一些实施方案中定制预滤波参数时，可以考虑此类人对人的变化。

在所描绘的实施方案中，考虑到视敏度的下降，可以设计三层低通滤波器，以帮助减少在收集视频数据的可穿戴设备与处理视频数据的处理引擎之间必须传输的视频数据量，同时将视频的感知质量保持在高水平。表示271示出了滤波器设计的层与视敏度曲线之间的关系。在所描绘的实施方案中，第一高分辨率低通滤波器层351(例如，具有滤波器的最大分辨率的1倍)可用于最靠近个体的跟踪注视的中心轴的视觉元素。在所描绘的实施方案中，在滤波器的第一层的输出中每度视觉图像的像素数(在所示示例中约为40PPD)可以是三层中最高的。

与对应于层351的对象相比，用于距注视中心方向略远的对象的第二滤波器层352的分辨率可以被设置为层351的分辨率的一半。最后，在所描绘的实施方案中，用于比由滤波器层352覆盖的对象进一步远离中心方向的对象的第三滤波器层353的分辨率可以被设置为最大分辨率的四分之一。在各种实施方案中，可以至少部分地基于估计的或近似的视敏度曲线321来设置滤波器层之间的边界(即，使用针对三个层的相应滤波器函数处理的输入帧数据的子集)。由于人眼的固有局限性，在各种实施方案中，第二滤波器层和第三滤波器层的分辨率降低的感知影响可以忽略不计。如下面进一步详细讨论的，在至少一些实施方案中，可以基于来自可穿戴设备的用户组的反馈来近似视敏度曲线。在各种实施方案中，预滤波设计的目标可以包括避免引入可感知的伪影或现象诸如闪烁，并且考虑到这样的目标，可以选择和/或动态地调整各种参数，诸如滤波器层的数量、层的形状等等。尽管在图3中示出了三层滤波器，但是在不同的实施方案中，层数可以小于或大于三。

图4示出了根据至少一些实施方案的可以将多层低通滤波器的滤波函数应用于其的视频数据帧的子集的示例。在所描绘的示例性场景中示出了视频帧402可以被逻辑细分用于滤波的各个子集。在所示的示例中，假定个体的注视位于中央凹区域405的中心(如前所述，在至少一些实施方案中，注视跟踪传感器可用于识别中央凹区域)。形状大致为圆形的全分辨率像素子集411可以围绕中央凹区域405；在所描绘的实施方案中，该组像素可以通过滤波器的三层中的第一层。可以使用滤波器的第二层来对相对于像素子集411同心或近似同心以及因此围绕像素子集411的半分辨率像素子集431进行滤波。在所描绘的实施方案中，在图4中标记为子集451的帧的其余部分可以对应于具有最大分辨率滤波器层的四分之一分辨率设置的第三滤波层。在一些实施方案中，四分之一分辨率子集451的几何中心也可以与其他两个子集的中心大致相同。然而，如图4所示，子集的形状可以彼此不同(例如，子集451的周边是大致矩形的，而其他两个子集是大致圆形或环形的)。在各种实施方案中，可以将任何期望的几何形状用于多层低通滤波器的不同层-例如，在一些实施方案中，对于一个或多个滤波器，可以使用椭圆/椭圆形代替圆形。在一些实施方案中，不是所有的像素子集可以必须共享相同的几何中心。在一个实施方案中，所选择的形状可以考虑眼睛的各向异性(例如，沿着视图或场景的X轴和Y轴的人类视觉性能的差异)。在图4所示的实施方案中，如果/当个体改变了注视方向(例如，通过向左或向右移动注视)时，对应于不同层的帧的子集也可以相对于帧的边界移动-例如，子集411和431的中心可以向左或向右移动。

在至少一些实施方案中，可以针对靠近与滤波器的不同层对应的帧子集之间的边界的像素或数据元素采用混合方法。例如，在所描绘的实施方案中，可以将两个滤波函数应用于混合区域416A内的数据，并且根据示例462中指示的混合函数，可以将从两个滤波函数获得的结果进行组合或聚合(例如，使用加权求和)。考虑一种情况，其中将滤波函数FF1、FF2和FF3分别用于与子集411、431和451对应的三个滤波层。FF1和FF2都可以应用于混合区域416A中的数据，然后可以使用距离加权函数对该区域的滤波结果进行组合。为最靠近区域411的数据元素的FF1结果分配的权重可以为最高，如曲线465所示，其中随着距“纯”(非混合)水平1区域的边缘467的距离增加FF1结果权重下降。相比之下，为最靠近中央凹的FF1结果分配的权重可以最低，并且随着到纯(非混合)区域431的距离减小而逐渐增加，如曲线466所示。在所描绘的实施方案中，可以在滤波子集431(滤波器的层2)和451(滤波器的层3)之间的边界处对混合区域416B执行类似的计算。在不同的实施方案中，混合层的宽度464以及所应用的加权混合函数462的细节可以不同。在一些实施方案中，诸如416A和416B的混合区域的数据元素或像素可以被称为混合目标集。

在不同的实施方案中，多个滤波函数中的任一者都可以用于多通滤波器的各个层处的低通滤波。图5示出了根据至少一些实施方案的可以用于预滤波视频数据的滤波函数的示例性形状。在所描绘的实施方案中，可以在一层或多层处采用类似于或基于sinc(正弦基数)函数的函数502(例如，sin(x)/x或sin(πx)/(πx))。如图所示，应用于像素内容的权重沿曲线图的Y轴增加，而距滤波窗口中心的距离沿X轴增加。在各种实施方案中，使用此类函数，结合为滤波窗口(像素或视频数据元素集，被视为滤波函数的输入单元)和色彩空间(线性或伽玛YUV)选择适当的设置，可以帮助降低将可感知的不需要的伪影引入到经处理的视频中的可能性。在各种实施方案中，在视频数据已经被预滤波之后，如前所述，它可以在传输到处理引擎之前被压缩。可以在不同的实施方案中使用各种压缩算法中的任一种，诸如高效视频编码(HEVC)(也称为H.265)或MPEG-4第10部分、高级视频编码(MPEG-4AVC)(也称为H.264)等。

在一些实施方案中，可以相对于以上讨论的预滤波技术来选择和/或调整多个参数的值。图6示出了根据至少一些实施方案的用于视频数据的多层低通滤波系统的参数的示例。多层低通滤波器的示例性参数601，在各种实施方案中至少其中一些可以动态修改，可以包括层数605、对应于各个层的帧子集的相对大小610、帧子集的形状615、各个层的分辨率设置620、与各种层对相关联的混合参数625和/或参数修改触发器630。

在不同的实施方案中，如前所述，低通滤波器的层数605可以变化。在一些实施方案中，更大的层数可以使得更近似人眼的视敏度曲线，由于增加了滤波器结果的总混合量，因此潜在的代价是计算成本更高。在各种实施方案中，由相应层处理的视频数据的子集或区域的相对大小610可以影响被传输的经过滤和压缩的数据大小的减少。例如，最高分辨率子集越大，平均必须传输的数据量就越大。当然，实现的压缩量也可以是所查看场景的性质的函数-例如，如果场景主要由天空组成，并且对象很少，则无论滤波细节如何，大部分场景都可以压缩。

在各种实施方案中，可以选择与滤波器层对应的数据子集的不同形状615。诸如圆形、同心环、矩形、其他多边形、椭圆形等形状的任何组合可以用于不同的层。在一些实施方案中，眼睛的各向异性可以用来确定形状。在至少一些实施方案中，多个形状615可以是(至少近似)同心的，例如，第二层可以围绕第一层，第三层可以围绕第二层，依此类推。

在不同的实施方案中，不同层的相对分辨率设置可以变化。在一个实施方案中，可以设置分辨率的2的幂差值。例如，第二层的分辨率为第一层的0.5倍，第三层的分辨率为第二层的0.5倍，依此类推。在一些实施方案中，可以使用其他分辨率降低比率–例如，第二层的分辨率可以设置为第一层的0.67倍，第三层的分辨率可以设置为第二层的0.5倍，第四层的分辨率可以设置为第三层的0.33倍，依此类推。

在各种实施方案中，对于一对或多对相邻的滤波器层，混合参数625可以控制要在其中执行滤波器输出的混合的区域的宽度、要使用的混合函数的细节等等。在一些实施方案中，可以使用对称或比例混合权重，其中随着分配给一个层的滤波器输出的权重减小，用于另一层的输出的权重成比例地增大。在其他实施方案中，可以使用不对称的权重。

在至少一些实施方案中，可以基于一个或多个触发条件630来修改一个或多个参数，诸如层数、它们的相对大小、形状、分辨率设置或混合参数。例如，在一些实施方案中，可以通过涉及用户研究的相对较大规模的实验来选择一组默认的参数值，在该实验中，可以从众多个体获得关于他们对不同类型视频内容的相应视敏度的反馈、用各种建议的参数设置实现用户满意度等等。随后，在将装备有多层滤波能力的可穿戴设备已经部署用于生产或实际使用后，仍可以基于一种或多种类型的触发条件将更改应用于一些或全部参数设置。例如，在一些实施方案中，对当前设置不满意的个体可以提交重新校准请求或命令，并且在一些实施方案中，可以发起重新校准反馈会话以将设置调整为个体的偏好。在另一个实施方案中，可穿戴设备可以包括被配置为相对于在给定提供给用户的视图内容的情况下的预期的眼睛运动集来跟踪用户的眼睛运动的部件。如果，例如，个体注视的方向相对于预期方向在一定时间间隔内始终不同，这可能表明当前的滤波设置对于用户而言不是最佳的，并且可以相应地自动调整一个或多个参数值。触发条件本身可以被认为是元参数，在一些实施方案中，如果需要的话，也可以对其进行调整。

图7是示出根据至少一些实施方案的可以被执行以在压缩和传输数据之前使用多层低通滤波器对视频数据进行预滤波的操作的各方面的流程图。如元素701中所示，可以例如使用由个体佩戴的可穿戴设备(诸如混合现实系统的HMD)的面向用户的传感器组来跟踪个体注视的中心方向。可穿戴设备可以包括一个或多个硬件和/或软件部件，在所描绘的实施方案中，它们可以共同实现可配置的多层预滤波算法。

在所描绘的实施方案中，例如，可以使用可穿戴设备的另一组向外指向的传感器来捕获包括表示个体环境的至少一部分的视频帧的一系列数据(元素704)。在不同的实施方案中，环境可以包括现实世界对象和/或虚拟对象；例如，对于个体而言显而易见的一些对象可以是由于在应用程序或处理引擎处执行的计算而渲染的虚拟对象。

基于预滤波算法的当前参数设置，在所描绘的实施方案中，可以对视频帧数据进行滤波(元素707)。给定帧的相应子集可以使用不同层的相应滤波器函数来识别和处理，例如，如先前所讨论的，在层之间的边界区域处应用混合函数。在至少一些实施方案中，相对于给定帧而言，更靠近个体注视的中心方向的滤波器层的分辨率设置可以高于进一步远离中心方向的滤波器层的分辨率设置，从而近似人眼的视敏度的下降。帧数据的滤波版本可例如使用任何适当的压缩算法来压缩(元素710)，诸如高效视频编码(HEVC)(也称为H.265)，或MPEG-4第10部分、高级视频编码(MPEG-4AVC)(也称为H.264)等。

在所描绘的实施方案中，预滤波的视频帧数据的压缩表示的至少一部分可以经由网络(例如，无线或有线链路)被发送到处理引擎(元素713)。在至少一些实施方案中，处理引擎可以被配置为生成视频数据的修改或增强版本。在各种实施方案中，修改/增强版本可以在可穿戴设备处接收(元素716)并显示给个体。在各种实施方案中，该下一个显示数据集，以及个体注视方向的变化(如果有)，可以继而由面向外部或面向世界的传感器捕获，开始基于注视方向的预滤波、压缩、传输和修改的另一迭代，如从元素716到元素701的箭头所示。

图8是示出根据至少一些实施方案的可以被执行以设置用于预滤波视频数据的参数设置的初始值并且稍后进行动态修改的操作的各方面的流程图。如元素801所示，可以在所描绘的实施方案中进行一个或多个用户研究。在给定的用户研究中，可以将一个或多个选定类型的视频内容(例如，在多用户游戏中可能会发生快速变化的场景，而在正常的日常交互和活动中可能会发生变化较慢的场景)显示给一组个体，可以跟踪个体的注视方向(与中央凹视力的中心相关联)，并且可以要求个体提供关于视频的哪些部分以最高的清晰度或分辨率可见的反馈。如果有足够大的个体组参加用户研究，则可以针对各种类型的内容获得视敏度作为距注视中心的角距离的函数而变化的程度的代表性样本，以考虑个体之间的生物差异。通过对用户研究结果的分析，例如，有可能确定相对于中央凹的角距离的视敏度的中值下降，以及百分位数(诸如表示25％的人口、75％的人口、90％的人口等的相应的视敏度下降)。

如元素804中所示，在至少一些实施方案中，可以使用用户研究的结果来确定用于多层低通预滤波参数的初始/默认设置。该设置可以例如包括用于在图6的上下文中讨论的一个或多个参数的值，诸如层数、它们各自的分辨率和形状等。在不同的实施方案中，可以考虑许多因素来选择用于预滤波的设置。例如，关于用户研究结果的人口覆盖政策(保守与积极)可能影响初始/默认设置。在实施保守政策的情况下，可以选择设置以例如使用具有最大分辨率的较大的第一滤波器层覆盖较大百分比(例如，75％或90％)的预期用户人口的视觉能力。相比之下，如果使用积极政策，则可以选择设置以例如使用稍微较小的最大分辨率层覆盖50％或60％的用户。在一些实施方案中，可以考虑因素诸如要执行预滤波和压缩的可穿戴设备与分析/增强数据的处理引擎之间的预期带宽、期望将显示给佩戴该设备的个体的内容类型、与滤波相关联的成本(例如，每层计算成本、功耗成本等)等。

在一些实施方案中，可以将预滤波参数设置为初始值或默认值的一组可穿戴设备和相关联的处理引擎部署用于生产用途(元素807)。在至少一个实施方案中，可以在初始部署(元素810)之后基于各种触发条件来动态地调整一个或多个参数。例如，在一些实施方案中，如果使用可穿戴设备的个体不喜欢该设置或对该设置不满意(例如，如果用户感到他们的视场不够清晰)，则该个体可以请求重新校准操作。在此类重新校准中，个体可以参加一个或多个反馈会话，在该会话中向个体显示视频，并要求个体指示视频的哪些部分最清晰。在一些重新校准中，可以在个体与系统交互时修改预滤波的一个或多个参数，并且可以选择个体感到最自在的参数设置作为用于个体的定制设置。在至少一些实施方案中，代替使用重新校准会话本身，可以分析个体的眼睛运动(和/或其他行为)，以确定该个体的注视是否指向在视图/场景上预期将注视聚焦于其上的部分上。如果个体的注视行为不是预期的，则这可能指示应调整预滤波参数设置，并且在此类实施方案中可以相应地修改设置。在一个实施方案中，可以分析正在查看的内容的类型，以确定与从中可以确定默认参数设置的用户研究中显示的内容类型相似的程度，并且如果内容类型有明显差异，则可以相应地调整设置。例如，如果在一些实施方案中，与默认设置所使用的视频相比，所查看的场景通常包含较少的对比对象，滤波器的最高分辨率层的大小可以相对于其他层减小。

需注意，在各种实施方案中，除图8和图9的流程图中所示的那些操作之外的至少一些操作可用于实现上述用于视频数据的自适应预滤波技术。所示的一些操作可能在一些实施方案中不实现，或者可以不同的顺序实现，或者并行实现而不是顺序实现。

图9是根据至少一些实施方案的其中可以执行视频数据的预滤波的混合现实系统的框图。在一些实施方案中，混合现实系统可以包括头戴式设备(HMD)900，诸如头戴式耳机、头盔、护目镜或眼镜，以及基站960(例如，计算系统、游戏机等)。

HMD 900可包括可实现各种类型的虚拟现实投影仪技术中的任一种的显示器902部件或子系统。例如，HMD 900可包括近眼VR投影仪，该近眼VR投影仪显示包括由用户查看的屏幕上的左图像和右图像的帧，诸如DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术投影仪。作为另一示例，HMD 900可包括直接视网膜投影仪，该直接视网膜投影仪经由反射表面(例如，反射眼镜镜片)将包括左图像和右图像的帧逐像素地直接扫描到用户的眼睛。为了创建三维(3D)效果，两个图像中不同深度或距离的对象可以作为距离的三角测量的函数向左或向右移位，其中较近的对象比较远的对象移位得更多。

HMD 900还可包括控制器904，该控制器904被配置为实现如本文所述的混合现实系统的HMD侧功能。在一些实施方案中，HMD 900还可包括存储器930，该存储器930被配置为存储可由控制器904执行的混合现实系统的HMD部件的软件(代码932)以及在控制器904上执行时可由代码932使用的数据934。在所描绘的实施方案中，代码932可以包括用于实现先前所述类型的多层低通滤波(LPF)算法和/或压缩算法的指令，而数据934可以包括与滤波有关的参数设置的值(诸如关于图6所讨论的那些)。

在各种实施方案中，控制器904可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一个合适数量)的多处理器系统。控制器904可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器904可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器904可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器904可以包括用于实现微编码技术的电路。控制器904可包括各自被配置为执行指令的一个或多个处理核心。控制器904可包括一个或多个级别的高速缓存，其可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器904可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器904可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/解码器(编解码器)等。在一些实施方案中，控制器904可包括至少一个片上系统(SOC)。

存储器930可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。

在一些实施方案中，HMD 900可包括至少一个惯性测量单元(IMU)906，该惯性测量单元(IMU)906被配置为检测HMD 900或其子部件的位置、取向和/或运动并向HMD 900的控制器904提供检测到的位置、取向和/或运动数据。

在一些实施方案中，HMD 900可以包括收集有关用户环境的信息(视频、深度信息、照明信息等)的世界传感器920以及收集有关佩戴HMD的个体的信息(例如，个体的表情、眼睛移动、手势等)的用户传感器922。传感器920和922可向HMD 900的控制器904提供收集的信息。传感器920和922可包括但不限于可见光相机(例如，摄像机)、红外(IR)相机、具有IR照明源的IR相机、光检测和测距(LIDAR)发射器和接收器/检测器，以及具有激光发射器和接收器/检测器的基于激光的传感器。

HMD 900还可包括被配置为经由无线连接与外部基站960通信以将传感器衍生数据发送至基站960并从基站960接收压缩的渲染帧或切片的一个或多个无线技术接口908。在一些实施方案中，无线技术接口908可实现在HMD 900和基站960之间提供高度定向无线链路的专有无线通信技术(例如，60千兆赫(GHz)无线技术)。然而，在一些实施方案中，可使用其他商业(例如，Wi-Fi、蓝牙等)或专有无线通信技术。在一个实施方案中，HMD与基站之间的通信可以通过有线而不是无线链路或除无线链路之外进行。

基站960可为或可包括任何类型的计算系统或计算设备，诸如台式计算机、笔记本或膝上型计算机、平板或平板设备、智能电话、手持式计算设备、游戏控制器、游戏系统等等。基站960可包括处理引擎控制器962，该处理引擎控制器962包括被配置为实现如本文所述的混合现实系统的基站侧功能的一个或多个处理器。基站960还可包括存储器964，该存储器964被配置为存储可由控制器962执行的混合现实系统的基站部件的软件(代码966)以及在控制器962上执行时可由代码966使用的数据968。

在各种实施方案中，处理引擎控制器962可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一个合适数量)的多处理器系统。控制器962可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器962可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器962可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器962可以包括用于实现微编码技术的电路。控制器962可以包括各自被配置为执行指令的一个或多个处理核心。控制器962可包括一个或多个级别的高速缓存，其可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器962可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器962可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/解码器(编解码器)等。在一些实施方案中，控制器962可包括至少一个片上系统(SOC)。

存储器964可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。

基站960还可包括被配置为经由无线连接与HMD 900通信以从HMD 900接收传感器输入并将压缩的渲染帧或切片从基站960发送至HMD 900的一个或多个无线技术接口970。在一些实施方案中，无线技术接口970可实现在HMD 900和基站960之间提供高度定向无线链路的专有无线通信技术(例如，60千兆赫(GHz)无线技术)。在一些实施方案中，无线通信技术的定向性和带宽(例如，60GHz)可支持同时与基站960通信的多个HMD 900，从而使得多个用户能够同时在协同定位的环境中使用该系统。然而，在一些实施方案中，可使用其他商业(例如，Wi-Fi、蓝牙等)或专有无线通信技术。

基站960可以被配置为至少部分地基于在对经由世界传感器920和/或用户传感器922输入收集的视频数据进行预滤波和压缩之后接收到的输入，来渲染帧并将帧发送到HMD900，以为个体提供3D虚拟(和可能增强的)视图。虚拟视图可包括渲染个体的环境，包括基于由一个或多个场景相机(例如，RGB(可见光)摄像机)捕获的视频来渲染用户的环境中的现实对象912，该一个或多个场景相机实时捕获用户的环境的高质量、高分辨率视频以用于显示。在一些实施方案中，虚拟视图还可包括由基站960渲染并与个体现实环境的投影3D视图复合的虚拟内容(例如，虚拟对象914、用于现实对象912的虚拟标签915、个体的化身等)。

在至少一些实施方案中，实现上述视频预滤波和相关处理技术(例如，包括用于增强/增强视频的技术)中的一者或多者的一部分或全部的服务器可以包括通用计算机系统，该通用计算机系统包括或被配置为访问一种或多种计算机可访问媒体。图10示出了此类通用计算设备9000。在例示的实施方案中，计算设备9000包括经由输入/输出(I/O)接口9030耦合到主存储器9020(其可以包括非易失性和易失性存储器模块，也可以称为系统存储器)的一个或多个处理器9010。计算设备9000还包括耦合到I/O接口9030的网络接口9040，以及可包括各种类型的传感器的附加I/O设备9035。

在各种实施方案中，计算设备9000可为包括一个处理器9010的单处理器系统，或包括若干个处理器9010(例如，两个、四个、八个或另一个合适数量)的多处理器系统。处理器9010可为能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器9010可以是实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、或MIPS ISA、或任何其他合适的ISA)中任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，处理器9010中的每一个处理器通常可以但并非必须实现相同的ISA。在一些具体实施中，可使用图形处理单元(GPU)代替传统处理器，或者除了传统处理器之外，还可以使用图形处理器。

存储器9020可被配置为存储可由处理器9010访问的指令和数据。在至少一些实施方案中，存储器9020可包括易失性和非易失性部分；在其他实施方案中，可仅使用易失性存储器。在各种实施方案中，系统存储器9020的易失性部分可使用任何合适的存储器技术来实现，例如静态随机存取存储器(SRAM)、同步动态RAM或任何其他类型的存储器。对于系统存储器的非易失性部分(例如，其可包括一个或多个NVDIMM)，在一些实施方案中，可以使用基于闪存的存储器设备，包括NAND闪存设备。在至少一些实施方案中，系统存储器的非易失性部分可包括电源，诸如超级电容器或其他电力存储设备(例如，电池)。在各种实施方案中，基于忆阻器的电阻随机存取存储器(ReRAM)、三维NAND技术、铁电RAM、磁阻RAM(MRAM)，或者可使用各种类型的相变存储器(PCM)中的任一种至少用于系统存储器的非易失性部分。在例示的实施方案中，实现一个或多个所需功能的可执行程序指令9025和数据1926，诸如上述那些方法、技术和数据，被示出存储在主存储器9020中。

在一个实施方案中，I/O接口9030可被配置为协调处理器9010、主存储器9020和各种外围设备之间的I/O流量，包括网络接口9040或其他外围接口，诸如各种类型的持久和/或易失性存储设备、传感器设备等。在一些实施方案中，I/O接口9030可以执行任何必要的协议、定时或其他数据变换，以将来自一个部件(例如，主存储器9020)的数据信号转换成适合于由另一个部件(例如，处理器9010)使用的格式。在一些实施方案中，I/O接口9030可包括对例如通过各种类型的外围设备总线(诸如，外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型)附接的设备的支持。在一些实施方案中，I/O接口9030的功能例如可被划分到两个或更多个单独部件中，诸如北桥接件和南桥接件。此外，在一些实施方案中，I/O接口9030诸如连接至存储器9020的接口的一些或所有功能可被直接结合到处理器9010中。

网络接口9040可被配置为允许在计算设备9000和附接到一个网络或多个网络9050的其他设备9060之间交换数据，例如，诸如图1至图10所示的其他计算机系统或设备。在各种实施方案中，网络接口9040可支持经由任何合适的有线或无线通用数据网络的通信，例如以太网网络的类型。另外，网络接口9040可支持经由诸如模拟语音网络或数字光纤通信网络的电信/电话网络，经由诸如光纤通道SAN的存储区域网络，或经由任何其他合适类型的网络和/或协议的通信。

在一些实施方案中，主存储器9020可以为计算机可访问介质的一个实施方案，其被配置为存储如上面针对图1至图9所述的程序指令和数据，用于实现对应方法和装置的实施方案。然而，在其他实施方案中，可在不同类型的计算机可访问介质上接收、发送或存储程序指令和/或数据。一般而言，计算机可访问介质可包括非暂态存储介质或诸如磁性或光学介质的存储介质，例如经由I/O接口9030耦接到计算设备9000的磁盘或DVD/CD。非暂态计算机可访问存储介质还可包括任何易失性或非易失性介质，诸如RAM(例如SDRAM、DDRSDRAM、RDRAM、SRAM等)、ROM等，其可包括在计算设备9000作为主存储器9020或其他类型的存储器的一些实施方案中。此外，计算机可访问介质可包括传输介质或诸如电信号、电磁信号或数字信号的信号，经由诸如网络和/或无线链路的通信介质传送，诸如可以经由网络接口9040实现。多个计算设备的部分或全部，诸如图10中所示的计算设备可用于在各种实施方案中实现所描述的功能；例如，在各种不同设备和服务器上运行的软件组件可以协作以提供功能。在一些实施方案中，除了使用通用计算机系统实现之外或代替使用通用计算机系统实现，可以使用存储设备、网络设备或专用计算机系统来实现所描述的功能的一部分。如本文所用，术语“计算设备”至少指所有这些类型的设备，并且不限于这些类型的设备。

结论

各种实施方案还可包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般而言，计算机可访问介质可包括存储介质或存储器介质诸如磁介质或光介质，例如磁盘或DVD/CD-ROM、易失性介质或非易失性介质诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等，以及传输介质或信号，诸如电信号、电磁信号或数字信号，经由通信介质诸如网络和/或无线链路来传送。

如附图中所示和本文描述的各种方法代表方法的示例性实施方案。该方法可以软件、硬件或它们的组合来实现。方法的顺序可改变，并且各种元素可被添加、重新排序、组合、忽略和修改等。

可作出各种修改和改变，这对于从本公开受益的本领域的技术人员来说将是显而易见的。旨在包含所有这些修改和变化，因此，以上描述被认为是说明性的而不是限制性的。

Claims (20)

1.一种方法，包括：

使用设备的多层低通滤波器的参数的第一组值来对一个或多个视频帧进行滤波，其中所述多层低通滤波器包括具具有相应滤波分辨率的第一层和第二层，所述滤波包括：

对于所述一个或多个视频帧中的个体视频帧，将所述第一层应用于所述视频帧的第一像素子集，并将所述第二层应用于所述视频帧的第二像素子集；

确定所述一个或多个视频帧的内容的一个或多个属性；和

至少部分地基于所述一个或多个属性来修改所述多层低通滤波器的至少一个参数的值。

2.根据权利要求1所述的方法，其中所述内容的所述一个或多个属性包括对比属性。

3.根据权利要求1所述的方法，其中所述修改包括：改变要使用所述多层低通滤波器的所述第一层进行滤波的视频帧的子集的大小。

4.根据权利要求1所述的方法，其中所述设备包括可穿戴设备。

5.根据权利要求1所述的方法，其中所述设备包括混合现实系统设备。

6.根据权利要求1所述的方法，其中使用所述第一层进行滤波的视频帧的一部分的周边包括以下项中的一者：(a)圆形，(b)椭圆形，(c)或多边形。

7.根据权利要求1所述的方法，还包括：

显示在所述一个或多个视频帧中所表示的环境的经修改的视觉表示，其中所述经修改的视觉表示是使用视频处理引擎获取的，所述滤波的结果被提供给所述视频处理引擎作为输入。

8.一种系统，包括：

一个或多个处理器；以及

一个或多个存储器；

其中所述一个或多个存储器存储程序指令，当所述程序指令在所述一个或多个处理器上或跨所述一个或多个处理器被执行时执行方法，所述方法包括：

使用多层低通滤波器的参数的第一组值来对一个或多个视频帧进行滤波，其中所述多层低通滤波器包括具具有相应滤波分辨率的第一层和第二层，所述滤波包括：

对于所述一个或多个视频帧中的个体视频帧，将所述第一层应用于所述视频帧的第一像素子集，并将所述第二层应用于所述视频帧的第二像素子集；

确定所述一个或多个视频帧的内容的一个或多个属性；和

至少部分地基于所述一个或多个属性来修改所述多层低通滤波器的至少一个参数的值。

9.根据权利要求8所述的系统，其中所述内容的所述一个或多个属性包括对比属性。

10.根据权利要求8所述的系统，其中所述修改包括：改变要使用所述多层低通滤波器的所述第一层进行滤波的视频帧的子集的大小。

11.根据权利要求8所述的系统，其中所述方法还包括：

至少部分地基于从执行滤波的设备的用户获得的反馈来修改所述多层低通滤波器的一个或多个参数的值。

12.根据权利要求8所述的系统，其中使用所述第一层进行滤波的视频帧的一部分的周边包括以下项中的一者：(a)圆形，(b)椭圆形，(c)或多边形。

13.根据权利要求8所述的系统，其中所述方法还包括：

压缩所述一个或多个视频帧的所述滤波的结果；以及

将所述压缩的结果传输到视频处理引擎，所述视频处理引擎被配置为生成在所述一个或多个视频帧中表示的环境的经修改的视觉表示。

14.根据权利要求8所述的系统，其中所述方法还包括：

使用混合函数来组合由所述第一层产生的第一滤波输出和由所述第二层产生的第二滤波输出；以及

将所述组合的结果传输到视频处理引擎，所述视频处理引擎被配置为生成在所述一个或多个视频帧中表示的环境的经修改的视觉表示。

15.一种非暂态计算机可访问存储介质，所述非暂态计算机可访问存储介质存储程序指令，当所述程序指令在一个或多个处理器上或跨所述一个或多个处理器被执行时，使所述一个或多个处理器执行方法，所述方法包括：

使用多层低通滤波器的参数的第一组值来对一个或多个视频帧进行滤波，其中所述多层低通滤波器包括具具有相应滤波分辨率的第一层和第二层，所述滤波包括：

对于所述一个或多个视频帧中的个体视频帧，将所述第一层应用于所述视频帧的第一像素子集，并将所述第二层应用于所述视频帧的第二像素子集；

确定所述一个或多个视频帧的内容的一个或多个属性；和

至少部分地基于所述一个或多个属性来修改所述多层低通滤波器的至少一个参数的值。

16.根据权利要求15所述的非暂态计算机可访问存储介质，其中所述内容的所述一个或多个属性包括对比属性。

17.根据权利要求15所述的非暂态计算机可访问存储介质，其中所述修改包括：改变要使用所述多层低通滤波器的所述第一层进行滤波的视频帧的子集的大小。

18.根据权利要求15所述的非暂态计算机可访问存储介质，其中所述方法还包括：

至少部分地基于从执行滤波的设备的用户获得的反馈来修改所述多层低通滤波器的一个或多个参数的值。

19.根据权利要求15所述的非暂态计算机可访问存储介质，其中使用所述第一层进行滤波的视频帧的第一部分的周边具有第一形状，并且其中使用第二层进行滤波的视频帧的第二部分的参数具有不同于所述第一形状的形状。

20.根据权利要求15所述的非暂态计算机可访问存储介质，其中所述方法还包括：

使用混合函数来组合由所述第一层产生的第一滤波输出和由所述第二层产生的第二滤波输出；以及

将所述组合的结果传输到视频处理引擎，所述视频处理引擎被配置为生成在所述一个或多个视频帧中表示的环境的经修改的视觉表示。

Images