CN113366540A - 场景的图像表示 - Google Patents

Abstract

一种装置包括用于接收场景的图像表示的接收器(301)。确定器(305)确定针对观看者的相对于观看者坐标系的观看者姿态。对齐器(307)通过将场景参考位置与所述观看者坐标系中的观看者参考位置对齐来将场景坐标系与所述观看者坐标系对齐。绘制器(303)响应于所述图像表示以及所述场景坐标系与所述观看者坐标系的对齐而绘制针对不同的观看者姿态的视图图像。偏移处理器(309)响应于对齐观看者姿态而确定所述观看者参考位置，其中，所述观看者参考位置取决于所述对齐观看者姿态的取向并且具有针对所述对齐观看者姿态的相对于观看者眼睛位置的偏移。所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量。

Description

场景的图像表示

技术领域

本发明涉及场景的图像表示，并且特别地但非排他性地涉及作为虚拟现实应用的部分的图像表示的生成和根据该图像表示进行的图像绘制。

背景技术

近年来，随着新服务以及利用和消费视频的方式不断得到开发和引入，图像和视频应用的种类和范围显著增加。

例如，一种越来越流行的服务是以观看者能够主动和动态地与系统交互以改变绘制参数的方式提供图像序列。在许多应用中，一个非常吸引人的特征是能够改变观看者的有效观看位置和观看方向，从而例如允许观看者在所呈现的场景中移动和“环顾四周”。

这样的特征能够特别允许向用户提供虚拟现实体验。这可以允许用户例如(相对)自由地在虚拟环境中移动并动态地改变他的位置和他正在看的地方。通常，这样的虚拟现实应用基于场景的三维模型，其中，该模型被动态地评价以提供特定的请求视图。这种方法是众所周知的，例如从用于计算机和控制台的游戏应用(例如，第一人称射击游戏)可知。

还希望所呈现的图像是三维图像，特别是对于虚拟现实应用。实际上，为了优化观看者的沉浸感，用户通常更喜欢体验作为3D场景的呈现场景。实际上，虚拟现实体验应当优选允许用户选择他/她自己的位置、相机视点以及相对于虚拟世界的时刻。

通常，虚拟现实应用固有地受到限制，因为它们基于场景的预定模型，并且通常基于虚拟世界的人工模型。通常希望基于现实世界捕获来提供虚拟现实体验。然而，在许多情况下，这样的方法受限于或往往要求根据现实世界捕获来构建现实世界的虚拟模型。然后通过评价该模型来生成虚拟现实体验。

然而，当前的方法往往是次优的，并且常常具有较高的计算或通信资源要求和/或提供次优的用户体验(例如因质量下降或自由受限)。

在许多例如虚拟现实应用中，场景可以通过图像表示来表示，例如通过一个或多个表示场景的特定观看姿态的图像来表示。在一些情况下，这样的图像可以提供场景的广角视图并且可以覆盖例如完整的360°视图或覆盖完整的视球。

在许多应用(并且特别是对于虚拟现实应用)中，图像数据流是根据表示场景的数据生成的，因此图像数据流反映用户在场景中的(虚拟)位置。这样的图像数据流通常是动态和实时生成的，从而反映用户在虚拟场景内的移动。可以将图像数据流提供给绘制器，该绘制器根据图像数据流的图像数据向用户绘制图像。在许多应用中，向绘制器提供图像数据流是经由带宽受限的通信链路进行的。例如，图像数据流可以由远程服务器生成并(例如通过通信网络)被传送到绘制设备。然而，对于大多数此类应用而言，维持合理的数据速率以实现高效通信非常重要。

已经提出要提供基于360°视频流的虚拟现实体验，其中，场景的完整的360°视图由服务器针对给定的观看者位置来提供，从而允许客户端生成不同方向的视图。特别地，有前途的虚拟现实(VR)应用之一是全向视频(例如VR360或VR180)。该方法往往会引起高数据速率，因此提供完整的360°视球的视点数量通常被限制为较低的数量。

举个具体的示例，虚拟现实眼镜已经进入市场。这些眼镜让观看者可以体验捕获到的360度(全景)视频。这些360度视频通常是使用相机绑定预先捕获的，其中，个体图像被拼接在一起而成为单个球面映射。在一些这样的实施例中，可以生成表示来自给定视点的完整球面视图的图像并将其传送给驱动器，该驱动器被布置为为眼镜生成与用户的当前视图相对应的图像。

在许多系统中，可以提供场景的图像表示，其中，图像表示包括场景中的一个或多个捕获点/视点的图像并且通常还包括该捕获点/视点的深度。在许多这样的系统中，绘制器可以被布置为动态地生成匹配当前的本地观看者姿态的视图。在这样的系统中，可以动态地确定观看者姿态，并且动态地生成视图以匹配该观看者姿态。这样的操作要求观看者姿态与图像表示对齐或者映射到图像表示。这通常是通过以下操作来完成的：在应用开始时将观看者定位在场景/图像表示中的给定的最优或默认位置处，然后跟踪观看者相对于该最优或默认位置的移动。该最优或默认位置通常被选择为对应于图像表示包括图像数据的位置，即，对应于捕获或锚定位置。

然而，随着观看者姿态从该位置变化，要求进行视图内插和合成，而这往往会引入劣化和伪影，从而降低图像质量。

因此，改进的用于处理和生成场景的图像表示的方法将是有利的。特别地，允许改进的操作、提高的灵活性、改善的虚拟现实体验、降低的数据速率、提高的效率、促进的分布、降低的复杂性、促进的实施、减少的存储要求、提高的图像质量、改善的绘制、改善的用户体验和/或改善的性能和/或操作的系统和/或方法将是有利的。

发明内容

因此，本发明寻求优选单独地或以任何组合方式减轻、减缓或消除上述缺点中的一个或多个缺点。

根据本发明的一个方面，提供了一种用于绘制图像的装置，所述装置包括：接收器，其用于接收场景的图像表示，所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括参考位置；确定器，其用于确定针对观看者的观看者姿态，所述观看者姿态是相对于观看者坐标系而提供的；对齐器，其用于通过将所述场景参考位置与所述观看者坐标系中的观看者参考位置对齐来将所述场景坐标系与所述观看者坐标系对齐；绘制器，其用于响应于所述图像表示以及所述场景坐标系与所述观看者坐标系的所述对齐而绘制针对不同的观看者姿态的视图图像；所述装置还包括：偏移处理器，其被布置为响应于作为被执行了对齐的观看者姿态的第一观看者姿态而确定所述观看者参考位置，所述观看者参考位置取决于所述第一观看者姿态的取向并且具有针对所述第一观看者姿态的相对于观看者眼睛位置的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量；其中，所述接收器被布置为接收图像数据信号，所述图像数据信号包括所述图像表示并且还包括偏移指示；并且其中，所述偏移处理器被布置为响应于所述偏移指示而确定所述偏移。

本发明可以在许多实施例中提供改进的操作和/或改善的性能。特别地，本发明可以针对一定范围的观看者姿态提供提高的图像质量。

在许多实施例中，该方法可以提供改善的用户体验，例如，该方法可以在许多场景中允许灵活、高效和/或高性能的虚拟现实(VR)应用。在许多实施例中，该方法可以允许或实现针对不同观看者姿态的图像质量之间的折衷显著提高的VR应用。

该方法可以特别适用于例如支持在接收端处调整移动和头部旋转的广播视频服务。

图像表示可以包括场景的一幅或多幅图像。图像表示的每幅图像可以与针对场景的观看或捕获姿态相关联并且链接到该观看或捕获姿态。可以参考场景坐标系来提供观看或捕获姿态。场景参考位置可以是场景坐标系中的任意位置。场景参考位置独立于观看者姿态。场景参考位置可以是预定和/或固定的位置。场景参考位置可以在至少一些相继对齐之间保持不变。

视图图像的绘制可以发生在对齐之后。通过与针对对齐观看者姿态的观看方向相反，偏移分量可以在与观看者眼睛位置的观看方向相反的方向上。

第一观看者姿态也可以被称为对齐观看者姿态(它是被执行了对齐的观看者姿态)。

对齐/第一观看者姿态可以指示/表示/描述观看者眼睛位置和观看者眼睛位置的观看方向。对齐/第一观看者姿态包括允许确定观看者眼睛位置和观看者眼睛位置的观看方向的数据。

当将场景坐标系与观看者坐标系对齐时，偏移指示可以指示在场景参考位置与观看者眼睛位置之间应用的目标偏移。目标偏移可以包括在与观看者眼睛位置的观看方向相反的方向上的偏移分量。

根据本发明的任选特征，所述偏移分量不小于2cm。

这在许多实施例中可以提供特别有利的操作。在许多场景中，它可以允许针对许多观看者姿态实现足够高的质量提高。

在一些实施例中，偏移分量不小于1cm、4cm、5cm或甚至7cm。已经发现较大的偏移可以提高针对与头部旋转相对应的观看姿态生成的图像的质量，同时可能降低前向视图的图像质量，但是通常降低程度要低得多。

根据本发明的任选特征，所述偏移分量不超过12cm。

这在许多实施例中可以提供特别有利的操作。在许多场景中，它可以为为针对不同观看者姿态生成的图像提供改善的图像质量折衷。

在一些实施例中，偏移分量不超过8cm或10cm。

根据本发明的任选特征，所述接收器(301)被布置为接收图像数据信号，所述图像数据信号包括所述图像表示并且还包括偏移指示；并且其中，所述偏移处理器被布置为响应于所述偏移指示而确定所述偏移。

这可以在许多系统和场景(例如特别是对于广播场景)中提供有利的操作。它可以允许对多个不同的绘制设备同时执行偏移优化。

根据本发明的任选特征，所述偏移处理器被布置为响应于针对至少一个观看者姿态的误差度量而确定所述偏移，所述误差度量取决于所述偏移的候选值。

这可以在许多实施例中提供改进的操作和/或改善的性能。特别地，它可以在许多实施例中允许针对不同观看者姿态改善质量折衷，并且可以在许多实施例中允许动态优化。它还可以在许多实施例中允许低复杂性和/或高效/低资源操作。

在许多实施例中，偏移可以被确定为引起针对一个或多个观看者姿态的(组合的)最小误差度量的偏移。

在一些实施例中，误差度量可以表示针对候选值的连续范围的误差量度或值。例如，误差度量可以被表示为候选偏移的函数，并且偏移可以被确定为其中该函数被最小化的候选偏移。

在一些实施例中，仅考虑多个离散的候选偏移值，并且偏移处理器可以确定针对这些候选值中的每个候选值的误差度量/量度/值。然后，偏移处理器可以将偏移确定为其中找到最低误差度量的候选偏移(例如在组合了针对多个观看者姿态的误差度量之后)。

根据本发明的任选特征，所述偏移处理器被布置为响应于针对多个观看者姿态的误差度量的组合而确定针对候选值的所述误差度量。

在许多实施例中，这可以提供改进的操作和/或改善的性能。

在一些实施例中，偏移处理器被布置为响应于针对一定范围的注视方向的误差度量而确定针对一定范围的观看者姿态中的一个观看者姿态的误差度量。

根据本发明的任选特征，针对观看者姿态和所述偏移的候选值的所述误差度量包括根据所述图像表示的至少一幅图像合成的针对所述观看者姿态的视图图像的图像质量度量，所述至少一幅图像具有取决于所述候选值的相对于所述观看者姿态的位置。

在许多实施例中，这可以提供改进的操作和/或改善的性能。

根据本发明的任选特征，针对观看者姿态和所述偏移的候选值的所述误差度量包括根据所述图像表示的至少两幅图像合成的针对所述观看者姿态的视图图像的图像质量度量，所述至少两幅图像具有取决于所述候选值的相对于所述观看者姿态的参考位置。

在许多实施例中，这可以提供改进的操作和/或改善的性能。

根据本发明的任选特征，所述图像表示包括全向图像表示。

特别地，本发明可以为基于全向图像(例如，特别是全向立体(ODS)图像)的图像表示提供改善的性能。

根据本发明的任选特征，所述偏移包括在垂直于所述观看者眼睛位置的观看方向的方向上的偏移分量。

在许多实施例中，这可以提供改进的操作和/或改善的性能。

与观看者眼睛位置的观看方向垂直的方向可以是水平方向。特别地，它可以在与从观看者姿态的一只眼睛到另一只眼睛的方向相对应的方向上。垂直分量可以在与场景坐标系中与水平方向相对应的方向上。

根据本发明的任选特征，所述偏移包括垂直分量。

在许多实施例中，这可以提供改进的操作和/或改善的性能。垂直分量可以在垂直于由观看者眼睛位置的观看方向和观看者姿态的两眼之间的方向形成的平面的方向上。垂直分量可以在与场景坐标系中的垂直方向相对应的方向上。

根据本发明的一个方面，提供了一种用于生成图像信号的装置，所述装置包括：接收器，其用于接收表示从一个或多个姿态看到的场景的多幅图像；表示处理器，其用于生成提供所述场景的图像表示的图像数据，所述图像数据包括所述多幅图像，并且所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括场景参考位置；偏移生成器，其用于生成偏移指示，所述偏移指示指示当所述场景坐标系与观看者坐标系对齐时在所述场景参考位置与观看者眼睛位置之间应用的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量；输出处理器，其用于生成所述图像信号以包括所述图像数据和所述偏移指示。

根据本发明的一个方面，提供了一种绘制图像的方法，所述方法包括：接收场景的图像表示，所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括参考位置；确定针对观看者的观看者姿态，所述观看者姿态是相对于观看者坐标系而提供的；通过将所述场景参考位置与所述观看者坐标系中的观看者参考位置对齐来将所述场景坐标系与所述观看者坐标系对齐；响应于所述图像表示以及所述场景坐标系与所述观看者坐标系的所述对齐而绘制针对不同的观看者姿态的视图图像；所述方法还包括：响应于第一观看者姿态而确定所述观看者参考位置，所述观看者参考位置取决于所述第一观看者姿态的取向并且具有针对所述第一观看者姿态的相对于观看者眼睛位置的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量；其中，接收所述场景的所述图像表示包括接收图像数据信号，所述图像数据信号包括所述图像表示并且还包括偏移指示；并且还包括响应于所述偏移指示而确定所述偏移。

根据本发明的一个方面，提供了一种用于生成图像信号的方法，所述方法包括：接收表示从一个或多个姿态看到的场景的多幅图像；生成提供所述场景的图像表示的图像数据，所述图像数据包括所述多幅图像，并且所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括场景参考位置；生成偏移指示，所述偏移指示指示当所述场景坐标系与观看者坐标系对齐时在所述场景参考位置与观看者眼睛位置之间应用的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量；生成所述图像信号以包括所述图像数据和所述偏移指示。

参考下文描述的(一个或多个)实施例，本发明的这些和其他方面、特征和优点将是显而易见的并且得到阐明。

附图说明

将仅通过示例的方式并参考附图来描述本发明的实施例，在附图中：

图1图示了用于提供虚拟现实体验的布置的示例；

图2图示了根据本发明的一些实施例的装置的元件的示例；

图3图示了根据本发明的一些实施例的装置的元件的示例；并且

图4图示了用于针对场景的图像表示的配置的示例；

图5图示了场景的全向立体图像表示的示例；

图6图示了场景的全向立体图像表示的示例；

图7图示了具有深度映射图的全向立体图像的示例；

图8图示了确定相对于观看者姿态的观看者参考位置的示例；

图9图示了确定相对于观看者姿态的观看者参考位置的示例；

图10图示了确定相对于观看者姿态的观看者参考位置的示例；

图11图示了确定相对于观看者姿态的观看者参考位置的示例；

图12图示了确定针对相对于观看者姿态的观看者参考位置的偏移的示例；

图13图示了确定针对相对于观看者姿态的观看者参考位置的偏移的示例；

图14图示了确定针对相对于观看者姿态的观看者参考位置的偏移的示例；并且

图15图示了确定针对相对于观看者姿态的观看者参考位置的偏移的示例。

具体实施方式

允许用户在虚拟世界中四处走动的虚拟体验正变得越来越流行，并且正在开发服务以满足这样的需求。然而，提供高效的虚拟现实服务非常具有挑战性，特别是如果体验是基于对现实世界环境的捕获而不是基于完全虚拟生成的人工世界。

在许多虚拟现实应用中，观看者姿态输入被确定为反映虚拟观看者在该场景中的姿态。虚拟现实装置/系统/应用然后为与观看者姿态相对应的观看者生成与场景的视图和视口相对应的一幅或多幅图像。

通常，虚拟现实应用生成针对左眼和右眼的单独视图图像形式的三维输出。然后可以通过合适的方式(例如通常是VR头戴式设备的独立的左眼显示器和右眼显示器)将这些输出呈现给用户。在其他实施例中，图像可以例如被呈现在自动立体显示器上(在这种情况下，可以针对观看者姿态生成大量视图图像)，或者实际上在一些实施例中可以(例如使用常规的二维显示器)仅生成单个二维图像。

在不同应用中可以以不同方式确定观看者姿态输入。在许多实施例中，可以直接跟踪用户的身体移动。例如，调查用户区的相机可以检测和跟踪用户的头部(甚至眼睛)。在许多实施例中，用户可以佩戴能够通过外部方式和/或内部方式跟踪的VR头戴式设备。例如，头戴式设备可以包括加速度计和陀螺仪，它们提供关于头戴式设备以及因此头部的移动和旋转的信息。在一些示例中，VR头戴式设备可以传送信号或包括(例如视觉)标识符，这使得外部传感器能够确定VR头戴式设备的移动。

在一些系统中，观看者姿态可以通过手动方式来提供，例如通过用户手动控制操纵杆或类似的手动输入来提供。例如，用户可以通过用一只手控制第一模拟操纵杆来手动移动虚拟观看者在场景中四处走动，并且通过用另一只手手动移动第二模拟操纵杆来手动控制虚拟观看者正在看的方向。

在一些应用中，可以使用手动方法与自动方法的组合来生成输入的观看者姿态。例如，头戴式设备可以跟踪头部的取向并且观看者在场景中的移动/位置可以通过用户使用操纵杆来控制。

图像的生成基于虚拟世界/环境/场景的合适表示。在一些应用中，可以为场景提供完整的三维模型，并且能够通过评价该模型来确定从特定观看者姿态看到的场景的视图。

在许多实际系统中，场景可以由包括图像数据的图像表示来表示。图像数据通常可以包括与一个或多个捕获或锚定姿态相关联的图像，并且特别地可以包括针对一个或多个视口的图像，其中，每个视口对应于特定姿态。可以使用包括一幅或多幅图像的图像表示，其中，每幅图像表示针对给定观看姿态的给定视口的视图。针对其提供图像数据的此类观看姿态或位置常常被称为锚定姿态或位置或捕获姿态或位置(因为图像数据通常可以对应于(将)由被定位在场景中的具有与捕获姿态相对应的位置和取向的相机所捕获的图像)。

许多典型的VR应用可以在这样的图像表示的基础上继续提供与针对当前观看者姿态的场景的视口相对应的视图图像，其中，图像被动态地更新以反映观看者姿态的变化，并且图像是基于表示(可能)虚拟场景/环境/世界的图像数据来生成的。该应用可以通过执行本领域技术人员已知的视图合成和视图移位算法来做到这一点。

在该领域中，术语放置和姿态被用作针对位置和/或方向/取向的通用术语。例如对象、相机、头部或视图的位置和方向/取向的组合可以被称为姿态或放置。因此，放置或姿态指示可以包括六个值/分量/自由度，其中，每个值/分量通常描述对应对象的位置/定位或取向/方向的独立属性。当然，在许多情况下，可能会以较少的分量考虑或表示放置或姿态，例如在一个或多个分量被认为是固定的或不相关的情况下(例如在所有对象都被认为处于相同的高度并且具有水平取向的情况下，四个分量可以提供对象姿态的完整表示)。在下文中，术语姿态用于指代可以由一到六个值(对应于最大可能的自由度)表示的位置和/或取向。

许多VR应用基于具有最大自由度的姿态，即，位置和取向中的每个的三个自由度会得到总共六个自由度。姿态因此可以由表示六个自由度的六个值的集合或向量来表示，并且因此姿态向量可以提供三维位置和/或三维方向指示。然而，应当理解，在其他实施例中，姿态可以由更少的值来表示。

姿态可以是取向和位置中的至少一个。姿态值可以指示取向值和位置值中的至少一个。

基于为观看者提供最大自由度的系统或实体通常被称为具有6个自由度(6DoF)。许多系统和实体仅提供取向或位置，并且这些系统和实体通常被称为具有3个自由度(3DoF)。

在一些系统中，可以通过例如不使用(甚至根本无法访问)任何远程VR数据或处理的独立设备在本地向观看者提供VR应用。例如，诸如游戏控制台之类的设备可以包括用于存储场景数据的存储装置、用于接收/生成观看者姿态的输入部，以及用于根据场景数据来生成对应图像的处理器。

在其他系统中，可以在远离观看者的地方实施和执行VR应用。例如，用户本地的设备可以检测/接收移动/姿态数据，该移动/姿态数据被传送到远程设备，该远程设备处理该数据以生成观看者姿态。远程设备然后可以基于描述场景的场景数据来生成针对观看者姿态的合适的视图图像。然后将视图图像传送到观看者本地的设备，在该设备处呈现视图图像。例如，远程设备可以直接生成由本地设备直接呈现的视频流(通常是立体/3D视频流)。因此，在这样的示例中，除了传送移动数据和呈现接收到的视频数据之外，本地设备可以不执行任何VR处理。

在许多系统中，功能可以被分布在本地设备和远程设备上。例如，本地设备可以处理接收到的输入和传感器数据以生成被连续传送到远程VR设备的观看者姿态。远程VR设备然后可以生成对应的视图图像并且将这些视图图像传送到本地设备以供呈现。在其他系统中，远程VR设备可能不直接生成视图图像，而是可以选择相关的场景数据并将其传送到本地设备，然后该本地设备可以生成所呈现的视图图像。例如，远程VR设备可以识别最接近的捕获点并提取对应的场景数据(例如来自该捕获点的球面图像和深度数据)并将其传送到本地设备。本地设备然后可以处理接收到的场景数据以生成针对特定的当前观看姿态的图像。观看姿态通常将对应于头部姿态，并且对观看姿态的引用通常可以被等效地认为对应于对头部姿态的引用。

在许多应用中，尤其是针对广播服务，源可以以独立于观看者姿态的场景的图像(包括视频)表示的形式传送场景数据。例如，针对单个捕获位置的单个视球的图像表示可以被传送到多个客户端。个体客户端然后可以在本地合成对应于当前观看者姿态的视图图像。

引起特别关注的应用是以下应用：其支持有限量的移动，使得所呈现的视图被更新以跟随与基本上静态的观看者相对应的小的移动和旋转，该观看者仅进行小的头部移动和头部旋转。例如，坐着的观看者能够转动他的头部并稍微移动他的头部，其中，所呈现的视图/图像被调整以跟随这些姿态变化。这样的方法可以提供高度具有沉浸感的例如视频体验。例如，观看体育赛事的观看者可能会觉得他出现在竞技场中的特定地点。

这样的有限自由度应用具有以下优点：它能够提供改善体验，同时又不要求从许多不同位置看到的场景的准确表示，从而显著降低了捕获要求。类似地，需要提供给绘制器的数据量能够大大减少。实际上，在许多场景中，只需要向能够从中生成所希望的视图的本地绘制器提供针对单个视点的图像并且通常还提供深度数据。

该方法可能特别适合用于需要通过带宽受限的通信信道将数据从源传送到目的地的应用，例如，广播或客户端服务器应用。

图1图示了VR系统的这样一个示例，其中，远程VR客户端设备101与VR服务器103例如经由网络105(例如，互联网)进行联络。服务器103可以被布置为同时支持潜在大量的客户端设备101。

VR服务器103可以例如通过以下操作来支持广播体验：传送针对特定视点的图像数据和深度，然后客户端设备被布置为处理该信息以在本地合成与当前姿态相对应的视图图像。

图2图示了VR服务器103的示例性实施方式的示例元件。

该装置包括接收器201，该接收器201被布置为接收表示从一个或多个姿态看到的场景的多幅图像。

在该示例中，接收器201被耦合到提供多幅图像的源203。特别地，源203可以是存储图像的本地存储器，或者源203可以例如是合适的捕获单元，例如，一组相机。

接收器201被耦合到被称为表示处理器205的处理器，该处理器被馈送有这多幅图像。表示处理器205被布置为生成场景的图像表示，该图像表示包括根据这多幅图像导出的图像数据。

表示处理器205被耦合到输出处理器207，该输出处理器207生成包括图像表示的图像信号，因此图像信号具体包括多幅图像的图像数据。在许多实施例中，输出处理器207可以被布置为对图像进行编码并且将它们包括在合适的数据流(例如，根据合适的标准生成的数据流)中。

输出处理器207还可以被布置为向远程客户端/设备发送或广播图像信号，并且特别地，可以将图像信号传送到客户端设备101。

图3图示了根据本发明的一些实施例的用于绘制图像的装置的一些元件的示例。该装置将在图1的系统的背景中进行描述，其中，装置具体是客户端设备101。

客户端设备101包括数据接收器301，该数据接收器301被布置为接收来自服务器103的图像信号。应当理解，可以使用任何合适的用于通信的方法和格式，而不会偏离本发明。

数据接收器301被耦合到绘制器303，该绘制器303被布置为生成针对不同视口/观看者姿态的视图图像。

客户端设备101还包括观看姿态确定器305，该观看姿态确定器305被布置为动态地确定当前观看者姿态。特别地，观看姿态确定器305可以接收来自头戴式设备的反映头戴式设备的移动的数据。观看姿态确定器305可以被布置为基于接收到的数据来确定观看姿态。在一些实施例中，观看姿态确定器305可以接收例如传感器信息(例如，加速度计和陀螺仪数据)并由此确定观看姿态。在其他实施例中，头戴式设备可以直接提供观看姿态数据。

观看姿态被馈送到绘制器303，该绘制器303继续生成与从处于当前观看者姿态的观看者的两只眼睛看到的场景的视图相对应的视图图像。使用任何合适的图像生成和合成算法根据接收到的图像表示来生成视图图像。具体算法将取决于具体的图像表示以及各个实施例的偏好和要求。

作为示例，图像表示可以包括一幅或多幅图像，其中的每幅图像对应于从给定的视点和给定的方向观看的场景。因此，对于多个捕获或锚定姿态中的每个，提供对应于从那个视点和那个方向看到场景的视口的图像。在许多实施例中，多个相机可以例如被定位成一行并且沿着这条线从不同的位置捕获场景并且全部瞄准相同的方向，例如在图4的示例中那样。应当理解，在其他实施例中，可以采用其他捕获配置，包括更多或更少的锚定点和/或图像。

在许多实施例中，图像表示可以根据被称为全向立体(ODS)的特定的现有3D图像格式。对于ODS，创建针对左眼图像和右眼图像的光线，使得这些光线的原点位于其直径通常等于瞳孔距离(例如～6.3厘米)的圆上。对于ODS，针对与视圆的切线相对应的相反方向并以围绕视圆的规则角距离来捕获窄角度图像部分(参见图5)。

因此，对于ODS，为左眼生成图像，其中，每个像素列对应于单位圆上的一个位置，并且反映在该位置处在与ODS视圆的切线方向上的光线。ODS视圆上的位置对于每一列都是不同的，并且通常在ODS视圆上定义相对大量的等距位置，从而覆盖整个360°视场，其中，每一列对应于一个位置。因此，单个ODS图像捕获完整的360°视场，其中，每一列对应于ODS视圆上的不同位置并且对应于不同光线方向。

ODS包括右眼图像和左眼图像。如图6所示，对于这些图像中的给定列，左眼图像和右眼图像将反映ODS视圆上的相对位置的光线。因此，ODS图像格式提供360°视图以及仅基于两幅图像的立体信息。

应当理解，虽然下面的描述考虑了提供两幅立体图像(对应于左眼图像和右眼图像)的ODS，但是也能够使用仅提供一幅图像的对应格式，即，可以使用全向单图像格式。该图像仍然可以是相对于视圆而提供的，从而提供来自一只眼睛的视图，因为这例如围绕两眼的中心点旋转。

备选地，通过让视圆的半径接近零，实现了单像格式。在这种情况下，左视图与右视图是相同的，因此只要求一幅图像来表示这两者。

通常，全向视频/图像可以被提供为例如全向立体视频/图像或者被提供为全向单视频/图像。

对于给定的取向(视角)，可以通过组合针对在与给定取向的视口内的观看方向相匹配的方向的窄角度图像部分来生成图像。因此，通过组合与在不同方向上的捕获相对应的窄角度图像部分(但不同的窄角度图像部分来自圆上的不同位置)来形成给定的视图图像。因此，视图图像包括来自视圆上的不同位置的捕获而不是仅来自单个视点的捕获。然而，如果ODS表示的视圆足够小(相对于场景的内容)，则能够将其影响降低到可接受的水平。另外，由于沿着给定方向的捕获能够重复用于多个不同的观看取向，因此使得所要求的图像数据量显著减少。针对观看者的两只眼睛的视图图像通常是通过在针对适当切线的相反方向上的捕获来生成的。

图6图示了能够由ODS支持的理想的头部旋转的示例。在该示例中，头部旋转而使得两只眼睛沿着一个直径等于瞳孔距离的圆移动。假设这对应于ODS视圆的宽度，则能够通过选择与不同视点取向相对应的适当的窄角度图像部分来简单地确定针对不同取向的视图图像。

然而，对于标准ODS，观看者将感知立体视觉而不是运动视差。即使观看者的运动很小(大约几厘米)，没有运动视差也往往会提供不愉快的体验。例如，如果观看者移动而使得眼睛不再正好落在ODS视圆上，那么基于简单地选择和组合适当的窄角度图像部分来生成视图图像将导致所生成的视图图像与用户的眼睛仍然停留在视圆上的情况一样，因此不会表现出用户移动他的头部时应产生的视差，这将导致感知无法相对于现实世界移动。

为了解决这个问题并允许基于ODS数据来生成运动视差，ODS格式可以被扩展为包括深度信息。可以为每个窄角度图像部分添加一个窄角度深度映射图部分。图7图示了具有相关联的深度映射图的ODS图像的示例。该深度信息可以用于执行视点移位，使得所生成的图像对应于视圆外部(或内部)的新位置(例如，可以使用已知图像和基于深度的视点移位算法来处理每幅视图图像或窄角度图像部分)。例如，可以为每只眼睛创建3D网格，并且能够使用基于针对左眼和右眼的网格和纹理进行的ODS数据绘制来引入运动视差。

然而，图像表示是否基于例如针对不同的捕获姿态或ODS数据的多幅图像，生成针对与提供图像数据的锚定姿态不同的姿态的视图图像往往会引入伪影和错误，从而导致潜在的图像质量下降。

绘制器303被布置为基于接收到的图像表示来生成针对当前观看姿态的视图图像。特别地，可以为立体显示器(例如，头戴式设备)生成右眼图像和左眼图像，或者可以为自动立体显示器的视图生成多幅视图图像。应当理解，已知许多不同的算法和技术能够用于根据所提供的场景图像来生成视图图像，并且可以根据特定实施例来使用任何合适的算法。

然而，针对绘制的关键操作是必须将所确定的观看者姿态与图像表示彼此对齐。

参考针对场景的给定坐标系来提供图像表示。图像表示包括与特定锚定姿态相关联的图像数据，并且这些锚定姿态是相对于场景坐标系而提供的。

类似地，参考观看者坐标系来提供观看者姿态。例如，由观看姿态确定器305提供的观看者姿态数据可以指示观看者的头部位置和旋转的变化，并且该数据是相对于坐标系而提供的。

因此，固有地，由于图像表示和观看者姿态是独立提供并单独生成的，因此将相对于两个不同的坐标系来提供图像表示和观看者姿态。为了基于图像表示来绘制针对观看者姿态的图像，因此需要将这些坐标系彼此链接/对齐。在许多情况下，所使用的坐标可以具有相同的尺度并且特别地可以相对于具有与现实世界尺度相匹配的尺度的坐标系来提供。例如，可以将两个锚定位置定义或描述为相距1米，从而反映它们已被现实世界中相距1米的相机所捕获，或者它们提供应被解读为相距1米的视图。类似地，观看者姿态数据可以指示用户在现实世界中如何移动他的头部，例如，用户将他的头部移动了多少厘米。

然而，即使在已知(或假定)坐标系的尺度相同的情况下，也有必要将坐标系的相对位置彼此对齐。常规地，这通常是在开始应用时通过将场景坐标系中的参考姿态(特别是位置)与当前观看者姿态对齐来完成的。因此，当开始应用时，观众被有效地定位在场景中的标称或默认开始位置处。随后使用该对齐，使得通过跟踪由场景坐标系中的观看者姿态指示的相对变化来确定场景坐标系中的观看者位置(绘制器在绘制视图时可以使用该观看者位置)。因此，观看者姿态在观看者坐标系中向左改变两厘米的指示将对应于在场景坐标系中向左移位两厘米。

两个坐标系的开始对齐因此在常规情况下是固定的并且独立于实际观看者姿态。它通常是在场景坐标系中的对应于最大质量的位置处(例如在其中图像表示包括图像数据的默认位置处)初始化观看者的对齐。用户在场景中的预定开始位置处开始体验，然后跟踪观看者姿态的任何变化。

然而，发明人已经认识到，虽然这样的方法可以适合用于许多应用，但是它并不适用于所有应用。发明人还认识到，在许多实施例中，其中对齐取决于观看者姿态并且特别取决于观看者取向的更加自适应的方法可以提供改进的操作。对于其中用户受到限制(例如受限于小的头部移动和头部旋转)的许多受限移动服务而言，这可以是特别有利的。在这样的服务中，在某些时间(例如当观看者姿态指示自上次对齐以来的移动满足准则时)执行重新对齐会特别有吸引力，并且下文中描述的自适应方法在这样的场景中会特别有利。

因此，图3的装置包括对齐器307，该对齐器307被布置为将场景坐标系与观看者坐标系对齐。对齐可以特别地通过将场景坐标系中的场景参考位置与观看者坐标系中的观看者参考位置对齐/链接来对齐坐标系。因此，对齐可以使得场景坐标系中的场景参考位置与观看者坐标系中的观看者参考位置并置，即，场景参考位置和观看者参考位置是相同的位置。

场景坐标系中的参考位置可以是任何合适的位置，并且特别是固定不变的场景参考位置。特别地，场景参考位置可以是独立于观看者姿态的位置，并且通常可以是预定参考位置。在重复执行对齐的实施例中，场景参考位置在(至少两个)相继对齐操作之间可以是恒定的。

在许多实施例中，可以相对于锚定位置来定义场景参考位置。例如，参考位置可以是锚定位置或例如针对锚定位置的平均位置。在一些实施例中，场景参考位置可以对应于其中图像表示包括图像数据的位置和/或其中能够实现最优图像质量的位置。

与独立于观看者姿态的场景参考位置形成对比，观看者参考位置取决于作为被执行了对齐的观看者姿态的第一观看者姿态。该第一观看者姿态在下文中将被称为对齐观看者姿态。对齐观看者姿态可以是期望被执行对齐的任何观看者姿态。在许多情况下，对齐观看者姿态可以是被执行对齐时的当前观看者姿态。对齐观看者姿态通常可以是当前观看者姿态，并且特别可以是在(重新)对齐被初始化时由观看者姿态数据指示的姿态。因此，在发生对齐时，观看者参考位置是动态确定的，并且观看者参考位置取决于观看者姿态，并且特别取决于观看者姿态的取向。

因此，图3的装置包括偏移处理器309，该偏移处理器309被耦合到对齐器307和观看姿态确定器305。偏移处理器309被布置为基于对齐观看者姿态并且特别基于被执行对齐时的当前观看者姿态来确定观看者参考位置。对齐观看者姿态是对其执行两个坐标系之间的对齐的观看者姿态，并且在以下描述中将被认为是当前观看者姿态(在被执行对齐时)。

偏移处理器309被特别地布置为确定观看者参考位置，使得其依赖于对齐/当前观看者姿态的取向。偏移处理器309被布置为生成观看者参考位置，使得其相对于针对当前观看者姿态的观看者眼睛位置发生偏移。另外，偏移具有在与观看者眼睛位置的观看方向相反的方向上的分量。

因此，针对给定的观看者姿态，观看者参考位置被确定为使得它不与针对该观看者姿态的任何眼睛位置并置，并且它也不位于眼睛位置的侧边(或在两只眼睛之间的线上)。而是，观看者参考位置位于针对当前观看者姿态的眼睛位置的“后面”。因此，与常规系统形成对比，在常规系统中，两个坐标系被对齐，使得例如观看者姿态位置总是与参考位置对齐，而图3的装置确定相对于观看者姿态(及其(一个或多个)眼睛位置)的偏移观看者参考位置。该偏移在针对当前观看者位置的观看方向的后方的方向上，从而引起这两个坐标系之间的偏移。另外，由于偏移具有后方分量，因此偏移取决于观看者姿态的取向，并且不同的观看者姿态将引起不同的观看者参考位置，从而引起不同的对齐偏移。

特别地，针对表示相同观看者位置但不同观看者取向的两个观看者姿态，所确定的观看者参考位置将是不同的。等效地，如果表示不同取向的两个观看者姿态表示不同的位置，则针对表示不同取向的两个观看者姿态只能获得相同的观看者参考位置。

作为示例，图8图示了简单的示例，其中，当前观看者姿态指示具有在给定方向805上的视图/视口803的眼睛位置801。在这种情况下，观看者参考位置807被确定为具有到眼睛位置801的后方偏移809。图8图示了具有不同取向的两个示例。能够清楚地看出，观看者参考位置取决于旋转(如果将两个示例中的眼睛位置801视为处于同一位置，则被确定为观看者参考位置807的位置将明显不同)。

图9图示了其中观看者姿态901指示用户的两眼之间的中点的对应示例。后方方向上的偏移903提供了观看者参考位置905。图10示出了两个重叠的示例，其中，观看者姿态表示相同的位置但不同的取向。能够清楚地看到，对应的观看者参考位置是不同的。

因此，当观看者参考位置与场景参考位置对齐时，不同的取向将引起特别是锚定姿态与观看者姿态之间的不同对齐。这在图11中被示为ODS圆图像表示，并且在图12中被示为通过针对三个捕获姿态的图像得到的图像表示的示例。在后一示例中，捕获配置的取向没有改变，但是应当理解，在一些实施例中，这可以例如旋转以对应于观看者姿态之间的取向差异。

发明人已经认识到，在许多实际应用中，这样的与取向相关偏移的对齐可以提供显著提高的质量。特别地，已经发现在观看者局限于相对较小的头部移动和旋转的应用中提供了显著提高的质量。在这种情况下，偏移的自适应变化可以有效地将图像数据从常规使用的标称和默认位置移开。这可能要求执行某种额外的视图移位，这可能会降低针对该特定观看姿态的图像质量。然而，发明人已经认识到，它通常可以提高针对其他近侧姿态的图像质量，特别是针对旋转移动的图像质量。实际上，通过应用合适的偏移，可以减少一些其他姿态所要求的视图移位，从而允许提高这些姿态的质量。发明人还认识到，自适应后方偏移通常可以为非对齐观看者姿态(即，不对应于标称默认姿态的姿态)提供质量提高，针对非对齐观看者姿态的质量劣化显著超过针对对齐观看者姿态的任何质量劣化。发明人已经特别认识到，自适应后方偏移能够利用以下内容：对向前(和向后)方向上的视点移位的质量的影响显著低于对侧边视点移位的质量的影响(例如由于去遮挡效应)。

该方法因此可以通过牺牲针对标称观看者姿态的某种质量劣化以换取在一定范围的其他观看者姿态上显著提高质量来提供改善的折衷。特别地，对于头部移动受限的应用，这通常可以提供显著改善的用户体验，并且还可以降低重新对齐的要求，因为能够在更大范围的姿态上支持给定的要求的图像质量。

偏移的确切大小在不同的实施例中可以不同，并且在许多实施例中可以被动态地确定。然而，在许多实施例中，后方偏移分量以及因此在观看方向的相反方向上的偏移在观看者坐标系中不小于1cm、2cm或4cm。观看者坐标系通常是反映观看者姿态的实际变化的真实世界尺度坐标系，并且特别是现实世界中的位置。后方偏移分量因此可以对应于针对观看者姿态的在真实世界尺度中的至少1cm、2cm或4cm。

这样的最小偏移值通常可以确保偏移具有显著影响并且对于许多实际观看者姿态和姿态变化能够实现显著的质量提高。

在许多实施例中，在观看者坐标系中，向后偏移分量以及因此在观看方向的相反方向上的偏移不超过8cm、10cm或12cm。后方偏移分量可以对应于在针对观看者姿态的真实世界尺度中不超过8cm、10cm或12cm。

这样的最小偏移值通常可以确保偏移足够低以确保偏移不会不合理地影响针对对齐观看者姿态的生成的图像的质量。

特别地，选择具有这样的参数的偏移可以得到通常被定位在观看者的头部内的观看者参考位置。

偏移值能够被认为是在前向观看质量与侧边观看质量之间取得平衡。由于较小的视点移位，较小的偏移值会导致前向观看误差较小。然而，由于去遮挡，头部旋转会导致质量快速劣化。劣化的影响和实际上对侧边观看的偏移的影响通常往往远大于对前向观看的影响，因此使用偏移的益处往往会为头部旋转提供显著提高的益处，同时仅对前向观看造成轻微的劣化。

因此，当预计观看者主要向前看时，较小的偏移值(1-4cm)是有用的。较大的偏移值(8-12cm)到与头部的旋转轴线(从颈部向上突出)相对应的偏移值会导致质量不太依赖于头部旋转。正因如此，当预计观看者会更多地环顾四周时，较大的偏移值是合适的。中等偏移值对应于我们对典型的观看者行为的预计最优值，其中，存在向前看的偏差，因此有利于为向前观看提供更多质量，并且该方法被应用于减少侧边观看的劣化。

在许多实施例中，向后偏移分量以及因此在观看方向的相反方向上的偏移不小于(标称/默认/假定的)眼间距的1/10、1/5、1/3或1/2。在许多实施例中，向后偏移分量以及因此在观看方向的相反方向上的偏移不超过(标称/默认/假定的)眼间距的1倍、1.5倍或2倍。

在一些实施例中，针对偏移的归一化尺度可以被认为在[0,1]的范围内，其中，在相机处为0(例如，没有因旋转引起的位置变化)并且在颈部/头部旋转位置处为1。1的归一化距离通常被认为对应于例如8、10或12cm。

在不同的实施例中，可以使用不同的用于确定偏移的方法。例如，在一些实施例中，可以简单地在所有情况下应用预定和固定的偏移。因此，偏移可以是对齐过程的固有部分并且可以被硬编码到算法中。然而，在许多实施例中，可以在操作期间动态地确定偏移。

在一些实施例中，可以在服务器侧生成偏移并且可以将偏移与图像表示一起提供给绘制设备，并且特别地作为图像信号的部分。

特别地，图2的VR服务器103可以包括偏移生成器209，该偏移生成器209被布置为确定针对被执行了对齐的观看者姿态的观看者参考位置和观看者眼睛位置之间的偏移。当将场景坐标系与观看者坐标系对齐时，偏移生成器209因此可以确定要在场景参考位置与观看者眼睛位置之间应用的偏移。如前所述，偏移包括在与观看者眼睛位置的观看方向相反的方向(即，与针对对齐观看者姿态的观看方向相反的方向)上的偏移分量。然后可以生成偏移指示以至少部分地表示该偏移，并且该偏移指示可以被包括在被传送到客户端设备101的图像信号中。客户端设备101然后可以继续根据偏移指示来确定要应用的偏移，然后，客户端设备101可以在对齐场景坐标系与观看者坐标系时使用该偏移，特别地，客户端设备101可以将该偏移应用于观看者眼睛位置以确定观看者参考位置。在许多实施例(例如对于广播应用)中，这样的方法可以是特别有利的。该方法可以特别地允许执行优化过程以根据合适的准则来确定最佳偏移，然后可以将该优化的偏移传送到在执行对齐时能够使用它的所有客户端设备。

因此，在这样的实施例中，客户端设备101可以接收图像数据信号，该图像数据信号除了图像表示之外还包括偏移指示。客户端设备101然后可以直接(或例如在修改之后)使用该偏移。

因此，可以基于例如优化过程来动态地确定该偏移。这样的过程可以在源处执行或者可以例如由绘制设备(即，在先前的示例中由客户端设备101)执行。

偏移生成器209可以使用任何合适的方法来生成适当的偏移。例如，在一些实施例中，可以使用用户输入来选择优选的偏移，例如通过使得用户能够动态地调整偏移并且然后针对不同的观看者姿态生成图像来选择优选的偏移。在其他实施例中，可以使用自动化过程来评价偏移的候选值的范围，并且可以使用在合适的观看者姿态范围内得到最高质量的值。

服务器可以特别地模拟在绘制侧执行的操作以评价不同偏移的影响。例如，服务器可以通过模拟将由绘制器执行的处理来评价不同的候选值，然后使用合适的质量量度来评价结果得到的质量。实际上，当确定要在图像数据流中指示的偏移时，关于绘制器/接收器/客户端并且特别是关于偏移处理器309描述的方法、算法和考量也可以由偏移生成器209来执行。

还应当理解，可以使用任何合适的方式来提供偏移的指示。在许多实施例中，可以(例如通过提供二维或三维向量指示)描述要应用的完整描述的偏移。这样的偏移向量可以例如指示要应用的偏移的方向和大小。当确定观看者参考位置时，绘制器然后可以将向量定位在对齐眼睛位置处并且具有相对于针对对齐观看者姿态的眼睛观看方向确定的方向。

在一些实施例中，偏移指示可以仅包括偏移的部分表示。例如，在许多实施例中，偏移指示可以仅包括距离/大小指示和/或方向指示。在这样的情况下，绘制器可以例如为这些项目确定合适的值。因此，在一些实施例中，偏移的确定可以基于在服务器侧和客户端侧这两者做出的决定。例如，方向可以由偏移指示来给出并由服务器来确定，而大小/距离由绘制器来确定。下面将描述由偏移处理器309确定偏移的方法。应当理解，所描述的原理和方法同样能够由偏移生成器209来执行，结果得到的偏移被包括在图像数据流中。因此，在下文中，对偏移处理器309的引用可以被认为同样地(比照地)适用于偏移生成器209。

该方法基于偏移处理器309针对偏移的不同候选值确定针对一个或多个观看者姿态的误差度量(值/量度)。然后它可以选择得到最低误差度量的候选值并且在执行对齐时将该值用于偏移。

在许多实施例中，可以响应于针对多个观看者姿态(例如特别是针对一定范围的观看者姿态)的误差度量的组合而确定针对给定候选偏移的误差度量。例如，针对不同的观看者姿态，当偏移被设置为候选偏移时，可以确定指示当根据图像表示生成针对那个观看姿态的视图图像时图像质量劣化的误差度量。然后可以对结果得到的针对不同的观看者姿态的误差度量求平均以提供针对候选值的组合误差度量。然后能够比较针对不同候选值的组合误差度量。

在许多实施例中，可以通过组合来自多个不同位置和/或针对多个不同姿态的误差度量来生成针对候选值的误差度量。

在一些实施例中，针对一个候选值的一个观看者姿态的误差度量可以响应于针对多个注视方向并且通常针对一定范围的注视方向的误差度量。因此，不仅可以考虑不同的位置和/或取向，而且对于给定的姿态，还可以考虑在不同注视方向上(即，针对给定的观看姿态在视口的不同方向上)的质量。

作为示例，偏移处理器309可以确定针对2cm、4cm、6cm、8cm、10cm和12cm的后方偏移的误差度量。误差度量可以例如针对对应的候选偏移中的每个候选偏移被确定为针对一组观看者姿态(例如，对应于当前用户将他的头部向左或向右转动了正好15°、30°和45°的量的观看者姿态)的绘制图像的图像质量的指示。然后可以选择引起最低误差度量的候选偏移。

在不同实施例中，所考虑的确切误差度量可能不同。通常，合适的误差度量指示根据针对该姿态和候选偏移的图像表示进行视图合成的质量劣化。因此，针对观看者姿态和候选值的误差度量包括根据图像表示(的至少一幅图像)合成的针对观看者姿态的视图图像的图像质量度量。

在基于根据场景模型进行的图像生成在服务器侧确定偏移的实施例中，可以生成针对给定的候选偏移和观看者姿态的图像并将其与直接根据模型生成的对应图像进行比较。

在其他实施例中，可以使用更多的间接措施。例如，可以确定从对其合成图像数据的观看者姿态到对其提供图像数据的捕获姿态(具有给定的候选偏移)的距离。该距离越大，误差度量就被视为越大。

在一些实施例中，误差度量的确定可以包括考虑一个以上的捕获姿态。因此，可以特别考虑在图像表示包括一个以上的捕获姿态的情况下能够基于不同的锚定姿态图像来生成针对给定观看者姿态的合成图像。例如，针对诸如图12的图像表示之类的图像表示，合成可以基于任一幅锚定图像，并且实际上可以通过考虑锚定图像中的两幅或更多幅锚定图像来生成给定像素的合成图像。例如，可以使用内插。

因此，在一些实施例中，针对观看者姿态和候选值的误差度量包括针对观看者姿态的视图图像的图像质量度量，该视图图像是根据图像表示的至少两幅图像合成的，其中，至少两幅图像具有取决于候选偏移值的相对于观看者姿态的参考位置。

将参考图13-15来描述用于选择偏移量的方法的特定示例。在该示例中，图像表示是单幅ODS立体图像。

图13将观看者的头部图示为椭圆，其中，两个眼睛位置/视点朝向前方。对应于当前/对齐观看者姿态的标称头部姿态被图示为与y轴重合。该图还示出了一些可能的头部旋转(分别向左旋转了45°和90°)(对应的向右旋转仅由眼睛位置来图示)。

图13还图示了如何常规地进行对齐而使得ODS视圆被定位为与观看者的眼睛重合。

图14图示了能够如何为对应于头部旋转α的观看姿态生成误差度量的示例。在该示例中，能够确定结果得到的左眼位置xl、yl，并且对于该位置，确定注视方向β。确定从眼睛位置xj、xy到在位置xl'、yl'处的ODS视圆的切线的距离D，该ODS视圆包括在注视方向上的光线的图像数据。该距离D指示当ODS视圆被如图所示地定位时在根据ODS视图图像生成图像时针对头部旋转α在注视方向β上的像素发生的图像劣化。因此，可以通过对在一定范围的注视方向(例如，-45°＜β＜+45°)和一定范围的头部旋转角度(例如，-90°＜β＜+90°)上的对应误差度量求平均来生成组合误差度量)(在一些实施例中，也可以考虑头部的不同位置)。结果得到的组合误差度量因此可以指示根据如图所示的那样定位的ODS立体图像生成针对头部旋转的视图图像时所要求的“视点移位距离”的平均幅值。

在许多实施例中，可以对左眼和右眼都执行该方法并且可以组合针对左眼和右眼的度量。

如图15所示，这可以针对ODS视圆的不同位置来进行，并且特别是针对y方向上的不同偏移来进行，并且可以选择找到最小误差度量的偏移/位置作为用于对齐的偏移。

在一些实施例中，偏移直接在向后方向上，因此直接在针对当前/对齐观看者姿态的观看方向的相反方向上。相对于观看者坐标系(因此相对于观看者)，向后方向在观看者的矢状面或正中面与横向平面或轴向平面的相交(或平行于该相交)的方向上(参见例如

https://en.wikipedia.org/wiki/Anatomical_plane)。该方向(例如在超声中)也被称为轴向(向前的，进入身体的)方向。

然而，在一些实施例和场景中，偏移还可以包括侧向分量，即，偏移可以包括在垂直于针对对齐观看者姿态的观看方向的方向上的偏移分量。该侧向分量仍然可以在水平方向上，特别是可以在与观看者的两眼之间的方向相对应的方向上。

侧向分量可以相对于观看者坐标系(因此相对于观看者)在观看者的冠状面或额状面与横向平面或轴向平面的相交(或平行于该相交)的方向上。该方向(例如在超声中)也被称为侧向方向。

侧向偏移分量可以提供更灵活的方法，其在许多实施例中可以在一定范围的观看者姿态内提供提高的质量。例如，如果已知或假设被执行了对齐的当前观看者姿态相对于观看者的预计或假设的进一步移动不对称，则可以通过朝向更可能是观看者未来位置的位置侧向偏移观看者参考位置来实现针对未来观看者姿态的提高的平均质量。

在一些实施例中，偏移可以包括垂直分量。

垂直分量可以相对于观看者坐标系(因此相对于观看者)在观看者的冠状面或额状面与矢状面或正中面的相交(或平行于该相交)的方向上。该方向(例如在超声中)也被称为横向方向。

例如，典型的场景有更多低于视线水平，然后高于视线水平的情况。当观看者更可能向下看然后向上看时，当观看者向下看时，有小的向上偏移以减少去遮挡的量是有利的。

作为另一示例，可以认为观看者可以通过上下点头来移动他的头部。这将使眼睛位置和取向发生移动，从而影响视点移位。可以增强先前描述的方法以进一步考虑确定垂直偏移。例如，当确定针对给定的候选偏移值的误差度量时，这可以包括评价对应于不同的上下头部旋转的观看者姿态。类似地，可以评价具有垂直分量的候选偏移值。

这样的方法可以为用户移动提供提高的灵活性并且可以为增加的移动范围提供提高的整体质量。

应当理解，为了清楚起见，以上描述已经参考不同的功能电路、单元和处理器描述了本发明的实施例。然而，显然可以使用不同的功能电路、单元或处理器之间的任何合适的功能分布，而不会偏离本发明。例如，被图示为由单独的处理器或控制器执行的功能可以由相同的处理器或控制器来执行。因此，对特定的功能单元或电路的引用仅被视为对用于提供所描述的功能的合适模块的引用，而不是指示严格的逻辑或物理结构或组织。

本发明能够以任何合适的形式来实施，包括硬件、软件、固件或这些项目的任何组合。本发明可以任选地至少部分地被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和分量可以以任何合适的方式在物理上，在功能上和在逻辑上实施。实际上，该功能可以在单个单元中，在多个单元中或作为其他功能单元的部分来实施。正因如此，本发明可以在单个单元中实施或者可以在物理上和功能上分布在不同的单元、电路和处理器之间。

虽然已经结合一些实施例描述了本发明，但是这并不旨在将本发明限于本文阐述的特定形式。而是，本发明的范围仅由权利要求来限制。另外，虽然似乎结合特定实施例描述了特征，但是本领域技术人员将认识到，根据本发明可以组合所描述的实施例的各种特征。在权利要求中，术语包括并不排除其他元件或步骤的存在。

此外，虽然被单独列出，但是多个模块、元件、电路或方法步骤可以通过例如单个电路、单元或处理器来实施。另外，虽然单独的特征可能被包括在不同的权利要求中，但是这些特征可能被有利地组合，并且这些特征被包括在不同的权利要求中并不意味着这些特征的组合是不可行的和/或不是有利的。而且，在一个权利要求类别中包括特征并不意味着对这一类别的限制，而是表明该特征在适当时同样适用于其他权利要求类别。此外，权利要求中的特征的顺序并不意味着这些特征必须以任何特定的顺序工作，特别是方法权利要求中的各个步骤的顺序并不意味着这些步骤必须按该顺序执行。而是，这些步骤可以以任何合适的顺序执行。另外，单数引用并不排除复数。因此，对“一”、“一个”、“第一”、“第二”等的引用并不排除多个。权利要求中的附图标记仅被提供用于清楚地说明示例，而不应被解释为以任何方式限制权利要求的范围。

根据一些实施例，可以提供：

一种用于绘制图像的装置，所述装置包括：

接收器(301)，其用于接收场景的图像表示，所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括参考位置；

确定器(305)，其用于确定针对观看者的观看者姿态，所述观看者姿态是相对于观看者坐标系而提供的；

对齐器(307)，其用于通过将所述场景参考位置与所述观看者坐标系中的观看者参考位置对齐来将所述场景坐标系与所述观看者坐标系对齐；

绘制器(303)，其用于响应于所述图像表示以及所述场景坐标系与所述观看者坐标系的所述对齐而绘制针对不同的观看者姿态的视图图像；

所述装置还包括：

偏移处理器(309)，其被布置为响应于对齐观看者姿态而确定所述观看者参考位置，所述观看者参考位置取决于所述对齐观看者姿态的取向并且具有针对所述对齐观看者姿态的相对于观看者眼睛位置的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量。

一种用于生成图像信号的装置，所述装置包括：

接收器(201)，其用于接收表示从一个或多个姿态看到的场景的多幅图像；

表示处理器(205)，其用于生成提供所述场景的图像表示的图像数据，所述图像数据包括所述多幅图像，并且所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括场景参考位置；

偏移生成器(209)，其用于生成偏移指示，所述偏移指示指示所述场景参考位置与观看者坐标系中的观看者参考位置之间的偏移；

输出处理器(207)，其用于生成所述图像信号以包括所述图像数据和所述偏移指示。

一种绘制图像的方法，所述方法包括：

接收场景的图像表示，所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括参考位置；

确定针对观看者的观看者姿态，所述观看者姿态是相对于观看者坐标系而提供的；

通过将所述场景参考位置与所述观看者坐标系中的观看者参考位置对齐来将所述场景坐标系与所述观看者坐标系对齐；

响应于所述图像表示以及所述场景坐标系与所述观看者坐标系的所述对齐而绘制针对不同的观看者姿态的视图图像；

所述方法还包括：

响应于对齐观看者姿态而确定所述观看者参考位置，所述观看者参考位置取决于所述对齐观看者姿态的取向并且具有针对所述对齐观看者姿态的相对于观看者眼睛位置的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量。

一种用于生成图像信号的方法，所述方法包括：

接收表示从一个或多个姿态看到的场景的多幅图像；

生成提供所述场景的图像表示的图像数据，所述图像数据包括所述多幅图像，并且所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括场景参考位置；

生成偏移指示，所述偏移指示指示所述场景参考位置与观看者坐标系中的观看者参考位置之间的偏移；

生成所述图像信号以包括所述图像数据和所述偏移指示。

上述装置和方法可以与从属权利要求的特征中的每个特征单独组合或者以任何组合方式进行组合。

Claims (16)

1.一种用于绘制图像的装置，所述装置包括：

接收器(301)，其用于接收场景的图像表示，所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括参考位置；

确定器(305)，其用于确定针对观看者的观看者姿态，所述观看者姿态是相对于观看者坐标系而提供的；

对齐器(307)，其用于通过将所述场景参考位置与所述观看者坐标系中的观看者参考位置对齐来将所述场景坐标系与所述观看者坐标系对齐；

绘制器(303)，其用于响应于所述图像表示以及所述场景坐标系与所述观看者坐标系的所述对齐而绘制针对不同的观看者姿态的视图图像；

所述装置还包括：

偏移处理器(309)，其被布置为响应于作为被执行了对齐的观看者姿态的第一观看者姿态而确定所述观看者参考位置，所述观看者参考位置取决于所述第一观看者姿态的取向并且具有针对所述第一观看者姿态的相对于观看者眼睛位置的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量；

其中，所述接收器(301)被布置为接收图像数据信号，所述图像数据信号包括所述图像表示并且还包括偏移指示；并且其中，所述偏移处理器(309)被布置为响应于所述偏移指示而确定所述偏移。

2.根据权利要求1所述的装置，其中，所述偏移分量不小于2cm。

3.根据任一前述权利要求所述的装置，其中，所述偏移分量不超过12cm。

4.根据任一前述权利要求所述的装置，其中，所述偏移处理器(309)被布置为响应于针对至少一个观看者姿态的误差度量而确定所述偏移，所述误差度量取决于所述偏移的候选值。

5.根据权利要求4所述的装置，其中，所述偏移处理器(309)被布置为响应于针对多个观看者姿态的误差度量的组合而确定针对候选值的所述误差度量。

6.根据前述权利要求4或5中的任一项所述的装置，其中，针对观看者姿态和所述偏移的候选值的所述误差度量包括根据所述图像表示的至少一幅图像合成的针对所述观看者姿态的视图图像的图像质量度量，所述至少一幅图像具有取决于所述候选值的相对于所述观看者姿态的位置。

7.根据前述权利要求4或5中的任一项所述的装置，其中，针对观看者姿态和所述偏移的候选值的所述误差度量包括根据所述图像表示的至少两幅图像合成的针对所述观看者姿态的视图图像的图像质量度量，所述至少两幅图像具有取决于所述候选值的相对于所述观看者姿态的参考位置。

8.根据任一前述权利要求所述的装置，其中，所述图像表示包括全向图像表示。

9.根据任一前述权利要求所述的装置，其中，所述偏移包括在垂直于所述观看者眼睛位置的观看方向的方向上的偏移分量。

10.根据任一前述权利要求所述的装置，其中，所述偏移包括垂直分量。

11.一种用于生成图像信号的装置，所述装置包括：

接收器(201)，其用于接收表示从一个或多个姿态看到的场景的多幅图像；

表示处理器(205)，其用于生成提供所述场景的图像表示的图像数据，所述图像数据包括所述多幅图像，并且所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括场景参考位置；

偏移生成器(209)，其用于生成偏移指示，所述偏移指示指示当所述场景坐标系与观看者坐标系对齐时在所述场景参考位置与观看者眼睛位置之间应用的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量；

输出处理器(207)，其用于生成所述图像信号以包括所述图像数据和所述偏移指示。

12.根据任一前述权利要求所述的装置，其中，所述偏移生成器(209)被布置为响应于针对至少一个观看者姿态的误差度量而确定所述偏移，所述误差度量取决于所述偏移的候选值。

13.根据权利要求12所述的装置，其中，所述偏移生成器(209)被布置为响应于针对多个观看者姿态的误差度量的组合而确定针对候选值的误差度量。

14.一种绘制图像的方法，所述方法包括：

接收场景的图像表示，所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括参考位置；

确定针对观看者的观看者姿态，所述观看者姿态是相对于观看者坐标系而提供的；

通过将所述场景参考位置与所述观看者坐标系中的观看者参考位置对齐来将所述场景坐标系与所述观看者坐标系对齐；

响应于所述图像表示以及所述场景坐标系与所述观看者坐标系的所述对齐而绘制针对不同的观看者姿态的视图图像；

所述方法还包括：

响应于第一观看者姿态而确定所述观看者参考位置，所述观看者参考位置取决于所述第一观看者姿态的取向并且具有针对所述第一观看者姿态的相对于观看者眼睛位置的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量；

其中，接收所述场景的所述图像表示包括接收图像数据信号，所述图像数据信号包括所述图像表示并且还包括偏移指示；并且还包括响应于所述偏移指示而确定所述偏移。

15.一种用于生成图像信号的方法，所述方法包括：

接收表示从一个或多个姿态看到的场景的多幅图像；

生成提供所述场景的图像表示的图像数据，所述图像数据包括所述多幅图像，并且所述图像表示是相对于场景坐标系而提供的，所述场景坐标系包括场景参考位置；

生成偏移指示，所述偏移指示指示当所述场景坐标系与观看者坐标系对齐时在所述场景参考位置与观看者眼睛位置之间应用的偏移，所述偏移包括在与所述观看者眼睛位置的观看方向相反的方向上的偏移分量；

生成所述图像信号以包括所述图像数据和所述偏移指示。

16.一种包括计算机程序代码模块的计算机程序产品，当所述程序在计算机上运行时，所述计算机程序代码模块适于执行权利要求14或15的所有步骤。

Images