[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111712859B - 用于生成视图图像的装置和方法 - Google Patents

用于生成视图图像的装置和方法 Download PDF

Info

Publication number
CN111712859B
CN111712859B CN201880089262.6A CN201880089262A CN111712859B CN 111712859 B CN111712859 B CN 111712859B CN 201880089262 A CN201880089262 A CN 201880089262A CN 111712859 B CN111712859 B CN 111712859B
Authority
CN
China
Prior art keywords
scene
view
data
orientation
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880089262.6A
Other languages
English (en)
Other versions
CN111712859A (zh
Inventor
W·H·A·布鲁斯
C·韦雷坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111712859A publication Critical patent/CN111712859A/zh
Application granted granted Critical
Publication of CN111712859B publication Critical patent/CN111712859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)

Abstract

一种用于生成针对场景的视图图像的装置包括存储设备(101)，所述存储设备存储表示来自查看区域的场景的三维场景数据。三维场景数据可以例如是从查看区域内的捕获位置捕获的图像和深度图。移动处理器(105)接收针对用户的运动数据，诸如头部或眼睛跟踪数据，并且根据运动数据来确定观察者查看位置和观察者查看取向。改变处理器(109)确定针对观察者查看取向的取向改变量度，并且适配器(111)被布置为响应于所述取向改变量度而减小观察者查看位置相对于查看区域的距离。图像生成器(103)根据场景数据来生成针对观察者查看位置和观察者查看取向的视图图像。

Description

用于生成视图图像的装置和方法
技术领域
本发明涉及生成针对场景的视图图像，并且特别但非排他地涉及生成针对虚拟或增强现实应用的视图图像。
背景技术
近年来，随着不断开发和引入新的服务以及利用和消费视频的方式，图像和视频应用的种类和范围已大大增加。
例如，一种越来越流行的服务是以这样的方式提供图像序列，使得观察者能够主动和动态地与系统交互以改变绘制的参数。在许多应用中，一个非常吸引人的特征是能够更改观察者的有效查看位置和查看方向(查看姿势)的能力，例如允许观察者在呈现的场景中移动并“环顾四周”。
这样的特征可以具体地使得能够将虚拟现实体验提供给用户。这可以允许用户在虚拟环境中(相对)自由移动，并动态地改变他的位置和他在看的地方。通常，这样的虚拟现实应用基于场景的三维模型，其中，该模型被动态评价以提供特定请求视图。这种方法从例如用于计算机和控制台的游戏应用中公知，例如在第一人称射击游戏的游戏类别中。
尤其对于虚拟或增强现实应用，还期望所呈现的图像是三维图像。实际上，为了优化观察者的沉浸感，通常优选的是用户将呈现的场景体验为三维场景。实际上，虚拟现实体验应该优选地允许用户选择他/她自己的位置、相机视点以及相对于虚拟世界的时刻。
支持基于场景的(尤其是捕获的三维)表示的各种服务的主要问题是需要大量数据。这导致高的资源要求，例如需要大的存储资源。
为了支持许多这样的新应用和服务，期望可以准确地捕获场景。与其中单个视点的单个视口通常足够(例如，常规视频序列)的常规应用相反，期望如果可以准确地捕获场景中的完整3D信息。
在许多应用中，可以通过移动手持相机来捕获静态场景。在捕获后，捕获的图像的相机位置和查看方向被导出，并被用作基础图像以进行视图合成或生成针对场景的三维模型。
然而，为了使基于捕获的图像的这种表示足够准确，需要由图像捕获足够量的相关信息。这趋向于要求相对高的空间捕获频率/密度，这再次导致高的资源要求(例如，存储和通信)。
在一些应用中，可以通过提供场景的更有限表示来至少部分解决此类问题。例如，许多虚拟现实应用可以向用户提供场景的视图，其仅允许受限的移动和取向改变，并且不提供在场景中四处移动的完全自由。例如，虚拟现实应用可以针对相对静态(例如，坐在或站立在诸如屏幕前面的受限区域中)的用户。
对于这样的应用，可以将场景的表示减少为基于从相对小区域(或者实际上从单个视图位置)的捕获。例如，可以从比如以规则的5x5网格排列的25个位置中捕获场景，其总大小常常小于50cm。这样的捕获可以为捕获区域内的视点提供场景的良好捕获，但是还允许针对与其相距特定距离(例如，取决于场景的特性的达到一米或更小)的视点生成视图。
然而，所生成的视图图像的质量倾向于随着距捕获区域的距离而降低，并且例如在期望的视点处由去遮挡和深度缺陷导致的伪影、失真和错误变得越来越重要。问题在于，用户并不总是容易或明显知道要向哪个方向移动以便再次处于“甜点(sweetspot)”。实际上，这将趋于降低感知的体验质量，这能够导致虚拟观察者的移动受到应用的限制。
THATTE JAYANT等人：“Depth augmented stereo panorama for cinematicvirtual reality with focus cues”，2016年9月25日，第1569-1573页公开了一种用于生成具有深度的全向立体视图的装置。它描述了视差效果与捕获的视图。其还公开了借助于深度信息的内插。
RICHARDT CHRISTIAN等人：“Megastereo:Constructing High-ResolutionStereo Panoramas”，2013年6月23日，第1256-1263页公开了一种用于生成全向立体视图的装置。其解决了视差效应，并提供了基于光流的融合作为解决方案。
用于生成视图图像的改进方法将是有利的。特别地，允许改进和/或便利的操作或实施方式、改进的用户灵活性和自由度、减少的捕获要求、改进的图像质量、改进的用户体验和/或改进的性能的方法将是有利的。
发明内容
因此，本发明试图优选地单独地或以任意组合减轻、缓解或消除上述缺点中的一个或多个。
根据本发明的方面，提供了一种用于生成场景的视图图像的装置，所述装置包括：存储设备，其用于存储表示来自查看区域的场景的三维场景数据；移动处理器，其用于接收用户的运动数据并根据运动数据来确定观察者查看位置和观察者查看取向；改变处理器，其用于确定观察者查看取向的取向改变量度；适配器，其用于响应于取向改变量度而减小观察者查看位置相对于查看区域的距离；图像生成器，其用于根据场景数据来生成针对观察者查看位置和观察者查看取向的视图图像，其中，三维场景数据包括具有场景的深度表示的全向立体，并且适配器被布置为通过减小观察者查看位置与具有深度表示的全向立体的视图圆圈的中心位置之间的距离来减小距离。
在许多实施例和应用中，本发明可以提供改进的操作、性能和/或用户体验。所述方法可以在许多应用中从较小量的场景数据中提供具有更高图像质量的改进的用户体验。在许多实施例中，可以基于仅在查看区域内捕获的场景数据来为场景生成三维视图图像(例如，右眼图像和左眼图像)。可以生成视图图像以跟踪用户移动并反映姿势改变。该系统在许多情况下可以提供立体视觉和运动视差两者，而不管基于例如场景的全向立体(ODS)表示的形式的场景数据。此外，观察者查看位置朝向查看区域的偏置可以实现所生成的视图图像具有更高的图像质量，通常具有更少的误差、伪影和失真。偏置可被限制为用户最不可察觉到偏置的影响(例如，以不正确的运动视差的形式)的时间。
方法可以例如允许虚拟或增强现实体验，其中，所提供的视图图像以正确的立体视觉和视差跟随用户，除了当视图返回到查看区域时在高旋转移动的时间期间(例如，提供“橡胶带”效果，其中，将用户拉向查看区域)。在实践中，已经发现这种用户体验对于许多应用是高度有吸引力的。
适配器可被布置为通过修改观察者查看位置和查看区域的至少一个参考位置中的至少一个来减小距离。
取向改变量度可以是旋转运动量度，并且可以指示用户移动的旋转分量，并且可以独立于用户移动的平移分量。运动可以包括加速度，或者实际上包括位置的任何变化或倒数阶次。
场景数据可以具体地是捕获的数据，并且可以具体地包括来自查看区域内的一组捕获位置/姿势的捕获的图像和深度数据。
取向改变量度可以指示观察者查看取向的大小(例如，在时间间隔内)或改变率。
根据本发明的任选特征，适配器被布置为仅在取向改变量度超过阈值时减小距离。
这可以提供改进的操作和/或性能，和/或可以在许多应用中提供有吸引力的用户体验。当用户运动与所生成的视图图像之间的结果差异较不可由用户/观察者注意(或实际上不可注意)时，所述方法可以允许施加朝向查看区域的偏置。
根据本发明的任选特征，适配器被布置为逐渐减小距离。该距离可以减小到某个值，使得观察者足够接近与捕获的数据/有效区域相对应的视图圆圈。所述值可以为零。
这可以在许多情形和应用中提供改进的用户体验。
根据本发明的任选特征，距离的减小的速率是取向改变量度的单调增加的函数。
这可以在许多情形和应用中提供改进的用户体验。在许多实施例中，其可以允许对查看区域的更强的偏置(例如，“橡胶带”)，同时维持用户移动与所生成的视图图像之间的所得到的差异的低可感知性。
根据本发明的任选特征，适配器被布置为对减小速率施加上限。
在许多情形下，这可以提供改进的用户体验。根据本发明的任选特征，运动数据包括头部运动跟踪数据。
该系统可以为根据头部移动提供针对场景的视图图像的应用提供非常吸引人的用户体验。其可以提供虚拟现实体验，其可以感觉非常逼真，而不管例如仅基于相对小区域中捕获的场景数据。
根据本发明的可选任选特征，运动数据包括眼睛瞳孔跟踪数据。
所述系统可以为根据瞳孔移动来提供针对场景的视图图像的应用提供非常吸引人的用户体验。其可以提供虚拟现实体验，其可以感觉非常逼真，而不管例如仅基于在相对小区域中捕获的场景数据。
根据本发明的任选特征，改变处理器被布置为响应于由头部运动跟踪数据和眼睛瞳孔跟踪数据指示的相对移动而确定取向改变量度。
该系统可以通过考虑头部跟踪数据和眼睛瞳孔跟踪数据两者来提供特别吸引人的用户体验。例如，可以一起考虑头部和眼睛/瞳孔的相对移动，以产生有效的注视跟踪，其中，取向改变量度反映了针对注视的取向改变。当头部移动和瞳孔移动彼此补偿以减小注视的总体改变时(眼睛/瞳孔和头部移动在相反方向上)，这可以减少朝向查看位置的偏置。类似地，当头部移动和眼睛/瞳孔移动加起来以增加注视的总体变化时(眼睛/瞳孔和头部移动在相同方向上)，朝向查看位置的偏置可能增加。
根据本发明的任选特征，适配器被布置为通过修改三维场景数据的坐标来减小距离。
在许多实施例中，这可以促进操作和/或实施方式。在许多情况下，其可以提供改进的向后兼容性，并且例如允许用于根据运动数据确定观察者查看取向和观察者查看位置或用于生成视图图像的现有算法在没有修改或很少的修改的情况下重复使用。
根据本发明的任选特征，三维场景数据参考第一参考坐标系，并且观察者查看位置参考第二参考坐标系，并且适配器被布置为通过改变从第一参考坐标系到第二参考坐标系的映射来修改三维场景数据的坐标。
在许多实施例中，这可以促进操作和/或实施方式。
该方法可以仅基于ODS和场景的深度表示来提供场景的显示感知，并且因此可以实质性减少存储和捕获需求。
根据本发明的任选特征，图像生成器还被布置为通过基于视图圆圈和深度上的视图执行视点移位来生成不在视图圆圈上的视图的视图图像。
所述方法可以仅基于ODS和场景的深度表示来提供场景的显示感知。其可以允许生成视图图像，其为偏离视图圆圈的移动提供了立体视觉和运动视差两者。
根据本发明的任选特征，该装置被布置为执行虚拟现实或增强现实应用，并且其中，视图图像是针对虚拟现实或增强现实应用的观察者的视图图像。
本发明可以支持或实现有吸引力的虚拟现实或增强现实应用。
根据本发明的方面，提供了一种生成针对场景的视图图像的方法，所述方法包括：存储表示来自查看区域的场景的三维场景数据；接收针对用户的运动数据，并根据运动数据来确定观察者查看位置和观察者查看取向；确定针对观察者查看取向的取向改变量度；响应于取向改变量度而减小观察者查看位置相对于查看区域的距离；根据场景数据生成针对观察者查看位置和观察者查看取向的视图图像。
参考下文描述的(一个或多个)实施例，本发明的这些和其他方面、特征和优点将显而易见并得到阐述。
附图说明
将参考附图仅通过示例描述本发明的实施例，其中
图1图示了根据本发明的一些实施例的视图图像生成装置的元件的示例；
图2图示了场景的捕获图案的示例；
图3图示了全向立体表示的示例；
图4图示了相对于场景捕获的全向立体表示的视图圆圈的视位的示例；
图5图示了相对于场景捕获的全向立体表示的视图圆圈的视位的示例；
图6图示了相对于场景捕获的全向立体表示的视图圆圈的视位的示例；
图7图示了相对于场景捕获的全向立体表示的视图圆圈的视位的示例。
具体实施方式
以下描述聚焦于可应用于为虚拟或增强现实应用生成视图图像的本发明的实施例。然而，将意识到，本发明不限于该应用，而是可以应用于例如许多不同的图像处理和绘制应用中。
图1图示了根据本发明的一些实施例的视图图像生成装置的示例。视图图像生成装置被布置为生成与针对给定的观察者视位的场景的视图相对应的图像。在许多实施例中，视图图像生成装置被布置为生成针对给定的观察者姿势的立体图像，或者等效地，可以针对与观察者的两只眼睛之间的偏移相对应的稍微不同的观察者姿势生成两幅图像。
在本领域中，术语放置和姿势用作位置和/或方向/取向的通用术语。例如对象、相机或视图的位置和方向/取向的组合可以称为姿势或放置。因此，放置或姿势指示可以包括六个值/分量/自由度，其中，每个值/分量通常描述对应的对象的位置/定位或取向/方向的个体性质。当然，在许多情况下，例如，如果一个或多个分量被认为是固定的或不相关的，则放置或姿势可以以较少的分量来考虑或表示(例如，如果所有对象都被认为处于相同的高度并具有水平取向，则四个组件可以提供对象姿势的完整表示)。在下文中，术语姿势用于指代可以由一到六个值(对应于最大可能的自由度)表示的位置和/或取向。该描述将聚焦于姿势具有最大自由度的实施例和示例，即，位置和取向中的每个的三个自由度导致总共六个自由度。姿势因此可以由表示六个自由度的六个值的集合或向量表示，并且因此姿势向量可以提供三维位置和/或三维方向指示。然而，将意识到，在其他实施例中，姿势可以由更少的值表示。
视图图像生成装置可以例如是响应于从客户端接收的运动数据而向远程客户端提供视图图像的服务器。然而，在图1的特定示例中，视图图像生成装置可以是本地设备，例如个人计算机，其经由本地显示器或例如本地连接的头部单元(例如虚拟现实耳机/护目镜)的显示器来提供虚拟体验。
在该示例中，视图图像生成装置被布置为基于表示来自给定查看区域的场景的三维场景数据来生成视图图像。在一些实施例中，查看区域可以是单个位置或位置的一维集合，例如针对来自定位在线上的相机的一组图像的位置。在其他实施例中，查看区域可以是二维区域，诸如来自视图位置的网格的图像，或三维体积，诸如来自视图位置的立方体的图像。
将意识到，三维场景数据可以是允许场景的表示的任何场景数据，可以根据其生成针对其他视点的图像。例如，三维场景数据可以包括3D模型数据或具有关联纹理信息的网格/网。在特定示例中，三维场景数据包括针对查看区域中的一组查看姿势的图像。另外，针对图像包括深度信息，例如具体地由具有关联的深度(/差异)图的每幅图像来包括。
在示例中，三维场景数据是针对现实世界场景的特定捕获数据。场景数据可以具体包括从不同位置和不同方向为场景捕获的图像。然而，由于针对大量位置和方向生成捕获趋向于非常麻烦且耗时，并且需要实质性努力，因此场景数据仅包括来自可能相对小的给定查看区域(或捕获的场景数据的特定示例中的捕获区域)的捕获。
作为实施例的特定示例，可以使用锚位置的预定义网格来执行场景的捕获。在示例中，虚拟相机的网格在地面上方形成单个水平平面。姿势的图案/网格在图2中图示。在该图中，捕获位置可视化为带有四个箭头的球体/圆圈，该四个箭头指示要针对每个捕获位置捕获的四个水平方向/取向。如图所示，网格可以包括25个捕获位置，针对每个位置具有四个捕获取向，因此导致总共100个捕获姿势。在示例中，网格是大约在眼睛高度(1.7m)处的水平网格。(图2的示例可能更适合于将单个相机移动到不同捕获位置的顺序捕获。同时将图2的捕获图案与多个相机一起使用会导致相机遮挡来自其他相机的视图。在这种情况下，例如仅对应于图案边缘上的捕获位置的捕获图案可能更实际)。
在该示例中，高度(例如，y方向)对于捕获位置是恒定的，而对于不同的捕获位置，侧向(x)和入/出(z)方向不同。类似地，对于取向，y分量是固定的，而x方向和z方向不同。实际上，对于取向，所有捕获方向是水平的，并且相机的旋转也是静态的(图像是水平的)，因此取向可以由单个变量表达，例如具体地相对于例如x方向的角度。因此，在该示例中，姿势可以由具有三个分量的姿势向量表示。
以下描述将聚焦于其中根据称为“全向立体(ODS)”的特定现有3D图像格式表示场景数据的实施例。对于ODS，创建左眼图像和右眼图像的射线，使得这些射线使其原点位于直径通常等于例如瞳孔距离(例如，约6.3厘米)的圆圈上。对于ODS，将针对与视图圆圈的切线相对应的相反方向并且针对围绕视图圆圈的规则角距离处捕获窄角图像部分(请参见图3)。
对于给定的取向(查看角度)，可以通过针对与给定取向的视口内的视图方向匹配的方向将窄角图像部分组合来生成图像。因此，通过组合与不同方向上的捕获相对应的窄角图像部分来形成给定的视图图像，不同的窄角图像部分来自圆圈上的不同位置。因此，视图图像包括来自视图圆圈上不同位置的捕获而不是仅来自单个视点的捕获。然而，如果ODS表示的视图圆圈足够小(相对于场景的内容)，则可以将这一点的影响降低到可接受的水平。此外，由于沿给定方向的捕获可以重新用于多个不同的查看方向，因此可以实现所需的图像数据量的实质性减少。观察者的两只眼睛的视图图像通常将是通过在相反方向上针对适当切线的捕获生成的。
可以由ODS支持的理想头部旋转的示例如图4所示。在该示例中，头部旋转使得两只眼睛沿着直径等于瞳孔距离的圆圈移动。假设这对应于ODS视图圆圈的宽度，则可以通过选择与不同视图取向相对应的适当的窄角图像部分来简单地确定不同取向的视图图像。
但是，对于标准ODS，观察者将感知到立体视觉而不是运动视差。甚至具有观察者的微小运动(大约几厘米)，不存在运动视差趋向于提供不愉快的体验。例如，如果观察者移动使得眼睛不再完全落在ODS视图圆圈上，诸如图4中所图示的，则基于简单选择和组合适当的窄角图像部分来生成视图图像将导致所生成的视图图像是相同的，就好像用户的眼睛仍然在视图圆圈上一样，并且因此，应该由用户移动其头部产生的视差将不被表示，并且这将导致感知不能够相对于真实世界移动。
为了解决这一点，并允许基于ODS数据生成运动视差，可以将ODS格式扩展为包括深度信息。可以为每个窄角图像部分添加一个窄角深度图部分。该深度信息可以用于执行视点移位，使得生成的图像对应于视图圆圈外(或内)的新位置(例如，可使用已知图像和基于深度的视点移位算法来处理每幅视图图像或窄角图像部分)。例如，可以为每只眼睛创建3D网，并且基于针对左眼和右眼的网和纹理的ODS数据绘制可以用于引入运动视差。
但是，这样的视图移位可能引入误差、伪影和/或失真，并且为了在不特别引入失真/拉伸的情况下实现绘制，将要求观察者的眼睛保持在视图圆圈上。
当观察者仅经由小的头部平移和/或旋转稍微改变位置时(例如，如在图5的示例中)，该方法可以引入期望的视差，同时通常允许不想要的失真保持很小。然而，当观察者进行较大的移动时(例如当开始环顾四周时)，他的眼睛将位移到远离圆的位置，从而由于变形和去遮挡而导致潜在的大误差。这一点的示例在图6中示出，其中，上身旋转或全身旋转可以使观察者移动远离与所捕获的数据/有效区域相对应的视图圆圈。结果是，由于原始射线(虚线箭头)需要在大距离上移位，因此将发生不可接受的失真。
更一般地，由于在实践中趋于昂贵并且常常不可能使用大量的相机/捕获姿势，因此实际方法常常基于有限的空间3D区域，针对其，有效的捕获和处理的3D场景数据可用。基于场景数据，并且特别是基于图像和深度数据，针对该捕获或查看区域外部的视点的图像的绘制通常仍然可能。因此，仍然能够在查看区域外部绘制图像，但是这种视点移位具有引入误差、伪影和失真的风险，例如拉伸或不正确的去遮挡。
这能够导致降低的用户体验，具有降低的感知质量和/或受限的用户的自由度。例如，用户可能被限制将其头部保持在非常小的区域内，以便避免明显的降低或自然感知的丧失(特别是自然视差的丧失)。
图1的视图图像生成装置采用了可以在许多实施例中提供改进的性能的方法，并且其特别针对许多应用可以提供具有增加的质量和/或用户灵活性和自由度的改进的用户体验。
视图图像生成装置包括存储设备101，其被布置为存储表示来自查看区域的场景的三维场景数据。在特定示例中，场景数据包括具有深度表示的ODS。这种ODS格式具有带有相关联的深度图的左眼纹理，并且对于右眼同样如此。因此，总共有四幅图像，任选地打包在一起，其中两幅表示深度。ODS圆圈半径可以设置为标称6.5厘米，但可以根据内容和使用情况选择较小或较大的值。
视图图像生成装置还包括图像生成器103，其正在从场景数据生成针对观察者查看位置和观察者查看取向的视图图像。因此，基于观察者的姿势，图像生成器103可以继续生成分别针对右眼和左眼的视图图像。
在特定示例中，图像生成器103被布置为通过首先将深度图转换为3D网格(顶点和边缘)，并且然后使用标准纹理映射来生成针对给定新位置的视图图像，来生成针对给定观察者姿势的图像。本领域技术人员将意识到用于这种图像合成的多个已知的备选技术，例如凹凸映射、视差映射等，因此，为简洁起见，将不再赘述。
视图图像生成装置还包括移动处理器105，其被布置为接收针对用户的运动数据并用于根据该运动数据确定观察者查看位置和观察者查看取向。
运动数据可以从任何合适的源和/或传感器接收，并且可以以任何合适的形式表示运动。在特定示例中，移动处理器105耦合至由用户穿戴的头部单元107，头部单元107包括感测用户头部的移动的传感器，诸如陀螺仪和加速度传感器。
在一些实施例中，传感器数据可以直接提供给移动处理器105，其可以前进到基于接收到的传感器数据来确定用户的移动。然而，在许多实施例中，头部单元107可以包括用于将传感器数据进行处理以例如直接提供指示例如平移、旋转、加速等的数据的功能。事实上，在一些实施例中，头部单元可以直接提供例如通过提供三个位置和三个取向值的六维向量表示的用户姿势。
因此，当用户移动其头部时，头部单元107检测到该移动，并且移动处理器105确定对应的观察者姿势并将其馈送到图像生成器103，图像生成器103根据该姿势生成针对场景的观察者的眼睛的对应视图图像。所生成的视图图像可以例如经由头部单元中包括的左眼显示器和右眼显示器呈现给用户。因此，可以向用户提供可以跟随用户的移动的场景的三维视图。
然而，在图1的视图图像生成装置中，观察者位置并不总是排他地跟随用户移动。而是，视图图像生成装置包括用于调整观察者姿势的功能，使得这不是用户移动的直接一对一映射。而是，观察者姿势可以偏向查看区域，而不是自由跟随用户移动。
具体地，视图图像生成装置包括改变处理器109，其被布置为确定针对观察者查看取向的取向改变量度。取向改变量度可以具体地指示如由运动数据所指示的用户取向的改变的速度、量或程度。因此，较大且较快的取向改变通常将导致较高的取向改变量度。
取向改变量度反映了取向的变化而不是用户的位置，并且可以具体地指示用户的旋转而不是平移。因此，取向改变量度可以指示旋转分量，但是独立于用户移动的平移分量。例如，如果用户姿势由N个(例如3个)位置值和M个(例如3个)取向值表示，则取向改变量度可以独立于N个位置值并且反映M个取向值中的至少一个。在一些实施例中，可以根据用户移动的角旋转分量来确定取向改变量度。取向改变量度可以是旋转运动量度。
在示例中，改变处理器109耦合到移动处理器105，并且被布置为从这接收运动数据。例如，改变处理器109可以连续地接收用户取向值(例如，方位角)，并且连续地监测该角度的大小和/或变化率。
改变处理器109还耦合到适配器111，适配器111还耦合到图像生成器103。适配器111接收取向改变量度，并且作为响应，其被布置为调整处理，使得观察者查看位置与查看区域之间的距离减小。距离的减小取决于取向改变量度，例如，其中，仅当取向改变量度指示超过给定阈值的速率/大小(例如在预定时间间隔内)时才执行调整/减小。
如稍后将更详细描述的，基于取向改变量度，可以使用不同的方法来减小距离。在一些实施例中，适配器111可以简单地被布置为修改观察者位置，使得其移动为更接近查看/捕获区域。例如，在许多实施例中，观察者查看位置可以被生成为来自给定原点的相对移动，并且适配器可以被布置为如果取向改变量度超过阈值则改变观察者查看位置以对应于查看原点中的位置。然后相对于该新参考，进行观察者查看位置的后续改变。可以在不改变查看取向的情况下进行参考位置的改变。
在图7中图示了特定示例。在这种情况下，用户原始地用在所存储的ODS数据的视图圆圈701上的眼睛定位。图像生成器103相应地为该第一视位703生成视图图像，所述视图图像恰好居中于ODS视图圆圈701的中心。随着用户随后移动，该姿势可以在位置和取向两者方面改变。因此，移动处理器105前进到跟踪观察者查看位置和观察者查看取向，并且图像生成器103生成这些姿势的视图图像。因此，随着用户四处移动，图像被更新以反映姿势。只要移动接近于ODS视图圆圈701，所得到的视图图像就相对准确并且具有高质量。然而，随着用户移动进一步远离ODS视图圆圈701，失真、误差和伪影可能变得更加显而易见。
然而，如果视图图像生成装置的图像生成器103检测到取向改变量度超过阈值(被假定为对应于用户进行了显著的旋转移动)，则适配器111调节观察者查看位置，使得其偏向ODS视图圆圈701，并且具体地，如果取向改变量度足够大，则观察者查看位置能够移动到ODS视图圆圈701的中心。例如，在图7的示例中，快速旋转移动可以将观察者视位从开始视位703移动到得到的视位705。然而，由于检测到大的旋转移动，适配器111将观察者查看位置改变到ODS视图圆圈701的中心，导致端视位707。观察者查看位置的这种改变是在观察者查看取向没有任何改变的情况下执行的。图像生成器103然后前进到生成针对端视位707的视图图像。
该方法允许系统实施可能跟随用户移动的视图移位，并且尤其是对于相对小的移动，可以跟随用户移动。这为用户提供了自然的体验，并且特别是提供了具有立体视觉并且重要的是运动视差的一致且匹配的三维感知。然而，对于大的旋转移动，观察者视位被移回到查看区域(例如，其可能“速移”到ODS圆圈)，从而确保观察者查看位置保持在场景数据可用的区域附近。这允许将误差、伪影和失真保持为低。
例如，视图图像生成装置可以检测到用户正在执行头部、上半身或全身旋转，并且在这种情况下，可以在旋转动作期间修改场景相对于观察者查看位置的位置，使得当观察者结束他的头部旋转动作时，他将在空间上保持更靠近有效查看区域(针对其，场景数据可用)。
该方法基于以下认识：观察者查看位置的移位不仅在许多情形和应用中是可接受的，而且可以通过仔细控制何时执行调节来将其影响和可察觉性保持至最低。观察者查看位置的变化能够使用户感到非常不安，因为其对应于不自然的3D线索，例如错误或甚至相反的运动视差等。然而，当前的方法反映出这样的认识，即，当这种不自然的行为与取向/旋转移动的大和/或快速变化相吻合时，这种不自然的行为在用户的感知中被有效地掩盖了。在这种情形下，用户的视觉线索可能会变化得如此之快，以至于无法完全处理，并且因此掩盖了不自然线索的感知重要性(在这些快速变化期间，用户将不能够跟踪视觉对象/背景且偏差或移位将因此而较不可察觉得多，并且通常基本上不会被注意到)。
因此，该方法可以提供一种体验，其中，用户对场景的查看偏向于(潜在地实质上速移到)场景的特定查看区域。用户可以四处移动他的头，并且所呈现的视图图像可以跟随该移动，但是视图图像生成装置可以在任何适当的时候将查看位置移回到期望的查看区域。而这种方法可能不适合例如用户具有在虚拟环境中四处移动的完全自由度的虚拟现实应用，其已经发现为其中用户在环境内相对静止的应用提供了非常有吸引力的用户体验，但是仍然具有例如将其头部移到该更静止的位置周围的一定自由度。尤其是，其可以基于少量场景数据提供非常高质量的图像、立体视觉和运动视差深度线索，以及自然的体验两者。
在上面的示例中，通过直接将距离减小为零的步变化，实现了查看区域和特别是ODS视图圆圈(的中心)之间距离的减小。然而，将意识到，在许多实施例中，将实施朝向查看区域的更逐渐的偏置。
例如，在一些实施例中，观察者查看位置将以一定速率朝向查看区域偏移，即，由适配器111引入的偏移或改变被逐渐增加或改变以逐渐将观察者查看位置朝向查看区域移动。准确的变化率可以例如是预定的并且适配器111可以被布置为当取向改变量度指示高于给定阈值的旋转移动时，朝向查看区域施加该偏移。
在一些实施例中，观察者查看位置和视图圆圈之间的距离减小的速率取决于取向改变量度的值。具体地，对于增加的取向改变量度，变化率可以增加，即，用户的旋转移动越快，朝向查看区域的移位或移动就越快。
距离的减小速率可以具体是取向改变量度的单调增加函数。例如，观察者查看位置的移位可以以与取向改变量度的值成比例的速率。通常，可以进一步实施阈值，使得仅在取向改变量度在给定水平之上时引入移位，并且相应地对于小的或基本平移移动不引入移位。
在一些实施例中，该速率可以是取向改变量度的非线性函数。例如，对于取向改变量度低于第一阈值，可以不引入任何移位。对于取向改变量度在第一阈值和第二阈值之间，可以应用逐渐的依赖性，例如变化率与取向改变量度成比例。对于高于第二阈值的取向改变量度的值，适配器111可以例如应用阶跃变化，例如，如果取向改变量度增加到给定水平之上，则将观察者查看位置重置为与ODS视图圆圈的中心重合。
在一些实施例中，适配器111可以被布置为对减小速率施加上限。例如，变化率可以与取向改变量度成比例，直到不应用变化率的进一步增加的给定阈值。这可以确保将位置的移位保持足够低以相对不可察觉。
在许多实施例中，运动数据可以包括头部运动跟踪数据，例如如前所述来自虚拟现实单元的头部运动跟踪数据。
然而，在一些实施例中，运动数据备选地或通常额外地包括眼睛瞳孔跟踪数据(跟踪数据可以具体地是反映瞳孔相对于头部的移动的瞳孔跟踪数据)。
例如，在一些实施例中，运动数据不仅可以跟踪头部移动，而且可以跟踪眼睛/瞳孔移动。在这种情况下，可以将取向改变量度确定为指示头部移动和眼睛/瞳孔移动两者。例如，如果头部移动或眼睛/瞳孔移动被检测为高于给定水平，则观察者查看位置可以移动到ODS视图圆圈的中心。
然而，头部移动和眼睛/瞳孔移动通常不独立考虑，而是组合为单个取向改变量度。可以具体地响应于由头部运动跟踪数据和眼睛瞳孔跟踪数据指示的相对移动来确定取向改变量度。具体地，当头部移动和眼睛/瞳孔移动被检测为在相同方向上时，可以确定比在头部运动和眼睛/瞳孔运动被检测为在相反方向上时更高的取向改变量度，从而彼此补偿(例如，对应于用户在保持其视图方向的同时转动其头部(即，移动其眼睛以保持注视相同物体)的情况。
实际上，在许多实施例中，使用眼睛瞳孔运动跟踪器可以允许关于何时以及如何修改相对于查看区域的观察者查看位置的更好的决定。眼睛/瞳孔跟踪例如可以通过在虚拟现实耳机内部包括红外眼睛/瞳孔跟踪器传感器来实施，所述传感器可以检测眼睛/瞳孔相对于耳机的移动。
在这样的实施例中，可以检测/测量眼睛例如是否向右或向上方移动等，同时可以例如通过耳机的陀螺仪检测到头部移动。因此，可以检测到眼睛/瞳孔的运动是否与耳机的运动在相同方向上或例如在相反方向上(并且因此“补偿”头部运动)。在后一种情况下，可以不应用观察者查看位置的移位，而在前一种情况下，由于用户变得甚至难以注意到这种移位，因此可以引入更强的偏移。
在许多实施例中，头部运动和眼睛瞳孔运动的跟踪可以被组合以直接跟踪用户的注视，并且可以从该注视跟踪来确定取向改变量度。例如，头部和眼睛/瞳孔运动数据可以组合成例如3分量向量，反映用户当前注视的取向。然后可以生成取向改变量度以反映该注视向量的改变。因此，当(并且仅当)取向改变量度指示用户的注视的取向以高于给定阈值的速率改变时，可以应用调节。
在一些实施例中，还可以根据头部和眼睛的相对运动来执行区分操作。例如，如果头部不旋转但是眼睛快速改变方向，则可以采取不同的动作。在那种情况下，可以应用朝向查看区域的小的偏置或移位。如果头部旋转和注视旋转两者是小的，则不应用调节。
先前的描述聚焦于通过改变或偏移观察者查看位置来引入调节的示例。然而，将意识到，在其他实施例中，可以通过额外地或备选地改变其他参数(诸如针对其他实体的坐标或坐标参考)来实现观察者查看位置与查看区域之间的距离的减小。
具体地，在一些实施例中，适配器111可以被布置为通过修改三维场景数据的坐标来减小距离。因此，不是改变观察者查看位置，而是可以改变其他场景元素的坐标。这在许多实施例中能够是有吸引力的，例如运动跟踪、观察者查看位置确定、以及图像生成基于可能难以调整的既定算法。在许多实际的实施方式中，更有效的方法能够是实际调整场景坐标。具体地，在许多实施例中，场景数据可以包括来自一组查看位置的一幅或多幅捕获的图像。例如，对于ODS方法，场景数据可以包括ODS图像以及ODS视图圆圈的坐标表示。在许多实施例中，通过修改场景数据的坐标(例如，ODS视图圆圈的坐标)而不是修改观察者查看位置来减小距离可能在计算上更加高效。
在许多实施例中，系统可以针对不同方面/实体/参数使用不同的坐标系。例如，可以将场景数据与在生成场景数据时(例如，在捕获时)采用的坐标系中表示的坐标一起存储。该坐标系可以是第一参考坐标系，其例如可以被称为场景坐标系。参考该场景坐标系表示针对捕获的图像的视点的坐标。
然而，运动数据可以相对于用户在现实世界中的移动来提供，并且因此初始与场景坐标系无关。在许多实施例中，对运动数据进行处理以生成相对于第二参考坐标系的运动信息和视位，所述第二参考坐标系可以被称为世界坐标系。在许多实施例中，在该世界坐标系中处理运动数据并生成观察者查看位置能够是实际的。
为了协调不同的参数，两个参考坐标系可以彼此映射。作为简单示例，在许多实施例中，可以将场景坐标系和世界坐标系设置为具有相同的原点(和相同的缩放)。
然而，在许多实施例中，可以通过动态地改变两个参考坐标系之间的映射来实现观察者查看位置相对于查看区域的调整。具体地，可以改变场景与世界坐标系之间的偏移。例如，这可以通过在世界坐标系中改变场景坐标系的原点的坐标来改变。作为具体示例，如果取向改变量度足够高，则世界坐标系中的场景坐标系的原点将被设置为使得ODS视图圆圈的中心与当前观察者查看位置重合。
在下文中，将描述实施方式的特定示例。对于该描述，令ω[rad/s]指代头部单元在给定时刻具有的角速度的幅度。高于给定的最小角速度幅度ωmin[rad/s]，取向改变量度指示用户正在开始头部旋转动作。更复杂的机制可以使用头部单元的姿势的较长的历史来识别观察者是否已开始头部旋转。
一旦已经检测到头部旋转，场景参考坐标系被位移以跟随观察者查看位置，以便保持射线位移恒定或者甚至减小这些。一旦用户停止旋转(ω≤ωmin)，场景参考坐标系停止平移。此刻之后，视图图像被动态生成以反映当前观察者查看位置，并且因此呈现运动视差。
头部旋转期间的时间用于减小观察者查看位置与视图区域之间的差异。令x场景指代场景坐标系原点在世界坐标系中的位置，并且查看区域居中于该原点。通常，当起始应用时，x场景将与世界坐标系原点重合。
现在，根据由取向改变量度指示的角速度，视图图像生成装置现在不断在状态循环中更新场景，该状态循环从头部单元的传感器确定观察者查看位置x观察者：
其中，α是确定场景/查看区域被拉向当前观察者查看位置多强(即，特别是查看区域与观察者查看位置之间的距离的减小多快)的“拉动因子”，并且f是姿势测量系统的更新频率[Hz]。对于更高的更新频率，场景坐标系需要平移更少，或者换句话说，可以独立于与姿势测量系统的更新频率指定“拉动因子”α。从上面的等式可以看出，x场景原则上是不断更新的。然而，当头部速度超过给定阈值(ω≥ωmin)时，场景位置变化仅大于零。
“拉动因子”α可以取决于角速度和增益K[rad-1]，增益K确定速度差异ω-ωmin如何修改“拉动因子”α：
从该等式中可以看出，当ω≤ωmin时，“拉动因子”α＝0，并且因此场景位置未修改。在这种情况下，观察者可以在该情况下任意移动远离ODS视图圆圈。如果增益K变大，则针对小的角速度差异ω-ωmin，α已经变为1。效果然后是，查看区域立即被拉向观察者查看位置，并且所生成的视图图像的失真质量将改进。的可能值是角速度，在该角速度下，观察者将在四秒内将其头部旋转90度的角度。如果假设在该速度的四倍处，则距离应减小为零，然后
k(ω-ωmin)＝1
可以以包括硬件、软件、固件或这些的任何组合的任何适当形式来实施本发明。本发明可以任选地至少部分地实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何合适的方式在物理、功能和逻辑上实施实施。实际上，可以在单个单元中，在多个单元中或作为其他功能单元的一部分来实施功能。这样一来，本发明可以在单个单元中实施，或者可以在物理上和功能上分布在不同的单元、电路和处理器之间。
尽管已经结合一些实施例描述了本发明，但是本发明并不旨在限于本文阐述的特定形式。而是，本发明的范围仅由所附权利要求书限制。另外，尽管看起来可能结合特定实施例描述了特征，但是本领域技术人员将认识到，可以根据本发明组合所描述的实施例的各种特征。在权利要求中，术语“包括”不排除其他元件或步骤的存在。
此外，尽管被个体地列出，但是多个模块、元件、电路或方法步骤可以通过例如单个电路、单元或处理器实施。另外，尽管个体特征可以被包括在不同的权利要求中，但是这些特征可以可能地被有利地组合，并且包括在不同的权利要求中并不意味着特征的组合是不可行和/或不利的。同样，在一个权利要求类别中包括特征并不意味着对该类别的限制，而是指示该特征适当地同样适用于其他权利要求类别。此外，权利要求中的特征的顺序并不暗示其中特征必须工作的任何特定顺序，并且特别地，方法权利要求中的个体步骤的顺序并不暗示必须以该顺序执行步骤。而是，可以以任何合适的顺序执行步骤。另外，单数引用不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅仅作为说明性示例而提供，并且不应解释为以任何方式限制权利要求的范围。

Claims (14)

1.一种用于生成针对场景的视图图像的装置，所述装置包括：
存储设备(101)，其用于存储表示来自查看区域的所述场景的三维场景数据；
移动处理器(105)，其用于接收针对用户的运动数据并且用于根据所述运动数据来确定观察者查看位置和观察者查看取向；
改变处理器(109)，其用于确定针对所述观察者查看取向的取向改变量度；
适配器(111)，其用于响应于所述取向改变量度而减小所述观察者查看位置相对于所述查看区域的距离；以及
图像生成器(103)，其用于根据所述场景数据来生成针对所述观察者查看位置和所述观察者查看取向的视图图像，其中，所述三维场景数据包括具有所述场景的深度表示的全向立体，并且所述适配器(111)被布置为通过减小所述观察者查看位置与针对具有深度表示的所述全向立体的视图圆圈的中心位置之间的距离来减小所述距离。
2.根据权利要求1所述的装置，其中，所述适配器(111)被布置为仅在所述取向改变量度超过阈值的情况下减小所述距离。
3.根据权利要求1或2所述的装置，其中，所述适配器(111)被布置为逐渐减小所述距离。
4.根据权利要求1或2所述的装置，其中，所述距离的减小的速率是所述取向改变量度的单调增加函数。
5.根据权利要求4所述的装置，其中，所述适配器(111)被布置为对所述减小的速率施加上限。
6.根据权利要求1或2所述的装置，其中，所述运动数据包括头部运动跟踪数据。
7.根据权利要求1或2所述的装置，其中，所述运动数据包括眼睛瞳孔跟踪数据。
8.根据权利要求7所述的装置，其中，所述运动数据包括头部运动跟踪数据，所述改变处理器(109)被布置为响应于由所述头部运动跟踪数据和所述眼睛瞳孔跟踪数据指示的相对移动而确定所述取向改变量度。
9.根据权利要求1或2所述的装置，其中，所述适配器(111)被布置为通过修改针对所述三维场景数据的坐标来减小所述距离。
10.根据权利要求1或2所述的装置，其中，所述三维场景数据被参考到第一参考坐标系，并且所述观察者查看位置被参考到第二参考坐标系，并且适配器(111)被布置为通过改变从所述第一参考坐标系到所述第二参考坐标系的映射来修改针对所述三维场景数据的所述坐标。
11.根据权利要求10所述的装置，其中，所述图像生成器(103)还被布置为通过基于所述视图圆圈和所述深度上的视图执行视点移位来生成针对不在所述视图圆圈上的视图的视图图像。
12.根据权利要求1或2所述的装置，其被布置为执行虚拟现实或增强现实应用，并且其中，所述视图图像是针对所述虚拟现实或增强现实应用的观察者的视图图像。
13.一种生成针对场景的视图图像的方法，所述方法包括：
存储三维场景数据，所述三维场景数据包括具有所述场景的深度表示的全向立体并且表示来自查看区域的所述场景；
接收针对用户的运动数据，并且用于根据所述运动数据来确定观察者查看位置和观察者查看取向；
确定针对所述观察者查看取向的取向改变量度；
响应于所述取向改变量度而减小所述观察者查看位置与针对具有深度表示的所述全向立体的视图圆圈的中心位置之间的距离；并且
根据所述场景数据来生成针对所述观察者查看位置和所述观察者查看取向的视图图像。
14.一种计算机可读介质，存储包括计算机程序代码模块的计算机程序，所述计算机程序代码模块适于当所述程序在计算机上运行时执行根据权利要求13所述的方法的所有步骤。
CN201880089262.6A 2018-01-12 2018-12-29 用于生成视图图像的装置和方法 Active CN111712859B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18151385.4 2018-01-12
EP18151385.4A EP3511910A1 (en) 2018-01-12 2018-01-12 Apparatus and method for generating view images
PCT/EP2018/097144 WO2019137821A1 (en) 2018-01-12 2018-12-29 Apparatus and method for generating view images

Publications (2)

Publication Number Publication Date
CN111712859A CN111712859A (zh) 2020-09-25
CN111712859B true CN111712859B (zh) 2024-03-08

Family

ID=60972071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880089262.6A Active CN111712859B (zh) 2018-01-12 2018-12-29 用于生成视图图像的装置和方法

Country Status (10)

Country Link
US (1) US11480786B2 (zh)
EP (2) EP3511910A1 (zh)
JP (1) JP6915165B2 (zh)
KR (1) KR20200128661A (zh)
CN (1) CN111712859B (zh)
BR (1) BR112020014275A2 (zh)
CA (1) CA3088903A1 (zh)
RU (1) RU2020126876A (zh)
TW (1) TWI810233B (zh)
WO (1) WO2019137821A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588249A1 (en) 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
US20210287382A1 (en) * 2020-03-13 2021-09-16 Magic Leap, Inc. Systems and methods for multi-user virtual and augmented reality
US11743442B2 (en) 2020-11-09 2023-08-29 Tencent America LLC Bitstream structure for immersive teleconferencing and telepresence for remote terminals

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170044A (ja) * 2011-02-14 2012-09-06 Fujifilm Corp 立体視画像表示装置
EP2693758A2 (en) * 2012-07-31 2014-02-05 NLT Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method
CN104137538A (zh) * 2011-12-23 2014-11-05 韩国科学技术研究院 可应用于多个观察者的用于使用动态视区扩展来显示多视点3d图像的装置及其方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4533895B2 (ja) 2003-09-30 2010-09-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像レンダリングのための動き制御
US8004558B2 (en) * 2005-04-07 2011-08-23 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
US7872665B2 (en) * 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
DE102006018689A1 (de) * 2006-04-13 2007-10-25 Seereal Technologies S.A. Verfahren zum Rendern und Generieren computergenerierter Videohologramme in Echtzeit
JP5932332B2 (ja) 2008-07-28 2016-06-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像補正に対する修復技術の使用
BRPI0914482A2 (pt) * 2008-10-28 2015-10-27 Koninkl Philips Electronics Nv sistema de exibição tridimensional, método de operação para um sistema de exibição tridimensional e produto de programa de computador
US8817092B2 (en) * 2008-11-25 2014-08-26 Stuart Leslie Wilkinson Method and apparatus for generating and viewing combined images
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
JP5364666B2 (ja) * 2010-09-13 2013-12-11 株式会社東芝 立体画像表示装置、方法およびプログラム
EP2724542B1 (en) 2011-06-22 2018-10-24 Koninklijke Philips N.V. Method and apparatus for generating a signal for a display
ITTO20111150A1 (it) * 2011-12-14 2013-06-15 Univ Degli Studi Genova Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento
US9123142B2 (en) * 2012-10-02 2015-09-01 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
WO2014117266A1 (en) * 2013-02-04 2014-08-07 Valorisation-Recherche, Limited Partnership Omnistereo imaging
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
US9380295B2 (en) 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
BR112016029335A2 (pt) * 2014-06-19 2017-08-22 Koninklijke Philips Nv aparelho para gerar uma imagem tridimensional de saída, monitor tridimensional autoestereoscópico, método para gerar uma imagem tridimensional de saída, e produto de programa de computador
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US10390063B2 (en) * 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170044A (ja) * 2011-02-14 2012-09-06 Fujifilm Corp 立体視画像表示装置
CN104137538A (zh) * 2011-12-23 2014-11-05 韩国科学技术研究院 可应用于多个观察者的用于使用动态视区扩展来显示多视点3d图像的装置及其方法
EP2693758A2 (en) * 2012-07-31 2014-02-05 NLT Technologies, Ltd. Stereoscopic image display device, image processing device, and stereoscopic image processing method

Also Published As

Publication number Publication date
TWI810233B (zh) 2023-08-01
RU2020126876A (ru) 2022-02-14
TW201941595A (zh) 2019-10-16
JP2021507425A (ja) 2021-02-22
CA3088903A1 (en) 2019-07-18
KR20200128661A (ko) 2020-11-16
EP3738104B1 (en) 2021-09-08
WO2019137821A1 (en) 2019-07-18
BR112020014275A2 (pt) 2020-12-08
JP6915165B2 (ja) 2021-08-04
EP3738104A1 (en) 2020-11-18
EP3511910A1 (en) 2019-07-17
US11480786B2 (en) 2022-10-25
US20200396436A1 (en) 2020-12-17
CN111712859A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US10539797B2 (en) Method of providing virtual space, program therefor, and recording medium
JP6407460B1 (ja) 画像処理装置、画像処理方法およびプログラム
CN108292489A (zh) 信息处理装置和图像生成方法
EP3070513A1 (en) Head-mountable display system
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
WO2019063976A1 (en) VISIOCASQUE SYSTEM
CN111712859B (zh) 用于生成视图图像的装置和方法
JP7224350B2 (ja) 画像キャプチャ装置及び画像キャプチャ方法
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
CN113795863A (zh) 用于图像的深度图的处理
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US11212502B2 (en) Method of modifying an image on a computational device
TWI850320B (zh) 場景的影像表示
TWI846808B (zh) 表示場景之影像信號
TW202027500A (zh) 影像產生設備及其方法
WO2017141139A1 (en) A method for image transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant