[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111201796A - 定制的360度媒体观看 - Google Patents

定制的360度媒体观看 Download PDF

Info

Publication number
CN111201796A
CN111201796A CN201880065149.4A CN201880065149A CN111201796A CN 111201796 A CN111201796 A CN 111201796A CN 201880065149 A CN201880065149 A CN 201880065149A CN 111201796 A CN111201796 A CN 111201796A
Authority
CN
China
Prior art keywords
spatial region
content
user
rating
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880065149.4A
Other languages
English (en)
Inventor
贺勇
叶艳
阿里·C·贝根
阿赫麦德·哈姆扎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN111201796A publication Critical patent/CN111201796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45457—Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ecology (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Graphics (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种设备可以被配置为渲染360度媒体内容的至少一个空间区域，其中所述360度媒体内容可以包括两个或更多个空间区域。该设备可包括被配置成接收所述360度媒体内容和与该360度内容相关联的元数据的接收机。所述元数据可以包括所述360度媒体内容的相应空间区域的分类。所述设备还可以包括被配置为存储用户偏好的存储器和被配置为检测用户移动的传感器。所述设备可以包括处理器，该处理器被配置为确定所述用户移动与所述相应空间区域的渲染相关联。所述处理器还可以确定所述分类是否符合所述用户偏好，并且如果所述分类违反所述用户偏好，则改变所述相应空间区域的所述渲染。

Description

定制的360度媒体观看
相关申请的交叉引用
本申请要求以下申请的权益：2017年10月4递交的题为“定制360°媒体观看”的美国临时申请号62/567,976、以及2018年6月28日递交的题为“定制360°媒体观看”的美国临时申请号62/691,316的权益，这两篇申请的内容通过引用而被整体结合于此。
背景技术
360度视频是媒体行业中新兴且快速增长的格式，这是由虚拟现实(VR)设备的日益增长的可用性所促进的。360度视频的具有吸引力的一部分是其向用户提供动态观看体验的能力，该动态观看体验提供了新的存在感和增强的控制。除了经由VR设备的显示器呈现高质量图像之外，用户还可以通过例如向左或向右转动来控制他们正在观看的内容，就像他们在物理世界中那样。VR设备可以检测这种移动，然后调整视频显示器以向用户呈现与他们的物理移动相对应的视图(一个或多个)。然而，与直线视频相比，向用户提供这种沉浸式观看体验可能带来新的技术挑战，这其中包括如何进一步定制这种动态视频环境以适应用户的不同背景、兴趣和/或偏好，同时仍然使得通常与360度视频相关联的大量数据能够经由有限带宽资源而被高效地分发。
发明内容
一种设备可以被配置为渲染360度媒体内容的至少一个空间区域，其中所述360度媒体内容可以包括两个或更多个空间区域。所述设备可包括被配置成接收所述360度媒体内容和与该360度内容相关联的元数据的接收机。所述元数据可以包括所述360度媒体内容的空间区域的分类(classification)。所述设备还可以包括被配置为存储用户偏好的存储器和被配置为检测用户移动的传感器。所述设备可以包括处理器，该处理器被配置为确定所述用户移动与所述相应空间区域的渲染相关联。所述处理器可以进一步确定所述空间区域的所述分类是否符合所述用户偏好，并且如果所述分类违反所述用户偏好，则改变所述空间区域的所述渲染。所述处理器可以经由以下中的一个或多个来改变所述渲染：通过抑制移动到所述相应的空间区域；通过改变到直线投影格式；或者通过改变所述相应空间区域的一方面(例如，通过缩小所述空间区域)来改变所述渲染。
附图说明
图1示出了在头戴式设备(HMD)上显示的360度视频的示例部分。
图2示出了示例媒体呈现描述(MPD)数据模型。
图3示出了全向媒体应用的示例内容流。
图4示出了示例多播/广播架构。
图5示出了具有定制元数据的示例360度视频。
图6示出了示例虚拟现实(VR)内容定制架构。
图7示出了被配置成定制内容的示例客户端渲染设备的系统图。
图8示出了示例性缩小呈现。
图9图示了用于社交VR环境的示例架构。
图10示出了被配置用于内容定制的社交VR环境的示例架构。
图11A是可在其内实施一个或多个所公开的实施例的示例通信系统的系统图。
图11B是可在图11A中所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。
图11C是可在图11A中所示的通信系统内使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。
图11D是可在图11A中所示的通信系统内使用的另一示例RAN和另一示例CN的系统图。
具体实施方式
现在将参考各个附图来描述说明性实施例的详细描述。尽管本说明书提供了可能实现的详细示例，但是应当注意，这些细节旨在是示例性的，而决不是限制本申请的范围。
图1描绘了显示在头戴式设备(HMD)上的360度视频，该头戴式设备可以包括用于检测用户的移动(诸如用户头部的移动)的一个或多个传感器(未示出)。如图1所示，当观看360度视频时，可以向用户呈现该视频的一部分100。所述360度视频的显示部分100可以是单视场的(其中一个图像被导向双眼)，或者如图1所示，可以是立体的，其中两个不同的图像(例如，图像102、104)可以被单独地导向用户的每只眼睛。当用户“环顾”和/或放大或缩小图像时，可以改变所显示的部分100。例如，如果HMD的传感器之一检测到用户将她的头部向右转，则所述视频的显示部分100可以向右移动。所述视频的显示部分100也可以基于HMD和/或其他类型的用户接口(例如无线发射/接收单元(WTRU))提供的反馈而改变。所述360度视频的显示部分100可以对应于所述视频的单个空间区域，或者可以包括多个空间区域。所述360度视频的正被显示的空间区域或其任何(一个或多个)部分可以被称为视窗(viewport)。该视窗可以被全部或部分地呈现给用户。所呈现的视窗可以具有与所述360度视频的其他部分或视窗不同的质量。
超文本传输协议(HTTP)流传输已经成为商业部署中的主导方法。例如，诸如Apple的HTTP直播流传输(HLS)、Microsoft的平滑流传输(SS)和/或Adobe的HTTP动态流传输(HDS)的流传输平台可以使用HTTP流作为底层视频递送方法。用于多媒体内容的HTTP流传输的标准可以允许基于标准的客户端(例如HMD)来流传输来自任何基于标准的服务器的内容，从而使得能够在不同供应商的客户端和服务器之间进行互操作性。运动图像专家组(MPEG)的HTTP动态自适应流传输(MPEG-DASH)可以是通用的传送格式，其可以通过动态地适应于变化的网络条件来向终端用户提供最佳可能的视频体验。DASH可以建立在普遍存在的HTTP/TCP/IP栈之上。DASH可以定义用于ISO基本媒体文件格式和MPEG-2传输流的分段格式、媒体呈现描述(MPD)和清单格式。
动态HTTP流传输可能需要各种替代比特率的特定多媒体内容在服务器处可用的。所述多媒体内容可以包括若干媒体分量，诸如音频、视频和文本，并且所述媒体分量可以具有不同的特性。在MPEG-DASH的情况下，这些特性可以由MPD描述。
所述MPD可以是可扩展标记语言(XML)文档，其可以包括元数据，其用于DASH客户端构造适当的HTTP-URL以在流传输会话期间以自适应方式访问视频分段。图2描述了示例MPD分级数据模型。该MPD可描述时段序列，例如图2中所示的时段1、2和3。在特定时段(例如时段2)内，可能存在所述媒体内容的编码版本的一致集合。所述时段1、2和3中的每一个可以具有开始时间和持续时间。所述时段1、2和3中的每一个可以由一个或多个适配集组成，例如图2中的AS0、AS1和AS2。在一个实施例中，DASH流传输客户端可以是如下面结合图11A-11D所述的WTRU。
适配集可以表示共享一个或多个相同属性的一个或多个媒体内容分量的一组编码版本，所述属性可以包括语言、媒体类型、图片纵横比、角色、可访问性、视点和/或评级属性。例如，所述适配集可以包括用于相同多媒体内容的视频分量的不同比特率。所述适配集可包括相同多媒体内容的音频分量(例如，较低质量立体声和/或较高质量环绕声)的不同比特速率。所述适配集(诸如图2所示的AS1)可以包括多个表示(representation)，诸如也在图2中示出的表示1、2、3和4。
表示可以描述一个或多个媒体分量的可递送的编码版本，其根据比特率、分辨率、通道数量和/或其他特性而与其他表示不同。表示可以包括一个或多个分段。表示元素的属性(例如，@id、@bandwidth(带宽)、@qualityRanking(质量排名)和@dependencyId(依赖关系Id))可用于指定所关联的表示的一个或多个属性。
表示(诸如图2中所示的表示2)可以包括分段信息，其可以进一步包括初始化分段和一个或多个媒体分段(例如，媒体分段1、2、3和4)。所述初始化分段和/或媒体分段可以利用HTTP请求而被检索。所述初始化分段和/或媒体分段可以具有URL(诸如服务器上的可寻址位置)，和/或可以使用HTTP GET或具有字节范围的HTTP GET而被下载。
DASH客户端可以解析MPD XML文档。所述DASH客户端可例如基于适配集的元素来选择适合于其环境的适配集的集合。在适配集中，所述客户端可以选择一表示。所述客户端可以例如基于@bandwidth属性、客户端解码能力和/或客户端渲染能力的值来选择表示。所述客户端可以下载关于所选择的表示的初始化分段。所述客户端可以诸如通过请求整个媒体分段或媒体分段的字节范围来访问内容。当呈现已经开始时，所述客户端可以继续消费所述媒体内容。例如，所述客户端可以在所述呈现期间请求(例如，连续地请求)媒体分段和/或媒体分段的部分。所述客户端可以根据媒体呈现时间线来播放内容。所述客户端可基于来自该客户端的环境的经更新信息从第一表示(例如，表示1)切换到第二表示(例如，表示2)。所述客户端可以在两个或多个时段上连续播放所述内容。当所述客户端消费包含在所述媒体分段中的媒体(例如，渲染该媒体以供用户观看)接近所述表示中通告的媒体的末尾时，所述媒体呈现可以被终止，时段可以被开始，和/或所述MPD可以被重新提取。
MPD描述符元素Descriptor(描述符)可以被提供给应用。该Descriptor可以用适当的方案信息来描述元素。一些特定描述符(例如，内容保护、角色、可访问性、评级、视点、帧打包和UTC定时描述符)可以包含@schemIdUri(方案IdUri)属性，或许用于标识相对方案。
MPD补充属性描述符元素SupplementalProperty(补充属性)可以包含元数据，该元数据可以由DASH客户端使用，可能用于优化处理。
MPD必要属性描述符元素EssentialProperty(必要属性)可以包含元数据，可能用于处理包含元素。
在全向应用媒体格式(OMAF)中，可以定义以下方面：等矩形投影格式、用于360度单视场和立体视听数据的互操作渲染的元数据、存储格式(例如，ISO基本媒体文件格式(ISOBMFF))和/或编解码器(例如，高效视频编码(HEVC)和MPEG-H 3D音频)。图3示出了全向媒体应用的示例内容流300。
如图3所示，在步骤A，可以通过音频传感器、相机和/或具有多个镜头和传感器的相机设备来捕获视听场景，这可以产生一组数字图像/视频和音频信号。所述相机和/或镜头可以覆盖所述相机设置和/或相机设备的中心点周围的一些或所有方向。对于360度视频，在步骤Bi，可以拼接时间实例的输入图像以生成表示视图的投影画面。投影的画面可以覆盖360度内容的一部分。在步骤Bi，也可以应用按照区域的打包，可将投影画面映射到打包的画面上。在步骤D，可以将所拼接的图像编码为编码图像和/或编码视频比特流。在步骤Ba，可将所捕获的音频编码为音频比特流。在步骤Ea、Ev和Ei，根据示例媒体容器文件格式，编码图像、视频和/或音频可以被组成到用于文件回放的媒体文件中，或者被组成到用于流传输的初始化分段和媒体分段的序列中。所述媒体容器文件格式可以是ISO基本媒体文件格式(ISOBMFF)。所述文件封装器可以包括关于文件和/或分段的元数据(例如，投影和按区域打包信息)，其可以帮助渲染解码的打包画面。
在经由客户端递送之后和/或在回放期间：可以解封装所述文件或分段序列(步骤F’，F’s；可以解码音频、视频和/或图像(步骤E’a，E’v，E’i)；并且音频和/或图像可以经由扩音器/耳机和/或显示器(步骤A’a，A’i)来渲染(步骤B’a，D’)。
示例元数据可以包括投影图像的投影格式、鱼眼视频参数、由所述投影图像覆盖的球体的面积、与所述投影图像相对应的投影结构相对于全局坐标轴的朝向、按区域(region-wise)打包信息、和/或按区域质量排名。
示例RegionOnSphereSample(球体上区域样本)元数据结构可包括：
Figure BDA0002440274150000071
如本文所述，RegionOnSphereStructure(球体上区域结构)和SphereRegionStructure(球体区域结构)可互换使用，且RegionOnSphereSample(球体上区域样本)和SphereRegionSample(球体区域样本)可互换使用。
可为诸如球形区域的区域描述定时元数据。定时元数据轨道可由轨道样本条目类型指示。例如，轨道可用于指示相关样本的定时序列。定时元数据轨道可用于指示元数据样本的定时序列。示例SphereRegionSampleEntry(球体区域样本条目)和/或SphereRegionConfigBox(球体区域配置框)可以包括：
Figure BDA0002440274150000081
定时元数据类型可包括推荐的视窗。该推荐的视窗可以指示一视窗，其可例如当用户(例如，和/或客户端)不具有和/或已经释放对内容的控制(例如，对观看朝向的控制)时被显示。表1示出了视窗类型值的示例性列表。如表1所示，推荐的视窗可以由值0和/或1指示。例如，当客户端(例如，和/或用户)释放对所述观看朝向的控制并且选择视窗类型0时，可以在回放期间向用户显示如由内容提供者和/或内容创建者建议的视窗(例如，第一推荐视窗)。当客户端选择视窗类型1时，最流行视窗(例如，第二推荐视窗)可以在所述回放期间被向用户显示。
表1
Figure BDA0002440274150000082
在直线视频中，视频或场景的元素可以被布置在相机前面，这可基于导演所选择的组成和/或基于导演想要呈现给观看者的故事。这样，观看者可以以创建者选择的方式观看视频(例如，场景和音频的序列)。所述直线视频内容可以被后编辑以符合某些规则，诸如节目等级、限制和/或观众的文化需求。例如，可以通过移除某些语言片段或场景、使音频静音、插入黑视、模糊场景的某些部分等来编辑所述视频。观看者然后可以体验或观看所述直线视频的编辑后版本。因此，可以产生相同内容的多个版本，可根据可能与不同用户组和/或地理区域相关联的变化的规则、限制和/或偏好来匹配所述内容。
在360度视频中，观看者可以通过在不同方向上观看来观看所述内容的不同部分，诸如通过在视频中的各个时间点处在不同方向上移动他们的头部。可以针对任何视窗置换执行360度视频的后编辑。例如，观看360度内容的年轻观众可以观看对年轻观看者具有合适评级的呈现，例如PG-13，而成年人可以观看相同内容的R级或未评级的呈现。这可以被称为内容定制。
内容评级可以包括用于针对相关观看者和/或观众对内容进行分类的任何合适的系统。例如，美国电影协会(MPAA)利用电影评级系统来基于电影的内容对电影对于某些观众的适合性进行评级。所述MPAA评级系统可包括G(一般观众)、PG(建议父母指导)、PG-13(强烈警告父母)、R(限制的)和/或NC-17(仅成人)。G评级可以意味着该内容适合于所有年龄，并且没有内容被孩子观看会冒犯父母。PG评级可以意味着一些素材可能不适合于孩子，并且迫使父母给出“父母指导”，因为电影可能包含他们可能不喜欢他们的小孩观看的一些素材。PG-13评级可意味着一些素材可能不适合13岁以下的儿童，且迫使父母谨慎对待。R评级可意味着17岁以下的任何人应当由父母或成人监护人来陪伴，因为电影可能包含一些成人素材。R评级还可以促使父母在使他们的孩子观看电影之前了解更多关于电影的信息。NC-17评级可意味着电影包括不适合任何人17或以下的一些内容。
内容评级可以包括TV家长指导，其可以对电视节目的内容进行分类。所述TV家长指导评级可以包括TV-Y(所有孩子)、TV-Y7(较大的孩子)、TV-Y7-FV(较大的孩子-幻想暴力)、TV-G(一般观众)、TV-PG(建议的家长指导)、TV-14(强烈警告父母)和/或TV-MA(仅适合成熟观众)。所述TV-Y评级可以意味着节目被设计为适合于所有孩子。所述TV-Y7评级可以意味着该节目是为7岁及以上的儿童设计的。所述TV-Y7-FV评级可以意味着该节目包括幻想暴力，其可能比TV-Y7类别中的其他节目更强烈或更好斗。所述TV-G评级可能意味着大多数父母发现该节目适合于所有年龄。所述TV-PG评级可以意味着该节目包括父母可能发现不适合年幼儿童的素材。所述TV-14评级可以意味着该节目包括许多父母会发现不适合14岁以下儿童的某些素材。所述TV-MA评级可以意味着该节目被专门设计成由成人观看，因此可能不适合于17岁以下的儿童。
应当理解，所述MPAA和TV家长指导是内容评级系统的示例，并且在所公开的实施例中可以利用其他类型的内容分类。
在一个实施例中，360度媒体内容可以以未编辑的形式(例如，具有所有可能的视窗)被多播/广播。诸如WTRU或HMD的客户端设备可以根据观看者的偏好来适当地渲染内容。这可以被称为动态内容定制。除了在客户端设备中实现之外或者代替在客户端设备中实现，动态内容定制可以在云中、在网络边缘处和/或在家庭网关设备中实现。
图4示出了用于视频多播/广播环境的示例架构400。该架构400可以包括内容服务器402，其可以存储诸如360度视频的多媒体内容。该架构400可以进一步包括网络404，其可以是用于传送包括多媒体内容的数据的任何类型的有线或无线网络。在实施例中，所述网络404可以包括基站、RAN、核心网、因特网、内联网和/或公共交换电话网(PSTN)，如下面结合图11A-11D所述。如图4中进一步所示，所述网络404可以与边缘服务器406通信，该边缘服务器可以与HMD 408a、408b、408c通信。所述网络404还可以与HMD 410a、410b、WTRU 412和/或显示单元414通信。
在所述示例性架构400中，存储在所述内容服务器402上的360度内容的一个或多个视窗可被广播/多播至多个渲染设备，例如所述HMD 408a、408b、408c、410a、410b、所述WTRU 412和/或所述显示单元414。所述视窗可以对应于所述内容的相同版本。例如，如图4所示，观看者可以观看所述内容的G评级版本，其可以适合于所有观众而不管年龄。
观看者可以能够经由他们各自的渲染设备在任何时间改变他们各自的视窗，诸如通过做出可以由HMD410A检测到的头部移动。如果内容源能够为观看者定制裁剪内容，则观看者可以具有定制的虚拟现实(VR)体验。例如，内容和/或服务提供商可以提供旨在将观看者引导到一个或多个期望的视窗(例如，导演的剪辑)的提示。观众可以选择观看该导演的剪辑或其他视窗。可以理解，在观看期间，一个或多个观众的偏好可能改变。这样，后端系统(例如，内容服务器402和/或网络404)可以对观看偏好的改变做出反应，因此提示被相应地更新。观看者可以基于他们各自的年龄、背景、文化、当前环境、以及当前情绪等来观看视窗。例如，年轻的观看者可以使用HMD408c来观看内容服务器402上的360度内容的PG-13评级版本，而成年观看者可以使用HMD 410b来观看所述内容的R评级版本。其他观看者可以例如观看所述内容的其中未示出使用烟草和酒精的版本和/或所述内容的全无粗俗语言(其可能基于预选择的粗俗词列表而被移除)的版本。
可以通过定义可能存在于所述360度内容中的特征的一个或多个内容分类来提供定制VR体验。所述特征可以是音频和/或视频特征(例如，粗俗的或冒犯性的词语和/或具有暴力、物质滥用、裸露、性内容等的场景)。可以分析所述360度内容以得到所描绘的特征。可以生成元数据以包括多个分类，该分类用于定义或分类所述特征、它们的空间位置(一个或多个)和/或定时(一个或多个)。所述元数据可以在定时元数据轨道和/或查找表中被存储和发送。
表2示出了用于根据一个或多个内容分类而定制360度和/或VR内容的示例元数据，所述内容分类可以包括内容评级、评级值和/或评级系统。所述评级元数据可以被结构化，使得对于给定评级值，可以指定共享相同评级值的沿着时间线的视频视窗和/或音频通道。所述视窗可以指定可以与默认评级值相关联的通用背景区域(例如，非视窗区域)。
表2 示例定制评级元数据
Figure BDA0002440274150000121
RegionCode可以指定所述元数据所应用的地区或国家。RatingSystem可以指定元数据中使用的标准评级系统(例如，美国电影协会(MPAA)电影评级系统、加拿大家庭视频评级系统、TV家长指导等)。Rating可以指定评级值，例如由MPAA定义的G、PG-13或R、或由TV父母指导定义的TV-Y、TV-Y7、TV-G或TV-MA。VideoViewport可以指定所述内容的与所述评级值相关联的视窗或空间区域。所述视窗的位置和大小可以由视窗数据类型定义，其可以包括多个参数，诸如center_yaw、center_pitch、center_roll、static_hor_range、static_ver_range、hor_range和/或verrange。AudioChannel可以指定与所述评级相关联的音频通道。
视窗可包括附加相机位置和/或坐标，诸如x、y和z。表3示出了示例视窗格式定义。
表3 示例视窗格式定义
Figure BDA0002440274150000131
表4示出了用于评级定制元数据的示例语法。该语法可以包含六个自由度(6DoF)属性或坐标。表4中的6DoFSample(6DoF样本)结构可类似于表3中所界定的语法元素。语法标志6DaF_included_flag可被定义以指示除三个自由度(3DaF)坐标外是否发信号通知刚体或相机位置。
表4 示例定制评级元数据语法
Figure BDA0002440274150000141
表4中的条目语法可以指定RatingSample(评级样本)中包括的评级条目的数目。RegionCode可以指定地区或国家码。RatingSystem可以指定元数据所遵守的标准评级系统(例如，MPAA、加拿大家庭视频评级系统、TV家长指导等)。Rating可以指定评级值(例如，由MPAA定义的G、PG-13或R，和/或由TV家长指导定义的TV-Y、TV-Y7、TV-G或TV-MA)。6DoF可以指定与Rating相关联的6DoF视窗的数量。AudioChannel可以指定与Rating相关联的音频通道的数目。AudioChannelId可以指定音频通道的标识符。
可以诸如通过表5中所示的评级元数据结构来为视窗(例如，每个视窗)定义评级元数据。例如，可以为视窗(例如，每个视窗)指定评级元数据。
表5 示例评级元数据样本语法
Figure BDA0002440274150000151
图5示出了具有视窗502、504、506的视频呈现的所显示部分500。如图5所示，视窗502、504、506可各自具有内容评级。视窗502可以描绘具有暴力的场景(例如，僵尸)。这样，基于对合适观众的评估，视窗502可被指派R(或受限)的内容评级。视窗504也可能描绘具有暴力的场景，尽管暴力的级别可被认为不太严重(例如，某人瞄准枪的图像)。因此，可向视窗504指派PG-13的内容评级(父母被强烈警告)。所述显示500的剩余部分(例如，视窗506)可以包括适合于所有观看者的图像或内容。这样，视窗506可被指派内容评级G(一般观众)。如图5中进一步所示，与所显示部分500的评级相关联的时间可以从1:20:30到1:21:10。
3DoF或6DoF结构的示例值可以用于指示通用背景而不是特定视窗。这可以例如通过向RegionOnSpheresStructure()和/或center_x/center_y/center_z值指派NULL(空)值来完成。该NULL值可指示R。RatingSample可与通用背景区域相关联，作为内容的默认评级。如图5中所见，通用背景(例如，视窗506)可具有默认的评级G。例如，如果观看者试图观看视窗504或视窗502(在这种情况下，评级可以分别是PG-13或R)，则G可以被应用为默认评级。
元数据可用于针对媒体块的特征而为该媒体块打标签。媒体块可以是音频/视频内容的例如可以独立地发送/消费的小块。打标签可以是例如可以使用SEI消息传送和/或带外信令的方案(例如，比特标记)。所述标签可由下游元件(例如，云服务、边缘服务器、家庭网关等)或渲染设备(例如，HMD、WTRU等)消费。所述下游元件或渲染设备可以处理被打上标签的媒体块以根据观看者偏好来渲染它们。元数据可以在定时元数据轨道中向下游发送。下游元件或渲染设备可以消费所述元数据并例如根据观看者偏好对其进行处理。
元数据可由内容制作者生成，并且可被映射到清单文件(例如，DASH MPD)以用于视频流传输。视窗和/或音频通道的分类(例如，评级值)可在相应视窗表示(例如，图片分段)的MPD元素(例如，EssentialProperty或SupplementalProperty)中用信号通知。表6示出了使用评级定制的示例MPD文件。带有等于“urn：mpeg：dash：scheme：rating”的@schemeIdUri属性的Essential Property描述符可以用信号通知每个图块表示的评级。如表6中所见，视窗可被评级为R、PG-13和/或G。例如，如果定制策略支持一般观众(G)，则可呈现匹配的视窗图块。不匹配或不符合所述G评级的视窗分段(诸如，表6中的表示1、2和/或3)可能被模糊、跳过和/或可能不被所述渲染设备请求。
表6 具有评级定制的示例MPD
Figure BDA0002440274150000171
视频内容可以随时间而改变。这样，360度视频内的空间区域的分类和/或评级可以随时间而改变。可指定一个或多个定时元数据轨道类型以考虑视频内容随时间的变化，诸如初始观看朝向、推荐视窗、视点和/或定时文本球体位置。可以使用和/或定义附加的定时元数据轨道。例如，定时元数据轨道类型可以用于指示分类和评级视窗轨道，其可以指示与用户的分类和/或评级选择或偏好匹配的视窗。SphereRegionSampleEntry类型CrvpSampleEntry可指示所定义的定时元数据轨道。如这里所示，球体区域分类和评级定时元数据轨道可以由轨道样本条目类型“crvp”来指示，和/或可以包括：
Figure BDA0002440274150000181
参数region_code可用于指示与所述分类和评级轨道相关联的地区和/或国家。参数rating_system_code可以用于指示与预定义的内容评级系统列表相关联的索引，该预定义的内容评级系统列表可以与所述分类和评级轨道相关联。参数default_rating_label可以用于指示区域(例如，所有区域)的默认评级标签。当default_rating_label不存在时，默认评级标签可以被设置为“未评级”，其可以指示该内容适合于所有观众(例如，G适合于一般观众)。
分类和评级视窗定时元数据轨道的示例性格式可以包括：
Figure BDA0002440274150000182
参数rating_label可用于指示与区域(例如，由SphereRegionStruct指定的区域)相关联的评级标签。参数rating_index可以是整数数据类型，其可以指示与分类和评级标签的预定义列表相关联的索引(例如，该列表内的值的索引)。参数remaining_region_rating_label可以指示与未由SphereRegionSample指定的区域相关联的评级标签。例如，当remaining_region_rating_label不存在时，可以将SphereRegionSample未指定的区域的评级标签设置为“未评级”，这可以指示该内容适合于所有观众(例如，G适合于普通观众)。
CrVpSample可以包括相同的评级标志，其可以指示区域(例如，样本的所有区域)共享相同的评级。例如，当相同的评级标志被设置为一时，可相应地指定共享的评级标签。CrvpSample可以用信号通知(例如，可以替换地用信号通知)被指派了相同的评级标签的区域的索引(例如，在多个区域共享相同的评级标签的情况下，这可以节省传输开销)。例如，评级标签信令可以包括与分类和评级标签的预定义列表相关联的索引(例如，该列表内的值的索引)。
在当前视窗的评级与用户的优选评级不匹配的情况下(例如，评级违反)，客户端设备可以通过例如模糊当前视窗的内容和/或在当前视窗的内容上添加马赛克效果以防止观看者看到内容来定制视窗呈现。所述客户端可通过呈现匹配所述用户的优选评级的视窗(例如，与当前视窗最接近或最相关的视窗)来定制所述视窗。这可以通过旋转渲染坐标来完成。这可以不考虑观看者的观看朝向而完成。
客户端设备可使用例如预定的前瞻窗口来解析未来内容的定时元数据。具体地，所述客户端可以解析未来内容的所述定时元数据，以确定当前视窗的未来内容是否与用户的优选评级匹配，以识别潜在评级违反。在预期到评级违反(例如，未来内容中的违反)时，客户端可以将所述呈现从当前视窗的内容逐渐转移到另一视窗的内容(例如，匹配用户的优选评级的相邻视窗)。例如，所述客户端可以确定或计算用于在预期到违反评级时逐渐转移呈现的路径。所述客户端可沿着所确定的路径移动所述视窗的坐标。所确定的路径可以基于所述两个视窗之间的距离、观看朝向的改变和/或直到发生违反评级的时间量。呈现中的逐渐转移(例如，从当前视窗到匹配用户的优选评级的相邻视窗)的转变速度还可以基于所述两个视窗之间的距离、观看朝向的改变和/或直到将发生评级违反的时间量。
可向客户端设备和/或用户提供推荐的视窗轨道。例如，该推荐的视窗轨道可以允许用户观看大多数用户观看的某些内容。例如，所推荐的视窗可以包括导演的剪辑和/或可以基于观看统计信息的测量。可以基于视窗内容的分类和/或评级来定义所推荐的视窗类型。表7示出了推荐视窗类型值及其伴随描述的示例性列表。如这里所描述的，可以在RcvpInfoBox(Rcvp信息框)的viewport_description字段中指示所述内容评级系统和/或评级值。
表7
Figure BDA0002440274150000201
RcvpInfoBox结构可用于指示所述内容评级系统和/或相关联的评级值。一种框类型ClassificationRatingBox(分类评级框)可以包括：
Figure BDA0002440274150000202
如本文所述，ClassificationRatingBox框可以被包括在RcvInfoBox中以用于推荐的视窗类型。例如，所述RcvInfoBox可以包括：
Figure BDA0002440274150000211
如本文所述，当用户接受针对给定评级的推荐的分类和/或评级视窗时，客户端可以基于定时元数据轨道来渲染视点的指定视窗，例如，而不管用户的观看朝向。
图6示出了用于定制360度视频和/或VR内容的示例性多播/广播架构600。在一个实施例中，该架构600可以包括用于存储所述360度视频的内容服务器602。该内容服务器602还可以存储与所述360度视频相关联的元数据。该元数据可以包括与所述该视频相关的评级信息。评级信息可以与360度视频内的特定空间区域、视窗和/或媒体块相关联。例如，所述视频中的一个或多个视窗可以包括内容评级G、P-13、R和/或NC-17。所述视频和相应的元数据可以被提供给网络604，其可以是用于传送诸如所述360度视频的数据的任何类型的有线或无线网络。所述网络604可以包括基站、RAN、核心网、因特网、内联网和/或公共交换电话网(PSTN)，如下面结合图11A-11D所述。
所述网络604可以与边缘服务器606通信，该边缘服务器可以从网络604接收所述360度视频和对应的元数据。所述边缘服务器606可以基于包括在所述元数据中的评级信息并且基于可以存储在边缘服务器606中的用户简档或偏好来处理所述内容。例如，如果从内容服务器602提供的360度视频包括具有R和NC-17内容评级的视窗并且用户简档指示与所述边缘服务器606相关联的观看者在十七岁以下，则边缘服务器606可以改变具有所述R和NC-17评级的所述视窗。所述边缘服务器606的改变可以具有改变所述360度视频的内容评级的效果。例如，所述视频可具有由边缘服务器606进行的PG-13后处理的内容评级。边缘服务器606然后可以将定制的PG-13视频广播到一个或多个渲染设备，例如图6中所示的HMD608a、608b、608c。
其它渲染设备可直接从网络604接收所述360度视频。例如，网络604可以与HMD610a、610b、WTRU612和/或显示单元614通信。这样，所述HMD 610a、610b、WTRU 612和/或显示单元614可以接收所述360度视频并根据一个或多个用户简档和偏好对其进行定制。例如，所述HMD 610b的用户可能在十七岁以上，并且因此可能更喜欢以其原始形式从内容服务器602观看所述360度视频。这样，HMD 610B可以不对所述360度视频中的已经被指派R或NC-17内容评级的视窗执行任何处理或者对其做出任何改变。
其他用户的简档或偏好可以指示不同的内容评级，诸如R或G。例如，HMD 610a的用户可以具有指示NC-17内容不适合于该用户的简档。这样，HMD 610a可以改变具有NC-17评级的(一个或多个)视窗，这可以具有将由HMD 610a渲染的360度视频的内容评级改变为R的效果。WTRU 612和显示单元614的用户可具有各自的简档，其指示仅G-评级内容适合于该用户。因此，WTRU 612和显示单元614可以改变具有PG-13、R和/或NC-17评级的(一个或多个)视窗，这可具有将由WTRU 612和显示单元614所渲染的所述360度视频的内容等级改变为G的效果。
图6所示的渲染设备(例如HMD 608a、608b、608c、610a、610b、WTRU 612和/或显示单元614)可以包括生物测定验证能力，例如触摸ID、面部ID、以及虹膜扫描仪等等。所述渲染设备可以由多个用户使用，并且可以在其中存储多个用户简档和/或用户偏好。在相应用户尝试经由所述渲染设备之一(例如，HMD 610b)来渲染所述360度视频的情况下，例如，所述设备的生物测定验证能力可以用于识别所述用户并且链接到或以其他方式访问该用户的相应个人简档和/或偏好。
图7示出了被配置为定制诸如360度视频和/或VR内容的示例客户端渲染设备700的系统图。该客户端渲染设备700可包括媒体解码器702、定制模块704、后处理模块706、定制策略708和呈现模块710。所述设备700的媒体解码器702可以接收与360度视频相关联的媒体流，并且将该媒体流解码成媒体样本、媒体分段和/或样本区域。所述定制模块704可以接收与所述媒体流(例如，所述360度视频)相关联的元数据。该元数据可以包括与所述媒体流(包括媒体样本、分段和/或区域)相关联的内容评级信息。所述定制模块704可以将所述评级信息与定制策略进行比较，该定制策略可以存储在所述定制策略模块708中。该定制策略可以基于用户的偏好来定义，该用户的偏好可以包括用户的简档(例如，用户的年龄)和/或指示该用户偏好或适合于该用户的内容类型的任何信息。所述元数据中的评级信息可以指示关于帧、分段、内容时段、空间区域和/或视窗在持续时间内的(多个)评级。所述元数据中的所述评级信息也可以描述音频和/或视频内容。通过使用所接收的元数据和所述定制策略，所述定制模块704可以引导或控制后处理模块708，其可以被配置为处理和/或改变所接收的媒体样本、媒体分段和/或样本区域以定制所述360度视频并且确保所定制的视频符合所述定制策略。所定制的360度视频然后可以经由所述呈现模块710来渲染，该呈现模块可以包括用于显示所定制的360度视频的场景或图像的任何合适的界面。
可以理解，所述定制策略可在任何合适的时间段之后被更新或按需被更新。例如，如果所述定制策略是根据用户的位置来定义的，则所述定制可在用户移动到另一位置之后被更新。这样，用户能够基于她的位置来观看360度视频的不同部分，该不同部分可以基于本地规则和规章或者受本地规则和规章影响。所述定制策略还可以被周期性地或非周期性地更新以反映对用户状态的其他改变。例如，如果所述定制策略反映用户作为未成年人或孩子的状态，则可以在该用户变成成人(例如18岁或更老)之后更新该策略。在一个实施例中，策略制定器可以向客户端渲染设备广播一个或多个定制策略，可更新已经存储在这样的设备上的定制策略。
如上结合图6和图7所述，用于渲染360度视频和/或VR内容的设备可以被配置为通过基于元数据中定义的分类或评级信息以及基于所述设备用户的简档和/或偏好，改变媒体样本、分段、媒体块、空间区域、以及视窗等来定制内容。所述内容可以以任何方式被改变，以确保用户观看符合或不违反其相应简档和/或偏好的内容。
例如，诸如图6中所示的HMD 610a之类的渲染设备可以接收360度视频和与该视频相关联的元数据。该元数据可以包括与所述360度视频相关的分类信息，诸如与所述视频的一个或多个空间区域相关的信息。所述分类信息可以包括内容评级，其可以指示适合于(或不适合于)360度视频的一部分的观众的类型。例如，如上所述，所述内容评级可以根据观众的年龄来定义观众。所述HMD 610a还可以在存储器中存储指示用户的简档或偏好的信息。该简档或偏好中的信息可以指示相应用户可能属于的观众的类型。例如，所述用户的简档或偏好可以指示该用户的年龄。
在渲染所述视频的过程期间(或预期渲染所述视频时)，所述HMD 610A的处理器可以经由一个或多个传感器来检测所述用户的移动。所述处理器可以确定所述用户移动与所述360度视频的空间区域的渲染相关联。针对所述空间区域，所述处理器可以确定所述元数据中的分类信息是否符合存储在存储器中的的用户偏好。如果所述分类违反所述用户偏好，则处理器可以改变所述空间区域的所述渲染。例如，如果所述用户移动指示用户意图向右转(例如，通过将她的头部向右转)，则处理器可以通过避免渲染所述空间区域来不对所述用户移动做出响应。特别地，所述处理器可以不将显示从当前渲染的空间区域移动或转换到违反用户偏好的空间区域。与相应空间区域相关联的音频可被静音或“屏蔽”，这可发生在例如该音频违反所述用户偏好的情况下。
当处理器确定所述360度视频的所述相应空间区域的所述渲染违反所述用户偏好时，处理器可以将显示移动或转变到所述360度视频的所述相应空间区域，但是可以使该区域模糊(例如，“涂黑(black out)”、覆盖、模糊、扭曲等)。所述处理器可以使整个相应空间区域和/或该区域内的特定特征、图像或场景模糊。与所述相应空间区域相关联的音频可被静音或“屏蔽”，这可发生在例如该音频违反所述用户偏好的情况下。
所述相应空间区域的评级元数据可以包括替代视觉信息(例如，区域)和/或音频对象。这样，当处理器确定所述360度视频的所述相应空间区域的所述渲染违反所述用户偏好时，处理器可以使用所述替代视觉信息和/或音频对象来替换所述相应空间区域的相关内容。所述替代内容可以是所述360度视频的单独媒体轨道和/或另一空间区域。所述替代视觉信息和/或音频对象可以由内容制作者或导演确定，或许可维持所述360度视频的连续故事情节。DataEntryUrnBox(数据条目Urn框)或RegionOnSphereSample可用于指示替代内容源。
所述处理器可扫描所述360度视频以识别符合所述用户偏好的替代视觉信息和/或音频对象。如果多于一个的替代物可用，则所述设备可以选择在时间和/或空间上最接近不符合所述用户偏好的所述相应空间区域的替代视觉信息和/或音频对象。这可以促进所述视频的连续性和/或防止或最小化场景中的突然改变。所述处理器可以重置朝向坐标，以将所述用户的头部运动与正被呈现的所述替代视觉信息对准。例如，如果用户将她的头部向左(朝向所述相应的空间区域)转动10度并且所述替代视觉信息位于向左60度，则所述处理器可以将用户的运动朝向坐标重置为60度，使得所述头部运动与正在被呈现的替代视觉信息的空间区域匹配。在不能识别替代视觉信息和/或音频对象的情况下，所述处理器可以快进(例如，前进或跳过)所述相应的空间区域，直到可以识别出所述替代视觉信息和/或音频对象。
如果例如设备检测到用户的头部运动可能转向违反定制策略的视窗，则所述设备可以将呈现(例如临时地)从360度视频切换到直线视频。所述360度视频可以根据预先定义的视窗序列来进行。该预定义的视窗序列可以由内容制作者在所述评级元数据中标识。该预定义的视窗序列也可以由所述渲染设备的处理器通过评估指派给所述视窗的评级信息并选择符合所述用户简档和/或偏好的序列来确定。这可被强制执行一定的持续时间，这可能取决于攻击性内容的时间线(例如，直到所述攻击性内容已过去)。
所述360度视频可以是二维(2D)的，其中一个或多个场景或视窗具有感知的宽度和高度。所述360度视频可以是三维(3D)的，其中一个或多个场景或视窗具有感知的宽度、高度和深度。例如，所述360度视频可以使用立体视法或立体成像技术来呈现，其中两个2D图像被偏移并且被分别呈现给观看者的左眼和右眼。所述360度可以被呈现在3D显示器(例如，体积显示器、全息显示器、集成成像显示器或压缩光场显示器)上。在所述360度视频以3D呈现的情况下，如果所述处理器确定所述360度视频的所述相应空间区域的所述渲染违反了所述用户偏好，则处理器可以将呈现从3D改变为2D。通过改变为2D呈现，可以削弱或减少被认为不适合所选观众的内容的图形性质。例如，当以2D而不是3D观看时，暴力场景可能被感知为较不可信或真实，这可以使得该内容更适合于所述用户偏好。
当所述处理器确定所述360度视频的所述相应空间区域的所述渲染违反所述用户偏好时，所述处理器可以缩小所述相应空间区域以削弱该相应空间区域中的可能违反所述用户偏好的任何内容。图8示出了示例空间区域802、804。空间区域802的内容可以鉴于该内容的图形性质而被认为不适合某些观众。这样，与空间区域802相关联的评级信息可能不符合用户偏好。通过缩小空间区域802，所述处理器可以渲染空间区域804，这可以削弱或减少被认为不适合所选观众的所述内容的所述图形性质。因此，所述空间区域804可以符合所述用户偏好。
被认为不适合某些观众的空间区域的内容可能位于该空间区域的外围。因此，当处理器确定所述360度视频的所述相应空间区域的所述渲染违反所述用户偏好时，处理器可以放大所述相应空间区域，使得所述不合适的内容不再处于正在向用户渲染的空间区域内。
所述处理器可以沿着360度视频的时间线预取元数据，以预测不合适的内容何时可能出现在用户的当前视窗中。如果处理器检测到可能出现不合适的内容，则处理器可以切换用户的视窗。这可以避免所预测的令人不快的内容而无需用户转动她的头部。所述处理器可以使用4维地图(例如，沿时域的3D球体)来标记不合适的内容或对该不合适的内容打标签，并且该不合适的内容可以被涂黑或限制。
当处理器确定用户的头部运动可能接近不合适的内容区域时和/或当不合适的内容可能出现在当前视窗中时，处理器可以呈现警告、提示或信号。该警告、提示或信号可以是视觉和/或音频的，并且可以警告用户和/或指示所述视窗可被改变。通过提前检测和/或识别具有不适合内容的视窗(一个或多个)，处理器可以促进从一个视窗到另一个视窗的平滑过渡，同时避免所述不适合内容。
所述处理器可以实施默认定制策略。这可以例如在用户简档或用户偏好不可用的情况下完成。
所述处理器可以突出显示替代视窗和/或将提示或信号插入到所述360度视频中以将用户吸引到替代的视窗。这可以鼓励用户避免所述不合适的内容。所述突出显示的替代视窗可以将用户的注意力吸引向符合所述用户偏好的视窗。
客户端可以基于用户的观看偏好来呈现内容(例如，动态地呈现内容)。所述客户端的用户界面(UI)可以向用户提供指示该用户的内容观看偏好(例如，不太强烈或更强烈的评级内容)的选项。当用户指示偏好强烈内容时，客户端可以慢动作渲染所述强烈内容和/或可以增强具有强烈内容的区域的质量。例如，所述客户端可以通过以下来增强具有强烈内容的区域的质量：放大所述区域以填充整个视窗，和/或运动跟踪用于呈现的所述强烈内容(例如，不管用户的观看朝向)。基于用户的观看偏好动态地呈现内容可以适用于例如VR游戏中。例如，VR游戏可以默认地被评级为“青少年”(例如，游戏中最强烈的内容可以被评级为适合于青少年)。如果用户选择上至“成熟者”评级，则客户端可以利用较高暴力级别(例如，“成熟者”)呈现“青少年”评级的视窗。
客户端设备可以包括支持VR功能(例如，包括朝向检测)的任何设备。该设备可以是VR设备，例如HMD。该设备可以包括如这里参考图11A-11D所描述的WTRU。定制策略可将用户切换到用于紧急事件的媒体样本或区域，所述紧急事件例如为到特定位置的用户的安珀警报、灾难警报和/或交通事故警报。
网络节点(例如，流传输服务器、内容递送节点(CDN)、边缘服务器等)可以在向终端用户递送视频内容之前定制该视频内容，该视频内容可以包括敏感内容。在内容递送之前对视频内容的定制可以适用于例如向多个国家/地区的VR流传输。例如，一个国家可能比其他国家对敏感内容具有更多的限制。位于具有更多限制的国家中的网关节点(例如，该国家内的接收实况流传输内容的第一服务器)可以解析本文描述的评级元数据以在递送该内容之前确定与该内容相关联的(一个或多个)评级。所述网关节点可以在将所述内容(例如，经由广播和/或单播)递送到该国家内的终端用户之前，基于解析的元数据来移除和/或处理受限内容(例如，包括受限视窗内容的那些轨道或分段)。不支持分类和评级元数据的客户端可以不渲染敏感轨道和/或用户偏好可被覆盖以符合地区性法律。
图9示出了用于社交VR环境的示例架构900。如图9所示，主查看器902的用户可以观看360度视频，其可以被存储在内容服务器904上。当观看该360度视频时，用户可以基于由主查看器902检测到的移动来选择所述视频内的视窗序列，从而产生定制的视频。由主查看器902的用户选择的视窗的序列可被记录以用于在所述主查看器902上回放和/或由从查看器908、910、912的用户回放。所记录的序列可以用于同时回放和/或稍后回放。朝向数据或视窗数据可被存储在共享虚拟体验服务器(SVES)906中。当观看由主查看器902记录的所述视窗序列时，所述从查看器908、910、912的用户可能不需要进行任何移动(例如，改变他们的头部方向)，因为所述从查看器908、910、912可以根据记录的序列自动改变所述视窗(一个或多个)。
所述主查看器902和一个或多个所述从查看器908、910、912的观看偏好可能不相同。所述从查看器908、910、912可以观看所述主查看器902正在观看的内容，但是可能基于相应的用户偏好，所述从查看器908、910、912可以改变所记录的视窗序列。
例如，图10示出了利用评级元数据的社交VR环境的示例架构1000。与图9中所示的主查看器902类似，主查看器1002的用户可以观看360度视频，其可以存储在内容服务器1004上。当观看所述360度视频时，该用户可以基于由所述主查看器1004检测到的移动来选择所述视频内的视窗序列。由所述主查看器1002的用户选择的所述视窗序列可被记录以供在主查看器1002上回放和/或由从查看器1008、1010、1012的用户回放。所记录的序列可以用于同时回放和/或稍后回放。朝向数据或视窗数据可被存储在共享虚拟体验服务器(SVES)1006中。当观看由主查看器1002记录的视窗序列时，所述从查看器1008、1010、1012的用户可能不需要进行任何移动(例如，改变他们的头部方向)，因为该从查看器1008、1010、1012可以根据记录的序列自动改变所述视窗(一个或多个)。
除了记录视窗序列之外，所述主查看器1002可以生成和/或用信号通知与所记录的序列相关联的评级元数据。如图10所示，所述主查看器1002可将所生成的评级元数据发送到SVES 1006，其可使该评级元数据对所述从查看器1008、1010、1012中的一个或多个可用。所述主查看器1002可将所述评级元数据直接转发给所述从查看器1008、1010、1012。这可使得该从查看器1008、1010、1012中的每一者能够根据相应用户的偏好和/或定制策略来配置或改变所述360度视频的所述回放。
所述从查看器1008、1010、1012的用户中的一者或多者可在简档中指示其偏好，这或许可在向SVES 1006注册或会话初始化期间进行。该SVES1006可以分析来自主查看器1002的记录序列，并且基于特征列表对分段、空间区域、视窗、块等进行分类(例如，基于内容而指派评级)。所述SVES1006可以改变所记录的序列中的任何分段、空间区域、视窗、块等的渲染，这可发生在他们违反用户的偏好的情况下。所述从查看器1008、1010、1012的用户可接着根据其相应用户偏好经由所述SVES 1006而观看所记录的序列。另外，所述SVES1006可将所述分类(例如，评级元数据)发送到所述从查看器1008、1010、1012，其可根据相应用户的偏好来改变所述渲染。
图11A是示出了可以实施一个或多个所公开的实施例的示例通信系统1100的示图。该通信系统1100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统1100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说，通信系统1100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图11A所示，通信系统1100可以包括无线发射/接收单元(WTRU)1102a、1102b、1102c、1102d、RAN 1104/1113、CN 1106/1115、公共交换电话网络(PSTN)1108、因特网1110以及其他网络1112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 1102a、1102b、1102c、1102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 1102a、1102b、1102c、1102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 1102a、1102b、1102c、1102d中的任意者可被可交换地称为UE。
所述通信系统1100还可以包括基站1114a和/或基站1114b。每一个基站1114a、1114b可以是被配置成通过以无线方式与WTRU 1102a、1102b、1102c、1102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 1106/1115、因特网1110、和/或其他网络1112)的任何类型的设备。举例来说，基站1114a、1114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站1114a、1114b都被描述成了单个部件，然而应该了解。基站1114a、1114b可以包括任何数量的互连基站和/或网络部件。
基站1114a可以是RAN 1104/1113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站1114a和/或基站1114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站1114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站1114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站1114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站1114a、1114b可以通过空中接口1116来与WTRU 1102a、1102b、1102c、1102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口1116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统1100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 1104/1113中的基站1114a与WTRU 1102a、1102b、1102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口1115/1116/1117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站1114a和WTRU 1102a、1102b、1102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口1116。
在实施例中，基站1114a和WTRU 1102a、1102b、1102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口1116。
在实施例中，基站1114a和WTRU 1102a、1102b、1102c可以实施多种无线电接入技术。举例来说，基站1114a和WTRU 1102a、1102b、1102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 1102a、1102b、1102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站1114a和WTRU 1102a、1102b、1102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图11A中的基站1114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站1114b与WTRU 1102c、1102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站1114b与WTRU 1102c、1102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站1114b和WTRU 1102c、1102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-APro、NR等等)来建立微微小区或毫微微小区。如图11A所示，基站1114b可以直连到因特网1110。由此，基站1114b不需要经由CN 1106/1115来接入因特网1110。
RAN 1104/1113可以与CN 1106/1115进行通信，其中所述CN可以是被配置成向一个或多个WTRU 1102a、1102b、1102c、1102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN1106/1115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图11A中没有显示，然而应该了解，RAN 1104/1113和/或CN 1106/1115可以直接或间接地和其他那些与RAN1104/1113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN1104/1113相连之外，CN 1106/1115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 1106/1115还可以充当供WTRU 1102a、1102b、1102c、1102d接入PSTN 1108、因特网1110和/或其他网络1112的网关。PSTN 1108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网1110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。所述网络1112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，所述其他网络1112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 1104/1113使用相同RAT或不同RAT。
通信系统1100中一些或所有WTRU 1102a、1102b、1102c、1102d可以包括多模能力(例如，WTRU 1102a、1102b、1102c、1102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图11A所示的WTRU 1102c可被配置成与可以使用基于蜂窝的无线电技术的基站1114a通信，以及与可以使用IEEE 802无线电技术的基站1114b通信。
图11B是示出了例示WTRU 1102的系统图示。如图11B所示，WTRU 1102可以包括处理器1118、收发信机1120、发射/接收部件1122、扬声器/麦克风1124、键盘1126、显示器/触摸板1128、不可移除存储器1130、可移除存储器1132、电源1134、全球定位系统(GPS)芯片组1136以及其他周边设备1138。应该了解的是，WTRU 1102可以包括前述部件的任何子组合。
处理器1118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器1118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 1102在无线环境中工作的功能。处理器1118可以耦合至收发信机1120，收发信机1120可以耦合至发射/接收部件1122。虽然图11B将处理器1118和收发信机1120描述成单独组件，然而应该了解，处理器1118和收发信机1120也可以集成在一个电子组件或芯片中。
发射/接收部件1122可被配置成经由空中接口1116来发射或接收去往或来自基站(例如基站1114a)的信号。举个例子，在实施例中，发射/接收部件1122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件1122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一实施例中，发射/接收部件1122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件1122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图11B中将发射/接收部件1122描述成是单个部件，但是WTRU 1102可以包括任何数量的发射/接收部件1122。更具体地说，WTRU 1102可以使用MIMO技术。由此，在一个实施例中，WTRU 1102可以包括两个或多个通过空中接口1116来发射和接收无线电信号的发射/接收部件1122(例如多个天线)。
收发信机1120可被配置成对发射/接收部件1122所要传送的信号进行调制，以及对发射/接收部件1122接收的信号进行解调。如上所述，WTRU 1102可以具有多模能力。因此，收发信机1120可以包括允许WTRU 1102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 1102的处理器1118可以耦合到扬声器/麦克风1124、键盘1126和/或显示器/触摸板1128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器1118还可以向扬声器/麦克风1124、键盘1126和/或显示器/触摸板1128输出用户数据。此外，处理器1118可以从诸如不可移除存储器1130和/或可移除存储器1132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器1130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器1132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器1118可以从那些并非实际位于WTRU1102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器1118可以接收来自电源1134的电力，并且可被配置分发和/或控制用于WTRU 1102中的其他组件的电力。电源1134可以是为WTRU 1102供电的任何适当设备。例如，电源1134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器1118还可以耦合到GPS芯片组1136，该芯片组可被配置成提供与WTRU 1102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组1136的信息的补充或替换，WTRU 1102可以经由空中接口1116接收来自基站(例如基站1114a、1114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持与实施例相一致的同时，WTRU 1102可以借助任何适当的定位方法来获取位置信息。
处理器1118还可以耦合到其他周边设备1138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备1138可以包括加速度计、电子指导针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002440274150000371
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备1138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 1102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器1118)的信号处理来减少和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 1102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图11C是示出了根据实施例的示例RAN 1104和CN 1106的系统图示。如上所述，RAN1104可以在空中接口1116上使用E-UTRA无线电技术来与WTRU 1102a、1102b、1102c进行通信。所述RAN 1104还可以与CN 1106进行通信。
RAN 1104可以包括e节点B1160a、1160b、1160c，然而应该了解，在保持与实施例相一致的同时，RAN 1104可以包括任何数量的e节点B。每一个e节点B 1160a、1160b、1160c都可以包括在空中接口1116上与WTRU 1102a、1102b、1102c通信的一个或多个收发信机。在一个实施例中，e节点B 1160a、1160b、1160c可以实施MIMO技术。由此，举例来说，e节点B1160a可以使用多个天线来向WTRU 1102a发射无线信号，和/或接收来自WTRU 1102a的无线信号。
每一个e节点B1160a、1160b、1160c都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图11C所示，e节点B1160a、1160b、1160c彼此可以通过X2接口进行通信。
图11C所示的CN 1106可以包括移动性管理实体(MME)1162、服务网关(SGW)1164以及分组数据网络(PDN)网关(或PGW)1166。虽然前述的每一个部件都被描述成是CN 1106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 1162可以经由S1接口连接到RAN 1104中的每一个e节点B1162a、1162b、1162c，并且可以充当控制节点。例如，MME 1162可以负责验证WTRU 1102a、1102b、1102c的用户，执行承载激活/去激活处理，以及在WTRU 1102a、1102b、1102c的初始附着过程中选择特定的服务网关等等。MME 1162还可以提供一个用于在RAN 1104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 1164可以经由S1接口连接到RAN 1104中的每一个e节点B1160a、1160b、1160c。SGW 1164通常可以路由和转发去往/来自WTRU 1102a、1102b、1102c的用户数据分组。SGW 1164还可以执行其他功能，例如在eNB间的切换过程中锚用户平面，在DL数据可供WTRU 1102a、1102b、1102c使用时触发寻呼处理，以及管理并存储WTRU 1102a、1102b、1102c的上下文等等。
SGW 1164可以连接到PGW 1166，所述PGW可以为WTRU 1102a、1102b、1102c提供分组交换网络(例如，因特网1110)接入，以便促成WTRU1102a、1102b、1102c与启用IP的设备之间的通信。
CN 1106可以促成与其他网络的通信。例如，CN 1106可以为WTRU1102a、1102b、1102c提供电路交换网络(例如，PSTN 1108)接入，以便促成WTRU 1102a、1102b、1102c与传统的陆线通信设备之间的通信。例如，CN 1106可以包括一个IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 1106与PSTN 1108之间的接口。此外，CN 1106可以为WTRU 1102a、1102b、1102c提供针对其他网络1112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图11A-11D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在典型实施例中，所述其他网络1112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以接入或是对接到分布式系统(DS)或是将业务送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务可以通过AP来发送，例如源STA可以向AP发送业务并且AP可以将业务递送至目的地STA。处于BSS内部的STA之间的业务可被认为和/或称为点到点业务。所述点到点业务可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间可有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或1160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。1160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理和时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。与802.11n和802.11ac相比，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据典型实施例，802.11ah可以支持仪表类型控制/机器类型通信，例如宏覆盖区域中的MTC设备。MTC可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如，802.11n、802.11ac、802.11af以及802.11ah)来说，所述WLAN系统包括一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如，因为STA(其仅支持1MHz工作模式)正在对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ab的总带宽是6MHz到26MHz。
图11D是示出了根据实施例的RAN 1113和CN 1115的系统图示。如上所述，RAN1113可以在空中接口1116上使用NR无线电技术来与WTRU 1102a、1102b、1102c进行通信。RAN 1113还可以与CN 1115进行通信。
RAN 1113可以包括gNB 1180a、1180b、1180c，但是应该了解，在保持与实施例相一致的同时，RAN 1113可以包括任何数量的gNB。每一个gNB 1180a、1180b、1180c都可以包括一个或多个收发信机，以便通过空中接口1116来与WTRU 1102a、1102b、1102c通信。在一个实施例中，gNB 1180a、1180b、1180c可以实施MIMO技术。例如，gNB 1180a、1180b可以使用波束成形处理来向和/或从gNB 1180a、1180b、1180c发射和/或接收信号。由此，举例来说，gNB1180a可以使用多个天线来向WTRU 1102a发射无线信号，和/或接收来自WTRU 1102a的无线信号。在实施例中，gNB 1180a、1180b、1180c可以实施载波聚合技术。例如，gNB 1180a可以向WTRU 1102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 1180a、1180b、1180c可以实施协作多点(CoMP)技术。例如，WTRU 1102a可以接收来自gNB 1180a和gNB 1180b(和/或gNB1180c)的协作传输。
WTRU 1102a、1102b、1102c可以使用与可扩缩数字配置(numerology)相关联的传输来与gNB 1180a、1180b、1180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 1102a、1102b、1102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB 1180a、1180b、1180c进行通信。
gNB 1180a、1180b、1180c可被配置成与采用独立配置和/或非独立配置的WTRU1102a、1102b、1102c进行通信。在独立配置中，WTRU1102a、1102b、1102c可以在不接入其他RAN(例如e节点B1160a、1160b、1160c)的情况下与gNB 1180a、1180b、1180c进行通信。在独立配置中，WTRU 1102a、1102b、1102c可以使用gNB 1180a、1180b、1180c中的一者或多者作为移动锚点。在独立配置中，WTRU 1102a、1102b、1102c可以使用无授权频带中的信号来与gNB 1180a、1180b、1180c进行通信。在非独立配置中，WTRU 1102a、1102b、1102c会在与别的RAN(例如e节点B1160a、1160b、1160c)进行通信/相连的同时与gNB 1180a、1180b、1180c进行通信/相连。举例来说，WTRU 1102a、1102b、1102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 1180a、1180b、1180c以及一个或多个e节点B1160a、1160b、1160c进行通信。在非独立配置中，e节点B1160a、1160b、1160c可以充当WTRU 1102a、1102b、1102c的移动锚点，并且gNB1180a、1180b、1180c可以提供附加的覆盖和/或吞吐量，以便为WTRU1102a、1102b、1102c提供服务。
每一个gNB 1180a、1180b、1180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)1184a、1184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)1182a、1182b的控制平面信息等等。如图11D所示，gNB 1180a、1180b、1180c彼此可以通过Xn接口通信。
图11D所示的CN 1115可以包括至少一个AMF 1182a、1182b，至少一个UPF 1184a、1184b，至少一个会话管理功能(SMF)1183a、1183b，并且有可能包括数据网络(DN)1185a、1185b。虽然每一个前述部件都被描述了CN 1115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 1182a、1182b可以经由N2接口连接到RAN 1113中的一者或多者gNB1180a、1180b、1180c，并且可以充当控制节点。例如，AMF 1182a、1182b可以负责验证WTRU 1102a、1102b、1102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 1183a、1183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 1182a、1182b可以使用网络切片处理，以便基于WTRU 1102a、1102b、1102c使用的服务类型来定制为WTRU1102a、1102b、1102c提供的CN支持。举例来说，针对不同的使用情况，可以建立不同的网络切片，所述使用情况例如为依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF1162可以提供用于在RAN 1113与使用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 1183a、1183b可以经由N11接口连接到CN 1115中的AMF 1182a、1182b。SMF1183a、1183b还可以经由N4接口连接到CN 1115中的UPF 1184a、1184b。SMF 1183a、1183b可以选择和控制UPF 1184a、1184b，并且可以通过UPF1184a、1184b来配置业务路由。SMF1183a、1183b可以执行其他功能，例如管理和分配WTRU/UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 1184a、1184b可以经由N3接口连接到RAN 1113中的一者或多者gNB 1180a、1180b、1180c，这样可以为WTRU 1102a、1102b、1102c提供对分组交换网络(例如因特网1110)的接入，以便促成WTRU 1102a、1102b、1102c与启用IP的设备之间的通信，UPF 1184、1184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚处理等等。
CN 1115可以促成与其他网络的通信。例如，CN 1115可以包括或者可以与充当CN1115与PSTN 1108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 1115可以为WTRU 1102a、1102b、1102c提供针对其他网络1112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU1102a、1102b、1102c可以经由对接到UPF 1184a、1184b的N3接口以及介于UPF 1184a、1184b与数据网络(DN)1185a、1185b之间的N6接口并通过UPF 1184a、1184b连接到本地DN 1185a、1185b。
有鉴于图11A-11D以及关于图11A-11D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 1102a-d、基站1114a-b、e节点B1160a-c、MME1162、SGW 1164、PGW 1166、gNB 1180a-c、AMF 1182a-b、UPF 1184a-b、SMF 1183a-b、DN1185a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
本文所述的过程及技术可以在结合在计算机可读介质中的计算机程序、软件和/或固件中实现，以由计算机和/或处理器执行。计算机可读媒体的示例包括但不限于电子信号(通过有线和/或无线连接传输)和/或计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如但不限于内部硬盘和可移除磁盘)、磁光媒体和/或光学媒体(例如CD-ROM盘和/或数字通用盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、终端、基站、RNC和/或任何主计算机的射频收发信机。

Claims (15)

1.一种用于渲染具有多个空间区域的360度媒体内容的一个或多个空间区域的设备，所述设备包括：
接收机，被配置为接收所述360度媒体内容和与所述360度内容相关联的元数据，其中所述元数据包含所述多个空间区域中的第一空间区域的分类；
存储器，被配置为存储用户偏好；
传感器，被配置为检测用户移动；以及
处理器，被配置为：
确定所述用户移动与所述第一空间区域的渲染相关联；
确定所述分类是否符合所述用户偏好；以及
如果所述分类违反所述用户偏好，则改变所述第一空间区域的所述渲染。
2.根据权利要求1所述的设备，其中所述用户移动与从所述多个空间区域中的第二空间区域到所述第一空间区域的移动相关联，且
其中所述处理器被配置为通过抑制移动到所述第一空间区域来改变所述第一空间区域的所述渲染。
3.根据权利要求1所述的设备，其中所述处理器被配置为通过改变为二维投影格式或直线投影格式来改变所述第一空间区域的所述渲染。
4.根据权利要求1所述的设备，其中所述处理器被配置为通过改变所述第一空间区域的一方面来改变所述第一空间区域的所述渲染。
5.根据权利要求4所述的设备，其中所述处理器被配置为通过缩小或通过放大来改变所述第一空间区域的所述方面。
6.根据权利要求1所述的设备，其中所述第一空间区域包括视窗。
7.根据权利要求1所述的设备，其中所述分类包含所述第一空间区域的内容评级。
8.根据权利要求1所述的设备，其中所述元数据是作为媒体呈现描述(MPD)、文件封装器、定时元数据轨道或查找表的一部分而被接收的。
9.一种用于渲染具有多个空间区域的360度媒体内容的一个或多个空间区域的方法，所述方法包括：
接收所述360度媒体内容和与所述360度媒体内容相关联的元数据，其中所述元数据包括所述多个空间区域中的第一空间区域的分类；
存储用户偏好；
检测用户移动；
确定所述用户移动与所述第一空间区域的渲染相关联；
确定所述分类是否符合所述用户偏好；以及
如果所述分类违反所述用户偏好，则改变所述第一空间区域的所述渲染。
10.根据权利要求9所述的方法，其中所述用户移动与从所述多个空间区域中的第二空间区域到所述第一空间区域的移动相关联，以及
其中改变所述第一空间区域的所述渲染包括抑制移动到所述第一空间区域。
11.根据权利要求9所述的方法，其中改变所述第一空间区域的所述渲染包括改变为二维投影格式或直线投影格式。
12.根据权利要求9所述的方法，其中改变所述第一空间区域的所述渲染包含改变所述第一空间区域的一方面。
13.根据权利要求12所述的方法，其中改变所述第一空间区域的所述方面包括缩小或放大。
14.根据权利要求9所述的方法，其中所述第一空间区域包括视窗。
15.根据权利要求9所述的方法，其中所述分类包含所述第一空间区域的内容评级。
CN201880065149.4A 2017-10-04 2018-10-02 定制的360度媒体观看 Pending CN111201796A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762567976P 2017-10-04 2017-10-04
US62/567,976 2017-10-04
US201862691316P 2018-06-28 2018-06-28
US62/691,316 2018-06-28
PCT/US2018/053939 WO2019070686A1 (en) 2017-10-04 2018-10-02 360 DEGREES MULTIMEDIA VISUALIZATION CUSTOMIZED

Publications (1)

Publication Number Publication Date
CN111201796A true CN111201796A (zh) 2020-05-26

Family

ID=63966108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065149.4A Pending CN111201796A (zh) 2017-10-04 2018-10-02 定制的360度媒体观看

Country Status (4)

Country Link
US (2) US11622153B2 (zh)
EP (1) EP3692721A1 (zh)
CN (1) CN111201796A (zh)
WO (1) WO2019070686A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691883A (zh) * 2019-03-20 2021-11-23 北京小米移动软件有限公司 在vr360应用中传输视点切换能力的方法和装置
KR102596003B1 (ko) * 2019-03-21 2023-10-31 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
JP7282593B2 (ja) * 2019-05-17 2023-05-29 キヤノン株式会社 データ送信装置、データ送信装置の制御方法、及びプログラム
EP3996376A4 (en) * 2019-07-03 2023-08-09 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, REPRODUCTION PROCESSING DEVICE AND REPRODUCTION PROCESSING METHOD
WO2021053262A1 (en) * 2019-09-20 2021-03-25 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US11838593B2 (en) * 2020-08-21 2023-12-05 Disney Enterprises, Inc. Multi-mode selectable media playback
US11922561B2 (en) * 2020-10-06 2024-03-05 Mediatek Singapore Pte. Ltd. Methods and systems for implementing scene descriptions using derived visual tracks
US20220292819A1 (en) * 2021-03-10 2022-09-15 Rutgers, The State University Of New Jersey Computer Vision Systems and Methods for Acceleration of High-Resolution Mobile Deep Vision With Content-Aware Parallel Offloading
US20230007314A1 (en) * 2021-07-05 2023-01-05 Mediatek Singapore Pte. Ltd. System and method of server-side dynamic spatial and temporal adaptations for media processing and streaming
US11831965B1 (en) * 2022-07-06 2023-11-28 Streem, Llc Identifiable information redaction and/or replacement

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221877A (zh) * 2010-03-29 2011-10-19 微软公司 基于身体尺寸的家长控制设置
US20130291004A1 (en) * 2010-09-30 2013-10-31 Huawei Technologies Co., Ltd. Method and device for applying parental control in adaptive http streaming transmission
CN103703442A (zh) * 2010-12-13 2014-04-02 索尼公司 用于媒体内容呈现的用户界面
US20140195651A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Live timing for dynamic adaptive streaming over http (dash)
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
US20160300388A1 (en) * 2015-04-10 2016-10-13 Sony Computer Entertainment Inc. Filtering And Parental Control Methods For Restricting Visual Activity On A Head Mounted Display
WO2017064502A1 (en) * 2015-10-14 2017-04-20 Sony Interactive Entertainment Inc. Head-mountable display system
WO2017159063A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 表示装置並びに情報処理端末装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8443436B1 (en) * 2009-10-21 2013-05-14 Symantec Corporation Systems and methods for diverting children from restricted computing activities
JP5701007B2 (ja) * 2010-10-19 2015-04-15 キヤノン株式会社 監視カメラ装置及び監視カメラ装置の制御方法
CN105898429B (zh) 2011-02-25 2019-05-28 英派尔科技开发有限公司 能够增强现实演出的方法、设备和增强现实设备
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
BR112017010575A2 (pt) 2014-11-26 2018-02-14 Sony Corp dispositivos e métodos de transmissão e de recepção.
US10775878B2 (en) 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US20180376205A1 (en) 2015-12-17 2018-12-27 Thomson Licensing Method and apparatus for remote parental control of content viewing in augmented reality settings
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
US10565463B2 (en) * 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
KR102545195B1 (ko) * 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US10252154B2 (en) 2016-12-01 2019-04-09 Lenovo (Singapore) Pte. Ltd. Systems and methods for presentation of content at headset based on rating
US20180176468A1 (en) * 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US10306316B2 (en) * 2017-02-06 2019-05-28 International Business Machines Corporation Attention diverter responsive to determination of viewer and content
EP3646581A1 (en) * 2017-06-30 2020-05-06 PCMS Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
US10721510B2 (en) * 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US11307649B2 (en) * 2020-04-06 2022-04-19 Rovi Guides, Inc. Systems and methods for guiding perspectives for multi-perspective content
US11307648B2 (en) * 2020-04-06 2022-04-19 Rovi Guides, Inc. Systems and methods for guiding perspectives for multi-perspective content

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221877A (zh) * 2010-03-29 2011-10-19 微软公司 基于身体尺寸的家长控制设置
US20130291004A1 (en) * 2010-09-30 2013-10-31 Huawei Technologies Co., Ltd. Method and device for applying parental control in adaptive http streaming transmission
CN103703442A (zh) * 2010-12-13 2014-04-02 索尼公司 用于媒体内容呈现的用户界面
US20140195651A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Live timing for dynamic adaptive streaming over http (dash)
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
US20160300388A1 (en) * 2015-04-10 2016-10-13 Sony Computer Entertainment Inc. Filtering And Parental Control Methods For Restricting Visual Activity On A Head Mounted Display
WO2017064502A1 (en) * 2015-10-14 2017-04-20 Sony Interactive Entertainment Inc. Head-mountable display system
WO2017159063A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 表示装置並びに情報処理端末装置

Also Published As

Publication number Publication date
US20230179832A1 (en) 2023-06-08
US20200275156A1 (en) 2020-08-27
US11622153B2 (en) 2023-04-04
WO2019070686A8 (en) 2020-05-14
US11895365B2 (en) 2024-02-06
EP3692721A1 (en) 2020-08-12
WO2019070686A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US11895365B2 (en) Customized 360-degree media viewing
US11974001B2 (en) Secondary content insertion in 360-degree video
US20230319251A1 (en) Viewpoint metadata for omnidirectional video
US20240129581A1 (en) Metrics and messages to improve experience for 360-degree adaptive streaming
KR102395395B1 (ko) 뷰포트 의존성 비디오 스트리밍 이벤트
US20230281923A1 (en) Tile tracks for geometry-based point cloud data
US20220329923A1 (en) Video-based point cloud streams
US20220239947A1 (en) Video-based point cloud streams
US11917127B2 (en) Monitoring of video streaming events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526

RJ01 Rejection of invention patent application after publication