CN106293043B - 可视化内容传输控制方法、发送方法、及其装置 - Google Patents
可视化内容传输控制方法、发送方法、及其装置 Download PDFInfo
- Publication number
- CN106293043B CN106293043B CN201510368153.6A CN201510368153A CN106293043B CN 106293043 B CN106293043 B CN 106293043B CN 201510368153 A CN201510368153 A CN 201510368153A CN 106293043 B CN106293043 B CN 106293043B
- Authority
- CN
- China
- Prior art keywords
- user
- visual content
- information
- gesture
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 461
- 230000005540 biological transmission Effects 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 115
- 230000008859 change Effects 0.000 claims abstract description 43
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 27
- 239000011521 glass Substances 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000008713 feedback mechanism Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000002716 delivery method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例公开了一种可视化内容传输控制方法、可视化内容发送方法、及其装置。所述传输控制方法包括:获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息;至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。本申请实施例的方法及装置通过跟踪沉浸式虚拟现实显示场景中用户的姿态变化以及可视化内容的传输时延变化,能够智能的发送相应方向上的可视化内容,有助于在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。
Description
技术领域
本申请涉及信息获取技术,尤其涉及一种可视化内容传输控制方法、发送方法、及其装置。
背景技术
沉浸式虚拟现实(immersive VR)技术的一个应用场景是通过例如基于头盔式显示器(HMD)的系统、投影式虚拟现实系统等,将一场景多个方向上的多媒体内容合成该场景的实时动态的三维立体逼真显示,以提供用户完全沉浸式的体验,使其有置身于虚拟世界之中的感觉。例如,通过具有多个高清摄像头的专业的虚拟现实摄像机拍摄目标场景的全景360°3D视频,通过网络传送到用户使用的虚拟现实显示设备(例如,头盔式显示器、眼镜)上,进行沉浸式虚拟现实视频显示。
为了进行沉浸式虚拟现实视频显示,拍摄设备需要在多个方向上拍摄,例如,通过多个高清摄像头采集多个方向上的高清可视化内容,为了实现更好的沉浸式虚拟现实显示,还可采集4K/8K的超高清可视化内容,这样的可视化内容如果要使用成流(streaming)的方式传送,无疑会对网络传输环境提出较高的要求,例如需要网络提供较大的带宽、较快的网速以及较小的延时,对网络造成较大压力。
发明内容
本申请实施例可能的目的是:提供一种在不影响用户体验的同时大大减少对网络造成的压力的可视化内容传输方案。
第一方面,本申请实施例提供了一种可视化内容传输控制方法,所述方法包括:
获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息;
至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
结合第一方面,在第一种可能的实现方式中,所述确定与目标场景相关联的可视化内容的发送策略包括:
至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
至少根据所述姿态,确定所述至少一个方向。
结合第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:
至少根据所述发送策略,获取所述至少一个方向上的与所述目标场景相关联的可视化内容;
向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
结合第一方面或第一方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述方法还包括:
至少根据所述发送策略,获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;
向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
结合第一方面或第一方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且
所述方法还包括:
至少根据所述发送策略,获取所述至少两个方向上的与所述目标场景相关联的可视化内容;
按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。
结合第一方面或第一方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述预设优先级包括:发送频率优先级、发送时间优先级、和/或传输质量优先级。
结合第一方面或第一方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述获取与用户的姿态相关联的信息包括:
接收来自与所述用户相关联的至少一传感器的所述信息。
结合第一方面或第一方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述方法还包括:
发送与所述发送策略相关联的信息。
结合第一方面或第一方面的上述任一种可能的实现方式,在第八种可能的实现方式中,所述与用户的姿态相关联的信息包括与以下中的至少一项相关联的信息:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度。
结合第一方面或第一方面的上述任一种可能的实现方式,在第九种可能的实现方式中,所述第二信息包括:为所述用户呈现所述可视化内容的时间;
所述获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息包括:
确定为所述用户呈现所述可视化内容的时间;
至少根据所述呈现所述可视化内容的时间以及所述可视化内容的发送时间确定所述时延。
结合第一方面或第一方面的上述任一种可能的实现方式,在第十种可能的实现方式中,所述发送策略还包括:向所述用户发送的所述可视化内容中包括对应的发送时间。
第二方面,本申请实施例提供了一种可视化内容发送方法,所述方法包括:
获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息;
至少根据所述第一信息以及所述第二信息,向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
结合第二方面,在第一种可能的实现方式中,所述向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容还包括:
至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
至少根据所述姿态,确定所述至少一个方向。
结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容包括:
获取所述至少一个方向上的与所述目标场景相关联的可视化内容;
向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
结合第二方面或第二方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容包括:
获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;
向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
结合第二方面或第二方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容包括:
获取所述至少两个方向上的与所述目标场景相关联的可视化内容;
按照一所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。
结合第二方面或第二方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述预设优先级包括:发送频率优先级、发送时间优先级、和/或传输质量优先级。
结合第二方面或第二方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息包括:
接收来自与所述用户相关联的至少一传感器的所述第一信息。
结合第二方面或第二方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述与用户的姿态相关联的信息包括与以下中的至少一项相关联的信息:用户面部朝向、用户的头部转动速度、用户头部水平角度、用户头部的倾斜角度。
结合第二方面或第二方面的上述任一种可能的实现方式,在第八种可能的实现方式中,所述第二信息包括:为所述用户呈现所述可视化内容的时间;
所述获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息包括:
确定为所述用户呈现所述可视化内容的时间;
至少根据所述呈现所述可视化内容的时间以及发送所述可视化内容的时间确定所述时延。
结合第二方面或第二方面的上述任一种可能的实现方式,在第九种可能的实现方式中,所述向所述用户发送在与所述用户的、和所述时延相关的姿态对应的至少一个方向上采集的与所述目标场景相关联的可视化内容包括:
向所述用户发送的所述可视化内容中包括对应的发送时间。
第三方面,本申请实施例提供了一种呈现方法,所述方法包括:
获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;
至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。
结合第三方面,在第一种可能的实现方式中,所述方法还包括:
获取与所述发送策略相关联的信息。
结合第三方面或第三方面的第一种可能的实现方式,在第二种可能的实现方式中,所述至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示包括:
至少根据所述发送策略,确定所述至少一个方向;
至少根据最近时刻获取到的所述至少一个方向上的可视化内容以及之前时刻获取到的其他方向上的可视化内容,为用户呈现沉浸式虚拟现实显示。
结合第三方面或第三方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且
所述至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示包括:
至少根据所述发送策略,确定所述至少两个方向上的可视化内容;
按照所述预设优先级,为用户呈现沉浸式虚拟现实显示。
结合第三方面或第三方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述预设优先级包括:发送频率优先级、发送时间优先级、和/或传输质量优先级。
结合第三方面或第三方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述方法还包括:
采集所述与用户的姿态相关联的第一信息;
发送所述与用户的姿态相关联的第一信息。
结合第三方面或第三方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述方法还包括:
确定与所述时延相关联的第二信息;
发送所述第二信息。
结合第三方面或第三方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述确定与所述时延相关联的第二信息包括:
确定可视化内容的发送时间;
至少根据为用户呈现所述可视化内容的时间以及所述可视化内容的发送时间确定所述时延。
结合第三方面或第三方面的上述任一种可能的实现方式,在第八种可能的实现方式中,所述与用户的姿态相关联的信息包括与以下中的至少一项相关联的信息:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度。
第四方面,本申请实施例提供了一种可视化内容传输控制装置,所述装置包括:
一第一获取模块,用于获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息;
一第一确定模块,用于至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
结合第四方面,在第一种可能的实现方式中,所述第一确定模块包括:
一第一确定单元,用于至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
一第二确定单元,用于至少根据所述姿态,确定所述至少一个方向。
结合第四方面或第四方面的第一种可能的实现方式,在第二种可能的实现方式中,所述装置还包括:
一第二获取模块,用于至少根据所述发送策略,获取所述至少一个方向上的与所述目标场景相关联的可视化内容;
一第一发送模块,用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
结合第四方面或第四方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述装置还包括:
一第二获取模块,用于至少根据所述发送策略,获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;
一第一发送模块,用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
结合第四方面或第四方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送在至少两个方向上采集获得的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且
所述装置还包括:
一第二获取模块,用于至少根据所述发送策略,获取所述至少两个方向上的与所述目标场景相关联的可视化内容;
一第一发送模块,用于按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。
结合第四方面或第四方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述第一获取模块用于接收来自与所述用户相关联的至少一传感器的所述信息。
结合第四方面或第四方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述装置还包括:
一第二发送模块,用于发送与所述发送策略相关联的信息。
结合第四方面或第四方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述第二信息包括:为所述用户呈现所述可视化内容的时间;
所述第一获取模块包括:
一第三确定单元,用于确定为所述用户呈现所述可视化内容的时间;
一第四确定单元,用于至少根据所述呈现所述可视化内容的时间以及所述可视化内容的发送时间确定所述时延。
第五方面,本申请实施例提供了一种可视化内容发送装置,所述装置包括:
一第三获取模块,用于获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息;
一第三发送模块,用于至少根据所述第一信息以及所述第二信息,向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
结合第五方面,在第一种可能的实现方式中,所述第三发送模块包括:
一第五确定单元,用于至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
一第六确定单元,用于至少根据所述姿态,确定所述至少一个方向。
结合第五方面或第五方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第三发送模块包括:
一第一获取单元,用于获取所述至少一个方向上的与所述目标场景相关联的可视化内容;
一发送单元,用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
结合第五方面或第五方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述第三发送模块包括:
一第一获取单元,用于获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;
一发送单元,用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
结合第五方面或第五方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述第三发送模块包括:
一第一获取单元,用于获取所述至少两个方向上的与所述目标场景相关联的可视化内容;
一发送单元,用于按照一所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。
结合第五方面或第五方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述第三获取模块用于接收来自与所述用户相关联的至少一传感器的所述第一信息。
结合第五方面或第五方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述第二信息包括:为所述用户呈现所述可视化内容的时间;
所述第三获取模块包括:
一第七确定单元,用于确定为所述用户呈现所述可视化内容的时间;
一第七确定单元,用于至少根据所述呈现所述可视化内容的时间以及所述可视化内容的发送时间确定所述时延。
结合第五方面或第五方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述第三发送模块向所述用户发送的所述可视化内容中包括对应的发送时间。
第六方面,本申请实施例提供了一种呈现装置,所述装置包括:
一第四获取模块,用于获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;
一显示模块,用于至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。
结合第六方面,在第一种可能的实现方式中,所述装置还包括:
一第五获取模块,用于获取与所述发送策略相关联的信息。
结合第六方面或第六方面的第一种可能的实现方式,在第二种可能的实现方式中,所述显示模块包括:
一第九确定单元,用于至少根据所述发送策略,确定所述至少一个方向;
一显示单元,用于至少根据最近时刻获取到的所述至少一个方向上的可视化内容以及之前时刻获取到的其他方向上的可视化内容,为用户呈现沉浸式虚拟现实显示。
结合第六方面或第六方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且
所述显示模块包括:
一第九确定单元,用于至少根据所述发送策略,确定所述至少两个方向上的可视化内容;
一显示单元,用于按照所述预设优先级,为用户呈现沉浸式虚拟现实显示。
结合第六方面或第六方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述装置还包括:
一采集模块,用于采集所述与用户的姿态相关联的第一信息;
一第四发送模块,用于发送所述与用户的姿态相关联的第一信息。
结合第六方面或第六方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述装置还包括:
一第二确定模块,用于确定与所述时延相关联的第二信息;
一第五发送模块,用于发送所述第二信息。
结合第六方面或第六方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述第二确定模块进一步用于确定可视化内容的发送时间,并至少根据为用户呈现所述可视化内容的时间以及所述可视化内容的发送时间确定所述时延。
第七方面,本申请实施例提供了一种可视化内容传输控制装置,所述装置包括:
摄像机,包括复数个摄像头;
存储器,用于存放指令;
处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:
获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息;
至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:由所述复数个摄像头中的至少一个向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
第八方面,本申请实施例提供了一种呈现装置,所述装置包括:
显示器;
存储器,用于存放指令;
处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:
获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;
至少根据所述发送策略,通过所述显示器为用户呈现沉浸式虚拟现实显示。
本申请实施例的方法及装置通过跟踪用户在观看沉浸式虚拟现实显示时的姿态变化以及可视化内容的传输时延变化,能够智能的发送相应方向上的可视化内容,有助于在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。
附图说明
图1为本申请实施例的可视化内容传输控制方法的一种示例的流程图;
图2为本申请实施例的可视化内容发送方法的一种示例的流程图;
图3为本申请实施例的呈现方法的一种示例的流程图;
图4(a)至图4(e)为本申请实施例的可视化内容传输控制装置的多种示例的结构图;
图5(a)至图5(c)为本申请实施例的可视化内容发送装置的多种示例的结构图;
图6(a)至图6(e)为本申请实施例的呈现装置的多种示例的结构图;
图7为本申请实施例的可视化内容传输控制装置的又一种示例的结构图;
图8为本申请实施例的可视化内容发送装置的又一种示例的结构图;
图9为本申请实施例的呈现装置的又一种示例的结构图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实现方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
为了更好的理解本申请,现对本申请各实施例所用的术语进行说明:
“可视化内容”指能够用于以沉浸式虚拟现实的方式呈现的目标场景中的任何内容,该内容包括与目标场景有关的任何物理对象和/或数字(虚拟)对象(object)。可视化内容的发送、传输指的是从采集单元侧发送用于将对应的可视化内容以沉浸式虚拟现实的方式呈现的任何相关数据并通过无线网络向目标用户侧传输,这样的数据包括但不限于:与可视化内容相关的任何文字、图片、图像、音频文件、视频文件、以及与目标场景中的任一物理和/或虚拟对象的虚拟现实呈现相关的描述数据,例如三维模型、空间关系描述数据等等,且可采用流式传输(streaming)的方式传输这些数据。“目标场景”包括真实物理环境、虚拟现实场景(虚拟环境)、混合现实环境(包括增强现实和增强虚拟,也即,物理环境和虚拟环境的混合)。“采集单元”指的是用于采集目标场景的可视化内容相关数据的装置或装置的一部分,例如,采集单元可为具有多个摄像头的设备,或为具有多个摄像头的设备的任一摄像头,用于采集真实的物理环境相关的可视化内容数据,和/或用于获取虚拟现实场景/混合现实场景中的可视化内容数据。
使用例如头盔式显示器、眼镜、投影式虚拟现实系统的投影设备等沉浸式虚拟现实显示设备,通过无线网络实时接收并处理(一个或多个)采集单元采集/获取到的与目标场景相关联的可视化内容,能够为用户提供目标场景的沉浸式虚拟现实观看体验。据研究,用户沉浸在逼真的模拟环境中时,会因场景中的实时变化而变化姿态,例如,头部、眼睛、或其他可能的身体部位将发生动作。本神情各实施例的技术方案正是基于此,通过跟踪并预测用户的姿态变化,选择性地进行可视化内容的传输,从而在为用户提供较好的沉浸式虚拟现实体验的同时大大减小对网络造成的压力。
图1是本申请一种实施例的可视化内容传输控制方法的流程图,该方法可由任意采集单元执行,也可由独立的装置执行。如图1所示,该方法包括:
S120.获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息。
在本实施例的方法中,与用户的姿态相关联的第一信息指能够表示用户在观看沉浸式虚拟现实显示时的状态和/或观看意图的任何信息,包括但不限于:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度。与所述可视化内容的传输时延相关联的第二信息为能够表示可视化内容的传输时延的任何信息,也即,从采集单元(目标场景)侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间,这样的信息可为时延本身,也可为能够用于确定该时延的其他信息,例如,所述可视化内容的发送时间,和/或将可视化内容呈现给用户的时间,等等。
S140.至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
如上所述的,在骤S140中根据步骤S120所获取的第一信息,能够确定用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图,进而预测用户的姿态变化趋势,例如,根据用户的姿态确定用户正在观看的方向以及预测用户将要观看的方向,从而结合时延确定相应的发送策略:向所述用户发送和所述时延相关的姿态对应的方向上的与所述目标场景相关联的可视化内容,换句话说,采集单元侧发送的是在经过所述时延后用户将要观看的方向上的可视化内容。该方向上的可视化内容可为由一个采集单元所采集/获取的,也可为多个采集单元所采集/获取的。
综上,本实施例的方法通过跟踪用户观看沉浸式虚拟现实时的姿态变化以及可视化内容的传输时延变化,确定相应的可视化内容的发送策略,有助于在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。
需要说明的是,由于可视化内容是在一定时间段内持续传送的,步骤S120可为周期性、实时、响应于用户的姿态发生变化、或根据网络传输能力来触发(网络传输能力好,可频繁触发,否则,较少触发)执行的,相应地,步骤S140中也可根据步骤S120所获得信息的变化来做出所述发送策略的适应性变化。
此外,如上所述的,步骤S140可进一步包括:
S142.至少根据所述第一信息,确定所述用户与所述时延相关的姿态。
换句话说,在步骤S142中,可根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向。所获得的第一信息越多,也即步骤S120执行的次数越多,所预测所述时延后的姿态越准确。
S144.至少根据所述姿态,确定所述至少一个方向。
根据用户的姿态确定用户观看的方向是较为成熟的技术在此不做赘述。且所述至少一个方向优选为与用户观看的方向相同或相似的方向。
在本实施例的方法中,所述发送策略中涉及的向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容可包括:仅发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,从而节省了原本用于发送多个方向上的可视化内容的带宽,因此能够以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容。所述发送策略中还可明确表示以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,具言之,发送策略可包括:以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。
此外,在仅发送所述至少一个方向上的可视化内容的实现方式中,本实施例的方法可控制采集单元仅采集/获取所述至少一个方向上的目标场景的可视化内容数据,并发送;或者控制采集单元采集/获取包括所述至少一个方向的多个方向上的目标场景的可视化内容数据,但仅发送所述至少一个方向上的目标场景的可视化内容。
在按照预设优先级发送包括所述至少一个方向在内的多个方向上的可视化内容的实现方式中,本实施例的方法可控制多个采集单元分别在多个方向上采集/获取目标场景的可视化内容数据,并按照所述预设优先级进行发送。
如上所述的,本实施例的方法可仅获取并发送所述至少一个方向上的目标场景的可视化内容,在这样的实现方式中,本实施例的方法还包括:
S161.至少根据所述发送策略,获取所述至少一个方向上的与所述目标场景相关联的可视化内容。
所述发送策略中明确了将向用户发送的可视化内容是所述至少一个方向的,在步骤S161中可通过与相应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少一个方向上采集目标场景的可视化内容的方式获取所述可视化内容。
S162.向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S162中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
仍如上所述的,本实施例的方法还可获取多个方向上的目标场景的可视化内容,并发送所述至少一个方向上的目标场景的可视化内容。在这样的实现方式中,本实施例的方法还包括:
S163.至少根据所述发送策略,获取至少两个方向上的与所述目标场景相关联的可视化内容。其中,所述至少两个方向包括所述至少一个方向。
如结合步骤S161所描述的,在步骤S163中可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少两个方向上采集目标场景的可视化内容的方式获取所述可视化内容。
S164.向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S164中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
仍如上所述的,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,其中,所述至少两个方向包括所述至少一个方向。在这样的实现方式中,本实施例的方法还包括:
S165.至少根据所述发送策略,获取所述至少两个方向上的与所述目标场景相关联的可视化内容。
如结合步骤S161所描述的,在步骤S165中可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少两个方向上采集目标场景的可视化内容的方式获取所述可视化内容。
S166.按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S166中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
此外,在沉浸式虚拟现实的场景中,可通过多种传感器实现对用户的姿态的跟踪,本实施例的方法可从与用户关联的至少一传感器处获取与用户的姿态相关联的信息,该至少一传感器设置在用户所佩戴的头盔式显示器、眼镜上。因此,步骤S120可包括:
S122.接收来自与所述用户相关联的至少一传感器的所述信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。
为了实现可视化内容的传送以及为用户呈现沉浸式虚拟现实显示,本实施例的方法还包括:
S180.发送与所述发送策略相关联的信息。
在本实施例的方法中,步骤S180可以各采集单元能够接收到的方式发送所述发送策略,和/或以用户使用的显示设备能够接收到的方式发送所述发送策略。
此外,如上所述的,所述与所述时延相关联的第二信息可包括能够用于确定所述时延的任何信息,由于本实施例的方法可由任一采集单元执行,因此,可视化内容的发送时间是容易获知的,为了确定所述时延,步骤S120还可包括:
S124.确定为所述用户呈现所述可视化内容的时间。例如,从用户侧接收为所述用户呈现所述可视化内容的时间。
S126.至少根据所述呈现所述可视化内容的时间以及发送所述可视化内容的时间确定所述时延。例如,为用户呈现所述可视化内容的时间与发送所述可视化内容的时间的时间差即为所述时延。
在所述第二信息为所述时延本身的实现方式中,该时延可由用户侧确定,所述发送策略中还可包括:向所述用户发送的所述可视化内容中包括对应的发送时间。
在本实施例的方法中,与即将发送的用于形成虚拟现实显示的可视化内容相比,可以较小的数据包实现第一信息、第二信息以及所述发送策略的发送,且对传输要求不高,通过这样的跟踪反馈机制能够有助于更智能的传输可视化内容,即使在带宽受限的情况下也能实现为用户提供较好的沉浸式体验。
本申请还提供了一种可视化内容发送方法,该方法可由任一采集单元执行。图2为本申请一种实施例的可视化内容发送方法的流程图。如图2所示,所述方法包括:
S220.获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息。
在本实施例的方法中,与用户的姿态相关联的第一信息指能够表示用户在观看沉浸式虚拟现实显示时的状态和/或观看意图的任何信息,包括但不限于:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度,等等。与所述可视化内容的传输时延相关联的第二信息为能够表示可视化内容的传输时延的任何信息,也即,从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间,这样的信息可为时延本身,也可为能够用于确定该时延的其他信息,例如,所述可视化内容的发送时间,和/或将可视化内容呈现给用户的时间。
S240.至少根据所述第一信息以及所述第二信息,向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
如上所述的,在骤S240中根据步骤S220所获取的第一信息,能够确定用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图,进而预测用户的姿态变化,例如,根据用户的姿态确定用户正在观看的方向以及预测用户将要观看的方向,从而结合所述第二信息,向所述用户发送和所述时延相关的姿态对应的方向上的与所述目标场景相关联的可视化内容,换句话说,步骤S240发送的是在经过所述时延后用户将要观看的方向上的可视化内容。该方向上的可视化内容可为由一个采集单元所采集/获取的,也可为多个采集单元所采集/获取的。在由多个采集单元采集的实现方式中,本实施例的方法可通过与各采集单元通信获取相应的可视化内容,并统一发送。
综上,本实施例的方法通过跟踪用户观看沉浸式虚拟现实显示时的姿态变化以及可视化内容的传输时延变化,向用户发送相应方向的可视化内容,能够在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。
需要说明的是,由于可视化内容是在一定时间段内持续传送的,步骤S220可为周期性、实时、响应于用户的姿态发生变化、或根据网络传输能力来触发(网络传输能力好,可频繁触发,否则,较少触发)执行的,相应地,步骤S240中也可根据步骤S220所获得信息的变化来做出适应性变化。
此外,如上所述的,可根据用户的姿态确定用户的观看方向,确定发送的可视化内容对应的方向,也即,步骤S240可进一步包括:
S241.至少根据所述第一信息,确定所述用户与所述时延相关的姿态。
换句话说,在步骤S241中,可根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向。所获得的第一信息越多,也即步骤S220执行的次数越多,所预测所述时延后的姿态越准确。
S242.至少根据所述姿态,确定所述至少一个方向。
根据用户的姿态确定用户观看的方向是较为成熟的技术在此不做赘述。且所述至少一个方向优选为与用户观看的方向相同或相似的方向。
在本实施例的方法中,向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容可包括:仅发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,从而节省了原本用于发送多个方向上的可视化内容的带宽,因此能够以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容。还可以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,例如,以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。
此外,在仅发送所述至少一个方向上的可视化内容的实现方式中,本实施例的方法可仅采集/获取所述至少一个方向上的目标场景的可视化内容数据,并发送;或者采集/获取包括所述至少一个方向的多个方向上的目标场景的可视化内容数据,但仅发送所述至少一个方向上的目标场景的可视化内容。
在按照预设优先级发送包括所述至少一个方向在内的多个方向上的可视化内容的实现方式中,本实施例的方法可获取多个采集单元分别在多个方向上采集/获取的目标场景的可视化内容数据,并按照所述预设优先级进行发送。
如上所述的,本实施例的方法可仅获取并发送所述至少一个方向上的目标场景的可视化内容,在这样的实现方式中,步骤S240可包括:
S243.获取所述至少一个方向上的与所述目标场景相关联的可视化内容。
在步骤S243中可由执行本实施例方法的采集单元直接采集所述至少一个方向上的目标场景的可视化内容的方式获取所述可视化内容,也可通过与相应的至少一个采集单元通信的方式获取所述可视化内容。
S244.向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S244中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
仍如上所述的,本实施例的方法还可获取在多个方向上的目标场景的可视化内容,并仅发送所述至少一个方向上的目标场景的可视化内容。在这样的实现方式中,步骤S240还可包括:
S245.获取在至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向。
如结合步骤S243所描述的,在步骤S245中可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,执行本实施例方法的采集单元也可主动在其中至少一个方向上采集目标场景的可视化内容。
S246.向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S246中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
仍如上所述的,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上
的与所述目标场景相关联的可视化内容,其中,所述至少两个方向包括所述至少一个方向。在这样的实现方式中,步骤S240还可包括:
S247.获取所述至少两个方向上的与所述目标场景相关联的可视化内容。
如结合步骤S245所描述的,在步骤S247中可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,执行本实施例方法的采集单元也可主动在其中至少一个方向上采集目标场景的可视化内容。
S248.按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S248中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
此外,在沉浸式虚拟现实的场景中,可通过多种传感器实现对用户的姿态的跟踪,本实施例的方法可从与用户关联的至少一传感器处获取与用户的姿态相关联的信息。因此,步骤S220可包括:
S222.接收来自与所述用户相关联的至少一传感器的所述信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。
此外,如上所述的,所述与所述时延相关联的第二信息可包括能够用于确定所述时延的任何信息,由于本实施例的方法可由任一采集单元执行,因此,可视化内容的发送时间是容易获知的,为了确定所述时延,步骤S220还可包括:
S224.确定为所述用户呈现所述可视化内容的时间。例如,从用户侧接收为所述用户呈现所述可视化内容的时间。
S226.至少根据所述呈现所述可视化内容的时间以及发送所述可视化内容的时间确定所述时延。例如,为用户呈现所述可视化内容的时间与发送所述可视化内容的时间的时间差即为所述时延。
在所述第二信息为所述时延本身的实现方式中,该时延可由用户侧确定,相应地,在步骤S240中还包括:
S249.向所述用户发送的所述可视化内容中包括对应的发送时间。
综上,在本实施例的方法中,与即将发送的用于形成沉浸式虚拟现实显示的可视化内容相比,可以较小的数据包实现第一信息、以及第二信息的发送,且对传输要求不高,通过这样的跟踪反馈机制能够更智能的传输可视化内容,即使在带宽受限的情况下也能实现为用户提供较好的沉浸式体验。
本申请还提供了一种呈现方法,该方法可由沉浸式虚拟现实显示设备执行,这样的虚拟现实显示设备包括但不限于:头盔式显示器,投影式虚拟现实系统的投影设备,等等。图3为本申请一种实施例的呈现方法的流程图。如图3所示,所述方法包括:
S320.获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
如结合图1所描述的,为了更智能的发送可视化内容,采集单元侧按照一定的发送策略发送可视化内容。本实施例的方法获取这样的可视化内容。
S340.至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。
所述发送策略中明确了所发送的可视化内容是与用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图相关的,因此,本实施例的方法能够为用户提供较好的体验。
具体地,为了更智能的为用户呈现沉浸式虚拟现实显示,本实施例的方法可进一步包括:
S310.获取与所述发送策略相关联的信息。例如,接收执行结合图1描述的实施例的方法的装置所发送的与所述发送策略相关联的信息。
且如结合图1所描述的,在一种可能的实现方式中,为了节省原本用于发送多个方向上的可视化内容的带宽,从而以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容,所述发送策略中可明确表示:仅发送与所述至少一个方向上的与所述目标场景相关联的可视化内容。在这样的实现方式中,步骤S340可进一步包括:
S342.至少根据所述发送策略,确定所述至少一个方向。
S343.至少根据最近时刻获取到的所述至少一个方向上的可视化内容以及之前时刻获取到的其他方向上的可视化内容,为用户呈现沉浸式虚拟现实显示。
其中,为了提供沉浸式体验,在形成沉浸式虚拟现实显示时仍需结合多个方向上的可视化内容,因此,在步骤S343中,除所述至少一个方向对应的可视化内容外,其他方向对应的可视化内容可采用历史数据,从而,在保证用户观看的方向上的实时、和/或高质量的同时,仍能保证沉浸式体验。
在另一种可能的实现方式中,所述发送策略中还可明确表示以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,具言之,所述发送策略可包括:以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。在这样的实现方式中,步骤S340可进一步包括:
S344.至少根据所述发送策略,确定所述预设优先级。
S345.按照所述预设优先级,为用户呈现沉浸式虚拟现实显示。
在一种可能的实现方式中,执行本实施例方法的装置可根据所述预设优先级确定能够获取到的可视化内容的方向,并结合其他方向对应的历史数据来为用户呈现沉浸式虚拟现实显示。
此外,为了提供确定所述发送策略的参考,本实施例的方法还包括:
S312.采集所述与用户的姿态相关联的第一信息,在一种可能的实现方式中,可通过至少一个传感器采集用户的姿态的采集,且在一种优选的实现方式中,所述至少一个传感器可属于执行本实施例的方法的装置。
S314.发送所述与用户的姿态相关联的第一信息,该第一信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。且在步骤S314中,可以执行结合图1描述的方法的装置和/或执行结合图2描述方法的装置能够接收到的方式发送所述第一信息。
此外,如上所述的,所述与所述时延相关联的第二信息可包括能够用于确定所述时延的任何信息,由于本实施例的方法可由用户所使用的虚拟现实显示设备执行,因此,为用户呈现可视化内容的时间是容易获知的,为了确定所述时延,所述方法还可包括:
S316.确定与所述时延相关联的第二信息;
S318.发送所述第二信息。
且步骤S316可进一步包括:
S3162.确定所述可视化内容的发送时间;
S3164.至少根据为用户呈现所述可视化内容的时间以及所述可视化内容的发送时间确定所述时延。
其中,可从用户侧接收到的可视化内容中获取其中包括的对应的可视化内容的发送时间。
需要说明的是,本实施例的方法可采用任意合适的技术,基于获取到的可视化内容来为用户提供虚拟现实显示,在此不作为对本申请实施例的技术方案的限制。
综上,本实施例的方法能够为用户提供良好的沉浸式虚拟现实观看体验。
本领域技术人员可以理解,在本申请具体实现方式的上述方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实现方式的实施过程构成任何限定。
此外,本申请实施例还提供了一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图1所示实现方式中的方法的各步骤的操作。
此外,本申请实施例还提供了一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图2所示实现方式中的方法的各步骤的操作。
此外,本申请实施例还提供了一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图3所示实现方式中的方法的各步骤的操作。
本申请实施例还提供了一种执行上面结合图1所描述的可视化内容传输控制方法的可视化内容传输控制装置,该装置可为独立的装置,也可为属于任一采集单元的装置。除下面将描述的各组成部分外,所述装置还包括可根据需要实现与装置外部任意设备通信的通信模块。如图4(a)所示,本申请第一种实施例的可视化内容传输控制装置400包括:
第一获取模块420,用于获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息。
在实施例的装置中,与用户的姿态相关联的第一信息包括:能够表示用户在观看沉浸式虚拟现实显示时的状态和/或观看意图的任何信息,包括但不限于:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度。与所述可视化内容的传输时延相关联的第二信息为能够表示可视化内容的传输时延的任何信息,也即,从采集单元(目标场景)侧发出可视化内容起,到可视化内容呈现给用户的时刻止的时间,这样的信息可为时延本身,也可为能够用于确定该时延的其他信息,例如,所述的可视化内容的发送时间,和/或将可视化内容呈现给用户的时间。
第一确定模块440,用于至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
如上所述的,第一确定模块440根据第一获取模块420所获取的第一信息,能够确定用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图,进而预测用户的姿态变化趋势,例如,根据用户的姿态确定用户正在观看的方向以及预测用户将要观看的方向,从而结合时延确定相应的发送策略:向所述用户发送和所述时延相关的姿态对应的方向上采集的与所述目标场景相关联的可视化内容,换句话说,采集单元侧发送的是在经过所述时延后用户将要观看的方向上采集的可视化内容。该方向上的可视化内容可为由一个采集单元所采集/获取的,也可为多个采集单元所采集/获取的。
综上,本实施例的装置通过跟踪用户观看沉浸式虚拟现实时的姿态变化以及可视化内容的传输时延变化,确定相应地可视化内容发送策略,有助于在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。
需要说明的是,由于可视化内容是在一定时间段内持续传送的,第一获取模块420可周期性、实时、响应于用户的姿态发生变化、或根据网络传输能力来执行其功能(网络传输能力好,可频繁执行,否则,较少执行),相应地,第一确定模块440也可根据第一获取模块420所获取的信息的变化来做出所述发送策略的适应性变化。
此外,如上所述的,如图4(b)所示的,第一确定模块440可进一步包括:
第一确定单元442,用于至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。
换句话说,第一确定单元442可根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向。所获得的第一信息越多,也即第一获取模块420获取第一信息的次数越多,所预测所述时延后的姿态越准确。
第二确定单元444,用于至少根据所述姿态,确定所述至少一个方向。
根据用户的姿态确定用户观看的方向是较为成熟的技术在此不做赘述。且所述至少一个方向优选为与用户观看的方向相同或相似的方向。
在本实施例的装置中,所述发送策略中涉及的向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容可包括:仅发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,从而节省了原本用于发送多个方向上的可视化内容的带宽,因此能够以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容。所述发送策略中还可明确表示以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,具言之,发送策略可包括:以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。
此外,在仅发送所述至少一个方向上的可视化内容的实现方式中,本实施例的装置可控制采集单元仅采集/获取所述至少一个方向上的目标场景的可视化内容数据,并发送;或者控制采集单元采集/获取包括所述至少一个方向的多个方向上的目标场景的可视化内容,但仅发送所述至少一个方向上目标场景的可视化内容。
在按照预设优先级发送包括所述至少一个方向在内的多个方向上的可视化内容的实现方式中,本实施例的装置可控制多个采集单元分别在多个方向上采集/获取目标场景的可视化内容数据,并按照所述预设优先级进行发送。
如图4(c)所示,本实施例的装置400还包括:第二获取模块461以及第一发送模块462。
如上所述的,本实施例的装置可仅获取并发送所述至少一个方向上的目标场景的可视化内容,在这样的实现方式中:
第二获取模块461用于至少根据所述发送策略,获取所述至少一个方向上的与所述目标场景相关联的可视化内容。
所述发送策略中明确了将向用户发送的可视化内容是所述至少一个方向的,第二获取模块461可通过与相应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少一个方向上采集目标场景的可视化内容的方式获取所述可视化内容。
第一发送模块462用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,第一发送模块462向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
仍如上所述的,本实施例的装置还可获取多个方向上的目标场景的可视化内容,并发送所述至少一个方向上的目标场景的可视化内容。在这样的实现方式中:
第二获取模块461用于至少根据所述发送策略,获取至少两个方向上的与所述目标场景相关联的可视化内容。其中,所述至少两个方向包括所述至少一个方向。
类似地,第二获取模块461可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少两个方向上采集目标场景的可视化内容的方式获取所述可视化内容。
第一发送模块462用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,第一发送模块462向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
仍如上所述的,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,其中,所述至少两个方向包括所述至少一个方向。在这样的实现方式中:
第二获取模块461用于至少根据所述发送策略,获取所述至少两个方向上的与所述目标场景相关联的可视化内容。
类似地,第二获取模块461可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少两个方向上采集目标场景的可视化内容的方式获取所述可视化内容。
第一发送模块462用于按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。具体地,第一发送模块462向用户侧用于呈现虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
此外,在沉浸式虚拟现实的场景中,可通过多种传感器实现对用户的姿态的跟踪,本实施例的装置可从与用户关联的至少一传感器处获取与用户的姿态相关联的信息。也即,第一获取模块420可接收来自与所述用户相关联的至少一传感器的所述信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。
为了实现可视化内容的发送以及为用户呈现沉浸式虚拟现实显示显示,如图4(d)本实施例的装置400还可包括:
第二发送模块480,用于发送与所述发送策略相关联的信息。
在本实施例的装置中,第二发送模块480可以各采集单元能够接收到的方式发送所述发送策略,和/或以用户使用的显示设备能够接收到的方式发送所述发送策略。
此外,如上所述的,所述与所述时延相关联的第二信息可包括能够用于确定所述时延的任何信息,由于本实施例的方法可由任一采集单元执行,因此,可视化内容的发送时间是容易获知的,为了确定所述时延,如图4(e)所示,第一获取模块420还可包括:
第三确定单元422,用于确定为所述用户呈现所述可视化内容的时间。例如,从用户侧接收为所述用户呈现所述可视化内容的时间。
第四确定单元424,用于至少根据所述呈现所述可视化内容的时间以及发送所述可视化内容的时间确定所述时延。例如,为用户呈现所述可视化内容的时间与发送所述可视化内容的时间的时间差即为所述时延。
在所述第二信息为所述时延本身的实现方式中,该时延可由用户侧确定,所述发送策略中还可包括:向所述用户发送的所述可视化内容中包括对应的发送时间。
在本实施例的装置中,与即将发送的用于形成虚拟现实显示的可视化内容相比,可以较小的数据包实现第一信息、第二信息以及所述发送策略的发送,且对传输要求不高,通过这样的跟踪反馈机制能够有助于更智能的传输可视化内容,即使在带宽受限的情况下也能实现为用户提供较好的沉浸式体验。
本申请实施例还提供了一种执行上面结合图2所描述的可视化内容发送方法的可视化内容发送装置,该装置可属于任一采集单元的装置。除下面将描述的各组成部分外,所述装置还包括可根据需要实现与装置外部任意设备通信的通信模块。如图5(a)所示,本申请实施例的可视化内容发送装置500包括:
第三获取模块520,用于获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息。
在实施例的装置中,与用户的姿态相关联的第一信息包括:能够表示用户在观看沉浸式虚拟现实显示时的状态和/或观看意图的任何信息,包括但不限于:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度。与所述可视化内容的传输时延相关联的第二信息为能够表示可视化内容的传输时延的任何信息,也即,从采集单元侧发出可视化内容起,到可视化内容呈现给用户的时刻止的时间,这样的信息可为时延本身,也可为能够用于确定该时延的其他信息,例如,所述的可视化内容的发送时间,和/或可视化内容呈现给用户的时间。
第三发送模块540,用于至少根据所述第一信息以及所述第二信息,向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
如上所述的,第三发送模块540根据第三获取模块520所获取的第一信息,能够确定用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图,进而预测用户的姿态变化,例如,根据用户的姿态确定用户正在观看的方向,以及预测用户将要观看的方向,从而结合所述第二信息,向所述用户发送在和所述时延相关的姿态对应的方向上的与所述目标场景相关联的可视化内容,换句话说,第三发送模块540发送的是在经过所述时延后用户将要观看的方向上采集的可视化内容。该方向上的可视化内容可为由一个采集单元所采集/获取的,也可为多个采集单元所采集/获取的。。在由多个采集单元采集的实现方式中,本实施例的装置可通过与各采集单元通信获取相应的可视化内容,并统一发送。
综上,本实施例的装置通过跟踪用户观看沉浸式虚拟现实显示时的姿态变化以及可视化内容的传输时延变化,向用户发送相应方向的可视化内容,能够在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。
需要说明的是,由于可视化内容是在一定时间段内持续传送的,第三获取模块520可周期性、实时、响应于用户的姿态发生变化、或根据网络传输能力来执行(网络传输能力好,可频繁触发,否则,较少触发)其功能,相应地,第三发送模块540也可根据第三获取模块520所获得信息的变化来做出适应性变化。
此外,如上所述的,可根据用户的姿态确定用户的观看方向,确定发送的可视化内容的方向,也即,如图5(b)所示,第三发送模块540可进一步包括:
第五确定单元541,用于至少根据所述第一信息,确定所述用户与所述时延相关的姿态。
换句话说,第五确定单元541可根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向。所获得的第一信息越多,也即第三获取模块520获取第一信息的次数越多,所预测所述时延后的姿态越准确。
第六确定单元543,至少根据所述姿态,确定所述至少一个方向。
根据用户的姿态确定用户观看的方向是较为成熟的技术在此不做赘述。且所述至少一个方向优选为与用户观看的方向相同或相似的方向。
在本实施例的装置中,向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容可包括:仅发送与所述至少一个方向上采集的与所述目标场景相关联的可视化内容,从而节省了原本用于发送多个方向上的可视化内容的带宽,因此能够以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上采集的可视化内容。还可以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,例如,以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。
此外,在仅发送所述至少一个方向上的可视化内容的实现方式中,本实施例的装置可仅采集/获取所述至少一个方向上的目标场景的可视化内容数据,并发送;或者采集/获取包括所述至少一个方向的多个方向上的目标场景的可视化内容数据,但仅发送所述至少一个方向上的目标场景的可视化内容。
在按照预设优先级发送包括所述至少一个方向在内的多个方向上的可视化内容的实现方式中,本实施例的装置可获取多个采集单元分别在多个方向上采集/获取的目标场景的可视化内容数据,并按照所述预设优先级进行发送。
如图5(b)所示,第三发送模块540还可包括:第一获取单元542以及发送单元544。
如上所述的,本实施例的装置可仅采集(获取)并发送所述至少一个方向上的目标场景的可视化内容,在这样的实现方式中:
第一获取单元542用于获取所述至少一个方向上的与所述目标场景相关联的可视化内容。
第一获取单元542可通过主动采集所述至少一个方向上的目标场景的可视化内容的方式获取所述可视化内容,也可通过与相应的至少一个采集单元通信的方式获取所述可视化内容。
发送单元544用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,发送单元544中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
仍如上所述的,本实施例的装置还可获取多个方向上的目标场景的可视化内容,并仅发送所述至少一个方向上的目标场景的可视化内容。在这样的实现方式中:
第一获取单元542用于获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向。
类似地,第一获取单元542可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可主动在其中至少一个方向上采集目标场景的可视化内容。
发送单元544用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,发送单元544向用户侧用于呈现虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
仍如上所述的,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,其中,所述至少两个方向包括所述至少一个方向。在这样的实现方式中:
发送单元544用于获取所述至少两个方向上的与所述目标场景相关联的可视化内容。
类似地,发送单元544可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可主动在其中至少一个方向上采集目标场景的可视化内容。
发送单元544用于按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。具体地,发送单元544向用户侧用于呈现虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。
此外,在沉浸式虚拟现实的场景中,可通过多种传感器实现对用户的姿态的跟踪,本实施例的装置可从与用户关联的至少一传感器处获取与用户的姿态相关联的信息。因此,第三获取模块520可接收来自与所述用户相关联的至少一传感器的所述信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。
此外,如上所述的,所述与所述时延相关联的第二信息可包括能够用于确定所述时延的任何信息,由于本实施例的方法可由任一采集单元执行,因此,可视化内容的发送时间是容易获知的,为了确定所述时延,如图5(c)所示,第三获取模块520还可包括:
第七确定单元522,用于确定为所述用户呈现所述可视化内容的时间。例如,从用户侧接收为所述用户呈现所述可视化内容的时间。
第八确定单元524,用于至少根据所述呈现所述可视化内容的时间以及发送所述可视化内容的时间确定所述时延。例如,为用户呈现所述可视化内容的时间与发送所述可视化内容的时间的时间差即为所述时延。
在所述第二信息为所述时延本身的实现方式中,该时延可由用户侧确定,相应地,第三发送模块540还用于向所述用户发送的所述可视化内容中包括对应的发送时间。
综上,在本实施例的装置中,与即将发送的用于形成虚拟现实显示的可视化内容相比,可以较小的数据包实现第一信息、以及第二信息的发送,且对传输要求不高,通过这样的跟踪反馈机制能够更智能的传输可视化内容,即使在带宽受限的情况下也能实现为用户提供较好的沉浸式体验。
本申请实施例还提供了一种执行上面结合图3描述的呈现方法的装置,该装置可属于虚拟现实显示设备或者该装置本身即为虚拟现实显示设备,这样的虚拟现实显示设备包括但不限于:头盔式显示器,投影式虚拟现实系统的投影设备,等等。且除下面将描述的各组成部分外,该装置还包括根据需要实现与装置外部任意设备通信的通信模块。如图6(a)所示,本实施例的呈现设备600包括:
第四获取模块620,用于获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
如结合图1所描述的,为了更智能的发送可视化内容,采集单元侧按照一定的发送策略发送可视化内容。第四获取模块620即用于获取这样的可视化内容。
显示模块640,用于至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。
所述发送策略中明确了所发送的可视化内容是与用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图相关的,因此,本实施例的装置能够为用户提供较好的体验。
具体地,为了更智能的为用户呈现沉浸式虚拟现实显示,如图6(b)所示,本实施例的装置600可进一步包括:
第四获取模块610,用于获取与所述发送策略相关联的信息。例如,第四获取模块610接收执行结合图1描述的实施例的方法的装置所发送的与所述发送策略相关联的信息。
如图6(c)所示,显示模块640可进一步包括:第九确定单元642以及显示单元644。
且如结合图1所描述的,在一种可能的实现方式中,为了节省原本用于发送多个方向上的可视化内容的带宽,从而以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容,所述发送策略中可明确表示:仅发送与所述至少一个方向上采集的与所述目标场景相关联的可视化内容。在这样的实现方式中:
第九确定单元642用于至少根据所述发送策略,确定所述至少一个方向。
显示单元644用于至少根据最近时刻获取到的所述至少一个方向上的可视化内容以及之前时刻获取到的其他方向上的可视化内容,为用户呈现沉浸式虚拟现实显示。
其中,为了提供沉浸式体验,在形成虚拟现实显示时仍需结合多个方向上的可视化内容,因此,除所述至少一个方向对应的可视化内容外,其他方向对应的可视化内容可采用历史数据,从而,在保证用户观看的方向上的实时、和/或高质量的同时,仍能保证沉浸式体验。
在另一种可能的实现方式中,所述发送策略中还可明确表示以一预设优先级向用户发送与所述至少一个方向上采集的与所述目标场景相关联的可视化内容,具言之,所述发送策略可包括:以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。在这样的实现方式中:
第九确定单元642用于至少根据所述发送策略,确定所述预设优先级。
显示单元644用于按照所述预设优先级,为用户呈现沉浸式虚拟现实显示。
在一种可能的实现方式中,本实施例的装置可根据所述预设优先级确定能够获取到的可视化内容的方向,并结合其他方向对应的历史数据来为用户呈现沉浸式虚拟现实显示。
此外,为了提供确定所述发送策略的参考,如图6(d)所示,本实施例的装置600还包括:
采集模块612,用于采集所述与用户的姿态相关联的第一信息,在一种可能的实现方式中,采集模块612可通过至少一个传感器采集用户的姿态的采集,且在一种优选的实现方式中,采集模块612可包括所述至少一个传感器,或者所述至少一个传感器可属于本实施例装置。
第四发送模块614,用于发送所述与用户的姿态相关联的第一信息,该第一信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。且第四发送模块614可以执行结合图1描述的方法的装置和/或执行结合图2描述方法的装置能够接收到的方式发送所述第一信息。
此外,如上所述的,所述与所述时延相关联的第二信息可包括能够用于确定所述时延的任何信息,由于本实施例的装置位于用户侧,因此,为用户呈现可视化内容的时间是容易获知的,为了确定所述时延,如图6(e)所示,所述装置600还可包括:
第二确定模块616,用于确定与与所述时延相关联的第二信息。
第五发送模块618,用于发送所述第二信息。
且第二确定模块616可进一步用于确定所述可视化内容的发送时间,并至少根据为用户呈现所述可视化内容的时间以及所述可视化内容的发送时间确定所述时延。
其中,第二确定模块616可从用户侧接收到的可视化内容中获取其中包括的对应的可视化内容的发送时间。
需要说明的是,本实施例的装置可采用任意合适的技术,基于获取到的可视化内容来为用户提供虚拟现实显示,在此不作为对本申请实施例的技术方案的限制。
综上,本实施例的装置能够为用户提供良好的沉浸式虚拟现实观看体验。
图7为本申请实施例提供的可视化内容传输控制装置700的又一种结构示意图,本申请具体实施例并不对可视化内容传输控制装置700的具体实现做限定。如图7所示,该可视化内容传输控制装置700可以包括:
处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730、以及通信总线740。其中:
处理器710、通信接口720、以及存储器730通过通信总线740完成相互间的通信。
通信接口720,用于与比如客户端等的网元通信。
处理器710,用于执行程序732,具体可以执行上述方法实施例中的相关步骤。
具体地,程序732可以包括程序代码,所述程序代码包括计算机操作指令。
处理器710可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器730,用于存放程序732。存储器730可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序732具体可以用于使得所述可视化内容传输控制装置700执行以下步骤:
获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息;
至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
程序732中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
图8为本申请实施例提供的可视化内容发送装置800的又一种结构示意图,本申请具体实施例并不对可视化内容发送装置800的具体实现做限定。如图8所示,该可视化内容发送装置800可以包括:
处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830、以及通信总线840。其中:
处理器810、通信接口820、以及存储器830通过通信总线840完成相互间的通信。
通信接口820,用于与比如客户端等的网元通信。
处理器810,用于执行程序832,具体可以执行上述方法实施例中的相关步骤。
具体地,程序832可以包括程序代码,所述程序代码包括计算机操作指令。
处理器810可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器830,用于存放程序832。存储器830可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序832具体可以用于使得所述可视化内容发送装置800执行以下步骤:
获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息;
至少根据所述第一信息以及所述第二信息,向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。
程序832中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
图9为本申请实施例提供的呈现装置900的又一种结构示意图,本申请具体实施例并不对呈现装置900的具体实现做限定。如图9所示,该呈现装置900可以包括:
处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930、以及通信总线940。其中:
处理器910、通信接口920、以及存储器930通过通信总线940完成相互间的通信。
通信接口920,用于与比如客户端等的网元通信。
处理器910,用于执行程序932,具体可以执行上述方法实施例中的相关步骤。
具体地,程序932可以包括程序代码,所述程序代码包括计算机操作指令。
处理器910可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器930,用于存放程序932。存储器930可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序932具体可以用于使得所述呈现装置900执行以下步骤:
获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;
至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。
程序932中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实现方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。
Claims (9)
1.一种可视化内容传输控制方法,其特征在于,所述方法包括:
获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息;
至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;
所述确定与目标场景相关联的可视化内容的发送策略包括:
至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
至少根据所述姿态,确定所述至少一个方向;
所述至少根据所述第一信息,确定所述用户与所述时延相关的姿态包括:
根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向;
其中,所述第二信息为从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
至少根据所述发送策略,获取所述至少一个方向上的与所述目标场景相关联的可视化内容;
向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。
3.一种可视化内容发送方法,其特征在于,所述方法包括:
获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息;
至少根据所述第一信息以及所述第二信息,向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与目标场景相关联的可视化内容;
所述向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容还包括:
至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
至少根据所述姿态,确定所述至少一个方向;
所述所述至少根据所述第一信息,确定所述用户与所述时延相关的姿态包括:
根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向;
其中,所述第二信息为从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间。
4.一种呈现方法,其特征在于,所述方法包括:
获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与目标场景相关联的可视化内容;
至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示;
所述发送策略为根据所述用户与所述时延相关的姿态所确定的至少一个方向确定的,所述姿态是根据所述第一信息预测得到的用户的姿态变化,所述用户的姿态变化用于确定经过所述时延时用户观看的方向;
其中,所述第二信息为从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间。
5.一种可视化内容传输控制装置,其特征在于,所述装置包括:
一第一获取模块,用于获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息;
一第一确定模块,用于至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;
所述第一确定模块包括:
一第一确定单元,用于至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
一第二确定单元,用于至少根据所述姿态,确定所述至少一个方向;
所述第一确定单元,具体用于根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向;
其中,所述第二信息为从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间。
6.一种可视化内容发送装置,其特征在于,所述装置包括:
一第三获取模块,用于获取与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息;
一第三发送模块,用于至少根据所述第一信息以及所述第二信息,向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与目标场景相关联的可视化内容;
所述第三发送模块包括:
一第五确定单元,用于至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
一第六确定单元,用于至少根据所述姿态,确定所述至少一个方向;
所述第五确定单元,具体用于根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向;
其中,所述第二信息为从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间。
7.一种呈现装置,其特征在于,所述装置包括:
一第四获取模块,用于获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与目标场景相关联的可视化内容;
一显示模块,用于至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示;
所述发送策略为根据所述用户与所述时延相关的姿态所确定的至少一个方向确定的,所述姿态是根据所述第一信息预测得到的用户的姿态变化,所述用户的姿态变化用于确定经过所述时延时用户观看的方向;
其中,所述第二信息为从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间。
8.一种可视化内容采集控制装置,其特征在于,所述装置包括:
摄像机,包括复数个摄像头;
存储器,用于存放指令;
处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:
获取与用户的姿态相关联的第一信息以及与所述可视化内容的传输时延相关联的第二信息;
至少根据所述第一信息以及所述第二信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:由所述复数个摄像头中的至少一个向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;
所述确定与目标场景相关联的可视化内容的发送策略包括:
至少根据所述第一信息,确定所述用户与所述时延相关的姿态;
至少根据所述姿态,确定所述至少一个方向;
所述至少根据所述第一信息,确定所述用户与所述时延相关的姿态包括:
根据所述第一信息预测用户的姿态变化,以确定经过所述时延时用户观看的方向;
其中,所述第二信息为从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间。
9.一种呈现装置,其特征在于,所述装置包括:
显示器;
存储器,用于存放指令;
处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:
获取按照一发送策略发送的可视化内容,所述发送策略为至少根据与用户的姿态相关联的第一信息以及与为所述用户呈现所述可视化内容的时延相关联的第二信息确定的,且包括:向所述用户发送与所述用户的、和所述时延相关的姿态对应的至少一个方向上的与目标场景相关联的可视化内容;
至少根据所述发送策略,通过所述显示器为用户呈现沉浸式虚拟现实显示;
所述发送策略为根据所述用户与所述时延相关的姿态所确定的至少一个方向确定的,所述姿态是根据所述第一信息预测得到的用户的姿态变化,所述用户的姿态变化用于确定经过所述时延时用户观看的方向;
其中,所述第二信息为从采集单元侧发出可视化内容起,到将可视化内容呈现给用户的时刻止的时间。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510368153.6A CN106293043B (zh) | 2015-06-29 | 2015-06-29 | 可视化内容传输控制方法、发送方法、及其装置 |
US15/196,011 US20160378177A1 (en) | 2015-06-29 | 2016-06-28 | Visualized content transmission control method, sending method and apparatuses thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510368153.6A CN106293043B (zh) | 2015-06-29 | 2015-06-29 | 可视化内容传输控制方法、发送方法、及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106293043A CN106293043A (zh) | 2017-01-04 |
CN106293043B true CN106293043B (zh) | 2023-11-10 |
Family
ID=57602183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510368153.6A Active CN106293043B (zh) | 2015-06-29 | 2015-06-29 | 可视化内容传输控制方法、发送方法、及其装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160378177A1 (zh) |
CN (1) | CN106293043B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2548080B (en) * | 2016-02-19 | 2021-07-14 | Nokia Technologies Oy | A method for image transformation |
CN108419268B (zh) * | 2017-02-09 | 2020-10-16 | 中国移动通信有限公司研究院 | 一种虚拟现实业务处理方法及无线接入网元设备 |
KR102296139B1 (ko) * | 2017-03-22 | 2021-08-30 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 가상 현실 이미지를 송신하는 방법 및 장치 |
KR20190036038A (ko) * | 2017-09-27 | 2019-04-04 | 사회복지법인 삼성생명공익재단 | 신경질환 진단용 가상현실 장치, 시스템 및 제공방법 |
CN108595010B (zh) * | 2018-04-27 | 2021-06-18 | 网易(杭州)网络有限公司 | 虚拟现实中虚拟物体的交互方法及装置 |
CN109714583B (zh) | 2019-01-22 | 2022-07-19 | 京东方科技集团股份有限公司 | 增强现实的显示方法及增强现实的显示系统 |
CN110557626B (zh) * | 2019-07-31 | 2021-06-08 | 华为技术有限公司 | 一种图像显示的方法及电子设备 |
CN113589919A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 图像处理的方法和装置 |
CN115086635B (zh) * | 2021-03-15 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 多视角视频的处理方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103873453A (zh) * | 2012-12-18 | 2014-06-18 | 中兴通讯股份有限公司 | 沉浸通信客户端、服务器及获取内容视图的方法 |
CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6839041B2 (en) * | 2001-08-01 | 2005-01-04 | Thermwood Corporation | Virtual reality viewing system and method |
US20030067476A1 (en) * | 2001-10-04 | 2003-04-10 | Eastman Kodak Company | Method and system for displaying an image |
JP6353214B2 (ja) * | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US9843792B2 (en) * | 2014-04-02 | 2017-12-12 | Telefonaktiebolaget L M Ericsson (Publ) | Multi-view display control |
US20150346812A1 (en) * | 2014-05-29 | 2015-12-03 | Nextvr Inc. | Methods and apparatus for receiving content and/or playing back content |
-
2015
- 2015-06-29 CN CN201510368153.6A patent/CN106293043B/zh active Active
-
2016
- 2016-06-28 US US15/196,011 patent/US20160378177A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103873453A (zh) * | 2012-12-18 | 2014-06-18 | 中兴通讯股份有限公司 | 沉浸通信客户端、服务器及获取内容视图的方法 |
CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
Also Published As
Publication number | Publication date |
---|---|
US20160378177A1 (en) | 2016-12-29 |
CN106293043A (zh) | 2017-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106293043B (zh) | 可视化内容传输控制方法、发送方法、及其装置 | |
US20220174252A1 (en) | Selective culling of multi-dimensional data sets | |
EP3065049B1 (en) | Interactive video display method, device, and system | |
CN108139592B (zh) | 缩放相关的方法和装置 | |
KR102363364B1 (ko) | 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템 | |
EP3522542B1 (en) | Switching between multidirectional and limited viewport video content | |
US10306211B2 (en) | Remote control of pivotable stereoscopic camera | |
EP3675489B1 (en) | Method and device for transmitting immersive media | |
CN112866627B (zh) | 一种三维视频监控方法及相关设备 | |
JP6359572B2 (ja) | 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体 | |
CN114175630B (zh) | 利用注视点网格渲染沉浸式视频内容的方法、系统和介质 | |
CN110546688B (zh) | 图像处理装置和方法、文件生成装置和方法及程序 | |
US20160378178A1 (en) | Visualized content transmission control method, sending method and apparatuses thereof | |
TWI824016B (zh) | 用於產生及演現視訊串流之設備及方法 | |
WO2023003803A1 (en) | Virtual reality systems and methods | |
JP7471307B2 (ja) | シーンの画像表現 | |
CN113515193A (zh) | 一种模型数据传输方法及装置 | |
WO2021079592A1 (ja) | 情報処理装置、3dデータの生成方法及びプログラム | |
JP2016146044A (ja) | 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
US20240196065A1 (en) | Information processing apparatus and information processing method | |
EP3767953A1 (en) | Methods for transmitting and rendering a 3d scene, method for generating patches, and corresponding devices and computer programs | |
CN113992996A (zh) | 传输数据的方法和装置 | |
US20240267559A1 (en) | Information processing apparatus and information processing method | |
JP7247636B2 (ja) | 画像調整システム、画像調整装置、及び画像調整方法 | |
CN114401341A (zh) | 摄像头的控制方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |