CN110996097A - Vr多媒体的体验质量确定方法及装置 - Google Patents
Vr多媒体的体验质量确定方法及装置 Download PDFInfo
- Publication number
- CN110996097A CN110996097A CN201911403449.1A CN201911403449A CN110996097A CN 110996097 A CN110996097 A CN 110996097A CN 201911403449 A CN201911403449 A CN 201911403449A CN 110996097 A CN110996097 A CN 110996097A
- Authority
- CN
- China
- Prior art keywords
- multimedia
- experience score
- sensory parameter
- interactive
- current time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 208
- 230000001953 sensory effect Effects 0.000 claims abstract description 860
- 230000002452 interceptive effect Effects 0.000 claims abstract description 707
- 230000008447 perception Effects 0.000 claims abstract description 428
- 238000005070 sampling Methods 0.000 claims abstract description 292
- 230000008569 process Effects 0.000 claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims description 226
- 230000000007 visual effect Effects 0.000 claims description 99
- 230000003993 interaction Effects 0.000 claims description 82
- 230000008859 change Effects 0.000 claims description 71
- 239000004065 semiconductor Substances 0.000 claims description 27
- 229910044991 metal oxide Inorganic materials 0.000 claims description 26
- 150000004706 metal oxides Chemical class 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 23
- 230000006698 induction Effects 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 description 331
- 230000001960 triggered effect Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 239000013598 vector Substances 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 230000036544 posture Effects 0.000 description 10
- 230000035807 sensation Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000012886 linear function Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种VR多媒体的体验质量确定方法及装置,属于VR技术领域。该方法包括:在VR多媒体的播放过程中,获取VR多媒体的第一感官参数、第二感官参数和第三感官参数;其中,第一感官参数、第二感官参数和第三感官参数是按照相同的至少两个感知维度分别采样得到,且第一感官参数、第二感官参数和第三感官参数分别为影响真实感体验、愉悦感体验和交互感体验的参数;基于VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定VR多媒体的MOS。由于第三感官参数为影响交互感体验的参数,因此,本申请通过第三感官参数确定VR多媒体的MOS时,考虑了VR多媒体的交互性特点,以此确定的VR多媒体的体验质量更准确。
Description
技术领域
本申请涉及虚拟现实(Virtual Reality,VR)技术领域,特别涉及一种VR多媒体的体验质量确定方法及装置。
背景技术
VR多媒体是指采用多个摄像头、声音采集设备对真实环境进行全景采集和复现,或通过计算机动画(Computer Animation,CG)、虚拟引擎等技术生成可以与真实环境相媲美的虚拟环境,从而实现三维空间展示功能的多媒体。当用户观看VR多媒体时,可以将用于播放VR多媒体的终端放置于VR设备内,并通过佩戴的VR设备从上下左右任意角度来观看视频图像,并收听与该VR多媒体同步播放的音频。在欣赏该VR多媒体的过程中,用户可以如同置身于真实环境中一样而完全置身于该VR多媒体的虚拟环境中。而且,VR多媒体所呈现的视频图像以及同步播放的音频会随着用户身体姿态、动作的变化而变化。也即是,在用户身体姿态、动作变化时,终端可以获取对应的行为参数,并对该行为参数进行处理,从而通过处理结果对VR多媒体所呈现的视频图像以及同步播放的音频进行实时调整。由此可见,VR多媒体不同于传统的多媒体,其具有交互性、沉浸性以及多感官融合的特点。在实际应用中,为了更好地改善VR多媒体的用户体验,需要确定用户针对VR多媒体的体验质量。
相关技术中,通过确定传统多媒体的体验质量的方法来确定VR多媒体的体验质量。具体的,一方面,通过VR多媒体的内容复杂度、每像素比特率、编码类型、分辨率、视频停顿率以及丢包率等参数计算得到视频平均意见得分(Mean Opinion Score Video,MOSV)。另一方面,通过音频的比特率、编码格式和丢包率等参数计算得到音频平均意见得分(MeanOpinion Score Audio,MOSA)。当计算得到MOSV和MOSA之后,将MOSV和MOSA按照不同的权重进行加权运算,从而得到该VR多媒体的平均意见得分,并通过计算得到的平均意见得分来确定VR多媒体的体验质量。
然而,由于VR多媒体具有与传统多媒体不同的特点,因此,按照传统多媒体的体验质量的确定方法来确定VR多媒体的体验质量的准确性较低,从而就不能对VR多媒体的用户体验进行更好的改善。
发明内容
为了解决相关技术中确定VR多媒体的体验质量的准确性较低的问题,本申请提供了一种VR多媒体的体验质量确定方法及装置。所述技术方案如下:
第一方面,提供了一种VR多媒体的体验质量确定方法,所述方法包括:
在VR多媒体的播放过程中,获取所述VR多媒体的第一感官参数、第二感官参数和第三感官参数;
其中,所述第一感官参数、所述第二感官参数和所述第三感官参数是按照相同的至少两个感知维度分别采样得到,所述至少两个感知维度包括视觉维度和听觉维度,且所述第一感官参数、所述第二感官参数和所述第三感官参数分别为影响真实感体验、愉悦感体验和交互感体验的参数;
基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的平均意见得分MOS。
需要说明的是,至少两个感知维度除了包括视觉维度和听觉维度,还可以包括其他维度,如反馈维度、触觉维度、嗅觉维度等。并且,第一感官参数、第二感官参数和第三感官参数均是按照相同的感知维度进行采样的。另外,第一感官参数、第二感官参数和第三感官参数均包括至少一个参数,且对第一感官参数、第二感官参数和第三感官参数进行采样的采样周期可以不同,也可以相同。
在本申请中,由于是根据VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定的VR多媒体的MOS,而第一感官参数、第二感官参数和第三感官参数分别是影响真实感体验、愉悦感体验和交互感体验的参数,也即是,在本申请中确定VR多媒体的MOS时考虑到了VR多媒体不同于传统多媒体的沉浸性、交互性等特点,由此计算得到的VR多媒体的MOS将更准确。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的平均意见得分MOS,包括:
基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分;
将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算所述VR多媒体的MOS。
当通过第一感官参数、第二感官参数和第三感官参数确定VR多媒体的MOS时,可以首先根据第一感官参数确定真实感体验得分,根据第二感官参数确定愉悦感体验得分,根据第三感官参数确定交互感体验得分,之后,将确定得到的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算得到VR多媒体的MOS。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且或者交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,所述网络媒体事件是指因网络条件的变化而发生的事件,所述交互媒体事件是指因与用户之间的交互而发生的事件;
如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值。
由于第一感官参数、第二感官参数和第三感官参数的采样周期不同,因此,根据第一感官参数、第二感官参数和第三感官参数确定真实感体验得分、愉悦感体验得分和交互感得分的时机也不同。另外,当确定VR多媒体的MOS时,可以以VR多媒体在播放过程中发生的事件为单位,或者以预设的单位时间周期为单位,计算VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分。
其中,当以事件为单位确定VR多媒体的MOS时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件且未发生有交互媒体事件,那么,可以根据采样得到的第一感官参数确定真实感体验得分。由于愉悦感体验得分与真实感体验得分相关,因此,在真实感体验得分更新的情况下,愉悦感体验得分也应进行更新,因此,当计算得到真实感体验得分之后,可以确定愉悦感体验得分。由于未发生交互媒体事件,因此,可以不计算交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分。
需要说明的是,当以事件为单位确定VR多媒体的MOS时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻同时发生有网络媒体事件和交互媒体事件,那么,除了计算真实感体验得分和愉悦感体验得分之外,终端还需要计算交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在所述当前时刻检测到所述网络媒体事件结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件,且在所述当前时刻检测到所述交互媒体事件结束,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值;
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件,且在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分;
相应地,所述将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS,包括:
将所述当前时刻之前最近一次确定的真实感体验得分、所述当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS。
需要说明的是,当以事件为单位确定VR多媒体的MOS时,如果当前时刻未到达VR多媒体的第一感官参数的采样时刻,根据当前时刻是否发生有网络媒体事件和交互媒体事件以及当前时刻是否为发生的事件所对应的结束时刻,可以采用不同的方式来确定愉悦感体验得分和交互感体验得分,进而确定VR多媒体的MOS。其中,由于当前时刻不是第一感官参数的采样时刻,因此,不对真实感体验得分进行计算,所以,在确定愉悦感体验得分时可以采样当前时刻最近一次确定的真实感体验得分作为输入参数。
可选地,所述第二感官参数包括网络媒体事件的类型和第一已持续时长,所述第一已持续时长是指所述网络媒体事件的已持续发生的时长;
所述基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,包括:
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为播放事件时,将所述当前时刻对应的第二感官参数包括的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分;
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为卡顿事件时,将所述当前时刻对应的第二感官参数包括的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分;
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的真实感体验得分与所述当前时刻之前最近一次确定的真实感体验得分之间的差值,确定为所述VR多媒体的愉悦感体验得分。
需要说明的是,第二感官参数包括网络媒体事件的类型和对应的第一已持续时长。由于网络媒体事件的类型可以有多种,因此,针对不同的网络媒体事件可以采用不同的计算模型来确定对应的愉悦感体验得分。
可选地,所述第三感官参数包括交互媒体事件的类型和第二已持续时长,所述第二已持续时长是指所述交互媒体事件的已持续发生的时长;
所述基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,包括:
从存储的多个交互感体验得分计算模型中,选择与所述当前时刻对应的第三感官参数包括的交互媒体事件的类型对应的交互感体验得分计算模型;
将所述当前时刻对应的第三感官参数包括的交互媒体事件的类型和第二已持续时长作为输入参数,通过选择的交互感体验得分计算模型,计算所述VR多媒体的交互感体验得分。
需要说明的是,第三感官参数包括交互媒体事件的类型和对应的第二已持续时长。由于交互媒体事件的类型可以有多种,因此,针对不同的交互媒体事件,可以采用不同的计算模型来确定对应的交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分;
如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值。
需要说明的是,在确定VR多媒体的MOS时,还可以以单位时间周期为单位,在这种情况下,如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件且未发生有交互媒体事件,那么,可以根据采样得到的第一感官参数确定真实感体验得分。由于愉悦感体验得分与真实感体验得分相关,因此,在真实感体验得分更新的情况下,愉悦感体验得分也应进行更新,因此,当计算得到真实感体验得分之后,可以确定愉悦感体验得分。另外,在计算愉悦感体验得分时可以将上一单位事件周期结束时VR多媒体的MOS作为输入参数,这样,相当于考虑了前序播放的VR多媒体的影响,更加全面,更加准确。由于未发生交互媒体事件,因此,可以不计算交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分;
需要说明的是,当以单位时间周期为单位确定VR多媒体的MOS时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻同时发生有网络媒体事件和交互媒体事件,那么,除了计算真实感体验得分和愉悦感体验得分之外,终端还需要计算交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件、在所述当前时刻检测到所述网络媒体事件结束或者单位时间周期结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件、在所述当前时刻检测到所述交互媒体事件结束或者所述单位时间周期结束,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、且在所述当前时刻检测到所述单位时间周期结束,或者,如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束且未检测到所述单位时间周期结束,则基于所述当前时刻对应的第二感官参数、当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分;
相应地,所述将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS,包括:
将所述当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分、所述当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS。
当以单位时间周期为单位确定VR多媒体的MOS时,如果当前时刻未到达VR多媒体的第一感官参数的采样时刻,根据当前时刻是否发生有网络媒体事件和交互媒体事件、当前时刻是否为发生的事件所对应的结束时刻,以及当前时刻是否为单位时间周期的结束时刻,可以采用不同的方式来确定愉悦感体验得分和交互感体验得分,进而确定VR多媒体的MOS。其中,由于当前时刻不是第一感官参数的采样时刻,因此,不对真实感体验得分进行计算,所以,在确定愉悦感体验得分时可以采样当前时刻最近一次确定的真实感体验得分作为输入参数。
可选地,所述第一感官参数包括视觉维度的视频属性信息和视频参数,以及听觉维度的音频属性信息和音频参数;
所述基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,包括:
从存储的多个视觉真实感体验得分计算模型中,选择与所述当前时刻对应的第一感官参数包括的视频属性信息对应的视觉真实感体验得分计算模型;
将所述当前时刻对应的第一感官参数包括的视频参数作为输入参数,通过选择的视觉真实感体验得分计算模型,计算所述当前时刻的视觉真实感体验得分;
从存储的多个听觉真实感体验得分计算模型中,选择与所述当前时刻对应的第一感官参数包括的音频属性信息对应的听觉真实感体验得分计算模型;
将所述当前时刻的第一感官参数包括的音频参数作为输入参数,通过选择的听觉真实感体验得分计算模型,计算所述当前时刻的听觉真实感体验得分;
基于所述当前时刻的视觉真实感体验得分和听觉真实感体验得分确定所述VR多媒体的真实感体验得分。
需要说明的是,第一感官参数可以包括视觉维度的视觉属性信息和视频参数以及听觉维度的听觉属性信息和听觉参数。根据该视觉属性信息和视频参数可以确定得到视觉真实感体验得分,根据听觉属性信息和听觉参数,则可以确定听觉真实感体验得分。之后,根据确定得到的视觉真实感体验得分和听觉真实感体验得分即可以计算得到真实感体验得分。
可选地,所述第二感官参数包括网络媒体事件的类型和第三已持续时长,所述第三已持续时长是指单位时间周期内所述网络媒体事件的已持续发生时长;
所述基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,包括:
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为播放事件时,将所述当前时刻对应的第二感官参数包括的第三已持续时长、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分;
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为卡顿事件时,将所述当前时刻对应的第二感官参数包括的第三已持续时长、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分;
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的真实感体验得分与当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分之间的差值,确定为所述VR多媒体的愉悦感体验得分。
需要说明的是,当以单位时间周期为单位确定VR多媒体的MOS时,当确定愉悦感体验得分时,可以根据第二感官参数中包括的网络媒体事件的类型和该网络媒体事件在该单位时间周期内已持续发生的时长,确定对应的愉悦感体验得分。
可选地,所述第三感官参数包括交互媒体事件的类型和第四已持续时长,所述第四已持续时长是指单位时间周期内所述交互媒体事件的已持续发生时长;
所述基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,包括:
从存储的多个交互感体验得分计算模型中,选择与所述当前时刻对应的第三感官参数包括的交互媒体事件的类型对应的交互感体验得分计算模型;
将所述当前时刻对应的第三感官参数包括的交互媒体事件的类型和第四已持续时长作为输入参数,通过选择的交互感体验得分计算模型,计算所述VR多媒体的交互感体验得分。
需要说明的是,当以单位时间周期为单位确定VR多媒体的MOS时,当确定交互感体验得分时,可以根据第三感官参数中包括的交互媒体事件的类型和该交互媒体事件在该单位时间周期内已持续发生的时长,确定对应的交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的平均意见得分MOS,包括:
对于所述至少两个感知维度中的每个感知维度,基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分;
将所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分;
将所述VR多媒体的所述至少两个感知维度的体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算所述VR多媒体的体验得分。
当通过第一感官参数、第二感官参数和第三感官参数确定VR多媒体的MOS时,对于至少两个感知维度中的每个感知维度,可以首先根据第一感官参数中按照该感知维度采样得到的参数确定该感知维度上的真实感体验得分,根据第二感官参数中按照该感知维度采样得到的参数确定该感知维度上愉悦感体验得分,根据第三感官参数中按照该感知维度采样得到的参数确定该感知维度上交互感体验得分,之后,将确定得到的该感知维度上真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算得到VR多媒体在该感知维度上的MOS。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分;
如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并将所述VR多媒体在所述感知维度上的交互感体验得分设置为初始值;
如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,并将所述VR多媒体在所述感知维度上的愉悦感体验得分设置为初始值。
由于第一感官参数、第二感官参数和第三感官参数的采样周期不同,因此,根据第一感官参数、第二感官参数和第三感官参数中按照该感知维度采样得到的参数分别确定该感知维度上的真实感体验得分、愉悦感体验得分和交互感得分的时机也不同。另外,可以以VR多媒体在播放过程中发生的事件为单位,或者以预设的单位时间周期为单位,计算VR多媒体在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分。
其中,当以事件为单位确定VR多媒体在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件且未发生有交互媒体事件,那么,可以根据采样得到的第一感官参数中按照该感知维度采样得到的参数确定该感知维度上的真实感体验得分。由于该感知维度上的愉悦感体验得分与该感知维度上的真实感体验得分相关,因此,在该感知维度上的真实感体验得分更新的情况下,该感知维度上的愉悦感体验得分也应进行更新,因此,当计算得到该感知维度上的真实感体验得分之后,可以确定该感知维度上的愉悦感体验得分。由于未发生交互媒体事件,因此,可以不计算该感知维度上的交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分,基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体的交互感体验得分。
需要说明的是,当以事件为单位确定在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻同时发生有网络媒体事件和交互媒体事件,那么,除了计算感知维度上的真实感体验得分和愉悦感体验得分之外,终端还需要计算感知维度上的交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在所述当前时刻检测到所述网络媒体事件结束,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、所述当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并将所述VR多媒体在所述感知维度上的交互感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件,且在所述当前时刻检测到所述交互媒体事件结束,则基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,并将所述VR多媒体在所述感知维度上的愉悦感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件,且在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、所述当前时刻之前最近一次确定的所述感知维度的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分;
相应地,所述将所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分,包括:
将所述当前时刻之前最近一次确定的所述感知维度的真实感体验得分、所述当前时刻确定的所述感知维度的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分。
需要说明的是,当以事件为单位确定在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分时,如果当前时刻未到达VR多媒体的第一感官参数的采样时刻,根据当前时刻是否发生有网络媒体事件和交互媒体事件以及当前时刻是否为发生的事件所对应的结束时刻,可以采用不同的方式来确定该感知维度上的愉悦感体验得分和交互感体验得分,进而确定VR多媒体在该感知维度上的体验得分。其中,由于当前时刻不是第一感官参数的采样时刻,因此,不对该感知维度上的真实感体验得分进行计算,所以,在确定该感知维度上的愉悦感体验得分时可以采样当前时刻最近一次确定的该感知维度上的真实感体验得分作为输入参数。
可选地,所述第二感官参数中按照所述感知维度采样得到的参数包括在所述感知维度上发生的网络媒体事件的类型和对应的第五已持续时长,所述对应的第五已持续时长是指在所述感知维度上所述网络媒体事件已持续发生的时长;
所述基于当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,包括:
当所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的网络媒体事件的类型为播放事件时,将所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的第五已持续时长、当前确定所述感知维度上的的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算所述VR多媒体在所述感知维度上的愉悦感体验得分;
当所述当前时刻对应的第二感官参数按照所述感知维度采样得到的参数包括的网络媒体事件的类型为卡顿事件时,将所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的第五已持续时长、当前确定的所述感知维度上真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算所述VR多媒体在所述感知维度上的愉悦感体验得分;
当所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的所述感知维度上的真实感体验得分与所述当前时刻之前最近一次确定所述感知维度上的真实感体验得分之间的差值,确定为所述VR多媒体在所述感知维度上的愉悦感体验得分。
可选地,所述第三感官参数中按照所述感知维度采样得到的参数包括交互媒体事件的类型和第六已持续时长,所述第六已持续时长是指在所述感知维度上所述交互媒体事件的已持续发生的时长;
所述基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,包括:
从存储的多个交互感体验得分计算模型中,选择与所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数包括的交互媒体事件的类型对应的交互感体验得分计算模型;
将所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数包括的交互媒体事件的类型和第六已持续时长作为输入参数,通过选择的交互感体验得分计算模型,计算所述VR多媒体在所述感知维度上的交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分;
如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并将所述VR多媒体在所述感知维度上的交互感体验得分设置为初始值;如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,并将所述VR多媒体在所述感知维度上的愉悦感体验得分设置为初始值。
需要说明的是,还可以以单位时间周期为单位来确定VR多媒体在该感知维度上的MOS,在这种情况下,如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件且未发生有交互媒体事件,那么,可以根据采样得到的第一感官参数按照该感知维度采样得到的参数确定该感知维度上的真实感体验得分。由于该感知维度上的愉悦感体验得分与该感知维度上的真实感体验得分相关,因此,在该感知维度上的真实感体验得分更新的情况下,该感知维度上的愉悦感体验得分也应进行更新,因此,当计算得到该感知维度上的真实感体验得分之后,可以确定该感知维度上的愉悦感体验得分。另外,在计算该感知维度上的愉悦感体验得分时可以将上一单位事件周期结束时的VR多媒体的MOS作为输入参数,这样,相当于考虑了前序播放的VR多媒体的影响,更加全面,更加准确。由于未发生交互媒体事件,因此,可以不计算该感知维度上的交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分,基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体的交互感体验得分;
需要说明的是,当以单位时间周期为单位确定VR多媒体在该感知维度上的MOS时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻同时发生有网络媒体事件和交互媒体事件,那么,除了计算该感知维度上的真实感体验得分和愉悦感体验得分之外,终端还需要计算该感知维度上的交互感体验得分。
可选地,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件、在所述当前时刻检测到所述网络媒体事件结束或者单位时间周期结束,则基于所述当前时刻对应的第二感官参数按照所述感知维度采样得到的参数、所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并将所述VR多媒体在所述感知维度上的交互感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件、在所述当前时刻检测到所述交互媒体事件结束或者所述单位时间周期结束,则基于所述当前时刻对应的第三感官参数按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,并将所述VR多媒体在所述感知维度上的愉悦感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、且在所述当前时刻检测到所述单位时间周期结束,或者,如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束且未检测到所述单位时间周期结束,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前单位时间周期内所述当前时刻之前最近一次确定的所述感知维度的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分;
相应地,所述将所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分,包括:
将所述当前单位时间周期内所述当前时刻之前最近一次确定的所述感知维度的真实感体验得分、所述当前时刻确定的所述感知维度的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分。
当以单位时间周期为单位确定VR多媒体在该感知维度上的MOS时,如果当前时刻未到达VR多媒体的第一感官参数的采样时刻,根据当前时刻是否发生有网络媒体事件和交互媒体事件、当前时刻是否为发生的事件所对应的结束时刻,以及当前时刻是否为单位时间周期的结束时刻,可以采用不同的方式来确定该感知维度上的愉悦感体验得分和交互感体验得分,进而确定VR多媒体的MOS。其中,由于当前时刻不是第一感官参数的采样时刻,因此,不对该感知维度上的真实感体验得分进行计算,所以,在确定该感知维度上的愉悦感体验得分时可以采样当前时刻最近一次确定的该感知维度上的真实感体验得分作为输入参数。
可选地,所述第二感官参数中按照所述感知维度采样得到的参数包括网络媒体事件的类型和第七已持续时长,所述第七已持续时长是指单位时间周期内在所述感知维度上所述网络媒体事件的已持续发生时长;
所述基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,包括:
当所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的网络媒体事件的类型为播放事件时,将所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的第七已持续时长、当前确定的所述感知维度上的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算所述VR多媒体在所述感知维度上的愉悦感体验得分;
当所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的网络媒体事件的类型为卡顿事件时,将所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的第七已持续时长、当前确定的所述感知维度上的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算所述VR多媒体在所述感知维度上的愉悦感体验得分;
当所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的所述感知维度上的真实感体验得分与当前单位时间周期内所述当前时刻之前最近一次确定的所述感知维度上的真实感体验得分之间的差值,确定为所述VR多媒体在所述感知维度上的愉悦感体验得分。
可选地,所述第三感官参数中按照所述感知维度采样得到的参数包括交互媒体事件的类型和第八已持续时长,所述第八已持续时长是指单位时间周期内在所述感知维度上所述交互媒体事件的已持续发生时长;
所述基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体的交互感体验得分,包括:
从存储的多个交互感体验得分计算模型中,选择与所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数包括的交互媒体事件的类型对应的交互感体验得分计算模型;
将所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数包括的交互媒体事件的类型和第八已持续时长作为输入参数,通过选择的交互感体验得分计算模型,计算所述VR多媒体在所述感知维度上的交互感体验得分。
可选地,所述第一感官参数中视觉维度的视频属性信息包括投影格式、立体度和自由度中的至少一个,所述第一感官参数中视觉维度的视频参数包括全视角分辨率和视场角中的至少一个,所述第一感官参数中听觉维度的音频属性信息包括音频立体度。
需要说明的是,投影格式、立体度、自由度和音频立体度是VR多媒体相较于传统多媒体所特有的属性信息,并且全视角分辨率和视场角也是VR多媒体所特有的参数,根据这些参数计算真实感体验得分将更符合VR多媒体的特性,由此确定得到的VR多媒体的MOS也将更准确。
可选地,所述第二感官参数包括网络媒体事件的类型和对应的已持续时长,所述对应的已持续时长是指所述网络媒体事件已持续发生的时长。
需要说明的是,当以事件为单位确定VR多媒体的MOS时,第二感官参数中包括的已持续时长可以为网络媒体事件已持续发生的时长。当以单位时间周期为单位确定VR多媒体的MOS时,第二感官参数中包括的已持续时长可以为单位时间周期内该网络媒体事件已持续发生的时长。
可选地,所述第二感官参数中的网络媒体事件的类型包括播放事件、卡顿事件或者媒体质量变化事件。
其中,网络媒体事件是指由网络条件变化而引起的事件。因此,网络媒体事件的类型可以包括播放事件、卡顿事件或者媒体质量变化事件,但是不限于此。
可选地,所述第三感官参数包括交互媒体事件的类型和对应的已持续时长,所述对应的已持续时长是指所述交互媒体事件已持续发生的时长。
可选地,所述第三感官参数中的交互媒体事件的类型包括初始加载事件、交互加载事件或者媒体迟滞事件,所述初始加载事件是指所述VR多媒体初始播放时的加载事件,所述交互加载事件是指因所述VR多媒体与用户之间的交互而发生的加载事件,所述媒体迟滞事件是指因用户动作而发生的媒体更新与动作之间的迟滞事件。
需要说明的是,当以事件为单位确定VR多媒体的MOS时,第三感官参数中包括的已持续时长可以为交互媒体事件已持续发生的时长。当以单位时间周期为单位确定VR多媒体的MOS时,第三感官参数中包括的已持续时长可以为单位时间周期内该交互媒体事件已持续发生的时长。
可选地,所述至少两个感知维度还包括反馈维度,所述反馈维度是指所述视觉维度与所述至少两个感知维度中除所述视觉维度之外的其他维度之间的同步和关联关系;
其中,所述第一感官参数中按照所述反馈维度采样得到的参数包括时间同步度、方位同步度和力反馈指示值中的至少一个,所述时间同步度是指所述视觉维度和所述听觉维度之间的时间同步度,所述方位同步度是指所述视觉维度和所述听觉维度之间的方位同步度,所述力反馈指示值用于指示是否存在与所述视觉维度匹配的力反馈;
所述第二感官参数中按照所述反馈维度采样得到的参数包括第一同步度变化指示值、第二同步度变化指示值和第三同步度变化指示值中的至少一个,所述第一同步度变化指示值用于指示所述时间同步度是否发生变化,所述第二同步度变化指示值用于指示所述方位同步度是否发生变化,所述第三同步度变化指示值用于指示所述视觉维度和力反馈之间的时间同步度是否发生变化;
所述第三感官参数按照所述反馈维度采样得到的参数包括迟滞指示值,所述迟滞指示值用于指示力反馈和动作之间的迟滞事件是否发生。
需要说明的是,至少两个感知维度除了包括视觉维度和听觉维度,还可以包括反馈维度,该反馈维度是指视觉维度与至少两个感知维度中除视觉维度之外的其他维度之间的同步和关联关系。
可选地,所述确定所述VR多媒体的平均意见得分MOS之后,还包括:
确定预设测试时长内计算得到的所有的所述VR多媒体的MOS的平均值,所述预设测试时长是指确定所述VR多媒体的体验质量的时长。
通常,在确定VR多媒体的MOS时,往往会在预设测试时长内进行测试。在该预设测试时长内可能发生了多个事件或者是包括多个单位时间周期,因此,会得到多个VR多媒体的MOS,在这种情况下,可以计算得到的所有VR多媒体的MOS的平均值,并将该平均值作为该预设测试时长内VR多媒体的MOS统计值。
可选地,所述确定所述VR多媒体的平均意见得分MOS之后,还包括:
确定所述预设测试时长内计算得到的所有的所述VR多媒体的MOS的均方差,所述均方差用于指示所述所有的所述VR多媒体的MOS的稳定程度。
需要说明的是,当计算得到多个VR多媒体的MOS的平均值后,可以计算该多个VR多媒体的MOS的均方差,通过该均方差来评估该预设测试时长内VR多媒体的体验质量的稳定程度。
第二方面,提供了一种VR多媒体的体验质量确定装置,所述VR多媒体的体验质量确定装置具有实现上述第一方面中VR多媒体的体验质量确定方法行为的功能。所述VR多媒体的体验质量确定装置包括至少一个模块,该至少一个模块用于实现上述第一方面所提供的VR多媒体的体验质量确定方法。
第三方面,提供了一种VR多媒体的体验质量确定装置,所述VR多媒体的体验质量确定装置的结构中包括处理器和存储器,所述存储器用于存储支持VR多媒体的体验质量确定装置执行上述第一方面所提供的VR多媒体的体验质量确定方法的程序,以及存储用于实现上述第一方面所提供的VR多媒体的体验质量确定方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述存储设备的操作装置还可以包括通信总线,该通信总线用于该处理器与存储器之间建立连接。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的VR多媒体的体验质量确定方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的VR多媒体的体验质量确定方法。
上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
本申请提供的技术方案带来的有益效果是:在确定VR多媒体的体验质量的过程中,根据第一感官参数、第二感官参数和第三感官参数,对真实感体验、愉悦感体验和交互感体验的进行质量评估,而沉浸性、多感官性融合以及与用户之间的交互性正是VR多媒体区别于传统媒体的主要特性,因此,通过本发明实施例确定VR多媒体的体验质量更贴合VR多媒体的实际情况,确定的VR多媒体的体验质量也将更准确。
附图说明
图1是本发明实施例提供的一种VR多媒体的体验质量确定方法的系统架构图;
图2是本发明实施例提供的一种终端的结构示意图;
图3是本发明实施例提供的一种终端设备的结构示意图;
图4是本发明实施例提供的一种VR多媒体的体验质量确定方法的流程图;
图5A是本发明实施例提供的一种以事件为单位确定VR多媒体的MOS的方法流程图;
图5B是本发明实施例提供的一种以事件为单位确定VR多媒体的MOS的方法流程图;
图5C是本发明实施例提供的一种以事件为单位确定VR多媒体的MOS的方法流程图;
图6A是本发明实施例提供的一种以单位时间周期为单位确定VR多媒体的MOS的方法流程图;
图6B是本发明实施例提供的一种以单位时间周期为单位确定VR多媒体的MOS的方法流程图;
图6C是本发明实施例提供的一种以单位时间周期为单位确定VR多媒体的MOS的方法流程图;
图7是本发明实施例提供的另一种VR多媒体的体验质量确定方法的流程图;
图8A是本发明实施例提供的一种以事件为单位确定VR多媒体的感知维度的体验得分的方法流程图;
图8B是本发明实施例提供的一种以事件为单位确定VR多媒体的感知维度的体验得分的方法流程图;
图8C是本发明实施例提供的一种以事件为单位确定VR多媒体的感知维度的体验得分的方法流程图;
图9A是本发明实施例提供的一种以单位时间周期为单位确定VR多媒体的感知维度的体验得分的方法流程图;
图9B是本发明实施例提供的一种以单位时间周期为单位确定VR多媒体的感知维度的体验得分的方法流程图;
图9C是本发明实施例提供的一种以单位时间周期为单位确定VR多媒体的感知维度的体验得分的方法流程图;
图10A是本发明实施例提供的一种VR多媒体的体验质量确定装置的结构示意图;
图10B是本发明实施例提供的一种确定模块的结构示意图;
图10C是本发明实施例提供的另一种确定模块的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
为了便于理解,在对本发明实施例进行详细的解释说明之前,先对本发明实施例中涉及的名词进行解释。
真实感体验
真实感体验主要用于指示VR多媒体的虚拟环境对真实环境的还原程度。其中,还原程度越高,用户身临其境的感受越强烈,因此,真实感体验也可以体现用户身临其境的感受。
愉悦感体验
愉悦感体验主要用于指示在VR多媒体的播放过程中,网络传输质量对VR多媒体的播放质量的影响。当网络传输质量较好时,VR多媒体可以正常播放,在这种情况下,用户对该VR多媒体的虚拟环境的体验将不会被中断;当网络传输质量较差时,VR多媒体可能会发生卡顿或者视频音频质量变差,在这种情况下,用户对该VR多媒体的虚拟环境的体验有可能会发生中断或者是体验变差。而当用户体验变差时,用户可能会不愿意再持续体验该VR多媒体。因此,愉悦感体验也可以反映在VR多媒体播放过程中,用户愿意持续体验该VR多媒体的可能性。
交互感体验
交互感体验主要用于指示用户和该VR多媒体的虚拟环境进行交互的实时性和一致性。其中,VR多媒体所呈现的视频图像以及同步播放的音频可以根据用户的身体姿态、动作等的变化而变化。在这个过程中,由于网络传输质量等因素,用户的身体姿态、动作等的变化,与VR多媒体的视频图像和音频的变化之间可能会存在一定的时延,时延越长,用户与该VR多媒体交互就会越不自然。因此,交互感体验也可以体现用户与该VR多媒体之间交互的自然程度。
另外,当用户的身体姿态、动作等发生变化时,VR多媒体的视频图像和音频的变化应该与用户的身体姿态、动作等的变化相一致。例如,用户头部左转,VR多媒体的视频图像和音频也应该按照用户转的方向相应的进行变化。如果VR多媒体的变化与用户的身体姿态和动作变化不一致,那么,将导致交互感体验较差。
基于上述对于真实感体验、愉悦感体验和交互感体验的说明可以看出,真实感体验可以反映在未受到网络传输质量等因素的影响时,理想情况下的用户的体验。而愉悦感体验和交互感体验则反映了在网络传输质量等因素的影响下带来的用户体验的损伤。
第一感官参数
第一感官参数是按照至少两个感知维度采样得到且影响真实感体验的参数。其中,该至少两个感知维度包括视觉维度和听觉维度,当然还可以包括其他维度,例如还可以包括反馈维度、触觉维度、运动维度、嗅觉维度和味觉维度等。其中,反馈维度为能够反映视觉维度和至少两个感知维度中除视觉维度之外的其他维度之间的同步和关联关系的维度。
对于视觉维度,第一感官参数可以包括多个视频属性信息和多个视频参数,该多个视频属性信息可以包括视频投影格式、视频编码格式、立体度和自由度等一系列反应视频属性的信息,该多个视频参数可以包括视频码率、全视角分辨率、时间复杂度、空间复杂度和视场等参数。并且,对该多个视频属性信息和多个视频参数进行采样的采样周期可以不同。例如,对于视频属性信息中的自由度,由于VR多媒体的自由度通常是不变的,因此,在一次确定VR多媒体的体验质量的过程中只需对自由度采样一次即可。
其中,立体度用于指示VR多媒体为单目视频或者双目立体视频,当VR多媒体为单目视频时,采样得到的立体度为0,当VR多媒体为双目立体视频时,采样得到的立体度为1。自由度是指VR多媒体的视频能够展现的自由度,通常,VR多媒体的视频的自由度可以为3自由度、6自由度等。时间复杂度用于指示VR多媒体播放过程中连续时间或者是连续帧中位于同一位置上的两个像素值之间的差异。空间复杂度用于指示VR多媒体的每个滤波帧中像素值的标准差。时间复杂度和空间复杂度共同组成内容复杂度。当进行采样时,对时间复杂度进行采样得到的是VR多媒体对应的时间复杂度因子,对空间复杂度进行采样得到的是VR多媒体对应的空间复杂度因子。视场角是由VR多媒体和头戴式显示器等终端共同决定的、用于指示用户观看视频的视野大小的角度,视场角越大,视野就越大。通常,视场角可以分解成水平视场角和垂直视场角,并且视场角的范围在60-210度之间。
对于听觉维度,第一感官参数可以包括多个音频属性信息和至少一个音频参数。其中,该多个音频属性信息可以包括音频采样率、音频立体度和音频编码格式,该至少一个音频参数可以包括音频码率。
其中,音频立体度用于指示该VR多媒体的音频为立体声还是空间化声音,当该VR多媒体的音频为立体声时,采样得到的音频立体度为0,当该VR多媒体的音频为空间化声音时,采样得到的音频立体度为1。
第二感官参数
第二感官参数是按照至少两个感知维度采样得到且能够影响愉悦感体验的参数。在本申请中,第二感官参数主要包括网络媒体事件的类型和对应的已持续时长。其中,常见的影响愉悦感体验的网络媒体事件的类型有播放事件、卡顿事件和媒体质量变化事件。
其中,卡顿事件是指由于网络传输质量较差时引起的VR多媒体播放发生停顿的现象。媒体质量变化事件是指由于网络传输质量引起的VR多媒体的视频质量和音频质量发生变化的现象,其中,该媒体质量变化事件可以是分辨率上升或下降,平均码率上升或下降,帧率上升或下降或者采样率上升或下降以及与用户数据报协议(User DatagramProtocol,UDP)相关的媒体质量变化事件等,其中,与UDP相关的质量变化事件可以是帧损伤、跳帧、花屏等。
第三感官参数
第三感官参数是按照至少两个感知维度采样得到且能够影响交互感体验的参数。在本申请中,第三感官参数主要包括交互媒体事件的类型和对应的已持续时长。其中,常见的影响交互感体验的交互媒体事件的类型有初始加载事件、交互加载事件和媒体迟滞事件。
其中,初始加载事件是指VR多媒体初始播放时发生的加载事件。交互加载事件是指因与用户之间的交互而发生的加载事件,也即是,由用户操作引发的VR多媒体的场景切换加载事件。媒体迟滞事件是指因用户动作而发生的媒体更新与动作之间的迟滞事件,也即是,由于用户位置、身体姿态改变或头部转动等动作引发的媒体更新与动作之间的迟滞事件。
在对本发明实施例涉及的名词进行解释说明之后,接下来对本发明实施例涉及的系统架构进行说明。
图1是本发明实施例提供的一种VR多媒体的体验质量确定方法的系统架构图。如图1所示,该系统中包括终端101和服务器102。其中,终端101与服务器102之间可以通过有线网络或者是无线网络进行连接。通过该有线网络或者无线网络,终端101可以向服务器102发送VR多媒体获取请求,服务器102可以根据接收到的VR多媒体获取请求获取VR多媒体以及播放VR多媒体所需的相关信息,并将该VR多媒体和相关信息发送给终端101。其中,该VR多媒体可以为VR360度全景视频。
终端101上可以运行有VR多媒体播放器,该VR多媒体播放器可以是独立运行在终端101中的一个应用,也可以是浏览器的页面中嵌入的一个应用。通过该VR多媒体播放器,终端101可以播放从服务器102获取到的VR多媒体。当用户在观看该VR多媒体,并根据该VR多媒体展示的虚拟环境进行操作时,终端101可以接收用户的交互动作,并根据该交互动作做出响应。当在VR多媒体的播放过程确定该VR多媒体的体验质量时,终端101可以根据不同的采样周期对该VR多媒体播放过程中的多个参数进行采样,并根据采样得到的参数进行计算,以得到该VR多媒体的MOS,并输出该VR多媒体的MOS。
需要说明的是,终端101可以为头戴式显示设备(Head-mounted Display,HMD)、可通过陀螺仪改变视角位置的移动终端或者可通过遥控器改变视角位置的传统智能电视终端等VR终端。服务器102是可以提供VR多媒体的设备。服务器102可以为单个设备,也可以为提供VR多媒体服务的一个设备集群。
另外,终端101与服务器102之间通过有线网络或者无线网络的通信支持通用的VR多媒体的媒体传输协议,例如实时传输协议(Real-Time Protocol,RTP)、实时流协议(Real-Time Streaming Protocol,RTSP)、超文本传送协议(HyperText TransferProtocol,HTTP)、实时消息传输协议(Real-Time Messaging Protocol,RTMP)、HTTP动态自适应流(Dynamic Adaptive Streaming over HTTP,DASH)媒体协议、HTTP直播流流(HTTPLive Streaming,HLS)媒体协议等。
基于图1所示的系统架构中对于终端的说明可知,终端可以接收VR多媒体以及用户的交互动作,并在VR多媒体的播放过程中对相关参数进行采样,以计算VR多媒体的MOS,因此,如图2所示,本发明实施例提供了一种终端的结构示意图,图1系统架构中终端的功能可以通过图2所示的终端来完成。如图2所示,该终端包括媒体流接收模块201、用户交互动作接收模块202、采样模块203、计算模块204和输出模块205。其中,媒体流接收模块201用于接收由服务器发送的VR多媒体,用户交互动作接收模块202用于接收用户位置、身体姿态等动作发生变化时对应的参数。采样模块203用于根据不同的采样周期对接收到的VR多媒体的播放过程中的多个参数进行采样。计算模块204根据采样得到的参数确定VR多媒体的MOS。输出模块205用于将确定的VR多媒体的MOS输出并进行显示。其中,计算模块204可以包括多个子模块,例如,该多个子模块可以为真实感体验得分计算模块、愉悦感体验得分计算模块以及交互感体验得分计算模块。
图3是本发明实施例提供的一种终端设备的结构示意图。图1系统架构中的终端和图2中的终端均可以通过图3所示的终端设备来实现。参见图3,该终端设备包括至少一个处理器301,通信总线302,存储器303以及至少一个通信接口304。
处理器301可以是一个通用中央处理器(Central Processing Unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信总线302可包括一通路,在上述组件之间传送信息。
存储器303可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其它类型的静态存储设备,随机存取存储器(random access memory,RAM))或者可存储信息和指令的其它类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质,但不限于此。存储器303可以是独立存在,通过通信总线302与处理器301相连接。存储器303也可以和处理器301集成在一起。
通信接口304,使用任何收发器一类的装置,用于与其它设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(Wireless Local Area Networks,WLAN)等。
在具体实现中,作为一种实施例,处理器301可以包括一个或多个CPU,例如图3中所示的CPU0和CPU1。
在具体实现中,作为一种实施例,终端设备可以包括多个处理器,例如图3中所示的处理器301和处理器305。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,终端设备还可以包括输出设备306和输入设备307。输出设备306和处理器301通信,可以以多种方式来显示信息。例如,输出设备306可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备307和处理器301通信,可以以多种方式接收用户的输入。例如,输入设备307可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的终端设备可以是一个通用终端设备或者是一个专用终端设备。在具体实现中,终端设备可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal DigitalAssistant,PDA)、移动手机、平板电脑、无线终端设备、通信设备或者嵌入式设备。本发明实施例不限定终端设备的类型。
其中,存储器303用于存储执行本申请方案的程序代码,并由处理器301来控制执行。处理器301用于执行存储器303中存储的程序代码308。程序代码308中可以包括一个或多个软件模块(例如:媒体流接收模块、用户交互动作接收模块、采样模块、计算模块和输出模块等)。图1和图2中所示的终端可以通过处理器301以及存储器303中的程序代码308中的一个或多个软件模块,来确定VR多媒体的体验质量。
通过上述描述,对本发明实施例涉及的名词以及系统架构进行解释说明之后,接下来对本发明实施例的具体实现过程进行详细说明。
在本发明实施例中,终端可以在VR多媒体的播放过程中,获取该VR多媒体的第一感官参数、第二感官参数和第三感官参数。之后,终端可以通过两种不同的方法,根据获取到的第一感官参数、第二感官参数和第三感官参数来确定该VR多媒体的MOS。其中,第一种方法,终端首先可以根据获取到的参数确定真实感体验得分、愉悦感体验得分和交互感体验得分,进而确定该VR多媒体的MOS;第二种方法,终端首先可以根据获取到的参数计算至少两个感知维度中每个感知维度对应的体验得分,进而根据该至少两个感知维度对应的至少两个体验得分确定该VR多媒体的MOS。下面将结合附图,对这两种方法进行详细地解释说明。
在本发明实施例中,首先将结合图4-图6C,对第一种确定VR多媒体的MOS的方法进行解释说明。图4是本发明实施例提供的一种VR多媒体的体验质量确定方法流程图。如图4所示,该方法包括以下步骤:
步骤401:在VR多媒体的播放过程中,获取VR多媒体的第一感官参数、第二感官参数和第三感官参数。
在VR多媒体的播放过程中,终端可以通过对VR多媒体进行采样来得到第一感官参数、第二感官参数和第三感官参数。其中,终端对第一感官参数、第二感官参数和第三感官参数的采样周期可以相同,也可以不同。
例如,终端可以以一个画面组(Group of Picture,GoP)为单位采样一次第一感官参数,也可以以一个segment为单位采样一次第一感官参数,当然,还可以以预设的采样周期采样第一感官参数。再例如,终端可以在检测到用户位置发生变化时采样一次第三感官参数,也可以按照预设的采样周期或者是以GoP为单位采样一次第三感官参数。也即是说,终端对第一感官参数进行采样时,可能并没有到达第二感官参数或者是第三感官参数的采样时刻。
步骤402:基于VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分。
需要说明的是,终端可以以VR多媒体在播放过程中发生的事件为单位,在发生的事件结束时触发计算并输出一次真实感体验得分、愉悦感体验得分和交互感得分,以便后续根据该真实感体验得分、愉悦感体验得分和交互感体验得分联合计算得到一个事件对应的该VR多媒体的MOS。其中,该事件有可能为影响愉悦感体验得分的网络媒体事件,也有可能是影响交互感体验得分的交互媒体事件。
另外,终端也可以以预设的单位时间周期为单位,在VR多媒体的播放过程中,当一个单位时间周期结束时触发计算并输出一次真实感体验得分、愉悦感体验得分和交互感体验得分,以便后续根据该真实感体验得分、愉悦感体验得分和交互感体验得分联合计算得到一个单位时间周期对应的该VR多媒体的MOS。
还需要说明的是,当到达第一感官参数的采样时刻时,由于采样得到的第一感官参数可能较上一个采样时刻的第一感官参数发生了变化,因此,终端需要根据采样得到的第一感官参数计算真实感体验得分。而由于愉悦感体验的得分的确定是建立在真实感体验得分之上的,因此,计算得到真实感体验得分之后,还需要根据该真实感体验得分确定愉悦感体验得分。也即是说,当达到第一感官参数的采样时刻时,也就到达了真实感体验得分的计算时刻。而到达真实感体验得分的计算时刻,即可以触发计算并输出一次愉悦感体验得分和/或交互感体验得分,进而计算一次VR多媒体的MOS。
通过上述描述可知,在各个感官参数的采样周期不同的情况下,终端根据第一感官参数、第二感官参数和第三感官参数确定真实感体验得分、愉悦感体验得分和交互感体验得分的时机也不同。另外,终端也可以以VR多媒体在播放过程中发生的事件为单位,或者以预设的单位时间周期为单位,计算VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分。因此,计算该VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分有多种实现方式,本申请接下来的实施例将展开论述。
步骤403:将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算VR多媒体的MOS。
基于步骤402中的描述,当以事件为单位触发真实感体验得分、愉悦感体验得分和交互感体验得分的计算时,由于该事件有可能是影响愉悦感体验得分的事件,也有可能是影响交互感体验得分的事件,并且,有可能事件结束时并不是第一感官参数的采样时刻,因此,根据确定的真实感体验得分、愉悦感体验得分和交互感体验得分计算VR多媒体的MOS的方式也可能不同。
同理,以单位时间周期为单位触发真实感体验得分、愉悦感体验得分和交互感体验得分的计算时,根据确定的真实感体验得分、愉悦感体验得分和交互感体验得分计算VR多媒体的MOS的方式也会有多种。
还需要说明的是,在到达真实感体验得分的计算时刻触发愉悦感体验得分和交互感体验得分的计算时,由于该计算时刻可能发生了影响交互感体验得分的事件,也可能没有发生影响交互感体验得分的事件,因此,根据确定的真实感体验得分、愉悦感体验得分和交互感体验得分计算VR多媒体的MOS的方式也会不同。
因此,将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算VR多媒体的MOS也有多种实现方式,本申请接下来的实施例将结合VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分的多种实现方式进行展开论述。
在本发明实施例中,终端根据第一感官参数、第二感官参数和第三感官参数,对真实感体验、愉悦感体验和交互感体验的进行质量评估,而沉浸性、多感官性融合以及与用户之间的交互性正是VR多媒体区别于传统媒体的主要特性,因此,通过本发明实施例确定VR多媒体的体验质量更贴合VR多媒体的实际情况,确定的VR多媒体的体验质量也将更准确。
网络媒体事件是指受到网络条件影响发生的事件,网络条件较好时发生的正常播放事件属于网络媒体事件,由于网络条件较差产生的卡顿事件和媒体质量变化事件同样属于网络媒体事件。而交互媒体事件则不同,当存在用户与终端的交互时,才会发生交互媒体事件。在VR多媒体的播放过程中,当发生网络媒体事件时,可能由于并不存在用户与终端的交互,因此,并不存在交互媒体事件。或者,当发生有由用户与终端的交互所引起的交互媒体事件时,由于可能并不存在由网络条件变化引起的网络媒体事件,因此,并没有发生网络媒体事件。基于上述描述,同时结合步骤402和403中的说明,接下来将结合附图5A-5C阐述当当前时刻对应不同情况时,以事件为单位确定VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,进而确定VR多媒体的MOS的实现过程。
图5A是本发明实施例提供的一种以事件为单位确定VR多媒体的MOS的方法流程图,如图5A示,该方法包括以下步骤:
步骤501a:如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件或者交互媒体事件,则基于当前时刻对应的第一感官参数确定VR多媒体的真实感体验得分。
当以事件为单位确定VR多媒体的MOS时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻发生有网络媒体事件或者交互媒体事件,那么,由于第一感官参数有可能较之前发生了变化,因此,终端可以根据第一感官参数计算当前时刻的真实感体验得分。
当根据第一感官参数计算当前时刻的真实感体验得分时,终端可以根据第一感官参数中按照至少两个感知维度采样得到的参数分别计算至少两个感知维度的真实感体验得分,之后,根据该至少两个感知维度的真实感体验得分确定VR多媒体的真实感体验得分。其中,该至少两个感知维度可以包括视觉维度、听觉维度,当然,还可以包括反馈维度。当该至少两个感知维度为视觉维度和听觉维度时,终端可以通过下述方式(1)和(2)分别计算视觉真实感体验得分和听觉体验感得分,并最终根据计算得到的视觉真实感体验得分和听觉真实感体验得分,通过方式(3)计算当前时刻VR多媒体的真实感体验得分。
(1)视觉真实感体验得分计算方式
终端首先可以根据采样得到的第一感官参数中视觉维度的多个视频属性信息,从存储的多个视觉真实感体验得分计算模型中,选择与多个视频属性信息对应的视觉真实感体验得分计算模型;之后,将当前时刻采样得到的第一感官参数中的多个视频参数作为输入参数,通过选择的视觉真实感体验得分计算模型,计算当前时刻的视觉真实感体验得分。其中,多个视频属性信息包括投影格式、视频编码格式、立体度和自由度,多个视频参数包括视频码率、全视角分辨率、时间复杂度、空间复杂度和视场角。
具体地,存储的多个视觉真实感体验MOS计算模型可以统一表示为公式5a-1:
其中,fi()为不同形式的函数,bitrate_v为视频码率,resolution_v为全视角分辨率,fps_v为视频帧率,TI为时间复杂度,SI为空间复杂度,FOVh为终端的水平视场角,FOVv为终端的垂直视场角。i为由多个视频属性信息组成的向量,其中,projection_v为投影格式,codec_v为编码格式,stereo_v为立体度,DoF_v为自由度。
需要说明的是,投影格式projection_v可以为等角投影(Equirectangularprojection,ERP)格式,也可以为立方(Cube)投影等投影格式,编码格式codec_v可以为AVC、HEVC等编码格式,立体度stereo_v可以为单目视频,也可以为双目立体视频,自由度DoF_v可以为3个自由度或者6个自由度等,由于该多个视频属性信息可以有不同的取值,因此,根据该多个视频属性信息就可以形成多个不同的向量i,而根据不同的向量i,则可以选择不同的fi()来计算视觉真实感体验得分。
进一步地,fi()可以表示为如下函数形式:
sFidelityvisual=fi()=v1*MOSv+v2*FOVh+v3(5a-2)
其中,根据向量i的不同,v1、v2和v3可以对应的取不同的值,也即是,不同的向量i对应不同值的v1、v2和v3,MOSv为代表VR多媒体的视频质量的中间变量。
当不考虑由时间复杂度和空间复杂度组成的内容复杂度时,MOSv可以通过式5a-3进行计算:
其中,根据向量i的不同,v4、v5和v6可以对应的取不同的值,也即是,不同的向量i对应不同值的v4、v5和v6。BPD为中间变量,用于指示水平方向每度视场角内的编码比特数,且该BPD可以通过公式5a-4计算得到:
其中,BPP为每像素编码比特数,resolution_v_h为由全视角分辨率resolution_v分解得到的水平方向的全视角分辨率,并且,BPP可以通过公式5a-5进行计算:
其中,BPF为中间变量,用于指示视频画面的每帧编码比特数,resolution_v_v为由全视角分辨率resolution_v分解得到的垂直方向的全视角分辨率,并且,中间变量BPF可以通过公式5a-6进行计算:
当考虑VR多媒体的视频内容复杂度时,MOSv可以通过式5a-7进行计算:
其中,BPD的计算可以参照不考虑内容复杂度时BPD的计算方式,VCC为由时间复杂度和空间复杂度共同决定的VR多媒体的视频内容复杂度,且VCC可以通过公式5a-8进行计算:
VCC=ln(SI*TI) (5a-8)
(2)听觉真实感体验得分计算方式
终端不仅需要计算视觉真实感体验得分,还需要计算听觉真实感体验得分。其中,终端可以根据采样得到的第一感官参数中的多个音频属性信息,从存储的多个听觉真实感体验得分计算模型中,选择与当前时刻的多个音频属性信息对应的听觉真实感体验得分计算模型;将当前时刻的第一感官参数包括的至少一个音频参数作为输入参数,通过选择的听觉真实感体验得分计算模型,计算当前时刻的听觉真实感体验得分。其中,多个音频属性信息包括音频采样率、空间化声音和音频编码格式,至少一个音频参数包括音频码率。
具体地,存储的多个听觉真实感体验得分计算模型可以统一表示为公式5a-9:
其中,fj()为不同形式的函数,bitrate_a为音频码率。j为由多个音频属性信息组成的向量,其中,freq_a为音频采样率,codec_a为音频编码格式,stereo_a为音频立体度。
需要说明的是,音频采样率freq_a的取值范围可以为23-48kHz,音频编码格式codec_a可以为MP3、MPEG-H等编码格式,音频立体度stereo_a可以为立体声,也可以为空间化声音,由于该多个音频属性信息可以有不同的取值,因此,根据该多个音频属性信息就可以形成多个不同的向量j,而根据不同的向量j,则可以选择不同的fj()来计算听觉真实感体验得分。
进一步地,fj()可以表示为如下函数形式:
sFidelityacoustic=fj()=v7*MOSa+v8 (5a-10)
其中,根据向量j的不同,v7和v8可以对应的取不同的值,也即是,不同的向量j对应不同值的v7和v8,MOSa为代表VR多媒体的音频质量的中间变量,并且,MOSa可以通过公式5a-11进行计算:
其中,根据向量j的不同,v9、v10和v11可以对应的取不同的值,也即是,不同的向量j对应不同值的v9、v10和v11。
(3)基于当前时刻的视觉真实感体验得分和听觉真实感体验得分确定VR多媒体的真实感体验得分。
当通过上述(1)和(2)中的方法确定VR多媒体的视觉真实感体验得分和听觉真实感体验得分之后,终端可以将确定的视觉真实感体验得分和听觉真实感体验得分作为输入参数,通过式5a-12所示的计算模型进行计算,以得到VR多媒体的真实感体验得分。
由于在本实施例中,至少两个感知维度为视觉维度和听觉维度,也即是,不存在其他维度,因此,式5a-12中的其他维度真实感体验得分sFidelityoptional为0,而视觉真实感体验得分sFidelityvisial和听觉真实感体验得分sFidelityacoustic即为(1)和(2)中计算得到的视觉真实感体验得分和听觉真实感体验得分。另外,式中参数v12-v19均为预设参数。
当确定得到真实感体验得分之后,由于当前时刻发生有网络媒体事件或者交互媒体事件,因此,终端可以根据当前时刻发生的事件计算对应的体验得分。其中,如果当前时刻发生的事件为网络媒体事件,则执行步骤502a,如果当前时刻发生的事件为交互媒体事件,则执行步骤503a。
步骤502a:如果当前时刻发生的事件为网络媒体事件,则基于当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并将VR多媒体的交互感体验得分设置为初始值。
由于愉悦感体验得分是以真实感体验得分为基础的,因此,如果真实感体验得分发生了变化,那么,愉悦感体验得分也将发生变化,所以,此时,终端可以根据当前确定的真实感体验得分、当前时刻对应的第二感官参数以及上一网络媒体事件结束时的VR多媒体的MOS,计算愉悦感体验得分。而对于交互感体验得分,由于当前时刻并没有发生交互媒体事件,因此,终端可以不计算交互感体验得分,而是将交互感体验得分设置为初始值。其中,该初始值可以为0,也可以为其他值。
需要说明的是,虽然当前时刻发生有网络媒体事件,但是当前时刻可能并不是第二感官参数的采样时刻,因此,当根据当前确定的真实感体验得分、当前时刻对应的第二感官参数以及上一网络媒体事件结束时的VR多媒体的MOS,计算愉悦感体验得分时,当前时刻对应的第二感官参数中的网络媒体事件的类型可以采用最近一次采样得到的第二感官参数中的网络媒体事件的类型,而第二感官参数中包括的第一已持续时长则可以根据当前时刻进行相应的更新。
具体地,当终端根据当前时刻确定的真实感体验得分以及第二感官参数,确定当前时刻的愉悦感体验得分时,根据当前时刻发生的影响愉悦感体验的网络媒体事件的不同,计算的方式也相应不同。具体地,由于典型的网络媒体事件的类型可以包括播放事件、卡顿事件和媒体质量变化事件,因此,在本实施例中将主要介绍上述三种事件分别对应的具体的计算方式。
另外,在本申请中,真实感体验得分实际上是基于VR多媒体确定的一个理想得分,而愉悦感体验得分反映的是由于网络条件变化引起的相关事件所带来的对理想得分的损伤的变化量,也即是,愉悦感体验得分计算的是MOS变化量。
还需要说明的是,由于网络媒体事件中的播放事件、卡顿事件以及媒体质量变化事件在发生时,将同时对视觉维度和听觉维度产生影响,因此,为了提高运算效率,在本实施例中,当确定愉悦感体验得分时,可以不再分别计算视觉维度愉悦感体验得分和听觉维度愉悦感得分,而是将视觉维度和听觉维度联合后计算一个愉悦感体验得分。当然,终端也可以分别计算视觉维度对应的视觉愉悦感体验得分和听觉维度对应的听觉愉悦感体验得分,之后,根据计算得到的视觉愉悦感体验得分和听觉愉悦感体验得分确定VR多媒体的愉悦感体验得分。
(1)当当前时刻对应的第二感官参数包括的网络媒体事件的类型为播放事件时,将当前时刻对应的第二感官参数包括的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分。
其中,第一已持续时长是指网络媒体事件已持续发生的时长。如果当前时刻发生的网络媒体事件为播放事件,那么,终端可以获取到当前时刻为止,该播放事件已持续发生的时长作为第一已持续时长。并且,如果当前时刻不是第一感官参数的采样时刻,终端可以获取当前时刻最近一次确定的真实感体验得分作为当前时刻的真实感体验得分,如果当前时刻是第一感官参数的采样时刻,那么,当前时刻计算得到的真实感体验得分即为当前确定的真实感体验得分。另外,当以事件为单位计算VR多媒体的MOS时,终端还可为获取上一网络媒体事件结束时VR多媒体的MOS。基于上述获取到的第一已持续时长、真实感体验得分和上一网络媒体事件的VR多媒体的MOS,终端可以通过公式5a-13计算该播放事件在当前时刻对应的MOS变化量,也即是该播放事件在当前时刻对应的愉悦感体验得分:
(2)当当前时刻对应的第二感官参数包括的网络媒体事件的类型为卡顿事件时,将当前时刻对应的第二感官参数包括的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算VR多媒体的愉悦感体验得分。
当当前时刻发生的网络媒体事件为卡顿事件时,根据卡顿事件发生的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,终端可以通过下述计算模型计算卡顿事件在当前时刻对应的愉悦感体验得分。
(3)当当前时刻对应的第二感官参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的真实感体验得分与当前时刻之前最近一次确定的真实感体验得分之间的差值,确定为VR多媒体的愉悦感体验得分。
由于媒体质量变化事件往往发生在一瞬间,并且通常发生在VR多媒体的segment之间进行切换的瞬间,因此,确定媒体质量变化事件不考虑已持续时长,而是将当前确定的真实感体验得分和当前时刻之前最近一次确定的真实感体验得分之间的差确定为该媒体质量变化事件对应的VR多媒体的愉悦感体验得分。
另外,由于媒体质量变化事件可能是媒体质量优化事件,也可能是媒体质量劣化事件。如果是媒体质量优化事件,那么,也就是说当前确定的真实感体验得分比当前时刻之前最近一次确定的真实感体验得分大,此时,计算得到的愉悦感体验得分较为正数。如果是媒体质量劣化事件,那么就说明当前确定的真实感体验得分比当前时刻之前最近一次确定的真实感体验得分小,此时,计算得到的愉悦感体验得分将为负数。
本实施例分别针对不同的网络媒体事件,介绍了对应的愉悦感体验得分的计算方式。在此基础上,还需要说明的是,本申请是在VR多媒体播放的过程中,一边播放一边计算的,因此,当以事件为单位计算VR多媒体的MOS时,终端并不能提前预知网络媒体事件在哪个时刻结束,因此,终端可以在整个VR多媒体的播放过程中设置网络媒体事件计数器。在VR多媒体开始播放的初始时刻,将网络媒体事件计数器初始化为0,由于VR多媒体开始播放的初始时刻为初始加载时刻,因此,可以将初始加载事件设置为事件0,而将初始加载事件之后的第一个正常播放事件设置为事件1,之后,每发生一次网络媒体事件,网络媒体事件计数器即将事件n中的n更新为n+1。对于每个事件n,终端可以在该事件n开始时,将事件n的第一已持续时长设置为0,当在当前时刻需要计算该事件n的MOS变化量时,即根据当前时刻更新该第一已持续时长,并根据该第一已持续时长计算事件n对应的MOS变化量。如果当前时刻为事件n的结束时刻,但是,终端并不知道当前时刻为事件n的结束时刻,因此,终端将在当前时刻的下一个时刻根据网络媒体事件的类型来确定当前时刻为事件n的结束时刻,并且,相应地,终端也将在下一时刻检测到网络媒体事件的类型发生变化的时候,将事件n更新为事件n+1,并对应的向该事件n+1的第一已持续时长设置为初始值。
例如,假设VR多媒体包括三个segment,每个segment的时长为t1秒,在该VR多媒体开始播放的初始时刻,发生了初始加载事件,且该初始加载事件持续了t2秒,之后,正常播放时间发生,但是播放到第一个segment的第t3秒钟时发生了卡顿事件,且该卡顿事件持续了t4秒,之后,在第二个segment切换为第三个segment时,发生了媒体质量变化事件。由上述VR多媒体播放过程可知,事件0为初始加载事件,持续了t2秒,事件1为播放事件,持续了t3秒,事件2为卡顿事件,持续了t4秒,事件3为播放事件,该事件3的持续的时长包括第一个segment由于在播放到第t3秒时发生卡段而未播放完t1-t3,而且还包括第二个segment全部时长的t1,因此,事件3的持续时长为t1-t3+t1秒。当以事件为单位计算VR多媒体的MOS时,在上述VR多媒体的播放过程中,每个事件均可以根据相应地已持续时长,通过前述对应的网络媒体事件的计算模型计算得到一个愉悦感体验得分。
步骤503a:如果当前时刻发生的事件为交互媒体事件,则基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分,并将VR多媒体的愉悦感体验得分设置为初始值。
如果当前时刻发生的事件为交互媒体事件,由于真实感体验得分进行了更新,在当前时刻将触发VR多媒体的MOS的计算,因此,终端需要确定当前时刻的交互感体验得分。另外,由于当前时刻未发生网络媒体事件,因此,终端可以将愉悦感体验得分设置为初始值。
另外,虽然当前时刻发生有交互感媒体事件,但是当前时刻可能并不是交互感媒体事件的采样时刻,当根据第三感官参数确定交互感体验得分时,当前时刻对应的第三感官参数中的交互媒体事件的类型可以采用最近一次采样得到的第三感官参数中的交互媒体事件的类型,而第三感官参数中包括的第二已持续时长则可以根据当前时刻进行相应的更新。
需要说明的是,在本申请中,交互感体验得分主要反映的是与用户交互引发的相关事件所带来的对理想得分的损伤的变化量,也即是,交互感体验得分计算的是MOS变化量。并且,由于交互感体验主要是用于由于与用户交互产生的,因此,与真实感体验得分并无关系,也即是说,计算交互感体验得分时可以不必考虑真实感体验得分,而只需要根据第二已持续时长进行计算。其中第二已持续时长是指交互媒体事件已持续发生的时长。另外,影响交互感体验得分的典型事件主要包括初始加载事件、交互加载事件或者媒体迟滞事件。因此,在本实施例中,将主要针对上述几种事件,分别介绍对应的交互感体验得分计算方式。
(1)初始加载事件是指在VR多媒体开始播放的初始时刻发生的媒体缓冲,当当前时刻对应的第三感官参数包括的交互媒体事件的类型为初始加载事件时,终端可以通过计算模型5a-15计算该初始加载事件对应的交互感体验得分:
(2)交互加载事件是指由用户操作引发的场景切换加载,当当前时刻对应的第三感官参数包括的交互媒体事件的类型为交互加载事件时,终端可以通过计算模型5a-16计算该交互加载事件对应的交互感体验得分:
(3)媒体迟滞事件是指由于用户动作引发的媒体更新与动作之间的迟滞事件,其中,用户动作可以为用户位置、身体姿态改变或者头部转动等动作。当当前时刻对应的第三感官参数包括的交互媒体事件的类型为媒体迟滞事件,终端可以通过计算模型5a-17计算该媒体迟滞事件对应的交互感体验得分:
其中,td即为媒体迟滞事件对应的第二已持续时长。
通过上述(1)-(3)中介绍的方法,可以分别确定不同的交互媒体事件对应的交互感体验得分。除此之外,还需要说明的是,本申请是在VR多媒体播放的过程中,一边播放一边计算的,因此,当以事件为单位计算VR多媒体的MOS时,终端并不能提前预知交互媒体事件在哪个时刻结束,因此,终端可以在整个VR多媒体的播放过程中设置交互媒体事件计数器。具体地,设置交互媒体事件计数器以及对事件计数器进行更新的方式可以参照前述步骤502a中关于网络媒体事件计数器的相关介绍,本实施例不再赘述。
步骤504a:将当前时刻确定的VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
在确定真实感体得分、愉悦感体验得分和交互感体验得分之后,终端可以将真实感体得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
需要说明的是,该预设的VR多媒体的MOS计算模型可以为线性计算模型,也可以为非线性计算模型,具体的,该线性计算模型如公式5a-19所示,该非线性计算模型如公式5a-20所示。
f(sFidelity,sEnjoyment,sInteraction)=sFidelity+g(sEnjoyment,sInteraction) (5a-19)
f(sFidelity,sEnjoyment,sInteraction)=sFidelity*g(sEnjoyment,sInteraction) (5a-20)
其中,f(sFidelity,sEnjoyment,sInteraction)为VR多媒体的MOS,sFidelity为VR多媒体的真实感体验得分,sEnjoyment为VR多媒体的愉悦感体验得分,sInteraction为VR多媒体的交互感体验得分。
其中,函数g(sEnjoyment,sInteraction)可以为线性函数,也可以为非线性函数。当函数g(sEnjoyment,sInteraction)为线性函数时,可以表示为式5a-21:
g(sEnjoyment,sInteraction)=α×sEnjoyment+β×sInteraction (5a-21)
当函数g(sEnjoyment,sInteraction)为非线性函数时,可以表示为式5a-22。
g(sEnjoyment,sInteraction)=(α×sEnjoyment)×(β×sInteraction) (5a-22)
其中,α和β为预设的参数。
在本发明实施例中,在确定真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的真实感体验得分也将更准确。并且,愉悦感体验得分的确定不仅与当前事件周期内的事件性质有关,还与前序事件对应的VR多媒体的MOS有关,以此确定的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。
图5A中介绍了当前时刻为VR多媒体的第一感官参数的采样时刻,当前时刻发生有网络媒体事件或交互媒体事件时,以事件为单位确定VR多媒体的MOS的方法。接下来将结合图5B介绍当前时刻为VR多媒体的第一感官参数的采样时刻且当前时刻同时发生有网络媒体事件和交互媒体事件的情况下,以事件为单位确定VR多媒体的MOS的方法。
图5B是本发明实施例提供的另一种以事件为单位确定VR多媒体的MOS的方法流程图,如图5B示,该方法包括:
步骤501b:如果当前时刻到达VR多媒体的第一感官参数的采样时刻且当前时刻发生有网络媒体事件和交互媒体事件,则基于当前时刻对应的第一感官参数确定VR多媒体的真实感体验得分,基于当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分。
基于前述说明,如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻同时发生有网络媒体事件和交互媒体事件,那么,除了计算真实感体验得分和愉悦感体验得分之外,终端还需要计算交互感体验得分。
其中,终端关于计算真实感体验得分方式可以参考步骤501a计算真实感体验得分的说明,终端关于确定愉悦感体验得分的方式可以参考步骤502a中计算愉悦感体验得分的说明。另外,终端关于确定交互感体验得分的方式可以参考步骤503a中计算交互感体验得分的说明,本发明实施例不再赘述。
步骤502b:将当前时刻确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
其中,将当前时刻确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS的具体实现方式可以参考步骤504a,本发明实施例不再赘述。
在本发明实施例中,在确定真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的真实感体验得分也将更准确。并且,愉悦感体验得分的确定不仅与当前事件周期内的事件性质有关,还与前序事件对应的VR多媒体的MOS有关,以此确定的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。另外,由于在当前时刻发生有交互媒体事件,因此,终端可以计算交互感体验得分,从而确定得到当前时刻对应的VR多媒体的MOS,也即是,终端对交互感体验得分也对应的进行了更新,提高了VR多媒体的MOS的精度。
前文中结合图5A和图5B分别介绍了在当前时刻为第一感官参数的采样时刻且当前时刻发生有网络媒体事件和/或交互媒体事件两种情况下,确定VR多媒体的MOS的实现过程。除了上述两种情况,终端还可以在发生的事件结束时触发计算并输出真实感体验得分、愉悦感体验得分和交互感得分,进而根据该真实感体验得分、愉悦感体验得分和交互感体验得分联合计算得到一个事件对应的该VR多媒体的MOS。具体的,如图5C所示:
步骤501c:以事件为单位,确定VR多媒体的愉悦感体验得分和交互感体验得分。
如果当前时刻未到达VR多媒体的第一感官参数的采样时刻,根据当前时刻是否发生有网络媒体事件和交互媒体事件以及发生的事件是否结束,终端可以分为三种情况来确定VR多媒体的愉悦感体验得分和交互感体验得分。
第一种情况:如果当前时刻发生有网络媒体事件但未发生有交互媒体事件,且在当前时刻检测到网络媒体事件结束,则基于当前时刻对应的第二感官参数、当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并将VR多媒体的交互感体验得分设置为初始值。
其中,由于计算VR多媒体的愉悦感体验得分还要依赖于当前时刻的真实感体验得分,而当前时刻又不是真实感体验得分的计算时刻,也就是说,当前时刻并没有计算得到的真实感体验得分,在这种情况下,终端可以获取当前时刻最近一次确定的真实感体验得分作为计算愉悦感体验得分时的输入参数。另外,终端还可以获取上一次网络媒体事件结束时VR多媒体的MOS,结合获取到的真实感体验得分以及采样得到的第二感官参数,计算得到VR多媒体的愉悦感体验得分。
由于当前时刻并未发生有交互媒体事件,因此,终端可以将交互感体验得分设置为初始值。
第二种情况:如果当前时刻发生有交互媒体事件且未发生网络媒体事件,且在当前时刻检测到交互媒体事件结束,基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分,并将VR多媒体的愉悦感体验得分设置为初始值。
如果当前时刻为交互媒体事件的结束时刻,将触发VR多媒体的交互感体验得分的计算,进而触发VR多媒体的MOS的计算。
其中,VR多媒体的交互感体验得分的计算可以参考步骤503a中的交互感体验得分的计算方式,由于未发生网络媒体事件,因此,可以将VR多媒体的愉悦感体验得分设置为初始值。
第三种情况:如果当前时刻发生有网络媒体事件和交互媒体事件,且在当前时刻检测到网络媒体事件和/或交互媒体事件中结束,则基于当前时刻对应的第二感官参数、当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分。
如果当前时刻同时发生有网络媒体事件和交互媒体事件,那么,发生的事件中只要有一个事件结束,就会触发VR多媒体的愉悦感体验得分以及交互感体验得分的计算,进而触发VR多媒体的MOS的计算。
其中,VR多媒体的愉悦感体验得分的计算可以参考步骤502a中的愉悦感体验得分的计算,VR多媒体的交互感体验得分的计算则可以参考步骤503a中确定交互感体验得分的方法。
步骤502c:将当前时刻之前最近一次确定的真实感体验得分、当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
由于当前时刻并没有对真实感体验得分进行计算,因此,终端可以将当前时刻之前最近一次确定的真实感体验得分、当前时刻确定的愉悦感体验得分以及交互感体验得分作为计算VR多媒体的MOS的输入参数。根据该输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS的方法可以参考步骤504a中相应地方法。
在本发明实施例中,由于当前时刻未到达第一感官参数的采样时刻,因此,真实感体验得分并没有发生改变,因此,终端可以直接获取真实感体验,减少了运算次数。并且,愉悦感体验得分的确定不仅与当前事件周期内的事件性质有关,还与前序事件对应的VR多媒体的MOS有关,以此确定的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。另外,由于在当前时刻发生有交互媒体事件,因此,终端可以计算交互感体验得分,从而确定得到当前时刻对应的VR多媒体的MOS,也即是,终端对交互感体验得分也对应的进行了更新,提高了VR多媒体的MOS的精度。
前文中结合图5A-5C介绍了以事件为单位时确定VR多媒体的MOS的三种方法。同理,当当前时刻对应不同的情况时,以单位时间周期为单位来确定VR多媒体的MOS也将存在三种方式,接下来将结合图6A-6C来说明以单位时间周期为单位,确定VR多媒体的MOS的三种方法。
图6A为本发明实施例提供的一种以单位时间周期为单位确定VR多媒体的MOS的方法,如图6A所示,该方法包括:
步骤601a:如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件或者交互媒体事件,则基于当前时刻对应的第一感官参数确定VR多媒体的真实感体验得分。
当以单位时间周期为单位确定VR多媒体的MOS时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻,那么,终端可以根据采样得到的第一感官参数计算对应的真实感体验得分。其中,终端根据采样得到的第一感官参数计算真实感体验得分的方式可以参考步骤501a中计算真实感体验得分的方式。
当终端计算得到真实感体验得分之后,由于当前时刻发生有网络媒体事件或者交互媒体事件,因此,终端可以根据当前时刻发生的事件计算对应的体验得分。其中,如果当前时刻发生的事件为网络媒体事件,则执行步骤602a,如果当前时刻发生的事件为交互媒体事件,则执行步骤603a。
步骤602a:如果当前时刻发生的事件为网络媒体事件,则基于当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并将VR多媒体的交互感体验得分设置为初始值。
如果当前时刻发生的事件为网络媒体事件,那么,当确定真实感体验得分之后,由于在本实施例中是以单位时间周期为单位确定VR多媒体的MOS的,因此,终端可以获取上一个单位时间周期结束时的VR多媒体的MOS作为当前时刻计算愉悦感体验得分的输入参数。同时,终端还需要结合当前时刻对应的第二感官参数以及当前确定的真实感体验得分来计算VR多媒体的愉悦感体验得分。
需要说明的是,终端计算真实感体验得分的具体计算方式可以参考步骤501a中介绍的计算真实感体验得分的方式。
另外,终端计算愉悦感体验得分的方式只需将前述步骤502a中输入的上一网络媒体事件结束时的VR多媒体的MOS变为上一单位时间周期结束时的VR多媒体的MOS即可,其余部分均可以相应的进行参考,本发明实施例不再赘述。
步骤603a:如果当前时刻发生的事件为交互媒体事件,则基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分,并将VR多媒体的愉悦感体验得分设置为初始值。
其中,基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分的方式可以参考步骤503a中计算交互感体验得分的方式。并且,由于当前时刻未发生网络媒体事件,因此,可以将愉悦感体验得分设置为初始值。
步骤604a:将当前时刻确定的VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
终端将当前时刻确定的VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS的方法可以参考步骤504a。
在本发明实施例中,在确定真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的真实感体验得分也将更准确。并且,愉悦感体验得分的确定不仅与当前单位时间周期内是否有时事件发生有关,还与前序单位时间周期对应的VR多媒体的MOS有关,以此确定的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。
图6A中介绍了当前时刻为VR多媒体的第一感官参数的采样时刻,且当前时刻发生有网络媒体事件或交互媒体事件时,以单位时间周期为单位确定VR多媒体的MOS的方法。接下来将结合图6B介绍当前时刻为VR多媒体的第一感官参数的采样时刻且当前时刻同时发生有网络媒体事件和交互媒体事件的情况下,以单位时间周期为单位确定VR多媒体的MOS的方法。
图6B是本发明实施例提供的另一种以单位时间周期为单位确定VR多媒体的MOS的方法流程图,如图6B示,该方法包括:
步骤601b:如果当前时刻到达VR多媒体的第一感官参数的采样时刻且当前时刻发生有网络媒体事件和交互媒体事件,则基于当前时刻对应的第一感官参数确定VR多媒体的真实感体验得分,基于当前时刻对应的第二感官参数、当前确定的真实感体验得分和上个单位时间周期结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分。
如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻同时发生有网络媒体事件和交互媒体事件,那么,除了计算真实感体验得分和愉悦感体验得分之外,终端还需要计算交互感体验得分。
其中,终端关于计算愉悦感体验得分的方法可以参考步骤602a中的说明。另外,虽然当前时刻发生有交互感媒体事件,但是当前时刻可能并不是交互感媒体事件的采样时刻,当根据第三感官参数确定交互感体验得分时,当前时刻对应的第三感官参数中的交互媒体事件的类型可以采用最近一次采样得到的第三感官参数中的交互媒体事件的类型,而第三感官参数中包括的已持续时长则可以根据当前时刻进行相应的更新。
终端计算真实感体验得分和交互感体验得分的具体计算方式可以分别参考步骤501a中介绍的计算真实感体验得分的方式和步骤503a中计算交互感体验得分的方式,本发明实施例不再赘述。
另外,终端计算愉悦感体验得分的具体计算方式只需将前述步骤502a中介绍的计算愉悦感体验得分中输入的上一网络媒体事件结束时的VR多媒体的MOS改为上一单位时间周期结束时的VR多媒体的MOS即可,其余部分均可以相应的进行参考,本发明实施例不再赘述。
步骤602b:将当前时刻确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
其中,将当前时刻确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS的具体实现方式可以参考步骤504a,本发明实施例不再赘述。
在本发明实施例中,在确定真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的真实感体验得分也将更准确。并且,愉悦感体验得分的确定不仅与当前单位时间周期内是否有时事件发生有关,还与前序单位时间周期对应的VR多媒体的MOS有关,以此确定的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。另外,由于在当前时刻发生有交互媒体事件,因此,终端可以计算交互感体验得分,从而确定得到当前时刻对应的VR多媒体的MOS,也即是,终端对交互感体验得分也对应的进行了更新,提高了VR多媒体的MOS的精度。
前文中结合图6A和图6B分别介绍了在当前时刻为第一感官参数的采样时刻且当前时刻发生有网络媒体事件和/或交互媒体事件两种情况下,确定VR多媒体的MOS的实现过程。除了上述两种情况,终端还可以在一个单位时间周期结束时或发生的事件结束时触发计算并输出真实感体验得分、愉悦感体验得分和交互感得分,进而根据该真实感体验得分、愉悦感体验得分和交互感体验得分联合计算得到一个事件对应的该VR多媒体的MOS。具体的,如图6C所示:
步骤601c:以单位时间周期为单位,确定VR多媒体的愉悦感体验得分和交互感体验得分。
如果当前时刻未到达VR多媒体的第一感官参数的采样时刻,根据当前时刻是否发生有网络媒体事件和交互媒体事件、当前发生的事件是否结束以及单位时间周期是否结束,终端可以分为以下几种情况来确定VR多媒体的愉悦感体验得分和交互感体验得分。
第一种情况:如果当前时刻发生有网络媒体事件且未发生有交互媒体事件,在所述当前时刻检测到网络媒体事件结束或者单位时间周期结束,则基于当前时刻对应的第二感官参数、当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并将VR多媒体的交互感体验得分设置为初始值。
(1)如果当前时刻只发生有网络媒体事件,且网络媒体事件未结束,但当前时刻为单位时间周期的结束时刻,那么,终端可以根据当前时刻的第二感官参数计算VR多媒体的愉悦感体验得分。由于计算VR多媒体的愉悦感体验得分还要依赖于当前时刻的真实感体验得分,而当前时刻又不是真实感体验得分的计算时刻,也就是说,当前时刻并没有计算得到的真实感体验得分,在这种情况下,终端可以获取当前单位时间周期内当前时刻最近一次确定的真实感体验得分作为计算愉悦感体验得分时的输入参数。另外,终端还可以获取上一个单位时间周期结束时VR多媒体的MOS,结合获取到的真实感体验得分以及采样得到的第二感官参数,计算得到VR多媒体的愉悦感体验得分。
由于当前时刻并未发生有交互媒体事件,因此,终端可以将交互感体验得分设置为初始值。
(2)如果当前时刻只发生有网络媒体事件,且当前时刻是网络媒体事件的结束时刻,但当前时刻不是单位时间周期的结束时刻,那么,终端也可以按照(1)中确定愉悦感体验得分和交互感体验得分的方式确定愉悦感体验得分和交互感体验得分。
第二种情况:如果当前时刻发生有交互媒体事件且未发生有网络媒体事件,且在当前时刻检测到交互媒体事件结束或者单位时间周期结束,则基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分,并将VR多媒体的愉悦感体验得分设置为初始值。
第三种情况:如果当前时刻发生有网络媒体事件和交互媒体事件、且在当前时刻检测到单位时间周期结束,或者,如果当前时刻发生有网络媒体事件和交互媒体事件、在当前时刻检测到网络媒体事件和/或交互媒体事件结束且未检测到单位时间周期结束,则基于当前时刻对应的第二感官参数、当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分。
如果当前时刻同时发生有交互媒体事件和网络媒体事件,且当前时刻为单位时间周期的结束时刻,但未检测到网络媒体事件和/或交互媒体事件结束,那么,将触发VR多媒体的愉悦感体验得分以及交互感体验得分的计算,进而触发VR多媒体的MOS的计算。
如果当前时刻同时发生有网络媒体事件和交互媒体事件,且在当前时刻检测到网络媒体事件和交互媒体事件中的至少一个结束,但未检测到单位时间周期结束,此时,也将触发VR多媒体的愉悦感体验得分和交互感体验得分的计算,进而触发VR多媒体的MOS的计算。
其中,VR多媒体的愉悦感体验得分的计算可以参考步骤601b中关于愉悦感体验得分的计算说明,VR多媒体的交互感体验得分的计算则可以参考步骤503a中确定交互感体验得分的方法。
步骤602c:将当前时刻之前最近一次确定的真实感体验得分、当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
由于当前时刻并没有对真实感体验得分进行计算,因此,终端可以将当前单位时间周期内当前时刻之前最近一次确定的真实感体验得分、当前时刻确定的愉悦感体验得分以及交互感体验得分作为计算VR多媒体的MOS的输入参数。根据该输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS的方法可以参考步骤504a中相应地方法。
在本发明实施例中,由于当前时刻未到达第一感官参数的采样时刻,因此,真实感体验得分并没有发生改变,因此,终端可以直接获取真实感体验,减少了运算次数。并且,愉悦感体验得分的确定不仅与当前单位时间周期内是否有事件发生有关,还与前序单位时间周期对应的VR多媒体的MOS有关,以此确定的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。另外,由于在当前时刻发生有交互媒体事件,因此,终端可以计算交互感体验得分,从而确定得到当前时刻对应的VR多媒体的MOS,也即是,终端对交互感体验得分也对应的进行了更新,提高了VR多媒体的MOS的精度。
在本发明实施例中,通过前述多个实施例,同时结合图4-图6C对第一种确定VR多媒体的MOS的方法进行了解释说明。也即是,介绍了终端根据获取到的参数确定真实感体验得分、愉悦感体验得分和交互感体验得分,进而确定该VR多媒体的MOS的实现过程。在接下来的实施例中,将结合图7-图9C对第二种确定VR多媒体的MOS的方法进行详细的解释说明。图7是本发明实施例提供的另一种VR多媒体的体验质量确定方法,如图7所示,该方法包括以下步骤:
步骤701:在VR多媒体的播放过程中,获取VR多媒体的第一感官参数、第二感官参数和第三感官参数。
在VR多媒体的播放过程中,终端可以通过对VR多媒体进行采样来得到第一感官参数、第二感官参数和第三感官参数。其中,终端对第一感官参数、第二感官参数和第三感官参数的采样周期可以不同。
例如,终端可以以一个画面组(Group of Picture,GoP)为单位采样一次第一感官参数,也可以以一个segment为单位采样一次第一感官参数,当然,还可以以预设的采样周期采样第一感官参数。再例如,终端可以在检测到用户位置发生变化时采样一次第三感官参数,也可以按照预设的采样周期或者是以GoP为单位采样一次第三感官参数。也即是说,终端对第一感官参数进行采样时,可能并没有到达第二感官参数或者是第三感官参数的采样时刻。
步骤702:对于至少两个感知维度中的每个感知维度,基于VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分。
在VR多媒体的播放过程中,对VR多媒体的第一感官参数、第二感官参数和第三感官参数是按照至少两个感知维度进行采样得到的,也就是说,第一感官参数、第二感官参数和第三感官参数均包括视觉维度对应的参数和听觉维度对应的参数,因此,对于至少两个感知维度中的每个感知维度,终端均可以根据第一感官参数、第二感官参数和第三感官参数中按照该感知维度采样得到的参数来确定VR多媒体在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分。
例如,第一感官参数、第二感官参数和第三感官参数均包括视觉维度对应的参数和听觉维度对应的参数,终端可以根据第一感官参数、第二感官参数和第三感官参数中视觉维度对应的参数,分别计算视觉真实感体验得分、视觉愉悦感体验得分和视觉交互感体验得分。同时,终端可以根据第一感官参数、第二感官参数和第三感官参数中听觉维度对应的参数分别计算听觉真实感体验得分、听觉愉悦感体验得分和听觉交互感体验得分。当然,如果第一感官参数、第二感官参数和第三感官参数还包括其他维度,如反馈维度对应的参数时,终端还可以根据第一感官参数、第二感官参数和第三感官参数中反馈维度对应的参数,分别计算反馈真实感体验得分、反馈愉悦感体验得分和反馈交互感体验得分。
需要说明的是,终端对VR多媒体的第一感官参数、第二感官参数和第三感官参数进行采样的相关方法说明可以参照步骤401中的说明,本实施例不再赘述。
另外,如步骤401中所述,由于各个感官参数的采样周期不同,因此,终端根据第一感官参数、第二感官参数和第三感官参数确定真实感体验得分、愉悦感体验得分和交互感得分的时机也不同。在本实施例中,同样由于各个感官参数的采样周期不同,因此,终端计算每个感知维度对应的真实感体验得分、愉悦感体验得分和交互感体验得分的时期也不同。
具体地,对于至少两个感知维度中的每个感知维度,终端可以以VR多媒体在播放过程中发生的事件为单位,在发生的事件结束时触发计算并输出一次该感知维度的真实感体验得分、愉悦感体验得分和交互感得分,以便后续根据该感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分联合计算得到一个事件对应的该VR多媒体的感知维度的体验得分。
另外,终端也可以以预设的单位时间周期为单位,在VR多媒体的播放过程中,当一个单位时间周期结束时触发计算并输出一次感知维度的真实感体验得分、愉悦感体验得分和交互感得分,以便后续根据该感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分联合计算得到一个单位时间周期对应的该VR多媒体的感知维度的体验得分。
还需要说明的是,当到达第一感官参数的采样时刻时,由于采样得到的第一感官参数可能较上一个采样时刻的第一感官参数发生了变化,因此,终端需要根据采样得到的第一感官参数计算真实感体验得分。而由于愉悦感体验的得分的确定是建立在真实感体验得分之上的,因此,计算得到感知维度的真实感体验得分之后,还需要根据该感知维度的真实感体验得分确定该感知维度愉悦感体验得分。也即是说,当达到第一感官参数的采样时刻时,也就到达了感知维度的真实感体验得分的计算时刻。而到达感知维度的真实感体验得分的计算时刻,即可以触发计算并输出一次感知维度的愉悦感体验得分和交互感体验得分,进而计算一次VR多媒体的感知维度的体验得分。
通过上述描述可知,在各个感官参数的采样周期不同的情况下,对于至少两个感知维度中的每个感知维度,终端根据第一感官参数、第二感官参数和第三感官参数确定该感知维度上的真实感体验得分、愉悦感体验得分和交互感得分的时机也不同。另外,终端也可以以VR多媒体在播放过程中发生的事件为单位,或者以预设的单位时间周期为单位,计算该感知维度上的VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分。因此,计算该VR多媒体在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分有多种实现方式,本申请接下来的实施例将展开论述。
步骤703:将VR多媒体在感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
基于步骤701中的描述,对于至少两个感知维度中的每个感知维度,当以事件为单位触发感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分的计算时,由于该事件有可能是影响愉悦感体验得分的事件、也有可能是影响交互感体验得分的事件,并且,有可能事件结束时并不是第一感官参数的采样时刻,因此,根据确定的感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分计算VR多媒体在该感知维度上的体验得分的方式也可能不同。
同理,以单位时间周期为单位触发感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分的计算时,根据确定的感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分计算VR多媒体在该感知维度上的体验得分的方式也会有多种。
还需要说明的是,在到达该感知维度的真实感体验得分的计算时刻触发愉悦感体验得分和交互感体验得分的计算时,由于该计算时刻可能发生了影响交互感体验得分的事件,也可能没有发生影响交互感体验得分的事件,因此,根据确定的感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分计算VR多媒体的感知维度的体验得分的方式也会不同。因此,将确定的该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体在该感知维度上的体验得分计算模型计算VR多媒体在该感知维度上的体验得分也有多种实现方式,本申请接下来的实施例将结合VR多媒体在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分的多种实现方式进行展开论述。
步骤704:将VR多媒体的至少两个感知维度的体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算VR多媒体的MOS。
当确定了至少两个感知维度对应的至少两个体验得分之后,终端可以将该至少两个感知维度的体验得分作为输入参数,通过式7-1中的计算模型来计算该VR多媒体的MOS:
其中,MOSi可以为线性模型,也可以为非线性模型,式7-2为本发明实施例示出的一种MOSi的线性模型,式7-3为本发明实施例示出的一种MOSi的非线性模型。
MOSi=sFidelityi+gi(sEnjoymenti,sInteractioni) (7-2)
MOSi=sFidelityi×gi(sEnjoymenti,sInteractioni) (7-3)
其中,i=visual,ascoutic,optional,也即是,i可以为视觉维度、听觉维度或其他维度,sFidelityi为VR多媒体在感知维度上的真实感体验得分,sEnjoymenti为VR多媒体在感知维度上的愉悦感体验得分,sInteractioni为VR多媒体在感知维度上的交互感体验得分。
还需要说明的是,函数gi(sEnjoyment,sInteraction)可以为线性函数,也可以为非线性函数。当函数gi(sEnjoyment,sInteraction)为线性函数时,可以表示为式7-4:
gi(sEnjoyment,sInteraction)=αi×sEnjoymenti+βi×sInteractioni (7-4)
当函数g(sEnjoyment,sInteraction)为非线性函数时,可以表示为式7-5。
gi(sEnjoyment,sInteraction)=(αi×sEnjoymenti)×(βi×sInteractioni) (7-5)
其中,αi和βi为预设的参数,并且,根据感知维度的不同,该预设的参数也不同。
在本发明实施例中,终端根据采样得到的第一感官参数、第二感官参数和第三感官参数,确定至少两个感知维度中VR多媒体在每个感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,之后,终端根据确定得到的真实感体验得分、愉悦感体验得分和交互感体验得分,确定VR多媒体在每个感知维度上的体验得分,进而确定VR多媒体的MOS。由于本发明实施例在确定VR多媒体的体验质量的过程中,增加了交互感体验的质量评估,而与用户之间的交互正是VR多媒体区别于传统媒体的主要特性,因此,通过本发明实施例确定VR多媒体的体验质量更贴合VR多媒体的实际情况,确定的VR多媒体的体验质量也将更准确。
网络媒体事件是指受到网络条件影响发生的事件,网络条件较好时发生的正常播放事件属于网络媒体事件,由于网络条件较差产生的卡顿事件和媒体质量变化事件同样属于网络媒体事件。而交互媒体事件则不同,当存在用户与终端的交互时,才会发生交互媒体事件。在VR多媒体的播放过程中,当发生网络媒体事件时,可能由于并不存在用户与终端的交互,因此,并不存在交互媒体事件。或者,当发生有由用户与终端的交互所引起的交互媒体事件时,由于可能并不存在由网络条件变化引起的网络媒体事件,因此,并没有发生网络媒体事件。基于上述描述,同时结合步骤701和702中的说明,接下来将结合附图8A-8C阐述当当前时刻对应不同情况时,以事件为单位确定VR多媒体的感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分,进而确定VR多媒体的感知维度的体验得分的实现过程。
图8A本发明实施例提供的一种以事件为单位确定VR多媒体的感知维度的体验得分的方法流程图,如图8A示,该方法包括:
步骤801a:如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件或交互媒体事件,则基于当前时刻对应的第一感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分。
当以事件为单位确定VR多媒体的感知维度的体验得分时,对于至少两个感知维度中的每个感知维度,如果当前时刻是VR多媒体的第一感官参数的采样时刻,那么,由于第一感官参数有可能较之前发生了变化,因此,终端可以根据第一感官参数计算当前时刻该感知维度的真实感体验得分。
其中,终端可以根据当前时刻对应的第一感官参数中按照该感知维度采样得到的参数,参考步骤501a中计算真实感体验得分中介绍的相应方式确定该感知维度上的真实感体验得分。
当确定得到该感知维度上的真实感体验得分之后,由于当前时刻发生有网络媒体事件或者交互媒体事件,因此,终端可以根据当前时刻发生的事件计算对应的体验得分。其中,如果当前时刻发生的事件为网络媒体事件,则执行步骤802a,如果当前时刻发生的事件为交互媒体事件,则执行步骤803a。
步骤802a:如果当前时刻发生的事件为网络媒体事件,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前确定的感知维度上的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体在该感知维度上的愉悦感体验得分,并将VR多媒体在该感知维度上的交互感体验得分设置为初始值。
由于该感知维度的愉悦感体验得分是以该感知维度的真实感体验得分为基础的,因此,如果该感知维度的真实感体验得分发生了变化,那么,该感知维度的愉悦感体验得分也将发生变化,所以,此时,终端可以根据当前确定的该感知维度的真实感体验得分、当前时刻对应的第二感官参数中按照该感知维度采样得到的参数以及上一网络媒体事件结束时的VR多媒体的该感知维度的体验得分,计算该感知维度的愉悦感体验得分。而对于该感知维度的交互感体验得分,由于当前时刻并没有发生交互媒体事件,因此,终端可以不计算该感知维度的交互感体验得分,而是将该感知维度上的交互感体验得分设置为初始值。
需要说明的是,虽然当前时刻发生有网络媒体事件,但是当前时刻可能并不是第二感官参数的采样时刻,因此,当根据当前确定的该感知维度的真实感体验得分、当前时刻对应的第二感官参数中按照该感知维度采样得到的参数以及上一网络媒体事件结束时的VR多媒体的MOS,计算该感知维度的愉悦感体验得分时,当前时刻对应的第二感官参数中按照该感知维度采样得到的网络媒体事件的类型可以采用最近一次采样得到的第二感官参数中按照该感知维度采样得到的网络媒体事件的类型,而第二感官参数中包括的已持续时长则可以根据当前时刻进行相应的更新。
另外,对于不同的网络媒体事件对应的该感知维度的愉悦感体验得分的计算方式,可以参照前述步骤502a中计算愉悦感体验得分的计算方式,本发明实施例不再赘述。
步骤803a:如果当前时刻发生的事件为交互媒体事件,则基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的交互感体验得分,并将VR多媒体在感知维度上的愉悦感体验得分设置为初始值。
如果当前时刻发生的事件为交互媒体事件,由于该感知维度上的真实感体验得分进行了更新,在当前时刻将触发VR多媒体在该感知维度上的MOS的计算,因此,终端需要确定当前时刻该感知维度上的交互感体验得分。另外,由于当前时刻未发生网络媒体事件,因此,终端可以将该感知维度上的愉悦感体验得分设置为初始值。其中,该初始值可以为0,也可以为其他数值。
另外,虽然当前时刻发生有交互感媒体事件,但是当前时刻可能并不是交互感媒体事件的采样时刻,当根据第三感官参数中按照该感知维度采样得到的参数来确定该感知维度上的交互感体验得分时,当前时刻对应的第三感官参数中按照该感知维度采样得到的参数包括的交互媒体事件的类型可以采用最近一次采样得到的第三感官参数中按照该感知维度采样得到的参数包括的交互媒体事件的类型,而第三感官参数中包括的已持续时长则可以根据当前时刻进行相应的更新。
另外,根据第三感官参数中按照该感知维度采样得到的参数包括的交互媒体事件的类型和已持续时长,来计算该感知维度上的交互感体验得分的具体计算方式,可以参考步骤503a中计算交互感体验得分的方法,本发明实施例不再赘述。
步骤804a:将确定的VR多媒体在感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
对于至少两个感知维度中的每个感知维度,将当前时刻确定的该感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的该感知维度的体验得分计算模型计算VR多媒体的该感知维度的体验得分的具体实现方式可以参考步骤703,本发明实施例不再赘述。
在本发明实施例中,终端在确定该感知维度上的真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的在该感知维度上的真实感体验得分也将更准确。并且,该感知维度上的愉悦感体验得分的确定不仅与当前事件周期内的事件性质有关,还与前序事件对应的VR多媒体的MOS有关,以此确定的该感知维度上的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。
图8A中介绍了当前时刻为VR多媒体的第一感官参数的采样时刻,且当前时刻发生有网络媒体事件或交互媒体事件时,以事件为单位确定VR多媒体的感知维度的体验得分的方法。接下来将结合图8B介绍当前时刻为VR多媒体的第一感官参数的采样时刻且当前时刻同时发生有网络媒体事件和交互媒体事件的情况下,以事件为单位确定VR多媒体的感知维度的体验得分的方法。
图8B本发明实施例提供的另一种以事件为单位确定VR多媒体的感知维度的体验得分的方法流程图,如图8B示,该方法包括:
步骤801b:如果当前时刻到达VR多媒体的第一感官参数的采样时刻且当前时刻发生有网络媒体事件和交互媒体事件,则基于当前时刻对应的第一感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分,基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前确定的感知维度上的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体的交互感体验得分。
如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻同时发生有网络媒体事件和交互媒体事件,那么,对于至少两个感知维度中的每个感知维度,除了计算在该感知维度上的真实感体验得分和愉悦感体验得分之外,终端还需要计算该感知维度的交互感体验得分。
其中,终端关于计算该感知维度的愉悦感体验得分所需的第二感官参数的选择可以参考步骤801a中的说明,具体的计算方式则可以参考步骤502a中相应的愉悦感体验得分的计算方法。
另外,虽然当前时刻发生有交互感媒体事件,但是当前时刻可能并不是交互感媒体事件的采样时刻,当根据第三感官参数中按照该感知维度采样得到的参数确定交互感体验得分时,当前时刻对应的第三感官参数中的交互媒体事件的类型可以采用最近一次采样得到的第三感官参数中的交互媒体事件的类型,而第三感官参数中包括的已持续时长则可以根据当前时刻进行相应的更新。其中,对于不同的交互媒体事件对应的该感知维度的交互感体验得分的具体计算方式可以参照前述步骤503a中交互感体验得分的具体计算方式。
步骤802b:将当前时刻确定的感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
其中,对于至少两个感知维度中的每个感知维度,将当前时刻确定的该感知维度的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的该感知维度的体验得分计算模型计算VR多媒体的该感知维度的体验得分的具体实现方式可以参考步骤703,本发明实施例不再赘述。
在本发明实施例中,在确定该感知维度上的真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的该感知维度上的真实感体验得分也将更准确。并且,该感知维度上的愉悦感体验得分的确定不仅与当前事件周期内的事件性质有关,还与前序事件对应的VR多媒体的MOS有关,以此确定的该感知维度上的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。另外,由于在当前时刻发生有交互媒体事件,因此,终端可以计算该感知维度上的交互感体验得分,从而确定得到当前时刻对应的VR多媒体在该感知维度上的体验得分,也即是,终端对该感知维度上的交互感体验得分也对应的进行了更新,提高了VR多媒体在该感知维度上的体验得分的精度。
前文中结合图8A和图8B分别介绍了在当前时刻为第一感官参数的采样时刻且当前时刻发生有网络媒体事件和/或交互媒体事件两种情况下,对于至少两个感知维度中的每个感知维度,确定VR多媒体在该感知维度上的体验得分的实现过程。除了上述两种情况,终端还可以在发生的事件结束时触发计算并输出在该感知维度上的真实感体验得分、愉悦感体验得分和交互感得分,进而根据该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分联合计算得到一个事件对应的该VR多媒体在该感知维度上的体验得分。具体的,如图8C所示:
步骤801c:以事件为单位确定感知维度上的愉悦感体验得分和交互感体验得分。
如果当前时刻未到达VR多媒体的第一感官参数的采样时刻,根据当前时刻是否发生有网络媒体事件和交互媒体事件以及发生的事件是否结束,终端可以分为三种情况来确定VR多媒体在该感知维度上的愉悦感体验得分和交互感体验得分。
第一种情况:如果当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在当前时刻检测到网络媒体事件结束,则基于当前时刻对应的第二感官参数中按照该感知维度采样得到的参数、当前时刻之前最近一次确定的该感知维度上的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体在该感知维度上的愉悦感体验得分,并将VR多媒体在该感知维度上的交互感体验得分设置为初始值。
其中,由于计算VR多媒体在该感知维度上的愉悦感体验得分还要依赖于当前时刻的在该感知维度上的真实感体验得分,而当前时刻又不是真实感体验得分的计算时刻,也就是说,当前时刻并没有计算得到的该感知维度上的真实感体验得分,在这种情况下,终端可以获取当前时刻最近一次确定的在该感知维度上的真实感体验得分作为计算在该感知维度上的愉悦感体验得分时的输入参数。另外,终端还可以获取上一次网络媒体事件结束时VR多媒体的MOS,结合获取到的在该感知维度上的真实感体验得分以及采样得到的第二感官参数,计算得到VR多媒体的愉悦感体验得分。
由于当前时刻并未发生有交互媒体事件,因此,终端可以将在该感知维度上的交互感体验得分设置为初始值。
第二种情况:如果当前时刻发生有交互媒体事件且未发生网络媒体事件,且在当前时刻检测到交互媒体事件结束,则基于当前时刻对应的第三感官参数中按照该感知维度采样得到的参数,确定VR多媒体在该感知维度上的交互感体验得分,并将VR多媒体在该感知维度上的愉悦感体验得分设置为初始值。
如果当前时刻为交互媒体事件的结束时刻,那么,将触发VR多媒体在该感知维度上的交互感体验得分的计算,进而触发VR多媒体的感知维度的体验得分的计算。
其中,VR多媒体在该感知维度上的交互感体验得分的计算可以参考步骤503a中的交互感体验得分的计算方式,由于未发生网络媒体事件,因此,可以将VR多媒体在该感知维度上的愉悦感体验得分设置为初始值。该初始值可以为0,也可以为其他值。
第三种情况:如果当前时刻发生有网络媒体事件和交互媒体事件,且在当前时刻检测到网络媒体事件和/或交互媒体事件结束,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前时刻之前最近一次确定的感知维度的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体在该感知维度上的愉悦感体验得分,并基于当前时刻对应的第三感官参数中按照该感知维度采样得到的参数,确定VR多媒体在该感知维度上的交互感体验得分。
如果当前时刻同时发生有网络媒体事件和交互媒体事件,那么,发生的事件中只要有一个事件结束,就会触发VR多媒体在该感知维度上的愉悦感体验得分以及交互感体验得分的计算,进而触发VR多媒体的在该感知维度上的体验得分的计算。
其中,VR多媒体在该感知维度上的愉悦感体验得分的具体计算方法可以参考步骤502a的愉悦感体验得分的计算,VR多媒体在该感知维度上的交互感体验得分的确定则可以参考步骤801b中确定在该感知维度上的交互感体验得分的方法。
步骤802c:将当前时刻之前最近一次确定的感知维度的真实感体验得分、当前时刻确定的感知维度的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
由于当前时刻并没有对真实感体验得分进行计算,因此,终端可以将当前时刻之前最近一次确定的在该感知维度上的真实感体验得分、当前时刻确定的在该感知维度上的愉悦感体验得分以及在该感知维度上的交互感体验得分作为计算VR多媒体在该感知维度上的体验得分的输入参数。根据该输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体在该感知维度上的体验得分的方法可以参考步骤703中相应地方法。
在本发明实施例中,由于当前时刻未到达第一感官参数的采样时刻,因此,该感知维度上的真实感体验得分并没有发生改变,因此,终端可以直接获取当前时刻之前最近一次确定的该感知维度上的真实感体验,减少了运算次数。并且,该感知维度上的愉悦感体验得分的确定不仅与当前事件周期内的事件性质有关,还与前序事件对应的VR多媒体的MOS有关,以此确定的该感知维度上的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。另外,由于在当前时刻发生有交互媒体事件,因此,终端可以计算该感知维度上的交互感体验得分,从而确定得到当前时刻对应的VR多媒体在该感知维度上的体验得分,也即是,终端对该感知维度上的交互感体验得分也对应的进行了更新,提高了VR多媒体在该感知维度上的体验得分的精度。
前文中结合图8A-8C介绍了以事件为单位时确定VR多媒体的感知维度的体验得分,进而确定该VR多媒体的MOS的三种方法。同理,当当前时刻对应不同的情况时,以单位时间周期为单位来确定VR多媒体的感知维度的体验得分也将存在三种方式,接下来将结合图9A-9C来说明以单位时间周期为单位,确定VR多媒体的感知维度的体验得分的三种方法。
图9A为本发明实施例提供的一种以单位时间周期为单位确定VR多媒体的感知维度的体验得分的方法,如图9A所示,该方法包括:
步骤901a:如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件或者交互媒体事件,则基于当前时刻对应的第一感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分。
对于至少两个感知维度中的每个感知维度,当以单位时间周期为单位确定VR多媒体在该感知维度上的体验得分时,如果当前时刻到达VR多媒体的第一感官参数的采样时刻,那么,终端可以根据采样得到的第一感官参数中按照该感知维度采样得到的参数,计算对应的该感知维度的真实感体验得分。其中,终端根据第一感官参数中按照该感知维度采样得到的参数计算真实感体验得分的方式可以参考步骤501a中计算相应感知维度的真实感体验得分的方式。
当终端计算得到该感知维度上的真实感体验得分之后,由于当前时刻发生有网络媒体事件或者交互媒体事件,因此,终端可以根据当前时刻发生的事件计算对应的体验得分。其中,如果当前时刻发生的事件为网络媒体事件,则执行步骤902a,如果当前时刻发生的事件为交互媒体事件,则执行步骤903a。
步骤902a:如果当前时刻发生的事件为网络媒体事件,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前确定的该感知维度上的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体在该感知维度上的愉悦感体验得分,并将VR多媒体在该感知维度上的交互感体验得分设置为初始值。
由于在本实施例中是以单位时间周期为单位确定VR多媒体在该感知维度上的体验得分的,因此,终端可以获取上一个单位时间周期结束时的VR多媒体的MOS作为当前时刻计算该感知维度上的愉悦感体验得分的输入参数。同时,终端还需要结合当前时刻对应的第二感官参数中按照该感知维度采样得到的参数以及当前确定的该感知维度上的真实感体验得分来计算VR多媒体在该感知维度上的愉悦感体验得分。其中,终端关于计算该感知维度上的愉悦感体验得分所需的第二感官参数的选择可以参考步骤802a中的说明。
步骤903a:如果当前时刻发生的事件为交互媒体事件,则基于当前时刻对应的第三感官参数中按照该感知维度采样得到的参数,确定VR多媒体在该感知维度上的交互感体验得分,并将VR多媒体在该感知维度上的愉悦感体验得分设置为初始值。
其中,基于当前时刻对应的第三感官参数中按照该感知维度采样得到的参数,确定VR多媒体在该感知维度上的交互感体验得分的方式可以参考步骤503a中计算交互感体验得分的方式。并且,由于当前时刻未发生网络媒体事件,因此,可以将该感知维度上的愉悦感体验得分设置为初始值。该初始值可以为0,也可以为其他值。
步骤904a:将当前时刻确定的VR多媒体在感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
终端将当前时刻确定的VR多媒体在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体在该感知维度上的体验得分计算模型计算VR多媒体在该感知维度上的体验得分的方法可以参考步骤703。
在本发明实施例中,在确定该感知维度上的真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的该感知维度上的真实感体验得分也将更准确。并且,该感知维度上的愉悦感体验得分的确定不仅与当前单位时间周期内是否有时事件发生有关,还与前序单位时间周期对应的VR多媒体的MOS有关,以此确定的该感知维度上的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。
图9A中介绍了对于至少两个感知维度中的每个感知维度,当当前时刻为VR多媒体的第一感官参数的采样时刻,且当前时刻发生有网络媒体事件或交互媒体事件时,以单位时间周期为单位确定VR多媒体在该感知维度上的体验得分的方法。接下来将结合图9B介绍当前时刻为VR多媒体的第一感官参数的采样时刻且当前时刻同时发生有网络媒体事件和交互媒体事件的情况下,以单位时间周期为单位确定VR多媒体在该感知维度上的体验得分的方法。
步骤901b:如果当前时刻到达VR多媒体的第一感官参数的采样时刻且当前时刻发生有网络媒体事件和交互媒体事件,则基于当前时刻对应的第一感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分,基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前确定的感知维度上的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体的交互感体验得分。
如果当前时刻到达VR多媒体的第一感官参数的采样时刻,且当前时刻同时发生有网络媒体事件和交互媒体事件,那么,除了计算在该感知维度上真实感体验得分和愉悦感体验得分之外,终端还需要计算在该感知维度上的交互感体验得分。
其中,终端关于计算在该感知维度上的愉悦感体验得分的方法可以参考步骤902a中的说明。另外,虽然当前时刻发生有交互感媒体事件,但是当前时刻可能并不是交互感媒体事件的采样时刻,当根据第三感官参数确定该感知维度上的交互感体验得分时,当前时刻对应的第三感官参数中按照该感知维度采样得到的交互媒体事件的类型可以采用最近一次采样得到的第三感官参数中按照该感知维度采样得到的交互媒体事件的类型,而第三感官参数中包括的已持续时长则可以根据当前时刻进行相应的更新。
终端计算真实感体验得分和交互感体验得分的具体计算方式可以分别参考步骤501a中介绍的计算真实感体验得分的方式和步骤503a中计算交互感体验得分的方式,本发明实施例不再赘述。
另外,终端计算愉悦感体验得分的具体计算方式只需将前述步骤502a中介绍的计算愉悦感体验得分中输入的上一网络媒体事件结束时的VR多媒体的MOS改为上一单位时间周期结束时的VR多媒体的MOS,以及将前述502a中的真实感体验得分改为在该感知维度上的真实感体验得分即可,其余部分均可以相应的进行参考,本发明实施例不再赘述。
步骤902b:将当前时刻确定的感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
其中,将当前时刻确定在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体在该感知维度上的体验得分计算模型计算VR多媒体在该感知维度上的体验得分的具体实现方式可以参考步骤703,本发明实施例不再赘述。
在本发明实施例中,在确定该感知维度上的真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的该感知维度上的真实感体验得分也将更准确。并且,该感知维度上的愉悦感体验得分的确定不仅与当前单位时间周期内是否有时事件发生有关,还与前序单位时间周期对应的VR多媒体的MOS有关,以此确定的该感知维度上的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。另外,由于在当前时刻发生有交互媒体事件,因此,终端可以计算该感知维度上的交互感体验得分,从而确定得到当前时刻对应的VR多媒体在该感知维度上的体验得分,也即是,终端对该感知维度上的交互感体验得分也对应的进行了更新,提高了VR多媒体在该感知维度上的体验得分的精度。
前文中结合图9A和图9B分别介绍了对于至少两个感知维度中的每个感知维度,在当前时刻为第一感官参数的采样时刻且当前时刻发生有网络媒体事件和/或交互媒体事件两种情况下,确定VR多媒体在该感知维度上的体验得分的实现过程。除了上述两种情况,终端还可以在一个单位时间周期结束时或发生的事件结束时触发计算并输出在该感知维度上的真实感体验得分、愉悦感体验得分和交互感得分,进而根据在该感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分联合计算得到一个事件对应的该VR多媒体在该感知维度上的体验得分。具体的,如图9C所示:
步骤901c:以单位时间周期为单位,确定VR多媒体在该感知维度上的愉悦感体验得分和交互感体验得分。
如果当前时刻未到达VR多媒体的第一感官参数的采样时刻,根据当前时刻是否发生有网络媒体事件和交互媒体事件、当前时刻发生的事件是否结束,以及当前时刻是否为单位时间周期的结束时刻,终端可以分为以下几种情况来确定VR多媒体在该感知维度上的愉悦感体验得分和交互感体验得分。
第一种情况:如果当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在当前时刻检测到网络媒体事件结束或者单位时间周期结束,则基于当前时刻对应的第二感官参数中按照该感知维度采样得到的参数、当前单位时间周期内在当前时刻之前最近一次确定的该感知维度上的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体在该感知维度上的愉悦感体验得分,并将VR多媒体在该感知维度上的交互感体验得分设置为初始值。
(1)如果当前时刻只发生有网络媒体事件,且网络媒体事件未结束,但当前时刻为单位时间周期的结束时刻,那么,终端可以根据当前时刻的第二感官参数中按照该感知维度采样得到的参数计算VR多媒体在该感知维度上的愉悦感体验得分。由于计算VR多媒体在该感知维度上的愉悦感体验得分还要依赖于当前时刻在该感知维度上的真实感体验得分,而当前时刻又不是真实感体验得分的计算时刻,也就是说,当前时刻并没有计算得到该感知维度上的真实感体验得分,在这种情况下,终端可以获取当前单位时间周期内当前时刻最近一次确定的该感知维度上的真实感体验得分作为计算该感知维度上的愉悦感体验得分时的输入参数。另外,终端还可以获取上一个单位时间周期结束时VR多媒体的MOS,结合获取到的在该感知维度上的真实感体验得分以及采样得到的第二感官参数中按照该感知维度采样得到的参数,计算得到VR多媒体在该感知维度上的的愉悦感体验得分。
由于当前时刻并未发生有交互媒体事件,因此,终端可以将该感知维度上的交互感体验得分设置为初始值。
(2)如果当前时刻只发生有网络媒体事件,且当前时刻是网络媒体事件的结束时刻,但当前时刻不是单位时间周期的结束时刻,那么,终端也可以按照(1)中确定愉悦感体验得分和交互感体验得分的方式确定愉悦感体验得分和交互感体验得分。
第二种情况:如果当前时刻发生有交互媒体事件且未发生有网络媒体事件,在当前时刻检测到交互媒体事件结束或者单位时间周期结束,基于当前时刻对应的第三感官参数中按照该感知维度采样得到的参数,确定VR多媒体在该感知维度上的交互感体验得分,并将VR多媒体在该感知维度上的愉悦感体验得分设置为初始值。
第三种情况:如果当前时刻发生有交互媒体事件和网络媒体事件,且当前时刻检测到单位时间周期结束,或者,如果当前时刻发生有网络媒体事件和交互媒体事件、在当前时刻检测到网络媒体事件和/或交互媒体事件结束且未检测到单位时间周期结束,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前单位时间周期内当前时刻之前最近一次确定的感知维度的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体在该感知维度上的愉悦感体验得分,并基于当前时刻对应的第三感官参数中按照该感知维度采样得到的参数,确定VR多媒体在该感知维度上的交互感体验得分。
如果当前时刻同时发生有交互媒体事件和网络媒体事件,且当前时刻为单位时间周期的结束时刻,但未检测到网络媒体事件和/或交互媒体事件结束,那么,将触发VR多媒体在该感知维度上的愉悦感体验得分和交互感体验得分的计算,进而触发VR多媒体在该感知维度上的体验得分的计算。
如果当前时刻同时发生有网络媒体事件和交互媒体事件,且在当前时刻检测到网络媒体事件和交互媒体事件中的至少一个结束,但未检测到单位时间周期结束,此时,也将触发VR多媒体在该感知维度上的愉悦感体验得分和交互感体验得分的计算,进而触发VR多媒体在该感知维度上的体验得分的计算。
其中,VR多媒体在该感知维度上的愉悦感体验得分的确定可以参考第一种情况中感知维度上的愉悦感体验得分的确定,VR多媒体在该感知维度上的交互感体验得分的确定则可以参考步骤901b中确定该感知维度上的交互感体验得分的方法。
步骤902c:将当前单位时间周期内当前时刻之前最近一次确定的感知维度的真实感体验得分、当前时刻确定的感知维度的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
由于当前时刻并没有对真实感体验得分进行计算,因此,终端可以将当前单位时间周期内当前时刻之前最近一次确定该感知维度上的真实感体验得分、当前时刻确定该感知维度上的愉悦感体验得分和交互感体验得分作为计算VR多媒体在该感知维度上的体验得分的输入参数。根据该输入参数,通过预设的VR多媒体在该感知维度上的体验得分计算模型计算VR多媒体在该感知维度上的体验得分的方法可以参考步骤703中相应地方法。
在本发明实施例中,由于当前时刻未到达第一感官参数的采样时刻,因此,该感知维度上的真实感体验得分并没有发生改变,因此,终端可以直接当前时刻最近一次确定的该感知维度上的获取真实感体验,减少了运算次数。并且,该感知维度上的愉悦感体验得分的确定不仅与当前单位时间周期内是否有事件发生有关,还与前序单位时间周期对应的VR多媒体的MOS有关,以此确定的该感知维度上的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程中发生的事件的影响,更加全面,更加准确。另外,由于在当前时刻发生有交互媒体事件,因此,终端可以计算该感知维度上的交互感体验得分,从而确定得到当前时刻对应的VR多媒体在该感知维度上的体验得分,也即是,终端对该感知维度上的交互感体验得分也对应的进行了更新,提高了VR多媒体在该感知维度上的体验得分的精度。
当终端根据上述实施例中的方法确定得到VR多媒体的MOS之后,由于确定VR多媒体的体验质量通常要测试一定播放时长内的VR多媒体的体验质量,也即是,在整个VR多媒体的测试过程中,VR多媒体可以包括多个事件或者多个单位时间周期,也即是,在确定VR多媒体的体验质量的过程中,终端可以按照前述实施例中的方法确定得到多个VR多媒体的MOS,当终端通过前述实施例中的方法确定得到多个VR多媒体的MOS之后,终端还可以通过以下步骤中的方法,确定预设测试时长内的VR多媒体的MOS统计值。
具体地,终端可以计算预设测试时长内计算得到的所有的VR多媒体的MOS的平均值,该预设测试时长是指确定VR多媒体的体验质量的时长。之后,终端可以将计算得到的平均值确定为在预设测试时长内的VR多媒体的MOS统计值。进一步地,为了评估在预设测试时长内VR多媒体的体验质量的稳定程度,终端还可以根据确定的多个VR多媒体的MOS和预设测试时长内的VR多媒体的MOS统计值确定VR多媒体的MOS的均方差,当该均方差越小,则说明在该预设测试时长内该VR多媒体的体验质量越稳定,否则,则说明在该预设测试时长内该VR多媒体的体验质量越不稳定。
综上所述,在本发明实施例中,终端在确定VR多媒体的体验质量的过程中,增加了交互感体验的质量评估,而与用户之间的交互正是VR多媒体区别于传统媒体的主要特性,因此,通过本发明实施例确定VR多媒体的体验质量更贴合VR多媒体的实际情况,确定的VR多媒体的体验质量也将更准确。另外,在本发明实施例中,在确定真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的真实感体验得分也将更准确。还需要说明的是,在本发明实施例中,愉悦感体验得分的确定不仅与当前事件或者是单位事件周期内的参数有关,还与前序的VR多媒体的MOS有关,以此确定的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程的影响,更加全面,更加准确。
参见图10A,本发明实施例提供了一种VR多媒体的体验质量确定装置,该VR多媒体的体验质量确定用于执行上述图4-图9C中任一的方法,该VR多媒体的体验质量确定装置包括获取模块1001和确定模块1002:
获取模块1001,用于执行上述实施例中步骤401或步骤701;
确定模块1002,用于执行上述实施例中步骤402和步骤403,或者用于执行上述实施例中步骤702、步骤703和步骤704。
可选地,参见图10B,该确定模块1002包括:
第一确定单元10021,用于基于VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分;
第一计算单元10022,用于将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算VR多媒体的MOS。
可选地,第一确定单元10021包括:
确定子单元,用于如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件或者交互媒体事件,则基于当前时刻对应的第一感官参数确定VR多媒体的真实感体验得分,网络媒体事件是指因网络条件的变化而发生的事件,交互媒体事件是指因与用户之间的交互而发生的事件;
确定子单元还用于如果当前时刻发生的事件为网络媒体事件,则基于当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并将VR多媒体的交互感体验得分设置为初始值;
确定子单元还用于如果当前时刻发生的事件为交互媒体事件,则基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分,并将VR多媒体的愉悦感体验得分设置为初始值。
可选地,第一确定单元10021包括:
确定子单元,用于如果当前时刻到达VR多媒体的第一感官参数的采样时刻且当前时刻发生有网络媒体事件和交互媒体事件,则基于当前时刻对应的第一感官参数确定VR多媒体的真实感体验得分,基于当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分。
可选地,第一确定单元10021包括:
确定子单元,用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在当前时刻检测到网络媒体事件结束,则基于当前时刻对应的第二感官参数、当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并将VR多媒体的交互感体验得分设置为初始值;
确定子单元还用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有交互媒体事件且未发生有网络媒体事件,且在当前时刻检测到交互媒体事件结束,则基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分,并将VR多媒体的愉悦感体验得分设置为初始值;
确定子单元还用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件和交互媒体事件,且在当前时刻检测到网络媒体事件和/或交互媒体事件结束,则基于当前时刻对应的第二感官参数、当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分;
相应地,第一计算单元10022具体用于:
将当前时刻之前最近一次确定的真实感体验得分、当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
可选地,第二感官参数包括网络媒体事件的类型和第一已持续时长,第一已持续时长是指网络媒体事件的已持续发生的时长;
确定子单元具体用于:
当当前时刻对应的第二感官参数包括的网络媒体事件的类型为播放事件时,将当前时刻对应的第二感官参数包括的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算VR多媒体的愉悦感体验得分;
当当前时刻对应的第二感官参数包括的网络媒体事件的类型为卡顿事件时,将当前时刻对应的第二感官参数包括的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算VR多媒体的愉悦感体验得分;
当当前时刻对应的第二感官参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的真实感体验得分与当前时刻之前最近一次确定的真实感体验得分之间的差值,确定为VR多媒体的愉悦感体验得分。
可选地,第三感官参数包括交互媒体事件的类型和第二已持续时长,第二已持续时长是指交互媒体事件的已持续发生的时长;
确定子单元具体用于:
从存储的多个交互感体验得分计算模型中,选择与当前时刻对应的第三感官参数包括的交互媒体事件的类型对应的交互感体验得分计算模型;
将当前时刻对应的第三感官参数包括的交互媒体事件的类型和第二已持续时长作为输入参数,通过选择的交互感体验得分计算模型,计算VR多媒体的交互感体验得分。
可选地,第一确定单元10021包括:
确定子单元,用于如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件或者交互媒体事件,则基于当前时刻对应的第一感官参数确定VR多媒体的真实感体验得分;
确定子单元还用于如果当前时刻发生的事件为网络媒体事件,则基于当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并将VR多媒体的交互感体验得分设置为初始值;
确定子单元还用于如果当前时刻发生的事件为交互媒体事件,则基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分,并将VR多媒体的愉悦感体验得分设置为初始值。
可选地,第一确定单元10021包括:
确定子单元,用于如果当前时刻到达VR多媒体的第一感官参数的采样时刻且当前时刻发生有网络媒体事件和交互媒体事件,则基于当前时刻对应的第一感官参数确定VR多媒体的真实感体验得分,基于当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分。
可选地,第一确定单元10021包括:
确定子单元,用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件且未发生有交互媒体事件、在当前时刻检测到网络媒体事件结束或者单位时间周期结束,则基于当前时刻对应的第二感官参数、当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并将VR多媒体的交互感体验得分设置为初始值;
确定子单元还用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有交互媒体事件且未发生有网络媒体事件、在当前时刻检测到交互媒体事件结束或者单位时间周期结束,则基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分,并将VR多媒体的愉悦感体验得分设置为初始值;
确定子单元还用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件和交互媒体事件、且在当前时刻检测到单位时间周期结束,或者,如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件和交互媒体事件、在当前时刻检测到网络媒体事件和/或交互媒体事件结束且未检测到单位时间周期结束,则基于当前时刻对应的第二感官参数、当前单位时间周期内当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体的愉悦感体验得分,并基于当前时刻对应的第三感官参数,确定VR多媒体的交互感体验得分;
相应地,第一计算单元10022具体用于:
将当前单位时间周期内当前时刻之前最近一次确定的真实感体验得分、当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算VR多媒体的MOS。
可选地,第一感官参数包括视觉维度的视频属性信息和视频参数,以及听觉维度的音频属性信息和音频参数;
确定子单元具体用于:
从存储的多个视觉真实感体验得分计算模型中,选择与当前时刻对应的第一感官参数包括的视频属性信息对应的视觉真实感体验得分计算模型;
将当前时刻对应的第一感官参数包括的视频参数作为输入参数,通过选择的视觉真实感体验得分计算模型,计算当前时刻的视觉真实感体验得分;
从存储的多个听觉真实感体验得分计算模型中,选择与当前时刻对应的第一感官参数包括的音频属性信息对应的听觉真实感体验得分计算模型;
将当前时刻的第一感官参数包括的音频参数作为输入参数,通过选择的听觉真实感体验得分计算模型,计算当前时刻的听觉真实感体验得分;
基于当前时刻的视觉真实感体验得分和听觉真实感体验得分确定VR多媒体的真实感体验得分。
可选地,第二感官参数包括网络媒体事件的类型和第三已持续时长,第三已持续时长是指单位时间周期内网络媒体事件的已持续发生时长;
确定子单元具体用于:
当当前时刻对应的第二感官参数包括的网络媒体事件的类型为播放事件时,将当前时刻对应的第二感官参数包括的第三已持续时长、当前确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算VR多媒体的愉悦感体验得分;
当当前时刻对应的第二感官参数包括的网络媒体事件的类型为卡顿事件时,将当前时刻对应的第二感官参数包括的第三已持续时长、当前确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算VR多媒体的愉悦感体验得分;
当当前时刻对应的第二感官参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的真实感体验得分与当前单位时间周期内当前时刻之前最近一次确定的真实感体验得分之间的差值,确定为VR多媒体的愉悦感体验得分。
可选地,第三感官参数包括交互媒体事件的类型和第四已持续时长,第四已持续时长是指单位时间周期内交互媒体事件的已持续发生时长;
确定子单元具体用于:
从存储的多个交互感体验得分计算模型中,选择与当前时刻对应的第三感官参数包括的交互媒体事件的类型对应的交互感体验得分计算模型;
将当前时刻对应的第三感官参数包括的交互媒体事件的类型和第四已持续时长作为输入参数,通过选择的交互感体验得分计算模型,计算VR多媒体的交互感体验得分。
可选地,参见图10C,确定模块1002包括:
第二确定单元10023,用于对于至少两个感知维度中的每个感知维度,基于VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分;
第二计算单元10024,用于将VR多媒体在感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分;
第三计算单元10025,用于将VR多媒体的至少两个感知维度的体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算VR多媒体的体验得分。
可选地,第二确定单元10023包括:
确定子单元,用于如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件或者交互媒体事件,则基于当前时刻对应的第一感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分;
确定子单元还用于如果当前时刻发生的事件为网络媒体事件,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前确定的感知维度上的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并将VR多媒体在感知维度上的交互感体验得分设置为初始值;
确定子单元还用于如果当前时刻发生的事件为交互媒体事件,则基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的交互感体验得分,并将VR多媒体在感知维度上的愉悦感体验得分设置为初始值。
可选地,第二确定单元10023包括:
确定子单元,用于如果当前时刻到达VR多媒体的第一感官参数的采样时刻且当前时刻发生有网络媒体事件和交互媒体事件,则基于当前时刻对应的第一感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分,基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前确定的感知维度上的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体的交互感体验得分。
可选地,第二确定单元10023包括:
确定子单元,用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在当前时刻检测到网络媒体事件结束,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前时刻之前最近一次确定的感知维度上的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并将VR多媒体在感知维度上的交互感体验得分设置为初始值;
确定子单元还用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有交互媒体事件且未发生有网络媒体事件,且在当前时刻检测到交互媒体事件结束,则基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的交互感体验得分,并将VR多媒体在感知维度上的愉悦感体验得分设置为初始值;
确定子单元还用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件和交互媒体事件,且在当前时刻检测到网络媒体事件和/或交互媒体事件结束,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前时刻之前最近一次确定的感知维度的真实感体验得分和上一网络媒体事件结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的交互感体验得分;
相应地,第二计算单元10024具体用于:
将当前时刻之前最近一次确定的感知维度的真实感体验得分、当前时刻确定的感知维度的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
可选地,第二确定单元10023包括:
确定子单元,用于如果当前时刻到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件或者交互媒体事件,则基于当前时刻对应的第一感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分;
确定子单元还用于如果当前时刻发生的事件为网络媒体事件,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前确定的感知维度上的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并将VR多媒体在感知维度上的交互感体验得分设置为初始值;
确定子单元还用于如果当前时刻发生的事件为交互媒体事件,则基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的交互感体验得分,并将VR多媒体在感知维度上的愉悦感体验得分设置为初始值。
可选地,第二确定单元10023包括:
确定子单元,用于如果当前时刻到达VR多媒体的第一感官参数的采样时刻且当前时刻发生有网络媒体事件和交互媒体事件,则基于当前时刻对应的第一感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的真实感体验得分,基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前确定的感知维度上的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体的交互感体验得分。
可选地,第二确定单元10023包括:
确定子单元,用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件且未发生有交互媒体事件、在当前时刻检测到网络媒体事件结束或者单位时间周期结束,则基于当前时刻对应的第二感官参数按照感知维度采样得到的参数、当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,并将VR多媒体在感知维度上的交互感体验得分设置为初始值;
确定子单元还用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有交互媒体事件且未发生有网络媒体事件、在当前时刻检测到交互媒体事件结束或者单位时间周期结束,则基于当前时刻对应的第三感官参数按照感知维度采样得到的参数,确定VR多媒体在感知维度上的交互感体验得分,并将VR多媒体在感知维度上的愉悦感体验得分设置为初始值;
确定子单元还用于如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件和交互媒体事件、且在当前时刻检测到单位时间周期结束,或者,如果当前时刻未到达VR多媒体的第一感官参数的采样时刻、当前时刻发生有网络媒体事件和交互媒体事件、在当前时刻检测到网络媒体事件和/或交互媒体事件结束且未检测到单位时间周期结束,则基于当前时刻对应的第二感官参数中按照感知维度采样得到的参数、当前单位时间周期内当前时刻之前最近一次确定的感知维度的真实感体验得分和上一单位时间周期结束时VR多媒体的MOS,确定VR多媒体在感知维度上的愉悦感体验得分,和/或基于当前时刻对应的第三感官参数中按照感知维度采样得到的参数,确定VR多媒体在感知维度上的交互感体验得分;
相应地,第二计算单元10024具体用于:
将当前单位时间周期内当前时刻之前最近一次确定的感知维度的真实感体验得分、当前时刻确定的感知维度的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的感知维度的体验得分计算模型计算VR多媒体的感知维度的体验得分。
可选地,第一感官参数中视觉维度的视频属性信息包括投影格式、立体度和自由度中的至少一个,第一感官参数中视觉维度的视频参数包括全视角分辨率和视场角中的至少一个,第一感官参数中听觉维度的音频属性信息包括音频立体度。
可选地,第二感官参数包括网络媒体事件的类型和对应的已持续时长,对应的已持续时长是指网络媒体事件已持续发生的时长。
可选地,第二感官参数中的网络媒体事件的类型包括播放事件、卡顿事件或者媒体质量变化事件。
可选地,第三感官参数包括交互媒体事件的类型和对应的已持续时长,对应的已持续时长是指交互媒体事件已持续发生的时长。
可选地,第三感官参数中的交互媒体事件的类型包括初始加载事件、交互加载事件或者媒体迟滞事件,初始加载事件是指VR多媒体初始播放时的加载事件,交互加载事件是指因VR多媒体与用户之间的交互而发生的加载事件,媒体迟滞事件是指因用户动作而发生的媒体更新与动作之间的迟滞事件。
可选地,至少两个感知维度还包括反馈维度,反馈维度是指视觉维度与至少两个感知维度中除视觉维度之外的其他维度之间的同步和关联关系;
其中,第一感官参数中按照反馈维度采样得到的参数包括时间同步度、方位同步度和力反馈指示值中的至少一个,时间同步度是指视觉维度和听觉维度之间的时间同步度,方位同步度是指视觉维度和听觉维度之间的方位同步度,力反馈指示值用于指示是否存在与视觉维度匹配的力反馈;
第二感官参数中按照反馈维度采样得到的参数包括第一同步度变化指示值、第二同步度变化指示值和第三同步度变化指示值中的至少一个,第一同步度变化指示值用于指示时间同步度是否发生变化,第二同步度变化指示值用于指示方位同步度是否发生变化,第三同步度变化指示值用于指示视觉维度和力反馈之间的时间同步度是否发生变化;
第三感官参数按照反馈维度采样得到的参数包括迟滞指示值,迟滞指示值用于指示力反馈和动作之间的迟滞事件是否发生。
可选地,该装置还包括:
第三确定单元,用于确定预设测试时长内计算得到的所有的VR多媒体的MOS的平均值,预设测试时长是指确定VR多媒体的体验质量的时长。
可选地,该装置还包括:
第四确定单元,用于确定预设测试时长内计算得到的所有的VR多媒体的MOS的均方差,均方差用于指示所有的VR多媒体的MOS的稳定程度。
综上所述,在本发明实施例中,终端在确定VR多媒体的体验质量的过程中,增加了交互感体验的质量评估,而与用户之间的交互正是VR多媒体区别于传统媒体的主要特性,因此,通过本发明实施例确定VR多媒体的体验质量更贴合VR多媒体的实际情况,确定的VR多媒体的体验质量也将更准确。另外,在本发明实施例中,在确定真实感体验得分时,考虑了视场角、投影格式、立体度、自由度和空间化声音等VR多媒体特有的参数对真实感体验的影响,因此,基于此确定的真实感体验得分也将更准确。还需要说明的是,在本发明实施例中,愉悦感体验得分的确定不仅与当前事件或者是单位事件周期内的参数有关,还与前序的VR多媒体的MOS有关,以此确定的愉悦感体验得分相当于考虑了该VR多媒体前序的播放过程的影响,更加全面,更加准确。
需要说明的是:上述实施例提供的VR多媒体的体验质量确定装置在确定VR多媒体的体验质量时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的VR多媒体的体验质量确定装置与VR多媒体的体验质量确定方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(例如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(Digital Versatile Disc,DVD))、或者半导体介质(例如:固态硬盘(Solid State Disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (55)
1.一种虚拟现实VR多媒体的体验质量确定方法,其特征在于,所述方法包括:
在VR多媒体的播放过程中,获取所述VR多媒体的第一感官参数、第二感官参数和第三感官参数;
其中,所述第一感官参数和所述第二感官参数包括按照相同的至少一个感知维度采样得到的参数,所述第三感官参数包括按照至少两个感知维度采样得到的参数,所述第一感官参数、所述第二感官参数和所述第三感官参数对应的感知维度均包括视觉维度,所述至少两个感知维度还包括听觉维度,且所述第一感官参数、所述第二感官参数和所述第三感官参数分别为影响真实感体验、愉悦感体验和交互感体验的参数;
基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的平均意见得分MOS。
2.如权利要求1所述的方法,其特征在于,所述第一感官参数包括按照所述至少两个感知维度分别采样得到的参数。
3.如权利要求1所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的平均意见得分MOS,包括:
基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分;
根据确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,计算所述VR多媒体的MOS。
4.如权利要求3所述的方法,其特征在于,所述根据确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,计算所述VR多媒体的MOS,包括:
将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算所述VR多媒体的MOS。
5.如权利要求3所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,所述网络媒体事件是指因网络条件的变化而发生的事件,所述交互媒体事件是指因与用户之间的交互而发生的事件;
如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值。
6.如权利要求3所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分。
7.如权利要求3所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在所述当前时刻检测到所述网络媒体事件结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件,且在所述当前时刻检测到所述交互媒体事件结束,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件,且在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分;
相应地,所述将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS,包括:
将所述当前时刻之前最近一次确定的真实感体验得分、所述当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS。
8.如权利要求5所述的方法,其特征在于,所述第二感官参数包括网络媒体事件的类型和第一已持续时长,所述第一已持续时长是指所述网络媒体事件的已持续发生的时长;
所述基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,包括:
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为播放事件时,将所述当前时刻对应的第二感官参数包括的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分;
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为卡顿事件时,将所述当前时刻对应的第二感官参数包括的第一已持续时长、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分;
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的真实感体验得分与所述当前时刻之前最近一次确定的真实感体验得分之间的差值,确定为所述VR多媒体的愉悦感体验得分。
9.如权利要求6所述的方法,其特征在于,所述第三感官参数包括交互媒体事件的类型和第二已持续时长,所述第二已持续时长是指所述交互媒体事件的已持续发生的时长;
所述基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,包括:
从存储的多个交互感体验得分计算模型中,选择与所述当前时刻对应的第三感官参数包括的交互媒体事件的类型对应的交互感体验得分计算模型;
将所述当前时刻对应的第三感官参数包括的交互媒体事件的类型和第二已持续时长作为输入参数,通过选择的交互感体验得分计算模型,计算所述VR多媒体的交互感体验得分。
10.如权利要求3所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分;
如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值。
11.如权利要求3所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分。
12.如权利要求3所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件、在所述当前时刻检测到所述网络媒体事件结束或者单位时间周期结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件、在所述当前时刻检测到所述交互媒体事件结束或者所述单位时间周期结束,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、且在所述当前时刻检测到所述单位时间周期结束,或者,如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束且未检测到所述单位时间周期结束,则基于所述当前时刻对应的第二感官参数、当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分;
相应地,所述将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS,包括:
将所述当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分、所述当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS。
13.如权利要求5所述的方法,其特征在于,所述第一感官参数包括视觉维度的视频属性信息和视频参数,以及听觉维度的音频属性信息和音频参数;
所述基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,包括:
从存储的多个视觉真实感体验得分计算模型中,选择与所述当前时刻对应的第一感官参数包括的视频属性信息对应的视觉真实感体验得分计算模型;
将所述当前时刻对应的第一感官参数包括的视频参数作为输入参数,通过选择的视觉真实感体验得分计算模型,计算所述当前时刻的视觉真实感体验得分;
从存储的多个听觉真实感体验得分计算模型中,选择与所述当前时刻对应的第一感官参数包括的音频属性信息对应的听觉真实感体验得分计算模型;
将所述当前时刻的第一感官参数包括的音频参数作为输入参数,通过选择的听觉真实感体验得分计算模型,计算所述当前时刻的听觉真实感体验得分;
基于所述当前时刻的视觉真实感体验得分和听觉真实感体验得分确定所述VR多媒体的真实感体验得分。
14.如权利要求10所述的方法,其特征在于,所述第二感官参数包括网络媒体事件的类型和第三已持续时长,所述第三已持续时长是指单位时间周期内所述网络媒体事件的已持续发生时长;
所述基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,包括:
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为播放事件时,将所述当前时刻对应的第二感官参数包括的第三已持续时长、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS作为输入参数,通过播放事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分;
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为卡顿事件时,将所述当前时刻对应的第二感官参数包括的第三已持续时长、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS作为输入参数,通过卡顿事件对应的愉悦感体验得分计算模型,计算所述VR多媒体的愉悦感体验得分;
当所述当前时刻对应的第二感官参数包括的网络媒体事件的类型为媒体质量变化事件时,将当前确定的真实感体验得分与当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分之间的差值,确定为所述VR多媒体的愉悦感体验得分。
15.如权利要求11所述的方法,其特征在于,所述第三感官参数包括交互媒体事件的类型和第四已持续时长,所述第四已持续时长是指单位时间周期内所述交互媒体事件的已持续发生时长;
所述基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,包括:
从存储的多个交互感体验得分计算模型中,选择与所述当前时刻对应的第三感官参数包括的交互媒体事件的类型对应的交互感体验得分计算模型;
将所述当前时刻对应的第三感官参数包括的交互媒体事件的类型和第四已持续时长作为输入参数,通过选择的交互感体验得分计算模型,计算所述VR多媒体的交互感体验得分。
16.如权利要求1所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的平均意见得分MOS,包括:
对于所述至少两个感知维度中的每个感知维度,基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分;
将所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分;
将所述VR多媒体的所述至少两个感知维度的体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算所述VR多媒体的体验得分。
17.如权利要求16所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分;
如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并将所述VR多媒体在所述感知维度上的交互感体验得分设置为初始值;
如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,并将所述VR多媒体在所述感知维度上的愉悦感体验得分设置为初始值。
18.如权利要求16所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分,基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体的交互感体验得分。
19.如权利要求16所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在所述当前时刻检测到所述网络媒体事件结束,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、所述当前时刻之前最近一次确定的所述感知维度上的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并将所述VR多媒体在所述感知维度上的交互感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件,且在所述当前时刻检测到所述交互媒体事件结束,则基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,并将所述VR多媒体在所述感知维度上的愉悦感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件,且在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、所述当前时刻之前最近一次确定的所述感知维度的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分;
相应地,所述将所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分,包括:
将所述当前时刻之前最近一次确定的所述感知维度的真实感体验得分、所述当前时刻确定的所述感知维度的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分。
20.如权利要求16所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分;
如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并将所述VR多媒体在所述感知维度上的交互感体验得分设置为初始值;
如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,并将所述VR多媒体在所述感知维度上的愉悦感体验得分设置为初始值。
21.如权利要求16所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分,基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前确定的所述感知维度上的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体的交互感体验得分。
22.如权利要求16所述的方法,其特征在于,所述基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分,包括:
如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件、在所述当前时刻检测到所述网络媒体事件结束或者单位时间周期结束,则基于所述当前时刻对应的第二感官参数按照所述感知维度采样得到的参数、所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并将所述VR多媒体在所述感知维度上的交互感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件、在所述当前时刻检测到所述交互媒体事件结束或者所述单位时间周期结束,则基于所述当前时刻对应的第三感官参数按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分,并将所述VR多媒体在所述感知维度上的愉悦感体验得分设置为初始值;
如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、且在所述当前时刻检测到所述单位时间周期结束,或者,如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束且未检测到所述单位时间周期结束,则基于所述当前时刻对应的第二感官参数中按照所述感知维度采样得到的参数、当前单位时间周期内所述当前时刻之前最近一次确定的所述感知维度的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体在所述感知维度上的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的交互感体验得分;
相应地,所述将所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分,包括:
将所述当前单位时间周期内所述当前时刻之前最近一次确定的所述感知维度的真实感体验得分、所述当前时刻确定的所述感知维度的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分。
23.如权利要求1-22任一所述的方法,其特征在于,所述第一感官参数中视觉维度的视频属性信息包括投影格式、立体度和自由度中的至少一个,所述第一感官参数中视觉维度的视频参数包括全视角分辨率和视场角中的至少一个,所述第一感官参数中听觉维度的音频属性信息包括音频立体度。
24.如权利要求1-22任一所述的方法,其特征在于,所述第二感官参数包括网络媒体事件的类型和对应的已持续时长,所述对应的已持续时长是指所述网络媒体事件已持续发生的时长。
25.如权利要求24所述的方法,其特征在于,所述第二感官参数中的网络媒体事件的类型包括播放事件、卡顿事件或者媒体质量变化事件。
26.如权利要求1-22任一所述的方法,其特征在于,所述第三感官参数包括交互媒体事件的类型和对应的已持续时长,所述对应的已持续时长是指所述交互媒体事件已持续发生的时长。
27.如权利要求26所述的方法,其特征在于,所述第三感官参数中的交互媒体事件的类型包括初始加载事件、交互加载事件或者媒体迟滞事件,所述初始加载事件是指所述VR多媒体初始播放时的加载事件,所述交互加载事件是指因所述VR多媒体与用户之间的交互而发生的加载事件,所述媒体迟滞事件是指因用户动作而发生的媒体更新与动作之间的迟滞事件。
28.如权利要求1-22任一所述的方法,其特征在于,所述第一感官参数包括时间同步度、方位同步度和力反馈指示值中的至少一个,所述时间同步度是指所述视觉维度和所述听觉维度之间的时间同步度,所述方位同步度是指所述视觉维度和所述听觉维度之间的方位同步度,所述力反馈指示值用于指示是否存在与所述视觉维度匹配的力反馈。
29.如权利要求28所述的方法,其特征在于,所述第一感官参数对应的感知维度还包括反馈维度,所述时间同步度、所述方位同步度和所述力反馈指示值为按照所述反馈维度采样得到的参数,所述反馈维度是指所述视觉维度与所述至少两个感知维度中除所述视觉维度之外的其他维度之间的同步和关联关系。
30.如权利要求28所述的方法,其特征在于,所述第二感官参数包括第一同步度变化指示值、第二同步度变化指示值和第三同步度变化指示值中的至少一个,所述第一同步度变化指示值用于指示所述时间同步度是否发生变化,所述第二同步度变化指示值用于指示所述方位同步度是否发生变化,所述第三同步度变化指示值用于指示所述视觉维度和力反馈之间的时间同步度是否发生变化。
31.如权利要求30所述的方法,其特征在于,所述第二感官参数对应的感知维度还包括反馈维度,所述第一同步度变化指示值、所述第二同步度变化指示值和所述第三同步度变化指示值为按照所述反馈维度采样得到的参数,所述反馈维度是指所述视觉维度与所述至少两个感知维度中除所述视觉维度之外的其他维度之间的同步和关联关系。
32.如权利要求1-22任一所述的方法,其特征在于,所述第三感官参数包括迟滞指示值,所述迟滞指示值用于指示力反馈和动作之间的迟滞事件是否发生。
33.如权利要求1-22任一所述的方法,其特征在于,所述确定所述VR多媒体的平均意见得分MOS之后,还包括:
确定预设测试时长内计算得到的所有的所述VR多媒体的MOS的平均值,所述预设测试时长是指确定所述VR多媒体的体验质量的时长。
34.如权利要求1-22任一所述的方法,其特征在于,所述确定所述VR多媒体的平均意见得分MOS之后,还包括:
确定预设测试时长内计算得到的所有的所述VR多媒体的MOS的均方差,所述均方差用于指示所述VR多媒体的MOS的稳定程度。
35.一种虚拟现实VR多媒体的体验质量确定装置,其特征在于,所述装置包括:
获取模块,用于在VR多媒体的播放过程中,获取所述VR多媒体的第一感官参数、第二感官参数和第三感官参数;
其中,所述第一感官参数和所述第二感官参数包括按照相同的至少一个感知维度采样得到的参数,所述第三感官参数包括按照至少两个感知维度采样得到的参数,所述第一感官参数、所述第二感官参数和所述第三感官参数对应的感知维度均包括视觉维度,所述至少两个感知维度还包括听觉维度,且所述第一感官参数、所述第二感官参数和所述第三感官参数分别为影响真实感体验、愉悦感体验和交互感体验的参数;
确定模块,用于基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的平均意见得分MOS。
36.如权利要求35所述的装置,其特征在于,所述第一感官参数包括按照所述至少两个感知维度分别采样得到的参数。
37.如权利要求35所述的装置,其特征在于,所述确定模块包括:
第一确定单元,用于基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数,确定所述VR多媒体的真实感体验得分、愉悦感体验得分和交互感体验得分;
第一计算单元,用于根据确定的真实感体验得分、愉悦感体验得分和交互感体验得分计算所述VR多媒体的MOS。
38.如权利要求37所述的装置,其特征在于,所述第一计算单元具体用于,将确定的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算所述VR多媒体的MOS。
39.如权利要求37所述的装置,其特征在于,所述第一确定单元包括:
确定子单元,用于如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,所述网络媒体事件是指因网络条件的变化而发生的事件,所述交互媒体事件是指因与用户之间的交互而发生的事件;
所述确定子单元还用于如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
所述确定子单元还用于如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值。
40.如权利要求37所述的装置,其特征在于,所述第一确定单元包括:
确定子单元,用于如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分。
41.如权利要求37所述的装置,其特征在于,所述第一确定单元包括:
确定子单元,用于如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件,且在所述当前时刻检测到所述网络媒体事件结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
所述确定子单元还用于如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件,且在所述当前时刻检测到所述交互媒体事件结束,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值;
所述确定子单元还用于如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件,且在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一网络媒体事件结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分;
相应地,所述第一计算单元具体用于:
将所述当前时刻之前最近一次确定的真实感体验得分、所述当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS。
42.如权利要求37所述的装置,其特征在于,所述第一确定单元包括:
确定子单元,用于如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件或者交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分;
所述确定子单元还用于如果所述当前时刻发生的事件为所述网络媒体事件,则基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
所述确定子单元还用于如果所述当前时刻发生的事件为所述交互媒体事件,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值。
43.如权利要求37所述的装置,其特征在于,所述第一确定单元包括:
确定子单元,用于如果当前时刻到达所述VR多媒体的第一感官参数的采样时刻且所述当前时刻发生有网络媒体事件和交互媒体事件,则基于所述当前时刻对应的第一感官参数确定所述VR多媒体的真实感体验得分,基于所述当前时刻对应的第二感官参数、当前确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分。
44.如权利要求37所述的装置,其特征在于,所述第一确定单元包括:
确定子单元,用于如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件且未发生有交互媒体事件、在所述当前时刻检测到所述网络媒体事件结束或者单位时间周期结束,则基于所述当前时刻对应的第二感官参数、所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并将所述VR多媒体的交互感体验得分设置为初始值;
所述确定子单元还用于如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有交互媒体事件且未发生有网络媒体事件、在所述当前时刻检测到所述交互媒体事件结束或者所述单位时间周期结束,则基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分,并将所述VR多媒体的愉悦感体验得分设置为初始值;
所述确定子单元还用于如果当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、且在所述当前时刻检测到所述单位时间周期结束,或者,如果所述当前时刻未到达所述VR多媒体的第一感官参数的采样时刻、所述当前时刻发生有网络媒体事件和交互媒体事件、在所述当前时刻检测到所述网络媒体事件和/或所述交互媒体事件结束且未检测到所述单位时间周期结束,则基于所述当前时刻对应的第二感官参数、当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分和上一单位时间周期结束时所述VR多媒体的MOS,确定所述VR多媒体的愉悦感体验得分,并基于所述当前时刻对应的第三感官参数,确定所述VR多媒体的交互感体验得分;
相应地,所述第一计算单元具体用于:
将所述当前单位时间周期内所述当前时刻之前最近一次确定的真实感体验得分、所述当前时刻确定的愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的MOS计算模型计算所述VR多媒体的MOS。
45.如权利要求35所述的装置,其特征在于,所述确定模块包括:
第二确定单元,用于对于所述至少两个感知维度中的每个感知维度,基于所述VR多媒体的第一感官参数、第二感官参数和第三感官参数中按照所述感知维度采样得到的参数,确定所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分;
第二计算单元,用于将所述VR多媒体在所述感知维度上的真实感体验得分、愉悦感体验得分和交互感体验得分作为输入参数,通过预设的VR多媒体的所述感知维度的体验得分计算模型计算所述VR多媒体的所述感知维度的体验得分;
第三计算单元,用于将所述VR多媒体的所述至少两个感知维度的体验得分作为输入参数,通过预设的VR多媒体MOS计算模型计算所述VR多媒体的体验得分。
46.如权利要求35-45任一所述的装置,其特征在于,所述第一感官参数中视觉维度的视频属性信息包括投影格式、立体度和自由度中的至少一个,所述第一感官参数中视觉维度的视频参数包括全视角分辨率和视场角中的至少一个,所述第一感官参数中听觉维度的音频属性信息包括音频立体度。
47.如权利要求35-45任一所述的装置,其特征在于,所述第二感官参数包括网络媒体事件的类型和对应的已持续时长,所述对应的已持续时长是指所述网络媒体事件已持续发生的时长。
48.如权利要求47所述的装置,其特征在于,所述第二感官参数中的网络媒体事件的类型包括播放事件、卡顿事件或者媒体质量变化事件。
49.如权利要求35-45任一所述的装置,其特征在于,所述第三感官参数包括交互媒体事件的类型和对应的已持续时长,所述对应的已持续时长是指所述交互媒体事件已持续发生的时长。
50.如权利要求49所述的装置,其特征在于,所述第三感官参数中的交互媒体事件的类型包括初始加载事件、交互加载事件或者媒体迟滞事件,所述初始加载事件是指所述VR多媒体初始播放时的加载事件,所述交互加载事件是指因所述VR多媒体与用户之间的交互而发生的加载事件,所述媒体迟滞事件是指因用户动作而发生的媒体更新与动作之间的迟滞事件。
51.如权利要求35-45任一所述的装置,其特征在于,所述第一感官参数包括时间同步度、方位同步度和力反馈指示值中的至少一个,所述时间同步度是指所述视觉维度和所述听觉维度之间的时间同步度,所述方位同步度是指所述视觉维度和所述听觉维度之间的方位同步度,所述力反馈指示值用于指示是否存在与所述视觉维度匹配的力反馈。
52.如权利要求51所述的装置,其特征在于,所述第二感官参数包括第一同步度变化指示值、第二同步度变化指示值和第三同步度变化指示值中的至少一个,所述第一同步度变化指示值用于指示所述时间同步度是否发生变化,所述第二同步度变化指示值用于指示所述方位同步度是否发生变化,所述第三同步度变化指示值用于指示所述视觉维度和力反馈之间的时间同步度是否发生变化。
53.如权利要求35-45任一所述的装置,其特征在于,所述第三感官参数包括迟滞指示值,所述迟滞指示值用于指示力反馈和动作之间的迟滞事件是否发生。
54.如权利要求35-45任一所述的装置,其特征在于,所述装置还包括:
第三确定单元,用于确定预设测试时长内计算得到的所有的所述VR多媒体的MOS的平均值,所述预设测试时长是指确定所述VR多媒体的体验质量的时长。
55.如权利要求35-45任一所述的装置,其特征在于,所述装置还包括:
第四确定单元,用于确定预设测试时长内计算得到的所有的所述VR多媒体的MOS的均方差,所述均方差用于指示所述所有的所述VR多媒体的MOS的稳定程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911403449.1A CN110996097B (zh) | 2017-05-08 | 2017-05-08 | Vr多媒体的体验质量确定方法及装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710318426.5A CN108881894B (zh) | 2017-05-08 | 2017-05-08 | Vr多媒体的体验质量确定方法及装置 |
CN201911403449.1A CN110996097B (zh) | 2017-05-08 | 2017-05-08 | Vr多媒体的体验质量确定方法及装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710318426.5A Division CN108881894B (zh) | 2017-05-08 | 2017-05-08 | Vr多媒体的体验质量确定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110996097A true CN110996097A (zh) | 2020-04-10 |
CN110996097B CN110996097B (zh) | 2021-10-01 |
Family
ID=64104360
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911403449.1A Active CN110996097B (zh) | 2017-05-08 | 2017-05-08 | Vr多媒体的体验质量确定方法及装置 |
CN201710318426.5A Active CN108881894B (zh) | 2017-05-08 | 2017-05-08 | Vr多媒体的体验质量确定方法及装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710318426.5A Active CN108881894B (zh) | 2017-05-08 | 2017-05-08 | Vr多媒体的体验质量确定方法及装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11138715B2 (zh) |
EP (1) | EP3614231A4 (zh) |
JP (2) | JP6949998B2 (zh) |
KR (2) | KR102381096B1 (zh) |
CN (2) | CN110996097B (zh) |
WO (1) | WO2018205643A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7195432B2 (ja) | 2018-11-23 | 2022-12-23 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | サービス機能チェイニングネットワークサービス |
CN111953959A (zh) * | 2019-05-17 | 2020-11-17 | 华为技术有限公司 | Vr视频质量评估方法及装置 |
CN111667322A (zh) * | 2019-10-23 | 2020-09-15 | 四川创客知佳科技有限公司 | 一种vr产品评价云平台 |
CN113031756A (zh) * | 2019-12-09 | 2021-06-25 | 华为技术有限公司 | 一种评测vr体验临场感的方法、装置及系统 |
CN113452474B (zh) * | 2020-03-27 | 2022-12-02 | 华为技术有限公司 | 扩展现实数据传输方法及装置 |
CN113781656A (zh) * | 2020-06-10 | 2021-12-10 | 宏达国际电子股份有限公司 | 混合渲染系统和混合渲染方法 |
CN112446965A (zh) * | 2020-12-04 | 2021-03-05 | 上海影创信息科技有限公司 | Vr眼镜的延时检测安全防护方法和系统及其vr眼镜 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101889442A (zh) * | 2007-12-05 | 2010-11-17 | 生命力有限公司 | 用于结合多个实时流动互动式视频的视图的系统 |
CN102685790A (zh) * | 2012-05-22 | 2012-09-19 | 北京东方文骏软件科技有限责任公司 | 模拟用户行为的移动流媒体业务感知体验QoE的测评方法 |
CN102868666A (zh) * | 2011-07-07 | 2013-01-09 | 北京东方文骏软件科技有限责任公司 | 基于用户体验交互的流媒体质量监测报告的实现方法 |
US20170006343A1 (en) * | 2015-06-30 | 2017-01-05 | Rovi Guides, Inc. | Systems and methods for generating recommendations based on a virtual environment |
KR101716770B1 (ko) * | 2015-11-26 | 2017-03-15 | 맥스온소프트(주) | 가상현실공간에서의 화재 구현 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2611178B2 (ja) * | 1994-01-26 | 1997-05-21 | 工業技術院長 | 人工現実感装置の応答時間測定装置 |
US6592222B2 (en) * | 1996-07-31 | 2003-07-15 | Massengill Family Trust | Flicker and frequency doubling in virtual reality |
US9802225B2 (en) * | 2005-06-27 | 2017-10-31 | General Vibration Corporation | Differential haptic guidance for personal navigation |
JP5054608B2 (ja) * | 2008-05-08 | 2012-10-24 | 日本電信電話株式会社 | コンテンツ評価方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
EP2406955A4 (en) * | 2009-03-13 | 2014-01-08 | Ericsson Telefon Ab L M | METHOD AND ARRANGEMENT FOR PROCESSING A CODED BITSTROM |
CN101853522B (zh) * | 2010-04-30 | 2012-03-21 | 中国矿业大学(北京) | 三维地质建模系统及其建模方法 |
CA2821401C (en) * | 2010-12-16 | 2019-04-30 | Lockheed Martin Corporation | Collimating display with pixel lenses |
JP2014182719A (ja) * | 2013-03-21 | 2014-09-29 | Yasuaki Iwai | 仮想現実提示システム、仮想現実提示方法 |
KR101535432B1 (ko) | 2013-09-13 | 2015-07-13 | 엔에이치엔엔터테인먼트 주식회사 | 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법 |
US10297082B2 (en) * | 2014-10-07 | 2019-05-21 | Microsoft Technology Licensing, Llc | Driving a projector to generate a shared spatial augmented reality experience |
-
2017
- 2017-05-08 CN CN201911403449.1A patent/CN110996097B/zh active Active
- 2017-05-08 CN CN201710318426.5A patent/CN108881894B/zh active Active
- 2017-12-31 EP EP17909607.8A patent/EP3614231A4/en not_active Ceased
- 2017-12-31 WO PCT/CN2017/120449 patent/WO2018205643A1/zh unknown
- 2017-12-31 KR KR1020197036182A patent/KR102381096B1/ko active IP Right Grant
- 2017-12-31 KR KR1020227010187A patent/KR102480709B1/ko active IP Right Grant
- 2017-12-31 JP JP2019561969A patent/JP6949998B2/ja active Active
-
2019
- 2019-11-08 US US16/678,245 patent/US11138715B2/en active Active
-
2021
- 2021-07-21 US US17/381,936 patent/US11694316B2/en active Active
- 2021-09-22 JP JP2021153774A patent/JP7267368B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101889442A (zh) * | 2007-12-05 | 2010-11-17 | 生命力有限公司 | 用于结合多个实时流动互动式视频的视图的系统 |
CN102868666A (zh) * | 2011-07-07 | 2013-01-09 | 北京东方文骏软件科技有限责任公司 | 基于用户体验交互的流媒体质量监测报告的实现方法 |
CN102685790A (zh) * | 2012-05-22 | 2012-09-19 | 北京东方文骏软件科技有限责任公司 | 模拟用户行为的移动流媒体业务感知体验QoE的测评方法 |
US20170006343A1 (en) * | 2015-06-30 | 2017-01-05 | Rovi Guides, Inc. | Systems and methods for generating recommendations based on a virtual environment |
KR101716770B1 (ko) * | 2015-11-26 | 2017-03-15 | 맥스온소프트(주) | 가상현실공간에서의 화재 구현 방법 |
Non-Patent Citations (1)
Title |
---|
方建松: "虚拟现实设计效果心理评价", 《中国优秀硕士学位论文全文数据库》 * |
Also Published As
Publication number | Publication date |
---|---|
US20200090324A1 (en) | 2020-03-19 |
KR102381096B1 (ko) | 2022-03-30 |
KR102480709B1 (ko) | 2022-12-22 |
CN108881894B (zh) | 2020-01-17 |
JP6949998B2 (ja) | 2021-10-13 |
WO2018205643A1 (zh) | 2018-11-15 |
KR20200004388A (ko) | 2020-01-13 |
US11694316B2 (en) | 2023-07-04 |
CN110996097B (zh) | 2021-10-01 |
JP2022003555A (ja) | 2022-01-11 |
CN108881894A (zh) | 2018-11-23 |
JP2020521212A (ja) | 2020-07-16 |
JP7267368B2 (ja) | 2023-05-01 |
US20210350518A1 (en) | 2021-11-11 |
EP3614231A1 (en) | 2020-02-26 |
EP3614231A4 (en) | 2020-04-08 |
US11138715B2 (en) | 2021-10-05 |
KR20220044386A (ko) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110996097B (zh) | Vr多媒体的体验质量确定方法及装置 | |
US11303881B2 (en) | Method and client for playing back panoramic video | |
US20230283653A1 (en) | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming | |
US20200112625A1 (en) | Adaptive streaming of virtual reality data | |
US20180191868A1 (en) | Method and System for Downloading Multiple Resolutions Bitrate for Virtual Reality (VR) Video Streaming Optimization | |
CN111052750B (zh) | 用于点云流传输的方法和装置 | |
CN111627116B (zh) | 图像渲染控制方法、装置及服务器 | |
WO2017193576A1 (zh) | 一种视频分辨率的适应方法、装置及虚拟现实终端 | |
CN113347405B (zh) | 缩放相关的方法和装置 | |
CN113141514B (zh) | 媒体流传输方法、系统、装置、设备及存储介质 | |
CN111698520A (zh) | 一种多视角视频的播放方法、装置、终端及存储介质 | |
CN112565606A (zh) | 全景视频智能传输方法、设备及计算机存储介质 | |
US20220382053A1 (en) | Image processing method and apparatus for head-mounted display device as well as electronic device | |
CN114445600A (zh) | 一种特效道具的展示方法、装置、设备及存储介质 | |
CN117834989A (zh) | 一种基于虚拟现实场景的端云异步渲染方法 | |
GB2563275B (en) | Image processing device and system | |
WO2018178510A2 (en) | Video streaming | |
Stamm | Assessing Image Quality Impact of View Bypass in Cloud Rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |