[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2022003555A - Ｖｒマルチメディアの経験品質を決定するための方法および装置 - Google Patents

Ｖｒマルチメディアの経験品質を決定するための方法および装置 Download PDF

Info

Publication number
JP2022003555A
JP2022003555A JP2021153774A JP2021153774A JP2022003555A JP 2022003555 A JP2022003555 A JP 2022003555A JP 2021153774 A JP2021153774 A JP 2021153774A JP 2021153774 A JP2021153774 A JP 2021153774A JP 2022003555 A JP2022003555 A JP 2022003555A
Authority
JP
Japan
Prior art keywords
multimedia
experience score
current time
sensory parameter
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021153774A
Other languages
English (en)
Other versions
JP7267368B2 (ja
Inventor
リー，イー
Yi Li
ユイ，ハオピーン
Haoping Yu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022003555A publication Critical patent/JP2022003555A/ja
Application granted granted Critical
Publication of JP7267368B2 publication Critical patent/JP7267368B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ＶＲマルチメディアの経験品質を決定するための方法及び装置を提供する。【解決手段】方法は、ＶＲマルチメディアを再生するプロセスにおいて、ＶＲマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ及び第三の感覚パラメータを得る段階を含む。第一の感覚パラメータ、第二の感覚パラメータ及び第三の感覚パラメータは、少なくとも二つの同じ知覚次元に従って別個にサンプリングを実行することによって得られ、それぞれ、忠実度経験、享受経験及び対話経験に影響するパラメータである、方法はさらに、ＶＲマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ及び第三の感覚パラメータに基づいてVRマルチメディアのＭＯＳを決定する段階を含む。【選択図】図４

Description

本願は、仮想現実（Virtual Reality、VR）技術の分野に関し、特に、VRマルチメディアの経験品質を決定するための方法および装置に関する。
VRマルチメディアは、複数のカメラとサウンド捕捉装置を使って現実の環境のパノラマ的な捕捉および再生を行なう、またはコンピュータ・アニメーション（Computer Animation、CG）または仮想エンジンのような技術を使って現実の環境に匹敵する仮想環境を生成して、三次元空間における表示機能を実現するマルチメディアである。ユーザーがVRマルチメディアを見るとき、ユーザーは、VRマルチメディアを再生するために使用される端末をVR装置内に配置し、ユーザーが着用するVR装置を使用することにより、上下左右などの任意の角度からビデオ画像を観察し、VRマルチメディアと同期して再生されるオーディオを聴くことができる。VRマルチメディアを楽しむプロセスにおいて、ユーザーは、現実の環境と同様に、VRマルチメディアの仮想環境に完全に没入しうる。さらに、VRマルチメディアによって提示されるビデオ画像と、同期して再生されるオーディオは、ユーザーの身体の姿勢または行動が変わると変化する。具体的には、ユーザーの身体の姿勢または行動が変化すると、端末は対応する挙動パラメータを取得し、該行動パラメータを処理することができる。よって、VRマルチメディアによって提示されるビデオ画像および同期して再生されるオーディオは、処理結果に基づいてリアルタイムで調整される。よって、従来のマルチメディアとは異なり、VRマルチメディアは、対話、没入、および複数感覚の統合の特徴をもつことがわかる。実際の応用では、VRマルチメディアのユーザー経験を改善するために、VRマルチメディアのユーザー経験品質が判別される必要がある。
関連技術では、従来のマルチメディアの経験品質を決定する方法が、VRマルチメディアの経験品質を決定するために使用される。具体的には、一方では、平均オピニオン・スコア・ビデオ（Mean Opinion Score Video、MOSV）が、VRマルチメディアのコンテンツの複雑さ、ピクセル当たりのビットレート、符号化型、解像度、ビデオ一時停止レート、およびパケット損失レートなどのパラメータに基づく計算を通じて得られる。他方、平均オピニオン・スコア・オーディオ（Mean Opinion Score Audio、MOSA）は、オーディオのビットレート、符号化型、およびパケット損失レートなどのパラメータに基づく計算を通じて得られる。MOSVおよびMOSAを計算を通じて得た後、異なる重みに基づいてMOSVおよびMOSAに対して重み付け演算が実行される。このようにして、VRマルチメディアの平均オピニオン・スコアが得られ、計算を通じて得られた平均オピニオン・スコアに基づいてVRマルチメディアの経験品質が決定される。
しかしながら、VRマルチメディアは従来のマルチメディアとは異なる特徴をもつので、従来のマルチメディアの経験品質を決定する方法に従ってVRマルチメディアの経験品質を決定する精度は比較的低く、よって、VRマルチメディアのユーザー経験をよりよく改善することはできない。
関連技術におけるVRマルチメディアの経験品質を決定する精度が比較的低いという問題を解決するために、本願は、VRマルチメディアの経験品質を決定するための方法および装置を提供する。技術的解決策は以下の通りである。
第一の側面によれば、VRマルチメディアの経験品質を決定するための方法が提供され、本方法は：
VRマルチメディアを再生するプロセスにおいて、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータを得る段階であって、
第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータは、少なくとも二つの同じ知覚次元に従って別個にサンプリングを実行することによって得られ、前記少なくとも二つの知覚次元は、視覚次元および聴覚次元を含み、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータは、それぞれ、忠実度経験、享受経験、および対話経験に影響するパラメータである、段階と；
VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいてVRマルチメディアの平均オピニオン・スコアMOSを決定する段階とを含む。
視覚次元および聴覚次元に加えて、前記少なくとも二つの知覚次元は、フィードバック次元、触覚次元および嗅覚次元などの他の次元をさらに含んでもよいことを注意しておくべきである。さらに、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータはすべて、同じ知覚次元に基づいてサンプリングされる。さらに、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータはすべて、少なくとも一つのパラメータを含み、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータをサンプリングするためのサンプリング周期は、同じであってもよく、または異なっていてもよい。
本願では、VRマルチメディアのMOSは、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて決定されるが、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータは、それぞれ、忠実度経験、享受経験、および対話経験に影響するパラメータである。すなわち、本願においてVRマルチメディアのMOSが決定されるとき、従来のマルチメディアとは異なるVRマルチメディアの没入および対話などの特徴が考慮される。よって、計算を通じて得られるVRマルチメディアのMOSはより正確である。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいてVRマルチメディアの平均オピニオン・スコアMOSを決定することは：
VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し；
決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを使ってVRマルチメディアのMOSを計算することを含む。
VRマルチメディアのMOSが、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて決定されるとき、まず、第一の感覚パラメータに基づいて忠実度経験スコアが決定されてもよく、第二の感覚パラメータに基づいて享受経験スコアが決定されてもよく、第三の感覚パラメータに対話経験スコアが基づいて決定されてもよく、次いで、決定された忠実度経験スコア、享受経験スコア、および対話経験スコアが入力パラメータとして使用されて、VRマルチメディアのMOSが、事前設定されたVRマルチメディアMOS計算モデルを使用することによって、計算を通じて得られる。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合に、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定することであって、ネットワーク・メディア・イベントはネットワーク条件の変化により生起するイベントであり、対話的メディア・イベントはユーザーとの対話により生起するイベントである、ことと；
現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定すること；または
現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定することを含む。
第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータのサンプリング周期が異なるため、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、忠実度経験スコア、享受経験スコア、および対話スコアを決定する機会も異なる。加えて、VRマルチメディアのMOSが決定されるとき、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアは、VRマルチメディアを再生するプロセスで生起するイベントを単位として使用するか、または、事前設定された単位時間期間を単位として使用することにより、計算されうる。
VRマルチメディアのMOSがイベントを単位として用いて決定されるとき、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントが生起しているが、対話的メディア・イベントは同時に生起していない場合、忠実度経験スコアは、サンプリングを通じて得られた第一の感覚パラメータに基づいて決定されうる。享受経験スコアは忠実度経験スコアに関係しているため、忠実度経験スコアが更新されると、享受経験スコアも対応して更新される。よって、忠実度経験スコアが計算を通じて得られた後に、享受経験スコアが決定されてもよい。対話的メディア・イベントは生起していないため、対話経験スコアは計算されなくてもよい。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定することを含む。
イベントを単位として使ってVRマルチメディアのMOSが決定されるとき、現在時刻がVRマルチメディアの第一感覚パラメータのサンプリング時刻に到達し、かつ、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが同時に生起している場合、端末は、忠実度経験スコアおよび享受経験スコアに加えて、さらに対話経験スコアを計算する必要があることを注意しておくべきである。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、ネットワーク・メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定すること；
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定すること；または
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定することを含み、
対応して、決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、事前設定されたVRマルチメディアMOS計算モデルを使ってVRマルチメディアのMOSを計算することは：
現在時刻より前に最近決定された忠実度経験スコアと、現在時刻において決定された享受経験スコアおよび対話経験スコアとを入力パラメータとして使用して、事前設定されたVRマルチメディアMOS計算モデルを使ってVRマルチメディアのMOSを計算することを含む。
VRマルチメディアのMOSがイベントを単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達しない場合には、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起しているかどうか、および現在時刻が生起しているイベントに対応する終了時刻であるかどうかに依存して、享受経験スコアおよび対話経験スコアを決定し、さらにVRマルチメディアのMOSを決定するために異なる方法を使うことができる。現在時刻は第一の感覚パラメータのサンプリング時間ではないため、忠実度経験スコアは計算されない。よって、享受経験スコアが決定されると、現在時刻より前に最近決定された忠実度経験スコアが入力パラメータとしてサンプリングされてもよい。
任意的に、第二の感覚パラメータは、ネットワーク・メディア・イベントの型および第一の継続時間を含み、第一の継続時間は該ネットワーク・メディア・イベントの継続時間であり；
現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定することは：
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型が再生イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる第一の継続時間、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベント終了時のVRマルチメディアのMOSを入力パラメータとして使って、再生イベントに対応する享受経験スコア計算モデルを使ってVRマルチメディアの享受経験スコアを計算すること；
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がフリーズ・イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる第一の継続時間、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベント終了時のVRマルチメディアのMOSを入力パラメータとして使って、フリーズ・イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算すること；または
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がメディア品質変化イベントである場合、現在決定された忠実度経験スコアと、現在時刻より前に最近決定された忠実度経験スコアとの間の差を、VRマルチメディアの享受経験スコアとして決定することを含む。
第二の感覚パラメータが、ネットワーク・メディア・イベントの型と対応する第一の継続時間とを含むことを注意しておくべきである。複数の型のネットワーク・メディア・イベントがありうるので、異なるネットワーク・メディア・イベントについては、異なる計算モデルが使用されて、対応する享受経験スコアを決定してもよい。
任意的に、第三の感覚パラメータは、対話的メディア・イベントの型および第二の継続時間を含み、第二の継続時間は該対話的メディア・イベントの継続時間であり；
現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定することは：
複数の記憶された対話経験スコア計算モデルから、現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型に対応する対話経験スコア計算モデルを選択し；
現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型および第二の継続時間を入力パラメータとして使って、選択された対話経験スコア計算モデルを用いてVRマルチメディアの対話経験スコアを計算することを含む。
第三の感覚パラメータは、対話的メディア・イベントの型および対応する第二の継続時間を含むことを注意しておくべきである。複数の型の対話的メディア・イベントがありうるので、異なる対話的メディア・イベントについては、異なる計算モデルが使用されて、対応する対話経験スコアを決定してもよい。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定することと；
現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻点に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時のVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定する；または
現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定することとを含む。
VRマルチメディアのMOSが決定されるとき、単位時間期間がさらに単位として使用されうることを注意しておくべきである。この場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起していない場合、忠実度経験スコアは、サンプリングを通じて得られる第一の感覚パラメータに基づいて決定されうる。享受経験スコアは忠実度経験スコアに関係しているので、忠実度経験スコアが更新されると、享受経験スコアも対応して更新される。よって、忠実度経験スコアが計算を通じて得られた後に、享受経験スコアが決定されてもよい。さらに、前の単位イベント期間の終わりにおけるVRマルチメディアのMOSが、享受経験スコアを計算するための入力パラメータとして使用されてもよい。これは、VRマルチメディアの以前の再生の影響を考慮することと等価であり。よって、より包括的で、より正確である。対話的メディア・イベントは生起していないため、対話経験スコアは計算されなくてもよい。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定することを含む。
VRマルチメディアのMOSが単位時間期間を単位として使って決定されるとき、現在時刻がVRマルチメディアの第一感覚パラメータのサンプリング時刻に到達し、現在時刻において同時にネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合には、端末は、忠実度経験スコアおよび享受経験スコアに加えて、さらに対話経験スコアを計算する必要があることを注意しておくべきである。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、ネットワーク・メディア・イベントが終了するか、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時のVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定すること；
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、対話的メディア・イベントが終了するか、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定すること；または
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、単位時間期間が終了することが現在時刻において検出される場合、または、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出され、単位時間期間が終了することは検出されない場合、現在時刻に対応する第二の感覚パラメータ、現在の単位時間期間において現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定することとを含み、
対応して、決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算することは：
現在の単位時間期間において現在時刻より前に最近決定された忠実度経験スコア、および現在時刻において決定される享受経験スコアおよび対話経験スコアを、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算するための入力パラメータとして使用することを含む。
VRマルチメディアのMOSが単位時間期間を単位として用いて決定される場合、現在時刻がVRマルチメディアの第一感覚パラメータのサンプリング時刻に達しない場合、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しているかどうか、現在時刻が生起しているイベントに対応する終了時間であるかどうか、および現在時刻が単位時間期間の終了時間であるかどうかに依存して、享受経験スコアおよび対話経験スコアを決定し、さらにVRマルチメディアのMOSを決定するために異なる方法を用いることができる。現在時刻は第一の感覚パラメータのサンプリング時間ではないため、忠実度経験スコアは計算されない。よって、享受経験スコアが決定されるとき、現在時刻より前に最近決定された忠実度経験スコアが入力パラメータとしてサンプリングされてもよい。
任意的に、第一の感覚パラメータは、視覚次元におけるビデオ属性情報およびビデオ・パラメータならびに聴覚次元におけるオーディオ属性情報およびオーディオ・パラメータを含み；
現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定することは：
記憶された複数の視覚的忠実度経験スコア計算モデルから、現在時刻に対応する第一の感覚パラメータに含まれるビデオ属性情報に対応する視覚的忠実度経験スコア計算モデルを選択し；
現在時刻に対応する第一の感覚パラメータに含まれるビデオ・パラメータを入力パラメータとして使って、選択された視覚的忠実度経験スコア計算モデルを用いて現在時刻における視覚的忠実度経験スコアを計算し；
複数の記憶された聴覚的忠実度経験スコア計算モデルから、現在時刻に対応する第一の感覚パラメータに含まれるオーディオ属性情報に対応する聴覚的忠実度経験スコア計算モデルを選択し；
現在時刻の第一の感覚パラメータに含まれるオーディオ・パラメータを入力パラメータとして使って、選択された聴覚的忠実度経験スコア計算モデルを用いて現在時刻における聴覚的忠実度経験スコアを計算し；
VRマルチメディアの忠実度経験スコアを、現在時刻における視覚的忠実度経験スコアおよび聴覚的忠実度経験スコアに基づいて決定することを含む。
第一の感覚パラメータは、視覚次元における視覚的属性情報およびビデオ・パラメータならびに聴覚次元における聴覚的属性情報および聴覚パラメータを含んでもよいことを注意しておく。視覚的忠実度経験スコアは、視覚的属性情報およびビデオ・パラメータに基づいて決定されてもよい。聴覚的忠実度経験スコアは、聴覚的属性情報および聴覚パラメータに基づいて決定されてもよい。次いで、決定された視覚的忠実度経験スコアおよび聴覚的忠実度経験スコアに基づく計算を通じて、忠実度経験スコアを得ることができる。
任意的に、第二の感覚パラメータは、ネットワーク・メディア・イベントの型および第三の継続時間を含み、第三の継続時間は、単位時間期間におけるネットワーク・メディア・イベントの継続時間であり；
現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定することは：
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型が再生イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる第三の継続時間、現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSを入力パラメータとして使って、再生イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算すること；
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がフリーズ・イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる第三の継続時間、現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSを入力パラメータとして使って、フリーズ・イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算すること；または
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がメディア品質変化イベントである場合、現在決定された忠実度経験スコアと、現在の単位時間期間における現在時刻の前に最近決定された忠実度経験スコアとの間の差を、VRマルチメディアの享受経験スコアとして決定することとを含む。
VRマルチメディアのMOSが単位時間期間を単位として決定される場合、享受経験スコアが決定されるとき、対応する享受経験スコアは、第二の感覚パラメータに含まれる、ネットワーク・メディア・イベントの型および単位時間期間におけるネットワーク・メディア・イベントの継続時間に基づいて決定されうることを注意しておくべきである。
任意的に、第三の感覚パラメータは、対話的メディア・イベントの型および第四の継続時間とを含み、第四の継続時間は、単位時間期間における対話的メディア・イベントの継続時間であり；
現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定することは：
複数の記憶された対話経験スコア計算モデルから、現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型に対応する対話経験スコア計算モデルを選択し；
現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型および第四の継続時間を入力パラメータとして使って、選択された対話経験スコア計算モデルを用いてVRマルチメディアの対話経験スコアを計算することを含む。
VRマルチメディアのMOSが単位時間期間を単位として用いて決定される場合、対話経験スコアが決定されるとき、対応する対話経験スコアは、第三の感覚パラメータに含まれる対話的メディア・イベントの型および単位時間期間における対話的メディア・イベントの継続時間に基づいて決定されうることを注意しておくべきである。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいてVRマルチメディアの平均オピニオン・スコアMOSを決定することは：
前記少なくとも二つの知覚次元のそれぞれについて、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて、その知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し；
その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、その知覚次元におけるVRマルチメディアの経験スコアを計算し；
前記少なくとも二つの知覚次元におけるVRマルチメディアの経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアの経験スコアを計算することを含む。
VRマルチメディアのMOSが、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて決定される場合、前記少なくとも二つの知覚次元のそれぞれについて、まず、その知覚次元における忠実度経験スコアが第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて決定されてもよく、その知覚次元における享受経験スコアが、第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて決定されてもよく、その知覚次元における対話経験スコアが、第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて決定されてもよく、次いで、その知覚次元における決定された忠実度経験スコア、享受経験スコア、および対話経験スコアが入力パラメータとして使用され、その知覚次元におけるVRマルチメディア経験スコア計算モデルを用いることによる計算を通じて、その知覚次元におけるVRマルチメディアのMOSが得られる。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、その知覚次元におけるVRマルチメディアの忠実度経験スコアを決定することと；
現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、その知覚次元における現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、その知覚次元におけるVRマルチメディアの享受経験スコアを決定し、その知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定するか；または
現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいてその知覚次元におけるVRマルチメディアの対話経験スコアを決定し、その知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定することとを含む。
第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータのサンプリング周期が異なるため、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、それぞれ、知覚次元における忠実度経験スコア、享受経験スコア、および対話スコアを決定する機会も異なる。さらに、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアは、VRマルチメディアを再生するプロセスで生起するイベントを単位として使用するか、または事前設定された単位時間を単位として使用することによって計算することができる。
知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアが、イベントを単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起していない場合、知覚次元における忠実度経験スコアは、サンプリングを通じて得られた第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて決定されうる。知覚次元における享受経験スコアは知覚次元における忠実度経験スコアに関係しているため、知覚次元における忠実度経験スコアが更新されると、知覚次元における享受経験スコアも対応して更新される。よって、知覚次元における忠実度経験スコアが計算を通じて得られた後に、知覚次元における享受経験スコアが決定されてもよい。対話的メディア・イベントは生起していないため、知覚次元における対話経験スコアは計算されなくてもよい。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいてVRマルチメディアの対話経験スコアを決定することを含む。
知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアが、イベントを単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻において同時にネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、端末は、知覚次元における忠実度経験スコアおよび享受経験スコアに加えて、さらに知覚次元における対話経験スコアを計算する必要があることを注意しておく。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、ネットワーク・メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実施することによって得られるパラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定すること；
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定し、知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定する；または
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定された知覚次元における忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定することとを含み；
対応して、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、知覚次元におけるVRマルチメディアの経験スコアを計算することは：
現在時刻より前に最近決定された知覚次元における忠実度経験スコアと、現在時刻において決定される知覚次元における享受経験スコアおよび対話経験スコアとを入力パラメータとして使って、知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、知覚次元におけるVRマルチメディアの経験スコアを計算することを含む。
知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアが、イベントを単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達しない場合、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しているか否か、および現在時刻が生起しているイベントに対応する終了時刻であるか否かに依存して、知覚次元における享受経験スコアおよび対話経験スコアを決定し、さらに知覚次元におけるVRマルチメディアの経験スコアを決定するために異なる方法が使用されうることを注意しておく。現在時刻は第一の感覚パラメータのサンプリング時刻ではないため、知覚次元における忠実度経験スコアは計算されない。よって、知覚次元における享受経験スコアが決定されるとき、現在時刻より前に最近決定された忠実度経験スコアが入力パラメータとしてサンプリングされてもよい。
任意的に、第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータは、知覚次元において生起しているネットワーク・メディア・イベントの型と、対応する第五の継続時間とを含み、対応する第五の継続時間は、知覚次元におけるネットワーク・メディア・イベントの継続時間であり；
現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定することは：
現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれるネットワーク・メディア・イベントの型が再生イベントである場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる第五の継続時間、知覚次元における現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベント終了時におけるVRマルチメディアのMOSを入力パラメータとして使って、再生イベントに対応する享受経験スコア計算モデルを用いて知覚次元におけるVRマルチメディアの享受経験スコアを計算すること；
現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれるネットワーク・メディア・イベントの型がフリーズ・イベントである場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる第五の継続時間、知覚次元における現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベント終了時のVRマルチメディアのMOSを入力パラメータとして使って、フリーズ・イベントに対応する享受経験スコア計算モデルを用いて知覚次元におけるVRマルチメディアの享受経験スコアを計算すること；または
現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれるネットワーク・メディア・イベントの型が、メディア品質変化イベントである場合、知覚次元における現在決定された忠実度経験スコアと、現在時刻より前に最近決定された知覚次元における忠実度経験スコアとの差を、知覚次元におけるVRマルチメディアの享受経験スコアとして決定することを含む。
任意的に、第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータは、対話的メディア・イベントの型および第六の継続時間を含み、第六の継続時間は、知覚次元における対話的メディア・イベントの継続時間であり；
現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの対話経験スコアを決定することは：
複数の記憶された対話経験スコア計算モデルから、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる対話的メディア・イベントの型に対応する対話経験スコア計算モデルを選択し；
現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる対話的メディア・イベントの型および第六の継続時間を入力パラメータとして使って、選択された対話経験スコア計算モデルを用いて知覚次元におけるVRマルチメディアの対話経験スコアを計算することを含む。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコアを決定することと；
現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定する；または
現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの対話経験スコアを決定し、知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定することとを含む。
知覚次元におけるVRマルチメディアのMOSは、さらに単位時間期間を単位として用いることによって決定されうることを注意しておく。この場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起していない場合、サンプリングを通じて得られた第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元における忠実度経験スコアを決定することができる。知覚次元における享受経験スコアは知覚次元における忠実度経験スコアと関係するため、知覚次元における忠実度経験スコアが更新されると、知覚次元における享受経験スコアも対応して更新される。よって、知覚次元における忠実度経験スコアが計算を通じて得られた後に、知覚次元における享受経験スコアが決定されてもよい。さらに、前の単位イベント期間の終わりにおけるVRマルチメディアのMOSが、知覚次元における享受経験スコアを計算するための入力パラメータとして使用されてもよい。これは、VRマルチメディアの以前の再生の影響を考慮することと等価であり、よって、より包括的で、より正確である。対話的メディア・イベントは生起していないため、知覚次元における対話経験スコアは計算されなくてもよい。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコアおよび前の単位時間期間の終わりにおけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、VRマルチメディアの対話経験スコアを決定することを含む。
知覚次元におけるVRマルチメディアのMOSが、単位時間期間を単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻において同時にネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、端末は、知覚次元における忠実度経験スコアおよび享受経験スコアに加えて、さらに知覚次元における対話経験スコアを計算する必要があることを注意しておくべきである。
任意的に、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、ネットワーク・メディア・イベントが終了する、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られたパラメータ、現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定すること；
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、対話的メディア・イベントが終了すること、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの対話経験スコアを決定し、知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定すること；または
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、単位時間期間が終了することが現在時刻において検出される場合、または現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出され、かつ、単位時間期間が終了することが現在時刻において検出されない場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定された知覚次元における忠実度経験スコア、および前の単位時間期間の終わりにおけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定することを含み；
対応して、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、知覚次元におけるVRマルチメディアの経験スコアを計算することは：
現在の単位時間期間における現在時刻より前に最近決定された知覚次元における忠実度経験スコアと、現在時刻において決定された知覚次元における享受経験スコアおよび対話経験スコアとを入力パラメータとして使って、知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、知覚次元におけるVRマルチメディアの経験スコアを計算することを含む。
知覚次元におけるVRマルチメディアのMOSが、単位時間期間を単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達しない場合、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しているかどうか、現在時刻が生起しているイベントに対応する終了時間であるかどうか、および現在時刻が単位時間期間の終了時間であるかどうかに依存して、知覚次元における享受経験スコアおよび対話型経験スコアを決定し、さらにVRマルチメディアのMOSを決定するために異なる方法を用いることができる。現在時刻は第一の感覚パラメータのサンプリング時間ではないため、知覚次元における忠実度経験スコアは計算されない。よって、知覚次元における享受経験スコアが決定される場合、現在時刻より前に最近決定された忠実度経験スコアが入力パラメータとしてサンプリングされてもよい。
任意的に、第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータは、ネットワーク・メディア・イベントの型および第七の継続時間を含み、第七の継続時間は、単位時間期間における知覚次元におけるネットワーク・メディア・イベントの継続時間であり；
現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコア、および前の単位時間期間の終わりにおけるVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定することは：
現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれるネットワーク・メディア・イベントの型が再生イベントである場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる第七の継続時間、知覚次元における現在決定された忠実度経験スコア、および前の単位時間期間の終わりにおけるVRマルチメディアのMOSを入力パラメータとして使って、再生イベントに対応する享受経験スコア計算モデルを用いて知覚次元におけるVRマルチメディアの享受経験スコアを計算すること；
現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれるネットワーク・メディア・イベントの型がフリーズ・イベントである場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる第七の継続時間、知覚次元における現在決定された忠実度経験スコア、および前の単位時間期間の終わりにおけるVRマルチメディアのMOSを入力パラメータとして使って、フリーズ・イベントに対応する享受経験スコア計算モデルを用いて知覚次元におけるVRマルチメディアの享受経験スコアを計算すること；または
現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれるネットワーク・メディア・イベントの型が、メディア品質変化イベントである場合、知覚次元において現在決定された忠実度経験スコアと、現在の単位時間期間における現在時刻より前に最近決定された知覚次元における忠実度経験スコアとの間の差を、知覚次元におけるVRマルチメディアの享受経験スコアとして決定することを含む。
任意的に、第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータは、対話的メディア・イベントの型および第八の継続時間を含み、第八の継続時間は、単位時間期間における知覚次元における対話的メディア・イベントの継続時間であり；
現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、VRマルチメディアの対話経験スコアを決定することは：
複数の記憶された対話経験スコア計算モデルから、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる対話的メディア・イベントの型に対応する対話経験スコア計算モデルを選択し；
現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる対話的メディア・イベントの型および第八の継続時間を入力パラメータとして使って、選択された対話経験スコア計算モデルを用いて知覚次元におけるVRマルチメディアの対話経験スコアを計算することを含む。
任意的に、第一の感覚パラメータにおける視覚次元におけるビデオ属性情報は、投影フォーマット、ステレオ度、および自由度のうちの少なくとも一つを含み、第一の感覚パラメータにおける視覚次元におけるビデオ・パラメータは、全視野解像度および視野のうちの少なくとも一つを含み、第一の感覚パラメータにおける聴覚次元におけるオーディオ属性情報は、オーディオ・ステレオ度を含む。
投影フォーマット、ステレオ度、自由度、およびオーディオ・ステレオ度は、従来のマルチメディアとは異なるVRマルチメディアの特有の属性情報であり、全視野解像度および視野もVRマルチメディアの特有のパラメータであることを注意しておくべきである。これらのパラメータに基づいて忠実度経験スコアを計算することは、VRマルチメディアの特徴によりよく適合し、これに基づいて決定されるVRマルチメディアのMOSも、より正確である。
任意的に、第二の感覚パラメータは、ネットワーク・メディア・イベントの型および対応する継続時間を含み、対応する継続時間はネットワーク・メディア・イベントの継続時間である。
VRマルチメディアのMOSが、イベントを単位として使って決定される場合、第二の感覚パラメータに含まれる継続時間は、ネットワーク・メディア・イベントの継続時間であってもよいことを注意しておく。VRマルチメディアのMOSが、単位時間期間を単位として使って決定される場合、第二の感覚パラメータに含まれる継続時間は、単位時間期間におけるネットワーク・メディア・イベントの継続時間であってもよい。
任意的に、第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型は、再生イベント、フリーズ・イベント、またはメディア品質変化イベントを含む。
ネットワーク・メディア・イベントは、ネットワーク条件の変化によって引き起こされるイベントである。よって、ネットワーク・メディア・イベントの型は、再生イベント、フリーズ・イベント、またはメディア品質変化イベントを含み得るが、これらに限定されない。
任意的に、第三の感覚パラメータは、対話的メディア・イベントの型および対応する継続時間を含み、対応する継続時間は対話的メディア・イベントの継続時間である。
任意的に、第三の感覚パラメータに含まれる対話的メディア・イベントの型は、初期ロード・イベント、対話的ロード・イベント、またはメディア・ヒステリシス・イベントを含み、初期ロード・イベントは、VRマルチメディアが最初に再生されるときのロード・イベントであり、対話的ロード・イベントは、VRマルチメディアとユーザーとの間の対話によって生じるロード・イベントであり、メディア・ヒステリシス・イベントは、メディア更新とユーザー・アクションに起因するアクションとの間で生じるヒステリシス・イベントである。
VRマルチメディアのMOSが、イベントを単位として使って決定される場合、第三の感覚パラメータに含まれる継続時間は、対話的メディア・イベントの継続時間であってもよいことを注意しておくべきである。VRマルチメディアのMOSが、単位時間期間を単位として使って決定される場合、第三の感覚パラメータに含まれる継続時間は、単位時間期間における対話的メディア・イベントの継続時間であってもよい。
任意的に、前記少なくとも二つの知覚次元は、フィードバック次元をさらに含み、フィードバック次元は、視覚次元と、前記少なくとも二つの知覚次元における視覚次元とは別の次元との間の同期および関連付け関係であり、ここで、
第一の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータは、時間同期度、方位角同期度、および力フィードバック・インジケーターのうちの少なくとも一つを含み、時間同期度は視覚次元と聴覚次元との間の時間同期度であり、方位角同期度は視覚次元と聴覚次元との間の方位角同期度であり、力フィードバック・インジケーターは、視覚次元にマッチする力フィードバックがあるかどうかを示すために使用され；
第二の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータは、第一の同期度変化インジケーター、第二の同期度変化インジケーター、および第三の同期度変化インジケーターのうちの少なくとも一つを含み、第一の同期度変化インジケーターは、時間同期度が変化するか否かを示すために使用され、第二の同期度変化インジケーターは、方位角同期度が変化するか否かを示すために使用され、第三の同期度変化インジケーターは、視覚次元と力フィードバックとの間の時間同期度が変化するか否かを示すために使用され；
第三の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータは、ヒステリシス・インジケーターを含み、ヒステリシス・インジケーターは、力のフィードバックとアクションとの間でヒステリシス・イベントが生起するか否かを示すために使用される。
前記少なくとも二つの知覚次元は、視覚次元および聴覚次元に加えてさらにフィードバック次元を含んでいてもよく、フィードバック次元は、視覚次元と、前記少なくとも二つの知覚次元における視覚次元とは別の次元との間の同期および関連付け関係であることを注意しておくべきである。
任意的に、VRマルチメディアの平均オピニオン・スコアMOSを決定した後、本方法はさらに：
事前設定された試験期間内に計算を通じて得られるVRマルチメディアのすべてのMOSの平均値を決定することを含み、ここで、事前設定された試験期間は、VRマルチメディアの経験品質を決定することの継続時間である。
一般に、VRマルチメディアのMOSが決定されるとき、試験は通例、事前設定された試験期間内に実行される。事前設定された試験期間内において、複数のイベントが生起してもよく、または複数の単位時間期間が含まれていてもよい。よって、VRマルチメディアの複数のMOSが得られてもよい。この場合、VRマルチメディアのすべてのMOSの平均値が計算を通じて得られてもよく、その平均値が事前設定された試験期間内のVRマルチメディアのMOS統計値として使用される。
任意的に、VRマルチメディアの平均オピニオン・スコアMOSを決定した後、本方法は、さらに：
事前設定された試験期間内に計算を通じて得られるVRマルチメディアのすべてのMOSの平均二乗誤差を決定することを含み、平均二乗誤差は、VRマルチメディアのすべてのMOSの安定性を示すために使用される。
VRマルチメディアの複数のMOSの平均値が計算を通じて得られた後、VRマルチメディアの複数のMOSの平均二乗誤差が計算されてもよく、この場合、平均二乗誤差は、事前設定された試験期間内におけるVRマルチメディアの経験品質の安定性を評価するために使われる。
第二の側面によれば、VRマルチメディアの経験品質を決定する装置が提供され、VRマルチメディアの経験品質を決定する装置は、第一の側面におけるVRマルチメディアの経験品質を決定する方法の動作を実装する機能を有する。VRマルチメディアの経験品質を決定する装置は、少なくとも一つのモジュールを含み、前記少なくとも一つのモジュールは、第一の側面によるVRマルチメディアの経験品質を決定する方法を実装するよう構成される。
第三の側面によれば、VRマルチメディアの経験品質を決定する装置が提供され、VRマルチメディアの経験品質を決定する装置の構造はプロセッサおよびメモリを含み、前記メモリは、第一の側面によるVRマルチメディアの経験品質を決定する方法を実行する際に、VRマルチメディアの経験品質を決定する装置をサポートするプログラムと、第一の側面によるVRマルチメディアの経験品質を決定する方法を実装するために使用されるデータとを記憶するよう構成される。前記プロセッサは、前記メモリに記憶された前記プログラムを実行するよう構成される。記憶装置の動作装置は、通信バスをさらに含んでいてもよく、通信バスは、プロセッサとメモリとの間の接続を確立するよう構成される。
第四の側面によれば、コンピュータ読取可能な記憶媒体が提供され、コンピュータ読取可能な記憶媒体は命令を記憶し、該命令がコンピュータ上で実行されると、コンピュータは、第一の側面によるVRマルチメディアの経験品質を決定する方法を実行する。
第五の側面によれば、命令を含むコンピュータプログラムプロダクトが提供され、コンピュータプログラムプロダクトがコンピュータ上で実行されると、コンピュータは、第一の側面によるVRマルチメディアの経験品質を決定する方法を実行する。
第二の側面、第三の側面、第四の側面、および第五の側面において達成される技術的効果は、第一の側面における対応する技術的手段によって達成される効果と同様である。詳細は、ここでは再度説明しない。
本願によって提供される技術的解決策は、以下の有益な効果をもつ：VRマルチメディアの経験品質を決定するプロセスにおいて、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づく忠実度経験、享受経験、および対話経験について品質評価が実行されるが、没入、複数感覚の統合およびユーザーとの対話は、まさにVRマルチメディアを従来のマルチメディアと区別する主な特徴である。よって、本発明の実施形態におけるVRマルチメディアの経験品質を決定することは、VRマルチメディアの実際の状況により良く適合し、決定されるVRマルチメディアの経験品質もより正確である。
本発明のある実施形態によるVRマルチメディアの経験品質を決定する方法におけるシステムのアーキテクチャー図である。
本発明のある実施形態による端末の概略構造図である。
本発明のある実施形態による端末装置の概略構造図である。
本発明のある実施形態によるVRマルチメディアの経験品質を決定する方法のフローチャートである。
本発明のある実施形態による、イベントを単位として使ってVRマルチメディアのMOSを決定する方法のフローチャートである。
本発明のある実施形態による、イベントを単位として使ってVRマルチメディアのMOSを決定する方法のフローチャートである。
本発明のある実施形態による、イベントを単位として使ってVRマルチメディアのMOSを決定する方法のフローチャートである。
本発明のある実施形態による、単位時間期間を単位として使ってVRマルチメディアのMOSを決定する方法のフローチャートである。
本発明のある実施形態による、単位時間期間を単位として使ってVRマルチメディアのMOSを決定する方法のフローチャートである。
本発明のある実施形態による、単位時間期間を単位として使ってVRマルチメディアのMOSを決定する方法のフローチャートである。
本発明のある実施形態によるVRマルチメディアの経験品質を決定するもう一つの方法のフローチャートである。
本発明のある実施形態による、イベントを単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定する方法のフローチャートである。
本発明のある実施形態による、イベントを単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定する方法のフローチャートである。
本発明のある実施形態による、イベントを単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定する方法のフローチャートである。
本発明のある実施形態による、単位時間期間を単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定するための方法のフローチャートである。
本発明のある実施形態による、単位時間期間を単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定するための方法のフローチャートである。
本発明のある実施形態による、単位時間期間を単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定するための方法のフローチャートである。
本発明のある実施形態によるVRマルチメディアの経験品質を決定する装置の概略構造図である。
本発明のある実施形態による決定モジュールの概略構造図である。
本発明のある実施形態による決定モジュールの別の概略構造図である。
本願の目的、技術的解決策、および利点をより明確にするために、添付の図面を参照して、本願の実施を詳細に、さらに説明する。
理解の簡単のため、本発明の実施形態において使用される用語を、本発明の実施形態が詳細に説明および記述される前に、まず説明しておく。
忠実度経験
忠実度経験は、VRマルチメディアの仮想環境による現実の環境の再現の程度を示すために主に使用される。再現の程度が高いほど、ユーザーのより強い没入的な経験を示す。よって、忠実度経験は、ユーザーの没入的経験をも反映しうる。
享受経験
享受経験は、VRマルチメディアを再生するプロセスにおいて、VRマルチメディアの再生品質に対するネットワーク伝送品質の影響を示すために主に使用される。ネットワーク伝送品質が比較的良好な場合、VRマルチメディアは正常に再生できる。この場合、VRマルチメディアの仮想環境のユーザー経験は中断されない。ネットワークの伝送品質が比較的貧弱である場合、VRマルチメディアがフリーズすることがあり、あるいはビデオおよびオーディオの品質が貧弱になる。この場合、VRマルチメディアの仮想環境のユーザー経験が中断されることがあり、あるいは経験が貧弱になる。しかしながら、ユーザーの経験が悪くなると、ユーザーはVRマルチメディアを経験し続けることを望まないかもしれない。よって、享受経験は、VRマルチメディアを再生するプロセスにおいて、ユーザーがVRマルチメディアを経験し続けることを望む可能性を反映しうる。
対話経験
対話経験は、ユーザーとVRマルチメディアの仮想環境との間で実行される対話のリアルタイム品質および一貫性を示すために主に使用される。VRマルチメディアによって提示されるビデオ画像および同期して再生されるオーディオは、ユーザーの身体姿勢または行動などが変わると変化することがある。このプロセスでは、ネットワーク伝送品質等の要因により、ユーザーの身体姿勢または行動等の変化と、VRマルチメディアのビデオ画像およびオーディオの変化との間に遅延が存在することがある。より高い遅延は、ユーザーとVRマルチメディアとの間の、より不自然な対話を示す。よって、対話経験は、ユーザーとVRマルチメディアとの間の対話の自然な程度も反映しうる。
また、ユーザーの身体姿勢または行動等が変化するとき、VRマルチメディアのビデオ画像およびオーディオの変化は、ユーザーの身体姿勢または行動等の変化と整合しているべきである。たとえば、ユーザーが頭を左に向ける場合、VRマルチメディアのビデオ画像およびオーディオも、ユーザーが向く方向に従って対応して変化するべきである。VRマルチメディアの変化が、ユーザーの身体姿勢および行動の変化と整合しない場合、比較的貧弱な対話経験が引き起こされる。
忠実度経験、享受経験、対話経験についての記述からわかるように、忠実度経験は、ネットワーク伝送品質のような要因から影響を受けない理想的な状況におけるユーザー経験を反映しうる。しかしながら、享受経験および対話経験は、ネットワーク伝送品質のような影響によって引き起こされるユーザー経験の障害を反映する。
第一の感覚パラメータ
第一の感覚パラメータは、忠実度経験に影響するパラメータであり、少なくとも二つの知覚次元に従ってサンプリングを実行することによって得られる。前記少なくとも二つの知覚次元は、視覚次元および聴覚次元を含み、もちろん、他の次元をさらに含んでもよく、たとえば、フィードバック次元、触覚次元、動き次元、嗅覚次元、味覚次元などをさらに含んでいてもよい。フィードバック次元は、視覚次元と、前記少なくとも二つの知覚次元における視覚次元とは別の次元との間の同期および関連付け関係を反映できる次元である。
視覚次元では、第一の感覚パラメータは、複数のビデオ属性情報のピースおよび複数のビデオ・パラメータを含んでいてもよい。複数のビデオ属性情報のピースは、ビデオ投影フォーマット、ビデオ符号化型、ステレオ度、および自由度のような、ビデオ属性を反映する一連の情報を含んでいてもよい。複数のビデオ・パラメータは、ビデオ・ビットレート、全視野解像度、時間複雑性、空間複雑性、および視野などのパラメータを含んでいてもよい。さらに、複数のビデオ属性情報のピースおよび複数のビデオ・パラメータをサンプリングするためのサンプリング周期は、異なる場合がある。たとえば、ビデオ属性情報における自由度については、VRマルチメディアの自由度は一般に変化しないので、自由度は、VRマルチメディアの経験品質を決定するプロセスにおいて一度サンプリングされるだけでよい。
ステレオ度は、VRマルチメディアが単眼ビデオまたは両眼ステレオ・ビデオであることを示すために使用される。VRマルチメディアが単眼ビデオの場合、サンプリングを通じて得られるステレオ度は0である。VRマルチメディアが両眼ステレオ・ビデオの場合、サンプリングを通じて得られるステレオ度は1である。自由度は、VRマルチメディアのビデオが提示できる自由度である。一般に、VRマルチメディアのビデオの自由度は、3自由度、6自由度などでありうる。時間複雑性は、VRマルチメディアを再生するプロセスにおいて、連続する諸フレームまたは連続する諸時間期間における同じ位置における二つのピクセル値の間の差を示すために使用される。空間複雑性は、VRマルチメディアの各フィルタリングされたフレームにおけるピクセル値の間の標準差を示すために使用される。時間複雑性および空間複雑性は、合同してコンテンツ複雑性をなす。サンプリングが実行されるとき、時間複雑性についてサンプリングを実行することによりVRマルチメディアに対応する時間複雑性因子が得られ、空間複雑性についてサンプリングを実行することによりVRマルチメディアに対応する空間複雑性因子が得られる。視野は、VRマルチメディアとヘッドマウントディスプレイのような端末とによって合同して決定され、ユーザーがビデオを観察する視角を示すために使用される。視野が大きいほど、より広い視野を示す。一般に、視野は、水平視野および垂直視野に分解されてもよく、視野の範囲は60度から210度である。
聴覚次元では、第一の感覚パラメータは、複数のオーディオ属性情報のピースと、少なくとも一つのオーディオ・パラメータとを含んでいてもよい。前記複数のオーディオ属性情報のピースは、オーディオ・サンプリング・レート、オーディオ・ステレオ度、およびオーディオ符号化フォーマットを含んでいてもよい。前記少なくとも一つのオーディオ・パラメータは、オーディオ・ビットレートを含んでいてもよい。
オーディオ・ステレオ度は、VRマルチメディアのオーディオがステレオサウンドまたは立体音響であることを示すために使用される。VRマルチメディアのオーディオがステレオサウンドである場合、サンプリングを通じて得られるオーディオ・ステレオ度は0である。VRマルチメディアのオーディオが立体音響である場合、サンプリングを通じて得られるオーディオ・ステレオ度は1である。
第二の感覚パラメータ
第二の感覚パラメータは、享受経験に影響することができるパラメータであり、前記少なくとも二つの知覚次元に従ってサンプリングを実行することによって得られる。本願では、第二の感覚パラメータは、主に、ネットワーク・メディア・イベントの型および対応する継続時間を含む。享受経験に影響するネットワーク・メディア・イベントの一般的な型は、再生イベント、フリーズ・イベント、およびメディア品質変化イベントである。
フリーズ・イベントは、ネットワーク伝送品質が比較的貧弱であるためにVRマルチメディアの再生が一時停止されることを示す。メディア品質変化イベントは、ネットワーク伝送品質に起因する、VRマルチメディアのビデオ品質およびオーディオ品質の変化である。メディア品質変化イベントは、解像度の増加または減少、平均ビットレートの増加または減少、フレームレートの増加または減少、またはサンプリングレートの増加または減少のようなイベント、およびユーザーデータグラムプロトコル（User Datagram Protocol、UDP）に関係したメディア品質変化イベントでありうる。ここで、UDPに関係した品質変化イベントは、フレーム損傷、フレーム・スキップ、アーチファクト等であってもよい。
第三の感覚パラメータ
第三の感覚パラメータは、対話経験に影響することのできるパラメータであり、前記少なくとも二つの知覚次元に従ってサンプリングを実行することによって得られる。本願では、第三の感覚パラメータは、主に対話的メディア・イベントの型および対応する継続時間を含む。対話経験に影響する対話的メディア・イベントの一般的な型は、初期ロード・イベント、対話的ロード・イベント、およびメディア・ヒステリシス・イベントである。
初期ロード・イベントは、VRマルチメディアが最初に再生されるときに生起するロード・イベントである。対話的ロード・イベントは、ユーザーとの対話により生起するロード・イベント、すなわち、ユーザー操作によるVRマルチメディアのシーン切り換えにおけるロード・イベントである。メディア・ヒステリシス・イベントは、ユーザー・アクションに起因してメディア更新とアクションとの間で生起するヒステリシス・イベント、すなわち、ユーザーの位置または身体の姿勢または頭の向きの変化といったアクションに起因してメディア更新とアクションとの間で生起するヒステリシス・イベントである。
本発明の実施形態において使用される用語が説明され、記述された後、下記は、本発明の実施形態において使用されるシステム・アーキテクチャーを記述する。
図１は、本発明のある実施形態によるVRマルチメディアの経験品質を決定する方法におけるシステムのアーキテクチャー図である。図１に示されるように、システムは、端末101およびサーバー102を含む。端末101およびサーバー102は、有線ネットワークまたは無線ネットワークを使って接続されてもよい。有線ネットワークまたは無線ネットワークを使って、端末101は、サーバー102にVRマルチメディア取得要求を送信することができ；サーバー102は、受信したVRマルチメディア取得要求に基づいて、VRマルチメディアおよびVRマルチメディアの再生に必要な関連情報を取得し、VRマルチメディアおよび関連情報を端末101に送信することができる。VRマルチメディアは、360度のパノラマVRビデオであってもよい。
VRマルチメディア・プレーヤーが端末101上で動作してもよい。VRマルチメディア・プレーヤーは、端末101上で独立して動作するアプリケーションであってもよいし、あるいはブラウザーのページ上に埋め込まれたアプリケーションであってもよい。VRマルチメディア・プレーヤーを使用することによって、端末101はサーバー102から得られたVRマルチメディアを再生することができる。ユーザーがVRマルチメディアを視聴し、VRマルチメディアによって提示された仮想環境に基づいて動作を実行すると、端末101は、ユーザーの対話的アクションを受領し、対話的アクションに基づいて応答することができる。VRマルチメディアを再生するプロセスにおいてVRマルチメディアの経験品質を決定するとき、端末101は、異なるサンプリング周期に基づいて、VRマルチメディアを再生するプロセスにおける複数のパラメータをサンプリングし、サンプリングを通じて得られたパラメータに基づいて計算を実行して、VRマルチメディアのMOSを取得し、VRマルチメディアのMOSを出力することができる。
端末101は、ヘッドマウントディスプレイ装置（Head-mounted Display、HMD）、ジャイロスコープを使って観察位置を変えることができる携帯端末、またはリモコンを使って観察位置を変えることができる従来のスマートTV端末のようなVR端末であってもよい。サーバー102は、VRマルチメディアを提供しうる装置である。サーバー102は、単一の装置であってもよいし、VRマルチメディア・サービスを提供する装置クラスターであってもよい。
加えて、リアルタイムトランスポートプロトコル（Real-Time Protocol、RTP）、リアルタイムストリーミングプロトコル（Real-Time Streaming Protocol、RTSP）、ハイパーテキスト転送プロトコル（HyperText Transfer Protocol、HTTP）、リアルタイムメッセージングプロトコル（Real-Time Messaging Protocol、RTMP）、HTTPを通じた動的適応ストリーミング（Dynamic Adaptive Streaming over HTTP、DASH）メディアプロトコルおよびHTTPライブストリーミング（HTTP Live Streaming、HLS）メディアプロトコルといった汎用VRマルチメディア・メディア転送プロトコルが、有線ネットワークまたは無線ネットワークを使って端末101とサーバー102との間の通信のためにサポートされる。
図１に示されるシステム・アーキテクチャーにおける端末についての記述に基づいてわかるように、端末は、VRマルチメディアおよびユーザーの対話的アクションを受け取り、VRマルチメディアを再生するプロセスにおいて関連パラメータをサンプリングして、VRマルチメディアのMOSを計算することができる。したがって、図２に示されるように、本発明のある実施形態は、端末の概略構造図を提供する。図１のシステム・アーキテクチャーにおける端末の機能は、図２に示される端末を用いて実現できる。図２に示されるように、端末は、メディア・ストリーム受領モジュール201、ユーザー対話的アクション受領モジュール202、サンプリング・モジュール203、計算モジュール204、および出力モジュール205を含む。メディア・ストリーム受領モジュール201は、サーバーによって送信されたVRマルチメディアを受信するよう構成される。ユーザー対話的アクション受領モジュール202は、ユーザーの位置または身体姿勢などのアクションが変化したときに、対応するパラメータを受け取るよう構成される。サンプリング・モジュール203は、受信されたVRマルチメディアを再生するプロセスにおいて、異なるサンプリング期間に基づいて、複数のパラメータをサンプリングするよう構成される。計算モジュール204は、サンプリングを通じて得られるパラメータに基づいてVRマルチメディアのMOSを決定する。出力モジュール205は、VRマルチメディアの決定されたMOSを出力および表示するよう構成される。計算モジュール204は複数のサブモジュールを含んでいてもよい。たとえば、複数のサブモジュールは、忠実度経験スコア計算モジュール、享受経験スコア計算モジュール、および対話経験スコア計算モジュールであってもよい。
図３は、本発明のある実施形態による端末装置の概略構造図である。図１のシステム・アーキテクチャーにおける端末および図２における端末は、いずれも、図３に示される端末装置を使って実現できる。図３を参照すると、端末装置は、少なくとも一つのプロセッサ301、通信バス302、メモリ303、および少なくとも一つの通信インターフェース304を含む。
プロセッサ301は、汎用の中央処理装置（Central Processing Unit、CPU）、マイクロプロセッサ、特定用途向け集積回路（application-specific integrated circuit、ASIC）、または本願の解決策におけるプログラム実行を制御するための一つまたは複数の集積回路であってもよい。
通信バス302は、上記の構成要素間で情報を伝送する経路を含んでいてもよい。
メモリ303は、静的な情報および命令を記憶することができる読み出し専用メモリ（read-only memory、ROM）もしくは他の型の静的記憶装置、または情報および命令を記憶することができるランダムアクセスメモリ（random access memory、RAM）もしくは他の型の動的記憶装置であってもよく、あるいは電気的に消去可能なプログラマブル読み出し専用メモリ（Electrically Erasable Programmable Read-Only Memory、EEPROM)、コンパクトディスク読み出し専用メモリ（Compact Disc Read-Only Memory、CD-ROM)、または他のコンパクトディスク記憶もしくは光ディスク記憶（圧縮光ディスク、レーザーディスク、光ディスク、デジタル多用途ディスク、ブルーレイディスク等を含む）、磁気ディスク記憶媒体もしくは他の磁気記憶装置、または命令またはデータ構造の形で予期されるプログラム・コードを担持または記憶することができ、コンピュータによってアクセスされることができる他の任意の媒体であってもよい。これは限定されない。メモリ303は、独立して存在してもよく、通信バス302によってプロセッサ301に接続される。メモリ303はまた、プロセッサ301と一体化されてもよい。
通信インターフェース304は、何らかのトランシーバを使用する型の装置であり、他の装置または通信ネットワーク、たとえば、イーサネット、無線アクセスネットワーク（RAN）、または無線ローカルエリアネットワーク（Wireless Local Area Network、WLAN）と通信するように構成される。
ある個別的実装では、ある実施形態において、プロセッサ301は、一つまたは複数のCPU、たとえば、図３に示されるCPU 0およびCPU 1を含んでいてもよい。
ある個別的実装では、ある実施形態において、端末装置は、複数のプロセッサ、たとえば、図３に示されるプロセッサ301およびプロセッサ305を含んでいてもよい。各プロセッサは、シングルコア（single-CPU）プロセッサであってもよく、マルチコア（multi-CPU）プロセッサであってもよい。本稿におけるプロセッサは、データ（たとえばコンピュータ・プログラム命令）を処理するために使用される一つまたは複数の装置、回路、および／または処理コアであってもよい。
ある個別的実装では、ある実施形態において、端末装置は、出力装置306および入力装置307をさらに含んでいてもよい。出力装置306は、プロセッサ301と通信し、複数の仕方で情報を表示してもよい。たとえば、出力装置306は、液晶ディスプレイ（liquid crystal display、LCD）、発光ダイオード（light emitting diode、LED）表示装置、陰極線管（cathode ray tube、CRT）表示装置、またはプロジェクター（projector）であってもよい。入力装置307は、プロセッサ301と通信し、複数の仕方でユーザーの入力を受領することができる。たとえば、入力装置307は、マウス、キーボード、タッチスクリーン装置、または感知装置であってもよい。
端末装置は、汎用端末装置または専用端末装置でありうる。ある個別的実装では、端末装置は、デスクトップコンピュータ、ポータブルコンピュータ、ネットワークサーバー、パームトップコンピュータ（Personal Digital Assistant、PDA）、携帯電話、タブレットコンピュータ、無線端末装置、通信装置、または埋め込み装置であってもよい。本発明の本実施形態において、端末装置の型は限定されない。
メモリ303は、本願の解決策を実行するために使用されるプログラム・コードを記憶するように構成され、プログラム・コードはプロセッサ301の制御下で実行される。プロセッサ301は、メモリ303に記憶されたプログラム・コード308を実行するよう構成される。プログラム・コード308は、一つまたは複数のソフトウェア・モジュール（たとえば、メディア・ストリーム受領モジュール、ユーザー対話的アクション受領モジュール、サンプリング・モジュール、計算モジュール、および出力モジュール）を含んでいてもよい。図１および図２に示される端末は、プロセッサ301と、メモリ303内のプログラム・コード308内の一つまたは複数のソフトウェア・モジュールとを使って、VRマルチメディアの経験品質を決定することができる。
上記の記述に基づき本発明の実施形態で使用される用語およびシステム・アーキテクチャーが説明され、記述された後、下記は、本発明の実施形態の具体的な実装プロセスを詳細に記述する。
本発明の実施形態では、端末は、VRマルチメディアを再生するプロセスにおいて、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータを取得することができる。次いで、端末は、得られた第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、二つの異なる方法を使って、VRマルチメディアのMOSを決定することができる。第一の方法では、端末は、得られたパラメータに基づいて、まず、忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し、さらに、VRマルチメディアのMOSを決定することができる。第二の方法では、端末は、まず、少なくとも二つの知覚次元のそれぞれに対応する経験スコアを計算し、さらに、前記少なくとも二つの知覚次元に対応する少なくとも二つの経験スコアに基づいてVRマルチメディアのMOSを決定することができる。下記は、添付の図面を参照して、二つの方法を詳細に記述する。
本発明の実施形態では、VRマルチメディアのMOSを決定するための第一の方法が、まず図４から図６Ｃを参照して説明され、記述される。図４は、本発明のある実施形態によるVRマルチメディアの経験品質を決定するための方法のフローチャートである。図４に示されるように、本方法は、以下のステップを含む。
ステップ401：VRマルチメディアを再生するプロセスにおいて、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータを取得する。
VRマルチメディアを再生するプロセスにおいて、端末は、VRマルチメディアに対してサンプリングを実行することによって、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータを得ることができる。第一の感覚パラメータ、第二の感覚パラメータ、および端末による第三の感覚パラメータをサンプリングするためのサンプリング周期は、同じであってもよく、または異なっていてもよい。
たとえば、端末は、ピクチャー群（Group of Picture、GoP）を単位として使って一度、第一の感覚パラメータをサンプリングすることができ、あるいは、セグメントを単位として使って一度、第一の感覚パラメータをサンプリングすることができ、あるいは、もちろん、さらに、事前設定されたサンプリング周期を使って第一の感覚パラメータをサンプリングすることができる。別の例として、端末は、ユーザーの位置の変化を検出するときに第三の感覚パラメータを一度サンプリングすることができ、あるいは、事前設定されたサンプリング周期に基づいて、あるいはGoPを単位として使って一度、第三の感覚パラメータをサンプリングしてもよい。換言すれば、端末が第一の感覚パラメータをサンプリングするとき、第二の感覚パラメータまたは第三の感覚パラメータのサンプリング時間は到達しない可能性がある。
ステップ402：VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定する。
VRマルチメディアを再生するプロセスにおいて生起するイベントを単位として使うことにより、端末は、生起しているイベントの終了時に一度、計算をトリガーして、忠実度経験スコア、享受経験スコア、および対話スコアを出力し、その後、忠実度経験スコア、享受経験スコア、および対話経験スコアに基づく結合計算を通じて、そのイベントに対応するVRマルチメディアのMOSを取得することができる。イベントは、享受経験スコアに影響するネットワーク・メディア・イベントであってもよいし、あるいは対話経験スコアに影響する対話的メディア・イベントであってもよい。
さらに、事前設定された単位時間期間を単位として使用することにより、端末は、VRマルチメディアを再生するプロセスにおいて、単位時間期間の終了時に一度、計算をトリガーして、忠実度経験スコア、享受経験スコア、および対話経験スコアを出力し、その後、忠実度経験スコア、享受経験スコア、および対話経験スコアに基づく結合計算を通じて、その単位時間期間に対応するVRマルチメディアのMOSを得ることができる。
また、第一の感覚パラメータのサンプリング時刻が到達した場合、サンプリングを通じて得られる第一の感覚パラメータは、前のサンプリング時刻における第一の感覚パラメータと比較して変化する可能性があるため、端末は、サンプリングを通じて得られた第一の感覚パラメータに基づいて忠実度経験スコアを計算する必要があることを注意しておくべきである。ただし、享受経験スコアは忠実度経験スコアに基づいて決定されるため、忠実度経験スコアが計算を通じて得られた後に、享受経験スコアは、さらに忠実度経験スコアに基づいて決定される必要がある。すなわち、第一の感覚パラメータのサンプリング時刻が到着すると、忠実度経験スコアの計算時間も到着する。しかし、忠実度経験スコアの計算時間が到着するとき、計算がトリガーされてもよく、享受経験スコアおよび／または対話経験スコアが一度出力され、VRマルチメディアのMOSが一度、さらに計算される。
上記の記述からわかるように、感覚パラメータのサンプリング周期が異なる場合には、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて端末によって忠実度経験スコア、享受経験スコア、および対話経験スコアを決定する機会も異なる。さらに、端末は、VRマルチメディアを再生するプロセスにおいて生起するイベントを単位として使用するか、または事前設定された単位時間期間を単位として使用することによって、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを計算することもできる。よって、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを計算する複数の実装がある。これらの実装は、本願の以下の実施形態において議論される。
ステップ403：決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算する。
ステップ402の記述に基づいて、忠実度経験スコア、享受経験スコア、および対話経験スコアの計算が、イベントを単位として使ってトリガーされる場合、そのイベントは、享受経験スコアに影響を与えるイベントであってもよく、または対話経験スコアに影響を及ぼすイベントであってもよく、そのイベントの終了時間は、第一の感覚パラメータのサンプリング時間でなくてもよいため、決定された忠実度経験スコア、享受経験スコア、および対話経験スコアに基づいてVRマルチメディアのMOSを計算する方法も変わりうる。
同様に、忠実度経験スコア、享受経験スコア、および対話経験スコアの計算が、単位時間期間を単位として使ってトリガーされる場合も、決定された忠実度経験スコア、享受経験スコア、および対話経験スコアに基づいて、VRマルチメディアのMOSを計算する複数の方法がある。
また、享受経験スコアおよび対話経験スコアの計算が、忠実度経験スコアの計算時にトリガーされる場合、対話経験スコアに影響を及ぼすイベントが計算時に生起することもあれば生起しないこともあるため、決定された忠実度経験スコア、享受経験スコアおよび対話経験スコアに基づいてVRマルチメディアのMOSを計算する方法も変わりうることを注意しておくべきである。
よって、決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算することの複数の実装も存在する。これらの実装は、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアの前記複数の実装を参照して、本願の以下の実施形態で議論される。
本発明のこの実施形態では、端末は、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、忠実度経験、享受経験、および対話経験についての品質評価を実行するが、没入、複数感覚の統合、およびユーザーとの対話は、まさに、VRマルチメディアを従来のマルチメディアから区別する主な特徴である。よって、本発明のこの実施形態におけるVRマルチメディアの経験品質の決定は、VRマルチメディアの実際の状況により良く適合し、VRマルチメディアの決定される経験品質もより正確である。
ネットワーク・メディア・イベントは、ネットワーク条件の影響により生起するイベントである。ネットワーク状態が比較的良好な場合に生起する正常再生イベントは、ネットワーク・メディア・イベントである。比較的劣悪なネットワーク条件のために生成されるフリーズ・イベントおよびメディア品質変化イベントも、ネットワーク・メディア・イベントである。しかしながら、対話的メディア・イベントはこれとは異なり、対話的メディア・イベントは、ユーザーと端末の間に対話がある場合にのみ生起する。VRマルチメディアを再生するプロセスにおいて、ネットワーク・メディア・イベントが生起するとき、ユーザーと端末との間の対話がないため、対話的メディア・イベントが存在しないことがある。あるいはまた、ユーザーと端末との間の対話によって引き起こされる対話的メディア・イベントが生起するとき、ネットワーク条件の変化に起因するネットワーク・メディア・イベントが存在しない可能性があるため、ネットワーク・メディア・イベントは生起しない。上記の記述に基づき、ステップ402および403の記述を参照し、図５Ａ〜図５Ｃを参照して、下記は、現在時刻が異なるケースに対応するときにイベントを単位として使って、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し、さらにVRマルチメディアのMOSを決定する実装プロセスを記述する。
図５Ａは、本発明のある実施形態による、イベントを単位として使って、VRマルチメディアのMOSを決定する方法のフローチャートである。図５Ａに示されるように、本方法は、以下のステップを含む。
ステップ501a：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定する。
VRマルチメディアのMOSがイベントを単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起しているなら、第一の感覚パラメータが変化している可能性があるため、端末は、第一の感覚パラメータに基づいて、現在時刻における忠実度経験スコアを計算することができる。
現在時刻での忠実度経験スコアが第一の感覚パラメータに基づいて計算されるとき、端末は、少なくとも二つの知覚次元における忠実度経験スコアを、それぞれ第一の感覚パラメータにおいて前記少なくとも二つの知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて計算し、次いで、前記少なくとも二つの知覚次元における忠実度経験スコアに基づいて、VRマルチメディアの忠実度経験スコアを決定することができる。前記少なくとも二つの知覚次元は、視覚次元および聴覚次元を含んでいてもよく、もちろん、フィードバック次元をさらに含んでいてもよい。前記少なくとも二つの知覚次元が視覚次元および聴覚次元である場合には、端末は、次の態様(1)および(2)でそれぞれ視覚的忠実度経験スコアおよび聴覚的忠実度経験スコアを計算し、最後に、計算を通じて得られた視覚的忠実度経験スコアおよび聴覚的忠実度経験スコアに基づいて態様(3)で、現在時刻でのVRマルチメディアの忠実度経験スコアを計算することができる。
(1)視覚的忠実度経験スコアを計算する態様
端末は、まず、複数の記憶された視覚的忠実度経験スコア計算モデルから、サンプリングを通じて得られた第一の感覚パラメータにおける視覚次元における複数のビデオ属性情報に基づいて、前記複数のビデオ属性情報に対応する視覚的忠実度経験スコア計算モデルを選択し；次いで、現在時刻におけるサンプリングを通じて得られた第一の感覚パラメータにおける複数のビデオ・パラメータを入力パラメータとして使って、選択された視覚的忠実度経験スコア計算モデルを用いて、現在時刻における視覚的忠実度経験スコアを計算してもよい。複数のビデオ属性情報は、投影フォーマット、ビデオ符号化フォーマット、ステレオ度、および自由度を含む。複数のビデオ・パラメータは、ビデオ・ビットレート、全視野解像度、時間複雑性、空間複雑性、および視野を含む。
具体的には、複数の記憶された視覚的忠実度経験MOS計算モデルは、式5a-1によって一様に表すことができる。
Figure 2022003555
 ここで、fi()は種々の形の関数、bitrate_vはビデオ・ビットレート、resolution_vは全視野解像度、fps_vはビデオ・フレームレート、TIは時間複雑性、SIは空間複雑性、FOVhは端末の水平視野、FOVvは端末の垂直視野、iは複数のビデオ属性情報によって形成されるベクトル、projection_vは投影フォーマット、codec_vは符号化フォーマット、stereo_vはステレオ度、DoF_vは自由度である。
なお、投影フォーマットprojection_vは、正距円筒投影（Equirectangular projection、ERP）フォーマットであってもよく、または、立方体（Cube）投影のような投影フォーマットであってもよく、符号化フォーマットcodec_vは、AVCまたはHEVCのような符号化フォーマットであってもよく、ステレオ度stereo_vは、単眼ビデオまたは両眼ステレオ・ビデオであってもよく、自由度DoF_vは、3自由度または6自由度であってもよい。複数個のビデオ属性情報は異なる値を有していてもよいので、複数個のビデオ属性情報に基づいて複数の異なるベクトルiが形成されてもよく、異なるベクトルiに基づいて、視覚的忠実度経験スコアを計算するために異なるfi()が選択されてもよい。
さらに、fi()は以下の関数形で示すことができる。
Figure 2022003555
 ここで、v1、v2、v3は異なるベクトルiに基づく異なる対応する値に設定されてもよく、すなわち、異なるベクトルiが異なる値をもつv1、v2、v3に対応し、MOSvはVRマルチメディアのビデオ品質を表わす中間変数である。
時間複雑性および空間複雑性によって形成されるコンテンツ複雑性を考慮しない場合、MOSvは以下の式5a-3を用いて計算することができる。
Figure 2022003555
 ここで、v4、v5、v6は異なるベクトルiに基づいて異なる対応する値に設定されてもよく、すなわち、異なるベクトルiが異なる値をもつv4、v5、v6に対応する。BPDは中間変数であり、水平方向の視野の各度におけるエンコードされるビットの量を示すために使用され、式5a-4を使った計算を通じて得られる：
Figure 2022003555
BPPは、ピクセル当たりのエンコードされるビットの量であり、resolution_v_hは水平方向の全視野解像度であり、全視野解像度resolution_vを分解することによって得られ、BPPは式5a-5を使って計算されうる。
Figure 2022003555
BPFは中間変数であり、ビデオ・ピクチャー内のフレーム当たりのエンコードされるビット数を示すために使用され、resolution_v_vは垂直方向の全視野解像度であり、全視野解像度resolution_vを分解することによって得られ、中間変数BPFは、式5a-6を使って計算されうる。
Figure 2022003555
VRマルチメディアのビデオ・コンテンツ複雑性を考慮する場合、MOSvは式5a-7を使って計算することができる。
Figure 2022003555
BPDの計算については、コンテンツ複雑性が考慮されない場合のBPDを計算する態様を参照されたい。VCCは、時間複雑性および空間複雑性によって合同して決定されるVRマルチメディアのビデオ・コンテンツ複雑性である。VCCは式5a-8を使って計算することができる。
Figure 2022003555
(2)聴覚的忠実度経験スコアを計算する態様
端末は視覚的忠実度経験スコアだけでなく、聴覚的忠実度経験スコアも計算する必要がある。端末は、サンプリングを通じて得られた第一の感覚パラメータにおける複数のオーディオ属性情報に基づいて、複数の記憶された聴覚的忠実度経験スコア計算モデルから、現在時刻での複数のオーディオ属性情報に対応する聴覚的忠実度経験スコア計算モデルを選択し；現在時刻での第一の感覚パラメータに含まれる少なくとも一つのオーディオ・パラメータを入力パラメータとして使って、選択された聴覚的忠実度経験スコア計算モデルを用いて、現在時刻での聴覚的忠実度経験スコアを計算してもよい。複数個のオーディオ属性情報は、オーディオ・サンプリング・レート、立体音響、およびオーディオ符号化フォーマットを含む。少なくとも一つのオーディオ・パラメータは、オーディオ・ビットレートを含む。
具体的には、複数の記憶された聴覚的忠実度経験スコア計算モデルは、式5a-9によって一様に表わすことができる。
Figure 2022003555
 ここで、fj()は種々の形の関数であり、bitrate_aはオーディオ・ビットレートである。jは複数のオーディオ属性情報によって形成されるベクトルであり、freq_aはオーディオ・サンプリング・レート、codec_aはオーディオ符号化フォーマット、stereo_aはオーディオ・ステレオ度である。
なお、オーディオ・サンプリング・レートfreq_aの値範囲は23kHzないし48kHzであってもよく、オーディオ符号化フォーマットcodec_aはMP3またはMPEG-Hのような符号化フォーマットであってもよく、オーディオ・ステレオ度stereo_aはステレオサウンドであってもよく、または立体音響であってもよい。複数個のオーディオ属性情報は異なる値を有してもよいので、複数個のオーディオ属性情報に基づいて複数の異なるベクトルjが形成されてもよく、異なるベクトルjに基づいて、聴覚的忠実度経験スコアを計算するために異なるfj()が選択されてもよい。
さらに、fj()は以下の関数形で示すことができる。
Figure 2022003555
 ここで、v7、v8は異なるベクトルjに基づいて異なる対応する値に設定されてもよく、すなわち、異なるベクトルv7が異なる値をもつv7およびv8に対応し、MOSaはVRマルチメディアのオーディオ品質を表わす中間変数であり、MOSaは式5a-11を使って計算することができる。
Figure 2022003555
 ここで、v9、v10、v11は異なるベクトルjに基づいて異なる対応する値に設定されてもよい。すなわち、異なるベクトルjが異なる値をもつv9、v10、v11に対応する。
(3)VRマルチメディアの忠実度経験スコアを、現在時刻における視覚忠実度経験スコアおよび聴覚的忠実度経験スコアに基づいて決定する。
上記の(1)および(2)の方法を用いてVRマルチメディアの視覚的忠実度経験スコアおよび聴覚的忠実度経験スコアを決定した後、端末は、決定された視覚的忠実度経験スコアおよび聴覚的忠実度経験スコアを入力パラメータとして用い、式5a-12に示される計算モデルを用いて計算を実行して、VRマルチメディアの忠実度経験スコアを得ることができる。
Figure 2022003555
前記少なくとも二つの知覚次元は、この実施形態では視覚次元および聴覚次元である、すなわち、他の次元は存在しないため、式5a-12における他の次元における忠実度経験スコアsFidelityoptionalは0であるが、視覚忠実度経験スコアsFidelityvisualおよび聴覚的忠実度経験スコアsFidelityacousticは、(1)および(2)の計算を通じて得られる視覚忠実度経験スコアおよび聴覚的忠実度経験スコアである。また、上式におけるv12ないしv19はみな事前設定されたパラメータである。
忠実度経験スコアを決定した後、ネットワーク・メディア・イベントまたは対話的メディア・イベントが現在時刻において生起しているため、端末は、現在時刻に生起しているイベントに基づいて対応する経験スコアを計算することができる。現在時刻に生起しているイベントがネットワーク・メディア・イベントである場合、ステップ502aが実行され；あるいは現在時刻に生起しているイベントが対話的メディア・イベントである場合、ステップ503aが実行される。
ステップ502a：現在時刻に生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定する。
享受経験スコアは、忠実度経験スコアに基づいているため、忠実度経験スコアが変化すれば、享受経験スコアも変化する。よって、この場合、端末は、現在決定された忠実度経験スコア、現在時刻に対応する第二の感覚パラメータ、および前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、享受経験スコアを計算することができる。しかしながら、対話経験スコアについては、対話的メディア・イベントは現在時刻において生起していないため、端末は対話経験スコアを計算せず、対話経験スコアを初期値に設定することができる。初期値は0であってもよいし、あるいは別の値であってもよい。
ネットワーク・メディア・イベントは現在時刻において生起しているが、現在時刻は第二の感覚パラメータのサンプリング時間ではない可能性があることを注意しておくべきである。よって、享受経験スコアが、現在決定された忠実度経験スコア、現在時刻に対応する第二の感覚パラメータ、および前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて計算されるとき、現在時刻に対応する第二の感覚パラメータにおけるネットワーク・メディア・イベントの型は、サンプリングを通じて最近得られた第二の感覚パラメータにおけるネットワーク・メディア・イベントの型であってもよいが、第二の感覚パラメータに含まれる第一の継続時間は、現在時刻に基づいて対応して更新されてもよい。
具体的には、端末が、現在決定された忠実度経験スコアおよび第二の感覚パラメータに基づいて、現在時刻における享受経験スコアを決定するとき、計算態様は、現在時刻において生起している種々のネットワーク・メディア・イベントにも依存して対応して変化し、享受経験に影響を与える。具体的には、ネットワーク・メディア・イベントの典型的な型は、再生イベント、フリーズ・イベント、およびメディア品質変化イベントを含みうるため、上記三つの型のイベントに対応する具体的な計算態様が、この実施形態において主として記述される。
また、本願においては、忠実度経験スコアは実際に、VRマルチメディアに基づいて決定される理想的なスコアであるが、享受経験スコアは、ネットワーク条件の変化に起因する関係したイベントによって引き起こされる、理想的なスコアの障害の変動を反映する。すなわち、享受経験スコアについて、MOS変動が計算される。
なお、ネットワーク・メディア・イベントにおける再生イベント、フリーズ・イベント、およびメディア品質変化イベントが生起すると、視覚次元および聴覚次元の両方が影響を受けるため、演算効率を向上させるため、本実施形態では、享受経験スコアが決定されるとき、視覚次元における享受経験スコアおよび聴覚次元における享受スコアはもはや別個に計算されるのではなくてもよく、代わりに、視覚次元および聴覚次元の組み合わせにおいて享受経験スコアが計算される。もちろん、端末は、視覚次元に対応する視覚享受経験スコアと、聴覚次元に対応する聴覚享受経験スコアとを別々に計算し、計算を通じて得られた視覚次元の享受経験スコアと聴覚次元の享受経験スコアとに基づいて、VRマルチメディアの享受経験スコアを決定することもできる。
(1)現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型が再生イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる第一の継続時間、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベント終了時のVRマルチメディアのMOSを入力パラメータとして使って、再生イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算する。
第一の継続時間は、ネットワーク・メディア・イベントの継続時間である。現在時刻に生起しているネットワーク・メディア・イベントが再生イベントである場合、端末は現在時刻までの再生イベントの継続時間を前記第一の継続時間として取得し、使用してもよい。さらに、現在時刻が第一の感覚パラメータのサンプリング時刻でない場合、端末は、現在時刻より前に最近決定された忠実度経験スコアを、現在時刻における忠実度経験スコアとして取得し、使用することができる；または、現在時刻が第一の感覚パラメータのサンプリング時刻である場合、現在時刻における計算を通じて得られた忠実度経験スコアが、現在決定された忠実度経験スコアである。さらに、VRマルチメディアのMOSがイベントを単位として使って計算される場合、端末は、前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSをさらに取得してもよい。得られた第一の継続時間、忠実度経験スコア、および前回のネットワーク・メディア・イベントにおけるVRマルチメディアのMOSに基づいて、端末は、式5a-13を使って、現在時刻における再生イベントに対応するMOS変動、すなわち、現在時刻における再生イベントに対応する享受経験スコアを計算することができる。
Figure 2022003555
 ここで、ΔMOSn ppは、n番目のイベントが再生イベントであるときの対応するMOS変動であり、sFidelitynは現在決定された忠実度経験スコアであり、VR−MOSn-1は前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSであり、tnは前記第一の継続時間である。
(2)現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がフリーズ・イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる第一の継続時間、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベント終了時のVRマルチメディアのMOSを入力パラメータとして使って、フリーズ・イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算する。
現在時刻において生起しているネットワーク・メディア・イベントがフリーズ・イベントである場合、端末は、フリーズ・イベントの第一の継続時間、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベント終了時のVRマルチメディアのMOSに基づいて、次の計算モデルを用いて、現在時刻におけるフリーズ・イベントに対応する享受経験スコアを計算することができる。
Figure 2022003555
 ここで、ΔMOSn prは、n番目のイベントがフリーズ・イベントである場合の対応するMOS変動であり、sFidelitynは現在決定された忠実度経験スコアであり、VR−MOSn-1は前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSであり、tnは前記第一の継続時間である。
(3)現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がメディア品質変化イベントである場合、現在決定された忠実度経験スコアと、現在時刻より前に最近決定された忠実度経験スコアとの間の差を、VRマルチメディアの享受経験スコアとして決定する。
メディア品質変化イベントは通例、ある瞬間に生起し、一般に、VRマルチメディアのセグメント間の切り換えの瞬間に生起するため、メディア品質変化イベントが決定される場合には継続時間は考慮されないが、現在決定された忠実度経験スコアと、現在時刻より前に最近決定された忠実度経験スコアとの間の差は、メディア品質変化イベントに対応するVRマルチメディアの享受経験スコアとして決定される。
さらに、メディア品質変化イベントは、メディア品質改善イベントであることもあり、あるいはメディア品質劣化イベントであることもある。メディア品質変化イベントがメディア品質改善イベントである場合、すなわち、現在決定された忠実度経験スコアが、現在時刻より前に最近決定された忠実度経験スコアよりも大きい場合、計算を通じて得られる享受経験スコアは正の数である。メディア品質変化イベントがメディア品質劣化イベントである場合、すなわち、現在決定された忠実度経験スコアが、現在時刻より前に最近決定された忠実度経験スコアよりも小さい場合、計算によって得られる享受経験スコアは負の数である。
異なるネットワーク・メディア・イベントについて、本実施形態では、享受経験スコアを計算する対応する態様が別個に説明される。これに基づいて、本願においてVRマルチメディアを再生するプロセスにおいて、再生と計算が同時に実行されることも注意しておく。したがって、VRマルチメディアのMOSがイベントを単位として計算される場合、端末は、どの時点でネットワーク・メディア・イベントが終了するかを予測することができない。したがって、端末は、VRマルチメディアを再生するプロセス全体において、ネットワーク・メディア・イベント・カウンタを設定することができる。VRマルチメディアの再生を開始する初期時刻において、ネットワーク・メディア・イベント・カウンタは0に初期化される。VRマルチメディアの再生を開始する初期時刻は初期ロード時間であるため、初期ロード・イベントがイベント0に設定されてもよいが、初期ロード・イベント後の最初の通常再生イベントはイベント1に設定され；その後、ネットワーク・メディア・イベントが生起するたびに、ネットワーク・メディア・イベント・カウンタにおけるイベントnにおけるnはn+1に更新される。各イベントnについて、端末は、イベントnが開始するときに、イベントnの第一の継続時間を0に設定することができる。イベントnのMOS変動が現在時刻において計算される必要がある場合、第一の継続時間は現在時刻に基づいて更新され、イベントnに対応するMOS変動は第一の継続時間に基づいて計算される。現在時刻がイベントnの終了時刻であるが、端末が現在時刻がイベントnの終了時刻であることを知らない場合、端末は、現在時刻の次の時刻におけるネットワーク・メディア・イベントの型に基づいて、現在時刻がイベントnの終了時刻であることを決定する。また、対応して、次回ネットワーク・メディア・イベントの型の変化を検出するときに、端末はまた、イベントnをイベントn＋1に更新し、対応してイベントn＋1の第一の継続時間を初期値に設定する。
たとえば、VRマルチメディアが三つのセグメントを含んでおり、各セグメントの継続時間がt1秒であり、初期ロード・イベントはVRマルチメディアの再生を開始した初期時刻に生起し、該初期ロード・イベントはt2秒間続き；次いで、通常再生時間が到着するが；再生中に第一のセグメントの第t3秒目にフリーズ・イベントが生起し、フリーズ・イベントはt4秒間継続し；次いで、第二のセグメントから第三のセグメントへの切り換えの間にメディア品質変化イベントが生起するとする。VRマルチメディアを再生するプロセスからわかるように、イベント0は、初期ロード・イベントであり、t2秒間続き；イベント1は、再生イベントであり、t3秒間続き；イベント2は、フリーズ・イベントであり、t4秒間続き；イベント3は、再生イベントであり、イベント3の継続時間は、第一のセグメントが再生される第t3秒目にフリーズ・イベントが生起するため、完全には再生されなかったt1−t3を含み、さらに、第二のセグメントの継続時間全体のt1を含み、したがって、イベント3の継続時間は、t1−t3＋t1秒間である。VRマルチメディアのMOSが、VRマルチメディアを再生するプロセスにおいてイベントを単位として計算される場合、各イベントについて、ネットワーク・メディア・イベントに対応する上記の計算モデルを用いて、対応する継続時間に基づいて計算を通じて、享受経験スコアを得ることができる。
ステップ503a：現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定する。
現在時刻において生起しているイベントが対話的メディア・イベントである場合、忠実度経験スコアが更新されるため、VRマルチメディアのMOSの計算が現在時刻においてトリガーされる。よって、端末は、現在時刻における対話経験スコアを決定する必要がある。また、現在時刻においてはネットワーク・メディア・イベントは生起していないため、端末は享受経験スコアを初期値に設定してもよい。
さらに、対話的メディア・イベントは現在時刻において生起しているが、現在時刻は対話的メディア・イベントのサンプリング時間ではない可能性がある。対話経験スコアが第三の感覚パラメータに基づいて決定される場合、現在時刻に対応する第三の感覚パラメータにおける対話的メディア・イベントの型は、サンプリングを通じて最近得られた第三の感覚パラメータにおける対話的メディア・イベントの型であってもよいが、第三の感覚パラメータに含まれる第二の継続時間は、現在時刻に基づいて対応して更新されてもよい。
本願において、対話経験スコアは、ユーザーとの対話に起因する関係したイベントによって引き起こされる理想的なスコアの障害の変動を主に反映すること、すなわち、対話経験スコアについてMOS変動が計算されることを注意しておく。さらに、対話経験は主にユーザーとの対話により生成されるため、対話経験スコアは、忠実度経験スコアとは関係しない。すなわち、対話経験スコアが計算されるときは、忠実度経験スコアは考慮される必要はないことがあり、計算は第二の継続時間のみに基づいて実行すればよい。第二の継続時間は、対話的メディア・イベントの継続時間である。さらに、対話経験スコアに影響する典型的なイベントは、主に、初期ロード・イベント、対話的ロード・イベント、またはメディア・ヒステリシス・イベントを含む。よって、上記のいくつかのイベントについては、本実施形態では、対話経験スコアを計算する対応する態様が別個に記述される。
(1)初期ロード・イベントは、VRマルチメディアの再生を開始する初期時点において生起しているメディア・バッファリングである。現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型が初期ロード・イベントである場合、端末は、計算モデル5a-15を使って、初期ロード・イベントに対応する対話経験スコアを計算することができる。
Figure 2022003555
 ここで、ΔMOSn ilは初期ロード・イベントによって引き起こされるMOS変動、すなわち、現在時刻における初期ロード・イベントに対応する対話経験スコアであり、tinitは初期ロード・イベントに対応する第二の継続時間である。
(2)対話的ロード・イベントは、ユーザー操作に起因するシーン切り換えにおけるロードである。現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型が対話的ロード・イベントである場合、端末は、計算モデル5a-16を使って、対話的ロード・イベントに対応する対話経験スコアを計算することができる。
Figure 2022003555
 ここで、ΔMOSn olは、対話型ロード・イベントによって引き起こされるMOS変動、すなわち、現在時刻における対話型ロード・イベントに対応する対話経験スコアであり、tloadingは対話型ロード・イベントに対応する第二の継続時間である。
(3)メディア・ヒステリシス・イベントは、メディア更新とユーザー・アクションに起因するアクションとの間で生起するヒステリシス・イベントであり、ユーザー・アクションは、ユーザーの位置または身体の姿勢もしくは頭部の回転の変化などのアクションであってもよい。現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型がメディア・ヒステリシス・イベントである場合、端末は、計算モデル5a-17を使って、メディア・ヒステリシス・イベントに対応する対話経験スコアを計算することができる。
Figure 2022003555
 ここで、ΔMOSn dmはメディア・ヒステリシス・イベントによって引き起こされるMOS変動、すなわち、現在時刻におけるメディア・ヒステリシス・イベントに対応する対話経験スコアであり、MOSmは中間変数であり、式5a-18を使った計算を通じて得られる。
Figure 2022003555
 ここで、tdはメディア・ヒステリシス・イベントに対応する第二の継続時間である。
上記(1)〜(3)に記載した方法を用いることにより、異なる対話的メディア・イベントに対応する対話経験スコアがそれぞれ決定されることができる。また、本願では、VRマルチメディアを再生するプロセスにおいて、再生および計算が同時に実行されることも注意しておくべきである。よって、VRマルチメディアのMOSがイベントを単位として使って計算される場合、端末は、対話的メディア・イベントが終了する時点を前もって予測することができない。よって、端末は、VRマルチメディアを再生するプロセス全体において、対話的メディア・イベント・カウンタを設定することができる。具体的には、対話的メディア・イベント・カウンタを設定し、イベント・カウンタを更新する態様については、上記のステップ502aにおけるネットワーク・メディア・イベント・カウンタに関する記述を参照されたい。本実施形態において再度詳細を述べることはしない。
ステップ504a：現在時刻において決定されたVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算する。
忠実度経験スコア、享受経験スコア、および対話経験スコアを決定した後、端末は、忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算することができる。
事前設定されたVRマルチメディアMOS計算モデルは、線形計算モデルであってもよく、あるいは非線形計算モデルであってもよいことを注意しておくべきである。具体的には、線形計算モデルは式5a-19に示され、非線形計算モデルは式5a-20に示される。
Figure 2022003555
Figure 2022003555
 ここで、f(sFidelity,sEnjoyment,sInteraction)はVRマルチメディアのMOSであり、sFidelityはVRマルチメディアの忠実度経験スコアであり、sEnjoymentはVRマルチメディアの享受経験スコアであり、sInteractionはVRマルチメディアの対話経験スコアである。
関数g(sEnjoyment,sInteraction)は、線形関数であってもよく、あるいは非線形関数であってもよい。関数g(sEnjoyment,sInteraction)が線形関数である場合、関数は、式5a-21によって示されてもよい。
Figure 2022003555
関数g(sEnjoyment,sInteraction)が非線形関数である場合、関数は、式5a-22によって示されてもよい。
Figure 2022003555
 ここで、αおよびβは事前設定されたパラメータである。
本発明のこの実施形態では、忠実度経験スコアが決定されるときに、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータの、忠実度経験に対する影響が考慮される。したがって、これに基づいて決定される忠実度経験スコアもより正確である。さらに、享受経験スコアの決定は、現在のイベント期間におけるイベントの性質に関係するだけでなく、前のイベントに対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスにおいて生起する、前のイベントの影響を考慮することと等価である。よって、決定される享受経験スコアは、より包括的であり、より正確である。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合に、イベントを単位として使って、VRマルチメディアのMOSを決定する方法が図5Aに記載されている。図5Bを参照して、以下では、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが同時に生起している場合に、イベントを単位として使って、VRマルチメディアのMOSを決定する方法を記述する。
図5Bは、本発明のある実施形態による、イベントを単位として使って、VRマルチメディアのMOSを決定する別の方法のフローチャートである。図5Bに示されるように、本方法は、以下のステップを含む。
ステップ501b：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定する。
上記の記述に基づき、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、かつ、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において同時に生起している場合、端末は、忠実度経験スコアおよび享受経験スコアに加えて、対話経験スコアをさらに計算する必要がある。
端末によって忠実度経験スコアを計算する態様については、忠実度経験スコアを計算するステップ501aに関する記述を参照されたい。端末によって享受経験スコアを決定する態様については、享受経験スコアを計算するステップ502aに関する記述を参照されたい。さらに、端末によって対話経験スコアを決定する態様については、対話経験スコアを計算するステップ503aに関する記述を参照されたい。本発明のこの実施形態では、詳細を再度説明することはしない。
ステップ502b：現在時刻において決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算する。
現在時刻において決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算することの具体的な実装については、ステップ504aを参照されたい。本発明のこの実施形態では、詳細を再度説明することはしない。
本発明のこの実施形態では、忠実度経験スコアが決定されるときに、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータの、忠実度経験に対する影響が考慮される。したがって、これに基づいて決定される忠実度経験スコアもより正確である。さらに、享受経験スコアの決定は、現在のイベント期間におけるイベントの性質に関係するだけでなく、前のイベントに対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスにおいて生起する、前のイベントの影響を考慮することに等しい。よって、決定された享受経験スコアは、より包括的であり、より正確である。加えて、対話的メディア・イベントが現在時刻において生起しているので、端末は対話経験スコアを計算して、現在時刻に対応するVRマルチメディアのMOSを決定することができる。すなわち、端末は、対話経験スコアも対応して更新する。よって、VRマルチメディアのMOSの精度が改善される。
現在時刻が第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントおよび／または対話的メディア・イベントが生起している場合にVRマルチメディアのMOSを決定する諸実装プロセスが、図5Aおよび図5Bを参照して上記で別個に記述される。上記の二つの場合に加えて、端末はさらに、生起しているイベントの終了時に、計算をトリガーして忠実度経験スコア、享受経験スコア、および対話スコアを出力してもよく、さらに、忠実度経験スコア、享受経験スコア、および対話経験スコアに基づいた統合計算を通じて、イベントに対応するVRマルチメディアのMOSを取得することができる。詳細は図5Cに示されている。
ステップ501c：イベントを単位として使ってVRマルチメディアの享受経験スコアおよび対話経験スコアを決定する。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達しない場合、端末は、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起しているかどうか、および生起しているイベントが終了するかどうかに依存して、三つの場合においてVRマルチメディアの享受経験スコアおよび対話経験スコアを決定することができる。
第一の場合：現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、ネットワーク・メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定する。
VRマルチメディアの享受経験スコアの計算は、さらに、現在時刻での忠実度経験スコアに依存する必要があるが、現在時刻は、忠実度経験スコアの計算時間ではない、すなわち、現在時刻での計算を通じて忠実度経験スコアは得られないので、この場合、端末は、現在時刻より前に最近決定された忠実度経験スコアを得て、享受経験スコアを計算するための入力パラメータとして使用することができる。さらに、端末は、前回のネットワーク・メディア・イベントの終了時にVRマルチメディアのMOSをさらに取得し、取得した忠実度経験スコアおよびサンプリングを通じて取得した第二の感覚パラメータを参照した計算を通じ得、VRマルチメディアの享受経験スコアを取得することができる。
現在時刻において対話的メディア・イベントは生起していないため、端末は対話経験スコアを初期値に設定することができる。
第二の場合：現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定する。
現在時刻が対話的メディア・イベントの終了時刻である場合、VRマルチメディアの対話経験スコアの計算がトリガーされ、さらにVRマルチメディアのMOSの計算がトリガーされる。
VRマルチメディアの対話経験スコアの計算については、ステップ503aにおける対話経験スコアの計算の態様を参照されたい。ネットワーク・メディア・イベントが生起していないため、VRマルチメディアの享受経験スコアは初期値に設定されてもよい。
第三の場合：現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、かつ、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが原罪時効において検出される場合、現在の時点に対応する第二の感覚パラメータ、現在の時点より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定する。
ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において同時に生起している場合、生起しているイベントの一つが終了する限り、VRマルチメディアの享受経験スコアと対話経験スコアの計算がトリガーされ、さらに、VRマルチメディアのMOSの計算がトリガーされる。
VRマルチメディアの享受経験スコアの計算については、ステップ502aの享受経験スコアの計算を参照されたい。VRマルチメディアの対話経験スコアの計算については、ステップ503aの対話経験スコアを決定する方法を参照されたい。
ステップ502c：現在時刻より前に最近決定された忠実度経験スコアと、現在時刻において決定された享受経験スコアおよび対話経験スコアとを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算する。
現在時刻において忠実度経験スコアは計算されないため、端末は、現在時刻より前に最近決定された忠実度経験スコアと、現在時刻において決定された享受経験スコアおよび対話経験スコアとを、VRマルチメディアのMOSを計算するための入力パラメータとして使用することができる。入力パラメータに基づいて、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算する方法については、ステップ504aの対応する方法を参照されたい。
本発明のこの実施形態では、現在時刻が第一の感覚パラメータのサンプリング時刻に達しないため、忠実度経験スコアは変化しない。よって、端末は、直接的に忠実度経験を得ることができ、演算の量が減少する。さらに、享受経験スコアの決定は、現在のイベント期間におけるイベントの性質に関係するだけでなく、前のイベントに対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスにおいて生起する、前のイベントの影響を考慮することに等しい。よって、決定された享受経験スコアは、より包括的であり、より正確である。加えて、対話的メディア・イベントが現在時刻に生起しているので、端末は、現在時刻に対応するVRマルチメディアのMOSを決定するために、対話経験スコアを計算することができる。すなわち、端末は、対応して対話経験スコアをも更新する。よって、VRマルチメディアのMOSの精度が改善される。
イベントを単位として使ってVRマルチメディアのMOSを決定するための三つの方法が、図5Aから図5Cを参照して上述されている。同様に、現在時刻が異なる場合に対応するときの、単位時間期間を単位として使ってVRマルチメディアのMOSを決定する三つの方法も存在する。図6A〜図6Cを参照して、下記は、単位時間期間を単位として使って、VRマルチメディアのMOSを決定するための三つの方法を記述する。
図6Aは、本発明のある実施形態による、単位時間期間を単位として使って、VRマルチメディアのMOSを決定する方法である。図6Aに示されるように、本方法は、以下のステップを含む。
ステップ601a：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定する。
単位時間期間を単位として使ってVRマルチメディアのMOSが決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達すると、端末は、サンプリングを通じて得られた第一の感覚パラメータに基づいて対応する忠実度経験スコアを計算することができる。サンプリングを通じて得られた第一の感覚パラメータに基づいて端末による忠実度経験スコアを計算する態様については、ステップ501aにおける忠実度経験スコアを計算する態様を参照されたい。
端末が計算を通じて忠実度経験スコアを取得した後、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起しているため、端末は、現在時刻に生起しているイベントに基づいて対応する経験スコアを計算することができる。現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、ステップ602aが実行される；あるいは、現在時刻において生起しているイベントが対話的メディア・イベントである場合、ステップ603aが実行される。
ステップ602a：現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時のVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定する。
現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合には、忠実度経験スコアが決定された後、VRマルチメディアのMOSが単位時間期間を単位として使って決定されるため、端末は、前の単位時間期間の終了時におけるVRマルチメディアのMOSを取得し、現在時刻での享受経験スコアを計算するための入力パラメータとして使用することができる。さらに、端末は、現在時刻に対応する第二の感覚パラメータおよび現在決定された忠実度経験スコアを参照して、VRマルチメディアの享受経験スコアを計算する必要がある。
端末によって忠実度経験スコアを具体的な態様については、ステップ501aに記載される忠実度経験スコアを計算する態様が参照されうることを注意しておくべきである。
また、端末によって享受経験スコアの計算する態様において、上記のステップ502aで入力される前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSが、前回の単位時間期間の終了時におけるVRマルチメディアのMOSに変更される必要があるだけであり、対応する残りの部分が参照されてもよい。本発明のこの実施形態では、詳細を再度説明することはしない。
ステップ603a：現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定する。
現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定する態様については、ステップ503aにおける対話経験スコアを計算する態様を参照されたい。また、現在時刻においてネットワーク・メディア・イベントが生起していないため、享受経験スコアは初期値に設定されてもよい。
ステップ604a：現在時刻において決定されたVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算する。
現在時刻において決定されたVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算する。ための方法については、ステップ504aを参照されたい。
本発明のこの実施形態では、忠実度経験スコアが決定されるときに、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータの、忠実度経験に対する影響が考慮される。したがって、これに基づいて決定される忠実度経験スコアもより正確である。さらに、享受経験スコアの決定は、現在の単位時間期間にイベントが生起しているかどうかだけでなく、前の単位時間期間に対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスにおいて生起している、前のイベントの影響を考慮することに等しい。よって、決定される享受経験スコアは、より包括的であり、より正確である。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合に、単位時間期間を単位として使ってVRマルチメディアのMOSを決定する方法が図6Aに記載されている。図6Bを参照して、下記は、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが同時に生起している場合に、単位時間期間を単位として使って、VRマルチメディアのMOSを決定する方法を記述する。
図6Bは、本発明のある実施形態による、単位時間期間を単位として使って、VRマルチメディアのMOSを決定する別の方法のフローチャートである。図6Bに示されるように、本方法は、以下のステップを含む。
ステップ601b：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定する。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、ネットワーク・メディア・イベントと対話的メディア・イベントが現在時刻において同時に生起している場合、端末は、忠実度経験スコアおよび享受経験スコアに加えて、対話経験スコアをさらに計算する必要がある。
端末によって享受経験スコアの計算方法については、ステップ602aの記述を参照されたい。さらに、現在時刻において対話的メディア・イベントは生起しているが、現在時刻は対話的メディア・イベントのサンプリング時間ではない可能性がある。対話経験スコアが第三の感覚パラメータに基づいて決定される場合、現在時刻に対応する第三の感覚パラメータにおける対話的メディア・イベントの型は、サンプリングを通じて最近得られた第三の感覚パラメータにおける対話的メディア・イベントの型であってもよいが、第三の感覚パラメータに含まれる継続時間は、現在時刻に基づいて対応して更新されてもよい。
端末によって忠実度経験スコアおよび対話経験スコアを計算する具体的な態様については、それぞれ、ステップ501aに記載される忠実度経験スコアを計算する態様およびステップ503aにおける対話経験スコアを計算する態様を参照されたい。本発明のこの実施形態では、詳細を再度説明することはしない。
また、端末によって享受経験スコアを計算する具体的な態様については、上記のステップ502aで説明した享受経験スコアを計算するために入力される、前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSが、前回の単位時間期間の終了時におけるVRマルチメディアのMOSに変更される必要があるだけであり、対応する残りの部分については参照すればよい。本発明のこの実施形態では、詳細を再度説明することはしない。
ステップ602b：現在時刻において決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いて、VRマルチメディアのMOSを計算する。
現在時刻において決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いて、VRマルチメディアのMOSを計算することの具体的な実装については、ステップ504aを参照されたい。本発明のこの実施形態では、詳細を再度説明することはしない。
本発明のこの実施形態では、忠実度経験スコアが決定されるとときに、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータの、忠実度経験に対する影響が考慮される。したがって、これに基づいて決定される忠実度経験スコアもより正確である。さらに、享受経験スコアの決定は、現在の単位時間期間においてイベントが生起しているかどうかだけでなく、前の単位時間期間に対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスで生起する、以前のイベントの影響を考慮することに等しい。よって、決定された享受経験スコアは、より包括的であり、より正確である。加えて、現在時刻において対話的メディア・イベントが生起しているので、端末は対話経験スコアを計算して、現在時刻に対応するVRマルチメディアのMOSを決定することができる。すなわち、端末は、対応して対話経験スコアをも更新する。よって、VRマルチメディアのMOSの精度が改善される。
現在時刻が第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントおよび／または対話的メディア・イベントが生起している場合にVRマルチメディアのMOSを決定する実装プロセスが、図6Aおよび図6Bを参照して上記で別個に記述されている。上記の二つの場合に加えて、端末は、さらに、単位時間期間の終了時または生起しているイベントの終了時に、計算をトリガーして、忠実度経験スコア、享受経験スコア、および対話スコアの計算を出力し、さらに、忠実度経験スコア、享受経験スコア、および対話経験スコアに基づく統合計算を通じて、当該イベントに対応するVRマルチメディアのMOSを取得することができる。詳細は図6Cに示されている。
ステップ601c：単位時間期間を単位として使って、VRマルチメディアの享受経験スコアおよび対話経験スコアを決定する。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達しない場合、端末は、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻に生起しているかどうか、現在生起しているイベントが終了するかどうか、および単位時間期間が終了するかどうかに依存して、以下のいくつかの場合において、VRマルチメディアの享受経験スコアおよび対話経験スコアを決定することができる。
第一の場合：現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、現在時刻でネットワーク・メディア・イベントが終了するか、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定する。
(1)現在時刻においてネットワーク・メディア・イベントのみが生起しており、ネットワーク・メディア・イベントは終了していないが、現在時刻が単位時間期間の終了時刻である場合、端末は、現在時刻の第二の感覚パラメータに基づいてVRマルチメディアの享受経験スコアを計算することができる。VRマルチメディアの享受経験スコアの計算は、さらに、現在時刻での忠実度経験スコアに依存する必要があるが、現在時刻は、忠実度経験スコアの計算時間ではない、すなわち、現在時刻での計算を通じて忠実度経験スコアは得られないため、この場合、端末は、現在の単位時間期間において現在時刻より前に最近決定された忠実度経験スコアを取得し、入力パラメータとして使用することができる。さらに、端末は、前の単位時間期間の終了時にVRマルチメディアのMOSをさらに取得し、取得した忠実度経験スコアおよびサンプリングを通じて取得された第二の感覚パラメータを参照した計算を通じて、VRマルチメディアの享受経験スコアを取得することができる。
現在時刻において対話的メディア・イベントは生起していないため、端末は対話経験スコアを初期値に設定してもよい。
(2)現在時刻においてネットワーク・メディア・イベントのみが生起しており、現在時刻がネットワーク・メディア・イベントの終了時刻であるが、現在時刻が単位時間期間の終了時刻ではない場合には、端末は、(1)における享受経験スコアおよび対話経験スコアを決定する態様に従って、享受経験スコアおよび対話経験スコアを決定してもよい。
第二の場合：対話的メディア・イベントが現在時刻において生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、対話的メディア・イベントが終了するか、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定する。
第三の場合：現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、かつ現在時刻において単位時間期間が終了することが現在時刻において検出される場合、または現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出され、単位時間期間が終了することが検出されない場合、現在時刻に対応する第二の感覚パラメータ、現在の単位時間期間における現在時刻より前に最近決定された最近の忠実度経験スコア、および前の単位時間期間の終了時に決定されたVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定する。
現在時刻において対話的メディア・イベントおよびネットワーク・メディア・イベントが同時に生起しており、現在時刻が単位時間期間の終了時刻であるが、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了していることは検出されない場合、VRマルチメディアの享受経験スコアおよび対話経験スコアの計算がトリガーされ、さらにVRマルチメディアのMOSの計算がトリガーされる。
現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻で同時に生起しており、ネットワーク・メディア・イベントと対話的メディア・イベントの少なくとも一方が終了することが現在時刻において検出されるが、単位時間期間が終了することは検出されない場合、VRマルチメディアの享受経験スコアおよび対話経験スコアの計算もトリガーされ、さらにVRマルチメディアのMOSの計算がトリガーされる。
VRマルチメディアの享受経験スコアの計算については、ステップ601bの享受経験スコアの計算に関する説明を参照されたい。VRマルチメディアの対話経験スコアの計算については、ステップ503aの対話経験スコアを決定する方法を参照されたい。
ステップ602c：現在時刻より前に最近決定された忠実度経験スコアと、現在時刻において決定された享受経験スコアおよび対話経験スコアとを、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算するための入力パラメータとして使用する。
現在時刻において忠実度経験スコアは計算されないため、端末は、現在の単位時間期間における現在時刻より前に最近決定された忠実度経験スコアと、現在時刻において決定された享受経験スコアおよび対話経験スコアとを、VRマルチメディアのMOSを計算するための入力パラメータとして使用することができる。入力パラメータに基づく事前設定されたVRマルチメディアMOS計算モデルを使ってVRマルチメディアのMOSを計算する方法については、ステップ504aの対応する方法を参照されたい。
本発明のこの実施形態では、現在時刻が第一の感覚パラメータのサンプリング時刻に達しないため、忠実度経験スコアは変化しない。よって、端末は、直接的に忠実度経験を得ることができ、演算の量が減少する。さらに、享受経験スコアの決定は、現在の単位時間期間にイベントが生起しているかどうかだけでなく、前の単位時間期間に対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスで生起する、以前のイベントの影響を考慮することに等しい。よって、決定された享受経験スコアは、より包括的であり、より正確である。さらに、現在時刻において対話的メディア・イベントが生起しているので、端末は対話経験スコアを計算して、現在時刻に対応するVRマルチメディアのMOSを決定し、取得することができる。すなわち、端末はまた、対話経験スコアも対応して更新する。よって、VRマルチメディアのMOSの精度は改善される。
本発明のこの実施形態では、VRマルチメディアのMOSを決定するための第一の方法が、上記の実施形態の図4ないし図6Cを参照して説明され、記述されている。換言すれば、得られたパラメータに基づいて端末によって忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し、さらにVRマルチメディアのMOSを決定する実装プロセスが記述されている。以下の実施形態では、VRマルチメディアのMOSを決定するための第二の方法が、図7ないし図9Cを参照して説明され、記述される。図7は、本発明のある実施形態によるVRマルチメディアの経験品質を決定する別の方法である。図7に示されるように、本方法は、以下のステップを含む。
ステップ701：VRマルチメディアを再生するプロセスにおいて、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータを取得する。
VRマルチメディアを再生するプロセスにおいて、端末は、VRマルチメディアに対してサンプリングを実行することによって、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータを得ることができる。端末によって第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータをサンプリングするためのサンプリング周期は、異なっていてもよい。
たとえば、端末は、ピクチャー群（Group of Picture、GoP）を単位として使って一度、第一の感覚パラメータをサンプリングすることができ、あるいは、セグメントを単位として使用って一度、第一の感覚パラメータをサンプリングすることができ、あるいはもちろん、さらに、事前設定されたサンプリング期間を使って第一の感覚パラメータをサンプリングすることができる。別の例として、端末は、ユーザーの位置の変化を検出するときに一度、第三の感覚パラメータをサンプリングすることができ、あるいは、事前設定されたサンプリング周期に基づいて、あるいはGoPを単位として使って一度、第三の感覚パラメータをサンプリングすることができる。換言すれば、端末が第一の感覚パラメータをサンプリングするとき、第二の感覚パラメータまたは第三の感覚パラメータのサンプリング時間は到達しなくてもよい。
ステップ702：少なくとも二つの知覚次元のそれぞれについて、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定する。
VRマルチメディアを再生するプロセスにおいて、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータは、前記少なくとも二つの知覚次元に従ってサンプリングを実行することによって得られる。すなわち、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータはみな、視覚次元に対応するパラメータおよび聴覚次元に対応するパラメータを含む。よって、前記少なくとも二つの知覚次元のそれぞれについて、端末は、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することができる。
たとえば、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータはすべて、視覚次元に対応するパラメータおよび聴覚次元に対応するパラメータを含み；端末は、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおける視覚次元に対応するパラメータに基づいて、それぞれ、視覚的忠実度経験スコア、視覚的享受経験スコア、および視覚的対話経験スコアを計算することができる。さらに、端末は、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおける聴覚次元に対応するパラメータに基づいて、それぞれ、聴覚的忠実度経験スコア、聴覚的享受経験スコア、および聴覚的対話経験スコアを計算することができる。もちろん、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータが、フィードバック次元のような別の次元に対応するパラメータをさらに含む場合、端末は、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおけるフィードバック次元に対応するパラメータにそれぞれ基づいて、フィードバック忠実度経験スコア、フィードバック享受経験スコア、およびフィードバック対話経験スコアをさらに計算することができる。
なお、端末によってVRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに対するサンプリングを実行する方法に関する説明については、ステップ401の説明を参照されたい。本実施形態では、再度詳細を説明することはしない。
さらに、ステップ401で説明したように、感覚パラメータのサンプリング周期が異なるため、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて端末によって忠実度経験スコア、享受経験スコア、および対話スコアを決定する機会も異なる。同様に、この実施形態では、感覚パラメータの異なるサンプリング周期のため、端末によって各知覚次元に対応する忠実度経験スコア、享受経験スコア、および対話経験スコアを計算する機会も異なる。
具体的には、前記少なくとも二つの知覚次元のそれぞれについて、VRマルチメディアを再生するプロセスで生起するイベントを単位として使って、端末は、計算をトリガーし、生起するイベントの終了時に一度、忠実度経験スコア、享受経験スコア、および対話スコアを出力し、その後、その知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアに基づく統合計算を通じて、その知覚次元におけるイベントに対応するVRマルチメディアの経験スコアを得ることができる。
さらに、事前設定された単位時間期間を単位として使用することによって、端末は、VRマルチメディアを再生するプロセスにおいて、単位時間期間の終わりに一度、計算をトリガーしてその知覚次元における忠実度経験スコア、享受経験スコア、および対話スコアを出力し、その後、その知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアに基づく統合計算を通じて、単位時間期間に対応するその知覚次元におけるVRマルチメディアの経験スコアを得ることもできる。
また、第一の感覚パラメータのサンプリング時間に達するとき、サンプリングを通じて得られた第一の感覚パラメータは、前のサンプリング時刻における第一の感覚パラメータと比較して変化する可能性があるため、端末は、サンプリングを通じて得られた第一の感覚パラメータに基づいて忠実度経験スコアを計算する必要があることも注意しておくべきである。しかしながら、享受経験スコアは、忠実度経験スコアに基づいて決定されるため、その知覚次元における忠実度経験スコアが計算を通じて得られた後、その知覚次元における享受経験スコアがさらに、その知覚次元における忠実度経験スコアに基づいて決定される必要がある。すなわち、第一の感覚パラメータのサンプリング時間が到着すると、その知覚次元における忠実度経験スコアの計算時間も到着する。しかしながら、その知覚次元における忠実度経験スコアの計算時間が到着すると、計算がトリガーされ、その知覚次元における享受経験スコアおよび対話経験スコアが一度出力されてもよく、その知覚次元におけるVRマルチメディアの経験スコアがさらに一度計算される。
上記の記述からわかるように、感覚パラメータのサンプリング周期が異なる場合には、前記少なくとも二つの知覚次元のそれぞれについて、第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、端末によってその知覚次元における忠実度経験スコア、享受経験スコア、および対話スコアを決定する機会も異なる。さらに、端末は、VRマルチメディアを再生するプロセスにおいて生起するイベントを単位として使用するか、または事前設定された単位時間期間を単位として使用することによって、その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを計算することもできる。よって、その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを計算する複数の実装が存在する。それらの実装は、本願の以下の実施形態において議論される。
ステップ703：その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、その知覚次元におけるVRマルチメディア経験スコア計算モデルを用いて、その知覚次元におけるVRマルチメディアの経験スコアを計算する。
ステップ701における記述に基づいて、前記少なくとも二つの知覚次元のそれぞれについて、その知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアの計算が、イベントを単位として使ってトリガーされる場合、そのイベントは、享受経験スコアに影響するイベントであってもよいし、対話経験スコアに影響するイベントであってもよく、イベントの終了時間は第一の感覚パラメータのサンプリング時間でなくてもよいので、その知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアの計算に基づいて、その知覚次元におけるVRマルチメディアの経験スコアを計算する態様も変わりうる。
同様に、知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアの計算が、単位時間期間を単位として使ってトリガーされる場合、その知覚次元における決定された忠実度経験スコア、享受経験スコア、および対話経験スコアに基づいてその知覚次元におけるVRマルチメディアの経験スコアを計算する複数の態様も存在する。
また、享受経験スコアおよび対話経験スコアの計算がその知覚次元における忠実度経験スコアの計算時にトリガーされるとき、対話経験スコアに影響を及ぼすイベントが該計算時に生起していることもあればしていないこともあるため、その知覚次元における決定された忠実度経験スコア、享受経験スコアおよび対話経験スコアに基づいてその知覚次元におけるVRマルチメディアの経験スコアを計算する態様も変わりうることも注意しておくべきである。よって、その知覚次元における決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いてその知覚次元におけるVRマルチメディアの経験スコアを計算する複数の実装も存在する。本願の以下の実施形態では、その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアの複数の実装を参照して、これらの実装が議論される。
ステップ704：前記少なくとも二つの知覚次元におけるVRマルチメディアの経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算する。
前記少なくとも二つの知覚次元に対応する少なくとも二つの経験スコアを決定した後、端末は、前記少なくとも二つの知覚次元における経験スコアを入力パラメータとして使って、式7-1の計算モデルを使用してVRマルチメディアのMOSを計算することができる。
Figure 2022003555
MOSiは線形モデルであってもよいし、あるいは非線形モデルであってもよい。式7-2は、本発明のこの実施形態において示されるMOSiの線形モデルであり、式7-3は、本発明のこの実施形態に示されるMOSiの非線形モデルである。
Figure 2022003555
 ここで、i＝visual,acoustic,optional、すなわち、iは視覚次元、聴覚次元、または別の次元でありえ、sFidelityiはその知覚次元におけるVRマルチメディアの忠実度経験スコアであり、sEnjoymentiはその知覚次元におけるVRマルチメディアの享受経験スコアであり、sInteractioniはその知覚次元におけるVRマルチメディアの対話経験スコアである。
また、関数gi(sEnjoyment,sInteraction)は、線形関数であってもよいし、あるいは非線形関数であってもよいことにも注意しておくべきである。関数gi(sEnjoyment,sInteraction)が線形関数である場合、関数は式7-4によって示される。
Figure 2022003555
 表される。
関数gi(sEnjoyment,sInteraction)が非線形関数である場合、関数は式7-5によって示される。
Figure 2022003555
 ここで、αiおよびβiは事前設定されたパラメータであり、これらの事前設定されたパラメータも、異なる知覚次元に依存して変わる。
本発明のこの実施形態では、端末は、サンプリングを通じて得られた第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、前記少なくとも二つの知覚次元のそれぞれにおいてVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し；次いで、端末は、決定された忠実度経験スコア、享受経験スコア、および対話スコアに基づいて、各知覚次元におけるVRマルチメディアの経験スコアを決定し、さらに、VRマルチメディアのMOSを決定する。本発明のこの実施形態においてVRマルチメディアの経験品質を決定するプロセスに、対話経験品質評価が追加されるが、ユーザーとの対話は、まさに、VRマルチメディアを従来のメディアから区別する主たる特徴であるため、本発明のこの実施形態においてVRマルチメディアの経験品質を決定することは、VRマルチメディアの実際の状況により良く適合し、VRマルチメディアの決定される経験品質もより正確である。
ネットワーク・メディア・イベントは、ネットワーク条件の影響により生起するイベントである。ネットワーク状態が比較的良好なときに生起する通常再生イベントは、ネットワーク・メディア・イベントである。比較的劣悪なネットワーク条件のために生成されるフリーズ・イベントおよびメディア品質変化イベントも、ネットワーク・メディア・イベントである。しかしながら、対話的メディア・イベントはこれとは異なり、対話的メディア・イベントは、ユーザーと端末との間に対話が存在するときにのみ生起する。VRマルチメディアを再生するプロセスにおいて、ネットワーク・メディア・イベントが生起するとき、ユーザーと端末との間に対話が存在しないため、対話的メディア・イベントは存在しない可能性がある。あるいはまた、ユーザーと端末との間の対話によって引き起こされる対話的メディア・イベントが生起するとき、ネットワーク条件の変化によって引き起こされるネットワーク・メディア・イベントは存在しない可能性があるため、ネットワーク・メディア・イベントは生起しない。上述の説明に基づき、ステップ701および702の説明を参照し、図8Aないし図8Cを参照して、以下は、現在時刻が異なる場合に対応するときの、イベントを単位として使って、ある知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し、さらに、その知覚次元におけるVRマルチメディアの経験スコアを決定する実装プロセスを説明する。
図8Aは、本発明のある実施形態による、イベントを単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定するための方法のフローチャートである。図8Aに示されるように、本方法は、以下のステップを含む。
ステップ801a：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、ある知覚次元におけるVRマルチメディアの忠実度経験スコアを、現在時刻に対応する第一の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、決定する。
その知覚次元におけるVRマルチメディアの経験スコアが、少なくとも二つの知覚次元のそれぞれについて、イベントを単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時間である場合、第一の感覚パラメータが変化した可能性があるため、端末は、第一の感覚パラメータに基づいて、現在時刻におけるその知覚次元における忠実度経験スコアを計算してもよい。
端末は、ステップ501aに記載される忠実度経験スコアを計算する対応する態様を参照することによって、現在時刻に対応する、第一の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、その知覚次元における忠実度経験スコアを決定することができる。
その知覚次元における忠実度経験スコアを決定した後、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起しているため、端末は、現在時刻において生起しているイベントに基づいて対応する経験スコアを計算することができる。現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、ステップ802aが実行される；あるいは、現在時刻において生起しているイベントが対話的メディア・イベントである場合、ステップ803aが実行される。
ステップ802a：現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する、第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータ、その知覚次元における現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて、その知覚次元におけるVRマルチメディアの享受経験スコアを決定し、その知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定する。
その知覚次元における享受経験スコアはその知覚次元における忠実度経験スコアに基づいているため、その知覚次元における忠実度経験スコアが変化すれば、その知覚次元における享受経験スコアも変化する。よって、この場合、端末は、その知覚次元における現在決定された忠実度経験スコア、現在時刻に対応する、第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータ、および前回のネットワーク・メディア・イベントの終わりにおけるその知覚次元におけるVRマルチメディアの経験スコアに基づいて、その知覚次元における享受経験スコアを計算することができる。しかしながら、その知覚次元における対話経験スコアについては、現在時刻において対話的メディア・イベントが生起していないため、端末はその知覚次元における対話経験スコアを計算せず、その知覚次元における対話経験スコアを初期値に設定してもよい。
現在時刻においてネットワーク・メディア・イベントが生起しているが、現在時刻は第二の感覚パラメータのサンプリング時間ではない可能性があることを注意しておくべきである。よって、その知覚次元における享受経験スコアが、その知覚次元における現在決定された忠実度経験スコア、現在時刻に対応する、第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータ、および前回のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて計算されるとき、現在時刻に対応する、第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるネットワーク・メディア・イベントの型は、サンプリングを通じて最近得られた、第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られたネットワーク・メディア・イベントの型であってもよいが、第二の感覚パラメータに含まれる継続時間は、現在時刻に基づいて対応して更新されてもよい。
また、知覚次元における種々のネットワーク・メディア・イベントに対応する享受経験スコアを計算する態様については、前述のステップ502aにおける享受経験スコアを計算する態様を参照されたい。本発明のこの実施形態では、詳細を再度説明することはしない。
ステップ803a：現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、その知覚次元におけるVRマルチメディアの対話経験スコアを決定し、その知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定する。
現在時刻において生起しているイベントが対話的メディア・イベントである場合、その知覚次元における忠実度経験スコアが更新されるため、その知覚次元におけるVRマルチメディアのMOSの計算が現在時刻においてトリガーされる。よって、端末は、現在時刻におけるその知覚次元における対話経験スコアを決定する必要がある。また、現在時刻ではネットワーク・メディア・イベントは生起していないため、端末は、その知覚次元における享受経験スコアを初期値に設定してもよい。初期値は0であってもよいし、あるいは別の数値であってもよい。
さらに、現在時刻において対話的メディア・イベントは生起しているが、現在時刻は対話的メディア・イベントのサンプリング時間ではない可能性がある。その知覚次元における対話経験スコアが、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて決定されるとき、現在時刻に対応する、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる対話的メディア・イベントの型は、サンプリングを通じて最近得られた、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる対話的メディア・イベントの型であってもよいが、該第三の感覚パラメータに含まれる継続時間は、現在時刻に基づいて対応して更新されてもよい。
さらに、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに含まれる対話的メディア・イベントの型および継続時間に基づいて、その知覚次元における対話経験スコアを計算する具体的な態様については、ステップ503aにおける対話経験スコアを計算する方法を参照されたい。本発明のこの実施形態では、詳細を再度説明することはしない。
ステップ804a：その知覚次元におけるVRマルチメディアの決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを使用して、その知覚次元におけるVRマルチメディアの経験スコアを計算する。
前記少なくとも二つの知覚次元のそれぞれについて、現在時刻において決定されるその知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを使用してその知覚次元におけるVRマルチメディアの経験スコアを計算することの具体的な実装については、ステップ703を参照されたい。本発明のこの実施形態では、詳細を再度説明することはしない。
本発明のこの実施形態では、その知覚次元における忠実度経験スコアを決定するとき、端末は、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的なパラメータの、忠実度経験に対する影響を考慮する。よって、これに基づいて決定されるその知覚次元における忠実度経験スコアもより正確である。さらに、その知覚次元における享受経験スコアの決定は、現在のイベント期間におけるイベントの性質に関係するだけでなく、前のイベントに対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスにおいて生起する、前のイベントの影響を考慮することに等しい。よって、その知覚次元における決定された享受経験スコアは、より包括的であり、より正確である。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合に、イベントを単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定するための方法が、図8Aに記載されている。図8Bを参照して、下記は、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが同時に生起している場合に、イベントを単位として使って、その知覚次元におけるVRマルチメディアの経験スコアを決定する方法を記述する。
図8Bは、本発明のある実施形態による、イベントを単位として使って、ある知覚次元におけるVRマルチメディアの経験スコアを決定するための別の方法のフローチャートである。図8Bに示されるように、本方法は、以下のステップを含む。
ステップ801b：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、ある知覚次元におけるVRマルチメディアの忠実度経験スコアを、現在時刻に対応する、第一の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて決定し、その知覚次元におけるVRマルチメディアの享受経験スコアを、現在時刻に対応する、第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータ、その知覚次元における現在決定された忠実度経験スコアおよび前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて決定し、VRマルチメディアの対話経験スコアを、現在時刻に対応する、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて決定する。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントと対話的メディア・イベントが同時に生起している場合、少なくとも二つの知覚次元のそれぞれについて、端末は、その知覚次元における忠実度経験スコアおよび享受経験スコアに加えて、その知覚次元における対話経験スコアをさらに計算する必要がある。
端末によってその知覚次元における享受経験スコアを計算するために必要な第二の感覚パラメータの選択については、ステップ801aの説明を参照されたい。具体的な計算態様については、ステップ502aの享受経験スコアを計算するための対応する態様を参照されたい。
さらに、現在時刻において対話的メディア・イベントは生起しているが、現在時刻は対話的メディア・イベントのサンプリング時間ではない可能性がある。対話経験スコアが、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて決定される場合、現在時刻に対応する第三の感覚パラメータにおける対話的メディア・イベントの型は、サンプリングを通じて最近得られた第三の感覚パラメータにおける対話的メディア・イベントの型であってもよいが、第三の感覚パラメータに含まれる継続時間は、現在時刻に基づいて対応して更新されてもよい。その知覚次元における異なる対話的メディア・イベントに対応する対話経験スコアを計算する具体的な態様については、前述のステップ503aにおける対話経験スコアを計算する具体的な態様を参照されたい。
ステップ802b：現在時刻において決定されたその知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを使用して、その知覚次元におけるVRマルチメディアの経験スコアを計算する。
前記少なくとも二つの知覚次元のそれぞれについて、現在時刻において決定される知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを使用してその知覚次元におけるVRマルチメディアの経験スコアを計算することの具体的な実装については、ステップ703を参照されたい。本発明のこの実施形態では、詳細を再度説明することはしない。
本発明のこの実施形態では、その知覚次元における忠実度経験スコアが決定されるとき、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータの、忠実度経験に対する影響が考慮される。よって、これに基づいて決定されるその知覚次元における忠実度経験スコアもより正確である。さらに、その知覚次元における享受経験スコアの決定は、現在のイベント期間におけるイベントの性質に関係するだけでなく、前のイベントに対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスで生起する、前のイベントの影響を考慮することに等しい。よって、その知覚次元における決定される享受経験スコアは、より包括的であり、より正確である。さらに、対話的メディア・イベントが現在時刻に生起しているので、端末はその知覚次元における対話経験スコアを計算して、現在時刻に対応するその知覚次元におけるVRマルチメディアの経験スコアを決定することができる。すなわち、端末はまた、その知覚次元における対話経験スコアを対応して更新する。よって、知覚次元におけるVRマルチメディアの経験スコアの精度は改善される。
少なくとも二つの知覚次元のそれぞれについて、現在時刻が第一の感覚パラメータのサンプリング時間であり、現在時刻においてネットワーク・メディア・イベントおよび／または対話的メディア・イベントが生起している場合に、ある知覚次元におけるVRマルチメディアの経験スコアを決定する実装プロセスが、図8Aおよび図8Bを参照して別個に上述されている。前述の二つの場合に加えて、端末は、さらに、生起しているイベントの終了時において、計算をトリガーして、その知覚次元における忠実度経験スコア、享受経験スコア、および対話スコアを出力し、さらに、その知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアに基づく統合計算を通じて、その知覚次元におけるそのイベントに対応するVRマルチメディアの経験スコアを得ることができる。詳細は図8Cに示されている。
ステップ801c：イベントを単位として使って、ある知覚次元における享受経験スコアおよび対話経験スコアを決定する。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達しない場合、端末は、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しているかどうか、および生起しているイベントが終了するかどうかに依存して、三つの場合において、その知覚次元におけるVRマルチメディアの享受経験スコアおよび対話経験スコアを決定することができる。
第一の場合：現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、ネットワーク・メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する、第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定されたその知覚次元における忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、その知覚次元におけるVRマルチメディアの享受経験スコアを決定し、その知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定する。
その知覚次元におけるVRマルチメディアの享受経験スコアの計算は、さらに、現在時刻でのその知覚次元における忠実度経験スコアに依存する必要があるが、現在時刻は、忠実度経験スコアの計算時間ではない、すなわち、現在時刻での計算を通じてその知覚次元における忠実度経験スコアが得られないため、この場合、端末は、現在時刻より前に最近決定された知覚次元における忠実度経験スコアを、その知覚次元における享受経験スコアを計算するための入力パラメータとして、取得し、使用することができる。さらに、端末は、前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSをさらに取得し、その知覚次元における得られた忠実度経験スコアおよびサンプリングを通じて得られた第二の感覚パラメータを参照した計算を通じて、VRマルチメディアの享受経験スコアを取得することができる。
現在時刻において対話的メディア・イベントは生起していないため、端末はその知覚次元における対話経験スコアを初期値に設定してもよい。
第二の場合：現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントが生起しておらず、かつ対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られたパラメータに基づいてその知覚次元におけるVRマルチメディアの対話経験スコアを決定し、その知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定する。
現在時刻が対話的メディア・イベントの終了時刻である場合、その知覚次元におけるVRマルチメディアの対話経験スコアの計算がトリガーされ、さらにその知覚次元におけるVRマルチメディアの経験スコアの計算がトリガーされる。
その知覚次元におけるVRマルチメディアの対話経験スコアの計算については、ステップ503aにおける対話経験スコアを計算する態様を参照されたい。ネットワーク・メディア・イベントが生起していないので、その知覚次元におけるVRマルチメディアの享受経験スコアは初期値に設定されてもよい。初期値は0であってもよいし、別の値であってもよい。
第三の場合：現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する、第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定されたその知覚次元における忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいてその知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する、第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいてその知覚次元におけるVRマルチメディアの対話経験スコアを決定する。
現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが同時に生起している場合、生起しているイベントの一つが終了する限り、その知覚次元におけるVRマルチメディアの享受経験スコアおよび対話経験スコアの計算がトリガーされ、さらに、その知覚次元におけるVRマルチメディアの経験スコアの計算がトリガーされる。
その知覚次元におけるVRマルチメディアの享受経験スコアの具体的な計算方法については、ステップ502aの享受経験スコアの計算を参照されたい。その知覚次元におけるVRマルチメディアの対話経験スコアを決定するには、ステップ801bのその知覚次元における対話経験スコアを決定する方法を参照されたい。
ステップ802c：現在時刻より前に最近決定されたその知覚次元における忠実度経験スコアと、現在時刻において決定されたその知覚次元における享受経験スコアおよび対話経験スコアとを入力パラメータとして使って、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを使用してその知覚次元におけるVRマルチメディアの経験スコアを計算する。
現在時刻では忠実度経験スコアは計算されないので、端末は、現在時刻より前に最近決定されたその知覚次元における忠実度経験スコアと、現在時刻で決定されたその知覚次元における享受経験スコア、およびその知覚次元における対話経験スコアとを、その知覚次元におけるVRマルチメディアの経験スコアを計算するための入力パラメータとして使用することができる。入力パラメータに基づいてその知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを使用することによってその知覚次元におけるVRマルチメディアの経験スコアを計算する方法については、ステップ703の対応する方法を参照されたい。
本発明のこの実施形態では、現在時刻が第一の感覚パラメータのサンプリング時刻に達しないため、その知覚次元における忠実度経験スコアは変化しない。よって、端末は、現在時刻より前に最近決定されたその知覚次元における忠実度経験スコアを直接的に得ることができ、演算の量が減少する。さらに、その知覚次元における享受経験スコアの決定は、現在のイベント期間におけるイベントの性質に関係するだけでなく、前のイベントに対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスで生起する、前のイベントの影響を考慮することに等しい。よって、その知覚次元における決定された享受経験スコアは、より包括的であり、より正確である。さらに、現在時刻において対話的メディア・イベントが生起しているので、端末はその知覚次元における対話経験スコアを計算して、現在時刻に対応するその知覚次元におけるVRマルチメディアの経験スコアを決定することができる。すなわち、端末はまた、その知覚次元における対話経験スコアを対応して更新する。よって、その知覚次元におけるVRマルチメディアの経験スコアの精度が改善される。
イベントを単位として使用することによって知覚次元におけるVRマルチメディアの経験スコアを決定し、VRマルチメディアのMOSをさらに決定するための三つの方法が、図８Ａないし図８Ｃを参照して上述されている。同様に、単位時間期間を単位として使用することによって知覚次元におけるVRマルチメディアの経験スコアを決定する三つの方法も、現在時刻が異なる場合に対応するときに存在する。図９Ａないし図９Ｃを参照して、下記は、単位時間期間を単位として使って知覚次元におけるVRマルチメディアの経験スコアを決定するための三つの方法を説明する。
図９Ａは、本発明のある実施形態による、単位時間期間を単位として使用することによって知覚次元におけるVRマルチメディアの経験スコアを決定する方法である。図９Ａに示されるように、本方法は、以下のステップを含む。
ステップ901a：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、ある知覚次元におけるVRマルチメディアの忠実度経験スコアを、現在時刻に対応する第一の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、決定する。
少なくとも二つの知覚次元のそれぞれについて、知覚次元におけるVRマルチメディアの経験スコアが、単位時間期間を単位として使って決定される場合、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達するならば、端末は、サンプリングを通じて得られた第一の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、その知覚次元における対応する忠実度経験スコアを計算することができる。第一の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて忠実度経験スコアを計算する仕方については、ステップ501aの対応する知覚次元における忠実度経験スコアを計算する仕方を参照されたい。
端末が計算を通じてその知覚次元における忠実度経験スコアを取得した後、ネットワーク・メディア・イベントまたは対話的メディア・イベントが現在時刻において生起しているため、端末は、現在時刻において生起しているイベントに基づいて対応する経験スコアを計算することができる。現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、ステップ902aが実行される；あるいは、現在時刻において生起しているイベントが対話的メディア・イベントである場合、ステップ903aが実行される。
ステップ902a：現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータ、その知覚次元における現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、その知覚次元におけるVRマルチメディアの享受経験スコアを決定し、その知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定する。
知覚次元におけるVRマルチメディアの経験スコアは、この実施形態では、単位時間期間を単位として使用することによって決定されるので、端末は、現在時刻でのその知覚次元における享受経験スコアを計算するための入力パラメータとして、以前の単位時間期間の終わりにおけるVRマルチメディアのMOSを取得し、使用することができる。加えて、端末はさらに、現在時刻に対応する第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータと、その知覚次元における現在決定された忠実度経験スコアとを参照して、その知覚次元におけるVRマルチメディアの享受経験スコアを計算する必要がある。端末によってその知覚次元における享受経験スコアを計算するために必要な第二の感覚パラメータの選択については、ステップ802aにおける記述を参照されたい。
ステップ903a：現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、その知覚次元におけるVRマルチメディアの対話経験スコアを決定し、その知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定する。
現在時刻に対応する第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいてその知覚次元におけるVRマルチメディアの対話経験スコアを決定する仕方については、ステップ503aにおける対話経験スコアを計算する仕方を参照されたい。加えて、現在時刻ではネットワーク・メディア・イベントは生起していないため、その知覚次元の享受経験スコアは初期値に設定されてもよい。初期値は0であってもよいし、別の値であってもよい。
ステップ904a：現在時刻において決定された、その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、その知覚次元におけるVRマルチメディアの経験スコアを計算する。
現在時刻において決定された、その知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、端末によって、その知覚次元におけるVRマルチメディアの経験スコアを計算するための方法については、ステップ703を参照されたい。
本発明のこの実施形態では、知覚次元における忠実度経験スコアが決定されるときに、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータが忠実度経験に及ぼす影響が考慮される。よって、これに基づいて決定される知覚次元の忠実度経験スコアもより正確である。さらに、知覚次元における享受経験スコアの決定は、イベントが現在の単位時間期間において生起するかどうかだけでなく、前の単位時間期間に対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスで生起する、以前のイベントの影響を考慮することに等しい。よって、知覚次元における決定された享受経験スコアは、より包括的で、より正確である。
少なくとも二つの知覚次元のそれぞれについて、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻であり、ネットワーク・メディア・イベントまたは対話的メディア・イベントが現在時刻において生起している場合に、単位時間期間を単位として使って知覚次元におけるVRマルチメディアの経験スコアを決定するための方法が、図９Ａに記載されている。図９Ｂを参照して、下記は、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻であり、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において同時に生起している場合に、単位時間期間を単位として使って知覚次元におけるVRマルチメディアの経験スコアを決定する方法を記述する。
ステップ901b：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻に生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコアおよび前の単位時間期間の終わりにおけるVRマルチメディアのMOSに基づいて知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、VRマルチメディアの対話的経験スコアを決定する。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において同時に生起している場合、端末はさらに、知覚次元における忠実度経験スコアおよび享受経験スコアに加えて、知覚次元における対話経験スコアを計算する必要がある。
端末によって知覚次元における享受経験スコアを計算する方法については、ステップ902aにおける記述を参照されたい。さらに、対話的メディア・イベントは現在時刻において生起しているものの、現在時刻は対話的メディア・イベントのサンプリング時間ではない可能性がある。知覚次元における対話経験スコアが第三の感覚パラメータに基づいて決定される場合、現在時刻に対応する第三の感覚パラメータ内の知覚次元に従ってサンプリングを実行することによって得られる対話的メディア・イベントの型は、サンプリングを通じて最近得られた第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られる対話的メディア・イベントの型であってもよいが、第三の感覚パラメータに含まれる継続時間は、現在時刻に基づいて対応して更新されてもよい。
端末によって忠実度経験スコアおよび対話経験スコアを計算する具体的な仕方については、それぞれ、ステップ501aに記載されている忠実度経験スコアを計算する仕方およびステップ503aにおける対話経験スコアを計算する仕方を参照されたい。本発明のこの実施形態では、詳細は再度説明されていない。
また、端末によって享受経験スコアを計算する具体的な仕方においては、前述のステップ502aに記載されるように享受経験スコアを計算するために入力される前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSのみが、前回の単位時間期間の終了時におけるVRマルチメディアのMOSに変更される必要があり、前述のステップ502aにおける忠実度経験スコアのみがその知覚次元における忠実度経験スコアに変更される必要があり、対応する残りの部分については参照されてもよい。本発明のこの実施形態では、詳細は再度説明されていない。
ステップ902b：現在時刻において決定された、その知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、その知覚次元におけるVRマルチメディアの経験スコアを計算する。
現在時刻において決定された、その知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、その知覚次元におけるVRマルチメディアの経験スコアを計算するための具体的実装については、ステップ703を参照されたい。本発明のこの実施形態では、詳細は再度説明されていない。
本発明のこの実施形態では、知覚次元における忠実度経験スコアが決定されるとき、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータが忠実度経験に及ぼす影響が考慮される。よって、これに基づいて決定される、その知覚次元における忠実度経験スコアも、より正確である。さらに、知覚次元における享受経験スコアの決定は、イベントが現在の単位時間期間に生起しているかどうかだけでなく、前の単位時間期間に対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスで生起する、以前のイベントの影響を考慮することに等しい。よって、知覚次元における決定された享受経験スコアは、より包括的で、より正確である。さらに、対話的メディア・イベントが現在時刻において生起しているので、端末は、その知覚次元における対話経験スコアを計算し、現在時刻に対応するその知覚次元におけるVRマルチメディアの経験スコアを決定することができる。すなわち、端末は、その知覚次元における対話経験スコアをも対応して更新する。よって、知覚次元におけるVRマルチメディアの経験スコアの精度は改善される。
少なくとも二つの知覚次元のそれぞれについて、現在時刻が第一の感覚パラメータのサンプリング時間であり、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが現在時刻において生起している場合に、知覚次元におけるVRマルチメディアの経験スコアを決定する実装プロセスが、図９Ａおよび図９Ｂを参照して別個に上述されている。前述の二つの場合に加えて、端末は、さらに、単位時間期間の終了時または生起しているイベントの終了時に、計算をトリガーして、知覚次元における忠実度経験スコア、享受経験スコア、および対話スコアを出力し、さらに、知覚次元における忠実度経験スコア、享受経験スコア、および対話経験スコアに基づいた結合計算を通じて、知覚次元におけるイベントに対応するVRマルチメディアの経験スコアを得ることができる。詳細は図９Ｃに示されている。
ステップ901c：単位時間期間を単位として使って知覚次元におけるVRマルチメディアの享受経験スコアおよび対話経験スコアを決定する。
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達しない場合、端末は、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻に生起しているかどうか、現在時刻に生起しているイベントが終了するかどうか、および現在時刻が単位時間期間の終了時刻であるかどうかに応じて、以下のいくつかの場合において、知覚次元においてVRマルチメディアの享受経験スコアおよび対話経験スコアを決定することができる。
第一の場合：ネットワーク・メディア・イベントが現在時刻で生起しているが、同時に対話的メディア・イベントは生起しておらず、ネットワーク・メディア・イベントが終了すること、または単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在の単位時間期間において現在時刻より前に最近決定された、その知覚次元における忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、その知覚次元におけるVRマルチメディアの享受経験スコアを決定し、その知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定する。
(1)現在時刻においてネットワーク・メディア・イベントのみが生起しており、ネットワーク・メディア・イベントが終了しないが、現在時刻が単位時間期間の終了時刻である場合、端末は、現在時刻の、第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを計算することができる。知覚次元におけるVRマルチメディアの享受経験スコアの計算は、さらに、現在時刻での知覚次元における忠実度経験スコアに依存する必要があるが、現在時刻は、忠実度経験スコアの計算時間ではない、すなわち、現在時刻における計算を通じてその知覚次元における忠実度経験スコアが得られないため、この場合、端末は、現在の単位時間期間において現在時刻の前に最近決定されたその知覚次元における忠実度経験スコアを、その知覚次元における享受経験スコアを計算するための入力パラメータとして、取得し、使用することができる。さらに、端末は、前の単位時間期間の終わりにVRマルチメディアのMOSをさらに取得し、その知覚次元における得られた忠実度経験スコアと、サンプリングを通じて得られた第二の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られるパラメータとを参照した計算を通じて、その知覚次元におけるVRマルチメディアの享受経験スコアを取得することができる。
現在時刻では対話的メディア・イベントは生起していないため、端末はその知覚次元における対話的経験スコアを初期値に設定することができる。
(2)現在時刻においてネットワーク・メディア・イベントのみが生起しており、現在時刻がネットワーク・メディア・イベントの終了時刻であるが、現在時刻が単位時間期間の終了時刻ではない場合にも、端末は、(1)における享受経験スコアおよび対話経験スコアを決定する仕方に応じて、享受経験スコアおよび対話経験スコアを決定することができる。
第二の場合：現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、かつ対話的メディア・イベントが終了する、または単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する、第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定し、知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定する。
第三の場合：対話的メディア・イベントおよびネットワーク・メディア・イベントが現在時刻において生起しており、単位時間期間が終了することが現在時刻において検出された場合、またはネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出され、かつ、単位時間期間が終了することが検出されない場合、現在時刻に対応する、第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在の単位時間期間において現在時刻よりも前に最近決定されたその知覚次元における忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、その知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいてその知覚次元に従ってサンプリングを実行することによって得られたパラメータに基づいてその知覚次元におけるVRマルチメディアの享受経験スコアを決定する。
対話的メディア・イベントおよびネットワーク・メディア・イベントが現在時刻で同時に生起しており、現在時刻が単位時間期間の終了時刻であるが、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了していることが検出されない場合、知覚次元におけるVRマルチメディアの享受経験スコアおよび対話経験スコアの計算がトリガーされ、さらに知覚次元におけるVRマルチメディアの経験スコアの計算がトリガーされる。
ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻で同時に生起しており、ネットワーク・メディア・イベントおよび対話的メディア・イベントの少なくとも一方が終了することが現在時刻において検出されるが、単位時間期間が終了することは検出されない場合にも、知覚次元におけるVRマルチメディアの享受経験スコアおよび対話経験スコアの計算がトリガーされ、さらに、知覚次元におけるVRマルチメディアの経験スコアの計算もトリガーされる。
知覚次元におけるVRマルチメディアの享受経験スコアを決定することについては、第一の場合における知覚次元における享受経験スコアの決定を参照されたい。知覚次元におけるVRマルチメディアの対話経験スコアを決定することについては、ステップ901bにおける知覚次元における対話経験スコアの決定を参照されたい。
ステップ902c：現在の単位時間期間において現在時刻よりも前に最近決定されたその知覚次元における忠実度経験スコア、ならびに現在時刻において決定された、その知覚次元における享受経験スコアおよび対話経験スコアを入力パラメータとして使用して、その知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、その知覚次元におけるVRマルチメディアの経験スコアを計算する。
現在時刻では忠実度経験スコアは計算されないので、端末は、現在の単位時間期間において現在時刻よりも前に最近決定されたその知覚次元における忠実度経験スコアならびに現在時刻において決定された享受経験スコアおよび対話経験スコアを入力パラメータとして使用して、その知覚次元におけるVRマルチメディアの経験スコアを計算することができる。入力パラメータに基づうてその知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、その知覚次元におけるVRマルチメディアの経験スコアを計算する方法については、ステップ703における対応する方法を参照されたい。
本発明のこの実施形態では、現在時刻が第一の感覚パラメータのサンプリング時刻に達しないため、知覚次元における忠実度経験スコアは変化しない。よって、端末は、現在時刻より前に最近決定されたその知覚次元における忠実度経験スコアを直接的に得ることができ、演算量が減少する。さらに、知覚次元における享受経験スコアの決定は、イベントが現在の単位時間期間に生起するかどうかだけでなく、前の単位時間期間に対応するVRマルチメディアのMOSにも関係する。これは、VRマルチメディアを再生するプロセスで生起する、以前のイベントの影響を考慮することに等しい。よって、知覚次元における決定された享受経験スコアは、より包括的で、より正確である。さらに、対話的メディア・イベントが現在時刻に生起しているので、端末は知覚次元における対話経験スコアを計算して、現在時刻に対応する知覚次元におけるVRマルチメディアの経験スコアを決定することができる。すなわち、端末は、知覚次元における対話経験スコアをも対応して更新する。よって、知覚次元におけるVRマルチメディアの経験スコアの精度が改善される。
端末は、前述の実施形態における方法を用いて、VRマルチメディアのMOSを決定する。VRマルチメディアの経験品質を決定するために、端末は通例、再生継続時間内にVRマルチメディアの経験品質をテストする必要がある。具体的には、VRマルチメディア・テスト・プロセス全体において、VRマルチメディアは、複数のイベントまたは複数の単位時間期間を含むことができ、VRマルチメディアの経験品質を決定するプロセスにおいて、端末は、前述の実施形態における方法に従って、VRマルチメディアの複数のMOSを決定することができる。端末が前述の実施形態における方法に従ってVRマルチメディアの複数のMOSを決定した後、端末はさらに、次のステップにおける方法を用いて、事前設定された試験時間内に、VRマルチメディアのMOS統計値を決定してもよい。
具体的には、端末は、事前設定された試験期間内の計算を通じて得られるVRマルチメディアのすべてのMOSの平均値を決定することができ、ここで、事前設定された試験期間は、VRマルチメディアの経験品質を決定する期間である。次いで、端末は、計算を通じて得られた前記平均値を、事前設定された試験期間内のVRマルチメディアのMOS統計値として、決定することができる。さらに、事前設定された試験期間内のVRマルチメディアの経験品質の安定性を評価するために、端末は、事前設定された試験期間内のVRマルチメディアの前記複数のMOSおよびVRマルチメディアの前記MOS統計値に基づいて、VRマルチメディアのMOSの平均二乗誤差をさらに決定することができる。平均二乗誤差が小さい場合、事前設定された試験期間内のVRマルチメディアの経験品質がより安定していることを示す。さうでない場合には、事前設定された試験期間内のVRマルチメディアの経験品質がより不安定であることを示す。
結論として、対話経験品質評価が、本発明のこの実施形態における、端末によってVRマルチメディアの経験品質を決定するプロセスに追加されるが、ユーザーとの対話はまさに、VRマルチメディアを従来のメディアから区別する主要な特徴である。よって、本発明のこの実施形態におけるVRマルチメディアの経験品質を決定することは、VRマルチメディアの実際の状況により良く適合し、決定されるVRマルチメディアの経験品質もより正確である。さらに、本発明のこの実施形態では、忠実度経験スコアが決定されるときに、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータが忠実度経験に及ぼす影響が考慮される。したがって、これに基づいて決定される忠実度経験スコアもより正確である。また、本発明のこの実施形態では、享受経験スコアの決定は、現在のイベントまたは単位イベント期間におけるパラメータに関連するだけでなく、VRマルチメディアの以前のMOSにも関係することにも注意しておくべきである。これは、VRマルチメディアの以前の再生の影響を考慮することに等しい。よって、決定される享受経験スコアは、より包括的で、より正確である。
図１０Aを参照すると、本発明のある実施形態は、VRマルチメディアの経験品質を決定するための装置を提供する。VRマルチメディアの経験品質を決定するための装置は、図４ないし図９Ｃのいずれかにおける前述の方法を実行するよう構成される。VRマルチメディアの経験品質を決定するための装置は、取得モジュール1001および決定モジュール1002を含む。
取得モジュール1001は、前述の実施形態におけるステップ401またはステップ701を実行するよう構成される。
決定モジュール1002は、前述の実施形態におけるステップ402およびステップ403を実行するよう構成されるか、または前述の実施形態におけるステップ702、ステップ703およびステップ704を実行するよう構成される。
任意的に、図１０Ｂを参照すると、決定モジュール1002は：
VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータに基づいて、VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定するように構成された第一の決定ユニット10021と；
決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算するよう構成された第一の計算ユニット10022とを含む。
任意的に、第一の決定ユニット10021は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、かつ、ネットワーク・メディア・イベントまたは対話的メディア・イベントが現在時刻において生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定するよう構成された決定サブユニットを含み、ネットワーク・メディア・イベントはネットワーク条件の変化に起因して生起するイベントであり、対話的メディア・イベントはユーザーとの対話に起因して生起するイベントであり、
前記決定サブユニットはさらに：現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時のVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定するよう構成される；または
前記決定サブユニットはさらに：現在時刻において生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定するよう構成される。
任意的に、第一の決定ユニット10021は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、かつ、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定するよう構成された決定サブユニットを含む。
任意的に、第一の決定ユニット10021は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、かつ現在時刻においてネットワーク・メディア・イベントが生起しているが同時に対話的メディア・イベントは生起しておらず、かつ、ネットワーク・メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定するよう構成された決定サブユニットを含み、
前記決定サブユニットはさらに：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、かつ、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、かつ、対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータに基づくVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定するように構成される；または
前記決定サブユニットはさらに：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻に生起しており、かつ、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づくVRマルチメディアの対話経験スコアを決定するように構成され、
対応して、第一の計算ユニット10022は具体的には：
現在時刻より前に最近決定された忠実度経験スコアならびに現在時刻において決定された享受経験スコアおよび対話経験スコアを入力パラメータとして使用して、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算するよう構成される。
任意的に、第二の感覚パラメータは、ネットワーク・メディア・イベントの型および第一の継続時間を含み、第一の継続時間は、ネットワーク・メディア・イベントの継続時間であり；
前記決定サブユニットは具体的には：
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型が再生イベントである場合には、現在時刻に対応する第二の感覚パラメータに含まれる第一の継続時間、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSを入力パラメータとして使用して、当該再生イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算する；
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がフリーズ・イベントである場合には、現在時刻に対応する第二の感覚パラメータに含まれる第一の継続時間、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSを入力パラメータとして使用して、フリーズ・イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算する；または
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がメディア品質変化イベントである場合、現在決定されている忠実度経験スコアと、現在時刻より前に最近決定された忠実度経験スコアとの差を、VRマルチメディアの享受経験スコアとして決定するよう構成される。
任意的に、第三の感覚パラメータは、対話的メディア・イベントの型と第二の継続時間とを含み、第二の継続時間は対話的メディア・イベントの継続時間であり；
前記決定サブユニットは具体的には：
複数の記憶された対話経験スコア計算モデルのうちから、現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型に対応する対話経験スコア計算モデルを選択し；
対話的メディア・イベントの型および現在時刻に対応する第三の感覚パラメータに含まれる第二の継続時間を入力パラメータとして使用して、選択された対話経験スコア計算モデルを用いてVRマルチメディアの対話経験スコアを計算するよう構成される。
任意的に、前記第一の決定ユニット10021は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、かつ、ネットワーク・メディア・イベントまたは対話的メディア・イベントが現在時刻において生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定するよう構成された決定サブユニットを含み、
前記決定サブユニットはさらに：現在時刻において生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、VRマルチメディアの対話経験スコアを初期値に設定するようにさらに構成される；または
前記決定サブユニットはさらに：現在時刻に生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定するよう構成される。
任意的に、前記第一の決定ユニット10021は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、かつ、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起している場合、現在時刻に対応する第一の感覚パラメータに基づいてVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータ、現在決定された忠実度経験スコアおよび前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいて、VRマルチメディアの対話経験スコアを決定するよう構成された決定サブユニットを含む。
任意的に、前記第一の決定ユニット10021は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、かつ、ネットワーク・メディア・イベントが現在時刻に生起しているが、同時に対話的メディア・イベントは生起しておらず、かつ、ネットワーク・メディア・イベントが終了する、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいてVRマルチメディアの享受経験スコアを決定し、かつ、VRマルチメディアの対話経験スコアを初期値に設定するよう構成された決定サブユニットを含み、
前記決定サブユニットはさらに：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、かつ、対話的メディア・イベントが現在時刻において生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、かつ、対話的メディア・イベントが終了するか、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定し、VRマルチメディアの享受経験スコアを初期値に設定するよう構成される；または
前記決定サブユニットはさらに、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻に生起しており、かつ、単位時間期間が終了することが現在時刻において検出される場合、または、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起しており、かつ、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出され、かつ、単位時間期間が終了することが検出されない場合、現在時刻に対応する第二の感覚パラメータ、現在の単位時間期間において現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、VRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータに基づいてVRマルチメディアの対話経験スコアを決定するよう構成され、
対応して、第一の計算ユニット10022は、具体的には：
現在の単位時間期間において現在時刻より前に最近決定された忠実度経験スコアと、現在時刻において決定された享受経験スコアおよび対話経験スコアを入力パラメータとして使用して、事前設定されたVRマルチメディアMOS計算モデルを用いてVRマルチメディアのMOSを計算するよう構成される。
任意的に、第一の感覚パラメータは、視覚次元におけるビデオ属性情報およびビデオ・パラメータと、聴覚次元におけるオーディオ属性情報およびオーディオ・パラメータとを含み、
前記決定サブユニットは具体的には：
複数の記憶された視覚的忠実度経験スコア計算モデルから、現在時刻に対応する第一の感覚パラメータに含まれるビデオ属性情報に対応する視覚的忠実度経験スコア計算モデルを選択し；
現在時刻に対応する第一の感覚パラメータに含まれるビデオ・パラメータを入力パラメータとして使用して、選択した視覚的忠実度経験スコア計算モデルを用いて現在時刻における視覚的忠実度経験スコアを計算し；
複数の記憶された聴覚的忠実度経験スコア計算モデルから、現在時刻に対応する第一の感覚パラメータに含まれるオーディオ属性情報に対応する聴覚的忠実度経験スコア計算モデルを選択し；
現在時刻の第一の感覚パラメータに含まれるオーディオ・パラメータを入力パラメータとして使用して、選択された聴覚的忠実度経験スコア計算モデルを用いて現在時刻における聴覚的忠実度経験スコアを計算し；
現在時刻における視覚的忠実度経験スコアおよび聴覚的忠実度経験スコアに基づいて、VRマルチメディアの忠実度経験スコアを決定するよう構成される。
任意的に、第二の感覚パラメータは、ネットワーク・メディア・イベントの型および第三の継続時間を含み、第三の継続時間は、単位時間期間におけるネットワーク・メディア・イベントの継続時間であり；
前記決定サブユニットは具体的には：
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型が再生イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる第三の継続時間、現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSを入力パラメータとして使用して、再生イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算する；
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がフリーズ・イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる第三の継続時間、現在決定された忠実度経験スコア、および前の単位時間期間の終了時におけるVRマルチメディアのMOSを入力パラメータとして使用し、フリーズ・イベントに対応する享受経験スコア計算モデルを用いてVRマルチメディアの享受経験スコアを計算する；または
現在時刻に対応する第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型がメディア品質変化イベントである場合、現在決定された忠実度経験スコアと、現在の単位時間期間において現在時刻より前に最近決定された忠実度経験スコアとの間の差を、VRマルチメディアの享受経験スコアとして決定するよう構成される。
任意的に、第三の感覚パラメータは、対話的メディア・イベントの型および第四の継続時間を含み、第四の継続時間は、単位時間期間における対話的メディア・イベントの継続時間であり；
前記決定サブユニットは具体的には：
複数の記憶された対話経験スコア計算モデルのうちから、現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型に対応する対話経験スコア計算モデルを選択し；
現在時刻に対応する第三の感覚パラメータに含まれる対話的メディア・イベントの型および第四の継続時間を入力パラメータとして使用して、選択された対話経験スコア計算モデルを用いてVRマルチメディアの対話経験スコアを計算するよう構成される。
任意的に、図１０Ｃを参照すると、決定モジュール1002は：
前記少なくとも二つの知覚次元のそれぞれについて、VRマルチメディアの第一の感覚パラメータ、第二の感覚パラメータ、および第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定するよう構成された第二の決定ユニット10023と；
知覚次元におけるVRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、その知覚次元におけるVRマルチメディア経験スコア計算モデルを使用することによって、その知覚次元におけるVRマルチメディアの経験スコアを計算するよう構成された第二の計算ユニット10024と；
前記少なくとも二つの知覚次元におけるVRマルチメディアの経験スコアを入力パラメータとして使用して、事前設定されたVRマルチメディアMOS計算モデルを用いて、VRマルチメディアの経験スコアを計算するよう構成された第三の計算ユニット10025とを含む。
任意的に、前記第二の決定ユニット10023は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、かつ、ネットワーク・メディア・イベントまたは対話的メディア・イベントが現在時刻において生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコアを決定するように構成された決定サブユニットを含み、
前記決定サブユニットはさらに：現在時刻に生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在の決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定するよう構成される；または
前記決定サブユニットはさらに：現在時刻に生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定し、知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定するよう構成される。
任意的に、第二の決定ユニット10023は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコアおよび前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、VRマルチメディアの対話経験スコアを決定するよう構成された決定サブユニットを含む。
任意的に、第二の決定ユニット10023は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、かつネットワーク・メディア・イベントが現在時刻において生起しているが同時に対話的メディア・イベントは生起しておらず、かつ、ネットワーク・メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定された知覚次元における忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定するよう構成された決定サブユニットを含み、
前記決定サブユニットはさらに：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、かつ、対話的メディア・イベントが現在時刻において生起しているが同時にネットワーク・メディア・イベントは生起しておらず、かつ、対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定し、知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定するよう構成される；または
前記決定サブユニットはさらに：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻に生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定された知覚次元における忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時におけるVRマルチメディアのMOSに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定するよう構成され、
対応して、前記第二の計算ユニット10024は、具体的には：
現在時刻より前に最近決定された知覚次元における忠実度経験スコアならびに現在時刻において決定された知覚次元における享受経験スコアおよび対話経験スコアを入力パラメータとして使用して、知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、知覚次元におけるVRマルチメディアの経験スコアを計算するよう構成される。
任意的に、第二の決定ユニット10023は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、かつ、ネットワーク・メディア・イベントまたは対話的メディア・イベントが現在時刻において生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコアを決定するよう構成された決定サブユニットを含み、
前記決定サブユニットはさらに：現在時刻に生起しているイベントがネットワーク・メディア・イベントである場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコアおよび前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定するよう構成される；または
前記決定サブユニットはさらに：現在時刻に生起しているイベントが対話的メディア・イベントである場合、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定し、知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定するよう構成される。
任意的に、前記第二の決定ユニット10023は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達し、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻に生起している場合、現在時刻に対応する第一の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、知覚次元におけるVRマルチメディアの忠実度経験スコアを決定し、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、知覚次元における現在決定された忠実度経験スコアおよび前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、VRマルチメディアの対話経験スコアを決定するよう構成されている決定サブユニットを含む。
任意的に、前記第二の決定ユニット10023は：
現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、かつ、ネットワーク・メディア・イベントが現在時刻に生起しているが同時に対話的メディア・イベントは生起しておらず、かつ、ネットワーク・メディア・イベントが終了する、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、知覚次元におけるVRマルチメディアの対話経験スコアを初期値に設定するように構成された決定サブユニットを含み、
前記決定サブユニットはさらに：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、かつ、対話的メディア・イベントが現在時刻に生起しているが同時にネットワーク・メディア・イベントは生起しておらず、かつ、対話的メディア・イベントが終了する、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定し、知覚次元におけるVRマルチメディアの享受経験スコアを初期値に設定するよう構成される；または
前記決定サブユニットはさらに：現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻において生起しており、単位時間期間が終了することが現在時刻において検出される場合、または、現在時刻がVRマルチメディアの第一の感覚パラメータのサンプリング時刻に達せず、ネットワーク・メディア・イベントおよび対話的メディア・イベントが現在時刻に生起しており、ネットワーク・メディア・イベントおよび／または対話的メディア・イベントが終了することが現在時刻において検出され、かつ、単位時間期間が終了することが検出されない場合、現在時刻に対応する第二の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在の単位時間期間において現在時刻より前に最近決定された知覚次元における忠実度経験スコア、および、前の単位時間期間の終了時におけるVRマルチメディアのMOSに基づいて、知覚次元におけるVRマルチメディアの享受経験スコアを決定し、現在時刻に対応する第三の感覚パラメータにおいて知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて知覚次元におけるVRマルチメディアの対話経験スコアを決定するよう構成され、
対応して、前記第二の計算ユニット10024は、具体的には：
現在の単位時間期間において現在時刻より前に最近決定された知覚次元における忠実度経験スコアならびに現在時刻において決定された知覚次元における享受経験スコアおよび対話経験スコアを入力パラメータとして使用して、知覚次元におけるVRマルチメディア経験スコア計算モデルを用いて、知覚次元におけるVRマルチメディアの経験スコアを計算するよう構成される。
任意的に、第一の感覚パラメータにおける視覚次元におけるビデオ属性情報は、投影フォーマット、ステレオ度、および自由度のうちの少なくとも一つを含み、第一の感覚パラメータにおける視覚次元におけるビデオ・パラメータは、全視野解像度および視野のうちの少なくとも一つを含み、第一の感覚パラメータにおける聴覚次元におけるオーディオ属性情報は、オーディオ・ステレオ度を含む。
任意的に、第二の感覚パラメータは、ネットワーク・メディア・イベントの型および対応する継続時間を含み、該対応する継続時間はネットワーク・メディア・イベントの継続時間である。
任意的に、第二の感覚パラメータに含まれるネットワーク・メディア・イベントの型は、再生イベント、フリーズ・イベント、またはメディア品質変化イベントを含む。
任意的に、第三の感覚パラメータは、対話的メディア・イベントの型および対応する継続時間を含み、該対応する継続時間は対話的メディア・イベントの継続時間である。
任意的に、第三の感覚パラメータに含まれる対話的メディア・イベントの型は、初期ロード・イベント、対話的ロード・イベント、またはメディア・ヒステリシス・イベントを含み、初期ロード・イベントは、VRマルチメディアが初期に再生されるときのロード・イベントであり、対話的ロード・イベントは、VRマルチメディアとユーザーとの間の対話に起因して生起するロード・イベントであり、メディア・ヒステリシス・イベントは、ユーザー・アクションに起因してメディア更新とアクションとの間で生起するヒステリシス・イベントである。
任意的に、前記少なくとも二つの知覚次元は、フィードバック次元をさらに含み、フィードバック次元は、視覚次元と、前記少なくとも二つの知覚次元における視覚次元とは別の次元との間の同期および関連付け関係であり、
第一の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータが、時間同期度、方位角同期度、および力フィードバック・インジケーターのうちの少なくとも一つを含み、時間同期度は視覚次元と聴覚次元との間の時間同期度であり、方位角同期度は視覚次元と聴覚次元との間の方位角同期度であり、力フィードバック・インジケーターは、視覚次元にマッチする力フィードバックがあるか否かを示すために使われ；
第二の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータが、第一の同期度変化インジケーター、第二の同期度変化インジケーター、および第三の同期度変化インジケーターのうちの少なくとも一つを含み、第一の同期度変化インジケーターは、前記時間同期度が変化するか否かを示すために使用され、第二の同期度変化インジケーターは、前記方位角同期度が変化するか否かを示すために使用され、第三の同期度変化インジケーターは、視覚次元と力フィードバックとの間の時間同期度が変化するか否かを示すために使用され；
第三の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータが、ヒステリシス・インジケーターを含み、ヒステリシス・インジケーターは、力フィードバックとアクションとの間でヒステリシス・イベントが生起しているか否かを示すために使用される。
任意的に、本装置は、さらに：
事前設定された試験期間内の計算を通じて得られるVRマルチメディアのすべてのMOSの平均値を決定するよう構成された第三の決定ユニットを含み、事前設定された試験期間はVRマルチメディアの経験品質を決定することの継続時間である。
任意的に、本装置は、さらに：
事前設定された試験期間内の計算を通じて得られるVRマルチメディアのすべてのMOSの平均二乗誤差を決定するよう構成された第四の決定ユニットを含み、該平均二乗誤差は、VRマルチメディアのすべてのMOSの安定性を示すために使用される。
結論として、対話経験品質評価が、本発明のこの実施形態における端末によってVRマルチメディアの経験品質を決定するプロセスに追加されるが、ユーザーとの対話は、まさに、VRマルチメディアを従来のメディアから区別する主な特徴である。よって、本発明のこの実施形態におけるVRマルチメディアの経験品質を決定することは、VRマルチメディアの実際の状況により良く適合し、決定されるVRマルチメディアの経験品質もより正確である。さらに、本発明のこの実施形態では、忠実度経験スコアが決定されるとき、視野、投影フォーマット、ステレオ度、自由度、および立体音響などのVRマルチメディアの特徴的パラメータが忠実度経験に及ぼす影響が考慮される。したがって、これに基づいて決定される忠実度経験スコアもより正確である。また、本発明のこの実施形態では、享受経験スコアの決定は、現在のイベントまたは単位イベント期間におけるパラメータに関係するだけでなく、VRマルチメディアの以前のMOSにも関係することも注意しておくべきである。これは、VRマルチメディアの以前の再生の影響を考慮することに等しい。よって、決定される享受経験スコアは、より包括的で、より正確である。
なお、上記実施形態によるVRマルチメディアの経験品質を決定するための装置がVRマルチメディアの経験品質を決定するとき、上記の諸機能モジュールの分割は、単に例として記載されていることを注意しておくべきである。実際の応用では、上記の諸機能は、必要性に従って完了のための異なる機能モジュールに割り当てられてもよく、すなわち、デバイスの内部構造は、前述の機能の全部または一部を実装するために異なる機能モジュールに分割される。また、前述の実施形態によるVRマルチメディアの経験品質を決定する装置と、VRマルチメディアの経験品質を決定する方法の実施形態とは、同じ発想に属する。その具体的な実施プロセスについては、方法実施形態を参照されたい。詳細は、ここでは再度説明しない。
前述の実施形態の全部または一部は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせによって実装されうる。それらの実施形態を実装するためにソフトウェアが使用される場合、実施形態は、完全にまたは部分的に、コンピュータ・プログラム製品の形で実装されうる。コンピュータ・プログラム製品は、一つまたは複数のコンピュータ命令を含む。コンピュータ命令がロードされ、コンピュータ上で実行されるとき、本発明の実施形態による手順または機能がすべてまたは部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータ・ネットワーク、または他の任意のプログラム可能な装置であってもよい。コンピュータ命令は、コンピュータ読取可能な記憶媒体に記憶されてもよく、またはコンピュータ読取可能な記憶媒体から別のコンピュータ読取可能な記憶媒体に送信されてもよい。たとえば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバー、またはデータ・センターから、有線（たとえば、同軸ケーブル、光ファイバー、またはデジタル加入者回線（Digital Subscriber Line、DSL））または無線（たとえば、赤外線、無線、またはマイクロ波）方式で、別のウェブサイト、コンピュータ、サーバー、またはデータ・センターに送信されうる。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、または一つまたは複数の使用可能な媒体を統合するサーバーまたはデータ・センターなどのデータ記憶装置であってもよい。使用可能な媒体は、磁気媒体（たとえば、フロッピーディスク、ハードディスク、または磁気テープ）、光媒体（たとえば、デジタル多用途ディスク（Digital Versatile Disc、DVD））、半導体媒体（たとえば、ソリッドステートドライブ（Solid State Disk、SSD））などでありうる。
当業者であれば、実施形態のステップの全部または一部が、ハードウェアまたは関係するハードウェアに命令するプログラムによって実装されうることを理解しうる。プログラムは、コンピュータ読取可能な記憶媒体に記憶されてもよい。記憶媒体は、読み出し専用メモリ、磁気ディスク、光ディスク等を含むことができる。
上記の説明は、単に本願の実施形態であり、本願を限定することは意図されていない。本願の精神および原理から逸脱することなくなされるいかなる修正、等価な置換または改良も、本願の保護範囲内にはいるべきである。

Claims (32)

  1. 仮想現実VRマルチメディアの経験品質を決定する方法であって、当該方法は：
    VRマルチメディアを再生するプロセスにおいて、少なくとも一つの知覚次元に従ってサンプリングを実行して前記VRマルチメディアの第一の感覚パラメータおよび第二の感覚パラメータを得る段階であって、前記少なくとも一つの知覚次元は視覚次元を含む、段階と；
    少なくとも二つの知覚次元に従ってサンプリングを実行して前記VRマルチメディアの第三の感覚パラメータを得る段階であって、前記少なくとも二つの知覚次元は視覚次元およびフィードバック次元を含む、段階と；
    前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて前記VRマルチメディアの平均オピニオン・スコアMOSを決定する段階とを含む、
    方法。
  2. 前記第一の感覚パラメータは、前記少なくとも二つの知覚次元に従ってサンプリングを実行することによって得られる、請求項１に記載の方法。
  3. 前記第一の感覚パラメータは忠実度経験に影響し、前記第二の感覚パラメータは享受経験に影響し、前記第三の感覚パラメータは対話経験に影響する、請求項１に記載の方法。
  4. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて前記VRマルチメディアの平均オピニオン・スコアMOSを決定する前記段階は：
    前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて、前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し；
    前記忠実度経験スコア、前記享受経験スコア、および前記対話経験スコアを前記MOSを計算するための第一入力パラメータとして決定することを含む、
    請求項１に記載の方法。
  5. 前記忠実度経験スコア、前記享受経験スコア、および前記対話経験スコアを、事前設定されたVRマルチメディアMOS計算モデルを使って前記VRマルチメディアの前記MOSを計算するための第一入力パラメータとして設定ことをさらに含む、
    請求項４記載の方法。
  6. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて、前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合に、現在時刻に対応する前記第一の感覚パラメータに基づいて前記VRマルチメディアの前記忠実度経験スコアを決定することであって、前記ネットワーク・メディア・イベントはネットワーク条件の変化により生起するイベントであり、前記対話的メディア・イベントはユーザーとの対話により生起するイベントである、ことと；
    現在時刻において生起している前記イベントが前記ネットワーク・メディア・イベントである場合、現在時刻に対応する前記第二の感覚パラメータ、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて前記VRマルチメディアの前記享受経験スコアを決定し、前記VRマルチメディアの前記対話経験スコアを初期値に設定すること；または
    現在時刻において生起している前記イベントが前記対話的メディア・イベントである場合、現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定し、前記VRマルチメディアの前記享受経験スコアを初期値に設定することとを含む、
    請求項４記載の方法。
  7. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて、前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する前記第一の感覚パラメータに基づいて前記VRマルチメディアの前記忠実度経験スコアを決定し、現在時刻に対応する前記第二の感覚パラメータ、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて前記VRマルチメディアの前記享受経験スコアを決定し、現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定することを含む、
    請求項４記載の方法。
  8. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて、前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、前記ネットワーク・メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する前記第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて、前記VRマルチメディアの前記享受経験スコアを決定し、前記VRマルチメディアの前記対話経験スコアを初期値に設定すること；
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、前記対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定し、前記VRマルチメディアの前記享受経験スコアを初期値に設定すること；または
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、前記ネットワーク・メディア・イベントおよび／または前記対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する前記第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて、前記VRマルチメディアの前記享受経験スコアを決定し、現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定することを含み、
    対応して、決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを使って前記VRマルチメディアの前記MOSを計算することは：
    現在時刻より前に最近決定された前記忠実度経験スコアと、現在時刻において決定された前記享受経験スコアおよび前記対話経験スコアとを前記入力パラメータとして使用して、前記事前設定されたVRマルチメディアMOS計算モデルを使って前記VRマルチメディアの前記MOSを計算することを含む、
    請求項４記載の方法。
  9. 前記第二の感覚パラメータは、ネットワーク・メディア・イベントの型および第一の継続時間を含み、前記第一の継続時間は前記ネットワーク・メディア・イベントの継続時間であり；
    現在時刻に対応する前記第二の感覚パラメータ、現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて前記VRマルチメディアの前記享受経験スコアを決定することは：
    現在時刻に対応する前記第二の感覚パラメータに含まれる前記ネットワーク・メディア・イベントの前記型が再生イベントである場合、現在時刻に対応する第二の感覚パラメータに含まれる前記第一の継続時間、前記現在決定された忠実度経験スコア、および前記前回のネットワーク・メディア・イベントの終了時における前記VRマルチメディアの前記MOSを入力パラメータとして使って、前記再生イベントに対応する享受経験スコア計算モデルを使って前記VRマルチメディアの前記享受経験スコアを計算すること；
    現在時刻に対応する前記第二の感覚パラメータに含まれる前記ネットワーク・メディア・イベントの前記型がフリーズ・イベントである場合、現在時刻に対応する前記第二の感覚パラメータに含まれる前記第一の継続時間、前記現在決定された忠実度経験スコア、および前記前回のネットワーク・メディア・イベントの終了時における前記VRマルチメディアの前記MOSを前記入力パラメータとして使って、前記フリーズ・イベントに対応する享受経験スコア計算モデルを使って前記VRマルチメディアの前記享受経験スコアを計算すること；または
    現在時刻に対応する前記第二の感覚パラメータに含まれる前記ネットワーク・メディア・イベントの前記型がメディア品質変化イベントである場合、前記現在決定された忠実度経験スコアと、現在時刻より前に最近決定された忠実度経験スコアとの間の差を、前記VRマルチメディアの前記享受経験スコアとして決定することを含む、
    請求項６または７記載の方法。
  10. 前記第三の感覚パラメータは、対話的メディア・イベントの型および第二の継続時間を含み、前記第二の継続時間は前記対話的メディア・イベントの継続時間であり；
    現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定することは：
    複数の記憶された対話経験スコア計算モデルから、現在時刻に対応する前記第三の感覚パラメータに含まれる前記対話的メディア・イベントの前記型に対応する対話経験スコア計算モデルを選択し；
    現在時刻に対応する前記第三の感覚パラメータに含まれる前記対話的メディア・イベントの前記型および前記第二の継続時間を入力パラメータとして使って、選択された対話経験スコア計算モデルを用いて前記VRマルチメディアの前記対話経験スコアを計算することを含む、
    請求項７または８記載の方法。
  11. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて、前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、現在時刻に対応する前記第一の感覚パラメータに基づいて前記VRマルチメディアの前記忠実度経験スコアを決定することと；
    現在時刻において生起している前記イベントが前記ネットワーク・メディア・イベントである場合、現在時刻点に対応する前記第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて前記VRマルチメディアの前記享受経験スコアを決定し、前記VRマルチメディアの前記対話経験スコアを初期値に設定する；または
    現在時刻において生起している前記イベントが前記対話的メディア・イベントである場合、現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定し、前記VRマルチメディアの享受経験スコアを初期値に設定することとを含む、
    請求項４記載の方法。
  12. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて、前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する前記第一の感覚パラメータに基づいて前記VRマルチメディアの前記忠実度経験スコアを決定し、現在時刻に対応する前記第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて前記VRマルチメディアの前記享受経験スコアを決定し、現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定することを含む、
    請求項４記載の方法。
  13. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて、前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、前記ネットワーク・メディア・イベントが終了するか、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する前記第二の感覚パラメータ、現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて前記VRマルチメディアの前記享受経験スコアを決定し、前記VRマルチメディアの前記対話経験スコアを初期値に設定すること；
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、前記対話的メディア・イベントが終了するか、または、前記単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定し、前記VRマルチメディアの前記享受経験スコアを初期値に設定すること；または
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、前記単位時間期間が終了することが現在時刻において検出される場合、または、現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、前記ネットワーク・メディア・イベントおよび／または前記対話的メディア・イベントが終了することが現在時刻において検出され、前記単位時間期間が終了することは検出されない場合、現在時刻に対応する前記第二の感覚パラメータ、現在の単位時間期間において現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて、前記VRマルチメディアの前記享受経験スコアを決定し、現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定することとを含み、
    対応して、決定された忠実度経験スコア、享受経験スコア、および対話経験スコアを入力パラメータとして使用して、事前設定されたVRマルチメディアMOS計算モデルを用いて前記VRマルチメディアの前記MOSを計算することは：
    現在の単位時間期間において現在時刻より前に最近決定された前記忠実度経験スコアと、現在時刻において決定された前記享受経験スコアおよび前記対話経験スコアとを前記入力パラメータとして使って、前記事前設定されたVRマルチメディアMOS計算モデルを用いて前記VRマルチメディアの前記MOSを計算することを含む、
    請求項４記載の方法。
  14. 前記第一の感覚パラメータは、視覚次元におけるビデオ属性情報およびビデオ・パラメータならびに聴覚次元におけるオーディオ属性情報およびオーディオ・パラメータを含み；
    現在時刻に対応する前記第一の感覚パラメータに基づいて前記VRマルチメディアの前記忠実度経験スコアを決定することは：
    複数の記憶された視覚的忠実度経験スコア計算モデルから、現在時刻に対応する前記第一の感覚パラメータに含まれる前記ビデオ属性情報に対応する視覚的忠実度経験スコア計算モデルを選択し；
    現在時刻に対応する前記第一の感覚パラメータに含まれる前記ビデオ・パラメータを入力パラメータとして使って、選択された視覚的忠実度経験スコア計算モデルを用いて現在時刻における視覚的忠実度経験スコアを計算し；
    複数の記憶された聴覚的忠実度経験スコア計算モデルから、現在時刻に対応する前記第一の感覚パラメータに含まれる前記オーディオ属性情報に対応する聴覚的忠実度経験スコア計算モデルを選択し；
    現在時刻の前記第一の感覚パラメータに含まれる前記オーディオ・パラメータを入力パラメータとして使って、選択された聴覚的忠実度経験スコア計算モデルを用いて現在時刻における聴覚的忠実度経験スコアを計算し；
    前記VRマルチメディアの前記忠実度経験スコアを、現在時刻における前記視覚的忠実度経験スコアおよび前記聴覚的忠実度経験スコアに基づいて決定することを含む、
    請求項６、７、１１または１２記載の方法。
  15. 前記第二の感覚パラメータは、ネットワーク・メディア・イベントの型および第三の継続時間を含み、前記第三の継続時間は、単位時間期間における前記ネットワーク・メディア・イベントの継続時間であり；
    現在時刻に対応する前記第二の感覚パラメータ、現在決定された忠実度経験スコア、および前の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて、前記VRマルチメディアの前記享受経験スコアを決定することは：
    現在時刻に対応する前記第二の感覚パラメータに含まれる前記ネットワーク・メディア・イベントの前記型が再生イベントである場合、現在時刻に対応する前記第二の感覚パラメータに含まれる前記第三の継続時間、現在決定された忠実度経験スコア、および前記前の単位時間期間の終了時における前記VRマルチメディアの前記MOSを入力パラメータとして使って、前記再生イベントに対応する享受経験スコア計算モデルを用いて前記VRマルチメディアの前記享受経験スコアを計算すること；
    現在時刻に対応する前記第二の感覚パラメータに含まれる前記ネットワーク・メディア・イベントの前記型がフリーズ・イベントである場合、現在時刻に対応する前記第二の感覚パラメータに含まれる前記第三の継続時間、現在決定された忠実度経験スコア、および前記前の単位時間期間の終了時における前記VRマルチメディアの前記MOSを入力パラメータとして使って、前記フリーズ・イベントに対応する享受経験スコア計算モデルを用いて前記VRマルチメディアの前記享受経験スコアを計算すること；または
    現在時刻に対応する前記第二の感覚パラメータに含まれる前記ネットワーク・メディア・イベントの前記型がメディア品質変化イベントである場合、現在決定された忠実度経験スコアと、現在の単位時間期間において現在時刻より前に最近決定された忠実度経験スコアとの間の差を、前記VRマルチメディアの前記享受経験スコアとして決定することとを含む、
    請求項１１または１２記載の方法。
  16. 前記第三の感覚パラメータは、対話的メディア・イベントの型および第四の継続時間とを含み、前記第四の継続時間は、前記単位時間期間における前記対話的メディア・イベントの継続時間であり；
    現在時刻に対応する前記第三の感覚パラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定することは：
    複数の記憶された対話経験スコア計算モデルから、現在時刻に対応する前記第三の感覚パラメータに含まれる前記対話的メディア・イベントの前記型に対応する対話経験スコア計算モデルを選択し；
    現在時刻に対応する前記第三の感覚パラメータに含まれる前記対話的メディア・イベントの前記型および前記第四の継続時間を入力パラメータとして使って、選択された対話経験スコア計算モデルを用いて前記VRマルチメディアの前記対話経験スコアを計算することを含む、
    請求項１２または１３記載の方法。
  17. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータに基づいて前記VRマルチメディアの平均オピニオン・スコアMOSを決定することは：
    前記少なくとも二つの知覚次元のそれぞれについて、前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定し；
    前記知覚次元における前記VRマルチメディアの前記忠実度経験スコア、前記享受経験スコア、および前記対話経験スコアを入力パラメータとして使って、前記知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、前記知覚次元における前記VRマルチメディアの経験スコアを計算し；
    前記少なくとも二つの知覚次元における前記VRマルチメディアの経験スコアを入力パラメータとして使って、事前設定されたVRマルチメディアMOS計算モデルを用いて前記VRマルチメディアの経験スコアを計算することを含む、
    請求項１記載の方法。
  18. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、現在時刻に対応する、前記第一の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの前記忠実度経験スコアを決定することと；
    現在時刻において生起している前記イベントが前記ネットワーク・メディア・イベントである場合、現在時刻に対応する、前記第二の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータ、前記知覚次元における現在決定された忠実度経験スコア、および前回のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを決定し、前記知覚次元における前記VRマルチメディアの前記対話経験スコアを初期値に設定するか；または
    現在時刻において生起している前記イベントが前記対話的メディア・イベントである場合、現在時刻に対応する、前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記知覚次元における前記VRマルチメディアの前記対話経験スコアを決定し、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを初期値に設定することとを含む、
    請求項１７記載の方法。
  19. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する、前記第一の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記知覚次元における前記VRマルチメディアの前記忠実度経験スコアを決定し、現在時刻に対応する、前記第二の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータ、前記知覚次元における現在決定された忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて前記知覚次元における前記VRマルチメディアの前記享受経験スコアを決定し、現在時刻に対応する、前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定することを含む、
    請求項１７記載の方法。
  20. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、前記ネットワーク・メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する、前記第二の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定された前記知覚次元における忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを決定し、前記知覚次元における前記VRマルチメディアの前記対話経験スコアを初期値に設定すること；
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、前記対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する、前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記知覚次元における前記VRマルチメディアの前記対話経験スコアを決定し、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを初期値に設定すること；または
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、前記ネットワーク・メディア・イベントおよび／または前記対話的メディア・イベントが終了することが現在時刻において検出される場合、現在時刻に対応する、前記第二の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定された前記知覚次元における忠実度経験スコア、および前のネットワーク・メディア・イベントの終了時における前記VRマルチメディアのMOSに基づいて、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを決定し、現在時刻に対応する前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記知覚次元における前記VRマルチメディアの前記対話経験スコアを決定することとを含み；
    対応して、前記知覚次元における前記VRマルチメディアの前記忠実度経験スコア、前記享受経験スコア、および前記対話経験スコアを入力パラメータとして使って、前記知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて、前記知覚次元における前記VRマルチメディアの経験スコアを計算することは：
    現在時刻より前に最近決定された前記知覚次元における前記忠実度経験スコアと、現在時刻において決定される前記知覚次元における前記享受経験スコアおよび前記対話経験スコアとを前記入力パラメータとして使って、前記知覚次元における前記事前設定されたVRマルチメディア経験スコア計算モデルを用いて、前記知覚次元における前記VRマルチメディアの前記経験スコアを計算することを含む、
    請求項１７記載の方法。
  21. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントまたは対話的メディア・イベントが生起している場合、現在時刻に対応する、前記第一の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの前記忠実度経験スコアを決定することと；
    現在時刻において生起している前記イベントが前記ネットワーク・メディア・イベントである場合、現在時刻に対応する、前記第二の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータ、前記知覚次元における現在決定された忠実度経験スコア、および前回の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを決定し、前記知覚次元における前記VRマルチメディアの前記対話経験スコアを初期値に設定するか；または
    現在時刻において生起している前記イベントが前記対話的メディア・イベントである場合、現在時刻に対応する、前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記知覚次元における前記VRマルチメディアの前記対話経験スコアを決定し、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを初期値に設定することとを含む、
    請求項１７記載の方法。
  22. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達し、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起している場合、現在時刻に対応する、前記第一の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記知覚次元における前記VRマルチメディアの前記忠実度経験スコアを決定し、現在時刻に対応する、前記第二の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータ、前記知覚次元における現在決定された忠実度経験スコア、および前の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて前記知覚次元における前記VRマルチメディアの前記享受経験スコアを決定し、現在時刻に対応する、前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記VRマルチメディアの前記対話経験スコアを決定することを含む、
    請求項１７記載の方法。
  23. 前記VRマルチメディアの前記第一の感覚パラメータ、前記第二の感覚パラメータ、および前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの忠実度経験スコア、享受経験スコア、および対話経験スコアを決定することは：
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントが生起しているが、同時に対話的メディア・イベントは生起しておらず、前記ネットワーク・メディア・イベントが終了するか、または、単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する、前記第二の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在時刻より前に最近決定された忠実度経験スコア、および、前の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて前記知覚次元における前記VRマルチメディアの前記享受経験スコアを決定し、前記知覚次元における前記VRマルチメディアの前記対話経験スコアを初期値に設定すること；
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻において対話的メディア・イベントが生起しているが、同時にネットワーク・メディア・イベントは生起しておらず、前記対話的メディア・イベントが終了するか、または、前記単位時間期間が終了することが現在時刻において検出される場合、現在時刻に対応する、前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて、前記知覚次元における前記VRマルチメディアの前記対話経験スコアを決定し、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを初期値に設定すること；または
    現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、前記単位時間期間が終了することが現在時刻において検出される場合、または、現在時刻が前記VRマルチメディアの前記第一の感覚パラメータのサンプリング時刻に達せず、現在時刻においてネットワーク・メディア・イベントおよび対話的メディア・イベントが生起しており、前記ネットワーク・メディア・イベントおよび／または前記対話的メディア・イベントが終了することが現在時刻において検出され、前記単位時間期間が終了することは検出されない場合、現在時刻に対応する、前記第二の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータ、現在の単位時間期間において現在時刻より前に最近決定された前記知覚次元における忠実度経験スコア、および、前の単位時間期間の終了時における前記VRマルチメディアのMOSに基づいて、前記知覚次元における前記VRマルチメディアの前記享受経験スコアを決定し、現在時刻に対応する、前記第三の感覚パラメータにおいて前記知覚次元に従ってサンプリングを実行することによって得られるパラメータに基づいて前記知覚次元における前記VRマルチメディアの前記対話経験スコアを決定することとを含み、
    対応して、前記知覚次元における前記VRマルチメディアの前記忠実度経験スコア、前記享受経験スコア、および前記対話経験スコアを入力パラメータとして使用して、前記知覚次元における事前設定されたVRマルチメディア経験スコア計算モデルを用いて前記知覚次元における前記VRマルチメディアの経験スコアを計算することは：
    現在の単位時間期間において現在時刻より前に最近決定された前記知覚次元における前記忠実度経験スコアと、現在時刻において決定された前記享受経験スコアおよび前記対話経験スコアとを前記入力パラメータとして使って、前記知覚次元における前記事前設定されたVRマルチメディア経験スコア計算モデルを用いて前記知覚次元における前記VRマルチメディアの前記経験スコアを計算することを含む、
    請求項１７記載の方法。
  24. 前記第一の感覚パラメータに含まれる視覚次元におけるビデオ属性情報は、投影フォーマット、ステレオ度、および自由度のうちの少なくとも一つを含み、前記第一の感覚パラメータに含まれる視覚次元におけるビデオ・パラメータは、全視野解像度および視野のうちの少なくとも一つを含み、前記第一の感覚パラメータに含まれる聴覚次元におけるオーディオ属性情報は、オーディオ・ステレオ度を含む、請求項１ないし２３のうちいずれか一項記載の方法。
  25. 前記第二の感覚パラメータは、ネットワーク・メディア・イベントの型および対応する継続時間を含み、前記対応する継続時間は前記ネットワーク・メディア・イベントの継続時間である、請求項１、４または１７記載の方法。
  26. 前記第二の感覚パラメータに含まれる前記ネットワーク・メディア・イベントの前記型は、再生イベント、フリーズ・イベント、またはメディア品質変化イベントを含む、請求項２５記載の方法。
  27. 前記第三の感覚パラメータは、対話的メディア・イベントの型および対応する継続時間を含み、前記対応する継続時間は前記対話的メディア・イベントの継続時間である、請求項１、４または１７記載の方法。
  28. 前記第三の感覚パラメータに含まれる前記対話的メディア・イベントの前記型は、初期ロード・イベント、対話的ロード・イベント、またはメディア・ヒステリシス・イベントを含み、前記初期ロード・イベントは、前記VRマルチメディアが最初に再生されるときのロード・イベントであり、前記対話的ロード・イベントは、前記VRマルチメディアとユーザーとの間の対話によって生じるロード・イベントであり、前記メディア・ヒステリシス・イベントは、ユーザー・アクションに起因する、メディア更新とアクションとの間で生じるヒステリシス・イベントである、請求項１０、１６または２７記載の方法。
  29. 前記少なくとも二つの知覚次元はフィードバック次元をさらに含み、フィードバック次元は、視覚次元と、前記少なくとも二つの知覚次元における視覚次元とは別の次元との間の同期および関連付け関係であり、ここで、
    前記第一の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータは、時間同期度、方位角同期度、および力フィードバック・インジケーターのうちの少なくとも一つを含み、前記時間同期度は視覚次元と聴覚次元との間の時間同期度であり、前記方位角同期度は視覚次元と聴覚次元との間の方位角同期度であり、前記力フィードバック・インジケーターは、視覚次元にマッチする力フィードバックがあるかどうかを示すために使用され；
    前記第二の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータは、第一の同期度変化インジケーター、第二の同期度変化インジケーター、および第三の同期度変化インジケーターのうちの少なくとも一つを含み、前記第一の同期度変化インジケーターは、前記時間同期度が変化するか否かを示すために使用され、前記第二の同期度変化インジケーターは、前記方位角同期度が変化するか否かを示すために使用され、前記第三の同期度変化インジケーターは、視覚次元と前記力フィードバックとの間の時間同期度が変化するか否かを示すために使用され；
    前記第三の感覚パラメータにおいてフィードバック次元に従ってサンプリングを実行することによって得られるパラメータは、ヒステリシス・インジケーターを含み、前記ヒステリシス・インジケーターは、前記力フィードバックとアクションとの間でヒステリシス・イベントが生起するか否かを示すために使用される、
    請求項１ないし２８のうちいずれか一項記載の方法。
  30. 前記VRマルチメディアの平均オピニオン・スコアMOSを決定した後、当該方法はさらに：
    事前設定された試験期間内に計算を通じて得られる前記VRマルチメディアのすべてのMOSの平均値を決定することを含み、ここで、前記事前設定された試験期間は、前記VRマルチメディアの経験品質を決定する期間である、請求項１ないし２９のうちいずれか一項記載の方法。
  31. 前記VRマルチメディアの平均オピニオン・スコアMOSを決定した後、当該方法はさらに：
    事前設定された試験期間内に計算を通じて得られる前記VRマルチメディアのすべてのMOSの平均二乗誤差を決定することを含み、前記平均二乗誤差は、前記VRマルチメディアのMOSの安定性を示すために使用される、請求項１ないし３０のうちいずれか一項記載の方法。
  32. 仮想現実VRマルチメディアの経験品質を決定する装置であって、当該装置は請求項１ないし３１のうちいずれか一項記載の方法を実行するよう構成されている、装置。
JP2021153774A 2017-05-08 2021-09-22 Ｖｒマルチメディアの経験品質を決定するための方法および装置 Active JP7267368B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710318426.5 2017-05-08
CN201710318426.5A CN108881894B (zh) 2017-05-08 2017-05-08 Vr多媒体的体验质量确定方法及装置
JP2019561969A JP6949998B2 (ja) 2017-05-08 2017-12-31 Ｖｒマルチメディアの経験品質を決定するための方法および装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019561969A Division JP6949998B2 (ja) 2017-05-08 2017-12-31 Ｖｒマルチメディアの経験品質を決定するための方法および装置

Publications (2)

Publication Number Publication Date
JP2022003555A true JP2022003555A (ja) 2022-01-11
JP7267368B2 JP7267368B2 (ja) 2023-05-01

Family

ID=64104360

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019561969A Active JP6949998B2 (ja) 2017-05-08 2017-12-31 Ｖｒマルチメディアの経験品質を決定するための方法および装置
JP2021153774A Active JP7267368B2 (ja) 2017-05-08 2021-09-22 Ｖｒマルチメディアの経験品質を決定するための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019561969A Active JP6949998B2 (ja) 2017-05-08 2017-12-31 Ｖｒマルチメディアの経験品質を決定するための方法および装置

Country Status (6)

Country Link
US (2) US11138715B2 (ja)
EP (1) EP3614231A4 (ja)
JP (2) JP6949998B2 (ja)
KR (2) KR102381096B1 (ja)
CN (2) CN110996097B (ja)
WO (1) WO2018205643A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7195432B2 (ja) 2018-11-23 2022-12-23 ホアウェイ・テクノロジーズ・カンパニー・リミテッド サービス機能チェイニングネットワークサービス
CN111953959A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 Vr视频质量评估方法及装置
CN111667322A (zh) * 2019-10-23 2020-09-15 四川创客知佳科技有限公司 一种vr产品评价云平台
CN113031756A (zh) * 2019-12-09 2021-06-25 华为技术有限公司 一种评测vr体验临场感的方法、装置及系统
CN113452474B (zh) * 2020-03-27 2022-12-02 华为技术有限公司 扩展现实数据传输方法及装置
CN113781656A (zh) * 2020-06-10 2021-12-10 宏达国际电子股份有限公司 混合渲染系统和混合渲染方法
CN112446965A (zh) * 2020-12-04 2021-03-05 上海影创信息科技有限公司 Vr眼镜的延时检测安全防护方法和系统及其vr眼镜

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611178B2 (ja) * 1994-01-26 1997-05-21 工業技術院長 人工現実感装置の応答時間測定装置
US6592222B2 (en) * 1996-07-31 2003-07-15 Massengill Family Trust Flicker and frequency doubling in virtual reality
US8661496B2 (en) * 2002-12-10 2014-02-25 Ol2, Inc. System for combining a plurality of views of real-time streaming interactive video
US9802225B2 (en) * 2005-06-27 2017-10-31 General Vibration Corporation Differential haptic guidance for personal navigation
JP5054608B2 (ja) * 2008-05-08 2012-10-24 日本電信電話株式会社 コンテンツ評価方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
EP2406955A4 (en) * 2009-03-13 2014-01-08 Ericsson Telefon Ab L M METHOD AND ARRANGEMENT FOR PROCESSING A CODED BITSTROM
CN101853522B (zh) * 2010-04-30 2012-03-21 中国矿业大学(北京) 三维地质建模系统及其建模方法
CA2821401C (en) * 2010-12-16 2019-04-30 Lockheed Martin Corporation Collimating display with pixel lenses
CN102868666B (zh) * 2011-07-07 2015-09-23 北京东方文骏软件科技有限责任公司 基于用户体验交互的流媒体质量监测报告的实现方法
CN102685790B (zh) * 2012-05-22 2014-09-10 北京东方文骏软件科技有限责任公司 模拟用户行为的移动流媒体业务感知体验QoE的测评方法
JP2014182719A (ja) * 2013-03-21 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
KR101535432B1 (ko) 2013-09-13 2015-07-13 엔에이치엔엔터테인먼트 주식회사 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
US20170006343A1 (en) * 2015-06-30 2017-01-05 Rovi Guides, Inc. Systems and methods for generating recommendations based on a virtual environment
KR101716770B1 (ko) * 2015-11-26 2017-03-15 맥스온소프트(주) 가상현실공간에서의 화재 구현 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"クラウドゲームに対するＱｏＥ評価法の検討", 電子情報通信学会技術研究報告 ＶＯＬ．１１５ ＮＯ．３２７, JPN6022038764, 19 November 2015 (2015-11-19), ISSN: 0004873597 *

Also Published As

Publication number Publication date
US20200090324A1 (en) 2020-03-19
KR102381096B1 (ko) 2022-03-30
KR102480709B1 (ko) 2022-12-22
CN108881894B (zh) 2020-01-17
CN110996097A (zh) 2020-04-10
JP6949998B2 (ja) 2021-10-13
WO2018205643A1 (zh) 2018-11-15
KR20200004388A (ko) 2020-01-13
US11694316B2 (en) 2023-07-04
CN110996097B (zh) 2021-10-01
CN108881894A (zh) 2018-11-23
JP2020521212A (ja) 2020-07-16
JP7267368B2 (ja) 2023-05-01
US20210350518A1 (en) 2021-11-11
EP3614231A1 (en) 2020-02-26
EP3614231A4 (en) 2020-04-08
US11138715B2 (en) 2021-10-05
KR20220044386A (ko) 2022-04-07

Similar Documents

Publication Publication Date Title
JP6949998B2 (ja) Ｖｒマルチメディアの経験品質を決定するための方法および装置
US20230283653A1 (en) Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
US10491711B2 (en) Adaptive streaming of virtual reality data
US20180191868A1 (en) Method and System for Downloading Multiple Resolutions Bitrate for Virtual Reality (VR) Video Streaming Optimization
US9544346B1 (en) Systems and methods for selecting a node for media streaming
US9473548B1 (en) Latency reduction in streamed content consumption
CN113141514B (zh) 媒体流传输方法、系统、装置、设备及存储介质
US8407565B2 (en) System and method for producing importance rate-based rich media, and server applied to the same
US9055272B2 (en) Moving image reproduction apparatus, information processing apparatus, and moving image reproduction method
JP2021108481A (ja) ３６０ビデオストリーミングのための予測ビットレート選択
CN111698520A (zh) 一种多视角视频的播放方法、装置、终端及存储介质
US20230063510A1 (en) Adaptive field of view prediction
JP2008500752A (ja) ビデオデータの適応型復号
CN112261408B (zh) 用于头戴显示设备的图像处理方法、装置及电子设备
US20150271440A1 (en) Information processing apparatus, information processing method, program, and information processing system
WO2021076173A1 (en) Methods, systems, and media for streaming video content using adaptive buffers
JP2011171862A (ja) 再生装置、再生方法、およびプログラム
Stamm Assessing Image Quality Impact of View Bypass in Cloud Rendering
WO2024081320A1 (en) Bandwidth-adaptive light field video transmission on mobile and portable devices
JP2013106323A (ja) コンテンツ再生装置、コンテンツ再生方法、プログラム、および記録媒体
CN112887755A (zh) 用于播放视频的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230419

R150 Certificate of patent or registration of utility model

Ref document number: 7267368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150