CN113347374A - 基于多分辨率的多视角媒体呈现方法 - Google Patents

Abstract

本发明提供了一种基于多分辨率的多视角媒体呈现方法，所述述呈现方法包括服务器下发空间分块信令信息的步骤，所述空间分块信令信息用于指示原视频与其分块视频之间的空间位置关系。本发明提供了一种基于多分辨率的多视角媒体呈现机制，通过空间分块信令信息指示原视频与分块视频之间的空间位置关系，从而为进一步解决多视角媒体呈现时存在的切换黑屏问题提供了更加灵活的解决方案。

Description

基于多分辨率的多视角媒体呈现方法

技术领域

本发明涉及一种多视角媒体呈现方法，具体地，涉及一种基于多分辨率的多视角媒体呈现方法。

背景技术

随着数字媒体技术的快速发展，互联网中产生的多媒体内容呈现爆炸式的增长，特别是超高分辨率视频业务(如4K，8K等)和沉浸式视频业务的广泛应用，多媒体服务给网络带宽造成了愈加沉重的负担。同时，终端呈现设备越来越多样化，例如超高清电视、平板电脑、智能手机、头戴设备等，由于硬件能力的限制，部分设备并不支持超高分辨率视频的解码及呈现。

为应对网络带宽过载化和终端设备多样化，当前一些多媒体协议提出将超高分辨率的多媒体内容在空间上进行分块，根据用户网络状况、设备能力和用户自身的感兴趣区域来为用户传输和呈现对应的不同视角的分块多媒体内容。

然而，该种方案虽然保证了在呈现给用户所需要消费的视野的同时极大的节省了带宽，但由于用户一次只能消费一部分视野，当用户需要消费其他部分视野时，该种方案虽然可以继续呈现对应的视野，但其不可避免的会在画面切换时造成卡顿、黑屏等不佳的视频效果。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于多分辨率的多视角媒体呈现方法，其引入更低分辨率视频内容同步呈现，并通过信令消息指示特定多媒体内容存在的多分辨率和多视角结合方式，既解决了切换黑屏问题，又保证了多分辨率和多视角结合的灵活性。

一种基于多分辨率的多视角媒体呈现方法，其特征在于，所述呈现方法包括服务器下发空间分块信令信息的步骤，所述空间分块信令信息用于指示媒体内容的原视频与其分块视频之间的空间位置关系。

本发明的一种实施例，所述空间分块信令信息用空间分块信令表block_association_table()定义，所述block_association_table()包括：block_height_top、block_width_left、block_height、block_width参数，用于描述媒体内容的原视频与其分块视频之间的空间位置关系。

本发明的一种实施例，所述block_association_table()的实现方式为：

本发明的一种实施例4，所述呈现方法还包括：服务器下发多分辨率多视角信令信息，用于根据原视频得到对应视角的多分辨率完整视频或分块视频。

本发明的一种实施例，所述呈现方法进一步包括：结合所述空间分块信令信息指示的分块视频的空间位置关系，请求超高清分块视频，同时，根据所述多分辨率多视角信令信息，请求对应视角的低分辨率分块视频。

本发明的一种实施例，所述呈现方法进一步包括：下发所述超高清分块视频和所述对应视角的低分辨率分块视频，并将所述超高清分块视频和所述对应视角的低分辨率分块视频结合呈现给用户。

本发明的一种实施例，服务器通过所述多分辨率多视角信令信息指示是否存在多分辨率媒体资源、每种分辨率的媒体资源是否存在空间分块。

与现有技术相比，本发明具有如下的有益效果：本发明提供了一种基于多分辨率的多视角媒体呈现机制。通过空间分块信令信息指示原视频与分块视频之间的空间位置关系，从而为进一步解决多视角媒体呈现时存在的切换黑屏问题提供了解决方案。同时引入更低分辨率视频内容同步呈现，并通过多分辨率多视角信令消息指示特定多媒体内容存在的多分辨率和多视角结合方式，既解决了切换黑屏问题，又保证了多分辨率和多视角结合的灵活性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为高清分块视角和低清完整视角结合图。图中斜线部分为用户实际观看到的部分。

图2为高清分块视角和低清分块视角结合图。图中斜线部分为用户实际观看到的部分

图3为视角切换时用户看到的视野内容图。图中斜线部分为用户实际观看到的部分。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明在为用户传送其所需求的视野区域时，同时为用户传送该多媒体内容更大视野范围的清晰度稍低的视频。此时当用户需要切换视角时，因为客户端本地存在更大视野范围的低清晰版本视频，切换视角的过渡时期可以呈现低清晰版本的视频。而由于切换视角过渡期时间较为短暂，这一段时间用户观看到低清晰视角的体验也要远远优于黑屏的体验。当用户所需要的高清晰视角内容成功传输给用户之后，用户可以继续观看高清晰的视频内容。

随着数字媒体技术的快速发展，互联网中产生的多媒体内容，尤其是超高清多媒体呈现爆炸式的增长，为应对造成的网络带宽过载化和终端设备多样化，当前一些多媒体协议提出将超高分辨率的多媒体内容在空间上进行分块，根据用户网络状况、设备能力和用户自身的感兴趣区域来为用户传输和呈现对应的不同视角的分块多媒体内容。

本发明基于多分辨率的多视角媒体呈现方法包括以下步骤：

步骤一：用户登录服务，服务器向用户下发空间分块信令信息和多分辨率多视角信令信息；

步骤二：用户根据感兴趣的区域，结合空间分块信令信息指示的分块视频位置关系，向服务器请求特定的媒体资源，即分块视频，同时，根据多分辨多视角信令信息，请求对应的低分辨率视频；

步骤三：服务器向客户端发送其请求的分块视频和低分辨率视频；

步骤四：客户端收到分块视频和低分辨率视频后，通过空间分块信息和多分辨率多视角信息将不同视角和不同分辨率的媒体内容结合呈现给用户(客户端的结合呈现方式包括但不限于将不同视角和不同分辨率的媒体内容拼接后渲染呈现)；

步骤五：重复步骤二、步骤三、步骤四。

本发明在客户端呈现超高清分块媒体内容时，将超高清分块视频结合的同时也将其与低清视频结合，然后呈现给用户，如图1和图2。此时，虽然用户看到的只有超高清分块视频组成的视角，但由于用户观看到的视角周围实际存在低清视频组成的视角，当视角切换时，随着用户的切换操作，呈现的内容可以跟着移动，因此不会造成卡顿或者黑屏，如图3。

进一步的，需要由服务器告知客户端服务器上不同视频内容存在的多视角和多分辨率情况。即对存在多视角的媒体内容，给出关于该内容的服务器上存在的所有不同分辨率的视频，以及每种不同的分辨率的内容是否存在对应的空间分块视频，即对于上述步骤一，服务器除了给客户端下发空间分块信令信息，还需要给客户端发送多视角和多分辨率指示信息。

步骤一中，服务器除了给客户端下发空间分块信令信息，还需要给客户端发送多视角和多分辨率指示信息。

以MMT为例，合理地添加分辨率和视角结合消息，包括：

resolution_amount，指示多媒体内容存在的低清晰度分辨率个数；resolution，指示具体分辨率；

multiblocks，指示该种分辨率的媒体资源是否在空间上被划分为多视角。

并结合媒体资产(Asset)自身属性asset_id构建不同分辨率和不同视角之间的结合关系。

本发明的具体实施内容如下：

信令信息形式：构建多分辨率多视角信令信息multi_resolution_view_message()，指示媒体资源中已有的多分辨率和多视角状况。作为一个优选方式，可以采用如下表1所示形式：

表1

信令表形式：构建多分辨率多视角信令表multi_resolution_view_table()，指示媒体资源中已有的多分辨率和多视角状况。作为一个优选方式，可以采用如下表2所示形式：

表2

以上信令信息、信令表的示例中，除了上文已给出定义的字段，multi_view_amout指示在空间上被分块，存在多视角的超高清视频资源个数；第一个asset_id()指示被分块超高清视频资源原视频的asset_id；第二个asset_id()指示与超高清原视频内容相同的低分辨率视频资源的asset_id。

描述子形式：基于MP_table()，在同一媒体内容中最高分辨率媒体资源(Asset)的媒体资源描述子(asset_descriptors)中添加多分辨率多视角描述子multi_resolution_view_descriptor()，指示媒体资源中已有的多分辨率和多视角状况，如下表3所示：

表3

其中，resolution_amount指示对应媒体内容所存在的不同分辨率的个数；asset_id指示对应媒体内容某个低清分辨率的Asset的asset_id；multiblocks指示该分辨率的内容是否存在多视野；resolution指示该种分辨率内容的具体分辨率。

下面，以多分辨率多视角信令表和MMT中已有的空间分块信令表(block_association_table)为例说明本发明的应用方法，其中空间分块信令表如下表4所示。

表4

首先，用户登录服务，服务器向用户下发block_association_table()和multi_resolution_view_table()；

接下来，用户根据感兴趣的区域，结合空间分块信令信息指示的分块视频位置关系，向服务器请求特定的媒体资源Asset集合，即分块视频。同时，根据这些Asset对应的原Asset的asset_id，在multi_resolution_view_table中匹配与之相对应的多分辨率关系，即与multi_resolution_view_table中第一个asset_id相同；

然后，再根据该asset_id下的低清分辨率情况(multiblocks和resolution的取值)和用户自身条件，请求低分辨率视频Asset。若需要请求的低分辨率multiblocks为false，则请求的低分辨率Asset为该resolution值对应的完整低清视频；若需要请求的低分辨率multiblocks为true，则根据该分辨率对应的asset_id在block_association_table中找到对应的低分辨率分块Asset集合并向服务器请求；

最后，服务器向客户端发送其请求的分块视频和低分辨率视频；客户端收到分块视频和低分辨率视频后，通过空间分块信息和多分辨率多视角信息将不同视角和不同分辨率的媒体内容结合呈现给用户(客户端的结合呈现方式包括但不限于将不同视角和不同分辨率的媒体内容拼接后渲染呈现)；重复步骤二至步骤四。

本发明中以MMT为例，阐明所提出的解决方案，但是这些方案同样也可以用于其它文件封装、传输系统和协议里。本发明中所应用的空间分块信息，以MMT为例进行了说明，但并不局限于此，所有用于指示空间分块视频之间位置关系以及分块视频与原视频之间关联关系的方案均可与本发明结合。本发明在服务器存在相应多分辨率多视角的视频资源前提下，即服务器存在不同视角的空间分块视频，且这些多视角视频对应的完整视频存在多分辨率的情况下，由服务器通过某种信令信息告知客户端存在的多视角与多分辨率状况，即服务器告知客户端是否存在多分辨率媒体资源、每种分辨率的媒体资源是否存在空间分块。

需要注意的是，本发明中所涉及到对视频分辨率的描述，超高清视频指分辨率为4K(包括分辨率为4096×2160在内的所有主流4K视频)、8K(分辨率为7680x4320)及以上的视频。以超高清视频为分水岭，所有比超高清视频分辨率低的视频皆为本发明所述的低分辨率，包括分辨率为1920x1080、1280x720以及720x480在内的主流高清和标清视频。在本发明的实施中，超高清分块视频内容和低分辨率视频内容的结合时，根据服务器端存在的低分辨率视频和用户自身的设备能力、网络状况以及个人选择等，对低分辨率视频内容的选择并不局限于某一固定的分辨率。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多分辨率的多视角媒体呈现方法，其特征在于，所述呈现方法包括服务器下发空间分块信令信息的步骤，所述空间分块信令信息用于指示媒体内容的原视频与其分块视频之间的空间位置关系。

2.根据权利要求1所述的基于多分辨率的多视角媒体呈现方法，其特征在于，所述空间分块信令信息用空间分块信令表block_association_table()定义，所述block_association_table()包括：block_height_top、block_width_left、block_height、block_width参数，用于描述媒体内容的原视频与其分块视频之间的空间位置关系。

3.根据权利要求1所述的基于多分辨率的多视角媒体呈现方法，其特征在于，所述block_association_table()的实现方式为：

。

4.根据权利要求2或3所述的基于多分辨率的多视角媒体呈现方法，其特征在于，所述呈现方法还包括：

服务器下发多分辨率多视角信令信息，用于根据原视频得到对应视角的多分辨率完整视频或分块视频。

5.根据权利要求4所述的基于多分辨率的多视角媒体呈现方法，其特征在于，所述呈现方法进一步包括：

结合所述空间分块信令信息指示的分块视频的空间位置关系，请求超高清分块视频，同时，根据所述多分辨率多视角信令信息，请求对应视角的低分辨率分块视频。

6.根据权利要求5所述的基于多分辨率的多视角媒体呈现方法，其特征在于，所述呈现方法进一步包括：

下发所述超高清分块视频和所述对应视角的低分辨率分块视频，并将所述超高清分块视频和所述对应视角的低分辨率分块视频结合呈现给用户。

7.根据权利要求1所述的基于多分辨率的多视角媒体呈现方法，其特征在于，服务器通过所述多分辨率多视角信令信息指示是否存在多分辨率媒体资源、每种分辨率的媒体资源是否存在空间分块。

Images