[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107784686B - 基于多分辨率的多视角媒体呈现方法 - Google Patents

基于多分辨率的多视角媒体呈现方法 Download PDF

Info

Publication number
CN107784686B
CN107784686B CN201610726946.5A CN201610726946A CN107784686B CN 107784686 B CN107784686 B CN 107784686B CN 201610726946 A CN201610726946 A CN 201610726946A CN 107784686 B CN107784686 B CN 107784686B
Authority
CN
China
Prior art keywords
resolution
video
view
user
signaling information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610726946.5A
Other languages
English (en)
Other versions
CN107784686A (zh
Inventor
徐异凌
张文军
胡颖
谢绍伟
孙军
管云峰
王延峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610726946.5A priority Critical patent/CN107784686B/zh
Priority to CN202110620456.8A priority patent/CN113347374A/zh
Publication of CN107784686A publication Critical patent/CN107784686A/zh
Application granted granted Critical
Publication of CN107784686B publication Critical patent/CN107784686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种基于多分辨率的多视角媒体呈现方法,包括以下步骤:步骤一:用户登录服务,服务器向用户下发空间分块信令信息和多分辨率多视角信令信息;步骤二:用户根据感兴趣的区域,结合空间分块信令信息指示的分块视频位置关系,向服务器请求分块视频和低分辨率视频;步骤三:服务器向客户端发送其请求的分块视频和低分辨率视频;步骤四:将不同视角和不同分辨率的媒体内容结合呈现给用户;步骤五:重复步骤二、步骤三、步骤四。本发明既解决了切换黑屏问题,又保证了多分辨率和多视角结合的灵活性。

Description

基于多分辨率的多视角媒体呈现方法
技术领域
本发明涉及一种多视角媒体呈现方法,具体地,涉及一种基于多分辨率的多视角媒体呈现方法。
背景技术
随着数字媒体技术的快速发展,互联网中产生的多媒体内容呈现爆炸式的增长,特别是超高分辨率视频业务(如4K,8K等)和沉浸式视频业务的广泛应用,多媒体服务给网络带宽造成了愈加沉重的负担。同时,终端呈现设备越来越多样化,例如超高清电视、平板电脑、智能手机、头戴设备等,由于硬件能力的限制,部分设备并不支持超高分辨率视频的解码及呈现。
为应对网络带宽过载化和终端设备多样化,当前一些多媒体协议提出将超高分辨率的多媒体内容在空间上进行分块,根据用户网络状况、设备能力和用户自身的感兴趣区域来为用户传输和呈现对应的不同视角的分块多媒体内容。
然而,该种方案虽然保证了在呈现给用户所需要消费的视野的同时极大的节省了带宽,但由于用户一次只能消费一部分视野,当用户需要消费其他部分视野时,该种方案虽然可以继续呈现对应的视野,但其不可避免的会在画面切换时造成卡顿、黑屏等不佳的视频效果。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于多分辨率的多视角媒体呈现方法,其引入更低分辨率视频内容同步呈现,并通过信令消息指示特定多媒体内容存在的多分辨率和多视角结合方式,既解决了切换黑屏问题,又保证了多分辨率和多视角结合的灵活性。
根据本发明的一个方面,提供一种基于多分辨率的多视角媒体呈现方法,其特征在于,包括以下步骤:
步骤一:用户登录服务,服务器向用户下发空间分块信令信息和多分辨率多视角信令信息;
步骤二:用户根据感兴趣的区域,结合空间分块信令信息指示的分块视频位置关系,向服务器请求分块视频,同时,根据多分辨多视角信令信息,请求对应的低分辨率视频;
步骤三:服务器向客户端发送其请求的分块视频和低分辨率视频;
步骤四:客户端收到分块视频和低分辨率视频后,通过空间分块信息和多分辨率多视角信息将不同视角和不同分辨率的媒体内容结合呈现给用户;
步骤五:重复步骤二、步骤三、步骤四。
优选地,所述服务器告知客户端是否存在多分辨率媒体资源、每种分辨率的媒体资源是否存在空间分块。
与现有技术相比,本发明具有如下的有益效果:本发明提供了一种基于多分辨率的多视角媒体呈现机制。针对现有的多视角媒体呈现时存在的切换黑屏问题,引入更低分辨率视频内容同步呈现,并通过信令消息指示特定多媒体内容存在的多分辨率和多视角结合方式,既解决了切换黑屏问题,又保证了多分辨率和多视角结合的灵活性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为高清分块视角和低清完整视角结合图。图中斜线部分为用户实际观看到的部分。
图2为高清分块视角和低清分块视角结合图。图中斜线部分为用户实际观看到的部分
图3为视角切换时用户看到的视野内容图。图中斜线部分为用户实际观看到的部分。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明在为用户传送其所需求的视野区域时,同时为用户传送该多媒体内容更大视野范围的清晰度稍低的视频。此时当用户需要切换视角时,因为客户端本地存在更大视野范围的低清晰版本视频,切换视角的过渡时期可以呈现低清晰版本的视频。而由于切换视角过渡期时间较为短暂,这一段时间用户观看到低清晰视角的体验也要远远优于黑屏的体验。当用户所需要的高清晰视角内容成功传输给用户之后,用户可以继续观看高清晰的视频内容。
随着数字媒体技术的快速发展,互联网中产生的多媒体内容,尤其是超高清多媒体呈现爆炸式的增长,为应对造成的网络带宽过载化和终端设备多样化,当前一些多媒体协议提出将超高分辨率的多媒体内容在空间上进行分块,根据用户网络状况、设备能力和用户自身的感兴趣区域来为用户传输和呈现对应的不同视角的分块多媒体内容。
本发明基于多分辨率的多视角媒体呈现方法包括以下步骤:
步骤一:用户登录服务,服务器向用户下发空间分块信令信息和多分辨率多视角信令信息;
步骤二:用户根据感兴趣的区域,结合空间分块信令信息指示的分块视频位置关系,向服务器请求特定的媒体资源,即分块视频,同时,根据多分辨多视角信令信息,请求对应的低分辨率视频;
步骤三:服务器向客户端发送其请求的分块视频和低分辨率视频;
步骤四:客户端收到分块视频和低分辨率视频后,通过空间分块信息和多分辨率多视角信息将不同视角和不同分辨率的媒体内容结合呈现给用户(客户端的结合呈现方式包括但不限于将不同视角和不同分辨率的媒体内容拼接后渲染呈现);
步骤五:重复步骤二、步骤三、步骤四。
本发明在客户端呈现超高清分块媒体内容时,将超高清分块视频结合的同时也将其与低清视频结合,然后呈现给用户,如图1和图2。此时,虽然用户看到的只有超高清分块视频组成的视角,但由于用户观看到的视角周围实际存在低清视频组成的视角,当视角切换时,随着用户的切换操作,呈现的内容可以跟着移动,因此不会造成卡顿或者黑屏,如图3。
进一步的,需要由服务器告知客户端服务器上不同视频内容存在的多视角和多分辨率情况。即对存在多视角的媒体内容,给出关于该内容的服务器上存在的所有不同分辨率的视频,以及每种不同的分辨率的内容是否存在对应的空间分块视频,即对于上述步骤一,服务器除了给客户端下发空间分块信令信息,还需要给客户端发送多视角和多分辨率指示信息。
步骤一中,服务器除了给客户端下发空间分块信令信息,还需要给客户端发送多视角和多分辨率指示信息。
以MMT为例,合理地添加分辨率和视角结合消息,包括:
resolution_amount,指示多媒体内容存在的低清晰度分辨率个数;resolution,指示具体分辨率;
multiblocks,指示该种分辨率的媒体资源是否在空间上被划分为多视角。
并结合媒体资产(Asset)自身属性asset_id构建不同分辨率和不同视角之间的结合关系。
本发明的具体实施内容如下:
信令信息形式:构建多分辨率多视角信令信息multi_resolution_view_message(),指示媒体资源中已有的多分辨率和多视角状况。作为一个优选方式,可以采用如下表1所示形式:
表1
Figure BDA0001092346880000041
Figure BDA0001092346880000051
信令表形式:构建多分辨率多视角信令表multi_resolution_view_table(),指示媒体资源中已有的多分辨率和多视角状况。作为一个优选方式,可以采用如下表2所示形式:
表2
Figure BDA0001092346880000052
Figure BDA0001092346880000061
以上信令信息、信令表的示例中,除了上文已给出定义的字段,multi_view_amout指示在空间上被分块,存在多视角的超高清视频资源个数;第一个asset_id()指示被分块超高清视频资源原视频的asset_id;第二个asset_id()指示与超高清原视频内容相同的低分辨率视频资源的asset_id。
描述子形式:基于MP_table(),在同一媒体内容中最高分辨率媒体资源(Asset)的媒体资源描述子(asset_descriptors)中添加多分辨率多视角描述子multi_resolution_view_descriptor(),指示媒体资源中已有的多分辨率和多视角状况,如下表3所示:
表3
Figure BDA0001092346880000062
其中,resolution_amount指示对应媒体内容所存在的不同分辨率的个数;asset_id指示对应媒体内容某个低清分辨率的Asset的asset_id;multiblocks指示该分辨率的内容是否存在多视野;resolution指示该种分辨率内容的具体分辨率。
下面,以多分辨率多视角信令表和MMT中已有的空间分块信令表(block_association_table)为例说明本发明的应用方法,其中空间分块信令表如下表4所示。
表4
Figure BDA0001092346880000071
首先,用户登录服务,服务器向用户下发block_association_table()和multi_resolution_view_table();
接下来,用户根据感兴趣的区域,结合空间分块信令信息指示的分块视频位置关系,向服务器请求特定的媒体资源Asset集合,即分块视频。同时,根据这些Asset对应的原Asset的asset_id,在multi_resolution_view_table中匹配与之相对应的多分辨率关系,即与multi_resolution_view_table中第一个asset_id相同;
然后,再根据该asset_id下的低清分辨率情况(multiblocks和resolution的取值)和用户自身条件,请求低分辨率视频Asset。若需要请求的低分辨率multiblocks为false,则请求的低分辨率Asset为该resolution值对应的完整低清视频;若需要请求的低分辨率multiblocks为true,则根据该分辨率对应的asset_id在block_association_table中找到对应的低分辨率分块Asset集合并向服务器请求;
最后,服务器向客户端发送其请求的分块视频和低分辨率视频;客户端收到分块视频和低分辨率视频后,通过空间分块信息和多分辨率多视角信息将不同视角和不同分辨率的媒体内容结合呈现给用户(客户端的结合呈现方式包括但不限于将不同视角和不同分辨率的媒体内容拼接后渲染呈现);重复步骤二至步骤四。
本发明中以MMT为例,阐明所提出的解决方案,但是这些方案同样也可以用于其它文件封装、传输系统和协议里。本发明中所应用的空间分块信息,以MMT为例进行了说明,但并不局限于此,所有用于指示空间分块视频之间位置关系以及分块视频与原视频之间关联关系的方案均可与本发明结合。本发明在服务器存在相应多分辨率多视角的视频资源前提下,即服务器存在不同视角的空间分块视频,且这些多视角视频对应的完整视频存在多分辨率的情况下,由服务器通过某种信令信息告知客户端存在的多视角与多分辨率状况,即服务器告知客户端是否存在多分辨率媒体资源、每种分辨率的媒体资源是否存在空间分块。
需要注意的是,本发明中所涉及到对视频分辨率的描述,超高清视频指分辨率为4K(包括分辨率为4096×2160在内的所有主流4K视频)、8K(分辨率为7680x4320)及以上的视频。以超高清视频为分水岭,所有比超高清视频分辨率低的视频皆为本发明所述的低分辨率,包括分辨率为1920x1080、1280x720以及720x480在内的主流高清和标清视频。在本发明的实施中,超高清分块视频内容和低分辨率视频内容的结合时,根据服务器端存在的低分辨率视频和用户自身的设备能力、网络状况以及个人选择等,对低分辨率视频内容的选择并不局限于某一固定的分辨率。
以上所述的具体实施例,对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于多分辨率的多视角媒体呈现方法,其特征在于,包括以下步骤:
步骤一:用户登录服务,服务器向用户下发空间分块信令信息和多分辨率多视角信令信息;
步骤二:用户根据感兴趣的区域,结合空间分块信令信息指示的分块视频位置关系,向服务器请求分块视频,同时,根据多分辨多视角信令信息,请求对应的低分辨率视频;
步骤三:服务器向客户端发送其请求的分块视频和低分辨率视频;
步骤四:客户端收到分块视频和低分辨率视频后,通过空间分块信息和多分辨率多视角信息将不同视角和不同分辨率的媒体内容结合呈现给用户;
步骤五:重复步骤二、步骤三、步骤四。
2.根据权利要求1所述的基于多分辨率的多视角媒体呈现方法,其特征在于,所述服务器告知客户端是否存在多分辨率媒体资源、每种分辨率的媒体资源是否存在空间分块。
CN201610726946.5A 2016-08-25 2016-08-25 基于多分辨率的多视角媒体呈现方法 Active CN107784686B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610726946.5A CN107784686B (zh) 2016-08-25 2016-08-25 基于多分辨率的多视角媒体呈现方法
CN202110620456.8A CN113347374A (zh) 2016-08-25 2016-08-25 基于多分辨率的多视角媒体呈现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610726946.5A CN107784686B (zh) 2016-08-25 2016-08-25 基于多分辨率的多视角媒体呈现方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110620456.8A Division CN113347374A (zh) 2016-08-25 2016-08-25 基于多分辨率的多视角媒体呈现方法

Publications (2)

Publication Number Publication Date
CN107784686A CN107784686A (zh) 2018-03-09
CN107784686B true CN107784686B (zh) 2021-06-11

Family

ID=61439836

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610726946.5A Active CN107784686B (zh) 2016-08-25 2016-08-25 基于多分辨率的多视角媒体呈现方法
CN202110620456.8A Withdrawn CN113347374A (zh) 2016-08-25 2016-08-25 基于多分辨率的多视角媒体呈现方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110620456.8A Withdrawn CN113347374A (zh) 2016-08-25 2016-08-25 基于多分辨率的多视角媒体呈现方法

Country Status (1)

Country Link
CN (2) CN107784686B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153465B (zh) * 2019-06-28 2024-01-16 北京京东尚科信息技术有限公司 图像加载方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077082A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 解像度変換装置、解像度変換方法及びプレビュー表示装置
CN102480637A (zh) * 2010-11-30 2012-05-30 上海博路信息技术有限公司 一种iptv的自适应显示内容分辨率的方法
CN104503655A (zh) * 2014-11-28 2015-04-08 晨星半导体股份有限公司 应用程序界面显示控制方法及装置
CN105141876A (zh) * 2015-09-24 2015-12-09 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69432093T2 (de) * 1993-09-27 2003-07-17 Canon Kk Bildverarbeitungsvorrichtung
DE10129631A1 (de) * 2001-06-20 2003-01-02 Philips Corp Intellectual Pty Verfahren zur Rekonstruktion eines hoch aufgelösten 3D-Bildes
CN101155298B (zh) * 2006-09-25 2012-07-04 华为技术有限公司 一种实现网络电视频道快速切换的方法及系统
US20100026737A1 (en) * 2008-08-04 2010-02-04 Kabushiki Kaisha Toshiba Video Display Device
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
KR101883265B1 (ko) * 2010-02-02 2018-07-31 톰슨 라이센싱 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
CN102347043B (zh) * 2010-07-30 2014-10-22 腾讯科技(北京)有限公司 多角度视频播放方法和系统
US20120079000A1 (en) * 2010-09-27 2012-03-29 Motorola-Mobility, Inc. Selectively receiving media content
EP2680221B1 (en) * 2012-06-28 2016-05-11 Alcatel Lucent Method and system for generating a high-resolution video stream
CN104077103A (zh) * 2014-07-09 2014-10-01 上海天奕达电子科技有限公司 一种低分辨率平台支持高分辨率显示装置的方法和装置
CN104410857A (zh) * 2014-12-26 2015-03-11 广东威创视讯科技股份有限公司 一种图像显示控制方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077082A (ja) * 2007-09-19 2009-04-09 Toshiba Corp 解像度変換装置、解像度変換方法及びプレビュー表示装置
CN102480637A (zh) * 2010-11-30 2012-05-30 上海博路信息技术有限公司 一种iptv的自适应显示内容分辨率的方法
CN104503655A (zh) * 2014-11-28 2015-04-08 晨星半导体股份有限公司 应用程序界面显示控制方法及装置
CN105141876A (zh) * 2015-09-24 2015-12-09 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统

Also Published As

Publication number Publication date
CN113347374A (zh) 2021-09-03
CN107784686A (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
US11122294B2 (en) Methods, devices and stream for encoding and decoding volumetric video
CN109155873B (zh) 改进虚拟现实媒体内容的流传输的方法、装置和计算机程序
US11632571B2 (en) Media data processing method and apparatus
US8911291B2 (en) Display system and display method for video wall
US9635252B2 (en) Live panoramic image capture and distribution
WO2017201090A1 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
US8925019B2 (en) Synchronous display streaming system and synchronous displaying method
KR20160079357A (ko) 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스
EP3716634A1 (en) Method and device for processing media data
US20210067832A1 (en) Data Streams
CN104639951A (zh) 视频码流的抽帧处理方法及装置
WO2018126702A1 (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
EP3627439A1 (en) Method and device for processing media data
TWI786572B (zh) 沉浸式媒體提供方法、獲取方法、裝置、設備及存儲介質
CN115134632B (zh) 视频码率控制方法、设备、介质及内容分发网络cdn系统
US10917477B2 (en) Method and apparatus for MMT integration in CDN
CN107438203B (zh) 用于建立和接收清单的方法、网络设备及终端
CN107784686B (zh) 基于多分辨率的多视角媒体呈现方法
CN112637671A (zh) 一种屏幕共享方法及系统
Kim et al. 360‐degree video offloading using millimeter‐wave communication for cyberphysical system
Syamsuddin An experimental study of RyO Kit for Covid-19 information sharing in rural islands of Indonesia
CN110225371B (zh) 一种基于媒体自身属性以支持空间分块的存储与传输方法
WO2024060720A1 (zh) 视频流传输控制方法及装置、系统、电子设备、存储介质
US20240373032A1 (en) Data transmission method and apparatus, electronic device, and storage medium
Lee et al. Integrated approach of streaming 3d multimedia contents in real-time for mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant