CN115550690A - 帧率调整方法、装置、设备及存储介质 - Google Patents
帧率调整方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115550690A CN115550690A CN202211536842.XA CN202211536842A CN115550690A CN 115550690 A CN115550690 A CN 115550690A CN 202211536842 A CN202211536842 A CN 202211536842A CN 115550690 A CN115550690 A CN 115550690A
- Authority
- CN
- China
- Prior art keywords
- frame rate
- code
- rate
- decoding
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000009877 rendering Methods 0.000 claims abstract description 174
- 230000005540 biological transmission Effects 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims description 43
- 238000013139 quantization Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 20
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种帧率调整方法、装置、设备及存储介质，包括：获取目标类型应用程序启动视频流传输时的第一网络带宽，根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，解码渲染能力信息包括终端设备对M个码率点的码流的解码渲染能力，M为正整数，将目标帧率发送至服务器，以使服务器将当前帧率调整为目标帧率，当前帧率包括编码帧率或者编码帧率和数据采集帧率。从而，实现服务器使用与终端设备的渲染能力适配的编码帧率进行编码，可使得不同机型的终端设备的解码渲染能力得到合理有效利用，终端设备播放画面更流畅，还可提高服务器端的硬件资源和带宽资源的有效利用率。
Description
技术领域
本发明实施例涉及互联网技术领域，尤其涉及一种帧率调整方法、装置、设备及存储介质。
背景技术
云游戏是一种以云计算技术为基础的在线游戏技术。随着云渲染、视频编码技术的发展，云游戏已经逐渐普及成为一种重要的游戏形态。云游戏把游戏的运行、渲染等逻辑放在云服务器上，通过视频编码技术对渲染完毕的游戏画面进行编码压缩，编码的码流通过网络传输到终端设备，再由终端设备对码流进行解码渲染和播放。
不同玩家游戏客户端运行在不同的终端设备中，在正常情况下，码流的编码帧率越高播放画面越流畅，但是不同终端设备的解码渲染能力不同，现有技术中，为了兼顾低端机型的终端设备，即保证所有终端设备都可以流畅地解码渲染码流，云端服务器使用统一的较低的编码帧率将游戏场景所涉及的游戏画面编码为码流，通过网络传输给终端设备。
然而，上述方法会导致编码帧率只与部分终端设备的解码渲染能力适配，其它机型终端设备的解码渲染能力不能合理有效利用。
发明内容
本发明实施例提供一种帧率调整方法、装置、设备及存储介质，可使得不同机型的终端设备的解码渲染能力得到合理有效利用，终端设备播放画面更流畅。
第一方面，提供一种帧率调整方法，包括：
获取目标类型应用程序启动视频流传输时的第一网络带宽；
根据所述第一网络带宽和所述目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，所述解码渲染能力信息包括所述终端设备对M个码率点的码流的解码渲染能力，所述M为正整数；
将所述目标帧率发送至服务器，以使所述服务器将当前帧率调整为所述目标帧率，所述当前帧率包括编码帧率或者编码帧率和数据采集帧率。
第二方面，提供一种帧率调整方法，包括：
接收终端设备发送的目标帧率，所述目标帧率为所述终端设备根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息确定，所述第一网络带宽为所述目标类型应用程序启动视频流传输时的网络带宽，所述解码渲染能力信息包括所述终端设备对M个码率点的码流的解码渲染能力，所述M为正整数；
将当前编码帧率调整为所述目标帧率；
根据所述目标帧率对待传输视频进行编码，得到编码后的码流；
将所述编码后的码流发送至所述终端设备，以使得所述终端设备对所述码流进行解码渲染和播放。
第三方面，提供一种帧率调整装置，包括：
获取模块，用于获取目标类型应用程序启动视频流传输时的第一网络带宽；
确定模块，用于根据所述第一网络带宽和所述目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，所述解码渲染能力信息包括所述终端设备对M个码率点的码流的解码渲染能力，所述M为正整数；
发送模块，用于将所述目标帧率发送至服务器，以使所述服务器将当前编码帧率调整为所述目标帧率。
第四方面，提供一种帧率调整装置，包括：
接收模块，用于接收终端设备发送的目标帧率，所述目标帧率为所述终端设备根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息确定，所述第一网络带宽为所述目标类型应用程序启动视频流传输时的网络带宽，所述解码渲染能力信息包括所述终端设备对M个码率点的码流的解码渲染能力，所述M为正整数；
调整模块，用于将当前编码帧率调整为所述目标帧率；
编码模块，用于根据所述目标帧率对待传输视频进行编码，得到编码后的码流；
发送模块，用于将所述编码后的码流发送至所述终端设备，以使得所述终端设备对所述码流进行解码渲染和播放。
第五方面，提供一种帧率调整设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面或其各实施方式中或者第二方面或其各实施方式中的方法。
第六方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面或其各实施方式中或者第二方面或其各实施方式中的方法。
第七方面，提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面或其各实施方式中或者第二方面或其各实施方式中的方法。
综上，在本发明实施例中，通过终端设备获取目标类型应用程序启动视频流传输时的第一网络带宽，根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，将目标帧率发送至服务器，服务器将当前帧率调整为目标帧率，当前帧率包括编码帧率或者编码帧率和数据采集帧率。从而，通过端云协同完成帧率的调节，由于服务器的当前帧率是根据目标类型应用程序启动视频流传输时的第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息实时调整的，因此服务器编码后的码流是基于目标类型应用程序启动时终端设备的渲染能力信息进行编码得到的，因此编码帧率可较好地适配终端设备的渲染能力，实现服务器使用与终端设备的渲染能力适配的编码帧率进行编码，避免出现服务器向终端设备传输编码帧率过高或过低的码流，可使得不同机型的终端设备的解码渲染能力得到合理有效利用，终端设备播放画面更流畅，还可提高服务器端的硬件资源和带宽资源的有效利用率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频图像处理过程示意图；
图2为本发明实施例提供的一种视频图像处理过程示意图；
图3为本发明实施例提供的一种帧率调整方法的应用场景示意图；
图4为本发明实施例提供的一种帧率调整方法的交互流程图；
图5为本发明实施例提供的一种帧率调整方法的交互流程示意图；
图6为本发明实施例提供的一种获取终端设备的解码渲染能力信息的方法的流程图；
图7为本发明实施例提供的一种确定帧率表的方法的流程图；
图8为本发明实施例提供的一种帧率调整装置的结构示意图；
图9为本发明实施例提供的一种帧率调整装置的结构示意图；
图10是本发明实施例提供的帧率调整设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍本发明实施例技术方案之前，下面先对本发明实施例相关知识进行介绍：
1、云技术（Cloud technology），是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术（Cloudtechnology）基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
2、云游戏（Cloud gaming），又可称为游戏点播（gaming on demand），是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备（thin client）能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。简单地说，云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在云端服务器运行，云端服务器将渲染完毕后的游戏画面压缩后通过网络传送给玩家游戏终端。
3、帧率，帧率是图像领域中的定义，可以指画面每秒传输帧数，是指动画或视频的画面数，帧率的单位是FPS（fps）（每秒传输帧数），FPS是图像领域中的定义，是指每秒传输帧数，即动画或视频的画面数。帧率越大，画面越流畅。
4、码率，也称比特率（Bit Rate），或叫位速率，是单位时间内视频（或音频）的数据量，单位是 bps (bit per second，位每秒），一般使用 kbps（千位每秒）或Mbps（百万位每秒）。不同的码率，决定着编码器压缩视频的程度，是决定视频最终质量和文件大小的关键因素。
5、视频编码，通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式，转化成的数据可以称为码流。
6、视频解码，是视频编码的逆向过程。
7、端云协同：一种服务器端（云端）和用户端（终端）经过协商，协同工作提升视频画质/流畅度的手段，如协同制定或调整视频编码/视频处理/网络传输的策略。端云协同可用于云游戏、云渲染、实时通信等场景。
现有技术中，为了保证所有终端设备都可以流畅地解码渲染码流，云端服务器使用统一的较低的编码帧率将游戏场景所涉及的游戏画面编码为码流，通过网络传输给终端设备。但是该方法会导致编码帧率只与部分终端设备的解码渲染能力适配，其它机型终端设备的解码渲染能力不能合理有效利用。
为了解决这一技术问题，本发明实施例中，通过终端设备获取目标类型应用程序启动视频流传输时的第一网络带宽，根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，将目标帧率发送至服务器，以使服务器将当前帧率调整为目标帧率，当前帧率包括编码帧率或者编码帧率和数据采集帧率。从而，通过端云协同完成帧率的调节，由于服务器的当前帧率是根据目标类型应用程序启动视频流传输时的第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息实时调整的，因此服务器编码后的码流是基于目标类型应用程序启动时终端设备的渲染能力信息进行编码得到的，因此编码帧率可较好地适配终端设备的渲染能力，实现服务器使用与终端设备的渲染能力适配的编码帧率进行编码，避免出现服务器向终端设备传输编码帧率过高或过低的码流，可使得不同机型的终端设备的解码渲染能力得到合理有效利用，终端设备播放画面更流畅，还可提高服务器端的硬件资源和带宽资源的有效利用率。
应理解的是，本发明实施例技术方案可以应用于如下场景，但不限于：
目前对于一些基于云场景中视频或者图像处理过程可以如下：图1为本发明实施例提供的一种视频图像处理过程示意图，图2为本发明实施例提供的一种视频图像处理过程示意图。如图1所示，云服务器生成视频，进行视频图像采集，对采集到的视频图像进行处理，对经过处理后的视频图像进行编码，得到视频图像的码流，进一步地，云服务器可以将码流发送给终端设备，终端设备对该码流进行解码，最后按照解码结果进行视频图像的展示。或者，如图2所示，云服务器生成视频，进行视频图像采集，对采集到的视频图像进行编码，得到视频图像的码流，进一步地，云服务器可以将码流发送给终端设备，终端设备对该码流进行解码，并对解码后的视频图像进行处理，如锐化处理、模糊处理、降噪处理等，最后对处理后的视频图像进行展示。
示例性的，图3为本发明实施例提供的一种帧率调整方法的应用场景示意图，如图3所示，终端设备110可以与服务器120进行通信，其中，服务器120可以是独立的任一物理服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云服务的云服务器，还可以是多个物理服务器构成的服务器集群或者分布式系统，本发明实施例对此不做限制。服务器120可包括用于进行图像编码的编码模块，该编码模块可以包括将模拟音视频信号压缩为编码数据（编码文件）的硬件设备/软件代码。
终端设备110可以是具有基本的流媒体播放能力、人机交互能力以及通信能力的设备，例如智能手机、平板电脑、台式计算机和智能电视等，终端设备110中安装并运行有游戏客户端，游戏客户端可以是运行于终端设备110中的应用程序。或者，终端设备110中安装并运行有即时通信客户端或者支持音视频会议客户端，终端设备110中可以包括用于进行图像解码的解码模块，该解码模块可以包括将编码数据（或编码文件）转换为模拟音视频信号的硬件设备/软件代码。
在云游戏场景中，云服务器是指在云端运行游戏的服务器，并具备视频增强（编码前处理）、视频编码等功能，但不限于此。终端设备是指一类具备丰富人机交互方式、拥有接入互联网能力、通常搭载各种操作系统、具有较强处理能力的设备。终端设备可以是智能手机、客厅电视、平板电脑、车载终端、玩家游戏终端，如掌上游戏主机等，但不限于此。
在云游戏的运行过程中，服务器120可调用编码模块按照视频编码标准（如H.264、H.265等）对渲染得到的游戏画面进行图像压缩编码操作，以节省后续图像传输时占用的网络带宽，然后，可采用码流的方式将图像压缩编码得到的编码数据（编码帧）传输至终端设备110，终端设备110在接收到编码数据后，可通过解码模块对编码数据进行解码得到原始视频帧，再通过渲染模块对视频帧进行渲染显示，即显示原始的游戏画面。
在一些可实施方式中，图3所示的应用场景中还可以包括：基站、核心网侧设备等，此外，图3示例性地示出了一个终端设备、一台服务器，实际上可以包括其他数量的终端设备和服务器，本发明实施例对此不做限制。
示例性地，本发明实施例技术方案可以应用于音视频交互类场景，如云游戏、交互类直播、视频会议、视频通话等场景，可根据终端设备的解码渲染能力为用户提供最优帧率即更流畅的体验。
下面将对本发明实施例技术方案进行详细阐述：
图4为本发明实施例提供的一种帧率调整方法的交互流程图，该方法例如可以由如图3所示的终端设备110和服务器120执行，但不限于此，如图4所示，该方法包括如下步骤：
S101、终端设备获取目标类型应用程序启动视频流传输时的第一网络带宽。
具体地，终端设备中安装和运行有各类应用程序，目标类型应用程序是指具备视频流传输功能的应用程序，目标类型应用程序例如可以为游戏类应用程序、即时通信类应用程序和具有视频通话或语音通话功能的应用程序。
在用户启动目标类型应用程序进行视频流传输时，终端设备可检测到该目标类型应用程序启动视频流传输，此时终端设备会进行网络测速，具体可以通过预设的网络测速方法，得到该目标类型应用程序启动视频流传输时的第一网络带宽，该第一网络带宽可以是终端设备测得的当前网络带宽。本实施例中对具体的网络测试方法不做限制。
S102、终端设备根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，解码渲染能力信息包括终端设备对M个码率点的码流的解码渲染能力，M为正整数。
具体来说，目标类型应用程序启动和该目标类型应用程序启动视频流传输不同，在时间上目标类型应用程序先启动，然后才能启动视频流传输，例如某一即时通信应用程序，先启动该即时通信应用程序，才能启动视频通话（即启动了视频流传输）。
本实施例中，终端设备的解码渲染能力信息是目标类型应用程序启动时获取的解码渲染能力信息，解码渲染能力信息包括终端设备对M个码率点的码流的解码渲染能力。
可选的，作为一种可实施的方式，S102具体可以为：
S1021、终端设备根据目标类型应用程序启动时终端设备的解码渲染能力信息确定帧率表，帧率表包括M个码率点分别对应的帧率。
S1022、终端设备根据帧率表与第一网络带宽确定目标帧率。
可选的，在一种可实施的方式中，S1021具体可以为：
S10211、确定终端设备的解码渲染模式，解码渲染模式包括同步模型和异步模式。
S10212、根据终端设备的解码渲染模式和解码渲染能力信息，计算得到M个码率点分别对应的帧率。
可选的，解码渲染能力包括平均解码时间和平均渲染时间，S10212中根据终端设备的解码渲染模式和解码渲染能力信息，计算得到M个码率点分别对应的帧率，具体可以为：
若终端设备的解码渲染模式为同步模式，M个码率点中的任一目标码率点对应的帧率为N与第一数值的商，第一数值为目标码率点的平均解码时间和目标码率点的平均渲染时间之和，N为预设值。
其中，N可以为1秒（s），M个码率点中的任一目标码率点对应的帧率为1除以第一数值的商。
若终端设备的解码渲染模式为异步模式，M个码率点中的任一目标码率点对应的帧率为N与第二数值的商，第二数值为目标码率点的平均解码时间和目标码率点的平均渲染时间之中的最大值。
其中，N可以为1秒（s），M个码率点中的任一目标码率点对应的帧率为1除以第二数值的商。
S10213、根据M个码率点分别对应的帧率得到帧率表。
可选的，在一种可实施的方式中，根据M个码率点分别对应的帧率得到帧率表，具体可以为：
根据M个码率点分别对应的帧率，确定M个码率点分别对应的码率区间，根据M个码率点、M个码率点分别对应的码率区间和M个码率点分别对应的帧率，得到帧率表。
示例性地，如下表一为一个帧率表的示例：
表一帧率表
| 码率点 | 对应码率区间 | 帧率 |
| 5 Mbps | 0 ～ 5 Mbps | fps_5 |
| 10 Mbps | 5 ～ 10 Mbps | fps_10 |
| … | … | … |
| i Mbps | (i-5) ～ i Mbps | fps_i |
可选的，S1022中根据帧率表与第一网络带宽确定目标帧率，具体可以为：
从帧率表中查找第一网络带宽所在的码率区间，将第一网络带宽所在的码率区间对应的帧率确定为目标帧率。例如，第一网络带宽为7.5 Mbps，其所在的码率区间为5 ～10 Mbps区间，对应帧率为fps_10，即此时目标帧率为fps_10。
S103、终端设备将目标帧率发送至服务器。
S104、服务器将当前帧率调整为目标帧率，当前帧率包括编码帧率或者编码帧率和数据采集帧率。
具体来说，当前帧率包括编码帧率或者编码帧率和数据采集帧率，即服务器可以将当前编码帧率调整为目标帧率，也可以将当前编码帧率和数据采集帧率均调整为目标帧率。
S105、服务器根据目标帧率对待传输视频进行编码，得到编码后的码流。
具体地，本实施例中，服务器根据目标帧率对待传输视频进行编码，得到编码后的码流，编码的方式不做限制。
S106、服务器将编码后的码流发送至终端设备。
S107、终端设备对接收到的码流进行解码渲染和播放。
具体地，服务器将编码后的码流发送至终端设备，终端设备接收到编码后的码流后，可先对编码后的码流进行解码，解码后进行渲染和播放。
本实施例中，目标类型应用程序启动时终端设备的解码渲染能力信息可以是在目标类型应用程序启动时获取，由于应用程序启动后，用户可以操作其它功能，并不一定立即进行视频流传输，还可以启动应用程序一段时间后在后台运行，因此，本实施例中在目标类型应用程序启动时获取终端设备当前的解码渲染能力信息并缓存，在目标类型应用程序启动视频流传输时使用该解码渲染能力信息。下面详细介绍获取目标类型应用程序启动时终端设备的解码渲染能力信息的可实施方式。
可选的，在一种可实施的方式中，本实施例的方法在S101之前，还可以包括：
S108、终端设备获取目标类型应用程序启动时的第二网络带宽。
具体地，在用户启动目标类型应用程序时，终端设备可检测到该目标类型应用程序启动，此时终端设备会进行网络测速，具体可以通过预设的网络测速方法，得到该目标类型应用程序启动时的第二网络带宽，该第二网络带宽可以是终端设备测得的当前最大网络带宽。本实施例中对具体的网络测试方法不做限制。
S109、终端设备根据第二网络带宽，获取终端设备的解码渲染能力信息。
具体来说，终端设备的解码渲染能力信息是根据终端设备的第二网络带宽确定的。在一种可实施的方式中， S109具体可以包括：
S1091、根据第二网络带宽确定M个码率点。
S1092、获取M个码率点中每个码率点的测试码流。
S1093、分别解码渲染M个码率点中每个码率点的测试码流，得到终端设备对M个码率点的码流的解码渲染能力，解码渲染能力包括平均解码时间和平均渲染时间。
作为一种可实施的方式，S1091中根据第二网络带宽确定M个码率点，具体可以包括：
S10911、对第二网络带宽进行向上取整，得到第二网络带宽取整后的值。
具体地，例如第二网络带宽为10.1Mbps向上取整为11Mbps。
S10912、根据量化步长对第二网络带宽取整后的值进行量化，得到第二网络带宽的量化值。
其中量化步长例如可以为5 Mbps、7 Mbps、10 Mbps或者其它数值，本实施例对此不做限制。
作为一种可实施的方式，根据量化步长对第二网络带宽取整后的值进行量化，可以通过如下公式进行量化：
其中，max_rate 为第二网络带宽的量化值，A 为量化步长，max_rate_int 为第二网络带宽取整后的值，
中的“/”为整数除法操作，结果只保留商的整数部分，以A=5为例，如11/5=2，14/5=2，15/5=3；
表示先计算max_rate_int除以A的余数，如果余数大于0，结果为1，否则结果为0。
以量化步长为5为例，则第二网络带宽的量化值为：
按照上述公式，如网络带宽10.1Mbps的量化值就是15，网络带宽17 Mbps的量化值就是20。
S10913、根据第二网络带宽的量化值和量化步长，确定M个码率点。
具体地，例如第二网络带宽的量化值为15Mbps，量化步长为5Mbps，则可确定5Mbps、10Mbps、15Mbps三个码率点，即M=3。
作为一种可实施的方式，S1092具体可以为：
根据测试文件确定M个码率点中每个码率点的测试码流；
其中，可选的，测试文件为预存，例如可以为预存在本地的文件，例如M=3，3个码率点分别为5Mbps、10Mbps、15Mbps，则根据测试文件确定M个码率点中每个码率点的测试码流，可以是从测试文件分别获取码率为5Mbps大小的测试码流、码率为10Mbps大小的测试码流和码率为15Mbps大小的测试码流。
或者，可选的，测试文件可以为目标类型应用程序启动时终端设备从服务器接收。相应地，本实施例的方法还可以包括：服务器接收终端设备发送的测试文件获取请求，测试文件获取请求为目标类型应用程序启动时发送，服务器向终端设备发送测试文件。该种方式不占用终端设备的存储空间。
本发明实施例提供的帧率调整方法，通过终端设备获取目标类型应用程序启动视频流传输时的第一网络带宽，根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，将目标帧率发送至服务器，服务器将当前帧率调整为目标帧率，当前帧率包括编码帧率或者编码帧率和数据采集帧率。从而，通过端云协同完成帧率的调节，由于服务器的当前帧率是根据目标类型应用程序启动视频流传输时的第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息实时调整的，因此服务器编码后的码流是基于目标类型应用程序启动时终端设备的渲染能力信息进行编码得到的，因此编码帧率可较好地适配终端设备的渲染能力，实现服务器使用与终端设备的渲染能力适配的编码帧率进行编码，避免出现服务器向终端设备传输编码帧率过高或过低的码流，可使得不同机型的终端设备的解码渲染能力得到合理有效利用，终端设备播放画面更流畅，还可提高服务器端的硬件资源和带宽资源的有效利用率。
下面结合一个具体的实施例，对本发明实施例提供的帧率调整方法的技术方案进行详细说明。
图5为本发明实施例提供的一种帧率调整方法的交互流程示意图，如图5所示，本实施例的方法可以包括：
S201、终端设备获取目标类型应用程序启动时的第二网络带宽。
具体地，在用户启动目标类型应用程序时，终端设备可检测到该目标类型应用程序启动，此时终端设备会进行网络测速，具体可以通过预设的网络测速方法，得到该目标类型应用程序启动时的第二网络带宽，该第二网络带宽可以是终端设备测得的当前最大网络带宽。本实施例中对具体的网络测试方法不做限制。
S202、终端设备对第二网络带宽进行向上取整，得到第二网络带宽取整后的值，根据量化步长对第二网络带宽取整后的值进行量化，得到第二网络带宽的量化值。
具体地，本实施例中以量化步长为5为例进行说明，例如第二网络带宽为10.1Mbps向上取整为11Mbps。
根据量化步长对第二网络带宽取整后的值进行量化，可以通过如下公式进行量化：
其中，max_rate 为第二网络带宽的量化值，5 为量化步长，max_rate_int 为第二网络带宽取整后的值，
中的“/”为整数除法操作，结果只保留商的整数部分，如11/5=2，14/5=2，15/5=3；
表示先计算max_rate_int除以5的余数，如果余数大于0，结果为1，否则结果为0。
按照上述公式，如网络带宽10.1Mbps的量化值就是15，网络带宽17 Mbps的量化值就是20。
可选的，S201-S202具体可以由终端设备中的网络测速模块执行，网络测速模块的输出为第二网络带宽的量化值。
S203、终端设备根据第二网络带宽的量化值和量化步长，确定M个码率点，根据测试文件确定M个码率点中每个码率点的测试码流。
具体地，例如第二网络带宽的量化值为15Mbps，量化步长为5Mbps，则可确定5Mbps、10Mbps、15Mbps三个码率点，即M=3。
S204、终端设备分别解码渲染M个码率点中每个码率点的测试码流，得到目标类型应用程序启动时终端设备的解码渲染能力信息，解码渲染能力信息包括终端设备对M个码率点的码流的解码渲染能力，解码渲染能力包括平均解码时间和平均渲染时间。
可选的，上述S203-S204可以由终端设备的解码渲染能力探测模块执行，示例性地，结合图6示出一种根据第二网络带宽的量化值获取终端设备的解码渲染能力信息的过程。图6为本发明实施例提供的一种获取终端设备的解码渲染能力信息的方法的流程图，如图6所示，终端设备的解码渲染能力信息的获取过程可以包括：
S1、输入第二网络带宽的量化值。
S2、令整型变量i=5。
此处的5即为S203中的量化步长。
S3、判断变量i是否小于或等于第二网络带宽的量化值。
若是，则执行S4，否则执行S6。
S4、解码渲染码率为i Mbps大小的码流，记录i Mbps码率点对应的平均解码时间和平均渲染时间，得到i Mbps码率点的码流的解码渲染能力。
具体来说，平均解码时间和平均渲染时间的单位都是毫秒。码率为i Mbps大小的码流可以根据测试文件确定。该测试文件可以预存或者从服务器通过网络传输获取。
S5、i = i + 5，进入S3。
S6、输出终端设备的解码渲染能力信息，结束。
具体地，通过上述S1-S5可得到终端设备对M个码率点的码流的解码渲染能力，即得到目标类型应用程序启动时终端设备的解码渲染能力信息，M根据第二网络带宽的量化值确定。
S205、终端设备根据目标类型应用程序启动时终端设备的解码渲染能力信息确定帧率表，帧率表包括M个码率点分别对应的帧率。
在一种可实施的方式中，S205具体可以为：
S2051、确定终端设备的解码渲染模式，解码渲染模式包括同步模型和异步模式。
S20522、根据终端设备的解码渲染模式和解码渲染能力信息，计算得到M个码率点分别对应的帧率。
可选的，解码渲染能力包括平均解码时间和平均渲染时间，S2052中根据终端设备的解码渲染模式和解码渲染能力信息，计算得到M个码率点分别对应的帧率，具体可以为：
若终端设备的解码渲染模式为同步模式，M个码率点中的任一目标码率点对应的帧率为N与第一数值的商，第一数值为目标码率点的平均解码时间和目标码率点的平均渲染时间之和，N为预设值。
其中，N可以为1秒（s），M个码率点中的任一目标码率点对应的帧率为1除以第一数值的商。
若终端设备的解码渲染模式为异步模式，M个码率点中的任一目标码率点对应的帧率为N与第二数值的商，第二数值为目标码率点的平均解码时间和目标码率点的平均渲染时间之中的最大值。
其中，N可以为1秒（s），M个码率点中的任一目标码率点对应的帧率为1除以第二数值的商。
S20533、根据M个码率点分别对应的帧率，确定M个码率点分别对应的码率区间，根据M个码率点、M个码率点分别对应的码率区间和M个码率点分别对应的帧率，得到帧率表。
可选的，上述S205可以由终端设备的帧率计算模块执行。示例性地，结合图7示出一种帧率表的获取过程。图7为本发明实施例提供的一种确定帧率表的方法的流程图，如图7所示，终端设备根据目标类型应用程序启动时终端设备的解码渲染能力信息确定帧率表的过程可以包括：
S11、输入第二网络带宽的量化值。
S12、输入终端设备对M个码率点的码流的解码渲染能力，即M个码率点中每个码率点的平均解码时间和平均渲染时间。
S13、令整型变量i=5。
此处的5即为S203中的量化步长。
S14、判断变量i是否小于或等于第二网络带宽的量化值。
若是，则执行S15，否则执行S16。
S15、判断终端设备的解码渲染模式是否为异步模式。
若是，则执行S17，否则执行S18。
S17、确定i码率点的帧率为1000与第二数值的商，第二数值为i码率点的平均解码时间和i码率点的平均渲染时间中的最大值。
即i码率点的帧率fps_i = 1000ms / max (i码率点的平均解码时间，i码率点的平均渲染时间)。
S18、确定i码率点的帧率为1000与第一数值的商，第一数值为i码率点的平均解码时间和i码率点的平均渲染时间之和。
即i码率点的帧率fps_i =1000ms / (i码率点的平均解码时间+ i码率点的平均渲染时间)。
S19、i = i + 5，进入S14。
S16、根据M个码率点分别对应的帧率，确定M个码率点分别对应的码率区间，根据M个码率点、M个码率点分别对应的码率区间和M个码率点分别对应的帧率，得到帧率表。
例如，得到的帧率表如上表一所示。
S206、终端设备获取目标类型应用程序启动视频流传输时的第一网络带宽。
S207、终端设备从帧率表中查找第一网络带宽所在的码率区间，将第一网络带宽所在的码率区间对应的帧率确定为目标帧率。
S208、终端设备将目标帧率发送至服务器。
S209、服务器将当前帧率调整为目标帧率，当前帧率包括编码帧率或者编码帧率和数据采集帧率。
S210、服务器根据目标帧率对待传输视频进行编码，得到编码后的码流。
S211、服务器将编码后的码流发送至终端设备。
S212、终端设备对接收到的码流进行解码渲染和播放。
具体地，服务器将编码后的码流发送至终端设备，终端设备接收到编码后的码流后，可先对编码后的码流进行解码，解码后进行渲染和播放。
本发明实施例提供的帧率调整方法，通过端云协同完成帧率的调节，由于服务器的当前帧率是根据目标类型应用程序启动视频流传输时的第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息实时调整的，因此服务器编码后的码流是基于目标类型应用程序启动时终端设备的渲染能力信息进行编码得到的，因此编码帧率可较好地适配终端设备的渲染能力，实现服务器使用与终端设备的渲染能力适配的编码帧率进行编码，避免出现服务器向终端设备传输编码帧率过高或过低的码流，可使得不同机型的终端设备的解码渲染能力得到合理有效利用，终端设备播放画面更流畅，还可提高服务器端的硬件资源和带宽资源的有效利用率。
图8为本发明实施例提供的一种帧率调整装置的结构示意图，如图8所示，该帧率调整装置可以包括：获取模块11、确定模块12和发送模块13。
其中，获取模块11用于获取目标类型应用程序启动视频流传输时的第一网络带宽；
确定模块12用于根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，解码渲染能力信息包括终端设备对M个码率点的码流的解码渲染能力，M为正整数；
发送模块13用于将目标帧率发送至服务器，以使服务器将当前帧率调整为目标帧率，当前帧率包括编码帧率或者编码帧率和数据采集帧率。
在一实施例中，确定模块12用于：
根据解码渲染能力信息确定帧率表，帧率表包括M个码率点分别对应的帧率；
根据帧率表与第一网络带宽确定目标帧率。
在一实施例中，获取模块11还用于：
获取目标类型应用程序启动时的第二网络带宽；
根据第二网络带宽，获取终端设备的解码渲染能力信息。
在一实施例中，获取模块11具体用于：
根据第二网络带宽确定M个码率点；
获取M个码率点中每个码率点的测试码流；
分别解码渲染M个码率点中每个码率点的测试码流，得到终端设备对M个码率点的码流的解码渲染能力，解码渲染能力包括平均解码时间和平均渲染时间。
在一实施例中，获取模块11具体用于：
对第二网络带宽进行向上取整，得到第二网络带宽取整后的值；
根据量化步长对第二网络带宽取整后的值进行量化，得到第二网络带宽的量化值；
根据第二网络带宽的量化值和量化步长，确定M个码率点。
在一实施例中，获取模块11具体用于：
根据测试文件确定M个码率点中每个码率点的测试码流；
其中，测试文件为预存，或者，测试文件为目标类型应用程序启动时终端设备从服务器接收。
在一实施例中，确定模块12用于：
确定终端设备的解码渲染模式，解码渲染模式包括同步模型和异步模式；
根据终端设备的解码渲染模式和解码渲染能力信息，计算得到M个码率点分别对应的帧率；
根据M个码率点分别对应的帧率得到帧率表。
在一实施例中，解码渲染能力包括平均解码时间和平均渲染时间，确定模块12具体用于：
若终端设备的解码渲染模式为同步模式，M个码率点中的任一目标码率点对应的帧率为N与第一数值的商，第一数值为目标码率点的平均解码时间和目标码率点的平均渲染时间之和，N为预设值；
若终端设备的解码渲染模式为异步模式，M个码率点中的任一目标码率点对应的帧率为N与第二数值的商，第二数值为目标码率点的平均解码时间和目标码率点的平均渲染时间之中的最大值。
在一实施例中，确定模块12具体用于：
根据M个码率点分别对应的帧率，确定M个码率点分别对应的码率区间；
根据M个码率点、M个码率点分别对应的码率区间和M个码率点分别对应的帧率，得到帧率表。
在一实施例中，确定模块12具体用于：
从帧率表中查找第一网络带宽所在的码率区间，将第一网络带宽所在的码率区间对应的帧率确定为目标帧率。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图6所示的帧率调整装置可以执行图4对应的方法实施例，并且帧率调整装置中的各个模块的前述和其它操作和/或功能分别为了实现图4对应的方法实施例中的相应流程，为了简洁，在此不再赘述。
图9为本发明实施例提供的一种帧率调整装置的结构示意图，如图9所示，该帧率调整装置可以包括：接收模块21、调整模块22、编码模块23和发送模块24。
其中，接收模块21用于接收终端设备发送的目标帧率，目标帧率为终端设备根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息确定，第一网络带宽为目标类型应用程序启动视频流传输时的网络带宽，解码渲染能力信息包括终端设备对M个码率点的码流的解码渲染能力，M为正整数；
调整模块22用于将当前帧率调整为目标帧率，当前帧率包括编码帧率或者编码帧率和数据采集帧率；
编码模块23用于根据目标帧率对待传输视频进行编码，得到编码后的码流；
发送模块24用于将编码后的码流发送至终端设备，以使得终端设备对码流进行解码渲染和播放。
在一实施例中，接收模块21还用于：接收终端设备发送的测试文件获取请求，测试文件获取请求为目标类型应用程序启动时发送；
发送模块24还用于向终端设备发送测试文件。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。
上文中结合附图从功能模块的角度描述了本发明实施例的帧率调整装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本发明实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本发明实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图10是本发明实施例提供的帧率调整设备的示意性框图。该帧率调整设备可以是上述方法实施例中的服务器或终端设备。
如图10所示，该帧率调整设备可包括：
存储器210和处理器220，该存储器210用于存储计算机程序，并将该程序代码传输给该处理器220。换言之，该处理器220可以从存储器210中调用并运行计算机程序，以实现本发明实施例中的方法。
例如，该处理器220可用于根据该计算机程序中的指令执行上述方法实施例。
在本发明实施例的一些实施例中，该处理器220可以包括但不限于：
通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本发明实施例的一些实施例中，该存储器210包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（Random Access Memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，SRAM）、动态随机存取存储器（Dynamic RAM，DRAM）、同步动态随机存取存储器（Synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（Double DataRate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（Enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synch link DRAM，SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，DR RAM）。
在本发明实施例的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器210中，并由该处理器220执行，以完成本发明实施例提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该帧率调整设备中的执行过程。
如图10所示，该帧率调整设备还可包括：
收发器230，该收发器230可连接至该处理器220或存储器210。
其中，处理器220可以控制该收发器230与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器230可以包括发射机和接收机。收发器230还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该帧率调整设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本发明实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（digital video disc，DVD））、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本发明实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上该，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以该权利要求的保护范围为准。
Claims (16)
1.一种帧率调整方法，其特征在于，包括：
获取目标类型应用程序启动视频流传输时的第一网络带宽；
根据所述第一网络带宽和所述目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，所述解码渲染能力信息包括所述终端设备对M个码率点的码流的解码渲染能力，所述M为正整数；
将所述目标帧率发送至服务器，以使所述服务器将当前帧率调整为所述目标帧率，所述当前帧率包括编码帧率或者编码帧率和数据采集帧率。
2.根据权利要求1所述的帧率调整方法，其特征在于，所述根据所述第一网络带宽和所述目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，包括：
根据所述解码渲染能力信息确定帧率表，所述帧率表包括所述M个码率点分别对应的帧率；
根据所述帧率表与所述第一网络带宽确定所述目标帧率。
3.根据权利要求1或2所述的帧率调整方法，其特征在于，所述方法还包括：
获取所述目标类型应用程序启动时的第二网络带宽；
根据所述第二网络带宽，获取所述终端设备的所述解码渲染能力信息。
4.根据权利要求3所述的帧率调整方法，其特征在于，所述根据所述第二网络带宽，获取所述终端设备的所述解码渲染能力信息，包括：
根据所述第二网络带宽确定所述M个码率点；
获取所述M个码率点中每个码率点的测试码流；
分别解码渲染所述M个码率点中每个码率点的测试码流，得到所述终端设备对所述M个码率点的码流的解码渲染能力，所述解码渲染能力包括平均解码时间和平均渲染时间。
5.根据权利要求4所述的帧率调整方法，其特征在于，所述根据所述第二网络带宽确定所述M个码率点，包括：
对所述第二网络带宽进行向上取整，得到所述第二网络带宽取整后的值；
根据量化步长对所述第二网络带宽取整后的值进行量化，得到所述第二网络带宽的量化值；
根据所述第二网络带宽的量化值和所述量化步长，确定所述M个码率点。
6.根据权利要求4所述的帧率调整方法，其特征在于，所述获取所述M个码率点中每个码率点的测试码流，包括：
根据测试文件确定所述M个码率点中每个码率点的测试码流；
其中，所述测试文件为预存，或者，所述测试文件为所述目标类型应用程序启动时所述终端设备从所述服务器接收。
7.根据权利要求2所述的帧率调整方法，其特征在于，所述根据所述解码渲染能力信息确定帧率表，包括：
确定所述终端设备的解码渲染模式，所述解码渲染模式包括同步模型和异步模式；
根据所述终端设备的解码渲染模式和所述解码渲染能力信息，计算得到所述M个码率点分别对应的帧率；
根据所述M个码率点分别对应的帧率得到所述帧率表。
8.根据权利要求7所述的帧率调整方法，其特征在于，所述解码渲染能力包括平均解码时间和平均渲染时间，所述根据所述终端设备的解码渲染模式和所述解码渲染能力信息，计算得到所述M个码率点分别对应的帧率，包括：
若所述终端设备的解码渲染模式为同步模式，所述M个码率点中的任一目标码率点对应的帧率为N与第一数值的商，所述第一数值为所述目标码率点的平均解码时间和所述目标码率点的平均渲染时间之和，所述N为预设值；
若所述终端设备的解码渲染模式为异步模式，所述M个码率点中的任一目标码率点对应的帧率为所述N与第二数值的商，所述第二数值为所述目标码率点的平均解码时间和所述目标码率点的平均渲染时间之中的最大值。
9.根据权利要求7所述的帧率调整方法，其特征在于，所述根据所述M个码率点分别对应的帧率得到所述帧率表，包括：
根据所述M个码率点分别对应的帧率，确定所述M个码率点分别对应的码率区间；
根据所述M个码率点、所述M个码率点分别对应的码率区间和所述M个码率点分别对应的帧率，得到所述帧率表。
10.根据权利要求2所述的帧率调整方法，其特征在于，所述根据所述帧率表与所述第一网络带宽确定所述目标帧率，包括：
从所述帧率表中查找所述第一网络带宽所在的码率区间，将所述第一网络带宽所在的码率区间对应的帧率确定为所述目标帧率。
11.一种帧率调整方法，其特征在于，包括：
接收终端设备发送的目标帧率，所述目标帧率为所述终端设备根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息确定，所述第一网络带宽为所述目标类型应用程序启动视频流传输时的网络带宽，所述解码渲染能力信息包括所述终端设备对M个码率点的码流的解码渲染能力，所述M为正整数；
将当前帧率调整为所述目标帧率，所述当前帧率包括编码帧率或者编码帧率和数据采集帧率；
根据所述目标帧率对待传输视频进行编码，得到编码后的码流；
将所述编码后的码流发送至所述终端设备，以使得所述终端设备对所述码流进行解码渲染和播放。
12.根据权利要求11所述的帧率调整方法，其特征在于，所述方法还包括：
接收所述终端设备发送的测试文件获取请求，所述测试文件获取请求为所述目标类型应用程序启动时发送；
向所述终端设备发送测试文件。
13.一种帧率调整装置，其特征在于，包括：
获取模块，用于获取目标类型应用程序启动视频流传输时的第一网络带宽；
确定模块，用于根据所述第一网络带宽和所述目标类型应用程序启动时终端设备的解码渲染能力信息，确定目标帧率，所述解码渲染能力信息包括所述终端设备对M个码率点的码流的解码渲染能力，所述M为正整数；
发送模块，用于将所述目标帧率发送至服务器，以使所述服务器将当前帧率调整为所述目标帧率，所述当前帧率包括编码帧率或者编码帧率和数据采集帧率。
14.一种帧率调整装置，其特征在于，包括：
接收模块，用于接收终端设备发送的目标帧率，所述目标帧率为所述终端设备根据第一网络带宽和目标类型应用程序启动时终端设备的解码渲染能力信息确定，所述第一网络带宽为所述目标类型应用程序启动视频流传输时的网络带宽，所述解码渲染能力信息包括所述终端设备对M个码率点的码流的解码渲染能力，所述M为正整数；
调整模块，用于将当前帧率调整为所述目标帧率，所述当前帧率包括编码帧率或者编码帧率和数据采集帧率；
编码模块，用于根据所述目标帧率对待传输视频进行编码，得到编码后的码流；
发送模块，用于将所述编码后的码流发送至所述终端设备，以使得所述终端设备对所述码流进行解码渲染和播放。
15.一种帧率调整设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1-10或11-12中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1-10或11-12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211536842.XA CN115550690B (zh) | 2022-12-02 | 2022-12-02 | 帧率调整方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211536842.XA CN115550690B (zh) | 2022-12-02 | 2022-12-02 | 帧率调整方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115550690A true CN115550690A (zh) | 2022-12-30 |
| CN115550690B CN115550690B (zh) | 2023-04-14 |
Family
ID=84722360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211536842.XA Active CN115550690B (zh) | 2022-12-02 | 2022-12-02 | 帧率调整方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115550690B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007088539A (ja) * | 2005-09-20 | 2007-04-05 | Mitsubishi Electric Corp | ビデオストリーム供給システム、ビデオストリーム供給装置、及びビデオストリーム受信装置 |
| JP2012029219A (ja) * | 2010-07-27 | 2012-02-09 | Kddi Corp | 期限時刻までにデータの送信を完了するデータ送信装置、プログラム及び方法 |
| WO2015101092A1 (zh) * | 2013-12-31 | 2015-07-09 | 华为技术有限公司 | 一种传输机制调整方法和服务端、客户端 |
| CN105471865A (zh) * | 2015-11-23 | 2016-04-06 | 苏州工业园区云视信息技术有限公司 | 视频流动态适应网络状态的方法 |
| CN106657143A (zh) * | 2017-01-20 | 2017-05-10 | 中兴通讯股份有限公司 | 一种流媒体传输方法、装置、服务器及终端 |
| CN111882626A (zh) * | 2020-08-06 | 2020-11-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、服务器及介质 |
| CN111901635A (zh) * | 2020-06-17 | 2020-11-06 | 北京视博云信息技术有限公司 | 一种视频处理方法、装置、存储介质及设备 |
| CN112104879A (zh) * | 2020-11-13 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、电子设备及存储介质 |
| CN113347488A (zh) * | 2021-08-04 | 2021-09-03 | 腾讯科技（深圳）有限公司 | 视频渲染方法、装置、设备及存储介质 |
| CN113542795A (zh) * | 2020-04-21 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN115379235A (zh) * | 2022-08-26 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 基于缓冲池的图像解码方法、装置、可读介质及电子设备 |
-
2022
- 2022-12-02 CN CN202211536842.XA patent/CN115550690B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007088539A (ja) * | 2005-09-20 | 2007-04-05 | Mitsubishi Electric Corp | ビデオストリーム供給システム、ビデオストリーム供給装置、及びビデオストリーム受信装置 |
| JP2012029219A (ja) * | 2010-07-27 | 2012-02-09 | Kddi Corp | 期限時刻までにデータの送信を完了するデータ送信装置、プログラム及び方法 |
| WO2015101092A1 (zh) * | 2013-12-31 | 2015-07-09 | 华为技术有限公司 | 一种传输机制调整方法和服务端、客户端 |
| CN105471865A (zh) * | 2015-11-23 | 2016-04-06 | 苏州工业园区云视信息技术有限公司 | 视频流动态适应网络状态的方法 |
| CN106657143A (zh) * | 2017-01-20 | 2017-05-10 | 中兴通讯股份有限公司 | 一种流媒体传输方法、装置、服务器及终端 |
| CN113542795A (zh) * | 2020-04-21 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN111901635A (zh) * | 2020-06-17 | 2020-11-06 | 北京视博云信息技术有限公司 | 一种视频处理方法、装置、存储介质及设备 |
| CN111882626A (zh) * | 2020-08-06 | 2020-11-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、服务器及介质 |
| CN112104879A (zh) * | 2020-11-13 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、电子设备及存储介质 |
| CN113347488A (zh) * | 2021-08-04 | 2021-09-03 | 腾讯科技（深圳）有限公司 | 视频渲染方法、装置、设备及存储介质 |
| CN115379235A (zh) * | 2022-08-26 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 基于缓冲池的图像解码方法、装置、可读介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115550690B (zh) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114501062B (zh) | 视频渲染协同方法、装置、设备及存储介质 | |
| CN111246209B (zh) | 自适应编码方法、装置、电子设备及计算机存储介质 | |
| US20220239920A1 (en) | Video processing method, related apparatus, storage medium, and program product | |
| CN113965751A (zh) | 屏幕内容编码方法、装置、设备及存储介质 | |
| CN110650357B (zh) | 视频解码方法及装置 | |
| CN116567228A (zh) | 编码方法、实时通信方法、装置、设备及存储介质 | |
| CN114205359A (zh) | 视频渲染协同方法、装置及设备 | |
| CN114374841A (zh) | 视频编码码率控制的优化方法、装置及电子设备 | |
| CN116567346A (zh) | 视频处理方法、装置、存储介质及计算机设备 | |
| CN115550690B (zh) | 帧率调整方法、装置、设备及存储介质 | |
| CN110662071B (zh) | 视频解码方法和装置、存储介质及电子装置 | |
| US20240098316A1 (en) | Video encoding method and apparatus, real-time communication method and apparatus, device, and storage medium | |
| CN107493478A (zh) | 编码帧率设置方法及设备 | |
| CN113593585A (zh) | 音频信号的比特分配方法和装置 | |
| CN110582022A (zh) | 视频编解码方法和装置及存储介质 | |
| CN110572672A (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
| CN110545431B (zh) | 视频解码方法及装置、视频编码方法及装置 | |
| CN112351276B (zh) | 一种视频的编码方法和装置，视频的解码方法和装置 | |
| CN110677721B (zh) | 视频编解码方法和装置及存储介质 | |
| CN116567242A (zh) | 图像处理方法、装置及设备 | |
| CN118870110A (zh) | 视频处理方法、装置、设备及存储介质 | |
| CN116567297A (zh) | 帧率调整方法、装置、设备及存储介质 | |
| JP2002223332A (ja) | 画像処理システム、画像処理方法及びプログラム | |
| CN116708793B (zh) | 视频的传输方法、装置、设备及存储介质 | |
| CN113473180B (zh) | 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |