[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111602389B - 码流的传输控制方法、设备及计算机可读存储介质 - Google Patents

码流的传输控制方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111602389B
CN111602389B CN201980008497.2A CN201980008497A CN111602389B CN 111602389 B CN111602389 B CN 111602389B CN 201980008497 A CN201980008497 A CN 201980008497A CN 111602389 B CN111602389 B CN 111602389B
Authority
CN
China
Prior art keywords
code stream
frame
frame rate
code
streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201980008497.2A
Other languages
English (en)
Other versions
CN111602389A (zh
Inventor
马宁
陈颖
苏文艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111602389A publication Critical patent/CN111602389A/zh
Application granted granted Critical
Publication of CN111602389B publication Critical patent/CN111602389B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开揭示了一种码流的传输控制方法及设备，包括：接收至少两路码流，至少两路码流包括第一码流和第二码流，其中第一码流作为原始主码流，至少两路码流中除第一码流外的其他码流作为原始背景码流，原始主码流的传输帧率高于任一路原始背景码流的传输帧率；获取主码流切换信号，主码流切换信号指示将主码流切换为第二码流；继续接收切换后的至少两路码流，其中第二码流作为新主码流，至少两路码流中除第二码流外的其它码流作为新背景码流，进行切换后，新主码流的传输帧率高于任一路新背景码流的传输帧率。可以有效解决现有技术中播放切换响应时间长的问题。

Description

码流的传输控制方法、设备及计算机可读存储介质
技术领域
本公开涉及数据传输技术领域，特别涉及一种码流的传输控制方法、设备及计算机可读存储介质。
背景技术
随着通信技术的发展，越来越多的场景开始使用到多路码流传输。例如，在一些比赛直播中，经常会在比赛现场设置多个摄像机来实现不同角度对比赛现场的直播，而相应的在直播接收处(如主持人屏幕、电视、网络视频端等)通常只有一块屏幕，因此若需要观看不同的摄像机的直播画面，就需要切换多个摄像机所传输的多路码流进行。
码流的传输中存在图像编解码的过程，而在图像编解码中，关键帧是不参考任何帧进行编码的图像帧，其数据大小比其他参考帧要大，从而导致码流对关键帧的传输需要占用更大的带宽或者更长的时间。因此，现有技术中在对多路码流进行切换时，要达到较好的显示效果，就需要对关键帧进行缓存，缓存一段时间再显示，从而导致切换时间较长；要达到较快的切换速度，关键帧的大小就会被限制，从而导致切换画面卡顿或模糊。
因此，在多路码流进行切换时，保证画面的显示效果的同时来减少切换时间和占用带宽，是亟待解决的问题。
发明内容
为了解决相关技术中所存在在进行多路码流切换时，切换时间长或者画面显示效果差的问题，本公开提供了一种码流的传输控制方法、设备及计算机可读存储介质。
第一方面，一种码流的传输控制方法，所述方法包括：
接收至少两路码流，所述至少两路码流包括第一码流和第二码流，其中所述第一码流作为原始主码流，所述至少两路码流中除第一码流外的其他码流作为原始背景码流，所述原始主码流的传输帧率高于任一路所述原始背景码流的传输帧率；
获取主码流切换信号，所述主码流切换信号指示将主码流切换为所述第二码流；
继续接收切换后的所述至少两路码流，其中所述第二码流作为新主码流，所述至少两路码流中除第二码流外的其它码流作为新背景码流，进行切换后，所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率。
第二方面，一种码流的传输控制方法，所述方法包括：
发送至少两路码流，所述至少两路码流包括第一码流和第二码流，其中所述第一码流作为原始主码流，所述至少两路码流中除第一码流外的其他码流作为原始背景码流，所述原始主码流的传输帧率高于任一路所述原始背景码流的传输帧率；
获取帧率调整信号，所述帧率调整信号携带所述第二码流的码流标识；
在根据所述帧率调整信号进行帧率调整后，按照调整后的传输帧率继续发送所述至少两路码流，其中所述第二码流作为新主码流，所述至少两路码流中除第二码流外的其它码流作为新背景码流，帧率调整后，所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率。
第三方面，一种码流的接收设备，包括处理器、通信组件、存储器和通信总线，所述存储器上存储有可执行指令，所述处理器被配置为执行以下步骤：
接收至少两路码流，所述至少两路码流包括第一码流和第二码流，其中所述第一码流作为原始主码流，所述至少两路码流中除第一码流外的其他码流作为原始背景码流，所述原始主码流的传输帧率高于任一路所述原始背景码流的传输帧率；
获取主码流切换信号，所述主码流切换信号指示将主码流切换为所述第二码流；
继续接收切换后的所述至少两路码流，其中所述第二码流作为新主码流，所述至少两路码流中除第二码流外的其它码流作为新背景码流，进行切换后，所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率。
第四方面，一种码流的发送设备，包括处理器、通信组件、存储器和通信总线，所述存储器上存储有可执行指令，所述处理器被配置为执行以下步骤：
发送至少两路码流，所述至少两路码流包括第一码流和第二码流，其中所述第一码流作为原始主码流，所述至少两路码流中除第一码流外的其他码流作为原始背景码流，所述原始主码流的传输帧率高于任一路所述原始背景码流的传输帧率；
获取帧率调整信号，所述帧率调整信号携带所述第二码流的码流标识；在根据所述帧率调整信号进行帧率调整后，按照调整后的传输帧率继续发送所述至少两路码流，其中所述第二码流作为新主码流，所述至少两路码流中除第二码流外的其它码流作为新背景码流，帧率调整后，所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率。
第五方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述码流的传输控制方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过本公开的技术方案，在至少两路码流的传输过程中，主码流切换前，按照原始主码流的传输帧率高于原始背景码流的帧率进行该至少两路码流的传输；在获取到主码流切换信号后，按照新主码流的传输帧率高于新背景码流的传输帧率继续进行该至少两路码流的传输；即，按照主码流(原始主码流或新主码流)的传输帧率大于背景码流(原始背景码流或新背景码流)的传输帧率，充分保证了主码流的传输带宽，可以避免因背景码流(原始背景码流或新背景码流)过多地占用带宽而影响主码流传输；而且实现了根据主码流的切换动态进行各路码流的传输帧率的调整。
进一步的，由于同时按照不同的传输帧率进行主码流和背景码流的传输，从而，在将主码流作为播放的码流时，可以保证在进行播放切换时，无缝切换至播放所切换至的主码流，提高了切换响应速度，而且保证了播放切换过程中的播放效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出本公开所涉及的实施环境的示意图；
图2是根据一示例性实施例示出的一种码流的传输控制方法的流程图；
图3是在一具体实施例中根据本公开的方法所实现码流的传输示意图；
图4是根据另一示例性实施例示出的一种码流的传输控制方法的流程图；
图5是根据另一示例性实施例示出的码流的传输控制方法的流程图；
图6是根据另一示例性实施例示出的码流的传输控制方法的流程图；
图7是根据一示例性实施例示出的一种无人机的硬件框图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的本公开所涉及的实施环境的示意图。该实施环境包括：发送端100和接收端300。
其中发送端100和接收端300之间通过有线或者无线的方式建立网络连接，从而，基于二者的网络连接，发送端100与接收端300进行交互，所进行的交互例如发送端100向接收端300传输至少两路码流、发送端100根据接收端300中所触发进行的播放切换操作调整码流中图像帧的传输帧率等。
发送端100可以是任意可以进行多路码流传输的设备，例如进行实时图像采集和传输的无人机、笔记本电脑、台式电脑等，在此不进行具体限定。接收端可以是任意可以进行码流接收的通信设备，例如带屏或不带屏的遥控器、VR/AR显示设备、电视机、平板电脑、智能手机、笔记本电脑等电子设备。
图2是根据一示例性实施例示出的一种码流的传输控制方法的流程图。该码流的传输控制方法可以由图1所示实施环境的接收端300执行。如图2所示，该码流的传输控制方法，可以包括以下步骤：
步骤310，接收至少两路码流，至少两路码流包括第一码流和第二码流，其中第一码流作为原始主码流，至少两路码流中除第一码流外的其他码流作为原始背景码流，原始主码流的传输帧率高于任一路原始背景码流的传输帧率。
在一具体应用场景中，码流是由若干图像帧顺序排列形成的视频流。在其他应用场景中，码流还可以是音频码流。
传输帧率是每秒所传输图像帧的帧数。传输帧率表征了码流中的数据传输速度。值得一提的是，在步骤310中，所指的接收至少两路码流是指分别顺序接收至少两路码流中的图像帧，步骤310并不代表完成接收该至少两路码流中各路码流的全部图像帧，而代表接收端处于接收各路码流中图像帧的过程中。
对于接收端所接收的至少两路码流，其中一路码流作为主码流，将该至少两路码流中除该码流外的其它码流作为相对于该主码流的背景码流。在本公开的技术方案中，将主码流的传输帧率配置为高于任一路背景码流的传输帧率。在一具体实施例中，将进行播放的码流作为主码流，对应的，所接收至少两路码流中除所播放码流外的其它码流对应作为背景码流，按照主码流的传输帧率高于任一路背景码流的传输帧率进行传输，从而可以满足接收端对于主码流的播放要求，避免出现卡顿的情况。
值得一提的是，背景码流是相对于主码流而言的，当主码流变化时，则对应的背景码流对应发生变化。例如至少两路码流包括A路码流、B路码流和C路码流，其中初始作为主码流为A路码流，则在A路码流作为主码流期间，B路码流和C路码流为背景码流；若重新选定B路码流作为主码流，则在B路码流作为主码流期间，A路码流和C路码流作为背景码流。
对于主码流，可以是基于用户需求进行主码流的选定、或者接收端默认设定主码流，或者基于接收端中设定的处理过程进行选定，例如当前需要播放A路码流，则将A路码流选定为主码流(原始主码流)，从而，不管是发送端还是接收端对A路码流中图像帧的操作(例如编码、传输、解码、缓存等)均需要满足A路码流的播放。
在本公开的技术方案中，为描述方便和避免混淆，将主码流切换之前的主码流称为原始主码流，切换之前的背景码流称为原始背景码流；将主码流切换之后的主码流称为新主码流，切换之后的背景码流称为新背景码流。
值得一提的是，至少两路码流中的第一码流和第二码流并不特指具体的码流，该第一码流泛指在进行主码流切换之前被选定作为原始主码流的码流，而第二码流泛指在进行主码流切换所被切换作为新主码流的码流。
步骤330，获取主码流切换信号，主码流切换信号指示将主码流切换为第二码流。
基于用户需求，或者接收端中对所接收各路码流的处理过程，接收端对于各路码流的数据量要求可能会发生变化，从而需要进行主码流的切换；例如将所播放的A路码流切换为播放B路码流，那么对应的，将主码流切换为B路码流。
主码流切换信号即用于指示所要切换为主码流的码流，在本公开的技术方案中，用第二码流泛指主码流切换信号所指示需要切换为主码流的码流，从而，主码流切换信号所指示的第二码流即被作为本公开的新主码流。
在一具体实施例中，该主码流切换信号可以是根据在接收端中触发的切换操作生成的，用户通过在接收端中触发切换操作从而向接收端指示将主码流切换为第二码流。例如，当接收端为VR眼镜，用户想要切换显示的码流时，可以通过对VR眼镜的相应控制部件进行操作来触发切换操作，从而生成主码流切换信号。
在另一具体实施例中，该主码流切换信号还可以是外部设备发送至接收端，或者根据在接收端中所配置主码流切换文件生成的，该主码流切换文件指示了在该至少两路码流的传输过程中各个时间段所选定作为主码流的码流。例如，当接收端为监视显示屏时，监视显示屏可以接收外部设备发送的信号，或者依据配置的主码流切换文件，来生成主码流切换信号。配置的主码流切换文件可以根据接收端的工作状态，如工作位置、工作时间等信息，来生成主码流切换信号。例如，当监视显示屏显示摄像机A的画面到预定时间后，可以依据预先配置的主码流切换文件，自动生成主码流切换信号，从而自动切换至摄像机B的画面。
步骤330，继续接收切换后的至少两路码流，其中第二码流作为新主码流，至少两路码流中除第二码流外的其它码流作为新背景码流，进行切换后，新主码流的传输帧率高于任一路新背景码流的传输帧率。
如上所描述，主码流切换信号指示了切换后的主码流，由于配置主码流的传输帧率高于任一路背景码流的传输帧率，从而，在切换了主码流后，根据所选定作为新主码流的码流，对应调整该至少两路码流中各路码流的传输帧率，使得进行切换后，新主码流的传输帧率高于任一路新背景码流的传输帧率。
在一具体实施例中，为保证进行切换后，新主码流的传输帧率高于任一路新背景码流的传输帧率，在接收端获取到主码流切换信号之后，接收端向发送端发送帧率调整信号，帧率调整信号指示了将主码流切换为第二码流。可以理解的是，该帧率调整信号是根据主码流切换信号生成的。从而，发送端在接收到帧率调整信号之后，根据该帧率调整信号对该至少两路码流中各路码流的传输帧率进行调整，并按照调整后的传输帧率进行各路码流的传输，其中发送端按照新主码流的传输帧率高于任一路新背景码流的传输帧率进行帧率调整。
在进行主码流切换之前，第二码流作为原始背景码流中的一路码流，第一码流作为原始主码流，原始主码流的传输帧率高于原始背景码流的传输帧率；在进行主码流切换之后，第二码流作为新主码流，第一码流对应作为新背景码流中的一路码流；从而可以知道，进行切换后，为保证新主码流的传输帧率高于新主码流的传输帧率且保证接收端对于第二码流的需求，切换后，增大第二码流的传输帧率，从而基于切换后第二码流的传输帧率，对应调整作为新背景码流的各路码流的帧率。
在一实施例中，预先设定背景码流(原始背景码流或新背景码流)的传输帧率，当一码流被作为背景码流(原始背景码流或新背景码流)后，按照为主码流所设定的传输帧率进行该路码流的传输。换言之，作为背景码流(原始背景码流或新背景码流)中各路码流的传输帧率相同，从而进行切换后新背景码流的传输帧率为进行切换前第二码流的传输帧率。在具体实施例中，还可以为每一路码流分别设定作为背景码流(原始背景码流或新背景码流)的传输帧率。
在一实施例中，还可以预先设定主码流(原始主码流或新主码流)的传输帧率，当一路码流被选定作为主码流(原始主码流或新主码流)后，按照所设定的传输帧率进行该作为主码流的码流的传输。换言之，作为主码流(原始背景码流或新背景码流)时主码流的传输帧率相同，从而，进行切换后新主码流的传输帧率为进行切换前原始主码流的传输帧率。
在另一实施例中，还可以同时为该至少两路码流中的每一路码流分别设定作为主码流(原始主码流或新主码流)的传输帧率，以及作为背景码流(原始背景码流或新背景码流)的传输帧率，从而在进行主码流切换之后，对应按照所进行的设定调整各路码流的传输帧率。
在另一实施例中，新背景码流的传输帧率为适应于剩余带宽的动态低帧率。该剩余带宽是根据切换后新主码流的传输帧率来确定的。具体的，接收端和发送端的当前带宽与按照切换后新主码流的传输帧率进行传输时新主码流做占用带宽之差即为剩余带宽。然后按照剩余带宽来动态为新背景码流确定传输帧率。
在本公开的技术方案中，在至少两路码流的传输过程中，主码流切换前，按照原始主码流的传输帧率高于原始背景码流的帧率进行该至少两路码流的传输；在获取到主码流切换信号后，按照新主码流的传输帧率高于新背景码流的传输帧率继续进行该至少两路码流的传输；一方面，按照主码流(原始主码流或新主码流)的传输帧率大于背景码流(原始背景码流或新背景码流)的传输帧率，充分保证了主码流的传输带宽，以满足接收端对于主码流的数据需求，避免发生因背景码流(原始背景码流或新背景码流)过多地占用带宽而造成主码流可用带宽不足的情况；另一方面，根据主码流的切换动态地进行调整该至少两路码流中各路码流的传输帧率，使得帧率的调整适应于主码流的切换。
在一实施例中，步骤310之后，该方法还包括：对原始主码流进行播放，并对原始背景码流进行缓存。
也即是说，接收端根据所接收原始主码流的数据进行原始主码流的缓存播放，而仅对原始背景码流进行缓存，从而使得在第一码流作为原始主码流期间，接收端仅播放第一码流。
在具体实施例中，由于是在编码之后进行码流的传输，对应的，接收端在接收到原始主码流和原始背景码流中的数据之后，对应进行译码。换言之，对原始主码流进行译码播放，并对原始背景码流进行译码缓存。
进一步的，在步骤330之后，该方法还包括：对作为新主码流的第二码流进行播放，并对新背景码流进行缓存。
换言之，在接收端中，接收端根据主码流切换信号进行播放切换，即停止对原第一码流的播放而切换为播放作为新主码流的第二码流。
如上所描述，对应于编码之后进行码流传输的场景，对作为新主码流的第二码流进行译码播放，而对新背景码流进行译码缓存。
在一具体实施例中，对作为新主码流的第二码流进行播放的步骤包括：获取在进行切换前为第二码流缓存的缓存数据；根据缓存数据切换至播放第二码流。
由于在原始主码流的播放期间，为作为原始背景码流进行了数据缓存，其中包括该期间作为原始背景码流的第二码流，从而在进行主码流切换之后，可以无需进行缓冲即可无缝切换至播放第二码流。
现有技术的码流播放切换中，在接收端接收到播放切换指令(相当于本实施例中的主码流切换信号)之后，才对应地向发送端请求该播放切换指令所指示需要播放的码流的数据，即在播放切换之后才进行所切换至码流中数据的缓存，从而使得播放切换时间长，播放切换响应速度慢。
在进行播放切换操作之后接收端才向发送端请求该路视频码流中的图像，从而，发送端根据接收端的请求进行所请求视频码流中图像的编码传输。由于视频码流中的首视频帧为I帧，而I帧不参考任何帧，是采用帧内编码方式获得，压缩率较低，数据量较高，压缩难度大，若按照现有技术的码流播放切换方法，为保证接收端对于播放切换的响应，需要限制首视频帧的大小，即压缩后编码获得I帧，而接收端在根据压缩后编码获得I帧进行播放显示时，所显示首帧图像卡顿或者模糊。而如果不限制首视频帧的大小，则传输该I帧所花费的时间长，造成传输时延大。而不管是首视频帧卡顿模糊或者首视频帧的传输时延大，均极大降低了用户体验。
采用本实施例的技术方案，可以有效避免这些问题。由于在进行播放切换之前，即接收端获取到主码流切换信号之前，对原始主码流进行缓存播放，并对原始背景码流中的数据进行缓存，从而，在接收端获取到主码流切换信号之后，可以直接根据所缓存的数据无缝切换至播放作为新主码流的第二码流，播放切换响应速度快，而且不存在首帧卡顿模糊的情况，保证了播放效果。
在现有技术中，为了提高码流播放切换的响应时间，对于所传输的至少两路码流，均按照满足接收端播放各路码流的传输帧率进行各路码流中图像帧的传输。虽然在播放切换时实现了秒切，但是由于在切换之前传输非当前所选定进行播放码流占用传输信道中过多的带宽，使得传输当前所选定进行播放的码流的可用带宽受到损失，影响了当前所选定码流的播放，造成播放质量差。
在本公开所进行的至少两路码流的传输中，结合接收端中所选定需要进行播放的原始主码流，按照原始主码流的传输帧率高于任一路原始背景码流的传输帧率进行传输，保证了原始主码流的播放质量；而在根据主码流切换信号进行播放切换后，进行帧率调整，调整后新背景码流的传输帧率高于任一路新背景码流的传输帧率，并按照调整后的传输帧率进行各路码流的传输，从而实现了结合接收端中所需要播放的码流来针对性地进行各路码流的传输，在保证播放切换的响应速度的同时保证了码流的播放质量。
图3是在一应用场景中根据本公开的方法所进行码流的传输示意图。在图3中，接收端并行接收两路码流，即A路码流和B路码流。其中，在进行码流播放切换之前，接收端中播放A路码流，对应的在播放A路码流期间，A路码流作为原始主码流，B路码流作为原始背景码流，且A路码流的传输帧率高于B路码流的传输帧率。而在进行播放切换后，A路码流被作为新背景码流，B路码流被作为新主码流，在根据播放切换进行两路码流传输帧率的调整后，A路码流的传输帧率低于B路码流的传输帧率。在图3中，所进行的调整即将A路码流的传输帧率调整为播放切换前B路码流的传输帧率，而将B路码流的传输帧率调整为播放切换前A路码流的传输帧率。
如图3所示，在A路码流和B路码流中，各码流中传输的首图像帧均为I帧，而其后传输的图像帧为P帧，从而大幅降低了在码流的传输过程中所占用的带宽。在一具体实施例中，为了避免传输中异常的图像帧影响其后所传输图像帧的译码，在码流中出现传输错误时再次按照帧内编码方式进行编码获得当前待编码图像的I帧并传输；若码流中未出现传输错误则继续按照帧间编码方式进行编码获得当前待编码图像的P帧并传输。
在一实施例中，该方法还包括：对于接收到至少两路码流中各路码流的图像帧，对所接收到的图像帧进行异常检测。
为了保证码流传输的准确性，对于接收端而言，所关注的是所接收的图像帧是否准确，即是否发生数据错误，和接收端是否漏接收到图像帧，即是否发生图像帧丢失。
所进行的异常检测，即是检测接收端中所接收的图像帧是否发生数据错误和检测接收端中是否发生图像帧丢失的情况。从而，根据所进行的异常检测对应确定码流中异常的图像帧，该异常的图像帧包括发生数据错误的图像帧和被丢失的图像帧。
在一具体实施例中，接收端中所进行的异常检测包括：根据所接收图像帧所携带的校验码校验图像帧是否为发生数据错误的图像帧。
发送端向接收端所传输的图像帧中包括为该图像帧所配置的校验码，例如CRC校验码，从而，在接收到图像帧后，按照对应的校验算法，例如对于CRC校验码的CRC校验算法，进行校验，判断通过检验算法所得到的校验码是否与所接收到图像帧中携带的校验码一致来对应判断所接收到的图像帧是否发生数据错误，如果一致，则所接收到的图像帧未发生数据错误，反之，如果不一致，则所接收到的图像帧发生数据错误。
在另一具体实施例中，接收端中所进行的异常检测还包括：根据所接收图像帧携带的帧序号，判断同一码流中相邻两次所接收到图像帧的帧序号是否连续，将判断为不连续的帧序号之间的帧序号所对应图像帧确认为丢失的图像帧。
对于是否发生图像帧丢失的情况，在本实施例中，发送端为所发送的图像帧对应配置了帧序号，从而，接收端在接收到图像帧后，通过同一码流中相邻两次所接收到图像帧的帧序号的连续性来对应进行判断，即如果相邻两次所接收到图像帧的帧序号连续，则在该相邻两次所接收到图像帧中不存在丢失的图像帧；反之，则存在丢失的图像帧，所丢失的图像帧即为不连续的帧序号之间帧序号所对应的图像帧。
在一实施例中，对所接收到的图像帧进行异常检测之后，该方法还包括：在通过异常检测确认所接收到图像帧准确时，为所准确接收的图像帧向发送端发送反馈信息，反馈信息携带图像帧的帧序号。
通过该反馈信息，发送端可以及时获知所发送的哪些图像帧被接收准确接收。
在一应用场景中，码流是在经过编码之后传输到接收端的。发送端对码流中的原始图像所进行的编码是按照帧间编码方式或者帧内编码方式进行编码。
帧间编码方式是指利用图像帧在时间上的相关性，以其他帧作为参考帧对图像数据进行编码的方式。
而帧内编码方式是指不参考时间相关行进行空域预测，对图像数据进行编码的方式。
对于发送端向接收端所传输的码流，每一路码流的首帧为通过帧内编码方式所获得的帧内编码帧，例如通过H.263、H.264、H.265、MPEG4等视频编码标准进行帧内编码所获得的I帧。对于帧内编码帧，由于不参考其他帧进行编码，从而接收端只要正确接收到帧内编码帧，即可对应进行译码。
每一路码流中首帧之后所传输的图像帧可以是帧内编码帧，也可以是通过帧间编码方式所获得的帧间编码帧，例如通过H.263、H.264、H.265、MPEG4等视频编码标准进行帧内编码所获得的P帧和B帧。对于帧间编码帧，由于参考了时间相关性进行预测编码，即依赖参考帧进行编码，从而，接收端即使正确接收到该帧间编码帧，如果该帧间编码帧的参考帧发生错误，则不能对该帧间编码帧进行正确译码。
在接收端通过异常检测检测确定所接收到的图像帧发生数据错误，若该发生数据错误的图像帧作为其后图像帧的参考帧，则会导致所接收到其后的图像帧不能被正确译码，从而导致将该图像帧所引起的错误向后传递。
举例来说，发送端向接收端所传输码流中包括如下按照先后顺序排列的图像帧：P0、P1、P2、P3、P4、P5、P6、......Pn，其中，在发送端中，图像帧P5是以图像帧P4作为参考帧进行编码得到的，对应的，其后的图像帧P6、P7、P8、......Pn对应地是以前一图像帧作为参考帧进行编码得到的。现接收端通过异常检测发现图像帧P4为异常的图像帧(即发生数据错误或者该图像帧丢失)，那么，对应的，在接收端中，图像帧P4不能被正确译码。
在确认图像帧P4为异常的图像帧后，如果不进行及时处理，会直接影响其后图像帧的译码。即如果不进行处理，那么接收端在接收到图像帧P5、P6以及后续的图像帧后，也对应的不能进行正确进行译码，从而导致由图像帧P4所引起的错误传递到后续的图像帧，造成错误的传递。
如果接收端中实时进行码流的播放，如果不对异常的图像帧采取应对措施，以避免当前异常的图像帧影响到其后图像帧，那么会极大影响码流的播放效果。
从而，在一实施例中，为了避免发生错误的传递，该方法还包括：在检测到所接收到图像帧被准确接收时，为所准确接收的图像帧向发送端发送反馈信息，反馈信息携带所对应图像帧的帧序号；接收发送端根据反馈信息为待编码的初始数据所确定参考帧进行编码而传输的图像帧，发送端在检测到相邻两次所接收反馈信息中帧序号不连续时，为待传输的初始数据确定参考帧，所确定的参考帧区别于异常的图像帧。
在发送端，所传输的图像帧即是将初始数据进行编码所得到。
在本实施例的技术方案中，发送端根据接收端在检测所接收到图像帧为发生数据错误时所发送的反馈信息，来对应的为发送端中待传输的初始数据动态确定参考帧，以保证所确定的参考帧为接收端中所准确接收到的图像帧。从而避免发生错误的向后传递。
在一实施例中，为所准确接收的图像帧向发送端发送反馈信息的步骤之后，该方法包括：将所准确接收的图像帧和所对应的帧序号保存至接收端对应码流的参考帧管理队列中。
在该实施例中，在接收端为所接收的每一路码流对应配置了参考帧管理队列，该参考帧管理队列用于存储接收端中所准确接收到的图像帧和所对应的帧序号。
在另一实施例中，为避免发生错误的传递，该方法还包括：接收发送端为异常的图像帧所再次发送的容错数据，容错数据为异常的图像帧所对应帧内编码帧或包括帧内编码帧在内的帧组；通过容错数据中的帧内编码帧进行译码，获得准确的图像帧。
在本实施例中，不管该异常的图像帧是通过帧间编码的方式获得的帧内编码帧，还是以其他的帧内编码帧作为参考帧按照帧间编码方式所得到，只要再次接收到作为帧内编码帧的异常的图像帧或者是作为该异常的图像帧的参考帧的帧内编码帧，则可以对应地根据所重新接收到的帧内编码帧进行译码，以避免该错误向后传递。
在具体实施例中，发送端周期性地向接收端发送容错数据，从而，不管接收端中何时出现异常的图像帧，只要接收到该异常的图像帧所对应的帧内编码帧，即可根据为该异常的图像帧所再次接收到的帧内编码帧进行译码，获得准确的图像帧。
图4是根据另一示例性实施例示出的一种码流的传输控制方法的流程图。该码流的传输控制方法可以由码流的发送端100执行，如图4所示，包括以下步骤：
步骤410，发送至少两路码流，至少两路码流包括第一码流和第二码流，其中第一码流作为原始主码流，至少两路码流中除第一码流外的其他码流作为原始背景码流，原始主码流的传输帧率高于任一路原始背景码流的传输帧率。
在一实施例中，该原始主码流为接收端中所选定进行播放的码流，从而，在接收端接收到该至少两路码流中各路码流的图像帧后，对原始主码流的图像帧进行播放，并对原始背景码流中的图像帧进行缓存。
对应的，由于在各路码流的发送过程中，按照图像帧进行发送。因此，步骤410中所指的发送至少两路码流并不指发送完至少两路码流中的图像帧，而知发送端处于发送图像帧的过程中。
步骤430，获取帧率调整信号，帧率调整信号携带第二码流的码流标识。
从而，发送端根据帧率调整信号中所携带第二码流的码流标识即可获知第二码流被切换为主码流。
在一实施例中，通过接收接收端根据所获取的主码流切换信号而发送的帧率调整信号，从而获得帧率调整信号，主码流切换信号用于指示将主码流切换为第二码流。换言之，在接收端获取到主码流切换信号之后，对应的向发送端发送帧率调整信号，从而对应地调整该至少两路码流中各路码流的传输帧率。
在另一实施例中，该帧率调整信号还可以是对发送端触发的操作来生成的，即在发送端进行主码流的切换。
步骤450，在根据帧率调整信号进行帧率调整后，按照调整后的传输帧率继续发送至少两路码流，其中第二码流作为新主码流，至少两路码流中除第二码流外的其它码流作为新背景码流，帧率调整后，新主码流的传输帧率高于任一路新背景码流的传输帧率。
在一实施例中，帧率调整后，新背景码流的传输帧率为进行切换前第二码流的传输帧率，或为适应于剩余带宽的动态低帧率，剩余带宽是根据切换后新主码流的传输帧率来确定的。
在一实施例中，帧率调整后，新主码流的传输帧率为进行切换前原始主码流的传输帧率。
在一实施例中，如图5所示，该方法还包括：步骤510，在发送至少两路码流中各码流的图像帧之前，获取为对应码流中待编码的原始图像所确定的参考帧；步骤530，根据参考帧对原始图像进行编码，获得原始图像的图像帧。
在该实施例中，采用帧间编码方式来对各路码流中的原始图像进行编码。
在一实施例中，步骤510包括：从对应码流中编码所获得图像帧中选取图像帧作为原始图像的参考帧。
在一具体实施例中，发送端为各码流对应配置了参考帧管理队列，参考帧管理队列用于存储对应码流中接收端所准确接收到的图像帧，从而为保证所使用的参考帧为接收端中所准确接收到的图像帧，从对应码流中编码所获得图像帧中选取图像帧作为原始图像的参考帧的步骤包括：从对应码流的参考帧管理队列中选取图像帧作为原始图像的参考帧。
在一实施例中，该方法还包括：接收接收端发送的反馈信息，接收端在通过异常检测确定所接收到图像帧准确时，为准确接收到的图像帧发送反馈信息，反馈信息用于为待编码的原始图像确定参考帧。
从而，发送端可以根据所接收到的反馈信息来确定哪些图像帧被接收端准确接收到。在一具体实施例中，反馈信息中携带所对应图像帧的帧序号。从而，在发送端接收到反馈信息中，对应的根据所携带的帧序号将该帧序号所对应图像帧保存至对应码流的参考帧管理队列中。
在一具体实施例中，接收端对应为每一路码流配置了参考帧管理队列，在接收端通过异常检测确定做接收到图像帧准确时，将该图像帧以及对应的帧序号保存至对应码流的参考帧管理队列中。
在一实施例中，接收接收端发送的反馈信息的步骤之后，该方法还包括：检测相邻两次所接收到对应码流中反馈信息所携带帧序号是否连续；若连续，则将原始图像的相邻数据所对应图像帧确定为原始图像的参考帧；若不连续，则执行从对应码流的参考帧管理队列中选取图像帧作为原始图像的参考帧。
对于编码而言，采用待编码的原始图像的相邻数据所对应图像帧进行编码的编码效率效率更高，但是如果该相邻数据所对应图像帧未被接收端准确接收，则可能导致以该相邻数据所对应图像帧作为参考帧进行编码获得的图像帧在接收端中不能被正确译码。
在本实施例的技术方案中即实现了根据反馈信息来为待编码的原始图像确定参考帧。具体而言，在检测反馈信息中所携带的帧序号连续时，即说明当前接收端中未出现发生数据错误或者被丢失的图像帧，从而将该待编码的原始图像的相邻数据所对应图像帧确定为该原始图像的参考帧，从而提高编码效率；而在检测反馈信息中所携带的帧序号不连续时，即说明该不连续的帧序号之间的图像帧为异常的图像帧，从而从对应码流的参考帧管理队列中选取图像帧作为原始图像的参考帧，以保证所使用的参考帧为接收端中所准确接收到的图像帧。
在一实施例中，该方法还包括：对于至少两路码流，将各码流中的首帧原始图像按照帧内编码方式进行编码并传输。
进一步的，在一实施例中，将各码流中的首帧原始图像按照帧内编码方式进行编码并传输之后，如图6所示，该方法还包括：步骤610，接收接收端为所接收到图像帧发送的反馈信息；步骤630，通过反馈信息确定对应码流中是否出现异常传输。
在一实施例中，如上所描述，在接收端通过异常检测确定所接收的图像帧准确的图像帧时，为该所准确接收到的图像帧向发送端发送反馈信息，其中该反馈信息携带该所准确接收到图像帧的帧序号。从而，发送端通过检测同一码流中相邻两次所接收到反馈信息携带的帧序号是否来确定对应码流中是否出现异常传输，即如果连续，说明未出现异常传输；如果不连续，则说明出现异常传输。
在另一实施例中，接收端还可以在通过异常检测确定异常的图像帧后，为异常的图像帧向发送端发送反馈信息，对应的，该反馈信息携带所对应异常的图像帧的帧序号，异常的图像帧包括发生数据错误的图像帧和发生丢失的图像帧。从而，接收端在接收到该反馈信息后，即可确定对应码流中出现了异常传输，且对应根据反馈信息中的帧序号确定异常的图像帧。
步骤650，若确定对应码流中出现异常传输，则将码流中当前待传输的原始图像按照帧内编码方式进行编码并传输。
步骤670，若确定对应码流中未出现异常传输，则按照帧间编码方式对当前待传输的原始图像进行编码并传输。
在本实施例中，各路码流中的首帧原始图像按照帧内编码方式进行编码并传输，例如编码的I帧，而码流中其后的原始图像根据传输中是否出现异常传输来确定编码方式，即在出现异常传输时，采用帧内编码方式进行编码并传输，例如编码获得I帧并传输；在未出现异常传输时，采用帧间编码方式进行编码并传输，例如编码获得P帧并传输。从而，一方面提高了发送端的编码效率，而且降低了异常的图像帧对其后传输图像帧的影响。
下述为本公开设备实施例。对于本公开设备实施例中未披露的细节，请参照本公开码流的传输控制方法实施例。
本申请提供了一种码流的接收设备，包括处理器、通信组件、存储器和通信总线，存储器上存储有可执行指令，处理器被配置为执行以下步骤：接收至少两路码流，至少两路码流包括第一码流和第二码流，其中第一码流作为原始主码流，至少两路码流中除第一码流外的其他码流作为原始背景码流，原始主码流的传输帧率高于任一路原始背景码流的传输帧率；获取主码流切换信号，主码流切换信号指示将主码流切换为第二码流；继续接收切换后的至少两路码流，其中第二码流作为新主码流，至少两路码流中除第二码流外的其它码流作为新背景码流，进行切换后，新主码流的传输帧率高于任一路新背景码流的传输帧率。
在一实施例中，接收至少两路码流的步骤之后，处理器还被配置为执行以下步骤：对原始主码流进行播放，并对原始背景码流进行缓存。
在一实施例中，获取主码流切换信号步骤之后，处理器还被配置为执行以下步骤：对作为新主码流的第二码流进行播放，并对新背景码流进行缓存。
在一实施例中，在对作为新主码流的第二码流进行播放的步骤中，处理器被配置为执行以下步骤：获取在进行切换前为第二码流缓存的缓存数据；根据缓存数据切换至播放第二码流。
在一实施例中，在获取主码流切换信号的步骤中，处理器被配置为执行以下步骤：根据触发的切换操作生成主码流切换信号。
在一实施例中，在获取主码流切换信号步骤之后，处理器还被配置为执行以下步骤：向发送端发送帧率调整信号，帧率调整信号指示了将主码流切换为第二码流。
在本实施例中，在继续接收切换后的至少两路码流的步骤中，处理器被配置为执行以下步骤：接收发送端根据帧率调整信号进行帧率调整后所继续传输的至少两路码流，发送端按照新主码流的传输帧率高于任一路新背景码流的传输帧率进行帧率调整。
在一实施例中，进行切换后新背景码流的传输帧率为进行切换前第二码流的传输帧率，或为适应于剩余带宽的动态低帧率，剩余带宽是根据切换后新主码流的传输帧率来确定的。
在一实施例中，进行切换后新主码流的传输帧率为进行切换前原始主码流的传输帧率。
在一实施例中，处理器还被配置为执行以下步骤：对于接收到至少两路码流中各路码流的图像帧，对所接收到的图像帧进行异常检测。
在一实施例中，在对所接收到的图像帧进行异常检测的步骤之后，处理器还执行以下步骤：在通过异常检测确认所接收到图像帧准确时，为所准确接收的图像帧向发送端发送反馈信息，反馈信息携带图像帧的帧序号。
上述各实施例中码流的接收设备的处理器执行操作的具体方式已经在有关该码流的传输控制方法的实施例中执行了详细描述，此处将不做详细阐述说明。
本公开提供了一种码流的发送设备，包括处理器、通信组件、存储器和通信总线，存储器上存储有可执行指令，处理器被配置为执行以下步骤：发送至少两路码流，至少两路码流包括第一码流和第二码流，其中第一码流作为原始主码流，至少两路码流中除第一码流外的其他码流作为原始背景码流，原始主码流的传输帧率高于任一路原始背景码流的传输帧率；获取帧率调整信号，帧率调整信号携带第二码流的码流标识；在根据帧率调整信号进行帧率调整后，按照调整后的传输帧率继续发送至少两路码流，其中第二码流作为新主码流，至少两路码流中除第二码流外的其它码流作为新背景码流，帧率调整后，新主码流的传输帧率高于任一路新背景码流的传输帧率。
在一实施例中，在获取帧率调整信号的步骤中，处理器被配置为执行以下步骤：接收接收端根据所获取的主码流切换信号而发送的帧率调整信号，主码流切换信号用于指示将主码流切换为第二码流。
在一实施例中，帧率调整后，新背景码流的传输帧率为进行切换前第二码流的传输帧率，或为适应于剩余带宽的动态低帧率，剩余带宽是根据切换后新主码流的传输帧率来确定的。
在一实施例中，帧率调整后，新主码流的传输帧率为进行切换前原始主码流的传输帧率。
在一实施例中，处理器还被配置为执行以下步骤：在发送至少两路码流中各码流的图像帧之前，获取为对应码流中待编码的原始图像所确定的参考帧；根据参考帧对原始图像进行编码，获得原始图像的图像帧。
在一实施例中，在获取为对应码流中待编码的原始图像所确定的参考帧的步骤中，处理器被配置为执行以下步骤：从对应码流中编码所获得图像帧中选取图像帧作为原始图像的参考帧。
在一实施例中，处理器还被配置为执行以下步骤：接收接收端发送的反馈信息，接收端在通过异常检测确定所接收到图像帧准确时，为准确接收到的图像帧发送反馈信息，反馈信息用于为待编码的原始图像确定参考帧。
在一实施例中，处理器还被配置为执行以下步骤：对于至少两路码流，将各码流中的首帧原始图像按照帧内编码方式进行编码并传输。
在一实施例中，在将各码流中的首帧原始图像按照帧内编码方式进行编码并传输的步骤之后，处理器还被配置为执行以下步骤：接收接收端为所接收到图像帧发送的反馈信息；通过反馈信息确定对应码流中是否出现异常传输；若确定对应码流中出现异常传输，则将码流中当前待传输的原始图像按照帧内编码方式进行编码并传输；若确定对应码流中未出现异常传输，则按照帧间编码方式对当前待传输的原始图像进行编码并传输。
上述各实施例中码流的发送设备的处理器执行操作的具体方式已经在有关该码流的传输控制方法的实施例中执行了详细描述，此处将不做详细阐述说明。
下述为本公开装置实施例，可以用于执行本公开上述发送端100或接收端300执行的码流的传输控制方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开码流的传输控制方法实施例。
本申请提供了一种码流的传输控制装置，应用于接收端，该装置包括：第一接收模块，用于接收至少两路码流，至少两路码流包括第一码流和第二码流，其中第一码流作为原始主码流，至少两路码流中除第一码流外的其他码流作为原始背景码流，原始主码流的传输帧率高于任一路原始背景码流的传输帧率；主码流信号获取模块，用于获取主码流切换信号，主码流切换信号指示将主码流切换为第二码流；第二接收模块，用于继续接收切换后的至少两路码流，其中第二码流作为新主码流，至少两路码流中除第二码流外的其它码流作为新背景码流，进行切换后，新主码流的传输帧率高于任一路新背景码流的传输帧率。
在一实施例中，该装置还包括：播放和存储模块，用于对原始主码流进行播放，并对原始背景码流进行缓存。
在一实施例中，该装置还包括：切换播放模块，用于对作为新主码流的第二码流进行播放，并对新背景码流进行缓存。
在一实施例中，切换播放模块，包括：缓存数据获取单元，用于获取在进行切换前为第二码流缓存的缓存数据；切换播放单元，用于根据缓存数据切换至播放第二码流。
在一实施例中，主码流信号获取模块，包括：主码流信号生成单元，用于根据触发的切换操作生成主码流切换信号。
在一实施例中，该装置还包括：帧率调整信号发送模块，用于向发送端发送帧率调整信号，帧率调整信号指示了将主码流切换为第二码流。
在该实施例中，第二接收模块，包括：接收单元，用于接收发送端根据帧率调整信号进行帧率调整后所继续传输的至少两路码流，发送端按照新主码流的传输帧率高于任一路新背景码流的传输帧率进行帧率调整。
在一实施例中，进行切换后新背景码流的传输帧率为进行切换前第二码流的传输帧率，或为适应于剩余带宽的动态低帧率，剩余带宽是根据切换后新主码流的传输帧率来确定的。
在一实施例中，进行切换后新主码流的传输帧率为进行切换前原始主码流的传输帧率。
在一实施例中，该装置还包括：异常检测模块，用于对于接收到至少两路码流中各路码流的图像帧，对所接收到的图像帧进行异常检测。
在一实施例中，该装置还包括：反馈信息发送模块，用于在通过异常检测确认所接收到图像帧准确时，为所准确接收的图像帧向发送端发送反馈信息，反馈信息携带图像帧的帧序号。
上述装置中各个模块/单元的功能和作用的实现过程具体详见上述码流的传输控制方法中对应步骤的实现过程，在此不再赘述。
可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序。
本申请还提供了一种码流的传输控制装置，应用于码流的发送端，该装置包括：第一发送模块，用于发送至少两路码流，至少两路码流包括第一码流和第二码流，其中第一码流作为原始主码流，至少两路码流中除第一码流外的其他码流作为原始背景码流，原始主码流的传输帧率高于任一路原始背景码流的传输帧率；帧率调整信号获取模块，用于获取帧率调整信号，帧率调整信号携带第二码流的码流标识；第二发送模块，用于在根据帧率调整信号进行帧率调整后，按照调整后的传输帧率继续发送至少两路码流，其中第二码流作为新主码流，至少两路码流中除第二码流外的其它码流作为新背景码流，帧率调整后，新主码流的传输帧率高于任一路新背景码流的传输帧率。
在一实施例中，帧率调整信号获取模块，包括：帧率调整信号接收单元，用于接收接收端根据所获取的主码流切换信号而发送的帧率调整信号，主码流切换信号用于指示将主码流切换为第二码流。
在一实施例中，帧率调整后，新背景码流的传输帧率为进行切换前第二码流的传输帧率，或为适应于剩余带宽的动态低帧率，剩余带宽是根据切换后新主码流的传输帧率来确定的。
在一实施例中，帧率调整后，新主码流的传输帧率为进行切换前原始主码流的传输帧率。
在一实施例中，该装置还包括：参考帧获取模块，用于在发送至少两路码流中各码流的图像帧之前，获取为对应码流中待编码的原始图像所确定的参考帧；编码模块，用于根据参考帧对原始图像进行编码，获得原始图像的图像帧。
在一实施例中，参考帧获取模块，包括：第一参考帧获取单元，用于从对应码流中编码所获得图像帧中选取图像帧作为原始图像的参考帧。
在一实施例中，该装置还包括：反馈信息接收模块，用于接收接收端发送的反馈信息，接收端在通过异常检测确定所接收到图像帧准确时，为准确接收到的图像帧发送反馈信息，反馈信息用于为待编码的原始图像确定参考帧。
在一实施例中，该装置还包括：第一编码传输模块，用于对于至少两路码流，将各码流中的首帧原始图像按照帧内编码方式进行编码并传输。
在一实施例中，该装置还包括：信息接收模块，用于接收接收端为所接收到图像帧发送的反馈信息；异常传输确定模块，用于通过反馈信息确定对应码流中是否出现异常传输；第二编码传输模块，用于若异常传输确定模块确定对应码流中出现异常传输，则将码流中当前待传输的原始图像按照帧内编码方式进行编码并传输；第三编码传输模块，用于若异常传输确定模块确定对应码流中未出现异常传输，则按照帧间编码方式对当前待传输的原始图像进行编码并传输。
上述装置中各个模块/单元的功能和作用的实现过程具体详见上述码流的传输控制方法中对应步骤的实现过程，在此不再赘述。
可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序。
图7是根据一示例性实施例示出的无人机的硬件框图，其中，该无人机700可以作为码流的发送端，对应执行本公开码流的传输控制方法。
需要说明的是，该无人机700只是一个适配于本公开的示例，不能认为是提供了本公开的使用范围的任何限制。该用无人机700也不能认为需要依赖于或者必须具有图7中示出的示例性的无人机700中的一个或多个组件。
参照图7，无人机700可以包括以下一个或多个组件：处理组件702，存储器704，动力组件706，图像采集组件708，定位组件710，传感器组件714以及通信组件716。
处理组件702通常控制无人机700的整体操作，诸如与码流发送，通信，数据存储、原始图像编码等相关联的操作等。处理组件702可以包括一个或多个处理器718来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。
存储器704被配置为存储各种类型的数据以支持在无人机700的操作。这些数据的示例包括用于在无人机700上操作的任何应用程序或方法的指令。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(StaticRandom Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘等。存储器704中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器718执行，以完成上述任一由发送端所执行的方法实施例的全部或者部分步骤。
电源组件712为无人机700的各种组件提供电力。电源组件712可以包括电源管理系统，一个或多个电源，及其他与为无人机700生成、管理和分配电力相关联的组件。
动力组件706用于为无人机700的飞行提供动力。动力组件706可以包括驱动旋翼转动的动力电机。
图像采集组件708用于无人机700进行图像或者视频采集，从而编码获得视频码流。图像采集组件708可以是搭载在无人机700上的至少一个摄像机。
定位组件710用于实时获取无人机700的位置，该定位组件710可以是GPS定位模块，低轨卫星模块等。
传感器组件714包括一个或多个传感器，用于为无人机700提供各个方面的状态评估。例如，传感器组件714可以检测到无人机700的起飞和停止状态，组件的相对定位，传感器组件714还可以检测无人机700或无人机700一个组件的位置改变以及无人机700的温度变化。在一些实施例中，该传感器组件714还可以包括磁传感器，压力传感器或温度传感器、加速度传感器、角速度传感器、距离传感器等。
通信组件716被配置为便于无人机700和其他设备之间有线或无线方式的通信。无人机700可以接入基于通信标准的无线网络，如WiFi(WIreless-Fidelity，无线保真)。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件716还包括近场通信(Near FieldCommunication，简称NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RadioFrequency Identification，简称RFID)技术，红外数据协会(Infrared DataAssociation，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以为包括指令的临时性和非临时性计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现以上由接收端所执行任一方法实施例中码流的传输控制方法。
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以为包括指令的临时性和非临时性计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现以上由发送端所执行任一方法实施例中码流的传输控制方法。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (26)

1.一种码流的传输控制方法，其特征在于，所述方法包括：
接收至少两路码流，所述至少两路码流包括第一码流和第二码流，其中所述第一码流作为原始主码流，所述至少两路码流中除第一码流外的其他码流作为原始背景码流，所述原始主码流的传输帧率高于任一路所述原始背景码流的传输帧率；
对所述原始主码流进行播放，并对所述原始背景码流进行缓存，其中，在所述第一码流作为原始主码流期间，仅播放所述第一码流；
获取主码流切换信号，所述主码流切换信号指示将主码流切换为所述第二码流；
继续接收切换后的所述至少两路码流，其中所述第二码流作为新主码流，所述至少两路码流中除第二码流外的其它码流作为新背景码流，进行切换后，所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率，进行切换后所述新背景码流的传输帧率为进行切换前所述第二码流的传输帧率，进行切换后所述新主码流的传输帧率为进行切换前所述原始主码流的传输帧率；或者，进行切换后所述新背景码流的传输帧率为适应于剩余带宽的动态低帧率，所述剩余带宽是根据切换后所述新主码流的传输帧率来确定的；
对作为新主码流的所述第二码流进行播放，并对所述新背景码流进行缓存，所述对作为新主码流的所述第二码流进行播放，包括：获取在进行切换前为所述第二码流缓存的缓存数据；根据所述缓存数据切换至播放所述第二码流；
所述方法还包括：接收发送端为异常的图像帧所再次发送的容错数据，容错数据包括异常的图像帧所对应帧内编码帧，或，用于包括帧内编码帧在内的帧组；通过所述容错数据进行译码，获得图像帧。
2.根据权利要求1所述的方法，其特征在于，所述获取主码流切换信号，包括：
根据触发的切换操作生成所述主码流切换信号。
3.根据权利要求1所述的方法，其特征在于，所述获取主码流切换信号之后，所述方法还包括：
向发送端发送帧率调整信号，所述帧率调整信号指示了将主码流切换为所述第二码流；
所述继续接收切换后的所述至少两路码流，包括：
接收所述发送端根据所述帧率调整信号进行帧率调整后所继续传输的所述至少两路码流，所述发送端按照所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率进行所述帧率调整。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于接收到所述至少两路码流中各路码流的图像帧，对所接收到的所述图像帧进行异常检测。
5.根据权利要求4所述的方法，其特征在于，所述对所接收到的所述图像帧进行异常检测之后，所述方法还包括：
在通过所述异常检测确认所接收到图像帧准确时，为所准确接收的所述图像帧向发送端发送反馈信息，所述反馈信息携带所述图像帧的帧序号。
6.一种码流的传输控制方法，其特征在于，所述方法包括：
发送至少两路码流，以在接收端对所述至少两路码流中的原始主码流进行播放，并对所述至少两路码流中的原始背景码流进行缓存，所述至少两路码流包括第一码流和第二码流，其中所述第一码流作为原始主码流，所述至少两路码流中除第一码流外的其他码流作为原始背景码流，所述原始主码流的传输帧率高于任一路所述原始背景码流的传输帧率，在所述第一码流作为原始主码流期间，仅播放所述第一码流；
获取帧率调整信号，所述帧率调整信号携带所述第二码流的码流标识；
在根据所述帧率调整信号进行帧率调整后，按照调整后的传输帧率继续发送所述至少两路码流，以在所述接收端对作为新主码流的所述第二码流进行播放，并对所述新背景码流进行缓存，其中，所述对作为新主码流的所述第二码流进行播放，包括：获取在进行切换前为所述第二码流缓存的缓存数据；根据所述缓存数据切换至播放所述第二码流，所述至少两路码流中除第二码流外的其它码流作为新背景码流，帧率调整后，所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率，帧率调整后，所述新背景码流的传输帧率为进行切换前所述第二码流的传输帧率，所述新主码流的传输帧率为进行切换前所述原始主码流的传输帧率，或者，所述新背景码流的传输帧率为适应于剩余带宽的动态低帧率，所述剩余带宽是根据切换后所述新主码流的传输帧率来确定的；
所述方法还包括：为异常的图像帧再次向接收端发送容错数据，以便接收端通过所述容错数据进行译码，获得图像帧，其中，容错数据包括异常的图像帧所对应帧内编码帧，或，用于包括帧内编码帧在内的帧组。
7.根据权利要求6所述的方法，其特征在于，所述获取帧率调整信号，包括：
接收接收端根据所获取的主码流切换信号而发送的帧率调整信号，所述主码流切换信号用于指示将主码流切换为所述第二码流。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在发送所述至少两路码流中各码流的图像帧之前，获取为对应码流中待编码的原始图像所确定的参考帧；
根据所述参考帧对所述原始图像进行编码，获得所述原始图像的图像帧。
9.根据权利要求8所述的方法，其特征在于，所述获取为对应码流中待编码的原始图像所确定的参考帧，包括：
从所述对应码流中编码所获得图像帧中选取图像帧作为所述原始图像的参考帧。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
接收所述接收端发送的反馈信息，所述接收端在通过异常检测确定所接收到图像帧准确时，为准确接收到的所述图像帧发送所述反馈信息，所述反馈信息用于为所述待编码的原始图像确定参考帧。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对于所述至少两路码流，将各码流中的首帧原始图像按照帧内编码方式进行编码并传输。
12.根据权利要求11所述的方法，其特征在于，所述将各码流中的首帧原始图像按照帧内编码方式进行编码并传输之后，所述方法还包括：
接收所述接收端为所接收到图像帧发送的反馈信息；
通过所述反馈信息确定对应码流中是否出现异常传输；
若确定对应码流中出现异常传输，则将所述码流中当前待传输的原始图像按照帧内编码方式进行编码并传输；
若确定对应码流中未出现异常传输，则按照帧间编码方式对当前待传输的原始图像进行编码并传输。
13.一种码流的接收设备，其特征在于，包括处理器、通信组件、存储器和通信总线，所述存储器上存储有可执行指令，所述处理器被配置为执行以下步骤：
接收至少两路码流，所述至少两路码流包括第一码流和第二码流，其中所述第一码流作为原始主码流，所述至少两路码流中除第一码流外的其他码流作为原始背景码流，所述原始主码流的传输帧率高于任一路所述原始背景码流的传输帧率；
对所述原始主码流进行播放，并对所述原始背景码流进行缓存，其中，在所述第一码流作为原始主码流期间，仅播放所述第一码流；
获取主码流切换信号，所述主码流切换信号指示将主码流切换为所述第二码流；
继续接收切换后的所述至少两路码流，其中所述第二码流作为新主码流，所述至少两路码流中除第二码流外的其它码流作为新背景码流，进行切换后，所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率，进行切换后所述新背景码流的传输帧率为进行切换前所述第二码流的传输帧率，进行切换后所述新主码流的传输帧率为进行切换前所述原始主码流的传输帧率；或者，进行切换后所述新背景码流的传输帧率为适应于剩余带宽的动态低帧率，所述剩余带宽是根据切换后所述新主码流的传输帧率来确定的；
对作为新主码流的所述第二码流进行播放，并对所述新背景码流进行缓存，在所述对作为新主码流的所述第二码流进行播放的步骤中，所述处理器被配置为执行以下步骤：获取在进行切换前为所述第二码流缓存的缓存数据；根据所述缓存数据切换至播放所述第二码流；
所述处理器还被配置为执行以下步骤：接收发送端为异常的图像帧所再次发送的容错数据，容错数据包括异常的图像帧所对应帧内编码帧，或，用于包括帧内编码帧在内的帧组；通过所述容错数据进行译码，获得图像帧。
14.根据权利要求13所述的接收设备，其特征在于，在所述获取主码流切换信号的步骤中，所述处理器被配置为执行以下步骤：
根据触发的切换操作生成所述主码流切换信号。
15.根据权利要求13所述的接收设备，其特征在于，在所述获取主码流切换信号步骤之后，所述处理器还执行以下步骤：
向发送端发送帧率调整信号，所述帧率调整信号指示了将主码流切换为所述第二码流；
在所述继续接收切换后的所述至少两路码流的步骤中，所述处理器被配置为执行以下步骤：
接收所述发送端根据所述帧率调整信号进行帧率调整后所继续传输的所述至少两路码流，所述发送端按照所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率进行所述帧率调整。
16.根据权利要求13所述的接收设备，其特征在于，所述处理器还被配置为执行以下步骤：
对于接收到所述至少两路码流中各路码流的图像帧，对所接收到的所述图像帧进行异常检测。
17.根据权利要求16所述的接收设备，其特征在于，在所述对所接收到的所述图像帧进行异常检测的步骤之后，所述处理器还执行以下步骤：
在通过所述异常检测确认所接收到图像帧准确时，为所准确接收的所述图像帧向发送端发送反馈信息，所述反馈信息携带所述图像帧的帧序号。
18.一种码流的发送设备，其特征在于，包括处理器、通信组件、存储器和通信总线，所述存储器上存储有可执行指令，所述处理器被配置为执行以下步骤：
发送至少两路码流，以在接收端对所述至少两路码流中的原始主码流进行播放，并对所述至少两路码流中的原始背景码流进行缓存，所述至少两路码流包括第一码流和第二码流，其中所述第一码流作为原始主码流，所述至少两路码流中除第一码流外的其他码流作为原始背景码流，所述原始主码流的传输帧率高于任一路所述原始背景码流的传输帧率，在所述第一码流作为原始主码流期间，仅播放所述第一码流；
获取帧率调整信号，所述帧率调整信号携带所述第二码流的码流标识；
在根据所述帧率调整信号进行帧率调整后，按照调整后的传输帧率继续发送所述至少两路码流，以在所述接收端对作为新主码流的所述第二码流进行播放，并对所述新背景码流进行缓存，其中，所述对作为新主码流的所述第二码流进行播放，包括：获取在进行切换前为所述第二码流缓存的缓存数据；根据所述缓存数据切换至播放所述第二码流，所述至少两路码流中除第二码流外的其它码流作为新背景码流，帧率调整后，所述新主码流的传输帧率高于任一路所述新背景码流的传输帧率，帧率调整后，所述新背景码流的传输帧率为进行切换前所述第二码流的传输帧率，所述新主码流的传输帧率为进行切换前所述原始主码流的传输帧率，或者，所述新背景码流的传输帧率为适应于剩余带宽的动态低帧率，所述剩余带宽是根据切换后所述新主码流的传输帧率来确定的；
所述处理器还被配置为执行以下步骤：为异常的图像帧再次向接收端发送容错数据，以便接收端通过所述容错数据进行译码，获得图像帧，其中，容错数据包括异常的图像帧所对应帧内编码帧，或，用于包括帧内编码帧在内的帧组。
19.根据权利要求18所述的发送设备，其特征在于，在所述获取帧率调整信号的步骤中，所述处理器被配置为执行以下步骤：
接收接收端根据所获取的主码流切换信号而发送的帧率调整信号，所述主码流切换信号用于指示将主码流切换为所述第二码流。
20.根据权利要求18所述的发送设备，其特征在于，所述处理器还被配置为执行以下步骤：
在发送所述至少两路码流中各码流的图像帧之前，获取为对应码流中待编码的原始图像所确定的参考帧；
根据所述参考帧对所述原始图像进行编码，获得所述原始图像的图像帧。
21.根据权利要求20所述的发送设备，其特征在于，在所述获取为对应码流中待编码的原始图像所确定的参考帧的步骤中，所述处理器被配置为执行以下步骤：
从所述对应码流中编码所获得图像帧中选取图像帧作为所述原始图像的参考帧。
22.根据权利要求20所述的发送设备，其特征在于，所述处理器还被配置为执行以下步骤：
接收所述接收端发送的反馈信息，所述接收端在通过异常检测确定所接收到图像帧准确时，为准确接收到的所述图像帧发送所述反馈信息，所述反馈信息用于为所述待编码的原始图像确定参考帧。
23.根据权利要求20所述的发送设备，其特征在于，所述处理器还被配置为执行以下步骤：
对于所述至少两路码流，将各码流中的首帧原始图像按照帧内编码方式进行编码并传输。
24.根据权利要求23所述的发送设备，其特征在于，在所述将各码流中的首帧原始图像按照帧内编码方式进行编码并传输的步骤之后，所述处理器还被配置为执行以下步骤：
接收所述接收端为所接收到图像帧发送的反馈信息；
通过所述反馈信息确定对应码流中是否出现异常传输；
若确定对应码流中出现异常传输，则将所述码流中当前待传输的原始图像按照帧内编码方式进行编码并传输；
若确定对应码流中未出现异常传输，则按照帧间编码方式对当前待传输的原始图像进行编码并传输。
25.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求6至12中任一项所述的方法。
CN201980008497.2A 2019-07-23 2019-07-23 码流的传输控制方法、设备及计算机可读存储介质 Expired - Fee Related CN111602389B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/097265 WO2021012180A1 (zh) 2019-07-23 2019-07-23 码流的传输控制方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111602389A CN111602389A (zh) 2020-08-28
CN111602389B true CN111602389B (zh) 2022-06-03

Family

ID=72190286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008497.2A Expired - Fee Related CN111602389B (zh) 2019-07-23 2019-07-23 码流的传输控制方法、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111602389B (zh)
WO (1) WO2021012180A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174965B (zh) * 2022-06-30 2024-01-02 杭州海康威视数字技术股份有限公司 视频预览方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572355A (zh) * 2016-11-02 2017-04-19 乐视控股（北京）有限公司 多路视频直播方法及系统
CN107041168A (zh) * 2014-12-02 2017-08-11 索尼公司 用于适应视频捕捉帧率的传感器配置切换
CN107666593A (zh) * 2017-08-28 2018-02-06 中国电子科技集团公司第二十八研究所 一种波动网络环境下的视频实时传输方法
CN109195010A (zh) * 2018-08-15 2019-01-11 咪咕视讯科技有限公司 一种码率调节方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917568B (zh) * 2009-12-17 2013-01-30 新奥特（北京）视频技术有限公司 一种基于流媒体技术的网络视频播放器及播放系统
CN202799004U (zh) * 2012-06-04 2013-03-13 深圳市景阳科技股份有限公司 一种视频播放终端及系统
CN104079869A (zh) * 2013-03-29 2014-10-01 杭州海康威视数字技术股份有限公司 对多通道码流进行预览的方法及客户端
US9338203B2 (en) * 2014-02-11 2016-05-10 Wowza Media Systems, LLC Server configuration interface including stream preview
CN103997680B (zh) * 2014-06-06 2017-10-24 上海众源网络有限公司 一种视频码流的切换方法及装置
CN106231225A (zh) * 2016-09-14 2016-12-14 深圳市泛海三江科技发展有限公司 一种网络硬盘录像机数据处理方法和系统
CN106937141A (zh) * 2017-03-24 2017-07-07 北京奇艺世纪科技有限公司 一种码流切换方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107041168A (zh) * 2014-12-02 2017-08-11 索尼公司 用于适应视频捕捉帧率的传感器配置切换
CN106572355A (zh) * 2016-11-02 2017-04-19 乐视控股（北京）有限公司 多路视频直播方法及系统
CN107666593A (zh) * 2017-08-28 2018-02-06 中国电子科技集团公司第二十八研究所 一种波动网络环境下的视频实时传输方法
CN109195010A (zh) * 2018-08-15 2019-01-11 咪咕视讯科技有限公司 一种码率调节方法及装置

Also Published As

Publication number Publication date
WO2021012180A1 (zh) 2021-01-28
CN111602389A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
KR102077556B1 (ko) 가상 인트라-프레임을 사용하여 비디오 콘텐츠를 인코딩하기 위한 시스템 및 방법
CN102857757B (zh) 响应于错误反馈的视频刷新自适应算法
US8638851B2 (en) Joint bandwidth detection algorithm for real-time communication
KR101809306B1 (ko) 낮은 레이턴시 레이트 제어 시스템 및 방법
US10659815B2 (en) Method of dynamic adaptive streaming for 360-degree videos
US20120287338A1 (en) Video image coded data display method, device, and communications system
JP2015511780A (ja) ビデオ画像送信方法、装置及びシステム
US20200259880A1 (en) Data processing method and apparatus
CN113068001B (zh) 基于级联摄像机的数据处理方法、装置、设备和介质
US9226003B2 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
US20110299605A1 (en) Method and apparatus for video resolution adaptation
US20120106632A1 (en) Method and apparatus for error resilient long term referencing block refresh
CN111602389B (zh) 码流的传输控制方法、设备及计算机可读存储介质
US20120281756A1 (en) Complexity change detection for video transmission system
CN112470481B (zh) 用于对基于图块的沉浸式视频进行编码的编码器和方法
CN107734278B (zh) 一种视频回放方法及相关装置
US9451288B2 (en) Inferred key frames for fast initiation of video coding sessions
CN113508601B (zh) 客户端和用于在客户端处管理多媒体内容的流传输会话的方法
US9553906B2 (en) Method and system for synchronization of data streams
CN112929667A (zh) 一种编解码方法、装置、设备及可读存储介质
US20240236409A9 (en) Electronic apparatus, server apparatus and control method thereof
EP4024811A1 (en) Method and system for enhancing quality of experience (qoe) of video reception at receiver
JP2007274593A (ja) 映像受信装置及び映像配信システム並びに映像受信方法
JP2004140691A (ja) 動画データ通信システムおよび動画データ通信方法
WO2024182159A1 (en) Video encoding dynamic reference frame selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220603

CF01 Termination of patent right due to non-payment of annual fee