CN111263192A - 视频处理方法及相关设备 - Google Patents
视频处理方法及相关设备 Download PDFInfo
- Publication number
- CN111263192A CN111263192A CN201811462770.2A CN201811462770A CN111263192A CN 111263192 A CN111263192 A CN 111263192A CN 201811462770 A CN201811462770 A CN 201811462770A CN 111263192 A CN111263192 A CN 111263192A
- Authority
- CN
- China
- Prior art keywords
- video
- video data
- data packet
- importance
- code stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 324
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims description 259
- 238000013139 quantization Methods 0.000 claims description 62
- 230000015556 catabolic process Effects 0.000 claims description 53
- 238000006731 degradation reaction Methods 0.000 claims description 53
- 230000015654 memory Effects 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 238000011084 recovery Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 101100122750 Caenorhabditis elegans gop-2 gene Proteins 0.000 description 1
- 101000946275 Homo sapiens Protein CLEC16A Proteins 0.000 description 1
- 102100034718 Protein CLEC16A Human genes 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种视频处理方法以及实现该方法的装置。本申请实施例提出的方法可以按照视频的内容特征以及历史反馈信息动态地设置该视频的编码策略,相较于现有技术仅采用固定的编码策略进行编码,通过实施本申请实施例,可以使得根据动态设置的编码策略编码得到的目标码流能够更好地适应无线信道的信道状态,有利于提高目标码流在无线信道中的传输性能。
Description
技术领域
本申请涉及无线传输领域,具体涉及一种视频处理方法及相关设备。
背景技术
随着计算机网络以及图像处理技术的飞速发展,视频传输已经广泛地应用于各种场景中。视频传输分为有线视频传输和无线视频传输两类,与有线视频传输相比,无线视频传输具有以下优点:(1)成本低廉,无线视频传输系统无需架设电缆或挖掘电缆沟,节省了人力物力资源;(2)应用范围广,在山地、湖泊、林区等特殊地理环境中,无线传输几乎不受地理环境限制;(3)扩展性好,对无线视频传输系统进行扩展时,只需增加前端设备、发射机和接收机即可,而有线视频传输系统还需要重新布线;(4)移动性高,有线视频传输系统无法支持移动场景,而无线视频传输系统在无线网络覆盖范围内具有很高的移动性。
在当前的无线视频传输系统中,视频发送端采用固定的编码策略对视频数据进行编码,并将编码得到的视频码流发送给无线信道发送端,以便无线信道发送端通过无线信道发送视频码流。由于无线信道的带宽资源有限,且无线信道的信道状态具有时变的特点,使得编码得到的视频码流不能很好地适应信道状态时变的无线信道,导致通过无线信道传输视频码流的传输性能较低。因此,如何提高视频码流在无线信道中的传输性能成为一个亟待解决的技术问题。
发明内容
本申请实施例提供了一种视频处理方法及相关设备,有利于提高目标码流在无线信道中的传输性能。
第一方面,本申请实施例提供了一种视频处理方法,可以应用于视频处理设备,该方法包括:获取待传输视频的原始视频数据,按照视频的内容特征以及历史反馈信息设置视频的编码策略,历史反馈信息包括历史传输结果和/或用户反馈的内容特征,编码策略包括编码方式和/或编码参数;基于编码策略对原始视频数据进行编码处理得到目标码流,并将目标码流发送给无线传输设备,以使无线传输设备通过无线信道传输目标码流。
在该技术方案中,可以按照该视频的内容特征以及历史反馈信息动态地设置该视频的编码策略。通过这种方式,可以使得根据动态设置的编码策略对原始视频数据进行编码处理得到的目标码流,能够更好地适应当前无线信道的信道状态,有利于提高目标码流在无线信道中的传输性能。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件;编码方式可以包括画面组结构,视频的画面组结构可以包括第一画面组结构或第二画面组结构,第一画面组结构和第二画面组结构均由视频帧组成,视频帧可以包括第一视频帧,第一画面组结构中第一视频帧的占比可以高于第二画面组结构中第一视频帧的占比,其中,第一画面组结构中第一视频帧的占比为第一画面组结构中第一视频帧的数量与视频帧的数量之间的比值,第二画面组结构中第一视频帧的占比为第二画面组结构中第一视频帧的数量与视频帧的数量之间的比值;按照视频的内容特征以及历史反馈信息设置视频的编码策略的具体实施方式可以为:若无线信道的传输条件满足预设劣化条件,则将视频的画面组结构设置为第一画面组结构。
在该技术方案中,在无线信道的传输条件满足预设劣化条件时,将视频的GOP结构设置为第一GOP结构,可以使得在传输过程中丢失的视频帧中第一视频帧的占比较大,当第一视频帧不被其他视频帧参考时,丢失第一视频帧不会影响其他视频帧的正常解码,所以可以尽量降低丢包对于视频接收设备进行解码的影响,进一步的,可以尽量确保视频接收设备播放视频的流畅度。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件;编码方式可以包括画面组结构,视频的画面组结构可以包括第一画面组结构或第二画面组结构,第一画面组结构和第二画面组结构均由视频帧组成,视频帧可以包括第二视频帧,第一画面组结构中第二视频帧的占比可以高于第二画面组结构中第二视频帧的占比,其中,第一画面组结构中第二视频帧的占比为第一画面组结构中第二视频帧的数量与视频帧的数量之间的比值,第二画面组结构中第二视频帧的占比为第二画面组结构中第二视频帧的数量与视频帧的数量之间的比值;构成第二视频帧的数据量可以大于构成第一视频帧的数据量;按照视频的内容特征以及历史反馈信息设置视频的编码策略的具体实施方式可以为:若无线信道的传输条件不满足预设劣化条件,则将视频的画面组结构设置为第二画面组结构。
在该技术方案中,由于第一GOP结构中第二视频帧的占比高于第二GOP结构中第二视频帧的占比,并且第二视频帧的数据量大于构成第一视频帧的数据量,因此,在第一GOP结构和第二GOP结构的GOP长度相同时,相较于基于第一GOP结构编码得到的目标码流,基于第二GOP结构编码得到的目标码流的码率更低,换言之,相较于在无线信道中传输基于第一GOP结构编码得到的目标码流,在无线信道中传输基于第二GOP结构编码得到的目标码流时,消耗的带宽资源更少。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件,编码参数可以包括量化参数;按照视频的内容特征以及历史反馈信息设置视频的编码策略的具体实施方式可以为:若无线信道的传输条件满足预设劣化条件,则按照用户反馈的内容特征设置视频的量化参数;和/或,若无线信道的传输条件不满足预设劣化条件,则按照视频的内容特征和用户反馈的内容特征设置视频的量化参数;和/或,若视频的内容特征与所述用户反馈的内容特征不同,则按照用户反馈的内容特征设置视频的量化参数。
在该技术方案中,在无线信道的传输条件满足预设劣化条件时,表明无线信道的信道质量较差,即无线信道能够传输的数据量较少,此时,视频处理设备按照用户反馈的内容特征设置视频的量化参数,可以充分利用有限的无线资源传输用户实际较为关注的图像对象的更多细节信息,有利于提高用户观看体验;在无线信道的传输条件不满足预设劣化条件时,表明无线信道的信道质量良好,即无线信道能够传输的数据量较多,此时,视频处理设备按照视频的内容特征和用户反馈的内容特征设置视频的量化参数,可以通过无线信道传输用户可能较为关注的图像对象的更多细节信息,并传输用户实际较为关注的图像对象的更多细节信息,有利于提高用户观看体验;相较于视频的内容特征,用户反馈的内容特征能更加准确地指示用户较为关注的图像对象,因此,当视频的内容特征与用户反馈的内容特征不同时,按照用户反馈的内容特征设置视频的量化参数,可以通过无线信道传输用户实际较为关注的图像对象的更多细节信息,有利于提高用户观看体验。
在一种实现方式中,该方法还可以包括:对原始视频数据进行分析得到视频的目标视频场景,并基于目标视频场景,确定该视频的内容特征。
在该技术方案中,视频的内容特征可以用于指示在目标视频场景下,用户在该视频中可能较为关注的图像对象,使得在编码时可以针对用户可能较为关注的图像对象保留更多的图像细节信息,以便视频接收设备在恢复出视频的原始视频数据之后,输出原始视频数据时可以使得用户可能较为关注的图像对象的视频质量较高,有利于提高用户观看体验。
在一种实现方式中,目标码流可以包括第一视频数据包和第二视频数据包,该方法还可以包括基于视频的内容特征、用户反馈的内容特征和/或视频的编码策略,设置第一视频数据包的重要性,并设置第二视频数据包的重要性。
在该技术方案中,通过为第一视频数据包和第二视频数据包设置重要性,可以充分利用有限的无线信道资源传输重要性较高的视频数据包。
在一种实现方式中,视频的内容特征可以包括第一类别和第二类别,用户反馈的内容特征可以包括第三类别;基于视频的内容特征、用户反馈的内容特征和/或视频的编码策略,设置第一视频数据包的重要性,并设置第二视频数据包的重要性的具体实施方式可以为:获取第一视频数据包对应的视频帧被参考的第一次数,并按照第一次数设置第一视频数据包的重要性;获取第二视频数据包对应的视频帧被参考的第二次数,并按照第二次数设置第二视频数据包的重要性;和/或,若第一视频数据包中的视频数据所属的类别为第一类别,则按照第一类别的重要性设置第一视频数据包的重要性,若第二视频数据包中的视频数据所属的类别为第二类别,则按照第二类别的重要性设置第二视频数据包的重要性;和/或,若第一视频数据包中的视频数据所属的类别与第三类别相同,则按照第三类别的重要性设置第一视频数据包的重要性,若第二视频数据包中的视频数据所属的类别与第三类别不同,则按照第二视频数据包中的视频数据所属的类别设置第二视频数据包的重要性。
在该技术方案中,视频帧被参考的次数越多,该视频帧将影响更多其他视频帧的解码,视频处理设备按照视频数据包对应的视频帧被参考的次数设置视频数据包的重要性,使得设置的重要性可以更好地体现视频数据包对应的视频帧对于视频接收设备的解码成功率的影响;视频的内容特征可以用于指示用户可能较为关注的图像对象的类别,通过按照用户可能较为关注的图像对象的类别的重要性,设置视频数据包的重要性,进而优先传输重要性较高的视频数据包,可以使得视频接收设备恢复得到的视频中包括更多用户较为关注的图像对象,有利于提高用户观看体验;用户反馈的内容特征可以用于指示用户实际较为关注的图像对象的类别,通过按照用户实际较为关注的图像对象的类别的重要性,设置视频数据包的重要性,进而优先传输重要性较高的视频数据包,可以使得视频接收设备恢复得到的视频中包括更多用户实际较为关注的图像对象,有利于提高用户观看体验。
在一种实现方式中,若第一次数高于第二次数,则第一视频数据包的重要性可以高于第二视频数据包的重要性;或者,若第一类别的重要性高于第二类别的重要性,则第一视频数据包的重要性可以高于第二视频数据包的重要性;或者,若第一视频数据包中的视频数据所属的类别与第三类别相同,且第二视频数据包中的视频数据所属的类别与第三类别不同,则第一视频数据包的重要性可以高于第二视频数据包的重要性。
在该技术方案中,若视频数据包对应的视频帧被参考的次数越多,则该视频数据包的重要性越高,通过这种方式,可以优先传输重要性较高的视频数据包,有利于提高视频接收设备的解码成功率;若视频数据包中的视频数据所属的类别的重要性越高,则该视频数据包的重要性越高,通过这种方式,可以优先传输重要性较高的视频数据包,使得视频接收设备恢复得到的视频中包括更多用户较为关注的图像对象,有利于提高用户观看体验;通过优先传输重要性较高的视频数据包,使得视频接收设备恢复得到的视频中包括更多用户实际较为关注的图像对象,有利于提高用户观看体验。
在一种实现方式中,该方法还可以包括:获取历史视频场景,若历史视频场景与目标视频场景不同,则调整编码策略。
在该技术方案中,当前识别出的目标视频场景与历史视频场景不同,表明上一帧图像与当前图像之间的差异较大,若不调整编码策略,而依然采用历史编码策略进行编码时,将导致在参考过程中产生的信息损失较大,使得视频的恢复质量较低。
在一种实现方式中,若历史视频场景与目标视频场景不同,则调整编码策略的具体实施方式可以为:若历史视频场景与目标视频场景不同,则增加视频的画面组结构中第二视频帧的数量。
在该技术方案中,由于第二视频帧的数据量大于构成第一视频帧的数据量,因此相较于第一视频帧,第二视频帧可以记录更多的图像细节信息,在视频场景发生变化时,通过增加视频的GOP结构包括的第二视频帧(如I帧)的数量,可以降低在参考过程中产生的信息损失,有利于提高视频的恢复质量。
在一种实现方式中,该方法还可以包括:接收视频的源码流,对源码流进行解码处理,得到原始视频数据。
在该技术方案中,相较于在无线信道中传输源码流,通过对源码流进行转码处理以得到目标码流,可以使得目标码流能够更好地在无线信道中传输。
第二方面,本申请实施例提供了另一种视频处理方法,可以应用于无线传输设备,该方法包括:接收视频处理设备发送的待传输视频的目标码流,目标码流是视频处理设备基于编码策略对待传输视频的原始视频数据进行编码处理得到的,编码策略是视频处理设备按照待传输视频的内容特征以及历史反馈信息设置的,历史反馈信息包括历史传输结果和/或用户反馈的内容特征,编码策略包括编码方式和/或编码参数;通过无线信道传输目标码流。
在该技术方案中,按照该视频的内容特征以及历史反馈信息动态地设置该视频的编码策略,并通过无线信道传输基于动态设置的编码策略编码得到的目标码流,有利于提高目标码流在无线信道中的传输性能。
在一种实现方式中,该方法还可以包括:获取用户反馈的内容特征,并统计预设时间段内的历史传输结果;将历史传输结果和用户反馈的内容特征发送给视频处理设备。
在该技术方案中,通过将历史传输结果和用户反馈的内容特征发送给视频处理设备,以便视频处理设备基于历史传输结果和用户反馈的内容特征动态设置编码策略,有利于提高基于动态设置的编码策略编码得到的目标码流在无线信道中的传输性能。
在一种实现方式中,目标码流可以包括第一视频数据包和第二视频数据包;通过无线信道传输目标码流的具体实施方式可以为:基于无线信道的传输条件、第一视频数据包的重要性和第二视频数据包的重要性,对目标码流进行筛选得到待传输码流,待传输码流包括第一视频数据包和/或第二视频数据包;并通过无线信道传输待传输码流。
在该技术方案中,相较于传输目标码流中的所有视频数据包,对目标码流进行筛选并主动放弃传输部分视频数据包,可以降低甚至避免在传输过程中丢失重要性较高的视频数据包,进而尽量降低丢包对于恢复出的视频的质量影响。
在一种实现方式中,第一视频数据包的重要性可以高于第二视频数据包的重要性,通过无线信道传输待传输码流的具体实施方式可以为:若无线信道的传输条件满足预设劣化条件,则通过无线信道传输第一视频数据包;和/或,若无线信道的传输条件满足预设劣化条件,则按照重要性的高低顺序依次传输第一视频数据包和第二视频数据包;和/或,将第一视频数据包调制至第一星座位上,并将第二视频数据包调制至第二星座位上,并发射调制后的第一视频数据包及调制后的第二视频数据包,第一星座位的可靠性可以高于第二星座位的可靠性。
在该技术方案中,无线信道的传输条件满足预设劣化条件,表明无线信道的信道质量较差,在无线传输过程中容易产生丢包,第一无线传输设备通过主动丢弃重要性较小的第二视频数据包,可以避免第二视频数据包对第一视频数据包的传输过程造成影响;由于无线信道的传输条件具有时变的特点,第一无线传输设备通过重要性的高低顺序依次传输第一视频数据包和第二视频数据包,可以更好地确保重要性较高的第一视频数据包的可靠传输,避免在无线信道的传输条件变差之后,导致重要性较高的第一视频数据包发生丢包;相较于调制至第二星座位的第二视频数据包在无线信道中传输之后产生的误码率,调制至第一星座位的第一视频数据包在无线信道中传输之后产生的误码率较低,有利于确保重要性较高的第一视频数据包的可靠传输。
第三方面,本申请实施例提供了一种视频处理装置,该装置具有实现第一方面所述的视频处理方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面,本申请实施例提供了另一种视频处理装置,该装置具有实现第二方面所述的视频处理方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面,本申请实施例提供一种视频处理系统,该视频处理系统包括第三方面所述的视频处理装置以及第四方面所述的视频处理装置。
第六方面,本申请实施例提供一种视频处理设备,该视频处理设备包括存储器和处理器,存储器中存储有程序指令,处理器调用存储器中存储的程序指令以实现第一方面所述的视频处理方法。
第七方面,本申请实施例提供一种无线传输设备,该无线传输设备包括存储器和处理器,存储器中存储有程序指令,处理器调用存储器中存储的程序指令以实现第二方面所述的视频处理方法。
第八方面,本申请实施例提供一种计算机可读存储介质,用于储存为第三方面所述的视频处理装置所用的计算机程序指令,其包含用于执行上述第一方面所涉及的程序。
第九方面,本申请实施例提供一种计算机可读存储介质,用于储存为第四方面所述的视频处理装置所用的计算机程序指令,其包含用于执行上述第二方面所涉及的程序。
第十方面,本申请实施例提供一种计算机程序产品,该程序产品包括程序,所述程序被执行时实现上述第一方面所述的方法。
第十一方面,本申请实施例提供一种计算机程序产品,该程序产品包括程序,所述程序被执行时实现上述第二方面所述的方法。
第十二方面,本申请实施例还提供一种处理器,该处理器包括至少一个电路,用于按照视频的内容特征以及历史反馈信息设置视频的编码策略,该处理器还包括至少一个电路,用于基于编码策略对原始视频数据进行编码处理得到目标码流。上述处理器可以为芯片,可以执行用于实现前述第一方面所涉及的方法的指令或程序。
第十三方面,本申请实施例还提供一种处理器,该处理器包括至少一个电路,用于接收视频处理设备发送的待传输视频的目标码流,该处理器还包括至少一个电路,用于通过无线信道传输目标码流。上述处理器可以为芯片,可以执行用于实现前述第二方面所涉及的方法的指令或程序。
第十四方面,本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,例如,应用于视频处理设备中,用于实现上述第一方面中所涉及的功能或方法。在一种可行的实现方式中,所述芯片系统还包括存储器,所述存储器,用于保存实现上述第一方面所述方法的功能必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
第十五方面,本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,例如,应用于无线传输设备中,用于实现上述第二方面中所涉及的功能或方法。在一种可行的实现方式中,所述芯片系统还包括存储器,所述存储器,用于保存实现上述第二方面所述方法的功能必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
附图说明
图1是本申请实施例公开的一种无线视频传输系统的架构示意图;
图2是本申请实施例公开的一种视频处理方法的流程示意图;
图3是本申请实施例公开的另一种视频处理方法的流程示意图;
图3a是本申请实施例公开的一种第一GOP结构的结构示意图;
图3b是本申请实施例公开的一种第二GOP结构的结构示意图;
图3c是本申请实施例公开的另一种第一GOP结构的结构示意图;
图3d是本申请实施例公开的另一种第二GOP结构的结构示意图;
图3e是本申请实施例公开的一种在图3b所示的第二GOP结构中插入I帧之后得到的新的第二GOP结构的结构示意图;
图4是本申请实施例公开的又一种视频处理方法的流程示意图;
图5是本申请实施例公开的又一种视频处理方法的流程示意图;
图6是本申请实施例公开的一种视频处理装置的结构示意图;
图7是本申请实施例公开的另一种视频处理装置的结构示意图;
图8是本申请实施例公开的一种视频处理设备的结构示意图;
图9是本申请实施例公开的一种无线传输设备的结构示意图。
具体实施方式
为了解决现有技术中视频码流在无线信道中的传输性能较低的问题,本申请实施例基于图1所示的无线视频传输系统提出了一种解决方案,用以提升视频码流在无线信道中的传输性能。
请参见图1,图1是本申请实施例公开的一种无线视频传输系统的架构示意图。如图1所示,该系统包括:视频处理设备101、第一无线传输设备102、第二无线传输设备103和视频接收设备104。其中,视频处理设备101与第一无线传输设备102、第二无线传输设备103与视频接收设备104之间均通过有线方式连接,第一无线传输设备102与第二无线传输设备103之间通过无线方式连接。视频处理设备101可以用于按照视频的内容特征以及历史反馈信息动态地设置视频的编码策略,并基于设置的编码策略对视频的原始视频数据进行编码处理,使得编码后得到的目标码流适于在无线信道中传输。在一种实现方式中,视频处理设备101中可以集成有视频存储模块(图未示),该视频存储模块可以用于存储用户需要的视频的原始视频数据,当用户需要观看视频时,视频处理设备101可以从视频存储模块中获取用户需要的视频的原始视频数据,并基于动态设置的编码策略对获取的原始视频数据进行编码得到目标码流,然后将目标码流发送给第一无线传输设备102;第一无线传输设备102接收到目标码流之后,可以通过无线信道将目标码流传输至第二无线传输设备103;第二无线传输设备103可以将目标码流转发给视频接收设备104,以便视频接收设备104对目标码流进行解码处理以恢复原始视频数据,并输出解码得到的原始视频数据,以供用户观看。
由于视频处理设备101可以按照视频的内容特征以及历史反馈信息动态地设置视频的编码策略,相较于现有技术仅采用固定的编码策略,视频处理设备101基于动态设置的编码策略编码得到的目标码流能够更好地适应无线信道的信道状态,有利于提高目标码流在无线信道中的传输性能。
在一种实现方式中,视频处理设备可以为编码设备,以基于编码策略对视频的原始视频数据进行编码处理,或者,视频处理设备还可以为转码设备。具体的,若视频处理设备101中未集成视频存储模块,当用户需要观看视频时,视频处理设备101可以接收视频发送设备(图未示)发送的用户需要的视频的源码流,并对该源码流进行转码处理,并将转码处理后得到的目标码流发送给第一无线传输设备102。在一种实现方式中,视频处理设备101对该源码流进行转码处理得到的目标码流的具体实施方式可以为:视频处理设备101对该源码流进行解码处理,得到视频的原始视频数据,并基于设置的编码策略对该原始视频数据进行编码处理得到目标码流。其中,视频发送设备可以为视频服务器。
需要说明的是,图1所示视频处理设备101、第一无线传输设备102、第二无线传输设备103和视频接收设备104分别作为单独的物理实体存在仅用于举例,并不构成对本申请实施例的限定。在其他可行的实现方式中,视频处理设备101与第一无线传输设备102可以集成于同一个物理实体;第二无线传输设备103与视频接收设备104可以集成于同一个物理实体。
可以理解的是,本申请实施例描述的无线视频传输系统是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
下面将对本申请实施例涉及的词语进行介绍:
视频的内容特征,用于指示在目标视频场景下,用户在该视频中可能较为关注的图像对象,或者,可以用于指示在目标视频场景下,用户在该视频中可能较为关注的图像对象的类别。图像对象可以包括但不限于人物、人脸、人的身体、动物、车辆、桌椅、植物、建筑、路面或者其他物体,图像对象的类别可以包括但不限于运动类或者静止类,运动类的图像对象可以包括但不限于人物、人脸、人的身体、动物、车辆或者其他运动物体,静止类的图像对象可以包括但不限于桌椅、植物、建筑、路面或者其他静止物体。
用户反馈的内容特征,用于指示用户在该视频中实际较为关注的图像对象,或者,可以用于指示用户在该视频中实际较为关注的图像对象的类别。
历史传输结果,可以包括无线信道的传输条件,无线信道的传输条件可以用于评估无线信道的信道质量,若无线信道的传输条件满足预设劣化条件,则表明无线信道的信道质量较差,若无线信道的传输条件不满足预设劣化条件,则表明无线信道的信道质量较好。
编码策略,用于将视频数据编码为目标码流,根据不同的编码策略编码得到的目标码流不同。目标码流,是指在单位时间内传输的编码后的视频数据。编码策略可以包括编码方式和/或编码参数。
编码方式,可以包括画面组(Group of Pictures,GOP)结构,一个GOP指的是一组连续的画面,GOP结构包括多种类型的视频帧,如GOP结构可以包括I帧(I frame)和/或P帧(P frame),或者,GOP结构可以包括I帧、P帧和B帧(B frame)。其中,I帧可以不参考其他视频帧,只利用本帧的信息进行编码,并且,I帧也无需参考其他图像便可独立进行解码;P帧用于记录与相邻的前一帧的差别,P帧需要参考前一帧才能进行编码,并且,P帧需要用之前缓存的画面叠加上本帧定义的差别,才能成功解码得到画面,其中,P帧参考的前一帧可以是I帧或者P帧;B帧用于记录与相邻的前一帧及后一帧的差别,B帧需要参考相邻的前一帧和后一帧才能进行编码,并且,B帧需要前一帧解码得到的画面以及后一帧解码的画面,并叠加上本帧定义的差别才能成功解码得到画面。在本申请实施例中,不同类型的视频帧对于视频接收设备能否对目标码流进行成功解码具有不同的重要程度,例如,若在传输过程中丢失了I帧,将导致该I帧所在的GOP中的所有视频帧无法解码,所以I帧对于视频接收设备能否对目标码流进行成功解码具有非常重要的影响。又如,若在传输过程了丢失了某个B帧或P帧,且丢失的B帧或P帧不被其他的视频帧参考,则丢失该B帧或P帧不会影响其他视频帧的正常解码,所以,若某视频帧不被其他视频帧参考,则该视频帧对于视频接收设备能否对目标码流进行成功解码具有较小的影响。
视频的GOP结构可以包括但不限于第一GOP结构和第二GOP结构,在一种实现方式中,第一GOP结构和第二GOP结构均可以包括第一视频帧。第一视频帧可以指在GOP中不被其他视频帧参考的视频帧,例如,第一视频帧可以为P帧或者B帧。在一种实现方式中,第一GOP结构的GOP长度与第二GOP结构的GOP长度可以相同,也可以不同,并且,第一GOP结构中第一视频帧的数量与第二GOP结构中第一视频帧的数量可以相同,也可以不同。其中,GOP长度可以指一个GOP包括的视频帧的数量。在一种实现方式中,第一GOP结构中第一视频帧的占比可以高于第二GOP结构中第一视频帧的占比,其中,第一GOP结构中第一视频帧的占比为第一GOP结构中第一视频帧的数量与第一GOP结构中视频帧的数量之间的比值,第二GOP结构中第一视频帧的占比为第二GOP结构中第一视频帧的数量与第二GOP结构中视频帧的数量之间的比值。
在一种实现方式中,第一GOP结构和第二GOP结构均可以包括第二视频帧。在GOP中,构成第二视频帧的数据量可以大于构成其他视频帧的数据量,如构成第二视频帧的数据量可以大于构成第一视频帧的数据量,在一种实现方式中,第二视频帧可以为I帧。在一种实现方式中,第一GOP结构中第二视频帧的占比可以高于第二GOP结构中第二视频帧的占比,其中,第一GOP结构中第二视频帧的占比为第一GOP结构中第二视频帧的数量与第一GOP结构中视频帧的数量之间的比值,第二GOP结构中第二视频帧的占比为第二GOP结构中第二视频帧的数量与第二GOP结构中视频帧的数量之间的比值。
编码参数,可以包括GOP参数和/或量化参数。GOP参数可以包括但不限于GOP长度、第一视频帧的数量、第二视频帧的数量和其他视频帧(即除第一视频帧和第二视频帧以外的视频帧)的数量。
量化参数可以用于反映视频帧的空间细节压缩情况,量化参数越小,保留的图像细节信息越多,量化参数越大,保留的图像细节信息越少。量化参数可以影响解码得到的视频的质量。降低量化参数,可以使得解码得到的视频的质量较高,但是同时视频码率也会提高。
基于图1所示的无线视频传输系统的架构示意图,请参见图2,图2是本申请实施例提供的一种视频处理方法的流程示意图,该方法可以应用于无线视频传输系统,该方法可以包括但不限于如下步骤:
步骤S201:视频处理设备获取待传输视频的原始视频数据。具体的,待传输视频的原始视频数据可以存储于视频处理设备,即视频处理设备可以从本地获取待传输视频的原始视频数据。在一种实现方式中,待传输视频的原始视频数据可以存储于视频发送设备,当用户需要观看视频时,视频发送设备可以从本地获取待传输视频的原始视频数据,并对该原始视频数据进行编码处理,得到待传输视频的源码流,并将该源码流发送给视频处理设备。视频处理设备接收到视频发送设备发送的源码流之后,可以对该源码流进行解码处理,以恢复出视频的原始视频数据,进而基于编码策略对原始视频数据进行重新编码以得到目标码流。相较于在无线信道中传输源码流,通过对源码流进行转码处理以得到目标码流,可以使得目标码流能够更好地在无线信道中传输。
步骤S202:视频处理设备按照该视频的内容特征以及历史反馈信息设置该视频的编码策略,历史反馈信息包括历史传输结果和/或用户反馈的内容特征,编码策略包括编码方式和/或编码参数。视频处理设备获取到原始视频数据之后,需要对该原始视频数据进行编码处理得到适于在无线信道中传输的目标码流,由于无线信道具有传输带宽有限和信道状态时变的特点,因此若在任何情况下均采用固定不变的编码策略对原始视频数据进行编码处理,将使得编码得到的目标码流不能很好地适应无线信道,导致目标码流在无线信道中的传输性能较低。为解决该问题,视频处理设备在对视频的原始视频数据进行编码处理之前,可以按照该视频的内容特征以及历史反馈信息动态地设置该视频的编码策略。通过这种方式,可以使得根据动态设置的编码策略对原始视频数据进行编码处理得到的目标码流,能够更好地适应当前无线信道的信道状态,有利于提高目标码流在无线信道中的传输性能。
其中,历史反馈信息可以是由第一无线传输设备直接发送给视频处理设备的,也可以是视频处理设备对第一无线传输设备发送的历史信息进行处理得到的,本申请实施例对此不作限定。
在一种实现方式中,该视频的内容特征可以是视频处理设备对该视频的原始视频数据进行分析得到的,具体的,视频处理设备可以对该视频的原始视频数据进行分析得到该视频的目标视频场景,并基于目标视频场景,确定该视频的内容特征。在不同的视频场景下,用户关注的图像对象通常不同,在一种实现方式中,视频处理设备可以预先存储视频场景与内容特征之间的对应关系,以便识别出目标视频场景之后,可以通过该对应关系确定目标视频场景对应的内容特征,进而针对内容特征指示的用户可能较为关注的图像对象设置较小的量化参数,即在编码时针对用户可能较为关注的图像对象保留更多的图像细节信息,以便视频接收设备在恢复出视频的原始视频数据之后,输出原始视频数据时可以使得用户可能较为关注的图像对象的视频质量较高,有利于提高用户观看体验。例如,在视频监控场景中,若监控视频中的图像对象包括人物、车辆、植物、建筑和路面,则用户可能较为关注人物和车辆等运动物体,而不太关注植物、建筑或路面等静止物体。又如,在视频授课场景中,若授课视频中的图像对象包括教师、桌椅和讲义,则用户可能较为关注授课的内容,即相较教师和桌椅,用户可能更为关注讲义。又如,在户外直播场景中,若直播视频中的图像对象包括人脸、人的身体和背景,则用户可能较为关注人脸和人的身体,而不太关注背景。
在一种实现方式中,该视频的内容特征可以包括一个或多个图像对象,或者,一个或多个类别。当该视频的内容特征包括多个图像对象或者类别时,该视频的内容特征还可以包括每个图像对象或者类别对应的关注度,不同图像对象或者类别对应的关注度可以相同,也可以不同,本申请实施例对此不作限定。例如,若目标视频场景为视频监控场景,监控视频中的图像对象包括人物、车辆、植物、建筑和路面,且监控视频的内容特征包括人物、车辆、植物和建筑,则人物的关注度可以高于车辆、植物和建筑的关注度,车辆的关注度可以高于植物和建筑的关注度,植物的关注度和建筑的关注度可以相同。在一种实现方式中,视频处理设备可以针对关注度较高的图像对象设置较小的量化参数,并针对关注度较低的图像对象设置较大的量化参数。
在一种实现方式中,视频处理设备可以接收第一无线传输设备发送的历史反馈信息。在一种实现方式中,历史反馈信息可以包括用户反馈的内容特征,前述视频的内容特征是视频处理设备对该视频的原始视频数据进行分析预测得到的,因此,预测得到的内容特征可能并不能准确指示用户实际关注的图像对象或者类别,通过将用户反馈的内容特征反馈给视频处理设备,可以使得视频处理设备可以获取用户实际较为关注的图像对象或者类别。当视频处理设备获取到用户实际较为关注的图像对象或者类别时,可以根据用户实际较为关注的图像对象或者类别,设置量化参数。例如,针对用户实际较为关注的图像对象设置较小的量化参数。在一种实现方式中,用户反馈的内容特征可以是由视频接收设备根据用户操作确定的。在一种实现方式中,用户反馈的内容特征可以是由视频接收设备发送给第一无线传输设备,并由第一无线传输设备反馈给视频处理设备的,或者,用户反馈的内容特征可以是由视频接收设备发送给第二无线传输设备,并由第二无线传输设备发送给第一无线传输设备,然后由第一无线传输设备反馈给视频处理设备的。在本申请实施例中,第一无线传输设备和第二无线传输设备均可以同时具备无线接收功能和无线发送功能。在一种实现方式中,历史反馈信息可以包括历史传输结果,历史传输结果可以包括无线信道的传输条件。在一种实现方式中,第一无线传输设备可以根据丢包率、传输时延或平均数据传输速率确定无线信道的传输条件,或者,第一无线传输设备可以根据丢包率、传输时延和平均数据传输速率综合确定无线信道的传输条件。例如,若丢包率大于预设丢包率阈值,则第一无线传输设备可以确定无线信道的传输条件满足预设劣化条件;若丢包率小于或等于预设丢包率阈值,则第一无线传输设备可以确定无线信道的传输条件不满足预设劣化条件。在一种实现方式中,预设丢包率阈值可以是视频处理设备默认设置的,也可以是视频处理设备根据用户的输入操作确定的,本申请实施例对此不作限定。在一种实现方式中,丢包率和/或传输时延可以是由第二无线传输设备统计得到并反馈给第一无线传输设备的,平均数据传输速率可以是由第一无线传输设备统计得到的。
在一种实现方式中,不同的GOP结构中各种类型的视频帧之间的参考关系可以不同,采用不同的GOP结构对原始视频数据进行编码,可以使得编码得到的目标码流的码率不同,或者,可以使得视频接收设备对目标码流进行解码处理后恢复得到的视频的质量不同。码率是指视频数据传输时单位时间传送的数据位数。
在一种实现方式中,视频处理设备按照视频的内容特征以及历史反馈信息动态地设置该视频的编码策略的具体实施方式可以为:视频处理设备按照视频的内容特征以及历史传输结果动态地设置该视频的编码方式和/或编码参数,例如,根据视频的内容特征设置量化参数,并且,若历史传输结果为无线信道的传输条件,且无线信道的传输条件满足预设劣化条件时,则将视频的GOP结构设置为GOP结构1;若无线信道的传输条件不满足预设劣化条件,则将视频的GOP结构设置为GOP结构2,其中,根据GOP结构1编码得到的目标码流1的码率低于根据GOP结构2编码得到的目标码流2的码率。在一种实现方式中,视频处理设备可以按照视频的内容特征以及用户反馈的内容特征动态地设置该视频的编码参数。
在一种实现方式中,视频处理设备按照视频的内容特征以及历史反馈信息动态地设置该视频的编码策略的具体实施方式可以为:视频处理设备获取历史编码策略,历史编码策略包括历史编码方式和历史编码参数,并获取设置历史编码策略时参考的内容特征以及历史反馈信息,判断视频的内容特征与设置历史编码策略时参考的内容特征是否相同,并判断历史反馈信息与设置历史编码策略时参考的历史反馈信息是否相同,若均相同,则视频处理设备可以将该视频的编码方式设置为历史编码方式,并将将该视频的编码参数设置为历史编码参数;若视频的内容特征与设置历史编码策略时参考的内容特征不同,和/或,历史反馈信息与设置历史编码策略时参考的历史反馈信息不同,则视频处理设备可以按照视频的内容特征以及历史反馈信息重新设置该视频的编码方式和编码参数。
步骤S203:视频处理设备基于编码策略对原始视频数据进行编码处理得到目标码流。具体的,视频处理设备可以基于动态设置的编码策略对原始视频数据进行编码处理,得到目标码流,并将目标码流发送给第一无线传输设备,以便第一无线传输设备通过无线信道传输目标码流,由于目标码流是基于视频的内容特征以及历史反馈信息动态设置的编码策略编码得到的,因此,目标码流一方面可以更好地适应当前无线信道的信道状态,另一方面,目标码流中可以保留更多用户较为关注的图像对象的细节信息,有利于提高视频恢复质量。
步骤S204:视频处理设备将目标码流发送给第一无线传输设备。具体的,视频处理设备得到目标码流之后,可以将目标码流发送给第一无线传输设备,以便第一无线传输设备可以将目标码流转换为无线信号形式,以在无线信道中传输。
在一种实现方式中,若视频处理设备获取的原始视频数据是对来自视频发送设备的源码流进行解码处理得到的,且该源码流是视频发送设备基于原始编码策略编码得到的,则视频处理设备在将目标码流发送给第一无线传输设备时,还可以将原始编码策略一并发送给第一无线传输设备,以便第一无线传输设备将原始编码信息转发给视频接收设备,使得视频接收设备可以基于原始编码信息恢复得到视频的源码流。
步骤S205:第一无线传输设备通过无线信道传输目标码流。其中,目标码流以基于动态设置的编码策略编码得到的,编码策略是按照该视频的内容特征以及历史反馈信息动态地设置的,通过无线信道传输该目标码流,有利于提高目标码流在无线信道中的传输性能。具体的,当视频接收设备中集成有无线接收模块时,第一无线传输设备可以通过无线信道将目标码流直接传输至视频接收设备,使得视频接收设备对目标码流进行解码得到视频的原始视频数据,并输出原始视频数据以供用户观看。其中,视频接收设备中的无线接收模块用于接收第一无线传输设备通过无线信道传输的目标码流。在一种实现方式中,当视频接收设备中未集成无线接收模块时,第一无线传输设备可以通过无线信道将目标码流传输至第二无线传输设备,以便第二无线传输设备将接收到的目标码流转发给视频接收设备。
在一种实现方式中,若目标码流是视频处理设备对来自视频发送设备的源码流进行转码处理得到的,则第一无线传输设备可以通过无线信道将目标码流直接传输至视频接收设备,以便视频接收设备对目标码流进行转码处理得到视频的源码流,并将该源码流发送给视频应用设备。具体的,视频接收设备对目标码流进行转码处理得到视频的源码流的具体实施方式可以为:视频接收设备对目标码流进行解码处理,得到原始视频数据,并基于原始编码策略对该原始视频数据进行编码处理,得到视频的源码流,以便将目标码流恢复为在视频处理设备中进行转码之前所具有的原始编码格式。通过这种方式,可以避免视频应用设备与视频处理设备所支持的编码策略不同时,视频应用设备在接收到目标码流之后,无法对其进行解码的问题。视频接收设备通过将目标码流转码为原始编码格式的源码流,并将源码流发送给视频应用设备,可以解除对于视频应用设备的解码能力的要求,并且转码的过程对于视频发送设备和视频应用设备保持透明,即可以兼容任意的视频发送设备和视频应用设备。在一种实现方式中,原始编码策略还可以是由视频应用设备发送给视频接收设备的,通过这种方式,可以将目标码流转码为视频应用设备支持的编码格式,进而确保视频应用设备可以成功对视频接收设备发送的源码流进行解码。
在一种实现方式中,第一无线传输设备可以获取用户反馈的内容特征,统计预设时间段内的历史传输结果,并将历史传输结果和用户反馈的内容特征发送给视频处理设备。其中,预设时间段内的历史传输结果可以包括预设时间段内的丢包数、预设时间段内的平均传输时延和/或预设时间段内的平均数据传输速率。用户反馈的内容特征可以是由视频接收设备直接发送给第一无线传输设备,或者,可以是由视频接收设备发送给第二无线传输设备,并由第二无线传输设备转发给第一无线传输设备的,本申请实施例对此不作限定。第一无线传输设备通过将历史传输结果和用户反馈的内容特征发送给视频处理设备,以便视频处理设备基于历史传输结果和用户反馈的内容特征动态设置编码策略,有利于提高基于动态设置的编码策略编码得到的目标码流在无线信道中的传输性能。
可见,通过实施本申请实施例,可以按照视频的内容特征以及历史反馈信息动态地设置该视频的编码策略,通过这种方式,可以使得根据动态设置的编码策略对原始视频数据进行编码处理得到的目标码流,能够更好地适应当前无线信道的信道状态,有利于提高目标码流在无线信道中的传输性能。
请参见图3,图3是本申请实施例提供的另一种视频处理方法的流程示意图,该方法可以应用于无线视频传输系统,该方法详细阐述了如何设置视频的GOP结构,该方法可以包括但不限于如下步骤:
步骤S301:视频处理设备获取待传输视频的原始视频数据。需要说明的是,步骤S301的执行过程可参见图2中步骤S201的具体描述,在此不赘述。
在一种实现方式中,当第一GOP结构的GOP长度和第二GOP结构的GOP长度均为4时,即第一GOP结构和第二GOP结构均包括4个视频帧时,第一GOP结构的结构示意图可以如图3a所示,第二GOP结构的结构示例图可以如图3b所示。图3a和图3b中,I代表I帧;X代表被其他视频帧参考的视频帧,X可以为I帧或者P帧;Y代表不被其他视频帧参考的视频帧(即第一视频帧),Y帧可以为P帧或者B帧;罗马数字代表视频帧的编号,用于区分不同视频帧;箭头方向代表两个视频帧之间的参考关系,例如,在图3a中,I0与Y1之间的箭头表示Y1参考I0。由图3a和图3b可知,第一GOP结构中第一视频帧的数量为2个,而第二GOP结构中第一视频帧的数量为1个,即第一GOP结构中第一视频帧的占比高于第二GOP结构中第一视频帧的占比。需要说明的是,图3a所示第一GOP结构的结构示意图,以及图3b所示第二GOP结构的结构示意图仅用于举例,并不构成对本申请实施例的限定,在其他可行的实现方式中,第一GOP结构以及第二GOP结构还可以为其他结构。
步骤S302:若无线信道的传输条件满足预设劣化条件,则视频处理设备将视频的GOP结构设置为第一GOP结构。具体的,在无线信道的传输条件满足预设劣化条件时,表明无线信道的信道质量较差,在传输过程中容易产生丢包,由于第一GOP结构中第一视频帧的占比高于第二GOP结构中第一视频帧的占比,因此相较于将视频的GOP结构设置为第二GOP结构,视频处理设备将视频的GOP结构设置为第一GOP结构,可以使得在传输过程中丢失的视频帧中第一视频帧的占比较大,并且因为第一视频帧不被其他视频帧参考,因此丢失第一视频帧不会影响其他视频帧的正常解码,所以可以尽量降低丢包对于视频接收设备进行解码的影响,进一步的,可以尽量确保视频接收设备播放视频的流畅度。
例如,若在无线信道中传输基于图3a所示的第一GOP结构编码得到的目标码流时,丢失了2个视频帧,且该2个视频帧均为Y帧(即第一视频帧),由于丢失第一视频帧不会影响其他视频帧的正常解码,因此,即使在传输过程中丢失了第一视频帧,视频接收设备仍能成功解码接收到的视频帧,并流畅地播放解码得到的视频。但是,若在无线信道中传输基于图3b所示的第二GOP结构编码得到的目标码流时,丢失了2个视频帧,则该2个视频帧中至少存在1个非第一视频帧,其中,非第一视频帧可以为第二GOP结构中的I帧或者X帧,由于I帧和X帧均会被其他视频帧参考,因此,丢失I帧或X帧会导致在视频接收设备进行解码时无法对参考了丢失的I帧或X帧的视频帧进行解码,即使得视频接收设备的解码成功率较低,进而导致视频接收设备在播放视频时产生卡顿等现象。
在一种实现方式中,属于相同GOP结构的不同GOP中的视频帧的类型可以完全相同,也可以不完全相同。例如,当第一GOP结构的GOP长度和第二GOP结构的GOP长度均为4时,即1个第一GOP结构和1个第二GOP结构均包括4个视频帧时,第一GOP结构的结构示意图可以如图3c所示,第二GOP结构的结构示例图可以如图3d所示。图3c和图3d中,GOP1代表相邻两个GOP中的第一个GOP,GOP2代表相邻两个GOP中的第二个GOP,在图3c中,第一个GOP与第二个GOP均属于第一GOP结构,但是两者包括的视频帧的类型不完全相同,其中,第一个GOP中包括I帧,但是第二个GOP中不包括I帧;在图3d中,第一个GOP与第二个GOP均属于第二GOP结构,且两者包括的视频帧的类型完全相同;I代表第二视频帧;X代表被其他视频帧参考的视频帧,X可以为I帧或者P帧;Y代表第一视频帧,Y帧可以为P帧或者B帧;罗马数字代表视频帧的编号,用于区分不同视频帧;箭头方向代表两个视频帧之间的参考关系。由图3c和图3d可知,在第一GOP结构中,第二个GOP中的视频帧(即X4)可以参考第一个GOP中的第二视频帧(即I0),即第二个GOP中第二视频帧的数量为0个,而在第二GOP结构中,第二个GOP中的视频帧不会参考第一个GOP中的视频帧,第二个GOP中第二视频帧的数量和第二个GOP中第二视频帧的数量均为1个,即第一GOP结构中第二视频帧的占比高于第二GOP结构中第二视频帧的占比。需要说明的是,图3c所示第一GOP结构的结构示意图,以及图3d所示第二GOP结构的结构示意图仅用于举例,并不构成对本申请实施例的限定,在其他可行的实现方式中,第一GOP结构以及第二GOP结构还可以为其他结构。
在一种实现方式中,若无线信道的传输条件不满足预设劣化条件,则视频处理设备可以将视频的GOP结构设置为第二GOP结构。在无线信道的传输条件不满足预设劣化条件时,表明无线信道的信道质量良好,在传输过程中不易产生丢包,由于第一GOP结构中第二视频帧的占比高于第二GOP结构中第二视频帧的占比,并且第二视频帧的数据量大于构成第一视频帧的数据量,因此,在第一GOP结构和第二GOP结构的GOP长度相同时,相较于基于第一GOP结构编码得到的目标码流,基于第二GOP结构编码得到的目标码流的码率更低,换言之,相较于在无线信道中传输基于第一GOP结构编码得到的目标码流,在无线信道中传输基于第二GOP结构编码得到的目标码流时,消耗的带宽资源更少。
在一种实现方式中,视频处理设备可以为第一GOP结构设置默认GOP参数,并为第二GOP结构设置默认GOP参数。在一种实现方式中,视频处理设备将视频的GOP结构设置为第一GOP结构之后,可以获取第一GOP结构对应的默认GOP参数,并按照第一GOP结构以及第一GOP结构对应的默认GOP参数对原始视频数据进行编码处理得到目标码流。在一种实现方式中,视频处理设备将视频的GOP结构设置为第二GOP结构之后,可以获取第二GOP结构对应的默认GOP参数,并按照第二GOP结构以及第二GOP结构对应的默认GOP参数对原始视频数据进行编码处理得到目标码流。例如,第一GOP结构对应的默认GOP参数可以如表1所示,第二GOP结构对应的默认GOP参数可以如表2所示。
表1第一GOP结构对应的默认GOP参数
GOP长度(帧) | 第一视频帧的数量(帧) | 第二视频帧的数量(帧) | 其他视频帧的数量(帧) |
4 | 2 | 1 | 1 |
表2第二GOP结构对应的默认GOP参数
GOP长度(帧) | 第一视频帧的数量(帧) | 第二视频帧的数量(帧) | 其他视频帧的数量(帧) |
4 | 1 | 1 | 2 |
在一种实现方式中,视频处理设备将视频的GOP结构设置为第一GOP结构(或者第二GOP结构)之前,可以对原始视频数据进行分析得到视频的目标视频场景,存储该目标视频场景,并基于目标视频场景,确定视频的内容特征。在一种实现方式中,视频处理设备对该视频的不同原始视频数据进行分析可以得到不同的目标视频场景,其中,原始视频数据可以为一个图像。视频处理设备可以存储对上一帧图像进行识别得到的目标视频场景,并将对上一帧图像进行识别得到的目标视频场景确定为历史视频场景,当视频处理设备对当前图像进行识别得到目标视频场景之后,可以获取预存的历史视频场景,并判断当前识别出的目标视频场景与历史视频场景是否相同,若相同,则表明视频的视频场景并未发生变化,即上一帧图像与当前图像之间的差异较小;若不同,则表明视频的视频场景发生了变化,即上一帧图像与当前图像之间的差异较大。
在一种实现方式中,若当前识别出的目标视频场景与历史视频场景相同,则视频处理设备可以将视频的编码策略确定为历史编码策略。在一种实现方式中,若当前识别出的目标视频场景与历史视频场景不同,则视频处理设备可以调整编码策略。当前识别出的目标视频场景与历史视频场景不同,表明上一帧图像与当前图像之间的差异较大,若不调整编码策略,而依然采用历史编码策略进行编码时,将导致在参考过程中产生的信息损失较大,使得视频的恢复质量较低。具体的,视频处理设备调整编码策略的具体实施方式可以为:增加视频的GOP结构包括的第二视频帧的数量,其中,第二视频帧可以为I帧。由于在编码时通过参考其他原始图像将本帧原始图像压缩为视频帧(如P帧或B帧)进行传输时,在参考过程中会产生信息损失,因此,在视频接收设备中将视频帧恢复为图像时,将使得恢复得到的图像与原始图像之间存在误差。若参考的原始图像与本帧原始图像之间的差异较小,将使得参考过程中产生的信息损失较小,同理,若参考的原始图像与本帧原始图像之间的差异较大,将使得参考过程中产生的信息损失较大。由于第二视频帧的数据量大于构成第一视频帧的数据量,因此相较于第一视频帧,第二视频帧可以记录更多的图像细节信息,在视频场景发生变化时,通过增加视频的GOP结构包括的第二视频帧(如I帧)的数量,可以降低在参考过程中产生的信息损失,有利于提高视频的恢复质量。
在一种实现方式中,视频处理设备在检测到视频场景发生时,可以在设置的GOP结构中插入一个I帧,I帧的插入位置可以为当前视频帧的下一帧之前。以图3b为例,若历史视频场景是对X1帧对应的原始图像进行分析识别得到的,当前目标视频场景是对X2帧对应的原始图像进行分析识别得到的,且目标视频场景与历史视频场景不同,则表明X1帧对应的原始图像与X2帧对应的原始图像之间的差异较大。此时,视频处理设备无法准确、完整地将X1帧对应的原始图像与X2帧对应的原始图像之间的差异记录到X2帧中,这将使得视频接收设备对X2帧进行解码得到的图像与X2帧对应的原始图像之间的差异较大,即丢失了X2帧对应的原始图像的大部分图像信息,这将导致视频接收设备恢复得到的视频的质量较低。为避免上述问题,视频处理设备可以在当前视频帧(即X1帧)的下一帧之前插入一个I帧,在图3b所示的第二GOP结构中插入I帧之后得到的新的第二GOP结构的结构示意图可以如图3e所示,图3e中,虚线部分是新插入的I帧(即I2)。在一种实现方式中,视频处理设备除了在第二GOP结构的插入I帧以外,还可以修改第二GOP结构中的视频帧中的类型,以图3b为例,视频处理设备可以将第二GOP结构中的X2帧替换为I2帧,采用这种方式不用改变第二GOP结构的GOP长度。
步骤S303:视频处理设备基于第一GOP结构对原始视频数据进行编码处理得到目标码流。具体的,在无线信道的传输条件满足预设劣化条件时,视频处理设备基于第一GOP结构对原始视频数据进行编码处理得到目标码流,可以尽量降低丢包对于视频接收设备进行解码的影响,进一步的,可以尽量确保视频接收设备播放视频的流畅度。
在一种实现方式中,在无线信道的传输条件不满足预设劣化条件时,视频处理设备可以基于第二GOP结构对原始视频数据进行编码处理得到目标码流,相较于在无线信道中传输基于第一GOP结构编码得到的目标码流,在无线信道中传输基于第二GOP结构编码得到的目标码流时,消耗的带宽资源更少。
在一种实现方式中,在无线信道的传输条件不满足预设劣化条件时,视频处理设备在基于第二GOP结构对原始视频数据进行编码处理的过程中,可以保留更多用户较为关注的图像对象的细节信息。通过这种方式,相较于在无线信道中传输基于第一GOP结构编码得到的目标码流,可以在保持目标码流的码率不变的情况下,使得视频接收设备解码得到的视频中用户较为关注的图像对象的视频质量更高,有利于提高用户观看体验。
步骤S304:视频处理设备将目标码流发送给第一无线传输设备。
步骤S305:第一无线传输设备通过无线信道传输目标码流。
需要说明的是,步骤S304~S305的执行过程可分别参见图2中步骤S204~S205的具体描述,在此不赘述。
可见,通过实施在本申请实施例,在无线信道的传输条件满足预设劣化条件时,将视频的GOP结构设置为第一GOP结构,可以使得在传输过程中丢失的视频帧中第一视频帧的占比较大,当第一视频帧不被其他视频帧参考时,丢失第一视频帧不会影响其他视频帧的正常解码,所以可以尽量降低丢包对于视频接收设备进行解码的影响,进一步的,可以尽量确保视频接收设备播放视频的流畅度。
请参见图4,图4是本申请实施例提供的又一种视频处理方法的流程示意图,该方法可以应用于无线视频传输系统,该方法详细阐述了如何设置视频的量化参数,该方法可以包括但不限于如下步骤:
步骤S401:视频处理设备获取待传输视频的原始视频数据。需要说明的是,步骤S401的执行过程可参见图2中步骤S201的具体描述,在此不赘述。
为了提高视频的恢复质量,可以为视频设置较小的量化参数,但是若一味降低量化参数将导致视频码率超过无线信道的传输带宽,这样会增加在无线传输过程中产生的丢包。因此,视频处理设备可以参考无线信道的传输条件,为视频设置更加合适的量化参数,并基于设置的量化参数对原始视频数据进行编码得到目标码流,通过这种方式,可以充分利用有限的无线资源传输更多的图像细节信息。
在一种实现方式中,若无线信道的传输条件满足预设劣化条件,则视频处理设备可以按照用户反馈的内容特征设置视频的量化参数。具体的,在无线信道的传输条件满足预设劣化条件时,表明无线信道的信道质量较差,即无线信道能够传输的数据量较少,此时,视频处理设备按照用户反馈的内容特征设置视频的量化参数,可以充分利用有限的无线资源传输用户实际较为关注的图像对象的更多细节信息,有利于提高用户观看体验。
在一种实现方式中,用户反馈的内容特征可以为用户实际较为关注的图像对象的类别,在无线信道的传输条件满足预设劣化条件时,第一无线传输设备按照用户反馈的内容特征设置视频的量化参数的具体实施方式可以为:在无线信道的传输条件满足预设劣化条件时,视频处理设备可以在原始视频数据中识别出类别与用户实际较为关注的图像对象的类别相同的目标图像对象,并为构成目标图像对象的视频数据设置较小的量化参数,而为构成目标图像对象以外的图像对象的视频数据设置较大的量化参数。其中,原始视频数据可以指构成原始视频图像的数据,例如,若原始视频图像中的图像对象包括人物、车辆和背景,且用户反馈的内容特征指示用户较为关注的图像对象的类别为运动类,则视频处理设备可以识别出人物和车辆属于运动类的图像对象,进而为构成人物和车辆的视频数据设置较小的量化参数,而为构成背景(背景属于静止类图像对象)的视频数据设置较大的量化参数。通过这种方式,可以传输更多运动类图像对象的图像细节信息,使得视频接收设备解码得到的视频中运动类的图像对象的视频质量较高,有利于提高用户观看体验。
在一种实现方式中,用户反馈的内容特征还可以为用户实际较为关注的图像对象。在一种实现方式中,用户反馈的实际较为关注的图像对象的数量可以为一个或多个,当用户反馈的实际较为关注的图像对象的数量为多个时,每个图像对象可以对应有关注度,不同图像对象的关注度可以不同,具体的,视频处理设备可以按照关注度的高低,设置构成各个图像对象的视频数据的量化参数。例如,若原始视频图像中的图像对象包括人物、车辆和背景,且用户反馈的内容特征指示用户较为关注的图像对象为人物和车辆,且人物的关注度高于车辆的关注度,则视频处理设备可以为构成人物的视频数据设置最小的量化参数,为构成车辆的视频数据设置较小的量化参数,而为构成背景的视频数据设置较大的量化参数。
在一种实现方式中,若无线信道的传输条件不满足预设劣化条件,则视频处理设备可以按照视频的内容特征和用户反馈的内容特征设置视频的量化参数。具体的,在无线信道的传输条件不满足预设劣化条件时,表明无线信道的信道质量良好,即无线信道能够传输的数据量较多,此时,视频处理设备按照视频的内容特征和用户反馈的内容特征设置视频的量化参数,可以通过无线信道传输用户可能较为关注的图像对象的更多细节信息,并传输用户实际较为关注的图像对象的更多细节信息,有利于提高用户观看体验。
步骤S402:若视频的内容特征与用户反馈的内容特征不同,则视频处理设备按照用户反馈的内容特征设置该视频的量化参数。具体的,视频处理设备可以判断视频的内容特征与用户反馈的内容特征是否相同,若相同,则可以按照视频的内容特征或者用户反馈的内容特征设置视频的量化参数均可;若不同,则视频处理设备可以按照用户反馈的内容特征设置视频的量化参数。由于相较于视频的内容特征,用户反馈的内容特征能更加准确地指示用户较为关注的图像对象,因此,当视频的内容特征与用户反馈的内容特征不同时,按照用户反馈的内容特征设置视频的量化参数,可以通过无线信道传输用户实际较为关注的图像对象的更多细节信息,有利于提高用户观看体验。
在一种实现方式中,若视频的内容特征与用户反馈的内容特征不同,且无线信道的传输条件满足预设劣化条件,则视频处理设备可以按照用户反馈的内容特征设置视频的量化参数。在一种实现方式中,若视频的内容特征与用户反馈的内容特征不同,且无线信道的传输条件不满足预设劣化条件,则视频处理设备可以按照视频的内容特征和用户反馈的内容特征共同设置视频的量化参数。例如,若原始视频图像中的图像对象包括人物、车辆和背景,对原始视频图像进行分析得到的图像特征指示用户可能较为关注的图像对象为人物,用户反馈的内容特征指示用户较为关注的图像对象为车辆,则视频处理设备可以为构成车辆的视频数据设置最小的量化参数,为构成人物的视频数据设置较小的量化参数,而为构成背景的视频数据设置较大的量化参数。
步骤S403:视频处理设备基于设置的量化参数对原始视频数据进行编码处理得到目标码流。具体的,在视频的内容特征与用户反馈的内容特征不同时,视频处理设备按照用户反馈的内容特征设置该视频的量化参数,并基于设置的量化参数对原始视频数据进行编码处理得到目标码流,可以通过无线信道传输用户实际较为关注的图像对象的更多细节信息,有利于提高用户观看体验。
步骤S404:视频处理设备将目标码流发送给第一无线传输设备。
步骤S405:第一无线传输设备通过无线信道传输目标码流。
需要说明的是,步骤S404~S405的执行过程可分别参见图2中步骤S204~S205的具体描述,在此不赘述。
可见,通过实施本申请实施例,当视频的内容特征与用户反馈的内容特征不同时,可以按照用户反馈的内容特征设置视频的量化参数,通过这种方式,可以通过无线信道传输用户实际较为关注的图像对象的更多细节信息,有利于提高用户观看体验。
请参见图5,图5是本申请实施例提供的又一种视频处理方法的流程示意图,该方法可以应用于无线视频传输系统,该方法详细阐述了如何设置目标码流中的视频数据包的重要性,该方法可以包括但不限于如下步骤:
步骤S501:视频处理设备获取待传输视频的原始视频数据。
步骤S502:视频处理设备按照该视频的内容特征以及历史反馈信息设置该视频的编码策略,历史反馈信息包括历史传输结果和/或用户反馈的内容特征,编码策略包括编码方式和/或编码参数。需要说明的是,步骤S501~S502的执行过程可分别参见图2中步骤S201~S202的具体描述,在此不赘述。
步骤S503:视频处理设备基于编码策略对原始视频数据进行编码处理得到目标码流,目标码流包括第一视频数据包和第二视频数据包。其中,第一视频数据包(或者第二视频数据包)可以包括构成一张图像的所有视频数据,或者,第一视频数据包(或者第二视频数据包)可以包括构成一张图像中的部分图像区域的视频数据。例如,第一视频数据包可以包括I帧,或者,第一视频数据包可以包括I帧中的一部分数据,第二视频数据包可以包括I帧中的另一部分数据。
步骤S504:视频处理设备基于视频的内容特征、用户反馈的内容特征和/或视频的编码策略,设置第一视频数据包的重要性,并设置第二视频数据包的重要性。其中,视频数据包的重要性可以用于指示用户对于视频数据包中的视频数据的关注度,或者,视频数据包的重要性可以用于指示视频数据包中的视频数据对于视频接收设备恢复出的视频的质量的影响。例如,若视频数据包的重要性越高,则表明用户越关注视频数据包中的视频数据。又如,若视频数据包的重要性越高,则表明视频数据包中的视频数据对于视频恢复质量的影响越大。通过为第一视频数据包和第二视频数据包设置重要性,可以充分利用有限的无线信道资源传输重要性较高的视频数据包。
在一种实现方式中,视频处理设备基于视频的编码策略,可以确定GOP结构中各个视频帧被参考的次数。例如,若视频的编码策略中的GOP结构为图3b所示的第二GOP结构,并且视频的编码策略中的编码参数为表2所示的第二GOP结构对应的默认GOP参数,则视频处理设备可以确定第二GOP结构中,I0帧被参考的次数为3次,X1帧被参考的次数为1次,X2帧被参考的次数为1次,Y3帧被参考的次数为0次。
在一种实现方式中,视频处理设备基于视频的编码策略,设置第一视频数据包的重要性,并设置第二视频数据包的重要性的具体实施方式可以为:视频处理设备基于视频的编码策略,获取第一视频数据包对应的视频帧被参考的第一次数,并按照第一次数设置第一视频数据包的重要性;视频处理设备基于视频的编码策略,获取第二视频数据包对应的视频帧被参考的第二次数,并按照第二次数设置第二视频数据包的重要性。视频接收设备在对某个视频帧进行解码时,需要参考根据其他视频帧解码得到的图像,才能成功解码该视频帧,若被参考的视频帧丢失,将导致视频接收设备无法对该视频帧进行解码,由此可见,视频帧被参考的次数越多,该视频帧将影响更多其他视频帧的解码。视频处理设备按照视频数据包对应的视频帧被参考的次数设置视频数据包的重要性,使得设置的重要性可以更好地体现视频数据包对应的视频帧对于视频接收设备的解码成功率的影响。
在一种实现方式中,第一视频数据包对应的视频帧与第二视频数据包对应的视频帧可以相同,也可以不同。当第一视频数据包和第二视频数据包均包括构成一张图像的所有视频数据时,第一视频数据包对应的视频帧与第二视频数据包对应的视频帧不同。在一种实现方式中,当第一视频数据包对应的视频帧与第二视频数据包对应的视频帧相同时,第一次数与第二次数相同,即第一视频数据包的重要性与第二视频数据包的重要性也相同。在一种实现方式中,当第一视频数据包对应的视频帧与第二视频数据包对应的视频帧不同时,第一次数与第二次数可能相同,也可能不同,即第一视频数据包的重要性与第二视频数据包的重要性可能相同,也可能不同。
在一种实现方式中,若第一次数高于第二次数,则第一视频数据包的重要性可以高于第二视频数据包的重要性,换言之,若视频数据包对应的视频帧被参考的次数越多,则该视频数据包的重要性越高。通过这种方式,可以优先传输重要性较高的视频数据包,有利于提高视频接收设备的解码成功率。
在一种实现方式中,视频处理设备可以按照视频数据包中的视频数据所属的类别,设置该视频数据包的重要性。在一种实现方式中,视频的内容特征可以包括第一类别和第二类别,其中,第一类别和第二类别可以是视频处理设备在识别出视频的目标视频场景之后确定的,在不同的目标视频场景下,第一类别和/或第二类别可能会发生变化。在一种实现方式中,第一类别的重要性与第二类别的重要性可以相同,也可以不同,本申请实施例以第一类别的重要性与第二类别的重要性不同为例进行说明。在一种实现方式中,第一类别的重要性和第二类别的重要性可以是由视频处理设备设置的。在一种实现方式中,视频处理设备基于视频的内容特征,设置第一视频数据包的重要性,并设置第二视频数据包的重要性的具体实施方式可以为:视频处理设备对第一视频数据包中的视频数据进行分析,得到第一视频数据包中的视频数据所属的类别,若第一视频数据包中的视频数据所属的类别为第一类别,则视频处理设备可以按照第一类别的重要性设置第一视频数据包的重要性;视频处理设备对第二视频数据包中的视频数据进行分析,得到第二视频数据包中的视频数据所属的类别,若第二视频数据包中的视频数据所属的类别为第二类别,则视频处理设备可以按照第二类别的重要性设置第二视频数据包的重要性。视频的内容特征可以用于指示用户可能较为关注的图像对象的类别,通过按照用户可能较为关注的图像对象的类别的重要性,设置视频数据包的重要性,进而优先传输重要性较高的视频数据包,可以使得视频接收设备恢复得到的视频中包括更多用户较为关注的图像对象,有利于提高用户观看体验。
在一种实现方式中,若第一类别的重要性高于第二类别的重要性,则第一视频数据包的重要性可以高于第二视频数据包的重要性,换言之,若视频数据包中的视频数据所属的类别的重要性越高,则该视频数据包的重要性越高。通过这种方式,可以优先传输重要性较高的视频数据包,使得视频接收设备恢复得到的视频中包括更多用户较为关注的图像对象,有利于提高用户观看体验。
在一种实现方式中,若视频数据包中的视频数据所属的类别与视频的内容特征包括的类别不同,则视频处理设备可以为该视频数据包设置默认重要性,其中,默认重要性可以是视频处理设备默认设置的,也可以是视频处理设备根据用户的输入操作确定,本申请实施例对此不做限定。
在一种实现方式中,视频处理设备还可以按照视频数据包中的视频数据构成的图像对象,设置该视频数据包的重要性。在一种实现方式中,视频的内容特征可以包括第一图像对象和第二图像对象,第一图像对象和第二图像对象可以是视频处理设备在识别出视频的目标视频场景之后确定的,在不同的目标视频场景下,第一图像对象和/或第二图像对象可能会发生变化。例如,当目标视频场景为视频监控场景时,第一图像对象和第二图像对象分别可以为人物和车辆;当目标视频场景为视频授课场景时,第一图像对象和第二图像对象分别可以为讲义和人物。在一种实现方式中,第一图像对象的重要性与第二图像对象的重要性可以相同,也可以不同,本申请实施例以第一图像对象的重要性与第二图像对象的重要性不同为例进行说明。在一种实现方式中,第一图像对象的重要性和第二图像对象的重要性可以是由视频处理设备设置的,在不同的目标视频场景下,第一图像对象的重要性和/或第二图像对象的重要性可能会发生变化。例如,当目标视频场景为视频监控场景时,人物的重要性最高;当目标视频场景为视频授课场景时,人物的重要性较低。
在一种实现方式中,视频处理设备基于视频的内容特征,设置第一视频数据包的重要性,并设置第二视频数据包的重要性的具体实施方式可以为:视频处理设备对第一视频数据包中的视频数据进行分析,得到第一视频数据包中的视频数据构成的图像对象,若第一视频数据包中的视频数据构成的图像对象为第一图像对象,则视频处理设备可以按照第一图像对象的重要性设置第一视频数据包的重要性;视频处理设备对第二视频数据包中的视频数据进行分析,得到第二视频数据包中的视频数据构成的图像对象,若第二视频数据包中的视频数据构成的图像对象为第二图像对象,则视频处理设备可以按照第二图像对象的重要性设置第二视频数据包的重要性。在一种实现方式中,若第一图像对象的重要性高于第二图像对象的重要性,则第一视频数据包的重要性可以高于第二视频数据包的重要性,换言之,若视频数据包中的视频数据构成的图像对象的重要性越高,则该视频数据包的重要性越高。通过这种方式,可以优先传输重要性较高的视频数据包,使得视频接收设备恢复得到的视频中包括更多用户较为关注的图像对象,有利于提高用户观看体验。
在一种实现方式中,用户反馈的内容特征可以包括第三类别,第三类别可以是视频接收设备根据用户的输入操作确定的,例如,在视频播放过程中,若视频接收设备检测到用户的连续按压操作,则可以将被连续按压的图像对象所属的类别确定为第三类别。在一种实现方式中,视频处理设备基于用户反馈的内容特征,设置第一视频数据包的重要性,并设置第二视频数据包的重要性的具体实施方式可以为:视频处理设备对第一视频数据包中的视频数据进行分析,得到第一视频数据包中的视频数据所属的类别,若第一视频数据包中的视频数据所属的类别与第三类别相同,则视频处理设备可以按照第三类别的重要性设置第一视频数据包的重要性;视频处理设备对第二视频数据包中的视频数据进行分析,得到第二视频数据包中的视频数据所属的类别,若第二视频数据包中的视频数据所属的类别与第三类别不同,则视频处理设备可以按照第二视频数据包中的视频数据所属的类别设置第二视频数据包的重要性。用户反馈的内容特征可以用于指示用户实际较为关注的图像对象的类别,通过按照用户实际较为关注的图像对象的类别的重要性,设置视频数据包的重要性,进而优先传输重要性较高的视频数据包,可以使得视频接收设备恢复得到的视频中包括更多用户实际较为关注的图像对象,有利于提高用户观看体验。
在一种实现方式中,视频处理设备在接收到第三类别时,可以为第三类别设置重要性。相较于第一类别和第二类别,视频处理设备可以为第三类别设置最高的重要性。在一种实现方式中,第三类别的重要性可以是由视频接收设备设置并发送给视频处理设备的。在一种实现方式中,视频处理设备可以为不同类别默认设置重要性,具体的,视频处理设备可以获取为第二视频数据包中的视频数据所属的类别默认设置的重要性,并将其确定为第二视频数据包的重要性。
在一种实现方式中,若第一视频数据包中的视频数据所属的类别与第三类别相同,且第二视频数据包中的视频数据所属的类别与第三类别不同,则第一视频数据包的重要性可以高于第二视频数据包的重要性。换言之,若视频数据包中的视频数据所属的类别为用户实际较为关注的类别,则该视频数据包的重要性较高;若视频数据包中的视频数据所属的类别与用户实际较为关注的类别不同,则该视频数据包的重要性较低。通过这种方式,可以优先传输重要性较高的视频数据包,使得视频接收设备恢复得到的视频中包括更多用户实际较为关注的图像对象,有利于提高用户观看体验。
在一种实现方式中,用户反馈的内容特征可以包括第三图像对象,第三图像对象可以是视频接收设备根据用户的输入操作确定的。在一种实现方式中,视频处理设备基于用户反馈的内容特征,设置第一视频数据包的重要性,并设置第二视频数据包的重要性的具体实施方式可以为:视频处理设备对第一视频数据包中的视频数据进行分析,得到第一视频数据包中的视频数据构成的图像对象,若第一视频数据包中的视频数据构成的图像对象与第三图像对象相同,则视频处理设备可以按照第三图像对象的重要性设置第一视频数据包的重要性;视频处理设备对第二视频数据包中的视频数据进行分析,得到第二视频数据包中的视频数据构成的图像对象,若第二视频数据包中的视频数据构成的图像对象与第三图像对象不同,则视频处理设备可以按照第二视频数据包中的视频数据构成的图像对象设置第二视频数据包的重要性。用户反馈的内容特征可以用于指示用户实际较为关注的图像对象,通过按照用户实际较为关注的图像对象的重要性,设置视频数据包的重要性,进而优先传输重要性较高的视频数据包,可以使得视频接收设备恢复得到的视频中包括更多用户实际较为关注的图像对象,有利于提高用户观看体验。
在一种实现方式中,视频处理设备在接收到第三图像对象时,可以为第三图像对象设置重要性。相较于第一图像对象和第二图像对象,视频处理设备可以为第三图像对象设置最高的重要性。在一种实现方式中,第三图像对象的重要性可以是由视频接收设备设置并发送给视频处理设备的。在一种实现方式中,视频处理设备可以为不同图像对象默认设置重要性,具体的,视频处理设备可以获取为第二视频数据包中的视频数据构成的图像对象默认设置的重要性,并将其确定为第二视频数据包的重要性。
在一种实现方式中,视频处理设备可以基于视频的内容特征、用户反馈的内容特征和视频的编码策略,共同设置第一视频数据包的重要性,并共同设置第二视频数据包的重要性。
步骤S505:视频处理设备将目标码流发送给第一无线传输设备。需要说明的是,步骤S505的执行过程可参见图2中步骤S204的具体描述,在此不赘述。
步骤S506:第一无线传输设备基于无线信道的传输条件、第一视频数据包的重要性和第二视频数据包的重要性,对目标码流进行筛选得到待传输码流,待传输码流包括第一视频数据包和/或第二视频数据包。由于无线信道的传输带宽非常有限,并且目标码流包括的视频数据的数据量较大,当无线信道的传输带宽小于传输目标码流所需的带宽时,在传输过程中将产生丢包,若在传输过程中丢失的是重要性较高的视频数据包,将会导致视频接收设备恢复得到的视频的质量较低。为了避免上述问题,第一无线传输设备可以对目标码流进行筛选,以便确定传输目标码流中的哪些视频数据包,确定传输的视频数据包可以包括用户较为关注的图像元素的视频数据,或者,确定传输的视频数据包对于视频接收设备恢复出的视频的质量影响较大。相较于传输目标码流中的所有视频数据包,通过主动放弃传输部分视频数据包,可以降低甚至避免在传输过程中丢失重要性较高的视频数据包,进而尽量降低丢包对于恢复出的视频的质量影响。需要说明的是,各个视频数据包的重要性可以携带于该视频数据包中,第一无线传输设备接收到该视频数据包之后,可以解析该视频数据包中的数据,以获取该视频数据包的重要性。例如,各个视频数据包的重要性可以记录于该视频数据包的包头的扩展字段中。
在一种实现方式中,第一无线传输设备采用的筛选方式可以包括但不限于以下两种:第一,第一无线传输设备可以基于无线信道的传输条件和第一视频数据包的重要性,确定是否传输第一视频数据包,若确定传输第一视频数据包则将第一视频数据包添加至待传输码流,并基于无线信道的传输条件和第二视频数据包的重要性,确定是否传输第二视频数据包,若确定传输第二视频数据包则将第二视频数据包添加至待传输码流。例如,若第一视频数据包的重要性的高于预设重要性阈值,则第一无线传输设备确定传输第一视频数据包。其中,预设重要性阈值可以是基于无线信道的传输条件确定的,例如,在无线信道的传输条件较好时,可以通过无线信道传输更多的数据,此时,第一无线传输设备可以将预设重要性阈值设置的较小,以便通过无线信道传输更多的视频数据包。
第二,第一无线传输设备可以基于无线信道的传输条件以及目标码流中所有视频数据包的重要性,确定是否传输第一视频数据包,若确定传输第一视频数据包则将第一视频数据包添加至待传输码流,并基于无线信道的传输条件以及目标码流中所有视频数据包的重要性,确定是否传输第二视频数据包,若确定传输第二视频数据包则将第二视频数据包添加至待传输码流。例如,目标码流包括M个视频数据包时,第一无线传输设备可以在目标码流中确定出重要性最高的前N个视频数据包,并通过无线信道传输重要性最高的前N个视频数据包。其中,数值N(M>=N)可以是基于无线信道的传输条件确定的,例如,在无线信道的传输条件较好时,可以通过无线信道传输更多的数据,此时,第一无线传输设备可以将数值N设置的较大,以便通过无线信道传输更多的视频数据包。
步骤S507:第一无线传输设备通过无线信道传输待传输码流。具体的,当第一视频数据包的重要性高于第二视频数据包的重要性,且待传输码流包括第一视频数据包和第二视频数据包时,第一无线传输设备通过无线信道传输待传输码流的具体实施方式可以为:若无线信道的传输条件满足预设劣化条件,则第一无线传输设备可以通过无线信道传输第一视频数据包。无线信道的传输条件满足预设劣化条件,表明无线信道的信道质量较差,在无线传输过程中容易产生丢包,第一无线传输设备通过主动丢弃重要性较小的第二视频数据包,可以避免第二视频数据包对第一视频数据包的传输过程造成影响。
在一种实现方式中,当第一视频数据包的重要性高于第二视频数据包的重要性,且待传输码流包括第一视频数据包和第二视频数据包时,第一无线传输设备通过无线信道传输待传输码流的具体实施方式可以为:若无线信道的传输条件满足预设劣化条件,则第一无线传输设备可以按照重要性的高低顺序依次传输第一视频数据包和第二视频数据包。由于无线信道的传输条件具有时变的特点,第一无线传输设备通过重要性的高低顺序依次传输第一视频数据包和第二视频数据包,可以更好地确保重要性较高的第一视频数据包的可靠传输,避免在无线信道的传输条件变差之后,导致重要性较高的第一视频数据包发生丢包。
在一种实现方式中,当第一视频数据包的重要性高于第二视频数据包的重要性,且待传输码流包括第一视频数据包和第二视频数据包时,第一无线传输设备通过无线信道传输待传输码流的具体实施方式可以为:第一无线传输设备将第一视频数据包调制至第一星座位上,并将第二视频数据包调制至第二星座位上,并发射调制后的第一视频数据包及调制后的第二视频数据包。其中,第一星座位和第二星座位可以为同一星座图中的不同星座位,且第一星座位的可靠性可以高于第二星座位的可靠性。星座图可以为信号矢量端点的分布图,第一星座位的可靠性高于第二星座位的可靠性,可以使得相较于调制至第二星座位的第二视频数据包在无线信道中传输之后产生的误码率,调制至第一星座位的第一视频数据包在无线信道中传输之后产生的误码率较低,有利于确保重要性较高的第一视频数据包的可靠传输。
在一种实现方式中,当第一视频数据包的重要性高于第二视频数据包的重要性,且待传输码流包括第一视频数据包和第二视频数据包时,第一无线传输设备通过无线信道传输待传输码流的具体实施方式可以为:相较于第二视频数据包,第一无线传输设备可以采用更高的发射功率发射调制之后的第一视频数据包;或者,第一无线传输设备可以采用更可靠的信道传输第一视频数据包;或者,第一无线传输设备可以针对第一视频数据包采用更低的信道编码码率,即第一无线传输设备可以在第一视频数据包中添加更多的冗余,以便增强第一视频数据包在无线信道中传输时的抗干扰能力;或者,第一无线传输设备可以对第一视频数据包采用更低的调制阶数,以便降低第一视频数据包的误码率;或者,第一无线传输设备可以在第一视频数据包中添加更多的前向纠错码,以便增强第一视频数据包的纠错能力。
可见,通过实施本申请实施例,可以基于无线信道的传输条件、第一视频数据包的重要性和第二视频数据包的重要性,对目标码流进行筛选,并通过无线信道传输筛选得到的待传输码流,相较于传输目标码流中的所有视频数据包,通过主动放弃传输部分视频数据包,可以降低甚至避免在传输过程中丢失重要性较高的视频数据包,进而尽量降低丢包对于恢复出的视频的质量影响。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参见图6,图6是本申请实施例提供的一种视频处理装置的结构示意图,该视频处理装置60用于执行图2-图5对应的方法实施例中视频处理设备所执行的步骤,该视频处理装置60可以包括:
获取模块601,用于获取待传输视频的原始视频数据;
处理模块602,用于按照视频的内容特征以及历史反馈信息设置视频的编码策略,历史反馈信息包括历史传输结果和/或用户反馈的内容特征,编码策略包括编码方式和/或编码参数;
处理模块602,还用于基于编码策略对原始视频数据进行编码处理得到目标码流;
发送模块603,用于将目标码流发送给无线传输设备,以使无线传输设备通过无线信道传输目标码流。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件;编码方式可以包括画面组结构,视频的画面组结构可以包括第一画面组结构或第二画面组结构,第一画面组结构和第二画面组结构均由视频帧组成,视频帧可以包括第一视频帧,第一画面组结构中第一视频帧的占比可以高于第二画面组结构中第一视频帧的占比,其中,第一画面组结构中第一视频帧的占比为第一画面组结构中第一视频帧的数量与视频帧的数量之间的比值,第二画面组结构中第一视频帧的占比为第二画面组结构中第一视频帧的数量与视频帧的数量之间的比值;处理模块602用于按照视频的内容特征以及历史反馈信息设置视频的编码策略时,具体可以用于若无线信道的传输条件满足预设劣化条件,则将视频的画面组结构设置为第一画面组结构。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件;编码方式可以包括画面组结构,视频的画面组结构可以包括第一画面组结构或第二画面组结构,第一画面组结构和第二画面组结构均由视频帧组成,视频帧可以包括第二视频帧,第一画面组结构中第二视频帧的占比可以高于第二画面组结构中第二视频帧的占比,其中,第一画面组结构中第二视频帧的占比为第一画面组结构中第二视频帧的数量与视频帧的数量之间的比值,第二画面组结构中第二视频帧的占比为第二画面组结构中第二视频帧的数量与视频帧的数量之间的比值;构成第二视频帧的数据量可以大于构成第一视频帧的数据量;处理模块602用于按照视频的内容特征以及历史反馈信息设置视频的编码策略时,具体可以用于若无线信道的传输条件不满足预设劣化条件,则将视频的画面组结构设置为第二画面组结构。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件,编码参数可以包括量化参数;处理模块602用于按照视频的内容特征以及历史反馈信息设置视频的编码策略时,具体可以用于若无线信道的传输条件满足预设劣化条件,则按照用户反馈的内容特征设置视频的量化参数;和/或,若无线信道的传输条件不满足预设劣化条件,则按照视频的内容特征和用户反馈的内容特征设置视频的量化参数;和/或,若视频的内容特征与所述用户反馈的内容特征不同,则按照用户反馈的内容特征设置视频的量化参数。
在一种实现方式中,处理模块602,还可以用于对原始视频数据进行分析得到视频的目标视频场景,并基于目标视频场景,确定该视频的内容特征。
在一种实现方式中,目标码流可以包括第一视频数据包和第二视频数据包,处理模块602,还可以用于基于视频的内容特征、用户反馈的内容特征和/或视频的编码策略,设置第一视频数据包的重要性,并设置第二视频数据包的重要性。
在一种实现方式中,视频的内容特征可以包括第一类别和第二类别,用户反馈的内容特征可以包括第三类别;处理模块602用于基于视频的内容特征、用户反馈的内容特征和/或视频的编码策略,设置第一视频数据包的重要性,并设置第二视频数据包的重要性时,具体可以用于获取第一视频数据包对应的视频帧被参考的第一次数,并按照第一次数设置第一视频数据包的重要性;获取第二视频数据包对应的视频帧被参考的第二次数,并按照第二次数设置第二视频数据包的重要性;和/或,若第一视频数据包中的视频数据所属的类别为第一类别,则按照第一类别的重要性设置第一视频数据包的重要性,若第二视频数据包中的视频数据所属的类别为第二类别,则按照第二类别的重要性设置第二视频数据包的重要性;和/或,若第一视频数据包中的视频数据所属的类别与第三类别相同,则按照第三类别的重要性设置第一视频数据包的重要性,若第二视频数据包中的视频数据所属的类别与第三类别不同,则按照第二视频数据包中的视频数据所属的类别设置第二视频数据包的重要性。
在一种实现方式中,若第一次数高于第二次数,则第一视频数据包的重要性可以高于第二视频数据包的重要性;或者,若第一类别的重要性高于第二类别的重要性,则第一视频数据包的重要性可以高于第二视频数据包的重要性;或者,若第一视频数据包中的视频数据所属的类别与第三类别相同,且第二视频数据包中的视频数据所属的类别与第三类别不同,则第一视频数据包的重要性可以高于第二视频数据包的重要性。
在一种实现方式中,获取模块601,还可以用于获取历史视频场景;处理模块602还可以用于若历史视频场景与目标视频场景不同,则调整编码策略。
在一种实现方式中,处理模块602用于若历史视频场景与目标视频场景不同,则调整编码策略时,具体可以用于若历史视频场景与目标视频场景不同,则增加视频的画面组结构中第二视频帧的数量。
在一种实现方式中,该视频处理装置60还可以包括接收模块604,用于接收视频的源码流;处理模块602还可以用于对源码流进行解码处理,得到原始视频数据。
需要说明的是,图6对应的实施例中未提及的内容以及各个模块执行步骤的具体实现方式可参见图2-图5所示实施例以及前述内容,这里不再赘述。
请参见图7,图7是本申请实施例提供的一种视频处理装置的结构示意图,该视频处理装置70用于执行图2-图5对应的方法实施例中第一无线传输设备所执行的步骤,该视频处理装置70可以包括:
接收模块701,用于接收视频处理设备发送的待传输视频的目标码流,目标码流是视频处理设备基于编码策略对待传输视频的原始视频数据进行编码处理得到的,编码策略是视频处理设备按照待传输视频的内容特征以及历史反馈信息设置的,历史反馈信息包括历史传输结果和/或用户反馈的内容特征,编码策略包括编码方式和/或编码参数;
发送模块702,用于通过无线信道传输目标码流。
在一种实现方式中,该视频处理装置70还可以包括获取模块703,用于获取用户反馈的内容特征,并统计预设时间段内的历史传输结果;发送模块702,还可以用于将历史传输结果和用户反馈的内容特征发送给视频处理设备。
在一种实现方式中,目标码流可以包括第一视频数据包和第二视频数据包;发送模块702用于通过无线信道传输目标码流时,具体可以用于基于无线信道的传输条件、第一视频数据包的重要性和第二视频数据包的重要性,对目标码流进行筛选得到待传输码流,待传输码流包括第一视频数据包和/或第二视频数据包;并通过无线信道传输待传输码流。
在一种实现方式中,第一视频数据包的重要性可以高于第二视频数据包的重要性,发送模块702用于通过无线信道传输待传输码流时,具体可以用于若无线信道的传输条件满足预设劣化条件,则通过无线信道传输第一视频数据包;和/或,若无线信道的传输条件满足预设劣化条件,则按照重要性的高低顺序依次传输第一视频数据包和第二视频数据包;和/或,将第一视频数据包调制至第一星座位上,并将第二视频数据包调制至第二星座位上,并发射调制后的第一视频数据包及调制后的第二视频数据包,第一星座位的可靠性可以高于第二星座位的可靠性。
需要说明的是,图7对应的实施例中未提及的内容以及各个模块执行步骤的具体实现方式可参见图2-图5所示实施例以及前述内容,这里不再赘述。
在一种实现方式中,图6中的各个模块所实现的相关功能可以结合处理器与收发器来实现。参见图8,图8是本申请实施例提供的一种视频处理设备的结构示意图,该视频处理设备80包括:收发器801、处理器802和存储器803,所述收发器801、处理器802和存储器803通过一条或多条通信总线连接,也可以通过其它方式相连接。
收发器801可以用于发送数据和/或信令,以及接收数据和/或信令。应用在本申请实施例中,收发器801可以用于将目标码流发送给无线传输设备,或者接收视频的源码流。
处理器802被配置为执行图2-图5所述方法中视频处理设备相应的功能。该处理器802可以包括一个或多个处理器,例如该处理器802可以是一个或多个中央处理器(centralprocessing unit,CPU),网络处理器(network processor,NP),硬件芯片或者其任意组合。在处理器802是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器803用于存储程序代码等。存储器803可以包括易失性存储器(volatilememory),例如随机存取存储器(random access memory,RAM);存储器803也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器803还可以包括上述种类的存储器的组合。
处理器802可以调用存储器803中存储的程序代码以执行以下操作:
获取待传输视频的原始视频数据;
按照视频的内容特征以及历史反馈信息设置视频的编码策略,历史反馈信息包括历史传输结果和/或用户反馈的内容特征,编码策略包括编码方式和/或编码参数;
基于编码策略对原始视频数据进行编码处理得到目标码流,并调用收发器801将目标码流发送给无线传输设备,以使无线传输设备通过无线信道传输目标码流。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件;编码方式可以包括画面组结构,视频的画面组结构可以包括第一画面组结构或第二画面组结构,第一画面组结构和第二画面组结构均由视频帧组成,视频帧可以包括第一视频帧,第一画面组结构中第一视频帧的占比可以高于第二画面组结构中第一视频帧的占比,其中,第一画面组结构中第一视频帧的占比为第一画面组结构中第一视频帧的数量与视频帧的数量之间的比值,第二画面组结构中第一视频帧的占比为第二画面组结构中第一视频帧的数量与视频帧的数量之间的比值;处理器802执行按照视频的内容特征以及历史反馈信息设置视频的编码策略时,具体执行以下操作:若无线信道的传输条件满足预设劣化条件,则将视频的画面组结构设置为第一画面组结构。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件;编码方式可以包括画面组结构,视频的画面组结构可以包括第一画面组结构或第二画面组结构,第一画面组结构和第二画面组结构均由视频帧组成,视频帧可以包括第二视频帧,第一画面组结构中第二视频帧的占比可以高于第二画面组结构中第二视频帧的占比,其中,第一画面组结构中第二视频帧的占比为第一画面组结构中第二视频帧的数量与视频帧的数量之间的比值,第二画面组结构中第二视频帧的占比为第二画面组结构中第二视频帧的数量与视频帧的数量之间的比值;构成第二视频帧的数据量可以大于构成第一视频帧的数据量;处理器802执行按照视频的内容特征以及历史反馈信息设置视频的编码策略时,具体执行以下操作:若无线信道的传输条件不满足预设劣化条件,则将视频的画面组结构设置为第二画面组结构。
在一种实现方式中,历史传输结果可以包括无线信道的传输条件,编码参数可以包括量化参数;处理器802执行按照视频的内容特征以及历史反馈信息设置视频的编码策略时,具体执行以下操作:若无线信道的传输条件满足预设劣化条件,则按照用户反馈的内容特征设置视频的量化参数;和/或,若无线信道的传输条件不满足预设劣化条件,则按照视频的内容特征和用户反馈的内容特征设置视频的量化参数;和/或,若视频的内容特征与所述用户反馈的内容特征不同,则按照用户反馈的内容特征设置视频的量化参数。
在一种实现方式中,处理器802还可以执行以下操作:用于对原始视频数据进行分析得到视频的目标视频场景,并基于目标视频场景,确定该视频的内容特征。
在一种实现方式中,目标码流可以包括第一视频数据包和第二视频数据包,处理器802还可以执行以下操作:基于视频的内容特征、用户反馈的内容特征和/或视频的编码策略,设置第一视频数据包的重要性,并设置第二视频数据包的重要性。
在一种实现方式中,视频的内容特征可以包括第一类别和第二类别,用户反馈的内容特征可以包括第三类别;处理器802执行基于视频的内容特征、用户反馈的内容特征和/或视频的编码策略,设置第一视频数据包的重要性,并设置第二视频数据包的重要性时,具体可以执行以下操作:获取第一视频数据包对应的视频帧被参考的第一次数,并按照第一次数设置第一视频数据包的重要性;获取第二视频数据包对应的视频帧被参考的第二次数,并按照第二次数设置第二视频数据包的重要性;和/或,若第一视频数据包中的视频数据所属的类别为第一类别,则按照第一类别的重要性设置第一视频数据包的重要性,若第二视频数据包中的视频数据所属的类别为第二类别,则按照第二类别的重要性设置第二视频数据包的重要性;和/或,若第一视频数据包中的视频数据所属的类别与第三类别相同,则按照第三类别的重要性设置第一视频数据包的重要性,若第二视频数据包中的视频数据所属的类别与第三类别不同,则按照第二视频数据包中的视频数据所属的类别设置第二视频数据包的重要性。
在一种实现方式中,若第一次数高于第二次数,则第一视频数据包的重要性可以高于第二视频数据包的重要性;或者,若第一类别的重要性高于第二类别的重要性,则第一视频数据包的重要性可以高于第二视频数据包的重要性;或者,若第一视频数据包中的视频数据所属的类别与第三类别相同,且第二视频数据包中的视频数据所属的类别与第三类别不同,则第一视频数据包的重要性可以高于第二视频数据包的重要性。
在一种实现方式中,处理器802还可以执行以下操作:获取历史视频场景,若历史视频场景与目标视频场景不同,则调整编码策略。
在一种实现方式中,处理器802执行若历史视频场景与目标视频场景不同,则调整编码策略时,具体可以执行以下操作:若历史视频场景与目标视频场景不同,则增加视频的画面组结构中第二视频帧的数量。
在一种实现方式中,处理器802还可以执行以下操作:调用收发器801接收视频的源码流,并对源码流进行解码处理,得到原始视频数据。
进一步地,处理器802还可以执行图2-图5所示实施例中视频处理设备对应的操作,具体可参见方法实施例中的描述,在此不再赘述。
在一种实现方式中,图7中的各个模块所实现的相关功能可以结合处理器与收发器来实现。参见图9,图9是本申请实施例提供的一种无线传输设备的结构示意图,该无线传输设备90包括:收发器901、处理器902和存储器903,所述收发器901、处理器902和存储器903通过一条或多条通信总线连接,也可以通过其它方式相连接。
收发器901可以用于发送数据和/或信令,以及接收数据和/或信令。应用在本申请实施例中,收发器901可以用于接收视频处理设备发送的待传输视频的目标码流。
处理器902被配置为执行图2-图5所述方法中第一无线传输设备相应的功能。该处理器902可以包括一个或多个处理器,例如该处理器902可以是一个或多个中央处理器(central processing unit,CPU),网络处理器(network processor,NP),硬件芯片或者其任意组合。在处理器902是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器903用于存储程序代码等。存储器903可以包括易失性存储器(volatilememory),例如随机存取存储器(random access memory,RAM);存储器903也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器903还可以包括上述种类的存储器的组合。
处理器902可以调用存储器903中存储的程序代码以执行以下操作:
调用收发器901接收视频处理设备发送的待传输视频的目标码流,目标码流是视频处理设备基于编码策略对待传输视频的原始视频数据进行编码处理得到的,编码策略是视频处理设备按照待传输视频的内容特征以及历史反馈信息设置的,历史反馈信息包括历史传输结果和/或用户反馈的内容特征,编码策略包括编码方式和/或编码参数;
调用收发器901通过无线信道传输目标码流。
在一种实现方式中,处理器902还可以执行以下操作:获取用户反馈的内容特征,并统计预设时间段内的历史传输结果;调用收发器901将历史传输结果和用户反馈的内容特征发送给视频处理设备。
在一种实现方式中,目标码流可以包括第一视频数据包和第二视频数据包;处理器902执行通过无线信道传输目标码流时,具体可以执行以下操作:基于无线信道的传输条件、第一视频数据包的重要性和第二视频数据包的重要性,对目标码流进行筛选得到待传输码流,待传输码流包括第一视频数据包和/或第二视频数据包;并通过无线信道传输待传输码流。
在一种实现方式中,第一视频数据包的重要性可以高于第二视频数据包的重要性,处理器902执行通过无线信道传输待传输码流时,具体可以执行以下操作:若无线信道的传输条件满足预设劣化条件,则通过无线信道传输第一视频数据包;和/或,若无线信道的传输条件满足预设劣化条件,则按照重要性的高低顺序依次传输第一视频数据包和第二视频数据包;和/或,将第一视频数据包调制至第一星座位上,并将第二视频数据包调制至第二星座位上,并发射调制后的第一视频数据包及调制后的第二视频数据包,第一星座位的可靠性可以高于第二星座位的可靠性。
进一步地,处理器902还可以执行图2-图5所示实施例中第一无线传输设备对应的操作,具体可参见方法实施例中的描述,在此不再赘述。
本申请实施例还提供一种视频处理系统,该视频处理系统包括前述如图6所示的视频处理装置和前述如图7所示的视频处理装置,或者,该视频处理系统包括前述如图8所示的视频处理设备和前述如图9所示的无线传输设备。
本申请实施例还提供一种计算机可读存储介质,可以用于存储图6所示实施例中视频处理装置所用的计算机软件指令,其包含用于执行上述实施例中为视频处理设备所设计的程序。
本申请实施例还提供一种计算机可读存储介质,可以用于存储图7所示实施例中视频处理装置所用的计算机软件指令,其包含用于执行上述实施例中为第一无线传输设备所设计的程序。
上述计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘。
本申请实施例还提供一种计算机程序产品,该计算机产品被计算设备运行时,可以执行上述图2-图5实施例中为视频处理设备所设计的视频处理方法。
本申请实施例还提供一种计算机程序产品,该计算机产品被计算设备运行时,可以执行上述图2-图5实施例中为第一无线传输设备所设计的视频处理方法。
本申请实施例还提供一种处理器,该处理器包括至少一个电路,用于按照视频的内容特征以及历史反馈信息设置视频的编码策略,该处理器还包括至少一个电路,用于基于编码策略对原始视频数据进行编码处理得到目标码流。上述处理器可以为芯片,可以执行用于实现上述实施例中为视频处理设备所设计的指令或程序。
本申请实施例还提供一种处理器,该处理器包括至少一个电路,用于接收视频处理设备发送的待传输视频的目标码流,该处理器还包括至少一个电路,用于通过无线信道传输目标码流。上述处理器可以为芯片,可以执行用于实现上述实施例中为第一无线传输设备所设计的指令或程序。
本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,该处理器用于实现图2-图5实施例中为视频处理设备所设计的视频处理方法。在一种可行的实现方式中,所述芯片系统还包括存储器,该存储器用于保存实现视频处理设备的功能所必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,该处理器用于实现图2-图5实施例中为第一无线传输设备所设计的视频处理方法。在一种可行的实现方式中,所述芯片系统还包括存储器,该存储器用于保存实现第一无线传输设备的功能所必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
在本申请实施例中还提供一种芯片,包括处理器和存储器,该存储器用包括处理器和存储器,该存储器用于存储计算机程序,该处理器用于从存储器中调用并运行该计算机程序,该计算机程序用于实现上述方法实施例中的方法。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (22)
1.一种视频处理方法,其特征在于,应用于视频处理设备,所述方法包括:
获取待传输视频的原始视频数据;
按照所述视频的内容特征以及历史反馈信息设置所述视频的编码策略,所述历史反馈信息包括历史传输结果和/或用户反馈的内容特征,所述编码策略包括编码方式和/或编码参数;
基于所述编码策略对所述原始视频数据进行编码处理得到目标码流,并将所述目标码流发送给无线传输设备,以使所述无线传输设备通过无线信道传输所述目标码流。
2.根据权利要求1所述的方法,其特征在于,所述历史传输结果包括所述无线信道的传输条件;所述编码方式包括画面组结构,所述视频的画面组结构包括第一画面组结构或第二画面组结构,所述第一画面组结构和第二画面组结构均由视频帧组成,所述视频帧包括第一视频帧,所述第一画面组结构中第一视频帧的占比高于所述第二画面组结构中第一视频帧的占比,其中,所述第一画面组结构中第一视频帧的占比为所述第一画面组结构中第一视频帧的数量与视频帧的数量之间的比值,所述第二画面组结构中第一视频帧的占比为所述第二画面组结构中第一视频帧的数量与视频帧的数量之间的比值;
所述按照所述视频的内容特征以及历史反馈信息设置所述视频的编码策略,包括:
若所述无线信道的传输条件满足预设劣化条件,则将所述视频的画面组结构设置为所述第一画面组结构。
3.根据权利要求1所述的方法,其特征在于,所述历史传输结果包括所述无线信道的传输条件;所述编码方式包括画面组结构,所述视频的画面组结构包括第一画面组结构或第二画面组结构,所述第一画面组结构和第二画面组结构均由视频帧组成,所述视频帧包括第二视频帧,所述第一画面组结构中第二视频帧的占比高于所述第二画面组结构中第二视频帧的占比,其中,所述第一画面组结构中第二视频帧的占比为所述第一画面组结构中第二视频帧的数量与视频帧的数量之间的比值,所述第二画面组结构中第二视频帧的占比为所述第二画面组结构中第二视频帧的数量与视频帧的数量之间的比值;构成所述第二视频帧的数据量大于构成所述第一视频帧的数据量;
所述按照所述视频的内容特征以及历史反馈信息设置所述视频的编码策略,包括:
若所述无线信道的传输条件不满足预设劣化条件,则将所述视频的画面组结构设置为所述第二画面组结构。
4.根据权利要求1所述的方法,其特征在于,所述历史传输结果包括所述无线信道的传输条件,所述编码参数包括量化参数;
所述按照所述视频的内容特征以及历史反馈信息设置所述视频的编码策略,包括以下步骤中的一种或多种:
若所述无线信道的传输条件满足预设劣化条件,则按照所述用户反馈的内容特征设置所述视频的量化参数;
若所述无线信道的传输条件不满足预设劣化条件,则按照所述视频的内容特征和所述用户反馈的内容特征设置所述视频的量化参数;
若所述视频的内容特征与所述用户反馈的内容特征不同,则按照所述用户反馈的内容特征设置所述视频的量化参数。
5.根据权利要求3所述的方法,其特征在于,所述按照所述视频的内容特征以及历史反馈信息设置所述视频的编码策略之前,所述方法还包括:
对所述原始视频数据进行分析得到所述视频的目标视频场景;
基于所述目标视频场景,确定所述视频的内容特征。
6.根据权利要求1~5任一项所述的方法,其特征在于,所述目标码流包括第一视频数据包和第二视频数据包,所述方法还包括:
基于所述视频的内容特征、所述用户反馈的内容特征和/或所述视频的编码策略,设置所述第一视频数据包的重要性,并设置所述第二视频数据包的重要性。
7.根据权利要求6所述的方法,其特征在于,所述视频的内容特征包括第一类别和第二类别,所述用户反馈的内容特征包括第三类别;
所述基于所述视频的内容特征、所述用户反馈的内容特征和/或所述视频的编码策略,设置所述第一视频数据包的重要性,并设置所述第二视频数据包的重要性,包括以下步骤中的一种或多种:
获取所述第一视频数据包对应的视频帧被参考的第一次数,并按照所述第一次数设置所述第一视频数据包的重要性;获取所述第二视频数据包对应的视频帧被参考的第二次数,并按照所述第二次数设置所述第二视频数据包的重要性;
若所述第一视频数据包中的视频数据所属的类别为所述第一类别,则按照第一类别的重要性设置所述第一视频数据包的重要性,若所述第二视频数据包中的视频数据所属的类别为所述第二类别,则按照第二类别的重要性设置所述第二视频数据包的重要性;
若所述第一视频数据包中的视频数据所属的类别与所述第三类别相同,则按照第三类别的重要性设置所述第一视频数据包的重要性,若所述第二视频数据包中的视频数据所属的类别与所述第三类别不同,则按照所述第二视频数据包中的视频数据所属的类别设置所述第二视频数据包的重要性。
8.根据权利要求7所述的方法,其特征在于,
若所述第一次数高于所述第二次数,则所述第一视频数据包的重要性高于所述第二视频数据包的重要性;或者,
若所述第一类别的重要性高于所述第二类别的重要性,则所述第一视频数据包的重要性高于所述第二视频数据包的重要性;或者,
若所述第一视频数据包中的视频数据所属的类别与所述第三类别相同,且所述第二视频数据包中的视频数据所属的类别与所述第三类别不同,则所述第一视频数据包的重要性高于所述第二视频数据包的重要性。
9.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取历史视频场景;
若所述历史视频场景与所述目标视频场景不同,则调整所述编码策略。
10.根据权利要求9所述的方法,其特征在于,所述若所述历史视频场景与所述目标视频场景不同,则调整所述编码策略,包括:
若所述历史视频场景与所述目标视频场景不同,则增加所述视频的画面组结构中所述第二视频帧的数量。
11.根据权利要求1~5、7~10任一项所述的方法,其特征在于,获取待传输视频的原始视频数据之前,所述方法还包括:
接收所述视频的源码流;
对所述源码流进行解码处理,得到所述原始视频数据。
12.一种视频处理方法,其特征在于,应用于无线传输设备,所述方法包括:
接收视频处理设备发送的待传输视频的目标码流,所述目标码流是所述视频处理设备基于编码策略对所述待传输视频的原始视频数据进行编码处理得到的,所述编码策略是视频处理设备按照所述待传输视频的内容特征以及历史反馈信息设置的,所述历史反馈信息包括历史传输结果和/或用户反馈的内容特征,所述编码策略包括编码方式和/或编码参数;
通过无线信道传输所述目标码流。
13.根据权利要求12所述的方法,其特征在于,所述接收视频处理设备发送的待传输视频的目标码流之前,所述方法还包括:
获取所述用户反馈的内容特征,并统计预设时间段内的历史传输结果;
将所述历史传输结果和所述用户反馈的内容特征发送给所述视频处理设备。
14.根据权利要求12或13所述的方法,其特征在于,所述目标码流包括第一视频数据包和第二视频数据包;
通过无线信道传输所述目标码流,包括:
基于所述无线信道的传输条件、所述第一视频数据包的重要性和所述第二视频数据包的重要性,对所述目标码流进行筛选得到待传输码流,所述待传输码流包括所述第一视频数据包和/或所述第二视频数据包;
通过所述无线信道传输所述待传输码流。
15.根据权利要求14所述的方法,其特征在于,所述第一视频数据包的重要性高于所述第二视频数据包的重要性,所述通过所述无线信道传输所述待传输码流,包括以下步骤中的一种或多种:
若所述无线信道的传输条件满足预设劣化条件,则通过所述无线信道传输所述第一视频数据包;
若所述无线信道的传输条件满足所述预设劣化条件,则按照重要性的高低顺序依次传输所述第一视频数据包和所述第二视频数据包;
将所述第一视频数据包调制至第一星座位上,并将所述第二视频数据包调制至第二星座位上,并发射调制后的第一视频数据包及调制后的第二视频数据包,所述第一星座位的可靠性高于所述第二星座位的可靠性。
16.一种视频处理装置,其特征在于,所述装置包括用于执行如权利要求1~11任一项所述的方法的单元。
17.一种视频处理装置,其特征在于,所述装置包括用于执行如权利要求12~15任一项所述的方法的单元。
18.一种视频处理系统,其特征在于,包括如权利要求16所述的视频处理装置和如权利要求17所述的视频处理装置。
19.一种视频处理设备,其特征在于,包括存储器和处理器,所述存储器中存储有程序指令,所述处理器通过总线与所述存储器连接,所述处理器执行所述存储器中存储的程序指令,以使所述视频处理设备执行如权利要求1~11任一项所述的方法。
20.一种无线传输设备,其特征在于,包括存储器和处理器,所述存储器中存储有程序指令,所述处理器通过总线与所述存储器连接,所述处理器执行所述存储器中存储的程序指令,以使所述无线传输设备执行如权利要求12~15任一项所述的方法。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1~11任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求12~15任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811462770.2A CN111263192A (zh) | 2018-11-30 | 2018-11-30 | 视频处理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811462770.2A CN111263192A (zh) | 2018-11-30 | 2018-11-30 | 视频处理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111263192A true CN111263192A (zh) | 2020-06-09 |
Family
ID=70953870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811462770.2A Pending CN111263192A (zh) | 2018-11-30 | 2018-11-30 | 视频处理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111263192A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112911191A (zh) * | 2021-01-28 | 2021-06-04 | 联想(北京)有限公司 | 一种视频通话质量调整方法、装置、电子设备和存储介质 |
CN113507606A (zh) * | 2021-07-07 | 2021-10-15 | 深圳市朗强科技有限公司 | 超高清视频压缩算法的选择方法、选择装置及选择设备 |
CN114245198A (zh) * | 2021-12-17 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 媒体内容的处理方法、装置、电子设备及存储介质 |
CN114401404A (zh) * | 2022-03-24 | 2022-04-26 | 深圳比特微电子科技有限公司 | 一种vpu编码策略的实现方法和装置 |
WO2022151492A1 (zh) * | 2021-01-18 | 2022-07-21 | 华为技术有限公司 | 一种调度传输方法及装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102905200A (zh) * | 2012-08-07 | 2013-01-30 | 上海交通大学 | 一种视频感兴趣区域双流编码传输方法及系统 |
CN103458241A (zh) * | 2012-06-01 | 2013-12-18 | 三星电子株式会社 | 用于多层视频编码的速率控制方法和设备 |
CN104735470A (zh) * | 2015-02-11 | 2015-06-24 | 海信集团有限公司 | 一种流媒体数据传输方法及装置 |
CN104967914A (zh) * | 2015-06-19 | 2015-10-07 | 美国掌赢信息科技有限公司 | 一种即时视频的编码方法和电子设备 |
CN105163195A (zh) * | 2015-06-19 | 2015-12-16 | 美国掌赢信息科技有限公司 | 一种即时视频的编码方法和电子设备 |
CN105357592A (zh) * | 2015-10-26 | 2016-02-24 | 山东大学苏州研究院 | 一种流媒体自适应传输选择性丢帧方法 |
CN106210771A (zh) * | 2016-08-16 | 2016-12-07 | 广东中星电子有限公司 | 视频信息传输方法及视频信息传输系统 |
CN106604031A (zh) * | 2016-11-22 | 2017-04-26 | 金华就约我吧网络科技有限公司 | 一种基于兴趣区域的h.265视频质量提升方法 |
CN107181968A (zh) * | 2016-03-11 | 2017-09-19 | 腾讯科技(深圳)有限公司 | 一种视频数据的冗余控制方法和装置 |
US20170359596A1 (en) * | 2016-06-09 | 2017-12-14 | Apple Inc. | Video coding techniques employing multiple resolution |
CN108271021A (zh) * | 2016-12-30 | 2018-07-10 | 安讯士有限公司 | 基于注视感测的块级更新速率控制 |
-
2018
- 2018-11-30 CN CN201811462770.2A patent/CN111263192A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103458241A (zh) * | 2012-06-01 | 2013-12-18 | 三星电子株式会社 | 用于多层视频编码的速率控制方法和设备 |
CN102905200A (zh) * | 2012-08-07 | 2013-01-30 | 上海交通大学 | 一种视频感兴趣区域双流编码传输方法及系统 |
CN104735470A (zh) * | 2015-02-11 | 2015-06-24 | 海信集团有限公司 | 一种流媒体数据传输方法及装置 |
CN104967914A (zh) * | 2015-06-19 | 2015-10-07 | 美国掌赢信息科技有限公司 | 一种即时视频的编码方法和电子设备 |
CN105163195A (zh) * | 2015-06-19 | 2015-12-16 | 美国掌赢信息科技有限公司 | 一种即时视频的编码方法和电子设备 |
CN105357592A (zh) * | 2015-10-26 | 2016-02-24 | 山东大学苏州研究院 | 一种流媒体自适应传输选择性丢帧方法 |
CN107181968A (zh) * | 2016-03-11 | 2017-09-19 | 腾讯科技(深圳)有限公司 | 一种视频数据的冗余控制方法和装置 |
US20170359596A1 (en) * | 2016-06-09 | 2017-12-14 | Apple Inc. | Video coding techniques employing multiple resolution |
CN106210771A (zh) * | 2016-08-16 | 2016-12-07 | 广东中星电子有限公司 | 视频信息传输方法及视频信息传输系统 |
CN106604031A (zh) * | 2016-11-22 | 2017-04-26 | 金华就约我吧网络科技有限公司 | 一种基于兴趣区域的h.265视频质量提升方法 |
CN108271021A (zh) * | 2016-12-30 | 2018-07-10 | 安讯士有限公司 | 基于注视感测的块级更新速率控制 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022151492A1 (zh) * | 2021-01-18 | 2022-07-21 | 华为技术有限公司 | 一种调度传输方法及装置 |
CN112911191A (zh) * | 2021-01-28 | 2021-06-04 | 联想(北京)有限公司 | 一种视频通话质量调整方法、装置、电子设备和存储介质 |
CN113507606A (zh) * | 2021-07-07 | 2021-10-15 | 深圳市朗强科技有限公司 | 超高清视频压缩算法的选择方法、选择装置及选择设备 |
CN113507606B (zh) * | 2021-07-07 | 2024-05-28 | 深圳市朗强科技有限公司 | 超高清视频压缩算法的选择方法、选择装置及选择设备 |
CN114245198A (zh) * | 2021-12-17 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 媒体内容的处理方法、装置、电子设备及存储介质 |
CN114245198B (zh) * | 2021-12-17 | 2024-02-06 | 北京达佳互联信息技术有限公司 | 媒体内容的处理方法、装置、电子设备及存储介质 |
CN114401404A (zh) * | 2022-03-24 | 2022-04-26 | 深圳比特微电子科技有限公司 | 一种vpu编码策略的实现方法和装置 |
CN114401404B (zh) * | 2022-03-24 | 2022-07-26 | 深圳比特微电子科技有限公司 | 一种vpu编码策略的实现方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111263192A (zh) | 视频处理方法及相关设备 | |
US7974233B2 (en) | Systems and methods for transmitting and receiving data streams with feedback information over a lossy network | |
CN102450014B (zh) | 用于质量感知视频优化的方法和视频优化器 | |
US20090103635A1 (en) | System and method of unequal error protection with hybrid arq/fec for video streaming over wireless local area networks | |
CN110784740A (zh) | 视频处理方法、装置、服务器及可读存储介质 | |
US20050105625A1 (en) | Systems and methods for enhanced error concealment in a video decoder | |
CN101742289B (zh) | 视频码流压缩方法、系统及装置 | |
US8842159B2 (en) | Encoding processing for conferencing systems | |
US20120307904A1 (en) | Partial frame utilization in video codecs | |
RU2009116472A (ru) | Динамическая модификация свойств видео | |
CN103795996B (zh) | 3d视频传递方法和设备 | |
JP2013070436A (ja) | 損失の多いネットワークを通してデータを送信するためのシステム及び方法 | |
CN103493481A (zh) | 基于场景的适应性比特率控制 | |
CN111093083B (zh) | 数据传输方法及装置 | |
US6882686B2 (en) | System and method for object-oriented video processing | |
US20110067072A1 (en) | Method and apparatus for performing MPEG video streaming over bandwidth constrained networks | |
Meddeb et al. | ROI-based rate control using tiles for an HEVC encoded video stream over a lossy network | |
KR100511034B1 (ko) | 화상전송장치및화상전송방법 | |
Adeyemi-Ejeye et al. | Impact of packet loss on 4K UHD video for portable devices | |
CN111093082A (zh) | 一种流媒体直播的方法及系统 | |
JP5784823B2 (ja) | エンドツーエンドコード化ビデオ伝送システムのためのオンデマンドイントラリフレッシュ | |
US20060015799A1 (en) | Proxy-based error tracking for real-time video transmission in mobile environments | |
CN111225238A (zh) | 信息处理方法及相关设备 | |
US7079582B2 (en) | Image coding apparatus and image coding method | |
CN110062003A (zh) | 视频数据发送方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200609 |