CN115396729B - 视频目标帧确定方法、装置、设备及存储介质 - Google Patents
视频目标帧确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115396729B CN115396729B CN202211035665.7A CN202211035665A CN115396729B CN 115396729 B CN115396729 B CN 115396729B CN 202211035665 A CN202211035665 A CN 202211035665A CN 115396729 B CN115396729 B CN 115396729B
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- time
- decoding
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 239000000523 sample Substances 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请实施例公开了一种视频目标帧确定方法、装置、设备及存储介质，该方法包括：对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间，所述探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间；获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧；基于所述解码时间基准帧进行搜索得到视频目标帧。本方案，提高了视频目标帧的检索效率，使得视频播放响应更加及时，可以实现流畅的视频播放，提升了用户体验。
Description
技术领域
本申请实施例涉及视频播放技术领域，尤其涉及一种视频目标帧确定方法、装置、设备及存储介质。
背景技术
视频播放过程中，为了满足用户的播放需求，用户可拖动进度条修改视频的播放进度，或是打开视频并指定从某个进度开始播放。此时，播放器内部检索与用户选择的进度对应的视频帧，并从该确定出的视频帧进行画面播放。
相关技术中，针对携带有视频的I帧索引表的情况，根据该I帧索引表定位到目标帧附近的I帧，再基于该I帧开始逐帧解码直到目标帧后，进行渲染得到显示画面。然而，针对视频的I帧索引表缺失的情况，需要从视频的第一个帧开始逐帧搜索以确定目标帧，该种方式导致了操作耗时长、性能损耗高的问题，使得视频的播放迟钝，严重影响了用户体验。
发明内容
本申请实施例提供了一种视频目标帧确定方法、装置、设备及存储介质，解决了相关技术中，在确定视频目标帧时，操作耗时长、性能损耗高的问题，提高了视频目标帧的检索效率，使得视频播放响应更加及时，可以实现流畅的视频播放，提升了用户体验。
第一方面，本申请实施例提供了一种视频目标帧确定方法，该方法包括：
对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间，所述探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间；
获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧；
基于所述解码时间基准帧进行搜索得到视频目标帧。
第二方面，本申请实施例还提供了一种视频目标帧确定装置，包括：
信息缓存模块，配置为对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间，所述探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间；
搜索查询模块，配置为获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧，基于所述解码时间基准帧进行搜索得到视频目标帧。
第三方面，本申请实施例还提供了一种视频目标帧确定设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的视频目标帧确定方法。
第四方面，本申请实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请实施例所述的视频目标帧确定方法。
第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的视频目标帧确定方法。
本申请实施例中，通过对视频中视频帧的类型进行检测，根据检测结果将视频帧的帧信息存储至缓存中以得到探测区间，其中，探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间，获取选定的目标播放点，根据视频目标帧的显示时间以及探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧，再基于解码时间基准帧进行搜索得到视频目标帧。本方案提高了视频目标帧的检索效率，使得视频播放响应更加及时，可以实现流畅的视频播放，提升了用户体验。
附图说明
图1为本申请实施例提供的一种视频目标帧确定方法的流程图；
图2为本发明实施例提供的一种根据检测结果将视频帧的帧信息存储至缓存中的方法的流程图；
图3为本发明实施例提供的一种基于探测区间搜索确定解码时间基准帧的方法的流程图；
图4为本发明实施例提供的一种采用二分查找法确定解码时间基准帧的方法的流程图；
图5为本申请实施例提供的一种基于解码时间基准帧确定视频目标帧的方法的流程图；
图6为本申请实施例提供的一种确定视频目标帧并进行画面显示的方法的流程图；
图7为本申请实施例提供的一种视频目标帧确定装置的结构框图；
图8为本申请实施例提供的一种视频目标帧确定设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本申请实施例提供的一种视频目标帧确定方法的流程图，可用于视频播放时基于选中的播放点进行对应视频帧的确定，该方法可以由计算设备如服务器、笔记本电脑、平板电脑和智能手机等来执行，具体包括如下步骤：
步骤S101、对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间。
在一个实施例中，针对视频原有的I帧信息缺失的情况下，对视频中视频帧的类型进行检测。其中，I帧信息的缺失可以是原本视频应该携带的I帧索引表缺失、损坏或解析异常。
在一个实施例中，在对视频中视频帧的类型进行检测的过程可以是：在视频播放过程中，随着视频的播放进行逐帧的视频帧类型的检测；也可以是预先对视频文件进行解码，逐帧的进行视频帧类型的检测。例如可以是打开视频文件还未进行播放时，在接收到指定的播放时间点后执行上述步骤。
其中，根据检测结果将视频帧的帧信息进行缓存以得到探测区间。该探测区间用于后续进行目标播放时间点对应的视频目标帧的检索。
在一个实施例中，该探测区间记录的信息包括视频帧中的I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间。其中，I帧索引唯一对应一个视频中的I帧。示例性的，如检测到的第1个视频帧为I帧类型的视频帧，则添加至缓存中时，记录该视频帧的索引为1，当第二个I帧类型的视频帧被检测到时，假定该视频帧为第4帧，则添加索引为4。可选的，生成的探测区间可进一步包括索引序号，该索引序号根据检测到的I帧类型的视频帧，在添加时依次顺序的进行递增。例如，检测到第一个I帧类型的视频帧，在记录时对应的索引序号为1，在检测到第二个I帧类型的视频帧，在记录时对应的索引序号为2，依次类推。其中，关联的结束帧索引为和当前记录的I帧类型的视频帧关联的最后一个视频帧的索引。可选的，以每个GOP(Group of Pictures，视频帧组)为计算单位，其中一个GOP包含多个视频帧，其以I帧类型的视频帧作为第一帧，后续可包含P帧类型的视频帧、B帧类型的视频帧。其中，P帧为视频编解码中的向前参考帧，压缩率优于I帧，但P帧无法独立用于渲染画面，必须依赖于同一个GOP中在前面已经出现的I帧和其它P帧。B帧为视频编解码中的双向参考帧，压缩率比I帧、P帧高，但B帧无法独立用于渲染画面，比如依赖于出现在其前面和后面的I帧和P帧。和I帧索引关联的结束帧索引可以是同一个GOP中最后一个视频帧的索引。
其中，I帧索引关联的帧解码开始时间，记为该I帧类型的视频帧开始解码时的时间，如解码时的解码时间戳；该I帧索引关联的帧解码结束时间，为同一个计算单位(如一个GOP)中最后一个视频帧的解码结束时间。
图2为本发明实施例提供的一种根据检测结果将视频帧的帧信息存储至缓存中的方法的流程图，如图2所示，具体包括：
步骤S1011、在视频播放过程中，依次对每个视频帧的类型进行检测，如果视频帧的类型为I帧类型，则生成I帧索引以及关联的结束帧索引，并记录视频帧的帧解码开始时间以及帧解码结束时间。
示例性的，以一段包含9个视频帧的视频为例，如下表所示，每个视频帧序号对应一个视频帧，相应的视频帧类型包括I帧、B帧和P帧，以及每个视频帧的帧解码开始时间和帧解码结束时间。如视频帧序号为5的视频帧，其帧类型为B帧类型，对应的帧解码开始时间为160毫秒，帧解码结束时间为200毫秒。
| 视频帧序号 | 视频帧类型 | 帧解码开始时间 | 帧解码结束时间 |
| 1 | I | 0ms | 40ms |
| 2 | B | 40ms | 80ms |
| 3 | P | 80ms | 120ms |
| 4 | I | 120ms | 160ms |
| 5 | B | 160ms | 200ms |
| 6 | P | 200ms | 240ms |
| 7 | I | 240ms | 280ms |
| 8 | B | 280ms | 320ms |
| 9 | P | 320ms | 360ms |
此时，进行帧信息的缓存时，第一帧为I帧类型的视频帧，则生成I帧索引以及关联的结束帧索引，并记录视频帧的帧解码开始时间以及帧解码结束时间。相应的，如下表所示：
| 索引序号 | I帧索引 | 结束帧索引 | 帧解码开始时间 | 帧解码结束时间 |
| 1 | 1 | 1 | 0ms | 40ms |
步骤S1012、如果所述视频帧的类型为非I帧类型，则对关联的I帧类型的视频帧的结束帧索引和帧解码结束时间进行更新。
示例性的，以前述示例为例，在播放到第二帧时，对该帧类型检测，如果其为非I帧类型，则进行结束帧索引和帧解码结束时间的更新。具体可以是：将视频帧的结束帧索引值加一，以及帧解码结束时间更新为非I帧类型的视频帧的帧解码结束时间。此时更新后的表如下所示：
| 索引序号 | I帧索引 | 结束帧索引 | 帧解码开始时间 | 帧解码结束时间 |
| 1 | 1 | 2 | 0ms | 80ms |
在播放到第三帧时，该帧类型为P帧，相应的，将视频帧的结束帧索引值加一，以及帧解码结束时间更新为非I帧类型的视频帧的帧解码结束时间。此时更新后的表如下所示：
| 索引序号 | I帧索引 | 结束帧索引 | 帧解码开始时间 | 帧解码结束时间 |
| 1 | 1 | 3 | 0ms | 120ms |
在播放到第四帧时，该帧类型为I帧，相应的，生成I帧索引以及关联的结束帧索引，并记录视频帧的帧解码开始时间以及帧解码结束时间。此时更新后的表如下所示：
| 索引序号 | I帧索引 | 结束帧索引 | 帧解码开始时间 | 帧解码结束时间 |
| 1 | 1 | 3 | 0ms | 120ms |
| 2 | 4 | 4 | 120ms | 160ms |
依次类推进行帧信息的缓存以生成探测区间。
步骤S102、获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧。
在一个实施例中，进行帧信息的缓存后，可基于该缓存的帧信息进行视频目标帧的确定。在用户拖动播放条或直接定位播放点时，获取选定的目标播放点，根据视频目标帧的显示时间(如第1000毫秒)，在探测区间中记录的帧解码开始时间和帧解码结束时间进行查找以确定解码时间基准帧。
可选的，图3为本发明实施例提供的一种基于探测区间搜索确定解码时间基准帧的方法的流程图。其提供了一种可以显著提升查找效率的方法，如图所示，具体包括：
步骤S1021、获取视频帧信息，根据视频帧信息记录的帧解码时间、目标播放点的播放时间以及探测区间得到搜索区间。
步骤S1022、根据视频目标帧的显示时间以及搜索区间对应的帧解码开始时间和帧解码结束时间，确定解码时间基准帧。
其中，该视频帧信息可以是已经记录的视频播放点和对应的时间信息。示例性的，探测区间的时间范围为第0秒至第1800秒，目标播放点的播放时间示例性的为第100秒，此时记录的视频帧信息中记录了第500秒对应的视频帧，在进行该视频目标帧的确定时，仅需检索第0秒至第500秒的区间范围，该区间范围记为搜索区间，由此以提高搜索查询效率。
可选的，由于前述确定的搜索区间已经基于视频帧的解码时间进行顺序的排序，故搜索过程中采用二分法进行搜索。图4为本发明实施例提供的一种采用二分查找法确定解码时间基准帧的方法的流程图，具体包括：
步骤S1023、在搜索区间中进行二分查找，确定目标播放点的播放时间关联的帧解码开始时间和帧解码结束时间。
示例性的，假定在I帧索引为n至I帧索引为m的搜索区间进行搜索。采用二分查找法，确定第(n+m)/2帧索引对应的帧解码开始时间和帧解码结束时间，确定该目标播放点的播放时间是否处于该帧解码开始时间和帧解码结束时间的范围内，如果其大于帧解码结束时间，则在第(n+m)/2帧与第m帧之间进行二分查找；如果其小于帧解码开始时间，则在第n帧至第(n+m)/2帧之间进行二分查找，以确定其所处的帧解码开始时间和帧解码结束时间。如果其处于帧解码开始时间和帧解码结束时间，则将该解码开始时间和帧解码结束时确定为目标播放点的播放时间关联的帧解码开始时间和帧解码结束时间。需要说明的是，该确定出的和目标播放点的播放时间关联的帧解码开始时间和帧解码结束时间可能并非实际的目标播放点的播放时间所处的帧解码开始时间和帧解码结束时间。例如，在确定播放时间为1000毫秒的时间点时，其实际所处的帧解码开始时间和帧解码结束时间可以是1200毫秒至1400毫秒，而上述确定出的关联的帧解码开始时间和帧解码结束时间示例性的可能是900毫秒至1100毫秒。
步骤S1024、根据帧解码开始时间和帧解码结束时间确定对应的I帧索引以及关联的结束帧索引。
步骤S1025、将确定出的I帧索引以及关联的结束帧索引对应的视频帧确定为解码时间基准帧。
示例性的，如确定出视频播放帧处于I帧索引为150，结束帧索引156之间。可选的，可以将该I帧索引为150对应的视频帧以及后续的6帧视频帧作为解码时间基准帧，或者将第I帧索引为150对应的I帧类型的视频帧作为解码时间基准帧。
步骤S103、基于所述解码时间基准帧进行搜索得到视频目标帧。
在一个实施例中，由于前述确定的解码时间基准帧为基于解码时间确定的视频帧，而解码时间和显示时间存在差异。可选的，视频文件中视频帧的排列是根据解码时间从小到大进行排列，而显示时间不一定是从小到大排列，为了使用提高查找效率的查找算法(如二分查找法)必须基于一个有序的序列进行，故采用解码时间确定解码时间基准帧后，在基于该解码时间基准帧以确定最终的视频目标帧。虽然解码时间基准帧可能并不等同于最终的视频目标帧，但最终的视频目标帧一定处于该解码时间基准帧的附近。
可选的，图5为本申请实施例提供的一种基于解码时间基准帧确定视频目标帧的方法的流程图，如图5所示，具体包括：
步骤S1031、获取视频帧的显示时间信息，其中该，显示时间信息包括视频的每个视频帧以及对应的显示时间。
步骤S1032、在显示时间信息中基于目标播放点以及解码时间基准帧进行搜索确定视频目标帧。
在一个实施例中，确定出解码时间基准帧后，从包含显示时间信息的数据中进行基于该解码时间基准帧和目标播放点的搜索以确定最终的视频目标帧。可选的，在显示时间信息中查询该解码时间基准帧对应视频帧以及附近的视频帧的显示时间，将显示时间包含该目标播放点的播放时间的视频帧确定为视频目标帧。
由上述可知，通过对视频中视频帧的类型进行检测，根据检测结果将视频帧的帧信息存储至缓存中以得到探测区间，其中，探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间，获取选定的目标播放点，根据视频目标帧的显示时间以及探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧，再基于解码时间基准帧进行搜索得到视频目标帧。本方案提高了视频目标帧的检索效率，使得视频播放响应更加及时，可以实现流畅的视频播放，提升了用户体验。
图6为本申请实施例提供的一种确定视频目标帧并进行画面显示的方法的流程图，如图6所示，包括：
步骤S201、对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间。
步骤S202、获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧。
步骤S203、基于所述解码时间基准帧进行搜索得到视频目标帧。
步骤S204、判断视频目标帧是否为I帧类型，如果是，则执行步骤S205，否则执行步骤S206。
步骤S205、对所述视频目标帧进行解码显示。
步骤S206、进行视频帧的逐个前向搜索确定所述视频目标帧对应的I帧视频帧，基于该I帧视频帧对所述视频目标帧进行解码显示。
在一个实施例中，由于视频目标帧的解码需要I帧类型的视频帧，如果其本身为I帧类型，则可直接进行解码，否则进行进行视频帧的逐个前向搜索确定对应的I帧类型的视频帧后，基于该I帧视频帧对所述视频目标帧进行解码显示。
由上述方案可知，通过高效精确的对视频目标帧的检索确定，并进行相应的解码显示，使得视频播放响应更加及时，可以实现流畅的视频播放，提升了用户体验。
在上述技术方案的基础上，进一步包括确定音频目标帧的方法。可选的，在基于解码时间基准帧进行搜索得到视频目标帧之后，还包括：根据视频目标帧的显示时间，在音频帧信息中查找对应的音频目标帧，以用于视频目标帧和音频目标帧的同步播放。可选的，可采用二分查找法在音频帧信息中搜索该显示时间之后的第一个音频帧作为音频目标帧。其中，该音频帧信息按照音频播放顺序，依次记录有视频的每个音频帧以及对应的时间点。
图7为本申请实施例提供的一种视频目标帧确定装置的结构框图，该装置用于执行上述实施例提供的视频目标帧确定方法，具备执行方法相应的功能模块和有益效果。如图7所示，该装置具体包括：信息缓存模块101和搜索查询模块102，其中，
信息缓存模块101，配置为对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间，所述探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间；
搜索查询模块102，配置为获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧，基于所述解码时间基准帧进行搜索得到视频目标帧。
由上述方案可知，通过对视频中视频帧的类型进行检测，根据检测结果将视频帧的帧信息存储至缓存中以得到探测区间，其中，探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间，获取选定的目标播放点，根据视频目标帧的显示时间以及探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧，再基于解码时间基准帧进行搜索得到视频目标帧。本方案提高了视频目标帧的检索效率，使得视频播放响应更加及时，可以实现流畅的视频播放，提升了用户体验。
在一个可能的实施例中，所述信息缓存模块101，配置为：
在视频播放过程中，依次对每个视频帧的类型进行检测；
如果所述视频帧的类型为I帧类型，则生成I帧索引以及关联的结束帧索引，并记录所述视频帧的帧解码开始时间以及帧解码结束时间；
如果所述视频帧的类型为非I帧类型，则对关联的I帧类型的视频帧的结束帧索引和帧解码结束时间进行更新。
在一个可能的实施例中，所述信息缓存模块101，配置为：
将所述视频帧的结束帧索引值加一；
将所述帧解码结束时间更新为所述非I帧类型的视频帧的帧解码结束时间。
在一个可能的实施例中，所述搜索查询模块102，配置为：
获取视频帧信息，根据所述视频帧信息记录的帧解码时间、所述目标播放点的播放时间以及所述探测区间得到搜索区间，所述搜索区间的区间范围小于所述探测区间的范围；
根据所述目标播放点的播放时间以及所述搜索区间对应的帧解码开始时间和帧解码结束时间，确定解码时间基准帧。
在一个可能的实施例中，所述搜索查询模块102，配置为：
在所述搜索区间中进行二分查找，确定所述目标播放点的播放时间关联的帧解码开始时间和帧解码结束时间；
根据所述帧解码开始时间和帧解码结束时间确定对应的I帧索引以及关联的结束帧索引；
将确定出的所述I帧索引以及关联的结束帧索引对应的视频帧确定为解码时间基准帧。
在一个可能的实施例中，所述搜索查询模块102，配置为：
获取视频帧的显示时间信息，所述显示时间信息包括视频的每个视频帧以及对应的显示时间；
在所述显示时间信息中基于所述目标播放点以及所述解码时间基准帧进行搜索确定视频目标帧。
在一个可能的实施例中，该装置还包括解码显示模块103，配置为：
在所述基于所述解码时间基准帧进行搜索得到视频目标帧之后，在所述视频目标帧为I帧类型的情况下，对所述视频目标帧进行解码显示；
所述搜索查询模块102配置为：
在所述视频目标帧不为I帧类型的情况下，进行视频帧的逐个前向搜索确定所述视频目标帧对应的I帧视频帧；
所述解码显示模块103配置为：基于所述I帧视频帧对所述视频目标帧进行解码显示。
在一个可能的实施例中，该装置还包括音频帧确定模块，配置为：
在所述基于所述解码时间基准帧进行搜索得到视频目标帧之后，根据所述目标播放点的播放时间，在音频帧信息中查找对应的音频目标帧，以用于所述视频目标帧和所述音频目标帧的同步播放。
图8为本申请实施例提供的一种视频目标帧确定设备的结构示意图，如图8所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图8中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图8中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的视频目标帧确定方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视频目标帧确定方法。输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种上述实施例描述的视频目标帧确定方法，其中，包括：
对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间，所述探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间；
获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧；
基于所述解码时间基准帧进行搜索得到视频目标帧。
值得注意的是，上述视频目标帧确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的视频目标帧确定方法。所述程序产品可以采用一个或多个可读介质的任意组合实现。
Claims (10)
1.视频目标帧确定方法，其特征在于，包括：
对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间，所述探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间；
获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧；
基于所述解码时间基准帧进行搜索得到视频目标帧，其中，包括获取视频帧的显示时间信息，所述显示时间信息包括视频的每个视频帧以及对应的显示时间，在所述显示时间信息中基于所述目标播放点以及所述解码时间基准帧进行搜索确定视频目标帧。
2.根据权利要求1所述的视频目标帧确定方法，其特征在于，所述对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间，包括：
在视频播放过程中，依次对每个视频帧的类型进行检测；
如果所述视频帧的类型为I帧类型，则生成I帧索引以及关联的结束帧索引，并记录所述视频帧的帧解码开始时间以及帧解码结束时间；
如果所述视频帧的类型为非I帧类型，则对关联的I帧类型的视频帧的结束帧索引和帧解码结束时间进行更新。
3.根据权利要求2所述的视频目标帧确定方法，其特征在于，所述对关联的I帧类型的视频帧的结束帧索引和帧解码结束时间进行更新，包括：
将所述关联的I帧类型的视频帧的结束帧索引值加一；
将所述帧解码结束时间更新为所述非I帧类型的视频帧的帧解码结束时间。
4.根据权利要求1所述的视频目标帧确定方法，其特征在于，所述根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧，包括：
获取视频帧信息，根据所述视频帧信息记录的帧解码时间、所述目标播放点的播放时间以及所述探测区间得到搜索区间，所述搜索区间的区间范围小于所述探测区间的范围；
根据所述目标播放点的播放时间以及所述搜索区间对应的帧解码开始时间和帧解码结束时间，确定解码时间基准帧。
5.根据权利要求4所述的视频目标帧确定方法，其特征在于，所述根据所述目标播放点的播放时间以及所述搜索区间对应的帧解码开始时间和帧解码结束时间，确定解码时间基准帧，包括：
在所述搜索区间中进行二分查找，确定所述目标播放点的播放时间关联的帧解码开始时间和帧解码结束时间；
根据所述帧解码开始时间和帧解码结束时间确定对应的I帧索引以及关联的结束帧索引；
将确定出的所述I帧索引以及关联的结束帧索引对应的视频帧确定为解码时间基准帧。
6.根据权利要求1-5中任一项所述的视频目标帧确定方法，其特征在于，在所述基于所述解码时间基准帧进行搜索得到视频目标帧之后，还包括：
在所述视频目标帧为I帧类型的情况下，对所述视频目标帧进行解码显示；
在所述视频目标帧不为I帧类型的情况下，进行视频帧的逐个前向搜索确定所述视频目标帧对应的I帧视频帧，基于所述I帧视频帧对所述视频目标帧进行解码显示。
7.根据权利要求1-5中任一项所述的视频目标帧确定方法，其特征在于，在所述基于所述解码时间基准帧进行搜索得到视频目标帧之后，还包括：
根据所述目标播放点的播放时间，在音频帧信息中查找对应的音频目标帧，以用于所述视频目标帧和所述音频目标帧的同步播放。
8.视频目标帧确定装置，其特征在于，包括：
信息缓存模块，配置为对视频中视频帧的类型进行检测，根据检测结果将所述视频帧的帧信息存储至缓存中以得到探测区间，所述探测区间包括I帧索引以及关联的结束帧索引、帧解码开始时间和帧解码结束时间；
搜索查询模块，配置为获取选定的目标播放点，根据所述目标播放点的播放时间以及所述探测区间中记录的帧解码开始时间和帧解码结束时间，确定解码时间基准帧，基于所述解码时间基准帧进行搜索得到视频目标帧，其中，具体配置为获取视频帧的显示时间信息，所述显示时间信息包括视频的每个视频帧以及对应的显示时间，在所述显示时间信息中基于所述目标播放点以及所述解码时间基准帧进行搜索确定视频目标帧。
9.一种视频目标帧确定设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-7中任一项所述的视频目标帧确定方法。
10.一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行权利要求1-7中任一项所述的视频目标帧确定方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211035665.7A CN115396729B (zh) | 2022-08-26 | 2022-08-26 | 视频目标帧确定方法、装置、设备及存储介质 |
| PCT/CN2023/112828 WO2024041406A1 (zh) | 2022-08-26 | 2023-08-14 | 视频目标帧确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211035665.7A CN115396729B (zh) | 2022-08-26 | 2022-08-26 | 视频目标帧确定方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115396729A CN115396729A (zh) | 2022-11-25 |
| CN115396729B true CN115396729B (zh) | 2023-12-08 |
Family
ID=84123571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211035665.7A Active CN115396729B (zh) | 2022-08-26 | 2022-08-26 | 视频目标帧确定方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115396729B (zh) |
| WO (1) | WO2024041406A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117528154B (zh) * | 2024-01-04 | 2024-03-29 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频投放方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1349351A (zh) * | 2000-10-13 | 2002-05-15 | 北京算通数字技术研究中心有限公司 | 数据流索引文件生成及用该文件访问帧和切变镜头的方法 |
| CN104717509A (zh) * | 2015-03-31 | 2015-06-17 | 北京奇艺世纪科技有限公司 | 一种视频解码方法及装置 |
| CN112822522A (zh) * | 2020-12-31 | 2021-05-18 | 北京梧桐车联科技有限责任公司 | 视频播放方法、装置、设备及存储介质 |
| CN112929755A (zh) * | 2021-01-21 | 2021-06-08 | 稿定（厦门）科技有限公司 | 进度拖动过程中的视频文件播放方法及装置 |
| CN113225585A (zh) * | 2020-01-21 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 一种视频清晰度的切换方法、装置、电子设备以及存储介质 |
| CN113542888A (zh) * | 2021-07-09 | 2021-10-22 | 北京百度网讯科技有限公司 | 视频的处理方法和装置 |
| CN113573101A (zh) * | 2021-07-09 | 2021-10-29 | 百果园技术(新加坡)有限公司 | 视频编码方法、装置、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100765787B1 (ko) * | 2006-06-15 | 2007-10-12 | 삼성전자주식회사 | 압축 부호화된 영상 데이터 스트림의 재생 방법 및 그 장치 |
| KR101727316B1 (ko) * | 2010-10-08 | 2017-04-17 | 삼성전자 주식회사 | 비디오 재생장치 및 그 위치탐색방법 |
| CN109348251B (zh) * | 2018-10-08 | 2021-05-11 | 腾讯科技（深圳）有限公司 | 用于视频播放的方法、装置、计算机可读介质及电子设备 |
| CN111083573A (zh) * | 2018-10-22 | 2020-04-28 | 杭州海康威视系统技术有限公司 | 一种视频文件处理方法、装置和存储节点 |
| CN111436005B (zh) * | 2019-01-15 | 2022-03-08 | 北京字节跳动网络技术有限公司 | 用于显示图像的方法和装置 |
| CN113259779B (zh) * | 2021-07-01 | 2021-09-17 | 杭州觅睿科技股份有限公司 | 一种视频处理方法、装置、设备及存储介质 |
-
2022
- 2022-08-26 CN CN202211035665.7A patent/CN115396729B/zh active Active
-
2023
- 2023-08-14 WO PCT/CN2023/112828 patent/WO2024041406A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1349351A (zh) * | 2000-10-13 | 2002-05-15 | 北京算通数字技术研究中心有限公司 | 数据流索引文件生成及用该文件访问帧和切变镜头的方法 |
| CN104717509A (zh) * | 2015-03-31 | 2015-06-17 | 北京奇艺世纪科技有限公司 | 一种视频解码方法及装置 |
| CN113225585A (zh) * | 2020-01-21 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 一种视频清晰度的切换方法、装置、电子设备以及存储介质 |
| CN112822522A (zh) * | 2020-12-31 | 2021-05-18 | 北京梧桐车联科技有限责任公司 | 视频播放方法、装置、设备及存储介质 |
| CN112929755A (zh) * | 2021-01-21 | 2021-06-08 | 稿定（厦门）科技有限公司 | 进度拖动过程中的视频文件播放方法及装置 |
| CN113542888A (zh) * | 2021-07-09 | 2021-10-22 | 北京百度网讯科技有限公司 | 视频的处理方法和装置 |
| CN113573101A (zh) * | 2021-07-09 | 2021-10-29 | 百果园技术(新加坡)有限公司 | 视频编码方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| McFIS: Better I-frame for video coding;M. Paul et al.;《2010 IEEE International Symposium on Circuits and Systems (ISCAS)》;2171-2174 * |
| 对等网络视频点播系统研究;宋伟;《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》(2009年第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024041406A1 (zh) | 2024-02-29 |
| CN115396729A (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200322684A1 (en) | Video recommendation method and apparatus | |
| US10025695B2 (en) | Enhancing GUI automation testing using video | |
| WO2022143688A1 (zh) | 视频抽帧处理方法、装置、设备及介质 | |
| CN107426603B (zh) | 一种视频播放方法及装置 | |
| US20180157657A1 (en) | Method, apparatus, client terminal, and server for associating videos with e-books | |
| US10169053B2 (en) | Loading a web page | |
| CN115396729B (zh) | 视频目标帧确定方法、装置、设备及存储介质 | |
| CN112532998B (zh) | 抽取视频帧的方法、装置、设备和可读存储介质 | |
| CN114036431A (zh) | 页面缓存跳转方法、装置、电子设备及存储介质 | |
| CN112685672B (zh) | 页面会话行为轨迹的回溯方法、装置及电子设备 | |
| US9779093B2 (en) | Spatial seeking in media files | |
| CN110046263A (zh) | 多媒体推荐方法、装置、服务器及存储介质 | |
| CN111263211B (zh) | 一种缓存视频数据的方法及终端设备 | |
| CN104753811A (zh) | 一种流媒体业务优化方法、设备及系统 | |
| US10237512B1 (en) | Automated in-play detection and video processing | |
| CN104796754A (zh) | 一种收藏页面的显示方法及装置 | |
| CN104751870A (zh) | 一种信息处理方法及电子设备 | |
| CN100488246C (zh) | 恢复重现系统 | |
| CN103210389B (zh) | 一种元数据的处理方法和装置 | |
| US8443015B2 (en) | Apparatus and method for providing content and content analysis results | |
| JP2020525949A (ja) | メディア検索方法及び装置 | |
| CN111147954A (zh) | 一种缩略图抽取方法及装置 | |
| CN111354383B (zh) | 一种音频缺陷定位方法、装置及终端设备 | |
| US10726877B2 (en) | System and method for generating a compression invariant motion timeline | |
| CN111083497A (zh) | 一种视频截图方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |