CN114329049A - 视频搜索方法、装置、计算机设备和存储介质 - Google Patents
视频搜索方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114329049A CN114329049A CN202110954938.7A CN202110954938A CN114329049A CN 114329049 A CN114329049 A CN 114329049A CN 202110954938 A CN202110954938 A CN 202110954938A CN 114329049 A CN114329049 A CN 114329049A
- Authority
- CN
- China
- Prior art keywords
- video
- search
- video frame
- frame
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003993 interaction Effects 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 58
- 238000004590 computer program Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 13
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 230000001976 improved effect Effects 0.000 abstract description 27
- 238000000605 extraction Methods 0.000 description 46
- 238000005516 engineering process Methods 0.000 description 31
- 238000012549 training Methods 0.000 description 25
- 239000000284 extract Substances 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 18
- 230000004927 fusion Effects 0.000 description 17
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000002372 labelling Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 7
- 230000006399 behavior Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种视频搜索方法、装置、计算机设备和存储介质。所述方法包括:获取视频搜索信息,基于所述视频搜索信息进行视频搜索,得到搜索视频;从所述搜索视频中获取候选展示视频帧集合,所述候选展示视频帧集合包括多个候选展示视频帧;获取所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度;基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧;发送视频搜索结果,所述视频搜索结果包括所述目标展示视频帧。采用本方法能够提高视频搜索结果的有效性。
Description
技术领域
本申请涉及视频处理技术领域,特别是涉及一种视频搜索方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术以及多媒体技术的发展,人们对多媒体信息的需求越来越多,视频作为一种多媒体信息,逐渐成为人们在日常生活中获取信息的重要途径,例如人们通过短视频可以获取最近的新闻或热度较高的信息。
目前,人们可以在视频播放软件中搜索视频,视频播放软件将搜索到的多个视频的视频搜索结果进行展示,人们可以根据展示的视频搜索结果从展示的多个视频中选择有意向的视频进行播放。然而,经常存在需要多次选择搜索得到的视频,才能找到所需要的视频的情况,即所展示的视频搜索结果的有效性较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高视频搜索结果的有效性的视频搜索方法、装置、计算机设备和存储介质。
一种视频搜索方法,所述方法包括:获取视频搜索信息,基于所述视频搜索信息进行视频搜索,得到搜索视频;从所述搜索视频中获取候选展示视频帧集合,所述候选展示视频帧集合包括多个候选展示视频帧;获取所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度;基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧;发送视频搜索结果,所述视频搜索结果包括所述目标展示视频帧。
一种视频搜索装置,所述装置包括:搜索视频得到模块,用于获取视频搜索信息,基于所述视频搜索信息进行视频搜索,得到搜索视频;候选展示视频帧集合得到模块,用于从所述搜索视频中获取候选展示视频帧集合,所述候选展示视频帧集合包括多个候选展示视频帧;候选信息相关度得到模块,用于获取所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度;目标展示视频帧得到模块,用于基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧;视频搜索结果发送模块,用于发送视频搜索结果,所述视频搜索结果包括所述目标展示视频帧。
在一些实施例中,所述目标展示视频帧得到模块包括:原始展示视频帧获取单元,用于获取所述搜索视频对应的原始展示视频帧;原始信息相关度获取单元,用于获取所述原始展示视频帧与所述视频搜索信息之间的信息相关度,作为原始信息相关度;第一目标展示视频帧得到单元,用于确定所述候选信息相关度相对于所述原始信息相关度的相对差异值,从所述候选展示视频帧集合中选取得到相对差异值大于差异阈值的候选展示视频帧,将所述相对差异值大于差异阈值的候选展示视频帧中的至少一个作为所述视频搜索信息相关的目标展示视频帧。
在一些实施例中,所述原始信息相关度获取单元还用于获取所述原始展示视频帧与所述视频搜索信息之间的特征相关度,作为原始特征相关度;获取所述原始展示视频帧所对应的视频互动度,所述视频互动度是将所述原始展示视频帧作为所述搜索视频的视频搜索结果进行展示时,所述搜索视频的视频交互度;基于所述视频互动度以及原始特征相关度得到所述原始展示视频帧与所述视频搜索信息之间的原始信息相关度;所述原始信息相关度与所述视频互动度以及所述原始特征相关度成正相关关系。
在一些实施例中,所述原始信息相关度获取单元还用于获取将所述原始展示视频帧作为所述搜索视频的视频搜索结果进行展示时,所述搜索视频对应的视频播放可能度;获取将所述原始展示视频帧作为所述搜索视频的视频搜索结果进行展示时,所述搜索视频对应的视频播放完成度;基于所述视频播放可能度以及所述视频播放完成度得到所述原始展示视频帧对应的视频互动度;所述视频互动度与所述视频播放可能度以及所述视频播放完成度成正相关关系。
在一些实施例中,所述候选信息相关度得到模块包括:帧特征相关度得到单元,用于获取所述候选展示视频帧与所述视频搜索信息之间的特征相关度,作为帧特征相关度;片段特征相关度得到单元,用于获取视频片段与所述视频搜索信息之间的特征相关度,作为片段特征相关度,其中,所述候选展示视频帧是从所述视频片段中获取的,所述视频片段是对所述搜索视频进行切分得到的;候选信息相关度得到单元,用于基于所述帧特征相关度以及所述片段特征相关度,得到所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度,所述候选信息相关度与所述帧特征相关度以及所述片段特征相关度成正相关关系。
在一些实施例中,所述候选展示视频帧集合得到模块包括:视频片段集合得到单元,用于获取对所述搜索视频帧进行切分得到的视频片段集合,所述视频片段集合包括多个视频片段;关键帧检测结果得到单元,用于将所述视频片段对应的视频帧序列中的各个视频帧进行特征提取,得到视频帧特征序列,基于所述视频帧特征序列得到所述视频帧序列中各个视频帧所对应的关键帧检测结果;候选展示视频帧得到单元,用于基于所述视频帧序列中各个视频帧所对应的关键帧检测结果,从所述视频帧序列中提取得到所述视频片段所对应的关键帧,作为所述候选展示视频帧集合中的候选展示视频帧。
在一些实施例中,所述搜索视频为多个,所述目标展示视频帧得到模块包括:选取展示视频帧集合组成单元,用于基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的候选展示视频帧,组成所述搜索视频对应的选取展示视频帧集合;第二目标展示视频帧得到单元,用于从各个所述搜索视频分别对应的选取展示视频帧集合中,选取得到各个所述搜索视频对应的目标展示视频帧;其中,各个所述搜索视频对应的目标展示视频帧之间的视频帧差异度大于差异度阈值。
在一些实施例中,所述第二目标展示视频帧得到单元还用于确定待选取目标展示视频帧的搜索视频,作为当前视频;获取各个对比视频对应的目标展示视频帧,组成对比视频帧集合,所述对比视频为已确定目标展示视频帧的搜索视频;从当前视频对应的选取展示视频帧集合中,选取与所述对比视频帧集合中的目标展示视频帧之间的视频帧差异度大于差异度阈值的视频帧,将大于差异度阈值的视频帧作为当前视频对应的目标展示视频帧。
在一些实施例中,所述第二目标展示视频帧得到单元还用于按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧;获取当前展示视频帧与所述对比视频帧集合中的目标展示视频帧之间的当前视频帧差异度;当所述对比视频帧集合中的各个目标展示视频帧对应的当前视频帧差异度大于差异度阈值时,则将当前展示视频帧作为当前视频对应的目标展示视频帧,否则返回按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧的步骤。
在一些实施例中,所述第二目标展示视频帧得到单元还用于包括:确定各个所述搜索视频所对应的搜索结果排序;按照所述搜索结果排序从搜索得到的多个所述搜索视频中依次确定待选取目标展示视频帧的搜索视频,作为当前视频。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取视频搜索信息,基于所述视频搜索信息进行视频搜索,得到搜索视频;从所述搜索视频中获取候选展示视频帧集合,所述候选展示视频帧集合包括多个候选展示视频帧;获取所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度;基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧;发送视频搜索结果,所述视频搜索结果包括所述目标展示视频帧。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取视频搜索信息,基于所述视频搜索信息进行视频搜索,得到搜索视频;从所述搜索视频中获取候选展示视频帧集合,所述候选展示视频帧集合包括多个候选展示视频帧;获取所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度;基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧;发送视频搜索结果,所述视频搜索结果包括所述目标展示视频帧。
上述视频搜索方法、装置、计算机设备和存储介质,获取视频搜索信息,基于视频搜索信息进行视频搜索,得到搜索视频,从搜索视频中获取候选展示视频帧集合,候选展示视频帧集合包括多个候选展示视频帧,获取候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度,基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧,发送视频搜索结果,视频搜索结果包括目标展示视频帧,从而将搜索到的视频中与视频搜索信息相关度较大的视频帧返回到终端,提高了视频搜索结果与视频搜索信息的相关度,从而提高了视频搜索结果的有效性。
一种视频搜索方法,所述方法包括:展示搜索信息输入区域;通过所述搜索信息输入区域接收视频搜索信息;响应于针对所述搜索信息输入区域的搜索操作,触发基于所述视频搜索信息进行的视频搜索;展示搜索得到的搜索视频对应的视频搜索结果,所述视频搜索结果包括所述搜索视频中与所述视频搜索信息相关的目标展示视频帧,所述目标展示视频帧作为所述视频搜索结果中的视频展示帧进行展示。
一种视频搜索装置,所述装置包括:搜索信息输入区域展示模块,用于展示搜索信息输入区域;视频搜索信息接收模块,用于通过所述搜索信息输入区域接收视频搜索信息;视频搜索触发模块,用于响应于针对所述搜索信息输入区域的搜索操作,触发基于所述视频搜索信息进行的视频搜索;视频搜索结果展示模块,用于展示搜索得到的搜索视频对应的视频搜索结果,所述视频搜索结果包括所述搜索视频中与所述视频搜索信息相关的目标展示视频帧,所述目标展示视频帧作为所述视频搜索结果中的视频展示帧进行展示。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:展示搜索信息输入区域;通过所述搜索信息输入区域接收视频搜索信息;响应于针对所述搜索信息输入区域的搜索操作,触发基于所述视频搜索信息进行的视频搜索;展示搜索得到的搜索视频对应的视频搜索结果,所述视频搜索结果包括所述搜索视频中与所述视频搜索信息相关的目标展示视频帧,所述目标展示视频帧作为所述视频搜索结果中的视频展示帧进行展示。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:展示搜索信息输入区域;通过所述搜索信息输入区域接收视频搜索信息;响应于针对所述搜索信息输入区域的搜索操作,触发基于所述视频搜索信息进行的视频搜索;展示搜索得到的搜索视频对应的视频搜索结果,所述视频搜索结果包括所述搜索视频中与所述视频搜索信息相关的目标展示视频帧,所述目标展示视频帧作为所述视频搜索结果中的视频展示帧进行展示。
在一些实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
上述视频搜索方法、装置、计算机设备和存储介质,展示搜索信息输入区域,通过搜索信息输入区域接收视频搜索信息,响应于针对搜索输入区域的搜索操作,触发基于视频搜索信息进行的视频搜索,展示搜索得到的搜索视频对应的视频搜索结果,视频搜索结果包括搜索视频中与视频搜索信息相关的目标展示视频帧,目标展示视频帧作为视频搜索结果中的视频展示帧进行展示,提高了视频搜索结果与视频搜索信息的相关度,提高了视频搜索结果的有效性。
附图说明
图1为一些实施例中视频搜索方法的应用环境图;
图2为一些实施例中视频搜索方法的流程示意图;
图3为一些实施例中视频帧相关度检测模型的结构图;
图4为一些实施例中片段相关度检测模型的结构图;
图5为一些实施例中视频搜索界面的示意图;
图6为一些实施例中视频搜索界面的示意图;
图7为一些实施例中视频搜索方法的流程示意图;
图8为一些实施例中视频搜索方法的原理图;
图9为一些实施例中视频搜索装置的结构框图;
图10为一些实施例中视频搜索装置的结构框图;
图11为一些实施例中计算机设备的内部结构图;
图12为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术和语音合成技术以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的语音技术、图像处理以及机器学习等技术,具体通过如下实施例进行说明:
本申请提供的视频搜索方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。终端102中可以安装有视频播放软件,服务器104可以为视频播放软件对应的服务器,视频播放软件例如可以是播放短视频的视频软件,终端102可以展示视频播放软件对应的用户界面,通过用户界面接收用户输入或选择的搜索信息,当通过用户界面接收到视频搜索指令时,向服务器104发送携带搜索信息的视频搜索请求,服务器104可以响应于视频搜索请求,获取搜索信息对应的视频,将搜索信息对应的视频返回至终端102,终端102可以在视频播放软件对应的用户界面上展示服务器104返回的视频。服务器104也可以是视频网站对应的服务器,终端102可以访问视频网站,通过视频网站对应的网页接收搜索信息,当通过网页接收到视频搜索指令时,向服务器104发送视频搜索请求,并将视频搜索请求所请求到的视频展示在网页上。视频网站也可以称为视频站点。视频站点可以支持搜索功能,用户可通过视频站点的搜索功能搜索意图观看的视频内容。
具体地,终端102可以在视频播放软件或视频网站对应的界面中展示搜索信息输入区域,通过搜索信息输入区域接收视频搜索信息,响应于针对搜索输入区域的搜索操作,触发基于视频搜索信息进行的视频搜索,向服务器发送携带视频搜索信息的视频搜索请求。服务器104可以响应于视频搜索请求,从视频搜索请求中获取视频搜索信息,基于视频搜索信息进行视频搜索,得到搜索视频,从搜索视频中获取候选展示视频帧集合,候选展示视频帧集合包括多个候选展示视频帧,获取候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度,基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧,向终端102发送视频搜索结果,视频搜索结果包括目标展示视频帧。终端102可以展示视频搜索结果,即可以展示各个搜索视频分别对应的目标展示视频帧,例如可以将目标展示视频帧作为视频封面图进行展示。
其中,终端102可以但不限于是笔记本电脑、智能手机、平板电脑、台式电脑、智能电视、智能音响、智能手表、车载计算机和便携式可穿戴设备等,但并不局限于此。服务器104可以是独立的物理服务器,也能够是多个物理服务器构成的服务器集群或者分布式系统,还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
可以理解,上述应用场景仅是一种示例,并不构成对本申请实施例提供的视频搜索的限定,本申请实施例提供的方法还可以应用在其他应用场景中,例如本申请提供的视频搜索可以是由终端102执行,终端102可以将得到的视频搜索结果上传至服务器104,服务器104可以存储视频搜索结果,也可以将视频搜索结果转发至其他终端设备。
在一些实施例中,如图2所示,提供了一种视频搜索方法,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行,具体地,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤:
S202,获取视频搜索信息,基于视频搜索信息进行视频搜索,得到搜索视频。
其中,视频搜索信息是用于搜索视频的信息。搜索视频是利用视频搜索信息所搜索到的视频。搜索视频可以为一个或者多个,多个是指至少两个。视频搜索信息还可以称为“用户当前query”。
具体地,终端可以展示视频搜索界面,通过视频搜索界面接收用于选择或者输入的视频搜索信息,当终端接收到视频搜索操作时,向服务器发送携带视频搜索信息的视频搜索请求。服务器可以响应于视频搜索请求,从视频搜索请求中提取视频搜索信息,从候选视频集合中搜索得到与视频搜索信息所匹配的视频,作为搜索视频。其中,候选视频集合可以是预先存储在服务器中的,也可以是服务器从其他的设备获取的。候选视频集合中包括多个候选视频。
在一些实施例中,候选视频集合中的各个候选视频可以对应有视频标签,服务器可以将视频搜索信息与视频标签进行对比,将对比一致的视频作为搜索视频。视频标签可以包括视频的主题、视频所属的场景或者视频中的对象中的至少一个,对象可以是人或动物。
在一些实施例中,服务器可以获取各个搜索视频对应的原始展示视频帧,将各个搜索视频分别对应的原始展示视频帧返回至终端,终端可以对各个搜索视频分别对应的原始展示视频帧进行展示。其中,展示视频帧是与视频相关的视频帧,展示视频帧可以用于体现视频的内容,可以用于对搜索视频进行介绍,因此可以用于展示在介绍视频的场景中,例如作为视频的封面图片。展示视频帧例如可以是与搜索视频的标题、主题、场景或关键人物相关的图像,展示视频帧可以是从搜索视频中提取的视频图像,例如可以是根据视频搜索信息从搜索视频中提取的视频图像,例如可以从搜索视频中选取与视频搜索信息之间的相关度大于相关度阈值的视频帧作为展示视频帧。相关度阈值也可以预设或根据需要设置。原始展示视频帧是指搜索视频当前时间采用的展示视频帧。搜索视频对应的展示视频帧可以是不断更新的,例如可以随着时间对搜索视频的展示视频帧进行更新,不同的时间采用的展示视频帧可以是相同的也可以是不同的,或者可以根据视频搜索信息确定搜索视频对应的展示视频帧,即展示视频帧可以是随着视频搜索信息而更新的。
在一些实施例中,终端可以将展示视频帧作为搜索视频的封面图进行展示,视频的封面图用于触发播放对应的视频,例如当终端获取到对封面图的点击操作时,终端可以响应于该点击操作,从服务器获取该视频帧对应的视频并播放该封面图对应的视频。视频的封面图为视频的一个展示要素,通过视频封面图可以直观的了解视频的内容。
S204,从搜索视频中获取候选展示视频帧集合,候选展示视频帧集合包括多个候选展示视频帧。
其中,候选展示视频帧集合包括多个候选展示视频帧,候选展示视频帧集合是指待从中选取出与视频搜索信息匹配的视频帧的集合,例如可以将候选展示视频帧集合中的至少一个视频帧作为与视频搜索信息匹配的视频帧,可以将候选展示视频帧集合中所有的视频帧作为与视频搜索信息匹配的视频帧,当然,也可以计算候选展示视频帧与视频搜索信息之间的相关度,根据计算得到的相关度从候选展示视频帧集合中选取得到与视频搜索信息匹配的视频帧。候选展示视频帧可以是从搜索视频中提取的视频图像,例如候选展示视频帧可以包括视频的关键帧。候选展示视频帧集合可以包括搜索视频对应的原始展示视频帧,当然也可以不包括原始展示视频帧。
关键帧是指搜索视频中关键性的视频帧,用于体现搜索视频的关键信息,例如可以是与搜索视频的标题、主题、场景或关键人物中的至少一个相关的视频帧。搜索视频中可以包括关键帧对应的关键帧标识,关键帧标识用于指示视频帧为关键帧,当然搜索视频中也可以不包含关键帧标识,搜索视频中的关键帧可以通过对搜索视频进行检测所得到的,例如可以利用关键帧检测网络检测得到搜索视频中的关键帧。关键帧检测网络用于检测视频中的关键帧。
具体地,服务器可以按照视频帧间隔从搜索视频中提取视频帧,将提取出的视频帧作为候选展示视频帧集合中的候选展示视频帧,视频帧间隔可以预设或者根据需要设置,例如可以是10帧。
在一些实施例中,服务器可以对搜索视频进行切分,将切分得到的视频片段组成视频片段集合,从各个视频片段中分别提取一个或者多个视频帧,将从各个视频片段中提取的视频帧作为候选展示视频帧,例如可以从视频片段中提取关键帧,将从各个视频片段中提取的关键帧作为候选展示视频帧。
在一些实施例中,服务器可以按照目标帧间隔或者目标时间间隔中的任意一个对目标视频进行切分,得到各个视频片段。其中,目标帧间隔以及目标时间间隔可以是预设的或者根据需要设置。目标帧间隔是指视频片段中包括的视频帧的数量,目标时间间隔是指视频片段占用的时长,目标帧间隔例如可以是10帧,目标时间间隔例如可以是1秒。目标时间间隔还可以称为时间区间长度,例如可以基于时间区间长度t对搜索视频进行切分,得到多个时长为t的视频片段,组成视频片段集合。
在一些实施例中,服务器可以获取已训练的关键帧检测网络,利用已训练的关键帧检测网络对视频片段进行关键帧检测,得到视频片段中的关键帧,组成关键帧序列。关键帧检测网络用于从视频片段中确定关键帧。服务器可以将视频片段对应的视频帧序列输入到视频关键帧序列标注模型中,利用视频关键帧序列标注模型输出关键帧序列。视频帧序列是将视频片段中的视频帧按照播放时间从前到后排列得到的序列。其中,关键帧序列中包括各个从视频片段中确定的关键帧,关键帧序列中的各个关键帧可以是按照在视频帧序列中的排序进行排列的。关键帧检测网络例如可以是视频关键帧序列标注模型。视频关键帧序列标注模型用于对视频片段对应的视频帧序列中的各个视频帧进行标注,从而得到各个视频帧分别对应的标注信息,根据标注信息确定视频帧是否为关键帧,将各个关键帧组成关键帧序列,输出视频片段对应的关键帧序列。其中,标注信息包括用于表征视频帧为关键帧的正向标注信息,还可以包括用于表征视频帧为非关键帧的负向标注信息,正向标注信息以及负向标注信息可以是预设或者根据需要设置的,正向标注信息例如可以为1,负向标注信息例如可以为0,即0表示视频帧为非关键帧,1表示视频帧为关键帧。
在一些实施例中,服务器可以获取待训练的关键帧检测网络,获取训练视频片段,获取训练视频片段中各个视频帧分别对应的标准标注信息,标准标注信息为视频帧对应的正确的标注信息,即当视频帧为关键帧时,标准标注信息为正向标注信息,当视频帧不是关键帧时,标准标注信息为负向标注信息。将训练视频片段对应的视频帧序列输入到关键帧检测网络中,关键帧检测网络对训练视频帧序列中各个视频帧进行标注,得到各个视频帧分别对应的预测标注信息,基于标准标注信息与预测标注信息之间的标注信息差异,得到标注网络损失值,标注信息差异是指标准标注信息与预测标注信息之间的差异,标注网络损失值与标注信息差异成正相关关系,服务器可以朝着使得标注网络损失值变小的方向调整关键帧检测网络的网络参数,直至满足网络收敛条件,将满足网络收敛条件的关键帧检测网络作为已训练的关键帧检测网络。
其中,正相关关系指的是:在其他条件不变的情况下,两个变量变动方向相同,一个变量由大到小变化时,另一个变量也由大到小变化。可以理解的是,这里的正相关关系是指变化的方向是一致的,但并不是要求当一个变量有一点变化,另一个变量就必须也变化。例如,可以设置当变量a为10至20时,变量b为100,当变量a为20至30时,变量b为120。这样,a与b的变化方向都是当a变大时,b也变大。但在a为10至20的范围内时,b可以是没有变化的。
S206,获取候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度。
其中,信息相关度是指视频帧与视频搜索信息之间的相关度,候选信息相关度是指候选展示视频帧与视频搜索信息之间的相关度。候选信息相关度越大,则说明候选展示视频帧与视频搜索信息越匹配。
具体地,服务器可以对候选展示视频帧进行图像特征提取,将提取到的图像特征作为候选展示视频帧对应的候选视频帧特征,可以对视频搜索信息进行文本特征提取,将提取的文本特征作为搜索信息特征,对候选视频帧特征与搜索信息特征进行相关度计算,将计算得到的相关度作为候选展示视频帧对应的帧特征相关度,基于帧特征相关度得到候选信息相关度,候选信息相关度与帧特征相关度成正相关关系,例如可以将帧特征相关度作为候选信息相关度,或者对帧特征相关度进行调整,将调整后得到的结果作为候选信息相关度。其中,可以采用余弦相似度计算公式进行相关度计算,例如可以计算候选视频帧特征与搜索信息特征之间的余弦相似度,将该余弦相似度作为候选展示视频帧对应的帧特征相关度。当然,相关度计算方法还可以采用其他的方式,这里不做限定。
在一些实施例中,服务器可以利用已训练的视频帧相关度检测模型确定候选展示视频帧与视频搜索信息之间的帧特征相关度。如图3所示,展示了一个视频帧相关度检测模型的结构图,视频帧相关度检测模型可以包括搜索信息特征提取网络、视频帧特征提取网络以及帧特征相关度检测单元,搜索信息特征提取网络用于对视频搜索信息进行文本特征提取,得到视频搜索信息对应的搜索信息特征,视频帧特征提取网络用于对视频帧进行图像特征提取,得到视频帧特征,例如对候选展示视频帧进行图像特征提取,得到候选展示视频帧对应的候选视频帧特征。帧特征相关度检测单元用于对视频帧特征与搜索信息特征进行相关度计算,得到帧特征相关度。
在一些实施例中,服务器可以获取待训练的视频帧相关度检测模型,获取训练搜索信息以及训练样本,训练样本可以包括正样本或负样本中的至少一种,正样本是与训练搜索信息相关或者相关度大于相关度阈值的视频帧,负样本是与训练搜索信息无关或者相关度小于相关度阈值的视频帧。服务器可以利用训练样本以及训练搜索信息对视频帧相关度检测模型进行训练,得到已训练的视频帧相关度检测模型。
在一些实施例中,候选展示视频帧是从搜索视频切分得到的视频片段中获取的。服务器可以从切分得到的各个视频片段中确定候选展示视频帧对应的视频片段,计算候选展示视频帧对应的视频片段与视频搜索信息之间的相关度,例如可以对视频片段进行特征提取得到视频片段特征,将视频片段特征与搜索信息特征进行相关度计算,得到片段特征相关度,基于片段特征相关度以及帧特征相关度确定候选展示视频帧对应的候选信息相关度。其中,可以采用余弦相似度计算公式计算片段特征相关度,也可以利用注意力机制计算得到片段特征相关度,例如可以利用公式(1)计算得到片段特征相关度,其中,Q表示视频片段特征,K表示搜索信息特征,V表示搜索信息特征。Attention(Q,K,V)表示片段特征相关度。dk为特征的维度。
在一些实施例中,视频片段特征可以包括文本内容特征、图像内容特征或音频内容特征中的至少一种。文本内容特征为视频片段中的文本内容对应的特征,图像内容特征为视频片段中的图像内容对应的特征,音频内容特征为视频片段中的音频内容对应的特征。文本内容可以包括视频片段中的各个文本数据,例如可以包括图像文本、音频文本或者弹幕文本中的至少一个。图像文本是指从图像中提取出的文本数据,例如服务器可以利用已训练的图像文本检测模型对视频片段的图像中所包含的文本数据进行检测,得到图像文本。图像文本检测模型例如可以是已训练的OCR(Optical Character Recognition,光学识别)模型,通过OCR模型可以识别图像中的文字,比如身份证上的身份证号、姓名、地址以及银行卡卡号,图像文本还可以称为OCR文本。音频文本是指对视频中的音频数据进行语音识别所得到的文本数据,例如可以利用自动语音识别技术(ASR,Automatic SpeechRecognition),对视频片段中的音频数据进行识别,得到音频文本。音频数据也可以称为语音数据。例如可以将视频片段中的语音数据输入到训练好的语音识别模型中进行语音识别,得到语音数据对应的音频文本。其中,自动语音识别技术是一种将语音转换为文本的技术。语音识别模型用于对语音数据进行识别,得到文本数据。服务器可以提取视频片段中的弹幕,得到弹幕文本。图像内容可以包括视频片段中的各个视频帧,音频内容可以包括视频片段中的音频数据包括的各个音频帧。音频文本还可以称为ASR文本。
在一些实施例中,服务器可以从视频片段中提取出文本内容、图像内容或者音频内容中的至少一种内容。服务器可以对文本内容进行文本特征提取,得到文本内容特征,对图像内容进行图像特征提取,得到图像内容特征,对音频内容进行音频特征提取,得到音频内容特征,基于文本内容特征、图像内容特征或音频内容特征中的至少一个得到视频片段对应的视频片段特征,例如可以将文本内容特征、图像内容特征以及音频内容特征中的任意一个或者多个特征作为视频片段特征,或者对文本内容特征、图像内容特征以及音频内容特征进行特征融合,将融合后的特征作为视频片段特征。其中,融合例如可以是相乘运算或拼接处理,拼接是指按照顺序将特征连接到一起。
在一些实施例中,服务器可以利用已训练的文本特征提取网络进行文本特征的提取,例如服务器可以利用已训练的文本特征提取网络对视频搜索信息进行特征提取,得到视频搜索信息对应的搜索信息特征,或者利用文本特征提取网络对文本内容进行文本特征提取,得到文本内容对应的文本内容特征。文本特征提取网络用于提取文本数据的特征。其中,文本特征提取网络可以是神经网络模型,例如可以是BERT(Bidirectional EncoderRepresentations from Transformers,基于转换器的双向编码器表示)。
在一些实施例中,服务器可以利用已训练的音频特征提取网络对音频内容中的各个音频帧进行音频特征提取,得到各个音频帧分别对应的音频帧特征,服务器可以根据各个音频帧特征得到音频内容对应的音频内容特征。音频特征提取网络可以是神经网络模型,例如可以是VGGish模型,VGGish模型是基于tensorflow的VGG(Visual GeometryGroup,视觉几何组)模型,VGGish模型可以从音频波形中提取具有语义和有意义的128维高维的特征向量,tensorflow为深度学习框架。
在一些实施例中,服务器可以从视频片段中提出的音频内容中获取各个音频帧,分别对应各个音频帧进行音频特征的提取,将提取的特征作为音频帧对应的音频帧特征,基于各个音频帧特征得到音频内容对应的音频内容特征,例如可以对各个音频帧特征进行特征融合,将融合后的特征作为音频内容对应的音频特征。例如,服务器可以利用已训练的特征融合网络对各个音频帧特征进行特征融合,得到音频内容特征。其中,特征融合网络可以是神经网络模型,例如可以是NeXtVlad(NeXt Vector of Local AggregatedDescriptors),NeXtVlad中的Vlad是Vector of locally aggregated descriptors的缩写,中文名称为局部聚合向量。
在一些实施例中,服务器可以利用已训练的图像特征提取网络进行图像特征的提取,例如服务器可以利用已训练的图像特征提取网络对候选展示视频帧进行特征提取,得到候选展示视频帧对应的候选视频帧特征。其中,图像特征提取网络用于提取图像的特征,图像特征提取网络可以是任意的用于提取图像特征的神经网络模型,例如可以是efficientNet网络。
在一些实施例中,服务器可以对视频片段中的各个视频帧进行图像特征提取,将提取的特征作为视频帧对应的视频帧特征,服务器可以对各个视频帧特征进行特征融合,将融合后的特征作为图像内容对应的图像内容特征。其中,可以利用特征融合网络进行特征融合。其中视频帧也可以称为图像帧,视频帧特征也可以称为图像帧特征。
在一些实施例中,服务器可以利用已训练的片段相关度检测模型计算片段特征相关度。片段相关度检测模型可以根据视频搜索信息以及视频片段确定视频搜索信息与视频片段之间的片段特征相关度。服务器将视频搜索信息以及视频片段输入到片段相关度检测模型中进行相关度计算,得到视频搜索信息与视频片段之间的片段特征相关度。片段相关度检测模型中可以包括文本特征提取网络、音频特征提取网络、图像特征提取网络或特征融合网络中的至少一个。片段相关度检测模型中的文本特征提取网络、音频特征提取网络、图像特征提取网络以及特征融合网络可以是通过联合训练得到的。
如图4所示,展示了一种用于计算片段特征相关度的片段相关度检测模型的结构图,片段相关度检测模型包括第一文本特征提取网络、第二文本特征提取网络、音频特征提取网络、图像特征提取网络、音频特征融合网络、图像特征融合网络、多维度特征融合单元以及片段特征相关度检测单元。其中,第一文本特征提取网络用于对视频搜索信息进行文本特征的提取,第二文本特征提取网络用于对从视频片段中提取出的文本内容进行文本特征提取,例如可以分别对图像文本、音频文本以及弹幕文本进行特征提取,得到图像文本对应的图像文本特征、音频文本对应的音频文本特征以及弹幕文本对应的弹幕文本特征,基于图像文本特征、音频文本特征或弹幕文本特征中的至少一个得到文本内容对应的文本内容特征。音频特征提取网络用于对从视频片段中提取出的音频内容中包括的各个音频帧进行音频特征提取,得到各个音频帧分别对应的音频帧特征。图像特征提取网络用于对从视频片段中提取出的图像内容中包括的各个图像帧进行图像特征提取,得到各个图像帧分别对应的图像帧特征。图像内容例如包括视频片段A中的图像帧1~图像帧I,音频内容例如可以包括视频片段A中的音频帧1-音频帧J。其中,I以及J为大于等于1的正整数。音频特征融合网络用于对音频内容中包括的各个音频帧分别对应的音频帧特征进行融合,得到音频内容对应的音频内容特征。图像特征融合网络用于对图像内容中包括的各个图像帧分别对应的图像帧特征进行融合,得到图像内容对应的图像内容特征。多维度特征融合单元用于将文本内容特征、音频内容特征或者图像内容特征中的两个或者多个特征进行融合,得到视频片段对应的视频片段特征。片段特征相关度检测单元用于对视频片段特征与搜索信息特征进行相关度检测,得到片段特征相关度。
在一些实施例中,片段相关度检测模型的各个网络可以是通过联合训练得到的。例如,服务器可以获取训练视频片段以及训练搜索信息,利用训练视频片段以及训练搜索信息对待训练的片段相关度检测模型中的各个网络进行训练,得到已训练的片段相关度检测模型。训练视频片段为多个。训练搜索信息可以为一个或者多个。服务器可以将训练视频片段以及训练搜索信息输入到片段相关度检测模型中,获取片段相关度检测模型输出的训练视频片段与训练搜索信息之间的预测片段相关度,获取训练视频片段与训练搜索信息之间的真实的相关度,基于预测片段相关度与该真实的相关度之间的相关度差异确定模型损失值,模型损失值与相关度差异成正相关关系,服务器可以朝着模型损失值变小的方向调整片段相关度检测模型的模型参数,直到满足模型收敛条件,将满足模型收敛条件的片段相关度检测模型作为已训练的片段相关度检测模型。
S208,基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧。
其中,目标展示视频帧是候选展示视频帧集合中与视频搜索信息相关的视频帧中的至少一个,例如可以是候选展示视频帧集合中与视频搜索信息之间的候选信息相关度最大的候选展示视频帧。
具体地,服务器可以从候选展示视频帧集合中选取候选信息相关度大于信息相关度阈值的候选展示视频帧,将候选信息相关度大于信息相关度阈值的候选展示视频帧中的至少一个作为目标展示视频帧。信息相关度阈值可以预设或者根据需要设置,例如可以根据搜索视频对应的原始展示视频帧与视频搜索信息之间的相关度确定。
在一些实施例中,服务器可以先根据候选信息相关度对候选展示视频帧集合中的候选展示视频帧进行筛选,例如可以获取第一相关度阈值,将候选信息相关度大于第一相关阈值候选展示视频帧,作为筛选展示视频帧,将各个筛选展示视频帧中的至少一个作为目标展示视频帧,例如可以根据原始展示视频帧与视频搜索信息之间的相关度确定信息相关度阈值,将各个筛选展示视频帧中候选信息相关度大于信息相关度阈值的筛选展示视频帧中的至少一个作为目标展示视频帧。其中,第一相关度阈值与信息相关度阈值不同。
在一些实施例中,服务器可以按照候选信息相关度从大到小的顺序,对候选展示视频帧集合中的各个候选展示视频帧进行排列,得到候选展示视频帧序列,将候选展示视频帧序列中视频帧排序在排序阈值之前的视频帧中的至少一个作为目标展示视频帧。其中,候选信息相关度越大,则候选展示视频帧在候选展示视频帧序列中的排序越靠前。视频帧排序是指候选展示视频帧在候选展示视频帧序列中的排序,排序阈值可以预设或根据需要设置。
在一些实施例中,服务器基于视频搜索信息搜索得到多个搜索视频,服务器可以获取各个搜索视频分别对应的候选展示视频帧集合,从各个搜索视频分别对应的候选展示视频帧集合中选取得到各个搜索视频分别对应的目标展示视频帧。其中,各个搜索视频对应的目标展示视频帧之间的相似度可以是小于相似度阈值的,相似度可以预设或根据需要设置。
S210,发送视频搜索结果,视频搜索结果包括目标展示视频帧。
其中,视频搜索结果中可以包括搜索视频对应的目标展示视频帧,还可以包括搜索视频的视频标识,视频标识用于唯一识别搜索视频。视频标识例如可以为视频名称。各个搜索视频分别对应有视频搜索结果。搜索视频对应的目标展示视频帧可以为一个或多个,视频搜索结果中可以包括一个或者多个目标展示视频帧。多个是指至少两个。
具体地,服务器可以基于搜索视频对应的目标展示视频帧生成搜索视频对应的视频搜索结果,将视频搜索结果返回至视频搜索信息对应的终端,终端接收服务器返回的视频搜索结果,从视频搜索结果中获取搜索视频对应的目标展示视频帧,终端可以将目标展示视频帧进行展示。例如终端可以在视频搜索界面中展示搜索结果展示区域,搜索结果展示区域用于展示视频搜索结果中的目标展示视频帧。其中,视频搜索信息对应的终端是指向服务器发送视频搜索信息的终端,例如可以是向服务器发送携带视频搜索信息的视频搜索请求的终端,例如可以是图1中的终端102。
在一些实施例中,终端可以将目标展示视频帧作为搜索视频的封面图进行展示。如图5所示,展示了一个视频搜索界面502,视频搜索界面502上展示有搜索信息输入区域504、搜索确认控件506以及搜索结果展示区域508,当终端获取到对搜索确认控件506的触发操作时,可以将搜索信息输入区域504中的视频搜索信息“abc视频”,将视频搜索信息“abc视频”发送至服务器,服务器根据“abc视频”搜索得到2个视频,视频的名称分别为“abc视频花絮”以及“abc视频简介”,并且服务器确定“abc视频花絮”的目标展示视频帧为图片A,“abc视频简介”的目标展示视频帧为图片B,服务器将这2个视频的目标展示视频帧返回至终端,终端将目标展示视频帧作为视频的封面图展示在搜索结果展示区域508中,即将图片A作为“abc视频花絮”的封面图进行展示,将图片B作为“abc视频简介”的封面图进行展示。
在一些实施例中,终端可以将目标展示视频帧作为预览信息进行展示,当终端获取到搜索视频对应的预览信息查看操作时,终端可以展示搜索视频对应的目标展示视频帧,预览信息查看操作用于触发展示预览信息,预览信息中可以包括搜索视频对应的一个或者多个目标展示视频帧,例如,视频搜索结果中可以包括视频名称、搜索视频对应的目标展示视频帧以及搜索视频对应的封面图,终端可以展示各个搜索视频对应的封面图,当终端获取搜索视频对应的预览信息查看操作时,预览信息查看操作例如可以是对搜索视频的封面图的聚焦操作,例如当鼠标位于封面图上时,则确定获取到预览信息查看操作,在封面图的预览信息展示区域中展示目标展示视频帧,预览信息展示区域用于展示预览信息,预览信息展示区域的位置可以根据需要设置也可以是预设的,例如可以是位于封面图的上方的区域。如图6所示,展示了一种视频搜索界面602,终端在搜索结果展示区域604中展示了搜索到的视频“abc视频简介”的封面图以及视频“abc视频花絮”的封面图,图片A1、图片A2以及图片A3为视频“abc视频简介”的目标展示视频帧,当终端检测到鼠标位于“abc视频简介”的封面图上时,在视频“abc视频简介”对应的预览信息展示区域606中展示视频“abc视频简介”对应的目标展示视频帧,即展示图片A1、图片A2以及图片A3。
上述视频搜索方法中,获取视频搜索信息,基于视频搜索信息进行视频搜索,得到搜索视频,从搜索视频中获取候选展示视频帧集合,候选展示视频帧集合包括多个候选展示视频帧,获取候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度,基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧,发送视频搜索结果,视频搜索结果包括目标展示视频帧,从而将搜索到的视频中与视频搜索信息相关度较大的视频帧返回到终端,提高了视频搜索结果与视频搜索信息的相关度,从而提高了视频搜索结果的有效性。
由于不同用户对同一视频所关注的情节点有可能不同,即便是同一个用户在不同的时间点,对同一个视频所关注的情节点也可能不同,如果将固定的一张视频图像作为视频的封面图,即将视频的封面图固定为一张视频图像,则降低了封面图的灵活度,降低了用户的体验。而本申请实施例中,可以根据用户的搜索信息确定视频的封面图,从而可以得到与搜索信息相关度较大的视频图像作为视频封面图,从而当以封面图展示视频时,可以使得用户直观的了解到视频中与用户感兴趣的内容,提高了用户点击视频的意向,从而提高了视频点击率。
在一些实施例中,基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧包括:获取搜索视频对应的原始展示视频帧;获取原始展示视频帧与视频搜索信息之间的信息相关度,作为原始信息相关度;确定候选信息相关度相对于原始信息相关度的相对差异值,从候选展示视频帧集合中选取得到相对差异值大于差异阈值的候选展示视频帧,将相对差异值大于差异阈值的候选展示视频帧中的至少一个作为视频搜索信息相关的目标展示视频帧。
其中,原始展示视频帧是指搜索视频当前时间采用的展示视频帧。原始信息相关度是指原始展示视频帧与视频搜索信息之间的相关度。相对差异值是指候选信息相关度相对于原始信息相关度的差异值,例如可以将候选信息相关度与原始信息相关度进行相减运算,将相减后的结果作为相对差异值。差异阈值可以预设或根据需要设置,例如可以为0或0.1。
具体地,服务器可以对原始展示视频帧进行图像特征提取,将提取出的特征作为原始视频帧特征,将原始视频帧特征与搜索信息特征进行相关度计算,将计算得到的相关度作为原始视频帧特征对应的原始特征相关度,基于原始特征得到原始信息相关度,原始信息相关度与原始特征相关度成正相关关系,例如可以将原始特征相关度作为原始信息相关度,或者对原始特征相关度进行调整,将调整后的相关度作为原始信息相关度。
在一些实施例中,服务器可以获取原始展示视频帧对应的视频互动度,视频互动度用于反映当采用原始展示视频帧作为搜索视频的展示视频帧进行展示时,用户与搜索视频之间的交互程度,视频互动度与交互程度成正相关关系。交互是指用户与搜索视频之间产生交互行为,交互行为可以包括点击、转发、评论或者点赞中的至少一种,交互程度可以采用交互行为产生的频率或者次数表示,例如交互程度可以与交互行为产生的频率成正相关关系,例如可以与点击率成正相关关系。
在一些实施例中,服务器可以利用候选信息相关度减去原始信息相关度,将候选信息相关度减去原始信息相关度所得到的结果作为相对差异值。服务器可以将相对差异值与差异阈值进行对比,当确定相对差异值大于差异阈值时,将对应的候选展示视频帧作为目标展示视频帧。
本实施例中,将相对差异值大于差异阈值的候选展示视频帧中的至少一个作为视频搜索信息相关的目标展示视频帧,从而可以使得得到的目标展示视频帧与视频搜索信息之间的相关度大于原始展示视频帧与视频搜索信息之间的相关度,提高了得到的目标展示视频帧与视频搜索信息的相关度。
在一些实施例中,获取原始展示视频帧与视频搜索信息之间的信息相关度,作为原始信息相关度包括:获取原始展示视频帧与视频搜索信息之间的特征相关度,作为原始特征相关度;获取原始展示视频帧所对应的视频互动度,视频互动度是将原始展示视频帧作为搜索视频的视频搜索结果进行展示时,搜索视频的视频交互度;基于视频互动度以及原始特征相关度得到原始展示视频帧与视频搜索信息之间的原始信息相关度;原始信息相关度与视频互动度以及原始特征相关度成正相关关系。
其中,原始特征相关度是指原始展示视频帧对应的特征与视频搜索信息对应的特征之间相关度。视频互动度用于反映用户与搜素视频之间的视频交互度,视频交互度与视频互动度成正相关关系。视频交互度是指用户与搜索视频的交互程度。当展示搜索视频对应的展示视频帧时,例如展示搜索视频的原始展示视频帧时,通过原始展示视频帧触发的交互操作的次数或者频率可以反映视频互动度,利用通过原始展示视频帧触发的交互操作的次数越多或者频率越高,则视频互动度越高。原始信息相关度与视频互动度成正相关关系,原始信息相关度与原始特征相关度成正相关关系。
具体地,服务器可以对原始展示视频帧进行图像特征提取,将提取出的特征作为原始视频帧特征,将原始视频帧特征与搜索信息特征进行相关度计算,将计算的结果作为原始特征相关度。
在一些实施例中,服务器可以将视频互动度与原始特征相关度进行线性运算或者非线性运算中的至少一种,将运算的结果作为原始展示视频帧与视频搜索信息之间的原始信息相关度。线性运算可以包括加权运算或乘法运算中的至少一个。非线性运算可以包括对数运算、指数运算或开方运算中的至少一个。例如可以将视频互动度与原始特征相关度进行加权运算,将加权计算所得到的结果作为原始信息相关度,或者将视频互动度与原始特征相关进行相乘,将相乘所得到的结果作为原始信息相关度。
本实施例中,基于视频互动度以及原始特征相关度得到原始展示视频帧与视频搜索信息之间的原始信息相关度,由于原始信息相关度与视频互动度以及原始特征相关度成正相关关系,从而原始信息相关度可以反映用户与搜索视频的互动程度,并且可以反映视频搜索信息与原始展示视频帧之间的相关程度,提高了原始信息相关度的准确度。
在一些实施例中,获取原始展示视频帧所对应的视频互动度包括:获取将原始展示视频帧作为搜索视频的视频搜索结果进行展示时,搜索视频对应的视频播放可能度;获取将原始展示视频帧作为搜索视频的视频搜索结果进行展示时,搜索视频对应的视频播放完成度;基于视频播放可能度以及视频播放完成度得到原始展示视频帧对应的视频互动度;视频互动度与视频播放可能度以及视频播放完成度成正相关关系。
其中,搜索视频对应的视频播放可能度是指搜索视频被用户播放的播放可能度,该视频播放可能度是将原始展示视频帧作为该搜索视频的视频搜索结果进行展示时,所统计得到的视频播放可能度。以原始展示视频帧为原始的封面图为例,当以原始的封面图展示该搜索视频的搜索结果时,则代表的可以是用户看到该封面图,点击该视频的搜索结果播放该搜索视频的可能程度。视频播放可能度可以是历史时间段内展示搜索视频对应的原始展示视频帧时用户播放该搜索视频的可能度。例如,历史时间段内展示搜索视频对应的原始展示视频帧时,用户点击播放搜索视频的可能度,视频播放可能度可以根据播放搜索视频的用户数量确定,例如可以统计历史时间段内展示搜索视频的原始展示视频帧的用户的数量,将该数量作为用户总数,确定展示搜索视频的原始展示视频帧的用户中播放了搜索视频的用户的数量,将该数量作为播放数量,计算播放数量与用户总数的比值,将计算得到的比值作为视频播放可能度,例如,有100个用户对搜索视频进行了搜索,用户的终端展示该搜索视频对应的原始封面图,这100个用户中,有30个用户在看到原始封面图后播放了搜索视频,则播放数量为30,用户总数为100,视频播放可能度为30/100=30%。历史时间段为历史的时间段,可以根据需要确定。
视频播放完成度代表的是搜索视频的播放时长与视频总时长的比例,可以是对一个或多个用户的播放时长进行统计得到的,例如可以是计算平均用户播放时长与视频总播放时长之间的比值,作为视频播放完成度。视频总播放时长是指搜索视频的总的时长,用户播放时长是指用户播放的视频时长,例如搜索视频为一个10分钟的视频,则视频总播放时长为10分钟,假设用户只观看了搜索视频中的5分钟的视频,则用户播放时长为5分钟,则视频播放完成度为5/10=50%。平均用户播放时长是指各个用户播放时长的平均值,例如有500个用户播放了视频,则计算这500个用户的用户播放时长的平均值,将计算得到的平均值作为平均用户播放时长。视频互动度与视频播放可能度成正相关关系,视频互动度与视频播放完成度成正相关关系。
具体地,服务器可以将视频播放可能度与视频播放完成度进行线性运算或非线性运算中的至少一种运算,将运算的结果作为视频互动度,例如,服务器可以将视频播放可能度与视频播放完成度进行加权运算,将加权运算的结果作为视频互动度,或者,服务器可以将视频播放可能度与视频播放完成度进行乘积运算,将乘积运算的结果作为视频互动度,例如,视频互动度=视频播放可能度×视频播放完成度。
本实施例中,基于视频播放可能度以及视频播放完成度得到原始展示视频帧对应的视频互动度,由于视频互动度与视频播放可能度以及视频播放完成度成正相关关系,因此视频互动度可以反映以原始展示视频帧展示时搜索视频的播放情况,提高了视频互动度的准确度。
在一些实施例中,获取候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度包括:获取候选展示视频帧与视频搜索信息之间的特征相关度,作为帧特征相关度;获取视频片段与视频搜索信息之间的特征相关度,作为片段特征相关度,其中,候选展示视频帧是从视频片段中获取的,视频片段是对搜索视频进行切分得到的;基于帧特征相关度以及片段特征相关度,得到候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度,候选信息相关度与帧特征相关度以及片段特征相关度成正相关关系。
其中,特征相关度是指特征之间的相关度,帧特征相关度是指候选展示视频帧对应的候选视频帧特征与视频搜索信息对应的搜索信息特征之间的相关度。候选视频帧特征是对候选展示视频帧进行特征提取所得到的特征。搜索信息特征是对视频搜索信息进行特征提取所得到的特征。片段特征相关度是指视频片段对应的视频片段特征与视频搜索信息对应的搜索信息特征之间的相关度。视频片段特征是对视频片段进行特征提取所得到的特征。
具体地,服务器可以将候选视频帧特征与搜索信息特征进行相关度计算,将计算得到的相关度作为候选展示视频帧对应的帧特征相关度,对视频片段进行特征提取,得到视频片段对应的视频片段特征,将视频片段特征与搜索信息特征进行相关度计算,将计算得到的相关度作为片段特征相关度,对帧特征相关度以及片段特征相关度进行乘积运算,将乘积运算的结果作为候选信息相关度。
例如,将搜索视频进行切分得到N个视频片段,分别为视频片段1~视频片段N,将各个视频片段中的关键帧作为候选展示视频帧,假设视频片段i包括M个关键帧,候选展示视频帧是视频片段i中的第k个关键帧,视频片段i对应的片段特征相关度为P_qs[i],视频片段i中的第k个关键帧对应的帧特征相关度为P_qf[k],则候选展示视频帧(即视频片段i中的第k个关键帧)对应的候选信息相关度P_d[k]为P_d[k]=P_qs[i]*P_qf[k]。i大于等于1并且小于等于N,k大于等于1并且小于等于M。
本实施例中,基于帧特征相关度以及片段特征相关度,得到候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度,由于候选信息相关度与帧特征相关度以及片段特征相关度成正相关关系,因此候选信息相关度既可以反映视频帧所在视频片段与搜索信息的相关度,也可以反映视频帧自身与搜索信息之间的相关度,提高了候选信息相关度的准确度。
在一些实施例中,从搜索视频中获取候选展示视频帧集合包括:获取对搜索视频帧进行切分得到的视频片段集合,视频片段集合包括多个视频片段;将视频片段对应的视频帧序列中的各个视频帧进行特征提取,得到视频帧特征序列,基于视频帧特征序列得到视频帧序列中各个视频帧所对应的关键帧检测结果;基于视频帧序列中各个视频帧所对应的关键帧检测结果,从视频帧序列中提取得到视频片段所对应的关键帧,作为候选展示视频帧集合中的候选展示视频帧。
其中,视频帧特征是对视频帧进行图像特征提取所得到的图像特征。视频帧特征序列中包括多个视频帧特征,视频帧特征序列中的各个视频帧特征按照视频帧在视频片段中的排序进行排列,视频帧在视频片段中的排序越靠前,则视频帧对应的视频特征在视频帧特征序列中的排序越靠前。关键帧检测结果中可以包括关键帧概率,关键帧概率是指视频帧为关键帧的概率,关键帧检测结果中还可以包括标注信息。
具体地,服务器可以根据视频帧特征序列确定各个视频帧分别对应的关键帧概率,关键帧概率是指视频帧为关键帧的概率,将关键帧概率大于概率阈值的视频帧确定为关键帧,将关键帧概率小于概率阈值的视频帧确定为非关键帧,将关键帧作为搜索视频对应的候选展示视频帧。概率阈值可以是预设或者根据需要设置的。
在一些实施例中,服务器可以基于关键帧概率确定视频帧对应的标注信息,基于标注信息确定视频帧是否为关键帧,当标注信息为正向标注信息时,确定视频帧为关键帧,当标注信息为负向标注信息时,确定视频帧为非关键帧。例如,服务器可以利用已训练的关键帧检测网络对视频帧序列中的各个视频帧进行特征提取,得到各个视频帧分别对应的视频帧特征,组成视频帧特征序列,基于视频帧特征序列得到各个视频帧分别对应的关键帧概率,基于关键帧概率确定视频帧对应的标注信息。
本实施例中,根据视频帧特征序列得到视频帧序列中各个视频帧对应的关键帧检测结果,从而使得得到关键帧检测结果的过程利用到了视频帧在序列中的排序,提高了关键帧检测的准确度。
在一些实施例中,搜索视频为多个,基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧包括:基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的候选展示视频帧,组成搜索视频对应的选取展示视频帧集合;从各个搜索视频分别对应的选取展示视频帧集合中,选取得到各个搜索视频对应的目标展示视频帧;其中,各个搜索视频对应的目标展示视频帧之间的视频帧差异度大于差异度阈值。
其中,选取展示视频帧集合中包括多个候选展示视频帧。选取展示视频帧集合中的候选展示视频帧是基于候选信息相关度从候选展示视频帧集合中选取的。视频帧差异度是指不同的视频帧之间的差异度,用于反映不同视频帧之间的区别,视频帧差异度越大,则视频帧之间的区别越大。差异度阈值可以是预设或者根据需要设置的。
具体地,服务器可以获取候选展示视频帧集合中各个候选展示视频帧分别对应的相对差异值,将各个相对差异值大于差异值阈值的候选展示视频帧组成选取展示视频帧集合。例如,候选展示视频帧集合为DC_List_1,选取展示视频帧集合为DC_List_2,DC_List_2中的视频帧从DC_List_1中选取得到。
在一些实施例中,服务器可以依次确定各个搜索视频分别对应的目标展示视频帧。例如,服务器可以将各个搜索视频进行排列得到搜索视频序列,按照搜索视频在搜索视频序列中的排序,依次确定各个搜索视频分别对应的目标展示视频帧,搜索视频在搜索视频序列中的排序越靠前,则确定目标展示视频帧的顺序越靠前。对于未确定目标展示视频帧的搜索视频,服务器可以获取已确定目标展示视频帧的各个搜索视频,作为对比视频,获取各个对比视频对应的目标展示视频帧,从未确定目标展示视频帧的搜索视频对应的选取展示视频帧集合中选取得到视频帧,将选取得到的视频帧与对比视频的目标展示视频帧进行差异度计算,得到视频帧差异度,当视频帧差异度大于差异度阈值时,可以将该选取得到的视频帧作为该未确定目标展示视频帧的搜索视频的目标展示视频帧。其中,服务器可以计算不同的视频帧之间的相似度,基于计算得到的相似度确定不同的视频帧之间的视频帧差异度,视频帧差异度与该相似度成负相关关系。例如可以计算不同视频帧之间的余弦相似度,基于余弦相似度得到视频帧差异度。视频帧差异度与余弦相似度成负相关关系。例如视频帧差异度可以为预设数值减去余弦相似度所得到的结果,预设数值例如可以为1。
其中,负相关关系指的是:在其他条件不变的情况下,两个变量变动方向相反,一个变量由大到小变化时,另一个变量由小到大变化。可以理解的是,这里的负相关关系是指变化的方向是相反的,但并不是要求当一个变量有一点变化,另一个变量就必须也变化。
在一些实施例中,服务器可以获取选取展示视频帧集合中各个候选展示视频帧分别对应的候选信息相关度,按照候选信息相关度从大到小的顺序,对选取展示视频帧集合中的各个候选展示视频帧进行排列,得到选取展示视频帧序列,候选信息相关度越大,则候选展示视频帧在选取展示视频帧序列中的排序越靠前。服务器可以依次从选取展示视频帧序列中获取视频帧,将获取到的视频帧与对比视频的目标展示视频帧进行差异度计算。
本实施例中,从各个搜索视频分别对应的选取展示视频帧集合中,选取得到各个搜索视频对应的目标展示视频帧,由于各个搜索视频对应的目标展示视频帧之间的视频帧差异度大于差异度阈值,因此各个搜索视频分别得到的目标展示视频帧之间具有较大的差异,从而当展示各个搜索视频分别对应的目标展示视频帧时,可以提高目标展示视频帧的多样性。
在一些实施例中,从各个搜索视频分别对应的选取展示视频帧集合中,选取得到各个搜索视频对应的目标展示视频帧包括:确定待选取目标展示视频帧的搜索视频,作为当前视频;获取各个对比视频对应的目标展示视频帧,组成对比视频帧集合,对比视频为已确定目标展示视频帧的搜索视频;从当前视频对应的选取展示视频帧集合中,选取与对比视频帧集合中的目标展示视频帧之间的视频帧差异度大于差异度阈值的视频帧,将大于差异度阈值的视频帧作为当前视频对应的目标展示视频帧。
其中,当前视频可以为各个搜索视频中的任意一个未确定目标展示视频帧的搜索视频。对比视频是指各个搜索视频中已确定目标展示视频帧的搜索视频。当各个搜索视频均未确定目标展示视频帧时,当前视频没有对比视频帧,此时,可以根据候选信息相关度确定当前视频对应的目标展示视频帧,例如可以从当前视频对应的选取展示视频帧集合中选取候选信息相关度最大的视频帧作为当前视频对应的目标展示视频帧。对比视频帧集合是由对比视频的目标展示视频帧组成的集合。
具体地,服务器可以从未确定目标展示视频帧的各个搜索视频中随机选取搜索视频作为当前视频,或者服务器可以将各个搜索视频进行排列得到搜索视频序列,按照搜索视频在搜索视频序列中的排序,依次从搜索视频序列中获取未确定目标展示视频帧的搜索视频,作为当前视频。服务器可以获取已确定目标展示视频帧的搜索视频,将该搜索视频作为当前视频对应的对比视频。
在一些实施例中,服务器可以将当前视频对应的选取展示视频帧集合中,与对比视频帧集合中的目标展示视频帧之间的视频帧差异度大于差异度阈值的视频帧中的任意一个作为当前视频对应的目标展示视频帧,例如可以将候选信息相关度最大的作为目标展示视频帧。
在一些实施例中,当当前视频对应的选取展示视频帧与对比视频帧集合中的各个目标展示视频帧之间的视频帧差异度均大于差异度阈值时,将该选取展示视频帧作为当前视频对应的目标展示视频帧。其中,当前视频对应的选取展示视频帧是指当前视频对应的选取展示视频帧中的候选展示视频帧。
在一些实施例中,当对比视频帧集合中存在与选取展示视频帧之间的视频帧差异度小于差异度阈值的目标展示视频帧时,则不将该选取展示视频帧作为当前视频对应的目标展示视频帧。
本实施例中,从当前视频对应的选取展示视频帧集合中,选取与对比视频帧集合中的目标展示视频帧之间的视频帧差异度大于差异度阈值的视频帧,将大于差异度阈值的视频帧作为当前视频对应的目标展示视频帧,从而可以提高不同的搜索视频之间的目标展示视频帧的区别,提高了目标展示视频帧的多样性。
在一些实施例中,从当前视频对应的选取展示视频帧集合中,选取与对比视频帧集合中的目标展示视频帧之间的视频帧差异度大于差异度阈值的视频帧,将大于差异度阈值的视频帧作为当前视频对应的目标展示视频帧包括:按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧;获取当前展示视频帧与对比视频帧集合中的目标展示视频帧之间的当前视频帧差异度;当对比视频帧集合中的各个目标展示视频帧对应的当前视频帧差异度大于差异度阈值时,则将当前展示视频帧作为当前视频对应的目标展示视频帧,否则返回按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧的步骤。
其中,当前展示视频帧可以为当前视频的选取展示视频帧集合中的任意一个视频帧。当前视频帧差异度是指当前展示视频帧与对比视频帧集合中的目标展示视频帧之间的视频帧差异度。
具体地,服务器可以从当前视频对应的选取展示视频帧集合中,优先获取候选信息相关度较大的视频帧作为当前展示视频帧,例如当前视频对应的选取展示视频帧集合中包括视频帧1、视频帧2以及视频帧3,视频帧1的候选信息相关度大于视频帧2的候选信息相关度,视频帧2的候选信息相关度大于视频帧3的候选信息相关度,则优先选取视频帧1作为当前展示视频帧,其次选取视频帧2作为当前展示视频帧,最后选取视频帧3作为当前展示视频帧,当然当已经将视频帧1确定为当前视频的目标展示视频帧时,则不再需要选取视频帧2以及视频帧3作为当前展示视频帧。
在一些实施例中,服务器可以将当前视频帧差异度分别与对比视频帧集合中的各个目标展示视频帧进行差异度计算,得到各个当前视频帧差异度,当各个当前视频帧差异度均大于差异度阈值时,则将当前展示视频帧作为当前视频对应的目标展示视频帧。
在一些实施例中,服务器将选取展示视频帧进行排列,得到选取展示视频帧序列,选取展示视频帧序列也可以称为选取展示视频帧列表,选取展示视频帧列表中,候选信息相关度较大的选取展示视频帧排列在候选信息相关度小的选取展示视频帧之前。服务器按照排列顺序从选取展示视频帧序列中确定目标展示视频帧。
举例说明,假设各个搜索视频排列成的搜索视频列表为[搜索视频1、搜索视频2、搜索视频3],搜索视频1对应选取展示视频帧序列1,搜索视频2对应选取展示视频帧序列2,搜索视频3对应选取展示视频帧序列3,首先确定搜索视频1的目标展示视频帧,将选取展示视频帧序列1中排列在第一位的选取展示视频帧作为目标展示视频帧,记作目标展示视频帧1;其次确定搜索视频2的目标展示视频帧,获取选取展示视频帧序列2中排列在第一位的选取展示视频帧与目标展示视频帧1之间的视频帧差异度,当视频帧差异度大于差异度阈值时,则将选取展示视频帧序列2中排列在第一位的选取展示视频帧,作为搜索视频2的目标展示视频帧,否则,获取选取展示视频帧序列2中排列在第二位的选取展示视频帧与目标展示视频帧1之间的视频帧差异度,直到当视频帧差异度大于差异度阈值为止,将搜索视频2的目标展示视频帧记作目标展示视频帧2;最后确定搜索视频3的目标展示视频帧,获取选取展示视频帧序列3中排列在第一位的选取展示视频帧与目标展示视频帧1之间的视频帧差异度,记作视频帧差异度1,以及获取选取展示视频帧序列3中排列在第一位的选取展示视频帧与目标展示视频帧2之间的视频帧差异度,记作视频帧差异度2,当视频帧差异度1大于差异度阈值并且视频帧差异度2大于差异度阈值时,将选取展示视频帧序列3中排列在第一位的选取展示视频帧,作为搜索视频3的目标展示视频帧,否则,获取选取展示视频帧序列3中排列在第二位的选取展示视频帧与目标展示视频帧1之间的视频帧差异度1,以及获取选取展示视频帧序列3中排列在第一位的选取展示视频帧与目标展示视频帧2之间的视频帧差异度2,直到当视频帧差异度1大于差异度阈值并且视频帧差异度2大于差异度阈值时为止。
本实施例中,按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧,当对比视频帧集合中的各个目标展示视频帧对应的当前视频帧差异度大于差异度阈值时,则将当前展示视频帧作为当前视频对应的目标展示视频帧,否则返回按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧的步骤,从而可以将候选信息相关度较大并且与已确定的目标展示视频帧差异较大的视频帧作为当前视频的目标展示视频帧,提高了目标展示视频帧的多样性并且提高了目标展示视频帧与视频搜索信息的相关程度。
在一些实施例中,确定待选取目标展示视频帧的搜索视频,作为当前视频包括:确定各个搜索视频所对应的搜索结果排序;按照搜索结果排序从搜索得到的多个搜索视频中依次确定待选取目标展示视频帧的搜索视频,作为当前视频。
其中,搜索结果排序是指搜索视频在各个搜索视频序列中的排序,搜索视频序列是由各个搜索视频排列得到的序列,例如可以是按照搜索到视频的时间的先后顺序进行排列的,例如先搜索到的视频排列在后搜索到的视频之前。
具体地,服务器可以按照搜索结果排序,从各个搜索视频中确定待选取目标展示视频帧的搜索视频,作为当前视频,例如按照搜索结果排序从前到后的顺序确定待选取目标展示视频帧的搜索视频,优先将搜索结果排序靠前的搜索视频作为当前视频。
本实施例中,按照搜索结果排序从搜索得到的多个搜索视频中依次确定待选取目标展示视频帧的搜索视频,作为当前视频,从而可以有序的确定各个搜索视频分别对应的目标展示视频帧,提高了视频搜索的效率。
在一些实施例中,如图7所示,提供了一种视频搜索方法,以该方法应用于图1中的终端102为例进行说明,包括以下步骤:S702,展示搜索信息输入区域;S704,通过搜索信息输入区域接收视频搜索信息;S706,响应于针对搜索信息输入区域的搜索操作,触发基于视频搜索信息进行的视频搜索;S708,展示搜索得到的搜索视频对应的视频搜索结果,视频搜索结果包括搜索视频中与视频搜索信息相关的目标展示视频帧,目标展示视频帧作为视频搜索结果中的视频展示帧进行展示。
其中,搜索信息输入区域用于接收用户输入或选择的视频搜索信息。视频展示帧是用于展示的视频帧,例如可以将目标展示视频帧作为搜索视频的封面图进行展示。
具体地,终端可以展示视频搜索界面,在视频搜索界面中展示搜索信息输入区域,终端还可以在视频搜索界面上展示搜索确认控件,当获取到对搜索确认控件的触发操作时,确定获取到针对搜索信息输入区域的搜索操作,终端响应于对搜索响应控件的触发操作,获取搜索信息输入区域接收到的视频搜索信息,生成携带视频搜索信息的视频搜索请求,向服务器发送视频搜索请求。
在一些实施例中,服务器响应于终端发送的视频搜索请求,从视频搜索请求中提取视频搜索信息,搜索得到与视频搜索信息匹配的视频,作为搜索视频,利用上述视频搜索方法确定各个搜索视频分别对应的目标展示视频帧,获取视频搜索信息,基于视频搜索信息进行视频搜索,得到搜索视频,例如服务器可以从搜索视频中获取候选展示视频帧集合,候选展示视频帧集合包括多个候选展示视频帧,获取候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度,基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧,基于目标展示视频帧生成搜索视频对应的视频搜索结果,将视频搜索结果返回至终端。
在一些实施例中,终端接收服务器返回的视频搜索结果,从视频搜索结果中获取搜索识别对应的目标展示视频帧,展示各个搜索视频分别对应的目标展示视频帧,例如终端可以在视频搜索界面中展示搜索结果展示区域,搜索结果展示区域用于展示视频搜索结果中的目标展示视频帧,当终端获取到对展示的目标展示视频帧的触发操作时,可以播放该目标展示视频帧对应的搜索视频,例如可以将目标展示视频帧在搜索视频中的位置作为起始播放位置进行播放。
上述视频搜索方法中,展示搜索信息输入区域,通过搜索信息输入区域接收视频搜索信息,响应于针对搜索输入区域的搜索操作,触发基于视频搜索信息进行的视频搜索,展示搜索得到的搜索视频对应的视频搜索结果,视频搜索结果包括搜索视频中与视频搜索信息相关的目标展示视频帧,目标展示视频帧作为视频搜索结果中的视频展示帧进行展示,提高了视频搜索结果与视频搜索信息的相关度,提高了视频搜索结果的有效性。
在一些实施例中,提供了一种视频搜索方法,包括以下步骤:
1、终端展示搜索信息输入区域。
2、终端通过搜索信息输入区域接收视频搜索信息。
3、终端响应于针对搜索信息输入区域的搜索操作,触发基于视频搜索信息进行的视频搜索,向服务器发送携带视频搜索信息的视频搜索请求。
4、服务器响应于视频搜索请求,从视频搜索请求中获取视频搜索信息,基于视频搜索信息进行视频搜索,将搜索得到的搜索视频组成搜索视频集合。
5、服务器对搜索视频集合中的搜索视频进行切分,得到搜索视频对应的视频片段集合。
6、服务器从视频片段集合中的各个视频片段中分别提取关键帧,将从各个视频片段中提取出的关键帧组成候选封面图集合。
7、服务器对视频片段集合中的视频片段进行特征提取,得到视频片段分别对应的视频片段特征,对候选封面图集合中的候选封面图进行特征提取,得到候选封面特征,对视频搜索信息进行特征提取,得到视频搜索特征。
8、服务器将视频片段特征与视频搜索特征进行相关度计算,得到视频片段对应的片段特征相关度,将候选封面特征与视频搜索特征进行相关度计算,得到候选封面图对应的帧特征相关度。
9、服务器获取候选封面图所在的视频片段对应的片段特征相关度,将该片段特征相关度与候选封面图对应的帧特征相关度进行乘积运算,将乘积运算的结果作为候选封面图对应的候选信息相关度。
10、服务器获取搜索视频对应的原始封面图,对原始封面图进行特征提取,得到原始封面特征,将原始封面特征与视频搜索特征进行相关度计算,得到原始封面图对应的封面特征相关度。
11、服务器获取历史时间段中将原始封面图作为搜索视频的封面图进行展示时,搜索视频所获取的视频播放可能度以及视频播放完成度,将视频播放可能度与视频播放完成度进行乘积运算,得到原始封面图对应的视频互动度。
12、服务器将视频互动度与封面特征相关度进行乘积运算,将运算的结果作为原始封面图对应的原始信息相关度。
13、服务器将搜索视频对应的候选封面图的候选信息相关度与对应的原始信息相关度进行对比,当候选信息相关度大于原始信息相关度时,将候选封面图作为搜索视频对应的选取封面图,组成选取封面图集合。
14、服务器获取各个搜索视频分别对应的选取封面图集合,从各个选取封面图集合中分别选取得到各个搜索视频分别对应的目标封面图,其中各个搜索视频对应的目标封面图之间的视频帧差异度大于差异度阈值。
15、服务器基于搜索视频对应的目标封面图生成搜索视频对应的视频搜索结果,视频搜索结果中包括目标封面图,将视频搜索结果发送至终端。
16、终端接收服务器返回的视频搜索结果,将视频搜索结果中的目标封面图进行展示。
如图8所示,展示了一些实施例中的视频搜索方法的原理图,图8中的视频平台可以进行视频搜索的功能,终端可以通过视频平台的界面展示搜索信息输入区域,从而使得用于可以在视频平台中进行视频的搜索,终端获取在视频平台上输入的视频搜索信息,视频搜索信息即图8中的用户搜索query,将用户搜索query发送至服务器,服务器根据用户搜索query搜索得到搜索视频,对搜索视频进行切分,得到搜索视频对应的视频片段,对用户搜索query与视频片段进行相关度计算,得到视频片段对应的片段特征相关度,从视频片段中得到关键帧,将视频片段的关键帧与用户搜索query进行相关度计算,得到帧特征相关度,对帧特征相关度与片段特征相关度进行乘积运算,得到关键帧对应的信息相关度。服务器获取搜索视频对应的原始封面图,对原始封面图与用户搜索query进行相关度计算,得到原始特征相关度,“视频原始分封面图后验效果计算”是指获取原始封面图对应的视频互动度,将视频互动度与原始特征相关度进行乘积运算,得到原始封面图对应的原始信息相关度。“视频搜索相关性动态封面图候选构建”是指将原始信息相关度作为筛选的阈值,将关键帧对应的信息相关度与原始信息相关度进行对比,当关键帧对应的信息相关度大于原始信息相关度或者关键帧对应的信息相关度与原始信息相关度之间的差异大于阈值时,将关键帧作为搜索视频的选取封面图。视频列表是由各个搜索视频排列所得到的列表,“搜索结果视频列表动态多样性”用于从各个搜索视频分别对应的选取封面图中,确定视频列表中各个搜索视频分别对应的目标封面图,并且使得各个目标封面图之间的差异度大于差异度阈值。服务器可以将各个搜索视频分别对应的目标封面图返回终端,终端可以将各个目标封面图进行展示,当获取到对目标封面图的触发操作例如点击操作时,播放对应的搜索视频。
本实施例中,针对视频在不同搜索信息下展示的情况进行了优化,使得视频在不同搜索上下文下展示时,能够将视频中与搜索信息相关度较大的图像作为视频的封面图,从而能将视频中与搜索信息相关度较大的部分直观的展示出来,提高了封面图的展示效果,进一步的提高了视频点击效率。另外,对搜索结果中的视频列表中的视频对应的封面图进行动态多样性处理,使得各个封面图具有较大的差异,减少了搜索结果的视频列表中的视频对应的封面图的相似度,提高了封面图的多样性,提升了用户对展示的视频的浏览欲望,提高了视频的点击率以及播放率,提高了搜索结果的播放等转化能力。
应该理解的是,虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图8中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中,如图9所示,提供了一种视频搜索装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:搜索视频得到模块902、候选展示视频帧集合得到模块904、候选信息相关度得到模块906、目标展示视频帧得到模块908和视频搜索结果发送模块910,其中:
搜索视频得到模块902,用于获取视频搜索信息,基于视频搜索信息进行视频搜索,得到搜索视频;
候选展示视频帧集合得到模块904,用于从搜索视频中获取候选展示视频帧集合,候选展示视频帧集合包括多个候选展示视频帧;
候选信息相关度得到模块906,用于获取候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度;
目标展示视频帧得到模块908,用于基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧;
视频搜索结果发送模块910,用于发送视频搜索结果,视频搜索结果包括目标展示视频帧。
上述视频搜索装置,获取视频搜索信息,基于视频搜索信息进行视频搜索,得到搜索视频,从搜索视频中获取候选展示视频帧集合,候选展示视频帧集合包括多个候选展示视频帧,获取候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度,基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的目标展示视频帧,发送视频搜索结果,视频搜索结果包括目标展示视频帧,从而将搜索到的视频中与视频搜索信息相关度较大的视频帧返回到终端,提高了视频搜索结果与视频搜索信息的相关度,从而提高了视频搜索结果的有效性。
在一些实施例中,目标展示视频帧得到模块包括:原始展示视频帧获取单元,用于获取搜索视频对应的原始展示视频帧;原始信息相关度获取单元,用于获取原始展示视频帧与视频搜索信息之间的信息相关度,作为原始信息相关度;第一目标展示视频帧得到单元,用于确定候选信息相关度相对于原始信息相关度的相对差异值,从候选展示视频帧集合中选取得到相对差异值大于差异阈值的候选展示视频帧,将相对差异值大于差异阈值的候选展示视频帧中的至少一个作为视频搜索信息相关的目标展示视频帧。
在一些实施例中,原始信息相关度获取单元还用于获取原始展示视频帧与视频搜索信息之间的特征相关度,作为原始特征相关度;获取原始展示视频帧所对应的视频互动度,视频互动度是将原始展示视频帧作为搜索视频的视频搜索结果进行展示时,搜索视频的视频交互度;基于视频互动度以及原始特征相关度得到原始展示视频帧与视频搜索信息之间的原始信息相关度;原始信息相关度与视频互动度以及原始特征相关度成正相关关系。
在一些实施例中,原始信息相关度获取单元还用于获取将原始展示视频帧作为搜索视频的视频搜索结果进行展示时,搜索视频对应的视频播放可能度;获取将原始展示视频帧作为搜索视频的视频搜索结果进行展示时,搜索视频对应的视频播放完成度;基于视频播放可能度以及视频播放完成度得到原始展示视频帧对应的视频互动度;视频互动度与视频播放可能度以及视频播放完成度成正相关关系。
在一些实施例中,候选信息相关度得到模块包括:帧特征相关度得到单元,用于获取候选展示视频帧与视频搜索信息之间的特征相关度,作为帧特征相关度;片段特征相关度得到单元,用于获取视频片段与视频搜索信息之间的特征相关度,作为片段特征相关度,其中,候选展示视频帧是从视频片段中获取的,视频片段是对搜索视频进行切分得到的;候选信息相关度得到单元,用于基于帧特征相关度以及片段特征相关度,得到候选展示视频帧与视频搜索信息之间的信息相关度,作为候选信息相关度,候选信息相关度与帧特征相关度以及片段特征相关度成正相关关系。
在一些实施例中,候选展示视频帧集合得到模块包括:视频片段集合得到单元,用于获取对搜索视频帧进行切分得到的视频片段集合,视频片段集合包括多个视频片段;关键帧检测结果得到单元,用于将视频片段对应的视频帧序列中的各个视频帧进行特征提取,得到视频帧特征序列,基于视频帧特征序列得到视频帧序列中各个视频帧所对应的关键帧检测结果;候选展示视频帧得到单元,用于基于视频帧序列中各个视频帧所对应的关键帧检测结果,从视频帧序列中提取得到视频片段所对应的关键帧,作为候选展示视频帧集合中的候选展示视频帧。
在一些实施例中,搜索视频为多个,目标展示视频帧得到模块包括:选取展示视频帧集合组成单元,用于基于候选信息相关度从候选展示视频帧集合中选取得到与视频搜索信息相关的候选展示视频帧,组成搜索视频对应的选取展示视频帧集合;第二目标展示视频帧得到单元,用于从各个搜索视频分别对应的选取展示视频帧集合中,选取得到各个搜索视频对应的目标展示视频帧;其中,各个搜索视频对应的目标展示视频帧之间的视频帧差异度大于差异度阈值。
在一些实施例中,第二目标展示视频帧得到单元还用于确定待选取目标展示视频帧的搜索视频,作为当前视频;获取各个对比视频对应的目标展示视频帧,组成对比视频帧集合,对比视频为已确定目标展示视频帧的搜索视频;从当前视频对应的选取展示视频帧集合中,选取与对比视频帧集合中的目标展示视频帧之间的视频帧差异度大于差异度阈值的视频帧,将大于差异度阈值的视频帧作为当前视频对应的目标展示视频帧。
在一些实施例中,第二目标展示视频帧得到单元还用于按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧;获取当前展示视频帧与对比视频帧集合中的目标展示视频帧之间的当前视频帧差异度;当对比视频帧集合中的各个目标展示视频帧对应的当前视频帧差异度大于差异度阈值时,则将当前展示视频帧作为当前视频对应的目标展示视频帧,否则返回按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧的步骤。
在一些实施例中,第二目标展示视频帧得到单元还用于包括:确定各个搜索视频所对应的搜索结果排序;按照搜索结果排序从搜索得到的多个搜索视频中依次确定待选取目标展示视频帧的搜索视频,作为当前视频。
在一些实施例中,如图10所示,提供了一种视频搜索装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:搜索信息输入区域展示模块1002、视频搜索信息接收模块1004、视频搜索触发模块1006和视频搜索结果展示模块1008,其中:
搜索信息输入区域展示模块1002,用于展示搜索信息输入区域;
视频搜索信息接收模块1004,用于通过搜索信息输入区域接收视频搜索信息;
视频搜索触发模块1006,用于响应于针对搜索信息输入区域的搜索操作,触发基于视频搜索信息进行的视频搜索;
视频搜索结果展示模块1008,用于展示搜索得到的搜索视频对应的视频搜索结果,视频搜索结果包括搜索视频中与视频搜索信息相关的目标展示视频帧,目标展示视频帧作为视频搜索结果中的视频展示帧进行展示。
上述视频搜索装置,展示搜索信息输入区域,通过搜索信息输入区域接收视频搜索信息,响应于针对搜索输入区域的搜索操作,触发基于视频搜索信息进行的视频搜索,展示搜索得到的搜索视频对应的视频搜索结果,视频搜索结果包括搜索视频中与视频搜索信息相关的目标展示视频帧,目标展示视频帧作为视频搜索结果中的视频展示帧进行展示,提高了视频搜索结果与视频搜索信息的相关度,提高了视频搜索结果的有效性。
关于视频搜索装置的具体限定可以参见上文中对于视频搜索方法的限定,在此不再赘述。上述视频搜索装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频搜索方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频搜索方法相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频搜索方法。
本领域技术人员可以理解,图11和图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种视频搜索方法,其特征在于,所述方法包括:
获取视频搜索信息,基于所述视频搜索信息进行视频搜索,得到搜索视频;
从所述搜索视频中获取候选展示视频帧集合,所述候选展示视频帧集合包括多个候选展示视频帧;
获取所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度;
基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧;
发送视频搜索结果,所述视频搜索结果包括所述目标展示视频帧。
2.根据权利要求1所述的方法,其特征在于,所述基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧包括:
获取所述搜索视频对应的原始展示视频帧;
获取所述原始展示视频帧与所述视频搜索信息之间的信息相关度,作为原始信息相关度;
确定所述候选信息相关度相对于所述原始信息相关度的相对差异值,从所述候选展示视频帧集合中选取得到相对差异值大于差异阈值的候选展示视频帧,将所述相对差异值大于差异阈值的候选展示视频帧中的至少一个作为所述视频搜索信息相关的目标展示视频帧。
3.根据权利要求2所述的方法,其特征在于,所述获取所述原始展示视频帧与所述视频搜索信息之间的信息相关度,作为原始信息相关度包括:
获取所述原始展示视频帧与所述视频搜索信息之间的特征相关度,作为原始特征相关度;
获取所述原始展示视频帧所对应的视频互动度,所述视频互动度是将所述原始展示视频帧作为所述搜索视频的视频搜索结果进行展示时,所述搜索视频的视频交互度;
基于所述视频互动度以及原始特征相关度得到所述原始展示视频帧与所述视频搜索信息之间的原始信息相关度;所述原始信息相关度与所述视频互动度以及所述原始特征相关度成正相关关系。
4.根据权利要求3所述的方法,其特征在于,所述获取所述原始展示视频帧所对应的视频互动度包括:
获取将所述原始展示视频帧作为所述搜索视频的视频搜索结果进行展示时,所述搜索视频对应的视频播放可能度;
获取将所述原始展示视频帧作为所述搜索视频的视频搜索结果进行展示时,所述搜索视频对应的视频播放完成度;
基于所述视频播放可能度以及所述视频播放完成度得到所述原始展示视频帧对应的视频互动度;所述视频互动度与所述视频播放可能度以及所述视频播放完成度成正相关关系。
5.根据权利要求1所述的方法,其特征在于,所述获取所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度包括:
获取所述候选展示视频帧与所述视频搜索信息之间的特征相关度,作为帧特征相关度;
获取视频片段与所述视频搜索信息之间的特征相关度,作为片段特征相关度,其中,所述候选展示视频帧是从所述视频片段中获取的,所述视频片段是对所述搜索视频进行切分得到的;
基于所述帧特征相关度以及所述片段特征相关度,得到所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度,所述候选信息相关度与所述帧特征相关度以及所述片段特征相关度成正相关关系。
6.根据权利要求5所述的方法,其特征在于,所述从所述搜索视频中获取候选展示视频帧集合包括:
获取对所述搜索视频帧进行切分得到的视频片段集合,所述视频片段集合包括多个视频片段;
将所述视频片段对应的视频帧序列中的各个视频帧进行特征提取,得到视频帧特征序列,基于所述视频帧特征序列得到所述视频帧序列中各个视频帧所对应的关键帧检测结果;
基于所述视频帧序列中各个视频帧所对应的关键帧检测结果,从所述视频帧序列中提取得到所述视频片段所对应的关键帧,作为所述候选展示视频帧集合中的候选展示视频帧。
7.根据权利要求1所述的方法,其特征在于,所述搜索视频为多个,所述基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧包括:
基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的候选展示视频帧,组成所述搜索视频对应的选取展示视频帧集合;
从各个所述搜索视频分别对应的选取展示视频帧集合中,选取得到各个所述搜索视频对应的目标展示视频帧;其中,各个所述搜索视频对应的目标展示视频帧之间的视频帧差异度大于差异度阈值。
8.根据权利要求7所述的方法,其特征在于,所述从各个所述搜索视频分别对应的选取展示视频帧集合中,选取得到各个所述搜索视频对应的目标展示视频帧包括:
确定待选取目标展示视频帧的搜索视频,作为当前视频;
获取各个对比视频对应的目标展示视频帧,组成对比视频帧集合,所述对比视频为已确定目标展示视频帧的搜索视频;
从当前视频对应的选取展示视频帧集合中,选取与所述对比视频帧集合中的目标展示视频帧之间的视频帧差异度大于差异度阈值的视频帧,将大于差异度阈值的视频帧作为当前视频对应的目标展示视频帧。
9.根据权利要求8所述的方法,其特征在于,所述从当前视频对应的选取展示视频帧集合中,选取与所述对比视频帧集合中的目标展示视频帧之间的视频帧差异度大于差异度阈值的视频帧,将大于差异度阈值的视频帧作为当前视频对应的目标展示视频帧包括:
按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧;
获取当前展示视频帧与所述对比视频帧集合中的目标展示视频帧之间的当前视频帧差异度;
当所述对比视频帧集合中的各个目标展示视频帧对应的当前视频帧差异度大于差异度阈值时,则将当前展示视频帧作为当前视频对应的目标展示视频帧,否则返回按照候选信息相关度从大到小的顺序依次从当前视频对应的选取展示视频帧集合中获取当前展示视频帧的步骤。
10.根据权利要求8所述的方法,其特征在于,所述确定待选取目标展示视频帧的搜索视频,作为当前视频包括:
确定各个所述搜索视频所对应的搜索结果排序;
按照所述搜索结果排序从搜索得到的多个所述搜索视频中依次确定待选取目标展示视频帧的搜索视频,作为当前视频。
11.一种视频搜索方法,其特征在于,所述方法包括:
展示搜索信息输入区域;
通过所述搜索信息输入区域接收视频搜索信息;
响应于针对所述搜索信息输入区域的搜索操作,触发基于所述视频搜索信息进行的视频搜索;
展示搜索得到的搜索视频对应的视频搜索结果,所述视频搜索结果包括所述搜索视频中与所述视频搜索信息相关的目标展示视频帧,所述目标展示视频帧作为所述视频搜索结果中的视频展示帧进行展示。
12.一种视频搜索装置,其特征在于,所述装置包括:
搜索视频得到模块,用于获取视频搜索信息,基于所述视频搜索信息进行视频搜索,得到搜索视频;
候选展示视频帧集合得到模块,用于从所述搜索视频中获取候选展示视频帧集合,所述候选展示视频帧集合包括多个候选展示视频帧;
候选信息相关度得到模块,用于获取所述候选展示视频帧与所述视频搜索信息之间的信息相关度,作为候选信息相关度;
目标展示视频帧得到模块,用于基于所述候选信息相关度从所述候选展示视频帧集合中选取得到与所述视频搜索信息相关的目标展示视频帧;
视频搜索结果发送模块,用于发送视频搜索结果,所述视频搜索结果包括所述目标展示视频帧。
13.一种视频搜索装置,其特征在于,所述装置包括:
搜索信息输入区域展示模块,用于展示搜索信息输入区域;
视频搜索信息接收模块,用于通过所述搜索信息输入区域接收视频搜索信息;
视频搜索触发模块,用于响应于针对所述搜索信息输入区域的搜索操作,触发基于所述视频搜索信息进行的视频搜索;
视频搜索结果展示模块,用于展示搜索得到的搜索视频对应的视频搜索结果,所述视频搜索结果包括所述搜索视频中与所述视频搜索信息相关的目标展示视频帧,所述目标展示视频帧作为所述视频搜索结果中的视频展示帧进行展示。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110954938.7A CN114329049A (zh) | 2021-08-19 | 2021-08-19 | 视频搜索方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110954938.7A CN114329049A (zh) | 2021-08-19 | 2021-08-19 | 视频搜索方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114329049A true CN114329049A (zh) | 2022-04-12 |
Family
ID=81044437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110954938.7A Pending CN114329049A (zh) | 2021-08-19 | 2021-08-19 | 视频搜索方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114329049A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134677A (zh) * | 2022-05-30 | 2022-09-30 | 一点灵犀信息技术(广州)有限公司 | 视频封面选择方法、装置、电子设备以及计算机存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160103561A1 (en) * | 2013-08-16 | 2016-04-14 | Google Inc. | Identifying productive thumbnails for media content |
CN107077595A (zh) * | 2014-09-08 | 2017-08-18 | 谷歌公司 | 选择和呈现代表性帧以用于视频预览 |
US20180082126A1 (en) * | 2016-09-20 | 2018-03-22 | Motorola Solutions, Inc. | Systems and methods of providing content differentiation between thumbnails |
KR20180136265A (ko) * | 2017-06-14 | 2018-12-24 | 주식회사 핀인사이트 | 구간 영상 검색 및 제공 장치, 방법 및 컴퓨터-판독가능 매체 |
CN110446063A (zh) * | 2019-07-26 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 视频封面的生成方法、装置及电子设备 |
-
2021
- 2021-08-19 CN CN202110954938.7A patent/CN114329049A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160103561A1 (en) * | 2013-08-16 | 2016-04-14 | Google Inc. | Identifying productive thumbnails for media content |
CN107077595A (zh) * | 2014-09-08 | 2017-08-18 | 谷歌公司 | 选择和呈现代表性帧以用于视频预览 |
US20180082126A1 (en) * | 2016-09-20 | 2018-03-22 | Motorola Solutions, Inc. | Systems and methods of providing content differentiation between thumbnails |
KR20180136265A (ko) * | 2017-06-14 | 2018-12-24 | 주식회사 핀인사이트 | 구간 영상 검색 및 제공 장치, 방법 및 컴퓨터-판독가능 매체 |
CN110446063A (zh) * | 2019-07-26 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 视频封面的生成方法、装置及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134677A (zh) * | 2022-05-30 | 2022-09-30 | 一点灵犀信息技术(广州)有限公司 | 视频封面选择方法、装置、电子设备以及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111143610B (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
CN111062871B (zh) | 一种图像处理方法、装置、计算机设备及可读存储介质 | |
WO2021088510A1 (zh) | 视频分类方法、装置、计算机以及可读存储介质 | |
CN112163122B (zh) | 确定目标视频的标签的方法、装置、计算设备及存储介质 | |
CN110781347A (zh) | 一种视频处理方法、装置、设备以及可读存储介质 | |
CN111708941A (zh) | 内容推荐方法、装置、计算机设备和存储介质 | |
CN111432282B (zh) | 一种视频推荐方法及装置 | |
CN113806588B (zh) | 搜索视频的方法和装置 | |
CN113766299B (zh) | 一种视频数据播放方法、装置、设备以及介质 | |
CN112085120B (zh) | 多媒体数据的处理方法、装置、电子设备及存储介质 | |
CN111625715B (zh) | 信息提取方法、装置、电子设备及存储介质 | |
CN113392270A (zh) | 视频处理方法、装置、计算机设备以及存储介质 | |
CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
CN112364184B (zh) | 多媒体数据的排序方法、装置、服务器及存储介质 | |
CN112989212B (zh) | 媒体内容推荐方法、装置和设备及计算机存储介质 | |
CN112818995B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
CN114339360B (zh) | 一种视频处理的方法、相关装置及设备 | |
CN116977701A (zh) | 视频分类模型训练的方法、视频分类的方法和装置 | |
CN111954087B (zh) | 视频中图像的截取方法和装置、存储介质和电子设备 | |
CN116977992A (zh) | 文本信息识别方法、装置、计算机设备和存储介质 | |
CN112749333B (zh) | 资源搜索方法、装置、计算机设备和存储介质 | |
CN114329049A (zh) | 视频搜索方法、装置、计算机设备和存储介质 | |
CN113407696A (zh) | 收集表处理方法、装置、设备以及存储介质 | |
CN115640449A (zh) | 媒体对象推荐方法、装置、计算机设备和存储介质 | |
CN110516153B (zh) | 视频的智能推送方法和装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40070366 Country of ref document: HK |