CN107358141B - 数据识别的方法及装置 - Google Patents

Abstract

本申请提供了一种数据识别的方法及装置。其方法包括：对直播中的视频进行超帧分割，其中，多个时间相邻且满足预定相似条件的帧所组成的视频段被分割成一个超帧；当分割成一个超帧时，获取分割成的超帧的关键帧；对所述关键帧进行识别，以确定所述超帧是否包含特定类型的内容。根据本申请的技术方案，能够对正在直播的视频进行特定类型的内容的实时监控。

Description

数据识别的方法及装置

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据识别的方法及装置。

背景技术

当下互联网的直播视频作为一种新的数据内容传播方式，一方面提升了用户体验和效率，另一方面也给不良内容，特别是色情内容，提供了新的传播渠道，不但给互联网平台商、运营商带来巨大的违规风险，也给社会、国家造成巨大的负面影响。直播视频这种新的渠道是一种实时的内容生成器，若要人工审核，成本巨大、效率低下。

对视频中的不良内容的识别一般包括视频帧的提取和视频帧的判定。对于视频帧的提取，现有技术一般通过等间隔采样的方法提取帧，这种方法获得的帧质量往往较差，导致第二个环节中对视频帧进行判定的准确率低下，而且由于需要识别的帧数多，导致计算量大，增大了系统延迟。另外，现有技术中还有一种方法是通过镜头边界检测进行视频帧的提取，也就是将视频分割成多个独立的镜头，对每个镜头随机取帧，然而，由于直播视频是实时产生的用户拍摄内容，一般不存在对视频的剪辑，基本没有切变的镜头边界，因此这种方法无法应用在视频直播上。

对于视频帧的判定，现有的基于肤色模型或敏感部位模型的识别方法对光照和不同肤色的人种比较敏感，对于正常的裸露，如脸和手臂，误判率较高；敏感部位模型对遮挡比较敏感，特征的提取速度和识别速度都较慢。

发明内容

本申请的一个目的是提供一种数据识别的方法及装置，以实时监控直播视频中是否存在特定类型的内容。

根据本申请的一方面，提供了一种数据识别的方法，其中，该方法包括以下步骤：

对直播中的视频进行超帧分割，以得到多个超帧，其中，多个时间相邻且满足预定相似条件的帧所组成的视频段被分割成一个超帧；当分割成一个超帧时，获取分割成的超帧的关键帧；对所述超帧的关键帧进行识别，以确定所述超帧是否包含特定类型的内容。

可选地，在该方法中，对直播中的视频进行超帧分割，以得到多个超帧的步骤包括：每隔预定帧数间隔对所述直播中的视频进行一次采样，以得到一个采样帧；判断得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内；若否，则将所述采样帧之前尚未分割成超帧的视频段分割成一个超帧。

可选地，在该方法中，判断得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内的步骤包括：根据对所述采样帧和上一采样帧进行颜色特征提取而获取的所述采样帧的颜色直方图和上一采样帧的颜色直方图，计算所述采样帧与上一采样帧的帧间差，其中，所述上一采样帧为在所述采样帧之前对所述直播中的视频进行采样得到的采样帧；根据所述采样帧与上一采样帧的帧间差以及所述采样帧之前尚未分割成超帧的视频段的平均帧间差，确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能否被分配在同一超帧内。

可选地，在该方法中，根据所述采样帧与上一采样帧的帧间差以及所述采样帧之前尚未分割成超帧的视频段的平均帧间差，确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能否被分配在同一超帧内的步骤包括：判断所述采样帧与上一采样帧的帧间差是否小于第一预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第二预定阈值；若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内；

以及/或者，

判断所述采样帧与上一采样帧的帧间差是否大于第三预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第四预定阈值；若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

可选地，在该方法中，判断所述采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内的步骤还包括：获取所述采样帧与上一采样帧的运动匹配信息；判断所述运动匹配信息是否符合预定条件，所述预定条件包括：所述采样帧与上一采样帧匹配到的特征点个数是否大于第一预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第一预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第一预定比例；若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

可选地，在该方法中，获取所述采样帧与上一采样帧的运动匹配信息的步骤包括：基于对所述采样帧和上一采样帧进行纹理特征提取而获取到的所述采样帧的特征点集合和上一采样帧的特征点集合进行光流计算，以获取所述采样帧与上一采样帧的运动匹配信息。

可选地，在该方法中，对直播中的视频进行超帧分割的步骤还包括：判断分割成的超帧是否需要与上一个超帧进行合并，包括：判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述超帧的平均帧间差是否大于第五预定阈值，以及所述采样帧与所述超帧的平均帧差的差值是否小于第六预定阈值，若是，则确定所述分割成的超帧需要与上一个超帧进行合并；或者，判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述采样帧与上一采样帧匹配到的特征点个数是否大于第二预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第二预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第二预定比例，若是，则确定所述分割成的超帧需要与上一个超帧进行合并；

若是，则将所述分割成的超帧与上一个超帧进行合并。

可选地，在该方法中，将所述所述采样帧之前尚未分割成超帧的视频段分割成一个超帧的步骤包括：计算所述采样帧与上一个采样帧之间未采样的帧中，每两个相邻帧的帧间差；将两个相邻帧的帧间差最大的位置确定为分割成的超帧与下一超帧的切变位置。

可选地，在该方法中，获取分割成的超帧的关键帧的步骤包括：获取所述超帧中的采样帧作为所述超帧的候选关键帧集合；对所述候选关键帧集合中的候选关键帧进行去重处理，以得到所述超帧的去重候选关键帧集合；根据所述去重候选关键帧集合中的候选关键帧的质量分数，从所述去重候选关键帧集合中筛选出所述超帧的关键帧。

可选地，在该方法中，对所述候选关键帧集合中的候选关键帧进行去重处理，以得到所述超帧的去重候选关键帧集合的步骤包括：计算所述候选关键帧集合中每两个候选关键帧的帧间差，若两个候选关键帧的帧间差小于预定帧间差阈值，确定这两个候选关键帧为相似帧；对于所述候选关键帧集合中的相似帧，保留其中任意一帧，并删除其余的相似帧。

可选地，在该方法中，所述去重候选关键帧集合中的候选关键帧的质量分数是基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定而获得的；基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定的步骤包括：根据所述去重候选关键帧集合中的候选关键帧的全局颜色直方图，计算所述候选关键帧的信息熵；基于计算得到的所述候选关键帧的信息熵、以及所述候选关键帧的运动特征，生成所述候选关键帧的图像特征向量；根据预先建立的质量判定模型对所述图像特征向量进行质量判定，以获取所述候选关键帧的质量分数。

可选地，在该方法中，根据所述去重候选关键帧集合中的候选关键帧的质量分数，从所述去重候选关键帧集合中筛选出所述超帧的关键帧的步骤包括：剔除所述去重候选关键帧集合中质量分数小于预定分数阈值的候选关键帧，将保留的候选关键帧确定为所述超帧的关键帧；或者，按照质量分数从大到小的顺序对所述去重候选关键帧集合中的候选关键帧进行排序；保留排序在前的预定数量个候选关键帧作为所述超帧的关键帧。

可选地，在该方法中，对所述超帧的关键帧进行识别，以确定所述超帧是否包含特定类型的内容的步骤包括：

基于预先建立的针对所述特定类型的内容进行识别的图像识别模型，对所述超帧的各个关键帧进行识别，以获取所述超帧的各个关键帧包含特定类型的内容的概率；根据所述超帧的各个关键帧包含特定类型的内容的概率的平均值以及预定概率阈值，判断所述超帧是否包含特定类型的内容。

可选地，在该方法中，所述针对所述特定类型的内容进行识别的图像识别模型是基于深度卷积神经网络的图像识别模型。

根据本申请的另一方面，还提供了一种数据识别的装置，其中，该装置包括：

超帧分割单元，用于对直播中的视频进行超帧分割，以得到多个超帧，其中，多个时间相邻且满足预定相似条件的帧所组成的视频段被分割成一个超帧；关键帧获取单元，用于当分割成一个超帧时，获取分割成的超帧的关键帧；内容识别单元，用于对所述超帧的关键帧进行识别，以确定所述超帧是否包含特定类型的内容。

可选地，在该装置中，所述超帧分割单元包括：

采样单元，用于每隔预定帧数间隔对所述直播中的视频进行一次采样，以得到一个采样帧；判断单元，用于判断得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内；分割单元，用于若否，则将所述采样帧之前尚未分割成超帧的视频段分割成一个超帧。

可选地，在该装置中，所述判断单元包括：帧间差计算单元，用于根据对所述采样帧和上一采样帧进行颜色特征提取而获取的所述采样帧的颜色直方图和上一采样帧的颜色直方图，计算所述采样帧与上一采样帧的帧间差，其中，所述上一采样帧是在所述采样帧之前采样得到的与所述采样帧间隔预定帧数的采样帧；第一确定单元，用于根据所述采样帧与上一采样帧的帧间差以及所述采样帧之前尚未分割成超帧的视频段的平均帧间差，确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能否被分配在同一超帧内。

可选地，在该装置中，所述第一确定单元进一步用于：判断所述采样帧与上一采样帧的帧间差是否小于第一预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第二预定阈值；若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内；以及/或者，判断所述采样帧与上一采样帧的帧间差是否大于第三预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第四预定阈值；若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

可选地，在该装置中，所述判断单元还包括：信息获取单元，用于获取所述采样帧与上一采样帧的运动匹配信息；条件判断单元，用于判断所述运动匹配信息是否符合预定条件，所述预定条件包括：所述采样帧与上一采样帧匹配到的特征点个数是否大于第一预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第一预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第一预定比例；第二确定单元，用于若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

可选地，在该装置中，所述信息获取单元进一步用于：

基于对所述采样帧和上一采样帧进行纹理特征提取而获取到的所述采样帧的特征点集合和上一采样帧的特征点集合进行光流计算，以获取所述采样帧与上一采样帧的运动匹配信息。

可选地，在该装置中，所述判断单元还包括：超帧判断单元，用于判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述超帧的平均帧间差是否大于第五预定阈值，以及所述采样帧与所述超帧的平均帧差的差值是否小于第六预定阈值，若是，则确定所述分割成的超帧需要与上一个超帧进行合并；

或者，用于判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述采样帧与上一采样帧匹配到的特征点个数是否大于第二预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第二预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第二预定比例，若是，则确定所述分割成的超帧需要与上一个超帧进行合并；超帧合并单元，用于若所述超帧判断单元判断所述分割成的超帧需要与上一个超帧进行合并，则将所述分割成的超帧与上一个超帧进行合并。

可选地，在该装置中，所述分割单元包括：计算单元，用于计算所述采样帧与上一个采样帧之间每两个相邻帧的帧间差；切变位置确定单元，用于将两个相邻帧的帧间差最大的位置确定为分割成的超帧与下一超帧的切变位置。

可选地，在该装置中，所述关键帧获取单元包括：候选关键帧集合获取单元，用于获取所述超帧中的采样帧作为所述超帧的候选关键帧集合；去重处理单元，用于对所述候选关键帧集合中的候选关键帧进行去重处理，以得到所述超帧的去重候选关键帧集合；关键帧筛选单元，用于根据所述去重候选关键帧集合中的候选关键帧的质量分数，从所述去重候选关键帧集合中筛选出所述超帧的关键帧。

可选地，在该装置中，所述去重处理单元包括：相似帧确定单元，用于计算所述候选关键帧集合中每两个候选关键帧的帧间差，若两个候选关键帧的帧间差小于预定帧间差阈值，确定这两个候选关键帧为相似帧；相似帧去重单元，用于对于所述候选关键帧集合中的相似帧，保留其中任意一帧，并删除其余的相似帧。

可选地，在该装置中，所述去重候选关键帧集合中的候选关键帧的质量分数是基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定而获得的；所述装置还包括：质量判定单元，用于基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定；所述质量判定单元包括：信息熵计算单元，用于根据所述去重候选关键帧集合中的候选关键帧的全局颜色直方图，计算所述候选关键帧的信息熵；图像特征向量获取单元，用于基于计算得到的所述候选关键帧的信息熵、以及所述候选关键帧的运动特征，生成所述候选关键帧的图像特征向量；质量分数获取单元，用于根据预先建立的质量判定模型对所述图像特征向量进行质量判定，以获取所述候选关键帧的质量分数。

可选地，在该装置中，所述关键帧筛选单元进一步用于：剔除所述去重候选关键帧集合中质量分数小于预定分数阈值的候选关键帧，将保留的候选关键帧确定为所述超帧的关键帧；或者，按照质量分数从大到小的顺序对所述去重候选关键帧集合中的候选关键帧进行排序；保留排序在前的预定数量个候选关键帧作为所述超帧的关键帧。

可选地，在该装置中，所述内容识别单元包括：概率获取单元，用于基于预先建立的针对所述特定类型的内容进行识别的图像识别模型，对所述超帧的各个关键帧进行识别，以获取所述超帧的各个关键帧包含特定类型的内容的概率；内容判断单元，用于根据所述超帧的各个关键帧包含特定类型的内容的概率的平均值以及预定概率阈值，判断所述超帧是否包含特定类型的内容。

可选地，在该装置中，所述针对所述特定类型的内容进行识别的图像识别模型是基于深度卷积神经网络的图像识别模型。

与现有技术相比，本申请的实施例具有以下优点：

本申请提出视频的超帧的概念，在视频的直播过程中对不断产生的视频进行超帧分割，并以超帧为单位进行特定类型的内容的识别，从而在直播过程中识别出包含特定类型的内容的超帧视频段，实现了对直播中的视频的特定类型的内容实时监控。本申请基于图像信息熵的计算和运动特征的提取，对每一候选关键帧(采样帧)进行质量判定，从而筛选出超帧的关键帧，能够获得高质量的关键帧。本申请利用基于深度卷积神经网络的图像识别模型进行特定类型的内容的识别，提高了识别准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请一个实施例提供的方法的流程图；

图2为根据本申请实施例的对直播中的视频进行超帧分割的步骤(S110)的一种实施方式的流程图；

图3为根据本申请实施例的判断所述采样帧与所述采样帧之前尚未分割成超帧的视频段是否能被分配在同一超帧内的步骤(S112)的一种实施方式的流程图；

图4为根据本申请实施例的判断所述采样帧与所述采样帧之前尚未分割成超帧的视频段是否能被分配在同一超帧内的步骤(S112)的另一种实施方式的流程图；

图5为根据本申请实施例的将所述尚未分割成超帧的视频段分割成一个超帧的步骤(S113)的具体流程图；

图6为根据本申请实施例的对直播中的视频进行超帧分割的步骤(S110)的另一种实施方式的流程图；

图7为根据本申请实施例的获取分割成的超帧的关键帧的步骤(S120)的具体流程图；

图8为根据本申请实施例的对所述候选关键帧集合中的候选关键帧进行去重处理的步骤(S122)的具体流程图；

图9为根据本申请实施例的基于预先建立的质量判定模型对所述去重候选关键帧集合中的候选关键帧进行质量判定的步骤的具体流程图；

图10为根据本申请实施例的对所述超帧的关键帧进行识别的步骤(S130)的具体流程图；

图11为本申请一个实施例提供的装置示意图；

图12为本申请实施例提供的装置中超帧分割单元210的一种实施方式的示意图；

图13为本申请实施例提供的装置中判断单元212的一种实施方式的示意图；

图14为本申请实施例提供的装置中判断单元212的另一种实施方式的示意图；

图15为本申请实施例提供的装置中超帧分割单元210的另一种实施方式的示意图；

图16为本申请实施例提供的装置中分割单元213的示意图；

图17为本申请实施例提供的装置中关键帧获取单元220的示意图；

图18为本申请实施例提供的装置中去重处理单元222的示意图；

图19为本申请实施例提供的装置中内容识别单元230的示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本申请，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本申请，也应包含在本申请保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本申请的示例性实施例的目的。但是本申请可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

作为本申请基础的且帮助理解本本申请的公知技术内容：

直播视频：在现场随着事件的发生、发展进程同步制作和发布信息，即，实时产生并播出的拍摄内容。例如，现场直播的(电视或网络)节目。

视频镜头：是摄像机一次连续拍摄的一段视频，如电影一般由多个镜头剪辑而成。

视频关键帧：镜头通常是在一个场景下拍摄的，所以一个镜头下的各帧图像会有相当多的重复信息，因此，通常选取能够描述镜头主要内容的帧作为关键帧，来简洁地表达镜头。一个镜头可以有一个或多个关键帧，这取决于镜头内容的复杂程度。

基于深度卷积神经网络的图像识别：是一种特别设计用了处理二维形状的多层的神经网络，加入了大量的卷积滤波器(称局部感知野)，可以通过大量的标注数据自主学习特征，并同时生成分类器，最终生成的模型能够克服因环境光线的多样化、人种的多样性等问题。

超帧：视频中多个时间相邻且具有一定相似性(达到预定相似度)的帧所组成的视频段构成一个超帧。

下面结合附图对本申请作进一步详细描述。

图1为本申请一个实施例的数据识别的方法流程图。根据本申请的方法1至少包括步骤S110、步骤S120和步骤S130。本申请可应用于视频直播系统，以对直播视频进行特定类型的内容的识别。

在步骤S110中，对直播中的视频进行超帧分割，以得到多个超帧。

其中，多个时间相邻且满足预定相似条件的帧所组成的视频段被分割成一个超帧。即，一系列连续且具有一定相似性的帧所组成的视频段。例如，一个人首先坐在镜头前(包括多个连续且相邻的帧具有一定相似性的帧)，然后站起来，接着走出镜头，这里包括了3个超帧。例如，通过对直播视频的帧进行颜色特征提取，进行相邻两帧(或相邻两采样帧)之间的帧间差计算，从而根据帧间差来确定这两帧是否具有一定相似性，即，是否能被分配到同一超帧视频段内。进行超帧分割就是将多个连续且具有一定相似性(满足预定相似条件)的帧分配到一个视频段，作为一个超帧，从而以超帧为单位进行特定类型内容的判断。因此超帧分割实际上是判断(当前分割成的)一个超帧与该超帧的下一个超帧的边界。

参考图2，在一种实施方式中，步骤S110具体包括步骤S111、步骤S112和步骤S113。

步骤S111，每隔预定帧数间隔对所述直播中的视频进行一次采样，以得到一个采样帧。

由于直播视频是一种流式产生的内容，因此对直播视频的处理也采用流式的处理方法，即，对实时产生的视频数据进行处理。为了提高视频识别速度，不在每帧视频流入时对当前帧进行处理，而是在直播过程中每隔预定帧数间隔对该直播中的视频进行一次采样(即，每隔预定帧数间隔提取当前流入视频直播系统的帧)，并基于得到的采样帧对直播中的视频进行超帧分割尝试。例如，每隔10帧对实时产生(流入视频直播系统)的直播视频进行一次采样。对直播视频进行超帧分割时进行采样处理，不仅能够减小进行超帧分割的计算量，而且能够提高进行超帧分割的效率。

步骤S112，判断得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能被分配在同一超帧内。

所述采样帧之前尚未分割成超帧的视频段，即上一个(已经)分割成的超帧之后、所述采样帧之前的帧组成的视频段。超帧分割实际上是判断(当前分割成的)一个超帧与该超帧的下一个超帧的边界，判断所述采样帧与所述采样帧之前尚未分割成超帧的视频段是否能被分配在同一超帧内，就是判断该采样得到的采样帧是否为超帧边界，即所述采样帧是否能形成一个新的超帧(即，将所述尚未分割成超帧的视频段分割成一个超帧之后的下一个超帧)。

在一种具体的实施方式中，基于所述采样帧与上一采样帧(其中，所述上一采样帧属于所述采样帧之前尚未分割成超帧的视频段)的画面颜色特征，比较所述采样帧与上一采样帧的相似性，从而判断所述采样帧与之前尚未分割成超帧的视频段是否能够被分配在同一超帧内。

参考图3，步骤S112具体包括步骤S1121和步骤S1122。

步骤S1121，根据对所述采样帧和上一采样帧进行颜色特征提取而获取的所述采样帧的颜色直方图和上一采样帧的颜色直方图，计算所述采样帧与上一采样帧的帧间差。

在一种具体的实施方式中，采用分块提取的颜色特征提取方法，计算每帧图像的颜色直方图。计算所述采样帧的颜色直方图时，将所述采样帧分成N×N个分块，分别计算每个分块的颜色直方图，再根据对上一采样帧进行处理时得到的上一采样帧的每个对应分块的直方图，计算所述采样帧与上一采样帧的帧间差。由于直播视频的画面有可能不稳定，因此可以采用重叠取块的方式进行计算。例如，将所述采样帧等分成3×3个分块，每个分块取自身分块和相邻分块的1/3进行计算。计算每个分块的颜色直方图时，将所述采样帧从RGB颜色空间转换为HSV颜色空间，再将HSV颜色空间经量化后计算每个分块的HSV颜色空间的颜色直方图。

例如，将H、S、V三个分量分别量化到8、3、2，即，将色调H空间分成8份，将饱和度S空间分成3份，以及将亮度V空间分成2份。因此，经过量化将颜色空间划分成8*3*2＝48个颜色区间(bin)，通过计算颜色落在每个颜色区间内的像素数量得到颜色直方图。

其中，每个分块的颜色直方图Hist[i]＝{(h_hist[hi]，s_hist[si]，v_hist[vi])}，0≤i＜9，0≤hi＜8，0≤si＜3，0≤vi＜2；

其中，h_hist[hi]＝∑(f(Ih(x))＝hi)，其中，Ih(x)表示分块i的H分量中的任意一个像素值，f是归一化函数；同理，s_hist[si]＝∑(f(Is(x))＝si)，h_hist[vi]＝∑(f(Iv(x))＝vi)。

应当注意，上一采样帧的每个分块的颜色直方图是在对上一采样帧进行处理时采用上述实施方式得到的。

根据得到的所述采样帧和上一采样帧的每个分块的颜色直方图，计算所述采样帧和上一采样帧的对应分块的帧间差，再根据计算得到的对应分块的帧间差确定所述采样帧与上一采样帧的帧间差。

例如，采用直方图的巴氏距离(巴塔恰里雅距离/Bhattacharyya distance)进行两帧对应的分块的帧间差的计算：

Dist[i]＝1-∑sqrt(Hist1[j]*Hist2[j])，0≤i＜9，0≤j＜48 (1)

其中，i为采样帧的分块的序号，经过上述的量化将颜色空间划分成8*3*2＝48个颜色区间(bin)，j为颜色直方图的颜色空间的序号；Hist1[j]和Hist2[j]分别表示所述(当前)采样得到的采样帧和上一采样帧的分块i的颜色直方图中颜色区间j的像素值。计算得到的巴氏距离在0到1范围内，计算结果越接近0表示越相似。对所述采样帧和上一采样帧的对应分块分别计算巴氏距离，将计算得到的前三个最大值的均值作为所述采样帧与上一采样帧的帧间差。应注意，帧间差的计算不仅限于使用巴氏距离，例如还可以使用欧氏距离等计算方式。

步骤S1122，根据所述采样帧与上一采样帧的帧间差以及所述采样帧之前尚未分割成超帧的视频段的平均帧间差，确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能否被分配在同一超帧内。

计算所述采样帧与上一采样帧的帧间差，实际上就是比较所述采样帧与上一采样帧的相似度。分割成超帧的视频段可以分为静止超帧视频段、运动超帧视频段。其中，静止超帧视频段中连续采样间隔内的两帧图像相对静止，可能镜头稍微晃动或视频内物体缓慢运动，例如，人坐在镜头前。运动超帧视频段中连续采样间隔内的两帧图像存在一定比例以上的不同内容，例如，坐在镜头前的人站起来。通过帧间差确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能否被分配在同一超帧内包括：

(1)判断所述采样帧与上一采样帧的帧间差是否小于第一预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第二预定阈值；若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

这种方式具体为判断当前采样得到的采样帧与当前采样帧之前尚未分割成超帧的视频是否能否被分配在同一静止超帧视频段。例如，若当前得到的采样帧与上一采样帧的帧间差小于或等于0.3，且该采样帧与之前尚未分割成超帧的视频段的平均帧间差的差值小于0.05，则可以确定该采样帧与之前尚未分割成超帧的视频段能够被分配在同一静止超帧视频段内。

以及/或者，

(2)判断所述采样帧与上一采样帧的帧间差是否大于第三预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第四预定阈值；若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

这种方式具体为判断当前采样得到的采样帧与该采样帧之前尚未分割成超帧的视频是否能否被分配在同一运动超帧视频段。例如，若该采样帧与上一采样帧的帧间差大于0.3(运动较强的情况)，且该采样帧与该采样帧之前尚未分割成超帧的视频段的平均帧间差的差值小于0.17，则可以确定该采样帧与该采样帧之前尚未分割成超帧的视频段能够被分配在同一运动超帧视频段内。

应当注意，第一预定阈值小于第三预定阈值，且第二预定阈值小于第四预定阈值，第(2)种方式可以在第(1)种方式判断结果为否的情况下执行。即，先判断所述采样得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一静止超帧视频段内，若否，再判断是否能够被分配在同一运动超帧视频段内，若否，则所述采样得到的采样帧与所述采样帧之前尚未分割成超帧的视频段不能被分配在同一超帧内。

参考图4，基于上述的实施方式，步骤S112还包括步骤S1123、步骤S1124和步骤S1125。为了增强上述判断的可靠性，在另一种具体实施方式中，在利用帧间差判断所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内的情况下，用所述采样帧和上一采样帧的运动信息的匹配结果进行再次判定。

步骤1123，获取所述采样帧与上一采样帧的运动匹配信息。

具体而言，若执行步骤S1121～步骤S1122确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内，则获取所述采样帧与上一采样帧的运动匹配信息。

在一种具体的实施方式中，基于对所述采样帧和上一采样帧进行纹理特征提取而获取到的所述采样帧的特征点集合和上一采样帧的特征点集合进行光流计算，以获取所述采样帧与上一采样帧的运动匹配信息。

为了快速地获取所述采样帧的纹理特征，可以采用FAST角点特征提取的方法，提取所述采样帧的特征点集合。具体地，在所述采样帧上任取一像素点作为候选特征点；确定所述候选特征点周围预定像素距离处的像素点与所述候选特征点的灰度值差值；判断与所述候选特征点的灰度值差值大于预定灰度值的像素点的数量是否超过预定数量；若是，则确定所述候选特征点为所述采样帧的特征点。为了提高特征点提取的效率，通常只使用预定数量的周边像素点来比较，例如，使用9个周边像素来进行比较。

通过上述过程获取当前采样得到的采样帧的特征点集合，基于所述采样帧的特征点集合和上一采样帧的特征点集合进行光流计算，以获取所述采样帧与上一采样帧的运动匹配结果。

在一种具体地的实施方式中，采用金字塔Lucas-Kanade光流跟踪算法对当前采样得到的采样帧进行运动跟踪。金字塔Lucas-Kanade光流跟踪算法，在图像金字塔的最高层计算光流，用得到的运动估计结果作为下一层金字塔的起始点，重复这个过程直到到达金字塔的最底层。计算时需要在跟踪之前指定一组特征点，因此，基于纹理特征提取获得的所述采样帧的特征点集合和上一采样帧的特征点集合进行光流法跟踪。根据所述采样帧的特征点坐标和上一采样帧的特征坐标进行光流计算，以得到特征点的运动信息。

通过光流计算，可以获得如下运动信息：

a.total_match_point：所述采样帧与上一采样帧匹配到的特征点个数；

b.match_rate：所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值；

c.static_rate：所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例，其中，静止的点是指运动模值小于预定模值的点；

d.motion_val：所述采样帧的平均光流强度；

e.motion_direct_var：所述采样帧的光流场方向上的统计方差，即，特征点运动方向与坐标轴的夹角的方差，可以表示运动的复杂程度。

其中，a、b、c为所述采样帧与上一采样帧的运动匹配信息；c、d为所述采样帧(相对于上一采样帧)的运动特征信息。

步骤S1124，判断所述运动匹配信息是否符合预定条件。

所述预定条件例如包括：所述采样帧与上一采样帧匹配到的特征点个数是否大于预定个数(例如，total_match_point是否大于80)，所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第一预定比值(例如，match_rate是否大于80％)、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例大于第一预定比例(例如，static_rate是否大于70％)。

步骤S1125，若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

若所述采样帧与上一采样帧的运动匹配信息符合上述预定条件，则所述采样帧与上一采样帧能够被分配在同一超帧内，若所述采样帧与上一采样帧的运动匹配信息不符合上述预定条件，则所述采样帧与上一采样帧不能被分配在同一超帧内。

返回图2，步骤S113，若否，则将所述采样帧之前尚未分割成超帧的视频段分割成一个超帧。

若当前采样得到的采样帧与该采样帧之前尚未分割成超帧的视频段不能被分配到同一超帧内，说明该采样帧与之前尚未分割成超帧的视频段未达到相似条件，则之前尚未分割成超帧的视频段可以构成超帧，则将该尚未分割成超帧的视频段分割成一个新的超帧。另外，若该采样帧与上一采样帧能够被分配在同一超帧内，则继续对下一采样帧进行处理和上述判断。

由于进行了等间隔采样，因此通过上述步骤S111和步骤S112的超帧分割为粗分割。因此，可以在当前采样得到的采样帧与上一采样帧之间进行切变位置的精确定位。

参考图5，将所述尚未分割成超帧的视频段分割成一个超帧的步骤具体包括步骤S1131和步骤S1132。

步骤S1131，计算所述采样帧与上一个采样帧之间每两个相邻帧的帧间差。

其中，在对所述正在直播的直播视频进行处理时，对流入的视频数据进行预处理，例如，将当前流入的帧的边长缩放到128像素，并进行去黑边和gamma校正，从而减少光照对图像的影响。并对处理后的帧进行缓存，以便在此步骤中使用。计算所述采样得到的采样帧与上一采样帧之间每两个相邻帧的帧间差，即计算该采样帧与上一采样帧时间所有帧(包括该采样帧与上一采样帧，以及该采样帧与上一采样帧之间的未采样的帧)中每两个相邻帧的帧间差，可以用上述步骤1121中计算所述采样帧和上一采样帧的帧间差的方法计算每两个相邻帧的帧间差，利用公式(1)进行计算，此处不再赘述。

步骤S1132，将两个相邻帧的帧间差最大的位置作为分割成的超帧与下一超帧的切变位置。

其中，上一个超帧之后至该切变位置之前的帧组成的视频段为分割成的超帧，该切变位置之后的帧属于下一个(未分割的)超帧。

参考图6，步骤110还包括步骤S114和步骤S115。

步骤S114，判断分割成的超帧是否需要与上一个超帧进行合并。

所述上一个超帧为所述分割成的超帧的上一个(分割成的)超帧，即，所述分割成的超帧之前分割成超帧，其与所述分割成的超帧相邻。当直播视频存在拍摄设备的运动时，设备可能是沿着某一方向进行运动、旋转、变焦距、倾斜等，加之背景晃动，会导致拍摄画面的内容变化、畸变和光照的变化，在进行超帧分割时可能会分割出较多比较短的运动超帧视频段，因此需要进行运动超帧视频段的合并，避免无意义的超帧分割。

步骤S114可以包括以下两种具体的实施方式：

(1)判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述超帧的平均帧间差是否大于第五预定阈值，以及所述采样帧与所述超帧的平均帧差的差值是否小于第六预定阈值，若是，则确定所述分割成的超帧需要与上一个超帧进行合并。

首先，判断分割成的超帧的长度是否小于预定帧数，该预定帧数例如为40帧，若不满足长度小于预定帧数的条件，则分割成的超帧不需要进行合并。若该分割成的超帧满足长度小于预定帧数的条件，再判断该超帧是否为运动超帧视频段，即，通过判断所述超帧的平均帧间差是否大于第五预定阈值，以及所述采样帧与所述超帧的平均帧差的差值是否小于第六预定阈值，来确定分割成的超帧是否需要合并。假设所述第五预定阈值为0.08，第六预定阈值例如为0.2，若分割成的超帧的平均帧间差大于0.08，且所述采样帧与该超帧的平均帧间差的差值小于0.2，则该超帧为运动超帧视频段，需要与上一个超帧进行合并。上述方式是利用帧间差判断分割成的超帧是否为运动超帧视频段。

(2)判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述采样帧与上一采样帧匹配到的特征点个数是否大于第二预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第二预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第二预定比例，若是，则确定所述分割成的超帧需要与上一个超帧进行合并。

这种方式也是首先判断分割成的超帧的长度是否小于预定帧数，若不满足长度小于预定帧数的条件，则分割成的超帧不需要进行合并。若该分割成的超帧满足长度小于预定帧数的条件，再判断该超帧是否为运动超帧视频段，即，通过判断所述采样帧与上一采样帧匹配到的特征点个数(total_match_point)是否大于第二预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值(match_rate)是否大于第二预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例(static_rate)是否大于第二预定比例，来确定分割成的超帧是否需要合并。假设所述第二预定个数为80，所述第二预定比值为80％，所述第二预定比例为30％。

步骤S115，若是，则将所述分割成的超帧与上一个超帧进行合并。

若上述步骤S114中任意一项的判断结果为肯定结果，则将所述分割成的超帧与上一个超帧进行合并，即合并为一个超帧。

返回图1，在步骤S120中，当分割成一个超帧时，获取分割成的超帧的关键帧。

即，在对所述直播中的视频进行超帧分割的过程中，每当分割成一个超帧，即获取当前分割成的超帧的关键帧，以实现以超帧为单位对所述直播中的视频进行实时的特定类型的内容的识别。参考图7，步骤S120具体包括步骤S121、步骤S122和步骤S123。

步骤S121，获取所述超帧中的采样帧作为所述超帧的候选关键帧集合。

为了减少占用的内存、提高处理效率，关键帧的获取也采用流式进行，并且，关键帧的获取与超帧分割同时进行。其中，若判断当前采样得到的采样帧与所述采样帧之前尚未构成超帧的视频段能够被分配到同一超帧中，即，该采样帧不会形成一个新的超帧，则将该采样帧作为所述尚未分割成超帧的视频段(但未来将会分割成超帧)的候选关键帧，并存入该视频段(未来将会被分割成超帧)的候选关键帧集合中。

步骤S122，对所述候选关键帧集合中的候选关键帧进行去重处理，以得到所述超帧的去重候选关键帧集合。

参考图8，步骤S122具体包括步骤S1221和步骤S1222。

步骤S1221，计算所述候选关键帧集合中每两个候选关键帧的帧间差，若两个候选关键帧的帧间差小于预定帧间差阈值，则确定这两个候选关键帧为相似帧。

两个候选关键帧的帧间差可以使用步骤1121中计算帧间差的方法，利用公式(1)进行计算，若计算得到的两个候选关键帧的帧间差小于预定帧间差阈值，则可以确定这两帧为相似帧。

步骤S1222，对于所述候选关键帧集合中的相似帧，保留其中任意一帧，并删除其余的相似帧。

例如，3个相似帧，只保留其中一帧，并删除其余的两帧，将该候选关键帧集合中相似帧进行上述处理，就得到了该分割成的超帧的去重候选关键帧集合。

步骤S123，根据所述去重候选关键帧集合中的候选关键帧的质量分数，从所述去重候选关键帧集合中筛选出所述超帧的关键帧。

其中，所述去重候选关键帧集合中的候选关键帧的质量分数是基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定而获得的。对所述去重候选关键帧集合中候选关键帧进行质量判定，可以在得到该候选关键帧集合后进行(即，分割成当前超帧之后)，也可以在进行超帧分割的同时进行，即，对每个采样帧进行处理的同时，计算该采样帧的质量分数。

基于预先建立的质量判定模型对所述去重候选关键帧集合中的候选关键帧进行质量判定的步骤具体包括步骤S1、步骤S2和步骤S3，如图9所示。

步骤S1，根据所述去重候选关键帧集合中的候选关键帧的全局颜色直方图，计算所述候选关键帧的信息熵。

具体地，采用步骤1121中的颜色特征提取方法，获取所述候选关键帧的分块颜色直方图(可以直接利用步骤S1121中得到的该候选关键帧的分块颜色直方图)，然后将每个分块的颜色直方图的对应分量相加，获得该候选关键帧的全局颜色直方图，再根据该候选关键帧的全局颜色直方图计算该候选关键帧的信息熵。

例如，将该候选关键帧分成N×N个分块(例如，3×3个分块)，分别计算每个分块的颜色直方图Hist[i]＝{(h_hist[hi]，s_hist[si]，v_hist[vi])}，0≤i＜9，0≤hi＜8，0≤si＜3，0≤vi＜2；

将每个分块的颜色直方图的对应分量相加，获得该候选关键帧的全局颜色直方图：

gHist＝{(gh_hist[hi]，gs_hist[si]，gv_hist[vi])}，0≤hi＜8，0≤si＜3，0≤vi＜2，

其中：

gh_hist[hi]＝∑h_hist[i][hi]，0≤i＜9；

gs_hist[hi]＝∑s_hist[i][si]，0≤i＜9；

gv_hist[hi]＝∑v_hist[i][vi]，0≤i＜9；

然后对该候选关键帧的全局颜色直方图gHist进行信息熵imgEntropy计算，计算公式如下：

imgEntropy＝0-∑(gHist[j]*log(gHist[j]))，0≤j＜48 (2)

步骤S2，基于计算得到的所述候选关键帧的信息熵、以及所述候选关键帧的运动信息，生成所述候选关键帧的图像特征向量。

具体地，可以利用步骤S1123中相同的方法提取所述候选关键帧的运动信息。即，基于对所述候选关键帧和所述候选关键帧的上一采样帧进行纹理特征提取而获取到的所述候选关键帧的特征点集合和所述候选关键帧的上一采样帧的特征点集合进行光流计算，以获取所述候选关键帧与所述候选关键帧的上一采样帧的运动信息。具体计算过程可参考步骤S1123，此处不加赘述。

将该候选关键帧的信息熵和该候选关键帧的运动信息写成向量形式，可以获得如下的图像特征向量：

framefeature＝[total_match_point，motion_val，match_rate，static_rate，motion_direct_var，imgEntropy]。

步骤S3，根据预先建立的质量判定模型对所述图像特征向量进行质量判定，以获取所述候选关键帧的质量分数。

将得到的该候选关键帧的图像特征向量输入预先建立的质量判定模型中，输出该候选关键帧的质量分数。

具体地，大量收集视频中的截图，并训练获得质量判定模型，其中，可以用回归分析(logistic regression)的方法建立质量判定分类器(即质量判定模型)，通过该质量判定模型，可以输出当前帧的质量分数，其中，质量分数为0～1的小数。

步骤S123具体包括以下两种具体实施方式：

(1)剔除所述去重候选关键帧集合中质量分数小于预定分数阈值的候选关键帧，将保留的候选关键帧确定为所述超帧的关键帧。

所述预定分数阈值例如为0.2，即，剔除该去重候选关键帧集合中质量分数小于0.2的帧，将其余质量分数大于或等于0.2的帧作为该超帧的关键帧。

或者，

(2)按照质量分数从大到小的顺序对所述去重候选关键帧集合中的候选关键帧进行排序；保留排序在前的预定数量个候选关键帧作为所述超帧的关键帧。

例如，按照质量分数从大到小的顺序对该去重候选关键帧集合中的候选关键帧进行排序后，保留排序在前的10个候选关键帧作为该超帧的候选关键帧。

返回图1，在步骤S130中，对所述超帧的关键帧进行识别，以确定所述超帧是否包含特定类型的内容。

参考图10，步骤S130具体包括步骤S131和步骤S132。

步骤S131，基于预先建立的针对所述特定类型的内容进行识别的图像识别模型，对所述超帧的各个关键帧进行识别，以获取所述超帧的各个关键帧包含特定类型的内容的概率。

其中，所述预先建立的针对所述特定类型的内容进行识别的图像识别模型是基于深度卷积神经网络的图像识别模型。通过对海量的该特定类型的内容的图像进行训练，建立基于深度卷积神经网络的图像识别模型，将所述超帧的各个关键帧输入该图像识别模型中，从而获取所述超帧的各个关键帧包含所述特定类型的内容的概率，即各个关键帧的内容属于该特定类型的内容的概率。采用基于深度卷积神经网络的图像识别模型，能够避免传统图像识别算法中的复杂特征提取和数据重建过程。

步骤S132，根据所述超帧的各个关键帧包含特定类型的内容的概率的平均值以及预定概率阈值，判断所述超帧是否包含特定类型的内容。

其中，若所述超帧的各个关键帧包含特定类型的内容的概率的平均值大于预定概率阈值，则确定所述超帧包含特定类型的内容。若所述超帧的各个关键帧包含特定类型的内容的概率的平均值小于或等于预定概率阈值，则确定所述超帧不包含特定类型的内容。例如，该预定概率阈值可以为0.9，通过图像识别模型输出当前分割成的超帧的各个关键帧包含特定类型的内容的概率后，计算各个关键帧的包含特定类型的内容概率的平均值，并判断该平均值是否超过0.9，若是，则确定该超帧包含特定类型的内容。

若确定该(当前分割成的)超帧包含特定类型的内容，可以提醒系统阻止该直播中的视频的播放，若未识别出该(当前分割成的)超帧包含特定类型的内容，则继续进行超帧分割及特定类型的内容的判断，直到视频直播完毕，因此，可以实现实时识别出直播视频是否包含特定类型的内容。

本申请提出视频的超帧概念，在视频的直播过程中对不断产生的视频进行超帧分割，并以超帧为单位进行特定类型的内容的识别，从而在直播过程中识别出包含特定类型的内容的超帧视频段，实现了对当前直播的视频的特定类型的内容实时监控。本申请基于信息熵的计算和运动特征的提取，并通过质量判定模型输出每一采样帧质量判定结果，从而筛选出当前分割成的超帧的关键帧，节省计算资源，并且能够获得高质量的关键帧。本申请利用基于深度卷积神经网络的图像识别模型进行特定类型的内容的识别，提高了识别准确性。

基于与方法同样的发明构思，本申请还提供一种数据识别的装置。图11所示为数据识别的装置2的示意图，该装置2包括：

超帧分割单元210，用于对直播中的视频进行超帧分割，以得到多个超帧，其中，多个时间相邻且满足预定相似条件的帧所组成的视频段被分割成一个超帧；

关键帧获取单元220，用于当分割成一个超帧时，获取分割成的超帧的关键帧；

内容识别单元230，用于对所述超帧的关键帧进行识别，以确定所述超帧是否包含特定类型的内容。

参考图12，在一个具体实施方式中，所述超帧分割单元210包括：

采样单元211，用于每隔预定帧数间隔对所述直播中的视频进行一次采样，以得到一个采样帧；

判断单元212，用于判断得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内；

分割单元213，用于若否，则将所述采样帧之前尚未分割成超帧的视频段分割成一个超帧。

参考图13，在一个具体实施方式中，所述判断单元212包括：

帧间差计算单元2121，用于根据对所述采样帧和上一采样帧进行颜色特征提取而获取的所述采样帧的颜色直方图和上一采样帧的颜色直方图，计算所述采样帧与上一采样帧的帧间差，其中，所述上一采样帧是在所述采样帧之前采样得到的与所述采样帧间隔预定帧数的采样帧；

第一确定单元2122，用于根据所述采样帧与上一采样帧的帧间差以及所述采样帧之前尚未分割成超帧的视频段的平均帧间差，确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能否被分配在同一超帧内。

其中，所述第一确定单元2122进一步用于：

判断所述采样帧与上一采样帧的帧间差是否小于第一预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第二预定阈值；

若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内；

以及/或者，

判断所述采样帧与上一采样帧的帧间差是否大于第三预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第四预定阈值；

若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

参考图14，基于图13所描述的实施方式，所述判断单元212还包括：

信息获取单元2123，用于获取所述采样帧与上一采样帧的运动匹配信息；

条件判断单元2124，用于判断所述运动匹配信息是否符合预定条件，所述预定条件包括：所述采样帧与上一采样帧匹配到的特征点个数是否大于第一预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第一预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第一预定比例；

第二确定单元2125，用于若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

其中，所述信息获取单元2123进一步用于：

基于对所述采样帧和上一采样帧进行纹理特征提取而获取到的所述采样帧的特征点集合和上一采样帧的特征点集合进行光流计算，以获取所述采样帧与上一采样帧的运动匹配信息。

参考图15，基于上述实施方式，所述超帧分割单元210还包括：

超帧判断单元214，用于判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述超帧的平均帧间差是否大于第五预定阈值，以及所述采样帧与所述超帧的平均帧差的差值是否小于第六预定阈值，若是，则确定所述分割成的超帧需要与上一个超帧进行合并；

或者，

用于判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述采样帧与上一采样帧匹配到的特征点个数是否大于第二预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第二预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第二预定比例，若是，则确定所述分割成的超帧需要与上一个超帧进行合并；

超帧合并单元215，用于若所述超帧判断单元判断所述分割成的超帧需要与上一个超帧进行合并，则将所述分割成的超帧与上一个超帧进行合并。

参考图16，所述分割单元213包括：

计算单元2131，用于计算所述采样帧与上一个采样帧之间每两个相邻帧的帧间差；

切变位置确定单元2132，用于将两个相邻帧的帧间差最大的位置确定为分割成的超帧与下一超帧的切变位置。

参考图17，基于上述任意实施方式，所述关键帧获取单元220包括：

候选关键帧集合获取单元221，用于获取所述超帧中的采样帧作为所述超帧的候选关键帧集合；

去重处理单元222，用于对所述候选关键帧集合中的候选关键帧进行去重处理，以得到所述超帧的去重候选关键帧集合；

关键帧筛选单元223，用于根据所述去重候选关键帧集合中的候选关键帧的质量分数，从所述去重候选关键帧集合中筛选出所述超帧的关键帧。

参考图18，基于图17所描述的实施方式，所述去重处理单元222包括：

相似帧确定单元2221，用于计算所述候选关键帧集合中每两个候选关键帧的帧间差，若两个候选关键帧的帧间差小于预定帧间差阈值，确定这两个候选关键帧为相似帧；

相似帧去重单元2222，用于对于所述候选关键帧集合中的相似帧，保留其中任意一帧，并删除其余的相似帧。

其中，所述去重候选关键帧集合中的候选关键帧的质量分数是基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定而获得的，

装置2还包括：质量判定单元(图未示)，用于基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定；

所述质量判定单元包括：

信息熵计算单元，用于根据所述去重候选关键帧集合中的候选关键帧的全局颜色直方图，计算所述候选关键帧的信息熵；

图像特征向量获取单元，用于基于计算得到的所述候选关键帧的信息熵、以及所述候选关键帧的运动特征，生成所述候选关键帧的图像特征向量；

质量分数获取单元，用于根据预先建立的质量判定模型对所述图像特征向量进行质量判定，以获取所述候选关键帧的质量分数。

基于图17所描述的实施方式，所述关键帧筛选单元223进一步用于：

剔除所述去重候选关键帧集合中质量分数小于预定分数阈值的候选关键帧，将保留的候选关键帧确定为所述超帧的关键帧；

或者，

按照质量分数从大到小的顺序对所述去重候选关键帧集合中的候选关键帧进行排序；保留排序在前的预定数量个候选关键帧作为所述超帧的关键帧。

参考图19，基于上述任意实施方式，所述内容识别单元230包括：

概率获取单元231，用于基于预先建立的针对所述特定类型的内容进行识别的图像识别模型，对所述超帧的各个关键帧进行识别，以获取所述超帧的各个关键帧包含特定类型的内容的概率；

内容判断单元232，用于根据所述超帧的各个关键帧包含特定类型的内容的概率的平均值以及预定概率阈值，判断所述超帧是否包含特定类型的内容。

其中，所述预先建立的针对所述特定类型的内容进行识别的图像识别模型是基于深度卷积神经网络的图像识别模型。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，本申请的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

虽然前面特别示出并且描述了示例性实施例，但是本领域技术人员将会理解的是，在不背离权利要求书的精神和范围的情况下，在其形式和细节方面可以有所变化。

Claims (16)

1.一种数据识别的方法，其特征在于，该方法包括以下步骤：

对直播中的视频进行超帧分割，以得到多个超帧，具体步骤包括：

每隔预定帧数间隔对所述直播中的视频进行一次采样，以得到一个采样帧；

判断得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内；

若否，则将所述采样帧之前尚未分割成超帧的视频段分割成一个超帧；

其中，多个时间相邻且满足预定相似条件的帧所组成的视频段被分割成一个超帧；

当分割成一个超帧时，获取分割成的超帧的关键帧；

对所述超帧的关键帧进行识别，以确定所述超帧是否包含特定类型的内容；

其中判断所述采样帧与上一采样帧的帧间差是否小于第一预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第二预定阈值；

若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内；

以及/或者，

判断所述采样帧与上一采样帧的帧间差是否大于第三预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第四预定阈值；

若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

2.根据权利要求1所述的方法，其特征在于，判断得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内的步骤包括：

根据对所述采样帧和上一采样帧进行颜色特征提取而获取的所述采样帧的颜色直方图和上一采样帧的颜色直方图，计算所述采样帧与上一采样帧的帧间差，其中，所述上一采样帧为在所述采样帧之前对所述直播中的视频进行采样得到的采样帧；

根据所述采样帧与上一采样帧的帧间差以及所述采样帧之前尚未分割成超帧的视频段的平均帧间差，确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能否被分配在同一超帧内。

3.根据权利要求2所述的方法，其特征在于，判断所述采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内的步骤还包括：

获取所述采样帧与上一采样帧的运动匹配信息；

判断所述运动匹配信息是否符合预定条件，所述预定条件包括：所述采样帧与上一采样帧匹配到的特征点个数是否大于第一预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第一预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第一预定比例；

若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

4.根据权利要求3所述的方法，其特征在于，获取所述采样帧与上一采样帧的运动匹配信息的步骤包括：

基于对所述采样帧和上一采样帧进行纹理特征提取而获取到的所述采样帧的特征点集合和上一采样帧的特征点集合进行光流计算，以获取所述采样帧与上一采样帧的运动匹配信息。

5.根据权利要求4所述的方法，其特征在于，对直播中的视频进行超帧分割的步骤还包括：

判断分割成的超帧是否需要与上一个超帧进行合并，包括：

判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述超帧的平均帧间差是否大于第五预定阈值，以及所述采样帧与所述超帧的平均帧差的差值是否小于第六预定阈值，若是，则确定所述分割成的超帧需要与上一个超帧进行合并；

或者，

判断分割成的超帧的长度是否小于预定帧数，若是，则判断所述采样帧与上一采样帧匹配到的特征点个数是否大于第二预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第二预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第二预定比例，若是，则确定所述分割成的超帧需要与上一个超帧进行合并；

若是，则将所述分割成的超帧与上一个超帧进行合并。

6.根据权利要求1所述的方法，其特征在于，将所述所述采样帧之前尚未分割成超帧的视频段分割成一个超帧的步骤包括：

计算所述采样帧与上一个采样帧之间每两个相邻帧的帧间差；

将两个相邻帧的帧间差最大的位置确定为分割成的超帧与下一超帧的切变位置。

7.根据权利要求1-6中任一项所述的方法，其特征在于，获取分割成的超帧的关键帧的步骤包括：

获取所述超帧中的采样帧作为所述超帧的候选关键帧集合；

对所述候选关键帧集合中的候选关键帧进行去重处理，以得到所述超帧的去重候选关键帧集合；

根据所述去重候选关键帧集合中的候选关键帧的质量分数，从所述去重候选关键帧集合中筛选出所述超帧的关键帧。

8.根据权利要求7所述的方法，其特征在于，对所述候选关键帧集合中的候选关键帧进行去重处理，以得到所述超帧的去重候选关键帧集合的步骤包括：

计算所述候选关键帧集合中每两个候选关键帧的帧间差，若两个候选关键帧的帧间差小于预定帧间差阈值，则确定这两个候选关键帧为相似帧；

对于所述候选关键帧集合中的相似帧，保留其中任意一帧，并删除其余的相似帧。

9.根据权利要求7所述的方法，其特征在于，所述去重候选关键帧集合中的候选关键帧的质量分数是基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定而获得的；

基于预先建立的质量判定模型，对所述去重候选关键帧集合中的候选关键帧进行质量判定的步骤包括：

根据所述去重候选关键帧集合中的候选关键帧的全局颜色直方图，计算所述候选关键帧的信息熵；

基于计算得到的所述候选关键帧的信息熵、以及所述候选关键帧的运动特征，生成所述候选关键帧的图像特征向量；

根据预先建立的质量判定模型对所述图像特征向量进行质量判定，以获取所述候选关键帧的质量分数。

10.根据权利要求7所述的方法，其特征在于，根据所述去重候选关键帧集合中的候选关键帧的质量分数，从所述去重候选关键帧集合中筛选出所述超帧的关键帧的步骤包括：

剔除所述去重候选关键帧集合中质量分数小于预定分数阈值的候选关键帧，将保留的候选关键帧确定为所述超帧的关键帧；

或者，

按照质量分数从大到小的顺序对所述去重候选关键帧集合中的候选关键帧进行排序；

保留排序在前的预定数量个候选关键帧作为所述超帧的关键帧。

11.根据权利要求1所述的方法，其特征在于，对所述超帧的关键帧进行识别，以确定所述超帧是否包含特定类型的内容的步骤包括：

基于预先建立的针对所述特定类型的内容进行识别的图像识别模型，对所述超帧的各个关键帧进行识别，以获取所述超帧的各个关键帧包含特定类型的内容的概率；

根据所述超帧的各个关键帧包含特定类型的内容的概率的平均值以及预定概率阈值，判断所述超帧是否包含特定类型的内容。

12.根据权利要求11所述的方法，其特征在于，所述针对所述特定类型的内容进行识别的图像识别模型是基于深度卷积神经网络的图像识别模型。

13.一种数据识别的装置，其特征在于，该装置包括：

超帧分割单元，用于对直播中的视频进行超帧分割，以得到多个超帧，其中，多个时间相邻且满足预定相似条件的帧所组成的视频段被分割成一个超帧；

所述超帧分割单元包括：

采样单元，用于每隔预定帧数间隔对所述直播中的视频进行一次采样，以得到一个采样帧；

判断单元，用于判断得到的采样帧与所述采样帧之前尚未分割成超帧的视频段是否能够被分配在同一超帧内；

分割单元，用于若否，则将所述采样帧之前尚未分割成超帧的视频段分割成一个超帧；

关键帧获取单元，用于当分割成一个超帧时，获取分割成的超帧的关键帧；

内容识别单元，用于对所述超帧的关键帧进行识别，以确定所述超帧是否包含特定类型的内容；

其中判断所述采样帧与上一采样帧的帧间差是否小于第一预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第二预定阈值；

若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内；

以及/或者，

判断所述采样帧与上一采样帧的帧间差是否大于第三预定阈值，以及所述采样帧与上一采样帧的帧间差与所述采样帧之前尚未分割成超帧的视频段的平均帧间差的差值是否小于第四预定阈值；

若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

14.根据权利要求13所述的装置，其特征在于，所述判断单元包括：

帧间差计算单元，用于根据对所述采样帧和上一采样帧进行颜色特征提取而获取的所述采样帧的颜色直方图和上一采样帧的颜色直方图，计算所述采样帧与上一采样帧的帧间差，其中，所述上一采样帧是在所述采样帧之前采样得到的与所述采样帧间隔预定帧数的采样帧；

第一确定单元，用于根据所述采样帧与上一采样帧的帧间差以及所述采样帧之前尚未分割成超帧的视频段的平均帧间差，确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能否被分配在同一超帧内。

15.根据权利要求14所述的装置，其特征在于，所述判断单元还包括：

信息获取单元，用于获取所述采样帧与上一采样帧的运动匹配信息；

条件判断单元，用于判断所述运动匹配信息是否符合预定条件，所述预定条件包括：所述采样帧与上一采样帧匹配到的特征点个数是否大于第一预定个数、所述采样帧与上一采样帧匹配到的特征点个数与上一采样帧的特征点个数的比值是否大于第一预定比值、以及所述采样帧与上一采样帧匹配到的特征点中静止的点所占的比例是否大于第一预定比例；

第二确定单元，用于若是，则确定所述采样帧与所述采样帧之前尚未分割成超帧的视频段能够被分配在同一超帧内。

16.根据权利要求15所述的装置，其特征在于，所述信息获取单元进一步用于：

基于对所述采样帧和上一采样帧进行纹理特征提取而获取到的所述采样帧的特征点集合和上一采样帧的特征点集合进行光流计算，以获取所述采样帧与上一采样帧的运动匹配信息。

Images