CN112367520B - 基于人工智能的视频质量诊断系统 - Google Patents

Abstract

本发明公开了一种基于人工智能的视频质量诊断系统。包括图像质量评价单元，用于对视频解码图像序列进行图像质量评价，得到图像质量评价结果；视频流质量评价单元，用于对视频编码图像序列进行视频质量评价，得到视频质量评价结果；视频质量诊断单元，用于根据图像质量评价结果、视频流质量评价结果得到整体视频质量诊断结果。利用本发明，提高了异常帧检测的准确率、水影现象识别的准确率，并进一步提高了图像质量诊断的准确率。

Description

基于人工智能的视频质量诊断系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的视频质量诊断系统。

背景技术

现有技术中，针对视频质量，一般从图像信息丰富程度以及色彩等角度来衡量。公开号为CN109151463A的现有技术公开了一种视频质量诊断系统及视频质量分析方法，对视频图像进行模糊检测、遮挡检测、偏色检测、噪声检测以及偏暗及偏亮检测，并于检测异常时产生相应的报警信息至视频巡检服务器。这种方法的缺点是缺少对视频流质量的评价，且图像质量评价计算复杂、没有对关键信息缺少的检测。公开号为CN111182292A的现有技术公开了一种无参考视频质量评估方法，利用神经网络解决视频质量评估问题，其缺点是网络训练耗时长。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能的视频质量诊断系统。

一种基于人工智能的视频质量诊断系统，该系统包括：

图像质量评价单元，用于对视频解码图像序列进行图像质量评价，得到图像质量评价结果，包括：

异常帧提取模块，用于根据异常帧评价模型对视频解码图像进行异常度量，并判断是否为异常帧；

水影验证模块，用于根据非异常帧图像中水影像素区域与正常像素区域的色调均值、饱和度均值，验证非异常帧图像是否存在水影现象；

第一质量评价模块，用于根据异常度量、异常帧数、存在水影现象的帧数评价图像质量；

视频流质量评价单元，用于对视频编码图像序列进行视频质量评价，得到视频质量评价结果，包括：

连续性分析模块，用于根据视频编码图像序列中P帧的差异像素确定P帧ROI，合并同一GOP中P帧ROI得到ROI集合，针对ROI集合内每一个ROI，统计位于ROI内的相邻两P帧差异像素个数，若像素个数大于第一阈值，则判定在该ROI内连续性差；

第二质量评价模块，用于根据视频流包含的GOP数量、每一GOP对应的ROI集合内各ROI的连续性判断结果、丢帧类别评价视频流质量；

视频质量诊断单元，用于根据图像质量评价结果、视频流质量评价结果得到整体视频质量诊断结果。

所述异常帧评价模型为：

ε₁＝α*M_V+β*M_S+γ*M_H+δ*M_G

其中，ε₁为异常度量，M_V为明度评分，α为明度评分的权重系数，M_S为饱和度评分，β为饱和度评分的权重系数，M_H为色调评分，γ为色调评分的权重系数，M_G为梯度评分，δ为梯度评分的权重系数，α+β+γ+δ＝1。

该系统还包括：

水影检测模块，用于对非异常帧图像进行分割，分割出正常像素区域与水影像素区域。

所述根据非异常帧图像中水影像素区域与正常像素区域的色调均值、饱和度均值，验证非异常帧图像是否存在水影现象具体为：

计算水影像素区域与正常像素区域色调均值之差的绝对值，记为第一绝对值；

计算水影像素区域与正常像素区域饱和度均值之差的绝对值，记为第二绝对值；

若第一绝对值大于第二阈值，第二绝对值大于第三阈值，则判断该帧图像存在水影现象。

所述根据异常度量、异常帧数、存在水影现象的帧数评价图像质量具体为：

其中，ε₂为图像质量评价结果，N为视频解码图像序列的帧数，N₁为存在水影现象的图像，N₂为异常帧数。

所述根据视频编码图像序列中P帧的差异像素确定P帧ROI包括：

对视频编码图像序列中P帧的差异像素进行连通域分析，筛选掉较小的连通域，得到P帧ROI。

该系统还包括：

丢帧判断模块，用于根据GOP长度与相邻两I帧之间的帧数，判断是否存在丢帧以及丢帧类别。

所述根据视频流包含的GOP数量、每一GOP对应的ROI集合内各ROI的连续性判断结果、丢帧类别评价视频流质量具体为：

K表示视频总的GOP数量，

为第n个ROI连续性判断结果，

为第k个GOP所对应的ROI集合内ROI个数，N_F为视频整体丢帧数量，

表征丢帧类别，丢失帧影响越大，

值越大。

所述根据图像质量评价结果、视频流质量评价结果得到整体视频质量诊断结果包括：

将图像质量评价结果、视频流质量评价结果加权求和，从而得到整体视频质量诊断结果。

异常帧评价模型中，α＝0.4，β＝0.3，γ＝0.1，δ＝0.2。

本发明与现有技术相比，具有以下有益效果：

结合图像质量与视频流质量综合诊断视频质量，提高了视频质量诊断的准确率。图像质量判断中，结合HSV属性、梯度识别异常帧，并进一步验证水影现象，从而检测是否缺少关键信息，提高了异常帧检测的准确率，提高了水影现象识别的准确率，并进一步提高了图像质量诊断的准确率。通过丢帧现象以及视频的连续性评价视频流质量，考虑到视频压缩时的异常情况和人的感官感受，使评价结果更具针对性，符合人眼的视觉感受。

附图说明

图1为本发明的框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于人工智能的视频质量诊断系统。图1为本发明的框架图。下面通过具体实施例来进行说明。

实施例1：

基于人工智能的视频质量诊断系统包括图像质量评价单元、视频流质量评价单元、视频质量诊断单元。

图像质量评价单元，用于对视频解码图像序列进行图像质量评价，得到图像质量评价结果，包括：异常帧提取模块、水影验证模块、第一质量评价模块。图像质量评价单元的输入为通过编码原理恢复得到的多帧图像，即视频解码图像序列。

异常帧提取模块，用于根据异常帧评价模型对视频解码图像进行异常度量，并判断是否为异常帧。该模块的输入为单帧视频解码图像。通过HSV色彩空间转换，得到H(色调)信息，S(饱和度)信息，以及V(明度信息)，通过拉普拉斯梯度算子求图像各像素点梯度值，并以各像素点梯度之和作为异常帧评价模型的梯度评分参数。

异常帧评价模型为：

ε₁＝α*M_V+β*M_S+γ*M_H+δ*M_G

其中，ε₁为异常度量，M_V为明度评分，α为明度评分的权重系数，M_S为饱和度评分，β为饱和度评分的权重系数，M_H为色调评分，γ为色调评分的权重系数，M_G为梯度评分，δ为梯度评分的权重系数，α+β+γ+δ＝1。优选地，＝0.4，β＝0.3，γ＝0.1，δ＝0.2。

各评分的计算方法：

式中

为图像V通道各像素的均值。

式中

为图像S通道各像素的均值。

式中

为图像H通道各像素的均值。

式中，G为图像各像素的梯度之和，G′为统计值，即对所有图像统计各自对应的G，取其中的最大值作为G′。因此，ε₁值域为[0,1]，M_V值域为[0,1]，M_S值域为[0,1]，M_H值域为[0,1]，M_G为梯度的评分，值域为[0,1]。采用HSV色彩空间的通道分量作为参数的原因在于HSV色彩空间相对于RGB更加符合人眼视觉感受，采用梯度作为参数的原因在于能够一定程度上表示出对比度，上述参数均是基于人眼视觉感受所确定。

设置经验阈值m₁，当ε₁<m₁时，判断图像为异常帧，优选地，m₁设置为0.5，实施者可根据实际情况调整阈值m₁。

整体视频质量诊断中，关键信息的丢失对视频质量的影响很大。水影现象为因编码误差导致视频流中图像恢复后出现透明水影块的图像，一般是缺少关键帧信息造成，该类图像中水影块所占图像比例较小，因此难以通过异常帧评价模型将其判别为异常帧，在本发明中通过水影检测模块进行水影情况的检测。为避免后续进行水影情况检测时出现误检情况，将异常帧从连续图像序列中筛选出来，保留不存在明显异常的图像进行后续的处理。

图像质量评价单元还包括：水影检测模块，用于对非异常帧图像进行分割，分割出正常像素区域与水影像素区域。本实施例中利用语义分割网络对非异常帧图像进行像素级分类，输出语义分割图，语义分割图中包括两类像素，正常像素和水影像素。

为了提高水影现象检测的准确性，避免出现误判，本发明通过HSV信息进行验证，具体为：通过语义分割图中属于水影现象的像素生成第一遮罩，无水影情况的像素生成第二遮罩，分别与原第一图像逐点相乘，得到水影像素区域，正常像素区域。

水影验证模块，用于根据非异常帧图像中水影像素区域与正常像素区域的色调均值、饱和度均值，验证非异常帧图像是否存在水影现象。具体地，计算水影像素区域与正常像素区域色调均值之差的绝对值，记为第一绝对值；计算水影像素区域与正常像素区域饱和度均值之差的绝对值，记为第二绝对值；若第一绝对值大于第二阈值，第二绝对值大于第三阈值，则判断该帧图像存在水影现象。即计算所得水影区域与无水影区域的色调均值H₁,H₂，饱和度均值S₁,S₂，并设置两个经验阈值m₂,，m₃，当|H₁-H₂|≥m₂且|S₁-S₂|≥m₃时，验证为图像存在水影现象。优选地，两个经验阈值分别设为60、0.3，实施者可以根据实际场景修改。

第一质量评价模块，用于根据异常度量、异常帧数、存在水影现象的帧数评价图像质量。具体地，评价图像质量具体为：

其中，ε₂为图像质量评价结果，N为视频解码图像序列的帧数，N₁为存在水影现象的图像，N₂为异常帧数。ε₂为图像质量评价结果，值域为[0,1]，值越大代表视频内图像质量越好。

视频流质量评价单元，用于对视频编码图像序列进行视频质量评价，得到视频质量评价结果，包括：连续性分析模块、第二质量评价模块。该单元的输入为连续多帧未经视频编码原理恢复的图像，即视频编码图像序列，也即视频中的I帧、P帧、B帧。

视频流质量评价单元包括丢帧判断模块。丢帧判断模块，用于根据GOP长度与相邻两I帧之间的帧数，判断是否存在丢帧以及丢帧类别。具体地，根据编码信息可以获得单帧图像的类别，类别包括I帧、B帧、P帧，根据先验视频信息得到画面组(GOP)的长度，通过相邻两I帧之间的帧数与GOP长度对比，若帧数加一小于画面组(GOP)长度，则判断为存在丢帧现象，再通过编码信息获得所丢帧的类别，以用于后续视频质量的评价。

连续性分析模块，用于根据视频编码图像序列中P帧的差异像素确定P帧ROI，合并同一GOP中P帧ROI得到ROI集合，针对ROI集合内每一个ROI，统计位于ROI内的相邻两P帧差异像素个数，若像素个数大于第一阈值，则判定在该ROI内连续性差。对视频编码图像序列中P帧的差异像素进行连通域分析，筛选掉较小的连通域，得到P帧ROI。具体地，P帧所保留信息为与I帧或P帧的差异，具体形式为图像中若干点的预测差值和运动矢量，将需要存储信息的像素点，即差异点赋值为1，其他点赋值为0，得到与等大的二值图像，通过连通域分析，将较小的连通域筛选掉可得到初始ROI区域，由于单帧所得信息可能并不准确，因此需要同一GOP内多个P帧处理获得的初始ROI区域取并集作为最终ROI区域，即ROI集合。相邻两P帧所得二值图像在ROI集合内的任意ROI内取或，通过像素点统计，并设置经验阈值m₄，当像素点个数大于经验阈值m₄时，判断为连续性较差。由于视频中可能不止一个运动前景，因此，需要考虑到ROI个数进行后续的视频质量评价。优选地，m₄设为分辨率的百分之二十，实施者也可以根据实施场景自行调整。

第二质量评价模块，用于根据视频流包含的GOP数量、每一GOP对应的ROI集合内各ROI的连续性判断结果、丢帧类别评价视频流质量。

视频流质量具体为：

K表示视频总的GOP数量，

为第n个ROI连续性判断结果，

为第k个GOP所对应的ROI集合内ROI个数，N_F为视频整体丢帧数量，

表征丢帧类别，丢失帧影响越大，

值越大。

值域为0或1，即当ROI区域内连续性较差时，

否则，

值域为0,1,2,值为0对应丢帧类别为P帧，该类帧丢失对于人眼观察影响较小；值为1对应丢帧类别为B帧，该类帧丢失会出现卡顿现象；值为2对应丢帧类别为I帧，该类帧丢失会导致一个GOP的视频异常，采用指数形式表示的原因在于，丢帧现象对于视频质量影响较为严重，因此当不存在丢帧或丢失帧仅为P帧时，丢帧项的评分为1，而存在其他帧丢失情况越多，视频质量评价结果越差，ε₃为视频质量评价结果，值域为[0,1]。

视频质量诊断单元，用于根据图像质量评价结果、视频流质量评价结果得到整体视频质量诊断结果。整体视频质量评价模型如下：

ε₄＝ρε₂+σε₃

式中，ε₄为整体视频质量评价结果，值域为[0，1]，值越大代表视频质量越好，ρ为图像质量评价的权重，σ为视频质量评价的权重，应满足ρ+σ＝1，且ρ,σ均大于等于0，优选地，设置ρ＝0.6，σ＝0.4。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于人工智能的视频质量诊断系统，其特征在于，该系统包括：

图像质量评价单元，用于对视频解码图像序列进行图像质量评价，得到图像质量评价结果，包括：

异常帧提取模块，用于根据异常帧评价模型对视频解码图像进行异常度量，并判断是否为异常帧；所述异常帧评价模型为：

ε₁＝α*M_V+β*M_S+γ*M_H+δ*M_G

其中，ε₁为异常度量，M_V为明度评分，α为明度评分的权重系数，M_S为饱和度评分，β为饱和度评分的权重系数，M_H为色调评分，γ为色调评分的权重系数，M_G为梯度评分，δ为梯度评分的权重系数，α+β+γ+δ＝1；

水影验证模块，用于根据非异常帧图像中水影像素区域与正常像素区域的色调均值、饱和度均值，验证非异常帧图像是否存在水影现象；

第一质量评价模块，用于根据异常度量、异常帧数、存在水影现象的帧数评价图像质量：

其中，ε₂为图像质量评价结果，N为视频解码图像序列的帧数，N₁为存在水影现象的图像，N₂为异常帧数；

视频流质量评价单元，用于对视频编码图像序列进行视频质量评价，得到视频质量评价结果，包括：

连续性分析模块，用于根据视频编码图像序列中P帧的差异像素确定P帧ROI，合并同一GOP中P帧ROI得到ROI集合，针对ROI集合内每一个ROI，统计位于ROI内的相邻两P帧差异像素个数，若像素个数大于第一阈值，则判定在该ROI内连续性差；

第二质量评价模块，用于根据视频流包含的GOP数量、每一GOP对应的ROI集合内各ROI的连续性判断结果、丢帧类别评价视频流质量：

K表示视频总的GOP数量，

为第n个ROI连续性判断结果，

为第k个GOP所对应的ROI集合内ROI个数，N_F为视频整体丢帧数量，

表征丢帧类别，丢帧类别包括P帧、B帧、I帧，丢失帧影响越大，

值越大；

视频质量诊断单元，用于根据图像质量评价结果、视频流质量评价结果得到整体视频质量诊断结果。

2.如权利要求1所述的系统，其特征在于，该系统还包括：

水影检测模块，用于对非异常帧图像进行分割，分割出正常像素区域与水影像素区域。

3.如权利要求1所述的系统，其特征在于，所述根据非异常帧图像中水影像素区域与正常像素区域的色调均值、饱和度均值，验证非异常帧图像是否存在水影现象具体为：

计算水影像素区域与正常像素区域色调均值之差的绝对值，记为第一绝对值；

计算水影像素区域与正常像素区域饱和度均值之差的绝对值，记为第二绝对值；

若第一绝对值大于第二阈值，第二绝对值大于第三阈值，则判断该帧图像存在水影现象。

4.如权利要求1所述的系统，其特征在于，所述根据视频编码图像序列中P帧的差异像素确定P帧ROI包括：

对视频编码图像序列中P帧的差异像素进行连通域分析，筛选掉较小的连通域，得到P帧ROI。

5.如权利要求1所述的系统，其特征在于，该系统还包括：

丢帧判断模块，用于根据GOP长度与相邻两I帧之间的帧数，判断是否存在丢帧以及丢帧类别。

6.如权利要求1所述的系统，其特征在于，所述根据图像质量评价结果、视频流质量评价结果得到整体视频质量诊断结果包括：

将图像质量评价结果、视频流质量评价结果加权求和，从而得到整体视频质量诊断结果。

7.如权利要求1所述的系统，其特征在于，α＝0.4，β＝0.3，γ＝0.1，δ＝0.2。

Images