CN117241007A - 一种基于计算机视觉的广播电视故障判别定位方法及系统 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的广播电视故障判别定位方法及系统，包括获取监控中异常图像的特征画面，并构建异常图像的数据集；构建深度卷积神经网络模型，利用数据集对深度卷积神经网络模型进行训练；实时图像采集，得到每一个独立监控环节的监控画面；利用训练好的深度卷积神经网络模型对每一个独立监控环节的图像进行故障识别与定位，得到故障识别与定位结果；基于广播电视播出信号流的关联性和故障识别与定位结果，智能化形成故障类别和处理方案。本发明通过设计广播电视故障判别和定位系统。与传统的故障判别和定位方式比较，在保证故障判别和定位的准确度的前提下，大幅降低的运行成本，有效的提高的故障判别的敏感度。

Description

一种基于计算机视觉的广播电视故障判别定位方法及系统

技术领域

本发明涉及图像识别技术领域，特别涉及一种基于计算机视觉的广播电视故障判别定位方法及系统。

背景技术

广播电视播出部门是广播电视面向千家万户的最后一道环节。是负责安全播出的重要岗位，责任大、任务重。现今，广播电视播出单位主要依靠配备值机人员进行24小时监控。而作为值机人员，每日需要面对广播电视播出监控墙上的众多节目窗口。及时的发现节目播出中出现的问题并进行相应的处理。

但是，如今的广播电视播控机房的电视墙，少则由10-20个大屏幕组成。多则拥有40-50个大屏幕组成。而且每一个大屏幕通常会划分为4-16个小屏幕。每个小屏幕对应不同的监控点。由于屏幕繁多，很多情况下值机人员未必能第一时间发现故障。而且，据经验统计，大部分因为偶发性原因以及设备发生故障前期工作不稳定引起的异常现象，持续时间只有一两秒，甚至更短。值班人员更加无法及时发现。目前基于硬件设备的码流检测设施，对这一类故障现象也不敏感，且系统复杂、运行成本高。

发明内容

本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于计算机视觉的广播电视故障判别定位方法及系统，以解决上述背景技术中提出的问题。

一种基于计算机视觉的广播电视故障判别定位方法，包括以下步骤：

步骤S1、获取广播电视播出监控中异常图像的特征画面，并构建广播电视播出监控中异常图像的数据集；

步骤S2、构建用于提取异常图像特征的深度卷积神经网络模型，再利用构建的异常图像的数据集对深度卷积神经网络模型进行训练；

步骤S3、对广播电视监控墙的画面进行实时图像采集，得到广播电视监控墙上的每一个独立监控环节的监控画面；

步骤S4、基于ORC技术实现广播电视监控墙上的每一个独立监控环节与其监控节点名称的关联，再利用训练好的深度卷积神经网络模型对每一个独立监控环节的图像进行故障识别与定位，得到故障识别与定位结果；

步骤S5、基于广播电视播出信号流的关联性和故障识别与定位结果，智能化形成故障类别和处理方案。

作为本发明的进一步的方案：所述步骤S1中广播电视播出监控中异常图像的特征画面的具体包括静帧、彩条、单色、马赛克，以及台标丢失的画面；

对所述异常图像进行预处理，所述预处理包括格式转换、旋转、裁剪、图像大小调整，以及图像增强处理。

作为本发明的进一步的方案：所述步骤S2中的具体步骤包括：

基于PyTorch框架构建深度卷积神经网络模型，选取损失函数权重，以及训练次数的参数；

再根据异常图像的数据集对深度卷积神经网络模型的训练，将训练好的模型文件并输出。

作为本发明的进一步的方案：所述步骤S3中的具体步骤包括：

实时采集广播电视监控墙的画面；

再基于划定目标区域或者基于YOLO框架的目标检测技术对画面进行选取，得到广播电视监控墙上的每一个独立监控环节的监控画面。

作为本发明的进一步的方案：所述步骤S4中的具体步骤包括：

根据得到的广播电视监控墙上的每一个独立监控环节的监控画面，基于ORC技术对每一个独立监控环节与其监控节点名称进行关联；

再利用训练好的深度卷积神经网络模型进行故障判别和定位，并输出结果。

另一种技术方案：一种包括上述任一项所述的一种基于计算机视觉的广播电视故障判别定位方法的系统，包括：

图像采集模块，用于获取广播电视播出监控中异常图像的特征画面，并构建广播电视播出监控中异常图像的数据集；

模型构建处理模块，用于构建提取异常图像特征的深度卷积神经网络模型，再利用构建的异常图像的数据集对深度卷积神经网络模型进行训练；

电视监控墙独立监控环节检测模块，用于对广播电视监控墙的画面进行实时图像采集，得到广播电视监控墙上的每一个独立监控环节的监控画面；

故障节点关联检测模型，用于根据检测出每一个独立监控环节的监控画面的异常图像，并给出故障类别和处理方案；

故障判别和定位模块，用于对独立监控环节的图像进行异常画面判别；

GUI界面模块，用于向用户展示报警信息，以及故障类别和处理方案。

与现有技术相比，本发明存在以下技术效果：

采用上述的技术方案，通过采集广播电视播出监控中异常图像的特征画面，建立广播电视播出监控图像异常画面数据集；构建深度卷积神经网络模型,用于提取异常画面的特征；利用广播电视播出监控图像异常画面数据集对深度卷积神经网络模型进行训练；通过高清摄像设备对广播电视监控墙进行实时图像采集；使用手动划定目标区域或者基于YOLO框架的目标检测技术，选定广播电视监控墙上的每一个独立监控环节的监控画面。通过ORC技术实现广播电视监控墙上的每一个独立监控环节与其监控节点名称的关联；利用训练完成的深度卷积神经网络模型对每一个独立监控环节的图像进行故障识别与定位。最后根据广播电视播出信号流的关联性，智能化的给工作人员提出故障类别和处理建议。可有效提高值机效率。与现有技术相比较，在保证故障判别和定位的准确度的前提下，大幅降低的运行成本，有效的提高的故障判别的敏感度。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1为本申请公开实施例的故障判别定位方法的步骤示意图；

图2为本申请公开实施例的深度卷积神经网络模型的框图；

图3为本申请公开实施例的电视监控墙独立监控环节检测流程框图；

图4为本申请公开实施例的故障判别和定位流程框图；

图5为本申请公开实施例的广播电视故障判别和定位系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例中，一种基于计算机视觉的广播电视故障判别定位方法及系统，包括以下步骤：

步骤S1、获取广播电视播出监控中异常图像的特征画面，并构建广播电视播出监控中异常图像的数据集；

本实施例中，步骤S1中广播电视播出监控中异常图像的特征画面的具体包括静帧、彩条、单色(黑屏、蓝屏等)、马赛克、台标丢失，或同时存在上述多种现象。将所述图像进行预处理，包括格式转换，旋转、裁剪、图像大小调整、图像增强处理等。

本实施例中，总共获取1000幅异常画面，建立广播电视播出监控图像异常画面数据集。其中800幅为训练数据集，200幅为验证数据集，比例为4:1。按照自定义命名规则，生成训练集标签文件和验证集标签文件。

步骤S2、构建用于提取异常图像特征的深度卷积神经网络模型，再利用构建的异常图像的数据集对深度卷积神经网络模型进行训练，具体步骤包括：

如图2所示，图示为深度卷积神经网络模型的框图，基于PyTorch框架构建深度卷积神经网络模型，选取损失函数权重，以及训练次数的参数；

再根据异常图像的数据集对深度卷积神经网络模型的训练，将训练好的模型文件并输出。

本实施例中，使用PyTorch框架下构建的深度卷积神经网络模型,选择适当的损失函数权重，训练次数等参数。进行深度卷积神经网络模型的训练，将训练好的模型文件并输出。

本实施例中，使用验证集图片、事先录制的异常画面视频测试模型的识别准确率，若识别准确率低于90％，将适当调整参数重新进行训练，选择最佳模型保存和输出，用于系统后续的故障判别。

步骤S3、对广播电视监控墙的画面进行实时图像采集，得到广播电视监控墙上的每一个独立监控环节的监控画面，具体步骤包括：

实时采集广播电视监控墙的画面；

再基于划定目标区域或者基于YOLO框架的目标检测技术对画面进行选取，得到广播电视监控墙上的每一个独立监控环节的监控画面。

如图3所示，图示为电视监控墙独立监控环节检测流程框图；

具体实施方式中，在系统初始化时，可选择通过手动划定目标区域或使用基于YOLO框架的目标检测技术，自动检测出电视监控墙中每一个独立监控环节的图像。

手动划定目标区域是通过人为将每一个独立监控环节框选出来，完成编号和关联。优势在于可以保证其100％的准确率。

使用基于框架的目标检测技术，可以在系统初始化时快速完成独立监控环节的检测和分离。YOLO是一种目标检测模型。用来在一张图片中找到特定的物体，YOLO相比于以往的带有建议框的神经网络，速度大有提升。

YOLO模型非常适合广播电视墙，这样有着明显边界和相对规则的图像，标注和学习过程十分简单，且在实际运行过程的几十次初始化中，准确率均达到了100％。

步骤S4、基于ORC技术实现广播电视监控墙上的每一个独立监控环节与其监控节点名称的关联，再利用训练好的深度卷积神经网络模型对每一个独立监控环节的图像进行故障识别与定位，得到故障识别与定位结果，具体步骤包括：

根据得到的广播电视监控墙上的每一个独立监控环节的监控画面，基于ORC技术对每一个独立监控环节与其监控节点名称进行关联；

如图4所示，图示为故障判别和定位流程框图，利用训练好的深度卷积神经网络模型进行故障判别和定位，并输出结果。

具体实施方式中，检测出的每一个独立监控环节的图像，包含图像信息和图像下方文字标注的广播电视播出监控节点的名称。使用ORC技术实现节点名称的识别，并与上述图像进行关联。

步骤S5、基于广播电视播出信号流的关联性和故障识别与定位结果，智能化形成故障类别和处理方案。

另一种技术方案：一种包括上述任一项所述的一种基于计算机视觉的广播电视故障判别定位方法的系统，包括：

如图5所示，图示为广播电视故障判别和定位系统的结构示意图；

图像采集模块，用于获取广播电视播出监控中异常图像的特征画面，并构建广播电视播出监控中异常图像的数据集；

模型构建处理模块，用于构建提取异常图像特征的深度卷积神经网络模型，再利用构建的异常图像的数据集对深度卷积神经网络模型进行训练；

电视监控墙独立监控环节检测模块，用于对广播电视监控墙的画面进行实时图像采集，得到广播电视监控墙上的每一个独立监控环节的监控画面；

故障节点关联检测模型，用于根据检测出每一个独立监控环节的监控画面的异常图像，并给出故障类别和处理方案；

本实施例中，故障节点关联模型，是根据广播电视播出信号流的关联性以及故障历史数据制定，可维护更新。广播电视播出信号流的关联性是指，根据广播电视播出信号流的顺序，通常经过信号源、分配器、切换器、编码器、复用器、调制器、上变频器、功放等环节。且通常存在主链路、备链路、第三链路等不同的通道。通道和节点间有一定的关联性。某一链路、某一节点的故障可引起其他链路或节点的关联反应。

本实施例中，根据这种关联反应。系统根据故障判定信息可以智能化的给工作人员提出故障类别和处理建议。

故障判别和定位模块，用于对独立监控环节的图像进行异常画面判别。

本实施例中，利用前述训练完成的深度卷积神经网络模型对每一个独立监控环节的图像进行异常画面判别，判定异常画面类型、所属节点及发生时间。

GUI界面模块，用于向用户展示报警信息，以及故障类别和处理方案。

具体实施方式中，，GUI界面由一种流行的面向对象的GUI工具包TK的Python编程接口即tkinter制作。分区域显示报警信息、故障画面信息和故障处理建议。便于用户查看相关信息和查询历史信息。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于计算机视觉的广播电视故障判别定位方法，其特征在于，包括以下步骤：

步骤S1、获取广播电视播出监控中异常图像的特征画面，并构建广播电视播出监控中异常图像的数据集；

步骤S2、构建用于提取异常图像特征的深度卷积神经网络模型，再利用构建的异常图像的数据集对深度卷积神经网络模型进行训练；

步骤S3、对广播电视监控墙的画面进行实时图像采集，得到广播电视监控墙上的每一个独立监控环节的监控画面；

步骤S4、基于ORC技术实现广播电视监控墙上的每一个独立监控环节与其监控节点名称的关联，再利用训练好的深度卷积神经网络模型对每一个独立监控环节的图像进行故障识别与定位，得到故障识别与定位结果；

步骤S5、基于广播电视播出信号流的关联性和故障识别与定位结果，智能化形成故障类别和处理方案。

2.根据权利要求1所述一种基于计算机视觉的广播电视故障判别定位方法，其特征在于，所述步骤S1中广播电视播出监控中异常图像的特征画面的具体包括静帧、彩条、单色、马赛克，以及台标丢失的画面；

对所述异常图像进行预处理，所述预处理包括格式转换、旋转、裁剪、图像大小调整，以及图像增强处理。

3.根据权利要求1所述一种基于计算机视觉的广播电视故障判别定位方法，其特征在于，所述步骤S2中的具体步骤包括：

基于PyTorch框架构建深度卷积神经网络模型，选取损失函数权重，以及训练次数的参数；

再根据异常图像的数据集对深度卷积神经网络模型的训练，将训练好的模型文件并输出。

4.根据权利要求1所述一种基于计算机视觉的广播电视故障判别定位方法，其特征在于，所述步骤S3中的具体步骤包括：

实时采集广播电视监控墙的画面；

再基于划定目标区域或者基于YOLO框架的目标检测技术对画面进行选取，得到广播电视监控墙上的每一个独立监控环节的监控画面。

5.根据权利要求1所述一种基于计算机视觉的广播电视故障判别定位方法，其特征在于，所述步骤S4中的具体步骤包括：

根据得到的广播电视监控墙上的每一个独立监控环节的监控画面，基于ORC技术对每一个独立监控环节与其监控节点名称进行关联；

再利用训练好的深度卷积神经网络模型进行故障判别和定位，并输出结果。

6.一种包括如权利要求1至5任一项所述的一种基于计算机视觉的广播电视故障判别定位方法的系统，其特征在于，包括：

图像采集模块，用于获取广播电视播出监控中异常图像的特征画面，并构建广播电视播出监控中异常图像的数据集；

模型构建处理模块，用于构建提取异常图像特征的深度卷积神经网络模型，再利用构建的异常图像的数据集对深度卷积神经网络模型进行训练；

电视监控墙独立监控环节检测模块，用于对广播电视监控墙的画面进行实时图像采集，得到广播电视监控墙上的每一个独立监控环节的监控画面；

故障节点关联检测模型，用于根据检测出每一个独立监控环节的监控画面的异常图像，并给出故障类别和处理方案；

故障判别和定位模块，用于对独立监控环节的图像进行异常画面判别；

GUI界面模块，用于向用户展示报警信息，以及故障类别和处理方案。