[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112767431B - 一种用于电力系统的电网目标检测方法及装置 - Google Patents

一种用于电力系统的电网目标检测方法及装置 Download PDF

Info

Publication number
CN112767431B
CN112767431B CN202110034245.6A CN202110034245A CN112767431B CN 112767431 B CN112767431 B CN 112767431B CN 202110034245 A CN202110034245 A CN 202110034245A CN 112767431 B CN112767431 B CN 112767431B
Authority
CN
China
Prior art keywords
processed
model
target
image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110034245.6A
Other languages
English (en)
Other versions
CN112767431A (zh
Inventor
赵旭
李仕林
李蕊
刘志恩
李博文
王先培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN202110034245.6A priority Critical patent/CN112767431B/zh
Publication of CN112767431A publication Critical patent/CN112767431A/zh
Application granted granted Critical
Publication of CN112767431B publication Critical patent/CN112767431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种用于电力系统的电网目标检测方法及装置。所述方法包括：获取待处理视频以及预先构建的目标检测模型，该目标检测模型包括背景去除子模型、特征提取子模型、多特征融合子模型、冗余特征去除子模型以及处理子模型，将多个待处理帧图像进行预处理后，输入该目标检测模型，通过背景去除子模型进行背景去除，通过特征提取子模型进行特征提取，通过多特征融合子模型进行特征融合，通过冗余特征去除子模型进行冗余特征去除，最后通过处理子模型进行优化和分类处理，最终得到待处理视频的电网目标以及电网目标的分类标识。如此，整个电网目标检测过程无需对背景区域进行处理，不仅处理时间较短，而且对较小的电网目标也能实现高精度检测。

Description

一种用于电力系统的电网目标检测方法及装置
技术领域
本申请涉及图像处理技术领域，特别涉及一种用于电力系统的电网目标检测方法及装置。
背景技术
电网通常敷设在野外的环境中，这些野外环境经常会有蛇、鼠等动物出没，由于这些动物会对电网中的电缆或电力设备进行啃咬，引发严重损害，因此在电网敷设的环境中常常会配置驱逐系统以便对这些动物进行驱逐，其中，当驱逐系统中的监控设备判定有动物出没时，驱逐系统中的驱逐装置会立即启动并对动物进行驱逐。整个过程的核心是从监控视频中自动检测出电网目标，也就是说对监控视频中的电网目标进行准确地检测具有非常重要的意义。
目前常用的目标检测方法主要是采用一些目标检测算法，比如SSD(SingleShotMultibox Detector，单发多盒探测器)算法，将监控视频直接输入SSD算法的模型中，输出标识好的监控视频中的电网目标。采用此种方法会对监控视频中不包含电网目标的单纯背景场景也进行同等标识处理，这部分对单纯背景场景的处理属于不必要的处理，不仅极大增加了处理时间，而且当电网目标较小时，会受到单纯背景场景的影响，造成检测精度不高。
基于此，目前亟需一种用于电力系统的电网目标检测方法，用来解决现有技术中处理时间过长，且对较小的电网目标检测精度不高的问题。
发明内容
本申请提供了一种用于电力系统的电网目标检测方法及装置，可用于解决现有技术中处理时间过长，且对较小的电网目标检测精度不高的技术问题。
第一方面，本申请实施例提供一种用于电力系统的电网目标检测方法，所述电网目标检测方法包括：
获取待处理视频；所述待处理视频包括多个待处理帧图像，所述待处理帧图像包括多个待处理像素；
获取预先构建的目标检测模型；所述目标检测模型用于对所述待处理视频进行目标检测，包括背景去除子模型、特征提取子模型、多特征融合子模型、冗余特征去除子模型以及处理子模型，其中，所述背景去除子模型用于对所述多个待处理帧图像进行背景去除；所述特征提取子模型用于对所述多个待处理帧图像进行特征提取；所述多特征融合子模型用于对特征提取过程中的多个中间结果进行特征融合；所述冗余特征去除子模型用于对特征融合后的结果进行冗余特征去除；所述处理子模型用于对冗余特征去除后的结果以及背景去除后的结果进行优化和分类处理；
将所述多个待处理帧图像进行预处理后，输入所述目标检测模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
在第一方面的一种可实现方式中，所述特征提取子模型包括依次连接的多个卷积层，以及与所述卷积层对应的卷积核。
在第一方面的一种可实现方式中，所述将所述多个待处理帧图像进行预处理后，输入所述目标检测模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识，包括：
将所述多个待处理帧图像进行预处理后，得到输入图像；
将所述输入图像输入所述背景去除子模型，得到第一中间结果；所述第一中间结果包括所述待处理视频中被预设先验框框出的第一电网目标以及所述第一电网目标的分类标识；
将所述输入图像输入所述特征提取子模型，得到多个中间图像；所述中间图像为目标卷积核对目标卷积层的前一个卷积层输出的图像进行处理后得到的图像；所述目标卷积核为所述目标卷积层对应的卷积核，所述目标卷积层为所述多个卷积层中任一卷积层；
根据所述多个中间图像，确定待融合图像和目标中间图像；
获取所述待融合图像；
将所述待融合图像输入所述多特征融合子模型，得到第一特征图像；
根据所述第一特征图像以及所述目标中间图像，确定第二特征图像；
将所述第二特征图像输入所述冗余特征去除子模型，得到第二中间结果；所述第二中间结果包括所述待处理视频中被预设特征框框出的第二电网目标以及所述第二电网目标的分类标识；
将所述第一中间结果和所述第二中间结果输入所述处理子模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
在第一方面的一种可实现方式中，所述将所述输入图像输入所述背景去除子模型，得到第一中间结果，包括：
获取所述多个待处理帧图像对应的背景图像；所述背景图像包括多个背景像素；
根据目标待处理像素的颜色，以及所有背景像素的颜色，确定与所述目标待处理像素的颜色偏差最小的目标背景像素；所述目标待处理像素为所有待处理像素中任意一个待处理像素；
根据所有待处理像素与对应的目标背景像素的颜色偏差值、预设背景判定条件，确定背景区域与目标区域构成的二值图像；
利用预设先验框对所述二值图像的目标区域进行加框标注，以及对所述二值图像中框出的第一电网目标进行分类，得到第一中间结果。
在第一方面的一种可实现方式中，所述将所述待融合图像输入所述多特征融合子模型，得到第一特征图像，包括：
利用预设降维卷积核对所述待融合图像进行降维处理，得到中间待融合图像；
对所述中间待融合图像进行特征融合，得到第一特征图像。
在第一方面的一种可实现方式中，所述冗余特征去除子模型包括依次连接的多个冗余特征去除卷积层。
在第一方面的一种可实现方式中，所述将所述第二特征图像输入所述冗余特征去除子模型，得到第二中间结果，包括：
所述第二特征图像依次经过所述冗余特征去除卷积层的处理，得到处理图像；
利用预设特征框对所述处理图像进行加框标注，以及对所述处理图像中框出的第二电网目标进行分类，得到第二中间结果。
在第一方面的一种可实现方式中，所述将所述第一中间结果和所述第二中间结果输入所述处理子模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识，包括：
对所述第一中间结果中的所述先验框进行不同长宽比的多框预测，得到中间处理结果；
利用预设的损失函数对所述中间处理结果和所述第二中间结果进行优化和分类处理，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
第二方面，本申请实施例提供一种用于电力系统的电网目标检测装置，所述电网目标检测装置包括：
视频获取模块，用于获取待处理视频；所述待处理视频包括多个待处理帧图像，所述待处理帧图像包括多个待处理像素；
目标检测模型获取模块，用于获取预先构建的目标检测模型；所述目标检测模型用于对所述待处理视频进行目标检测，包括背景去除子模型、特征提取子模型、多特征融合子模型、冗余特征去除子模型以及处理子模型，其中，所述背景去除子模型用于对所述多个待处理帧图像进行背景去除；所述特征提取子模型用于对所述多个待处理帧图像进行特征提取；所述多特征融合子模型用于对特征提取过程中的多个中间结果进行特征融合；所述冗余特征去除子模型用于对特征融合后的结果进行冗余特征去除；所述处理子模型用于对冗余特征去除后的结果以及背景去除后的结果进行优化和分类处理；
电网目标检测模块，用于将所述多个待处理帧图像进行预处理后，输入所述目标检测模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
在第二方面的一种可实现方式中，所述特征提取子模型包括依次连接的多个卷积层，以及与所述卷积层对应的卷积核。
在第二方面的一种可实现方式中，所述电网目标检测模块具体用于：
将所述多个待处理帧图像进行预处理后，得到输入图像；
将所述输入图像输入所述背景去除子模型，得到第一中间结果；所述第一中间结果包括所述待处理视频中被预设先验框框出的第一电网目标以及所述第一电网目标的分类标识；
将所述输入图像输入所述特征提取子模型，得到多个中间图像；所述中间图像为目标卷积核对目标卷积层的前一个卷积层输出的图像进行处理后得到的图像；所述目标卷积核为所述目标卷积层对应的卷积核，所述目标卷积层为所述多个卷积层中任一卷积层；
根据所述多个中间图像，确定待融合图像和目标中间图像；
获取所述待融合图像；
将所述待融合图像输入所述多特征融合子模型，得到第一特征图像；
根据所述第一特征图像以及所述目标中间图像，确定第二特征图像；
将所述第二特征图像输入所述冗余特征去除子模型，得到第二中间结果；所述第二中间结果包括所述待处理视频中被预设特征框框出的第二电网目标以及所述第二电网目标的分类标识；
将所述第一中间结果和所述第二中间结果输入所述处理子模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
在第二方面的一种可实现方式中，所述电网目标检测模块具体用于：
获取所述多个待处理帧图像对应的背景图像；所述背景图像包括多个背景像素；
根据目标待处理像素的颜色，以及所有背景像素的颜色，确定与所述目标待处理像素的颜色偏差最小的目标背景像素；所述目标待处理像素为所有待处理像素中任意一个待处理像素；
根据所有待处理像素与对应的目标背景像素的颜色偏差值、预设背景判定条件，确定背景区域与目标区域构成的二值图像；
利用预设先验框对所述二值图像的目标区域进行加框标注，以及对所述二值图像中框出的第一电网目标进行分类，得到第一中间结果。
在第二方面的一种可实现方式中，所述电网目标检测模块具体用于：
利用预设降维卷积核对所述待融合图像进行降维处理，得到中间待融合图像；
对所述中间待融合图像进行特征融合，得到第一特征图像。
在第二方面的一种可实现方式中，所述冗余特征去除子模型包括依次连接的多个冗余特征去除卷积层。
在第二方面的一种可实现方式中，所述电网目标检测模块具体用于：
所述第二特征图像依次经过所述冗余特征去除卷积层的处理，得到处理图像；
利用预设特征框对所述处理图像进行加框标注，以及对所述处理图像中框出的第二电网目标进行分类，得到第二中间结果。
在第二方面的一种可实现方式中，所述电网目标检测模块具体用于：
对所述第一中间结果中的所述先验框进行不同长宽比的多框预测，得到中间处理结果；
利用预设的损失函数对所述中间处理结果和所述第二中间结果进行优化和分类处理，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
如此，本申请实施例通过对多个待处理帧图像进行背景去除，可以直接定位包含电网目标的目标区域，处理子模型进行处理时，无需再对不包含电网目标的单纯背景场景进行标识处理，极大地缩短了整个过程的处理时间；通过多特征融合子模型进行特征融合，提高了较小的电网目标的检测精度。整个电网目标检测过程，操作简单，输出结果快捷、高效、准确，不仅处理时间较短，而且对较小的电网目标也能实现高精度检测。
附图说明
图1为本申请实施例提供的一种用于电力系统的电网目标检测方法对应的流程示意图；
图2为本申请实施例提供的特征提取子模型的网络结构示意图；
图3为本申请实施例提供的目标检测模型的具体处理过程对应的流程示意图；
图4为本申请实施例提供的多特征融合子模型的网络结构示意图；
图5为本申请实施例提供的冗余特征去除子模型的网络结构示意图；
图6为本申请实施例提供的一种用于电力系统的电网目标检测装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
为了解决现有技术的问题，本申请实施例提供一种用于电力系统的电网目标检测方法，具体用于解决现有技术中处理时间过长，且对较小的电网目标检测精度不高的问题。图1示例性示出了本申请实施例提供的一种用于电力系统的电网目标检测方法对应的流程示意图。如图1所示，本申请实施例提供的电网目标检测方法包括：
步骤101，获取待处理视频。
步骤102，获取预先构建的目标检测模型。
步骤103，将多个待处理帧图像进行预处理后，输入目标检测模型，得到待处理视频的电网目标以及电网目标的分类标识。
如此，本申请实施例通过对多个待处理帧图像进行背景去除，可以直接定位包含电网目标的目标区域，处理子模型进行处理时，无需再对不包含电网目标的单纯背景场景进行标识处理，极大地缩短了整个过程的处理时间；通过多特征融合子模型进行特征融合，提高了较小的电网目标的检测精度。整个电网目标检测过程，操作简单，输出结果快捷、高效、准确，不仅处理时间较短，而且对较小的电网目标也能实现高精度检测。
具体来说，步骤101中，待处理视频包括多个待处理帧图像，待处理帧图像包括多个待处理像素。
待处理视频为电力系统中某处需要监控的区域设置的真实摄像头视角下的视频。由于视频本身即是由多个时间连续的图像构成，因此待处理视频也是由多个时间上连续的待处理帧图像构成，可以看作一个视频帧序列。每个待处理帧图像都包括多个待处理像素。
步骤102中，目标检测模型用于对待处理视频进行目标检测，包括背景去除子模型、特征提取子模型、多特征融合子模型、冗余特征去除子模型以及处理子模型。其中：背景去除子模型用于对多个待处理帧图像进行背景去除；特征提取子模型用于对多个待处理帧图像进行特征提取；多特征融合子模型用于对特征提取过程中的多个中间结果进行特征融合；冗余特征去除子模型用于对特征融合后的结果进行冗余特征去除；处理子模型用于对冗余特征去除后的结果以及背景去除后的结果进行优化和分类处理。
具体地，特征提取子模型包括依次连接的多个卷积层，以及与所述卷积层对应的卷积核。
特征提取子模型可以采用SSD模型，基础网络部分为VGG-16(Visual GeometryGroup Network，视觉几何群网络)卷积神经网络，将VGG-16最后的两个全连接层替换为conv6_3x3卷积层和conv7-1x1卷积层，在conv7之后增加conv8、conv9、conv10和conv11四个识别层，即可构成本申请实施例提供的特征提取子模型，如图2所示，图2示例性示出了本申请实施例提供的特征提取子模型的网络结构示意图，图2中，conv表示卷积层，throughconv5_3layer表示通过conv5_3层，Classfier表示分类器，Detections表示检测器，Non-maximum suppression表示非极大值抑制，Extra feature layer表示额外的特征层，即识别层，class表示层。
卷积神经网络VGG-16的结构参数如表1所示。
表1：卷积神经网络VGG-16的结构参数
步骤103中，图3示例性示出了本申请实施例提供的目标检测模型的具体处理过程对应的流程示意图，如图3所示，采用本申请实施例提供的目标检测模型对多个预处理后的待处理帧图像进行处理，得到待处理视频的电网目标以及电网目标的分类标识的具体过程如下：
步骤301，将多个待处理帧图像进行预处理后，得到输入图像。
步骤302，将输入图像输入背景去除子模型，得到第一中间结果。
步骤303，将输入图像输入特征提取子模型，得到多个中间图像。
步骤304，根据多个中间图像，确定待融合图像和目标中间图像。
步骤305，获取待融合图像。
步骤306，将待融合图像输入多特征融合子模型，得到第一特征图像。
步骤307，根据第一特征图像以及目标中间图像，确定第二特征图像。
步骤308，将第二特征图像输入冗余特征去除子模型，得到第二中间结果。
步骤309，将第一中间结果和第二中间结果输入处理子模型，得到待处理视频的电网目标以及电网目标的分类标识。
具体来说，步骤301中，对多个待处理帧图像进行预处理的方式有多种，比如归一化处理，具体不作限定，将多个待处理帧图像处理成符合目标检测模型可以识别的输入形式即可。
步骤302中，第一中间结果包括待处理视频中被预设先验框框出的第一电网目标以及第一电网目标的分类标识。
将输入图像输入背景去除子模型，得到第一中间结果的具体过程如下：
获取多个待处理帧图像对应的背景图像。其中，背景图像包括多个背景像素。
根据目标待处理像素的颜色，以及所有背景像素的颜色，确定与目标待处理像素的颜色偏差最小的目标背景像素。其中，目标待处理像素为所有待处理像素中任意一个待处理像素。
根据所有待处理像素与对应的目标背景像素的颜色偏差值、预设背景判定条件，确定背景区域与目标区域构成的二值图像。其中，背景判定条件包括背景阈值和阴影判定条件。
利用预设先验框对二值图像的目标区域进行加框标注，以及对二值图像中框出的第一电网目标进行分类，得到第一中间结果。
具体地，获取背景图像时，可以获取步骤101中的真实摄像头下不包含电网目标的背景图像。将真实摄像头下的背景图像中每个像素都用n×n表示，得到待使用的背景图像，包括多个背景像素ct。
确定与目标待处理像素的颜色偏差最小的目标背景像素时，可以采用如下方式：
利用不受光照影响的HSV颜色空间特征，将每个目标待处理像素pi用HSV颜色分量表示成(hi，si，vi)，将每个背景像素ct表示成(ht，st，vt)。
通过公式(1)确定每个目标待处理像素pi与每个背景像素ci的距离：
公式(1)中，d(ci,pi)表示目标待处理像素pi与背景像素ci的距离，hi、si、vi表示目标待处理像素pi的HSV颜色分量，ht、st、vt表示背景像素ci的HSV颜色分量。
从每个目标待处理像素pi与每个背景像素ci的距离中确定距离的最小值，即颜色偏差最小，此时对应的背景像素cm即为目标背景像素。
通过公式(2)确定目标待处理像素pi是否属于背景区域：
公式(2)中，d(cm,pi)表示目标待处理像素pi与目标背景像素cm的距离，min表示最小值，n2表示背景像素的总个数，τ表示区分前景和背景的阈值，τ值的选择可以通过公式(3)表示：
公式(3)中，τ表示区分前景和背景的阈值，τ1和τ2都为较小的常量，τ1>τ2，t表示待处理帧图像序列中第t个待处理帧图像，K表示预设的待处理帧图像的个数阈值。
因为在前K个视频序列帧内使用较大的值τ1可以获得若干观察到的像素强度变化的背景模型，而较低值τ2在在线检测阶段可以获得更准确的背景模型。若d(cm,pi)<τ，则目标待处理像素pi属于背景区域。否则，就进行阴影检测，判断该区域是不是由于光照巨大变化导致的背景变暗的变化，光照变化导致仅仅是较小的颜色变动。像素属于场景中物体投射的阴影，即属于背景模型但是已经被阴影变暗。
如果当前目标待处理像素存在最优匹配，则需要对该像素相邻的n×n像素进行选择性加权的更新。
经过上述处理区分出背景区域和目标区域后，背景区域全部为黑色，目标区域全部为白色，构成了二值图像。
采用上述背景去除子模型，利用了自组织背景减除法知直接获取图像中存在的目标区域，将背景图像消除，方便直接对目标区域进行预测，减少了对背景不必要的计算，能够增加计算速度，减少计算时间，提高模型的运行性能。
步骤303中，中间图像为目标卷积核对目标卷积层的前一个卷积层输出的图像进行处理后得到的图像；目标卷积核为目标卷积层对应的卷积核，目标卷积层为多个卷积层中任一卷积层。
需要说明的是，特征提取子模型中，每个卷积层的输出均为下一个卷积层的输入，每个卷积层都会输出一个中间图像。
步骤304中，可以将特征提取子模型中的conv4_3，conv7和conv8_3各自对应的中间图像作为待融合图像，将conv7，conv8_3，conv9_3，conv10_3和conv11_3各自对应的中间图像作为目标中间图像。
步骤305至步骤307中，将待融合图像输入多特征融合子模型，得到第一特征图像的具体过程如下：
利用预设降维卷积核对待融合图像进行降维处理，得到中间待融合图像。
对中间待融合图像进行特征融合，得到第一特征图像。
具体地，由于conv4_3输出的特征最接近视频中的小目标，因此以conv4_3为基准融合待融合图像。将conv4_3、conv7和conv8_3通过1x1卷积核操作进行降维，conv4_3卷积层降维后得38x38x256，然后以此为基准，将conv7和conv8_3降维后小于38x38x256的进行两次立方差值算法获取38x38x256的特征图层；将三个卷积层操作之后的特征进行融合，得到第一特征图像。
最后将第一特征图像以及多个目标中间图像合在一起，得到第二特征图像。
具体的多特征融合子模型的网络结构图如图4所示，图4示例性示出了本申请实施例提供的多特征融合子模型的网络结构示意图。图4中，conv表示卷积层，Bicubicinterpolation表示双三次插值，concat表示连接融合。
采用上述多特征融合子模型，融合了三个卷积层的特征，解决了一个卷积层对小目标图像特征展示不清晰的问题，提高了检测小目标的准确率。
步骤308中，第二中间结果包括待处理视频中被预设特征框框出的第二电网目标以及第二电网目标的分类标识。
冗余特征去除子模型包括依次连接的多个冗余特征去除卷积层。
将第二特征图像输入冗余特征去除子模型，得到第二中间结果的具体过程如下：
第二特征图像依次经过冗余特征去除卷积层的处理，得到处理图像。
利用预设特征框对处理图像进行加框标注，以及对处理图像中框出的第二电网目标进行分类，得到第二中间结果。
具体地，冗余特征去除子模型中，每个冗余特征去除卷积层的输出均为下一个冗余特征去除卷积层的输入，每个冗余特征去除卷积层都会输出一个中间图像，最后一个冗余特征去除卷积层输出处理图像。
具体的冗余特征去除子模型的网络结构图如图5所示，包含1x1卷积层和3x3卷积层。第一个1x1卷积层用来减少通道数，由N变为N/2，提升冗余特征去除的速度。两个3x3卷积层进行特征提取，增强特征提取的能力，为了保证整个网络的特征提取能力，在冗余特征去除子模型的最后添加一个1x1卷积层，使通道数由N/2变为N。图5示例性示出了本申请实施例提供的冗余特征去除子模型的网络结构示意图。图5中，conv表示卷积层，O表示输入，RiO表示输出。
采用上述冗余特征去除子模型，对融合多个卷积层的特征出现的特征重叠和特征冗余的现象进行去除，可以更高效、更清晰地展示出目标特征。
步骤309中，将第一中间结果和第二中间结果输入处理子模型，得到待处理视频的电网目标以及电网目标的分类标识的具体过程如下：
对第一中间结果中的先验框进行不同长宽比的多框预测，得到中间处理结果。
利用预设的损失函数对中间处理结果和第二中间结果进行优化和分类处理，得到待处理视频的电网目标以及电网目标的分类标识。
具体地，处理子模型用于解决多目标重合或目标被遮挡的问题。
对第一中间结果的目标区域中的每个先验框进行不同长宽比的多框预测，将预测结果作为真实物体矩形框，即中间处理结果。
对于分类损失，选择使用weighted_sigmoid函数；对于位置损失，选择使用互斥损失函数repulsion loss。
weighted_sigmoid函数用于多标签分类任务或者不需要创建类间竞争机制的分类任务，repulsion loss函数寻找和检测结果有最大重合度的非目标的真实位置，然后通过向量的回传来不断减少这种重合。
采用上述处理子模型，通过分类函数降低目标特征的损失率，通过位置函数降低多目标重合或目标被遮挡的重合度，使得目标检测模型在多目标和有遮挡的背景下也能有较好的目标检测效果，且精度较高，能为后续配套的分析设备提供更高质量的图像。
如此，本申请实施例通过对多个待处理帧图像进行背景去除，可以直接定位包含电网目标的目标区域，处理子模型进行处理时，无需再对不包含电网目标的单纯背景场景进行标识处理，极大地缩短了整个过程的处理时间；通过多特征融合子模型进行特征融合，提高了较小的电网目标的检测精度。整个电网目标检测过程，操作简单，输出结果快捷、高效、准确，不仅处理时间较短，而且对较小的电网目标也能实现高精度检测。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图6示例性示出了本申请实施例提供的一种用于电力系统的电网目标检测装置的结构示意图。如图6所示，该装置具有实现上述电网目标检测装置方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该用于电力系统的电网目标检测装置可以包括：视频获取模块601、目标检测模型获取模块602和电网目标检测模块603。
视频获取模块601，用于获取待处理视频；待处理视频包括多个待处理帧图像，待处理帧图像包括多个待处理像素。
目标检测模型获取模块602，用于获取预先构建的目标检测模型；目标检测模型用于对待处理视频进行目标检测，包括背景去除子模型、特征提取子模型、多特征融合子模型、冗余特征去除子模型以及处理子模型，其中，背景去除子模型用于对多个待处理帧图像进行背景去除；特征提取子模型用于对多个待处理帧图像进行特征提取；多特征融合子模型用于对特征提取过程中的多个中间结果进行特征融合；冗余特征去除子模型用于对特征融合后的结果进行冗余特征去除；处理子模型用于对冗余特征去除后的结果以及背景去除后的结果进行优化和分类处理。
电网目标检测模块603，用于将多个待处理帧图像进行预处理后，输入目标检测模型，得到待处理视频的电网目标以及电网目标的分类标识。
在一种可实现方式中，特征提取子模型包括依次连接的多个卷积层，以及与卷积层对应的卷积核。
在一种可实现方式中，电网目标检测模块603具体用于：
将多个待处理帧图像进行预处理后，得到输入图像。
将输入图像输入背景去除子模型，得到第一中间结果；第一中间结果包括待处理视频中被预设先验框框出的第一电网目标以及第一电网目标的分类标识。
将输入图像输入特征提取子模型，得到多个中间图像；中间图像为目标卷积核对目标卷积层的前一个卷积层输出的图像进行处理后得到的图像；目标卷积核为目标卷积层对应的卷积核，目标卷积层为多个卷积层中任一卷积层。
根据多个中间图像，确定待融合图像和目标中间图像。
获取待融合图像。
将待融合图像输入多特征融合子模型，得到第一特征图像。
根据第一特征图像以及目标中间图像，确定第二特征图像。
将第二特征图像输入冗余特征去除子模型，得到第二中间结果；第二中间结果包括待处理视频中被预设特征框框出的第二电网目标以及第二电网目标的分类标识。
将第一中间结果和第二中间结果输入处理子模型，得到待处理视频的电网目标以及电网目标的分类标识。
在一种可实现方式中，电网目标检测模块603具体用于：
获取多个待处理帧图像对应的背景图像；背景图像包括多个背景像素。
根据目标待处理像素的颜色，以及所有背景像素的颜色，确定与目标待处理像素的颜色偏差最小的目标背景像素；目标待处理像素为所有待处理像素中任意一个待处理像素。
根据所有待处理像素与对应的目标背景像素的颜色偏差值、预设背景判定条件，确定背景区域与目标区域构成的二值图像。
利用预设先验框对二值图像的目标区域进行加框标注，以及对二值图像中框出的第一电网目标进行分类，得到第一中间结果。
在一种可实现方式中，电网目标检测模块603具体用于：
利用预设降维卷积核对待融合图像进行降维处理，得到中间待融合图像。
对中间待融合图像进行特征融合，得到第一特征图像。
在一种可实现方式中，冗余特征去除子模型包括依次连接的多个冗余特征去除卷积层。
在一种可实现方式中，电网目标检测模块603具体用于：
第二特征图像依次经过冗余特征去除卷积层的处理，得到处理图像。
利用预设特征框对处理图像进行加框标注，以及对处理图像中框出的第二电网目标进行分类，得到第二中间结果。
在一种可实现方式中，电网目标检测模块603具体用于：
对第一中间结果中的先验框进行不同长宽比的多框预测，得到中间处理结果。
利用预设的损失函数对中间处理结果和第二中间结果进行优化和分类处理，得到待处理视频的电网目标以及电网目标的分类标识。
如此，本申请实施例通过对多个待处理帧图像进行背景去除，可以直接定位包含电网目标的目标区域，处理子模型进行处理时，无需再对不包含电网目标的单纯背景场景进行标识处理，极大地缩短了整个过程的处理时间；通过多特征融合子模型进行特征融合，提高了较小的电网目标的检测精度。整个电网目标检测过程，操作简单，输出结果快捷、高效、准确，不仅处理时间较短，而且对较小的电网目标也能实现高精度检测。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (6)

1.一种用于电力系统的电网目标检测方法，其特征在于，所述电网目标检测方法包括：
获取待处理视频；所述待处理视频包括多个待处理帧图像，所述待处理帧图像包括多个待处理像素；
获取预先构建的目标检测模型；所述目标检测模型用于对所述待处理视频进行目标检测，包括背景去除子模型、特征提取子模型、多特征融合子模型、冗余特征去除子模型以及处理子模型，其中，所述背景去除子模型用于对所述多个待处理帧图像进行背景去除；所述特征提取子模型用于对所述多个待处理帧图像进行特征提取；所述特征提取子模型包括依次连接的多个卷积层，以及与所述卷积层对应的卷积核；所述多特征融合子模型用于对特征提取过程中的多个中间结果进行特征融合；所述冗余特征去除子模型用于对特征融合后的结果进行冗余特征去除；所述处理子模型用于对冗余特征去除后的结果以及背景去除后的结果进行优化和分类处理；
将所述多个待处理帧图像进行预处理后，输入所述目标检测模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识，包括：
将所述多个待处理帧图像进行预处理后，得到输入图像；
将所述输入图像输入所述背景去除子模型，得到第一中间结果，包括：
获取所述多个待处理帧图像对应的背景图像；所述背景图像包括多个背景像素；
根据目标待处理像素的颜色，以及所有背景像素的颜色，确定与所述目标待处理像素的颜色偏差最小的目标背景像素；所述目标待处理像素为所有待处理像素中任意一个待处理像素；
根据所有待处理像素与对应的目标背景像素的颜色偏差值、预设背景判定条件，确定背景区域与目标区域构成的二值图像；
利用预设先验框对所述二值图像的目标区域进行加框标注，以及对所述二值图像中框出的第一电网目标进行分类，得到第一中间结果；
所述第一中间结果包括所述待处理视频中被预设先验框框出的第一电网目标以及所述第一电网目标的分类标识；
将所述输入图像输入所述特征提取子模型，得到多个中间图像；所述中间图像为目标卷积核对目标卷积层的前一个卷积层输出的图像进行处理后得到的图像；所述目标卷积核为所述目标卷积层对应的卷积核，所述目标卷积层为所述多个卷积层中任一卷积层；
根据所述多个中间图像，确定待融合图像和目标中间图像；
获取所述待融合图像；
将所述待融合图像输入所述多特征融合子模型，得到第一特征图像；
根据所述第一特征图像以及所述目标中间图像，确定第二特征图像；
将所述第二特征图像输入所述冗余特征去除子模型，得到第二中间结果；所述第二中间结果包括所述待处理视频中被预设特征框框出的第二电网目标以及所述第二电网目标的分类标识；
将所述第一中间结果和所述第二中间结果输入所述处理子模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
2.根据权利要求1所述的电网目标检测方法，其特征在于，所述将所述待融合图像输入所述多特征融合子模型，得到第一特征图像，包括：
利用预设降维卷积核对所述待融合图像进行降维处理，得到中间待融合图像；
对所述中间待融合图像进行特征融合，得到第一特征图像。
3.根据权利要求1所述的电网目标检测方法，其特征在于，所述冗余特征去除子模型包括依次连接的多个冗余特征去除卷积层。
4.根据权利要求3所述的电网目标检测方法，其特征在于，所述将所述第二特征图像输入所述冗余特征去除子模型，得到第二中间结果，包括：
所述第二特征图像依次经过所述冗余特征去除卷积层的处理，得到处理图像；
利用预设特征框对所述处理图像进行加框标注，以及对所述处理图像中框出的第二电网目标进行分类，得到第二中间结果。
5.根据权利要求1所述的电网目标检测方法，其特征在于，所述将所述第一中间结果和所述第二中间结果输入所述处理子模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识，包括：
对所述第一中间结果中的所述先验框进行不同长宽比的多框预测，得到中间处理结果；
利用预设的损失函数对所述中间处理结果和所述第二中间结果进行优化和分类处理，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
6.一种用于电力系统的电网目标检测装置，应用于权利要求1所述的一种用于电力系统的电网目标检测方法，其特征在于，所述电网目标检测装置包括：
视频获取模块，用于获取待处理视频；所述待处理视频包括多个待处理帧图像，所述待处理帧图像包括多个待处理像素；
目标检测模型获取模块，用于获取预先构建的目标检测模型；所述目标检测模型用于对所述待处理视频进行目标检测，包括背景去除子模型、特征提取子模型、多特征融合子模型、冗余特征去除子模型以及处理子模型，其中，所述背景去除子模型用于对所述多个待处理帧图像进行背景去除；所述特征提取子模型用于对所述多个待处理帧图像进行特征提取；所述特征提取子模型包括依次连接的多个卷积层，以及与所述卷积层对应的卷积核；所述多特征融合子模型用于对特征提取过程中的多个中间结果进行特征融合；所述冗余特征去除子模型用于对特征融合后的结果进行冗余特征去除；所述处理子模型用于对冗余特征去除后的结果以及背景去除后的结果进行优化和分类处理；
电网目标检测模块，用于将所述多个待处理帧图像进行预处理后，输入所述目标检测模型，得到所述待处理视频的电网目标以及所述电网目标的分类标识。
CN202110034245.6A 2021-01-12 2021-01-12 一种用于电力系统的电网目标检测方法及装置 Active CN112767431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110034245.6A CN112767431B (zh) 2021-01-12 2021-01-12 一种用于电力系统的电网目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034245.6A CN112767431B (zh) 2021-01-12 2021-01-12 一种用于电力系统的电网目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN112767431A CN112767431A (zh) 2021-05-07
CN112767431B true CN112767431B (zh) 2024-04-23

Family

ID=75701381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034245.6A Active CN112767431B (zh) 2021-01-12 2021-01-12 一种用于电力系统的电网目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN112767431B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883765B (zh) * 2023-09-07 2024-01-09 腾讯科技（深圳）有限公司 图像分类方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993091A (zh) * 2019-03-25 2019-07-09 浙江大学 一种基于背景消除的监控视频目标检测方法
CN110110715A (zh) * 2019-04-30 2019-08-09 北京金山云网络技术有限公司 文本检测模型训练方法、文本区域、内容确定方法和装置
CN110490073A (zh) * 2019-07-15 2019-11-22 浙江省北大信息技术高等研究院 目标检测方法、装置、设备及存储介质
CN111209952A (zh) * 2020-01-03 2020-05-29 西安工业大学 基于改进ssd和迁移学习的水下目标检测方法
CN111967464A (zh) * 2020-06-30 2020-11-20 西安电子科技大学 一种基于深度学习的弱监督目标定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI441096B (zh) * 2011-08-10 2014-06-11 Univ Nat Taipei Technology 適用複雜場景的移動偵測方法
US8879855B2 (en) * 2012-08-17 2014-11-04 Nec Laboratories America, Inc. Image segmentation for large-scale fine-grained recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993091A (zh) * 2019-03-25 2019-07-09 浙江大学 一种基于背景消除的监控视频目标检测方法
CN110110715A (zh) * 2019-04-30 2019-08-09 北京金山云网络技术有限公司 文本检测模型训练方法、文本区域、内容确定方法和装置
CN110490073A (zh) * 2019-07-15 2019-11-22 浙江省北大信息技术高等研究院 目标检测方法、装置、设备及存储介质
CN111209952A (zh) * 2020-01-03 2020-05-29 西安工业大学 基于改进ssd和迁移学习的水下目标检测方法
CN111967464A (zh) * 2020-06-30 2020-11-20 西安电子科技大学 一种基于深度学习的弱监督目标定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Mobilenet-ssdv2:an improved object detection model for embedded systerms;yu-chen chiu;《ICSSE》;1-5 *
基于YOLO v3的输电线路缺陷快速检测方法;周仿荣;方明;马御棠;潘浩;;云南电力技术(第04期);116-120+124 *
基于多尺度特征的条形码快速检测算法;易帆 等;《计算机工程与设计》;第41卷(第01期);220-225 *

Also Published As

Publication number Publication date
CN112767431A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN110189285B (zh) 一种多帧图像融合方法及装置
Liao et al. Modeling pixel process with scale invariant local patterns for background subtraction in complex scenes
US11900676B2 (en) Method and apparatus for detecting target in video, computing device, and storage medium
CN108090434B (zh) 一种矿石快速识别方法
CN106960178B (zh) 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法
TWI721786B (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
KR20140095333A (ko) 영상에서 객체 추적 방법 및 장치
Sakpal et al. Adaptive background subtraction in images
CN108318773A (zh) 一种输电导线断股检测方法及系统
CN112767431B (zh) 一种用于电力系统的电网目标检测方法及装置
CN112949451B (zh) 通过模态感知特征学习的跨模态目标跟踪方法及系统
CN115690102A (zh) 缺陷检测方法、装置、电子设备、存储介质和程序产品
CN112784854B (zh) 基于数理统计的服装颜色分割提取方法、装置和设备
CN113971681A (zh) 一种复杂环境下带式输送机边缘检测方法
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
Chen et al. An enhanced adaptive Sobel edge detector based on improved genetic algorithm and non-maximum suppression
Mutneja et al. GPU accelerated face detection from low resolution surveillance videos using motion and skin color segmentation
CN112561813B (zh) 人脸图像增强方法、装置、电子设备及存储介质
CN112330618B (zh) 图像偏移检测方法、设备及存储介质
Li et al. Infrared and visible image fusion using a novel deep decomposition method
CN113172002A (zh) 一种基于图像识别的输煤线矸石识别方法及分选系统
Bolten et al. Evaluation of Deep Learning based 3D-Point-Cloud Processing Techniques for Semantic Segmentation of Neuromorphic Vision Sensor Event-streams.
Pavithra et al. Real-time color classification of objects from video streams
Siddique et al. Multi-focus image fusion using block-wise color-principal component analysis
Li et al. Edge detection on arc image of low voltage apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant