[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117670848A - 故障检测模型的训练方法、设备故障检测方法及相关装置 - Google Patents

故障检测模型的训练方法、设备故障检测方法及相关装置 Download PDF

Info

Publication number
CN117670848A
CN117670848A CN202311706018.9A CN202311706018A CN117670848A CN 117670848 A CN117670848 A CN 117670848A CN 202311706018 A CN202311706018 A CN 202311706018A CN 117670848 A CN117670848 A CN 117670848A
Authority
CN
China
Prior art keywords
fault
sample
loss
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311706018.9A
Other languages
English (en)
Inventor
彭先涛
王鹏
邱奕博
刘明义
王铁铭
任冲
李大可
徐峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suqian Yida New Materials Co ltd
Zhejiang Hengyi Petrochemical Co ltd
Original Assignee
Suqian Yida New Materials Co ltd
Zhejiang Hengyi Petrochemical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suqian Yida New Materials Co ltd, Zhejiang Hengyi Petrochemical Co ltd filed Critical Suqian Yida New Materials Co ltd
Priority to CN202311706018.9A priority Critical patent/CN117670848A/zh
Publication of CN117670848A publication Critical patent/CN117670848A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了故障检测模型的训练方法、设备故障检测方法及相关装置。涉及计算机技术领域。该方法包括：对指定设备基于预设的无人机队形进行采样，得到样本序列；将样本序列按照无人机队形进行位置编码，得到无人机队形编码结果；将样本序列以及无人机队形编码结果输入待训练模型，以得到待训练模型输出的故障检测结果；基于故障检测结果和样本序列的故障检测结果真实值确定损失值；基于损失值调整待训练模型的模型参数，以得到故障检测模型；其中，待训练模型包括编码器和解码器。本公开实施例中，对同一设备采用无人机队形进行全方位成像，并基于无人机的位置编码，引导待训练模型学习到不同图像之间的关联关系，以提高模型的故障检测效率。

Description

故障检测模型的训练方法、设备故障检测方法及相关装置
技术领域
本公开涉及计算机技术领域，尤其涉及人工智能、计算机视觉、图像处理等技术领域。
背景技术
在纺丝工艺的工业场景中，由于纺丝车间中的设备过多，为了保证化纤产品的质量，需要实时对纺丝车间的设备进行监控。由于人工监控的方式过于浪费人力资源，且有些区域无法进行人工检测。因此，如何自动化的实现对纺丝车间的监控，是现有技术面临的一个问题。
发明内容
本公开提供了一种故障检测模型的训练方法、设备故障检测方法及相关装置，以解决或缓解相关技术中的一项或更多项技术问题。
第一方面，本公开提供了一种故障检测模型的训练方法，包括：
对指定设备基于预设的无人机队形进行采样，得到样本序列；
将样本序列按照无人机队形进行位置编码，得到无人机队形编码结果；
将样本序列以及无人机队形编码结果输入待训练模型，以得到待训练模型输出的故障检测结果；
基于故障检测结果和样本序列的故障检测结果真实值确定损失值；
基于损失值调整待训练模型的模型参数，以得到故障检测模型；
其中，待训练模型包括编码器和解码器；
编码器用于对样本序列中每个样本图像分别进行特征提取，以获得每个样本图像的多尺度特征；并，基于无人机队形编码结果，对样本序列的同一尺度的特征进行特征融合，得到各尺度分别对应的融合特征；对各尺度的融合特征进行特征融合，得到目标特征；
解码器用于基于目标特征确定指定设备的故障检测结果，故障检测结果包括故障样本图中同一故障位置的故障预测类型和故障预测框；参照无人机队形对样本序列中的样本图像进行拼接得到故障样本图。
第二方面，本公开提供了一种设备故障检测方法，应用于如第一方面的故障检测模型，包括：
基于无人机队列获取目标设备的初始图像集合；无人机队列用于从多个视角对目标设备进行图像采集，以得到初始图像集合；
对初始图像集合的每个初始图像分别进行去噪处理，得到待检测图像集合；
对无人机队列进行位置编码，以得到无人机位置编码结果；
将待检测图像集合以及无人机位置编码结果输入故障检测模型，得到故障检测模型针对目标设备的故障检测结果；
故障检测结果包括目标图中的同一故障位置的故障预测类型和故障预测框；参照无人机队列对待检测图像集合中的待检测图像进行拼接得到目标图。
第三方面，本公开提供了一种故障检测模型的训练装置，包括：
采样模块，用于对指定设备基于预设的无人机队形进行采样，得到样本序列；
第一编码模块，用于将样本序列按照无人机队形进行位置编码，得到无人机队形编码结果；
输入模块，用于将样本序列以及无人机队形编码结果输入待训练模型，以得到待训练模型输出的故障检测结果；
确定模块，用于基于故障检测结果和样本序列的故障检测结果真实值确定损失值；
调整模块，用于基于损失值调整待训练模型的模型参数，以得到故障检测模型；
其中，待训练模型包括编码器和解码器；
编码器用于对样本序列中每个样本图像分别进行特征提取，以获得每个样本图像的多尺度特征；并，基于无人机队形编码结果，对样本序列的同一尺度的特征进行特征融合，得到各尺度分别对应的融合特征；对各尺度的融合特征进行特征融合，得到目标特征；
解码器用于基于目标特征确定指定设备的故障检测结果，故障检测结果包括故障样本图中同一故障位置的故障预测类型和故障预测框；参照无人机队形对样本序列中的样本图像进行拼接得到故障样本图。
第四方面，本公开提供了一种设备故障检测装置，应用于第三方面的故障检测模型，包括：
采集模块，用于基于无人机队列获取目标设备的初始图像集合；无人机队列用于从多个视角对目标设备进行图像采集，以得到初始图像集合；
去噪模块，用于对初始图像集合的每个初始图像分别进行去噪处理，得到待检测图像集合；
第二编码模块，用于对无人机队列进行位置编码，以得到无人机位置编码结果；
处理模块，用于将待检测图像集合以及无人机位置编码结果输入故障检测模型，得到故障检测模型针对目标设备的故障检测结果；
故障检测结果包括目标图中的同一故障位置的故障预测类型和故障预测框；参照无人机队列对待检测图像集合中的待检测图像进行拼接得到目标图。
第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一方法。
第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一方法。
本公开实施例中，对同一设备采用无人机队形进行全方位成像，并基于无人机的位置编码，引导待训练模型学习到不同图像之间的关联关系，以提高模型的故障检测效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开提供的一些实施方式，而不应将其视为是对本公开范围的限制。
图1是根据本公开一实施例中故障检测模型的训练方法的流程示意图；
图2是根据本公开一实施例中纺丝车间的示意图；
图3是根据本公开一实施例中待训练模型的示意图；
图4是根据本公开一实施例中分割一切模型的示意图；
图5是根据本公开一实施例中设备故障检测方法的流程示意图；
图6是根据本公开一实施例中故障检测模型的训练装置的结构示意图；
图7是根据本公开一实施例中设备故障检测装置的结构示意图；
图8是用来实现本公开实施例的故障检测模型的训练方法/设备故障检测方法的电子设备的框图。
具体实施方式
下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在纺丝工艺的工业场景中，由于纺丝车间中的设备过多，为了保证化纤产品生产的正常进行，需要对纺丝车间的设备进行监控。
而纺丝工厂面积较大，工艺流程长、每个工艺流程均采用多种设备。有些设备比较庞大，难以实现人工检测。由此，面对检测面积大、设备种类多且检测环境较为复杂的情况，需要一种自动化检测技术，提高故障检测的效率。
需要说明的是，本公开实施例的方案中涉及的纺丝产品的主要类型可以包括预取向丝(Partially Oriented Yarns，POY)、全牵伸丝(Fully Drawn Yarns，FDY)、拉伸变形丝(Draw Textured Yarns，DTY)(或称为低弹丝)等的一种或多种。例如，丝的类型具体可以包括涤纶预取向丝(Polyester Partially Oriented Yarns)、涤纶全牵伸丝(PolyesterFully Drawn Yarns)、涤纶牵伸丝(Polyester Drawn Yarns)、涤纶低弹丝(PolyesterDraw Textured Yarns)等。
为了自动且准确的对纺丝工厂的相关设备进行检测，本公开实施例提供了一种故障检测模型，以期望通过控制无人机队列采集图像，并由该故障检测模型完成故障检测。
首先，本公开实施例提出了一种故障检测模型的训练方法，以期望通过该方法训练出一个检测效果满足要求的模型。如图1所示，包括以下内容：
S101，对指定设备基于预设的无人机队形进行采样，得到样本序列。
该样本序列按照无人机队形进行编号。
其中，指定设备可以为纺丝车间中的任意设备，纺丝车间可以如图2所示，指定设备可以为管道，法兰盘，储气罐、储液罐等设备。
纺丝工厂很多设备需要从多个角度来观察设备的情况，因此，本公开实施例中采用无人机队列对设备周围进行图像采集，以得到同一时刻设备的整体情况。举例来说，多个无人机可以基于指定设备的构造布局无人机队形，以同时在多个角度对该指定设备进行成像。无人机队形为无人机1，无人机2，…，无人机n，无人机1拍摄的图像为图像1，无人机2拍摄的图像为图像2，…，无人机n拍摄的图像为图像n。样本序列即为{图像1；图像2；…；图像n}。
S102，将样本序列按照无人机队形进行位置编码，得到无人机队形编码结果。
获取每架无人机的相对位置信息，由此可以对整个无人机队形进行位置编码，以得到无人机队形编码结果。
之所以对无人机队形进行位置编码，是因为可以将每架无人机采集的样本图像看作指定设备的三维成像中的部分图像。指定设备的故障在不同的角度可能呈现出差异，因此同一样本序列中多个样本图像的图像内容之间是具有依赖关系的。由此，通过无人机队形的位置编码，能够基于该依赖关系引导待训练模型从样本序列中学习到相关知识，以便于进行故障检测。
S103，将样本序列以及无人机队形编码结果输入待训练模型，以得到待训练模型输出的故障检测结果。
S104，基于故障检测结果和样本序列的故障检测结果真实值确定损失值。
S105，基于损失值调整待训练模型的模型参数，以得到故障检测模型。
其中，待训练模型包括编码器和解码器；
编码器用于对样本序列中每个样本图像分别进行特征提取，以获得每个样本图像的多尺度特征；并，基于无人机队形编码结果，对样本序列的同一尺度的特征进行特征融合，得到各尺度分别对应的融合特征；对各尺度的融合特征进行特征融合，得到目标特征；
解码器用于基于目标特征确定指定设备的故障检测结果，故障检测结果包括故障样本图中同一故障位置的故障预测类型和故障预测框；参照无人机队形对样本序列中的样本图像进行拼接得到故障样本图。
其中，将样本序列以及无人机队形编码结果输入待训练模型的示意图如图3所示，使用特征提取模型对样本序列中每个图像进行特征提取，得到每个图像不同尺度的特征，如图3所示，每种形状相同的矩形框代表一种尺度的图像特征，图像1对应第一尺度的特征f11，第二尺度的特征f12，…，第m尺度的特征f1m；图像2对应第一尺度的特征f21，第二尺度的特征f22，…，第m尺度的特征f2m；图像n对应第一尺度的特征fn1，第二尺度的特征fn2，…，第m尺度的特征fnm。将属于第一尺度的每个图像的图像特征输入全连接层进行融合，得到第一融合特征，同时将无人机队形编码结果和第一融合特征输入基于注意力机制编码器，得到第一中间特征；将属于第二尺度的每个图像的图像特征输入全连接层进行融合，得到第二融合特征，同时将无人机队形编码结果和第二融合特征输入基于注意力机制编码器，得到第二中间特征；在存在m个尺度的图像特征的基础上，即获取到m个中间特征。将m个中间特征可以基于金字塔模型进行融合，得到目标特征。至此，编码器完成编码操作。将目标特征输入待训练模型的解码器，以得到待训练模型输出的故障检测结果。基于故障检测结果和样本序列的故障检测结果真实值确定损失值。基于该损失值调整待训练模型的模型参数，在损失值满足收敛条件的情况下，得到故障检测模型。该故障检测结果包括故障样本图中同一故障位置的故障预测类型和故障预测框。在有多个故障位置的情况下，每个故障位置都会检测出故障预测类型和故障预测框。
本公开实施例中，基于无人机队列采集到的样本序列的图像特征进行融合，以获取到目标特征，该目标特征可以从多个角度描述同一故障的特征，有利于全面的描述故障情况，使得待训练模型能够准确的进行故障检测。此外，对不同角度的样本图像通过多尺度特征提取和融合，能够使得目标特征中即包含不同层次的重要特征，由此可提高模型对故障识别的效率。
本公开实施例中，为了能够获得优质的标注结果，可以基于以下方法确定样本序列的故障检测结果真实值：
步骤A1，将样本序列按无人机队形拼接成故障样本图；故障样本图从多个无人机视角描述指定设备的状态。
步骤A2，基于故障样本图构建第一提示信息；该第一提示信息中包括至少一个故障在故障样本图中的故障点，以及同一故障在故障样本图中不同无人机视角下的检测框的位置信息分别作为子位置参数。
步骤A3，针对同一故障的多个子位置参数进行位置编码，得到同一故障的故障位置编码。
针对每个故障，分别执行以下操作：
步骤A31，将故障的故障点以及故障的故障位置编码作为第二提示信息输入分割一切模型，以使得分割一切模型从故障样本图中分割出故障的故障掩码图。
步骤A32，获得故障的故障掩码图的真类标签，并基于故障掩码图在故障样本图中的位置信息，构建故障的检测框标签，以得到故障检测结果真实值。
将故障样本图输入分割一切模型的示意图，可如图4所示，将故障样本图和第二提示信息中的无人机队形编码结果输入图像特征提取网络(该网络基于注意力机制构建)，得到编码特征。使用至少一层卷积层对预设掩码进行卷积处理得到掩码特征。其中，该预设掩码可以是基于其他的预先训练好的分割网络对故障位置进行对象分割得到的掩码。掩码特征和该编码特征融合后，输入掩码解码器。同时，第二提示信息中的故障点也输入掩码解码器。掩码解码器处理后，可得到以使得分割一切模型从故障样本图中分割出故障的故障掩码图。将故障掩码图输入分类模型，获取到该故障掩码图对每个预设类别的置信度分数，将分数最高的预设类别作为故障掩码图的真类标签，并基于故障掩码图在故障样本图中的位置信息构建包围该故障点的矩形框，将该矩形框确定为故障的检测框标签。
例如，在指定设备包括三个故障位置的情况下，由于该故障位置可能从多个视角均采集到图像，所以同一故障位置可能包括多个检测框，并且每个检测框都有相应的类别。例如，故障位置A包括无人机1视角的检测框1、其故障码为a；还包括无人机2视角的检测框2，其故障码也为a。
本公开实施例中，基于分割一切模型对故障样本图进行分割，以使得分割一切模型从故障样本图中分割出故障的故障掩码图，进而可以得到故障掩码图的真类标签，基于故障掩码图在故障样本图中的位置信息，进而构建故障的检测框标签，可以为训练待训练模型奠定有力的基础。
在一些实施例中，为了能够优化故障检测模型的参数，提高故障检测效率，本公开实施例中损失函数包括以下损失项：
1)故障预测框和检测框标签之间的位置损失；
在一些实施例中，位置损失可从多个角度进行衡量。例如，检测框本身是回归任务得到的故障位置。模型训练阶段，对同一故障位置预测的检测框会随着模型参数的优化，检测框会越来越准确。
本公开实施例中，位置损失可包括第一位置损失子项、第二位置损失子项、第三位置损失子项、第四位置损失子项、第五位置损失子项，每个损失子项的具体计算方式如下所示：
第一位置损失子项，用于表示同一故障位置在样本序列中多个样本图像中的故障预测框和对应的检测框标签的中心点之间的损失。
其中，f1表示第一位置损失子项，与/>表示故障预测框的中心坐标，xi与yi表示故障检测结果真实值中检测框标签的中心坐标，/>表示第i个样本图像的第j个候选框是否预测出该故障位置，若预测出为1，若未预测出则为0。wi与hi表示故障预测框的宽高。ηc为补偿系数。该故障预测框和检测框标签的宽高的尺寸均经过归一化处理，故wi与hi的取值范围为[0，1]。B表示第i个样本图像中候选框的总量；S表示样本图像的总量。
第二位置损失子项，用于表示同一故障位置在多个样本图像中的故障预测框和对应的检测框标签之间的检测框宽度损失，以及，同一故障位置在多个样本图像中的故障预测框和对应的检测框标签之间的检测框高度损失。
其中，f2表示第二位置损失子项，wi与hi表示故障预测框的宽高，与/>表示故障检测结果真实值中相应的检测框标签的宽高，/>表示第i个样本图像的第j个候选框是否包含该故障位置，若包含为1，若不包含为0。ηc为补偿系数。该检测框标签和故障预测框的宽高之差及检测框标签与故障预测框的尺寸均经过归一化处理，故wi、hi、/>的取值范围为[0，1]。B表示第i个样本图像中候选框的总量；S表示样本图像的总量。
第三位置损失子项，用于表示同一故障位置在多个样本图像中的故障预测框的置信度损失。
其中，f3表示第三位置损失子项。表示故障预测框的置信度，若第i个样本图像的第j个检测框负责检测该故障位置，则/>否则/> 表示检测框标签的置信度。表示第i个样本对象的第j个候选框是否包含该故障位置，若包含为1，若不包含为0。B表示第i个样本图像中候选框的总量；S表示样本图像的总量。
第四位置损失子项，用于表示同一故障位置在多个样本图像中的重要故障预测框和对应的检测框标签中重要位置的检测框之间的重叠率损失。
其中，f4表示第四位置损失子项。表示第i个样本图像的第j个候选框是否包含该故障位置，若包含为1，若不包含为0。/>表示故障预测框和对应的检测框标签中重要位置的检测框之间的重叠率。B表示第i个样本图像中候选框的总量；S表示样本图像的总量。
第五位置损失子项，用于表示同一故障位置在多个样本图像中的故障预测框总量和对应的检测框标签中检测框总量之间的数量损失。
其中，f5表示第五位置损失子项。表示第i个样本图像的第j个候选框是否包含该故障位置，若包含为1，若不包含为0。Ni表示故障预测框总量；/>表示检测框标签中检测框的总量。B表示第i个样本图像中候选框的总量；S表示样本图像的总量。
在实施时，由于故障检测模型存在检测误差，因此可能存在没检测出来的检测框或误检的检测框，这些检测框均参与计算。
实施时，可以在检测框标签中标记重要的和不重要的标签。不重要的检测框被检测出也可以不参与损失计算，被检测出来的重要位置的检测框参与损失计算。
本公开实施例中，基于检测框的中心点，宽高等信息综合衡量了故障预测框的损失值，以提高故障检测模型的准确性。
2)故障预测类型和真类标签之间的分类损失。
在一些实施例中，基于以下公式确定分类损失：
其中，N为故障样本图中故障位置的数量，其中，在故障样本图中具有多个样本图像描述同一故障位置的情况下，同一故障位置在N中计数1次；
ai为第i个故障位置；
f(ai,bi)为第i个故障位置的真类标签；
f(ai,b′)为第i个故障位置出现在故障样本图的多个样本图像的情况下，各样本图像对第i个故障位置的预测分数的统计量；
ρτ为温度标量。
其中，由于模型参数的调整，对同一故障位置的检测框的预测会随着模型的优化而产生变化，因此，表达式(6)中，累积符号可理解为对在多轮预测过程中，对同一检测框标签的位置预测结果的累积。每次累积的数量可根据需要确定。
其中，统计量为均值、众数或最高值。实施时，由于一个故障位置包含在多个图像中，因此存在多个检测框，每个检测框存在一个预测分数，因此需要对多个检测框的预测分数进行整合，可以选取多个检测框的预测分数的均值作为预测分数，也可以选取众数或最高值作为预测分数。
在得到前述位置损失和分类损失的基础上，构建得到的损失函数如式(7)所示：
F＝λ1f1+λ2f2+λ3f3+λ4f4+λ5f5+λ6lcls (7)
其中，F表示损失函数，λ1、λ2、λ3、λ4、λ5、λ6表示每个对应的损失子项的权重，f1、f2、f3、f4、f5、lcls表示的含义与前述相似，本公开实施例对此不再进行一一赘述。
在一些实施例中，每个样本序列为一个训练样本，多个样本序列构建样本集。可以从样本集中取出一部分作为第一训练数据，取另一部分作为第二训练数据。使用第一训练数据对待训练模型中的可学习参数进行调整，使用第二训练数据对待训练模型中的超参数进行调整。
在本公开实施例中，需要学习的超参数可包括λ1、λ2、λ3、λ4、λ5、λ6以及ρτ。可学习参数即为损失函数中除超参数之外的模型参数。
本公开实施例中的图1所指的待训练模型，可以为已学习好超参的模型。学习超参的过程可包括：
将第一训练数据输入待训练模型中，得到故障检测结果。该故障检测结果包括故障预测类型和故障预测框。基于故障检测结果和真实值之间的差距计算第一损失(包括位置损失和分类损失)，基于该第一损失计算梯度，进而基于梯度方向优化待训练模型中的可学习参数，在本轮调整后的可学习参数所表达的模型的基础上，将第二训练数据输入待训练模型中，得到故障检测结果。该故障检测结果包括故障预测类型和故障预测框。基于故障预测框和检测框标签之间的差距计算位置损失，并计算分类损失。进而基于位置损失和分类损失确定第二损失。以最小化该第二损失为目标，优化超参数。然后，再次基于第一训练数据对待训练模型中的可学习参数进行调整，依次迭代循环，直至获取到最小化第二损失的最优超参数。至此，超参数确定下来，然后采用图1中所示的方法来继续优化模型的可学习参数。即，将样本序列输入待训练模型中，得到故障检测结果。该故障检测结果包括故障预测类型和故障预测框。基于故障预测框和检测框之间的差距对损失函数中位置损失的可学习参数进行调整，以及基于故障预测类型和真类标签之间的差距对损失函数中的分类损失的可学习参数进行调整。在满足收敛条件的情况下，获取到故障检测模型。
本公开实施例中，综合考量了位置损失以及分类损失，进而设计出的目标函数可以为训练待训练模型提供有力的基础。
在基于前述得到故障检测模型的基础上，基于相同的技术构思，本公开实施例还包括一种设备故障检测方法，如图5所示，包括：
S501，基于无人机队列获取目标设备的初始图像集合；无人机队列用于从多个视角对目标设备进行图像采集，以得到初始图像集合。
S502，对初始图像集合的每个初始图像分别进行去噪处理，得到待检测图像集合。
实施时，针对每个初始图像，可以基于采集该初始图像的无人机的轨迹获取目标模糊核，基于目标模糊核对该初始图像进行去噪处理，得到由各去噪后的初始图像构建的待检测图像集合。
以一个初始图像为例，首先，需要从该初始图像中获取k个关键点，基于该k个关键点，得到初始模糊核。
S503，对无人机队列进行位置编码，以得到无人机位置编码结果。
S504，将待检测图像集合以及无人机位置编码结果输入故障检测模型，得到故障检测模型针对目标设备的故障检测结果。
故障检测结果包括目标图中的同一故障位置的故障预测类型和故障预测框；参照无人机队列对待检测图像集合中的待检测图像进行拼接得到目标图。
本公开实施例中，基于无人机队列采集到的初始图像集合去噪处理，以得到待检测图像集合，该待检测图像集合可以从多个角度描述同一故障的特征，有利于全面的描述故障情况，使得故障检测结果能够准确的进行故障检测。基于该方式可实现自动化的对目标设备进行监控，以节约人力资源。
在一些实施例中，为了减少对预测框的误检情况，还可实施为：
步骤B1，从同一故障位置的多个故障预测框中筛选出至少一个关键预测框。
可以在故障预测框中标记关键的和不关键的标签。被检测出来的不关键的检测框不参与损失计算，被检测出来的关键位置的检测框参与损失计算。
步骤B2，基于至少一个关键预测框，从目标图中拆分出各关键预测框的待检测图像。
步骤B3，基于各关键预测框的待检测图像，构建同一位置的三维效果图并输出。
在检测到重要的故障预测框的异常的情况下，基于无人机采集的队列的位置编码，对该位置构建三维效果图，并输出给工作人员，以实现工作人员的管理。
本公开实施例中，从同一故障位置的多个故障预测框中筛选出至少一个关键预测框，使用关键检测框进行故障预测，以减少对计算资源的消耗，并将检测到故障的位置进行渲染，以便于工作人员可以及时对其进行处理。
基于相同的技术构思，本公开实施例中提出了一种故障检测模型的训练装置600，如图6所示，包括：
采样模块601，用于对指定设备基于预设的无人机队形进行采样，得到样本序列；
第一编码模块602，用于将样本序列按照无人机队形进行位置编码，得到无人机队形编码结果；
输入模块603，用于将样本序列以及无人机队形编码结果输入待训练模型，以得到待训练模型输出的故障检测结果；
确定模块604，用于基于故障检测结果和样本序列的故障检测结果真实值确定损失值；
调整模块605，用于基于损失值调整待训练模型的模型参数，以得到故障检测模型；
其中，待训练模型包括编码器和解码器；
编码器用于对样本序列中每个样本图像分别进行特征提取，以获得每个样本图像的多尺度特征；并，基于无人机队形编码结果，对样本序列的同一尺度的特征进行特征融合，得到各尺度分别对应的融合特征；对各尺度的融合特征进行特征融合，得到目标特征；
解码器用于基于目标特征确定指定设备的故障检测结果，故障检测结果包括故障样本图中同一故障位置的故障预测类型和故障预测框；参照无人机队形对样本序列中的样本图像进行拼接得到故障样本图。
在一些实施例中，还包括获取模块，用于：
将样本序列按无人机队形拼接成故障样本图；故障样本图从多个无人机视角描述指定设备的状态；
基于故障样本图构建第一提示信息；第一提示信息中包括至少一个故障在故障样本图中的故障点，以及同一故障在故障样本图中不同无人机视角下的检测框的位置信息分别作为子位置参数；
针对同一故障的多个子位置参数进行位置编码，得到同一故障的故障位置编码；
针对每个故障，分别执行以下操作：
将故障的故障点以及故障的故障位置编码作为第二提示信息输入分割一切模型，以使得分割一切模型从故障样本图中分割出故障的故障掩码图；
获得故障的故障掩码图的真类标签，并基于故障掩码图在故障样本图中的位置信息，构建故障的检测框标签，以得到故障检测结果真实值。
在一些实施例中，待训练模型的损失函数包括以下损失项：
故障预测框和检测框标签之间的位置损失；
故障预测类型和真类标签之间的分类损失。
在一些实施例中，确定模块用于基于以下公式确定分类损失：
其中，N为故障样本图中故障位置的数量，其中，在故障样本图中具有多个样本图像描述同一故障位置的情况下，同一故障位置在N中计数1次；
ai为第i个故障位置；
f(ai,bi)为第i个故障位置的真类标签；
f(ai,b′)为第i个故障位置出现在故障样本图的多个样本图像的情况下，各样本图像对第i个故障位置的预测分数的统计量；
ρτ为温度标量。
在一些实施例中，统计量为均值、众数或最高值。
在一些实施例中，位置损失包括：
第一位置损失子项，用于表示同一故障位置在样本序列中多个样本图像中的故障预测框和对应的检测框标签的中心点之间的损失；
第二位置损失子项，用于表示同一故障位置在多个样本图像中的故障预测框和对应的检测框标签之间的检测框宽度损失，以及，同一故障位置在多个样本图像中的故障预测框和对应的检测框标签之间的检测框高度损失；
第三位置损失子项，用于表示同一故障位置在多个样本图像中的故障预测框的置信度损失；
第四位置损失子项，用于表示同一故障位置在多个样本图像中的重要故障预测框和对应的检测框标签中重要位置的检测框之间的重叠率损失；
第五位置损失子项，用于表示同一故障位置在多个样本图像中的故障预测框总量和对应的检测框标签中检测框总量之间的数量损失。
基于相同的技术构思，本公开实施例中提出了一种设备故障检测装置700，应用于前述实施例得到的故障检测模型，如图7所示，包括：
采集模块701，用于基于无人机队列获取目标设备的初始图像集合；无人机队列用于从多个视角对目标设备进行图像采集，以得到初始图像集合；
去噪模块702，用于对初始图像集合的每个初始图像分别进行去噪处理，得到待检测图像集合；
第二编码模块703，用于对无人机队列进行位置编码，以得到无人机位置编码结果；
处理模块704，用于将待检测图像集合以及无人机位置编码结果输入故障检测模型，得到故障检测模型针对目标设备的故障检测结果；
故障检测结果包括目标图中的同一故障位置的故障预测类型和故障预测框；参照无人机队列对待检测图像集合中的待检测图像进行拼接得到目标图。
在一些实施例中，还包括生成模块，用于：
从同一故障位置的多个故障预测框中筛选出至少一个关键预测框；
基于至少一个关键预测框，从目标图中拆分出各关键预测框的待检测图像；
基于各关键预测框的待检测图像，构建同一故障位置的三维效果图并输出。
本公开实施例的装置的各模块、子模块\单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
图8为根据本公开一实施例的电子设备的结构框图。如图8所示，该电子设备包括：存储器810和处理器820，存储器810内存储有可在处理器820上运行的计算机程序。存储器810和处理器820的数量可以为一个或多个。存储器810可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。该电子设备还可以包括：通信接口830，用于与外界设备进行通信，进行数据交互传输。
如果存储器810、处理器820和通信接口830独立实现，则存储器810、处理器820和通信接口830可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器810、处理器820及通信接口830集成在一块芯片上，则存储器810、处理器820及通信接口830可以通过内部接口完成相互间的通信。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (18)

1.一种故障检测模型的训练方法，其特征在于，包括：
对指定设备基于预设的无人机队形进行采样，得到样本序列；
将所述样本序列按照所述无人机队形进行位置编码，得到无人机队形编码结果；
将所述样本序列以及所述无人机队形编码结果输入待训练模型，以得到所述待训练模型输出的故障检测结果；
基于所述故障检测结果和所述样本序列的故障检测结果真实值确定损失值；
基于所述损失值调整所述待训练模型的模型参数，以得到故障检测模型；
其中，所述待训练模型包括编码器和解码器；
所述编码器用于对所述样本序列中每个样本图像分别进行特征提取，以获得每个样本图像的多尺度特征；并，基于所述无人机队形编码结果，对所述样本序列的同一尺度的特征进行特征融合，得到各尺度分别对应的融合特征；对各尺度的融合特征进行特征融合，得到目标特征；
所述解码器用于基于所述目标特征确定所述指定设备的故障检测结果，所述故障检测结果包括故障样本图中同一故障位置的故障预测类型和故障预测框；参照所述无人机队形对所述样本序列中的样本图像进行拼接得到所述故障样本图。
2.根据权利要求1所述的方法，其特征在于，还包括基于以下方法确定所述样本序列的故障检测结果真实值：
将所述样本序列按所述无人机队形拼接成所述故障样本图；所述故障样本图从多个无人机视角描述所述指定设备的状态；
基于所述故障样本图构建第一提示信息；所述第一提示信息中包括至少一个故障在所述故障样本图中的故障点，以及同一故障在所述故障样本图中不同无人机视角下的检测框的位置信息分别作为子位置参数；
针对同一故障的多个子位置参数进行位置编码，得到所述同一故障的故障位置编码；
针对每个故障，分别执行以下操作：
将所述故障的故障点以及所述故障的故障位置编码作为第二提示信息输入分割一切模型，以使得所述分割一切模型从所述故障样本图中分割出所述故障的故障掩码图；
获得所述故障的故障掩码图的真类标签，并基于所述故障掩码图在所述故障样本图中的位置信息，构建所述故障的检测框标签，以得到所述故障检测结果真实值。
3.根据权利要求1或2所述的方法，其特征在于，所述待训练模型的损失函数包括以下损失项：
故障预测框和检测框标签之间的位置损失；
故障预测类型和真类标签之间的分类损失。
4.根据权利要求3所述的方法，基于以下公式确定所述分类损失：
其中，N为所述故障样本图中故障位置的数量，其中，在所述故障样本图中具有多个样本图像描述同一故障位置的情况下，所述同一故障位置在N中计数1次；
ai为第i个故障位置；
f(ai,bi)为第i个故障位置的真类标签；
f(ai,b′)为第i个故障位置出现在故障样本图的多个样本图像的情况下，各样本图像对第i个故障位置的预测分数的统计量；
ρτ为温度标量。
5.根据权利要求4所述的方法，其特征在于，所述统计量为均值、众数或最高值。
6.根据权利要求3所述的方法，其特征在于，所述位置损失包括：
第一位置损失子项，用于表示同一故障位置在所述样本序列中多个样本图像中的故障预测框和对应的检测框标签的中心点之间的损失；
第二位置损失子项，用于表示同一故障位置在所述多个样本图像中的故障预测框和对应的检测框标签之间的检测框宽度损失，以及，同一故障位置在所述多个样本图像中的故障预测框和对应的检测框标签之间的检测框高度损失；
第三位置损失子项，用于表示同一故障位置在所述多个样本图像中的故障预测框的置信度损失；
第四位置损失子项，用于表示同一故障位置在所述多个样本图像中的重要故障预测框和对应的检测框标签中重要位置的检测框之间的重叠率损失；
第五位置损失子项，用于表示同一故障位置在所述多个样本图像中的故障预测框总量和对应的检测框标签中检测框总量之间的数量损失。
7.一种设备故障检测方法，其特征在于，应用于如权利要求1-6中任一项所述的故障检测模型，包括：
基于无人机队列获取目标设备的初始图像集合；所述无人机队列用于从多个视角对所述目标设备进行图像采集，以得到所述初始图像集合；
对所述初始图像集合的每个初始图像分别进行去噪处理，得到待检测图像集合；
对所述无人机队列进行位置编码，以得到无人机位置编码结果；
将所述待检测图像集合以及所述无人机位置编码结果输入所述故障检测模型，得到所述故障检测模型针对所述目标设备的故障检测结果；
所述故障检测结果包括目标图中的同一故障位置的故障预测类型和故障预测框；参照所述无人机队列对所述待检测图像集合中的待检测图像进行拼接得到所述目标图。
8.根据权利要求7所述的方法，其特征在于，还包括：
从所述同一故障位置的多个故障预测框中筛选出至少一个关键预测框；
基于所述至少一个关键预测框，从所述目标图中拆分出各关键预测框的待检测图像；
基于各关键预测框的待检测图像，构建所述同一故障位置的三维效果图并输出。
9.一种故障检测模型的训练装置，其特征在于，包括：
采样模块，用于对指定设备基于预设的无人机队形进行采样，得到样本序列；
第一编码模块，用于将所述样本序列按照所述无人机队形进行位置编码，得到无人机队形编码结果；
输入模块，用于将所述样本序列以及所述无人机队形编码结果输入待训练模型，以得到所述待训练模型输出的故障检测结果；
确定模块，用于基于所述故障检测结果和所述样本序列的故障检测结果真实值确定损失值；
调整模块，用于基于所述损失值调整所述待训练模型的模型参数，以得到故障检测模型；
其中，所述待训练模型包括编码器和解码器；
所述编码器用于对所述样本序列中每个样本图像分别进行特征提取，以获得每个样本图像的多尺度特征；并，基于所述无人机队形编码结果，对所述样本序列的同一尺度的特征进行特征融合，得到各尺度分别对应的融合特征；对各尺度的融合特征进行特征融合，得到目标特征；
所述解码器用于基于所述目标特征确定所述指定设备的故障检测结果，所述故障检测结果包括故障样本图中同一故障位置的故障预测类型和故障预测框；参照所述无人机队形对所述样本序列中的样本图像进行拼接得到所述故障样本图。
10.根据权利要求9所述的装置，其特征在于，还包括获取模块，用于：
将所述样本序列按所述无人机队形拼接成所述故障样本图；所述故障样本图从多个无人机视角描述所述指定设备的状态；
基于所述故障样本图构建第一提示信息；所述第一提示信息中包括至少一个故障在所述故障样本图中的故障点，以及同一故障在所述故障样本图中不同无人机视角下的检测框的位置信息分别作为子位置参数；
针对同一故障的多个子位置参数进行位置编码，得到所述同一故障的故障位置编码；
针对每个故障，分别执行以下操作：
将所述故障的故障点以及所述故障的故障位置编码作为第二提示信息输入分割一切模型，以使得所述分割一切模型从所述故障样本图中分割出所述故障的故障掩码图；
获得所述故障的故障掩码图的真类标签，并基于所述故障掩码图在所述故障样本图中的位置信息，构建所述故障的检测框标签，以得到所述故障检测结果真实值。
11.根据权利要求9或10所述的装置，其特征在于，所述待训练模型的损失函数包括以下损失项：
故障预测框和检测框标签之间的位置损失；
故障预测类型和真类标签之间的分类损失。
12.根据权利要求11所述的装置，所述确定模块用于基于以下公式确定所述分类损失：
其中，N为所述故障样本图中故障位置的数量，其中，在所述故障样本图中具有多个样本图像描述同一故障位置的情况下，所述同一故障位置在N中计数1次；
ai为第i个故障位置；
f(ai,bi)为第i个故障位置的真类标签；
f(ai,b′)为第i个故障位置出现在故障样本图的多个样本图像的情况下，各样本图像对第i个故障位置的预测分数的统计量；
ρτ为温度标量。
13.根据权利要求12所述的装置，其特征在于，所述统计量为均值、众数或最高值。
14.根据权利要求11所述的装置，其特征在于，所述位置损失包括：
第一位置损失子项，用于表示同一故障位置在所述样本序列中所述多个样本图像中的故障预测框和对应的检测框标签的中心点之间的损失；
第二位置损失子项，用于表示同一故障位置在多个样本图像中的故障预测框和对应的检测框标签之间的检测框宽度损失，以及，同一故障位置在所述多个样本图像中的故障预测框和对应的检测框标签之间的检测框高度损失；
第三位置损失子项，用于表示同一故障位置在所述多个样本图像中的故障预测框的置信度损失；
第四位置损失子项，用于表示同一故障位置在所述多个样本图像中的重要故障预测框和对应的检测框标签中重要位置的检测框之间的重叠率损失；
第五位置损失子项，用于表示同一故障位置在所述多个样本图像中的故障预测框总量和对应的检测框标签中检测框总量之间的数量损失。
15.一种设备故障检测装置，其特征在于，应用于如权利要求9-14中任一项所述的故障检测模型，包括：
采集模块，用于基于无人机队列获取目标设备的初始图像集合；所述无人机队列用于从多个视角对所述目标设备进行图像采集，以得到所述初始图像集合；
去噪模块，用于对所述初始图像集合的每个初始图像分别进行去噪处理，得到待检测图像集合；
第二编码模块，用于对所述无人机队列进行位置编码，以得到无人机位置编码结果；
处理模块，用于将所述待检测图像集合以及所述无人机位置编码结果输入所述故障检测模型，得到所述故障检测模型针对所述目标设备的故障检测结果；
所述故障检测结果包括目标图中的同一故障位置的故障预测类型和故障预测框；参照所述无人机队列对所述待检测图像集合中的待检测图像进行拼接得到所述目标图。
16.根据权利要求15所述的装置，其特征在于，还包括生成模块，用于：
从所述同一故障位置的多个故障预测框中筛选出至少一个关键预测框；
基于所述至少一个关键预测框，从所述目标图中拆分出各关键预测框的待检测图像；
基于各关键预测框的待检测图像，构建所述同一故障位置的三维效果图并输出。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
CN202311706018.9A 2023-12-12 2023-12-12 故障检测模型的训练方法、设备故障检测方法及相关装置 Pending CN117670848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311706018.9A CN117670848A (zh) 2023-12-12 2023-12-12 故障检测模型的训练方法、设备故障检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311706018.9A CN117670848A (zh) 2023-12-12 2023-12-12 故障检测模型的训练方法、设备故障检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN117670848A true CN117670848A (zh) 2024-03-08

Family

ID=90071162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311706018.9A Pending CN117670848A (zh) 2023-12-12 2023-12-12 故障检测模型的训练方法、设备故障检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN117670848A (zh)

Similar Documents

Publication Publication Date Title
US11024019B2 (en) Image-based maintenance prediction and detection of operating errors
CN108564104A (zh) 产品缺陷检测方法、装置、系统、服务器及存储介质
Myrans et al. Automated detection of fault types in CCTV sewer surveys
TWI699816B (zh) 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體
TW202013248A (zh) 車輛損壞識別方法及裝置
CN114299034A (zh) 一种缺陷检测模型的训练方法、缺陷检测方法及装置
CN113657202B (zh) 构件识别方法、构建训练集方法、装置、设备及存储介质
US20220114725A1 (en) Microscopy System and Method for Checking Input Data
CN115980050B (zh) 排水口的水质检测方法、装置、计算机设备及存储介质
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN117351271A (zh) 高压配电线路监控设备故障监测方法、系统及其存储介质
CN117853492A (zh) 一种基于融合模型的智能化工业缺陷检测方法及系统
US11423262B2 (en) Automatically filtering out objects based on user preferences
Kirthiga et al. A survey on crack detection in concrete surface using image processing and machine learning
CN117670848A (zh) 故障检测模型的训练方法、设备故障检测方法及相关装置
CN116895009A (zh) 模型训练方法、油雾去除方法、装置、设备及存储介质
CN117253192A (zh) 用于桑蚕养殖的智能系统及方法
CN110956621B (zh) 一种基于神经网络的组织癌变的检测方法及系统
CN115359484A (zh) 图像处理方法、装置、设备及存储介质
Thakur et al. Automated fabric inspection through convolutional neural network: an approach
CN117576098B (zh) 基于分割的细胞分裂均衡度评估方法及设备
CN111091150A (zh) 铁路货车交叉杆盖板断裂检测方法
CN118505704B (zh) 一种面板产线缺陷检测通用模型建模检测方法
CN117893490A (zh) 工业产品的瑕疵检测方法、装置、设备及存储介质
CN117634006B (zh) 基于bim技术的套管预埋工程管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination