CN117237359B - 传送带撕裂检测方法、装置、存储介质和电子设备 - Google Patents
传送带撕裂检测方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN117237359B CN117237359B CN202311517931.4A CN202311517931A CN117237359B CN 117237359 B CN117237359 B CN 117237359B CN 202311517931 A CN202311517931 A CN 202311517931A CN 117237359 B CN117237359 B CN 117237359B
- Authority
- CN
- China
- Prior art keywords
- probability
- audio
- tearing
- normal
- conveyor belt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 230000007787 long-term memory Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 75
- 230000015654 memory Effects 0.000 claims description 33
- 230000004913 activation Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种传送带撕裂检测方法、装置、存储介质和电子设备；所述方法包括：利用获取的传送带的图像数据和音频数据，通过卷积神经网络来对图像数据进行预测，并利用长短期记忆神经网络来对音频数据进行预测，以得到对应图像数据的正常图像概率和撕裂图像概率，以及，对应音频数据的正常音频概率和撕裂音频概率，据此，可以通过证据理论来实现对各个概率结果的融合，并在融合过程中通过设置的第一准确率和第二准确率来实现对各个概率的加权，以此来实现获取全局正常概率和全局撕裂概率，从而进一步地实现对传送带是否撕裂的判断。
Description
技术领域
本申请的实施例涉及安全生产的技术领域，尤其涉及一种传送带撕裂检测方法、装置、存储介质和电子设备。
背景技术
传送带或输送带发生纵向撕裂是目前带式输送机工作现场发生频率最高的安全事故，由于当前对传送带是否撕裂往往采用单模态的检测，因此，其检测结果上存在准确性差和稳定性差的问题。
基于此，需要一种能够实现结合多类数据和模型来对传送带是否撕裂进行检测的方案。
发明内容
有鉴于此，本申请的目的在于提出一种传送带撕裂检测方法、装置、存储介质和电子设备。
基于上述目的，本申请提供了传送带撕裂检测方法，包括：
获取传送带的图像数据和音频数据，将所述图像数据输入至预训练的带有注意力机制的卷积神经网络，并对所述音频数据进行预处理；
利用所述卷积神经网络预测所述图像数据的正常图像概率和撕裂图像概率，所述正常图像概率表示利用所述图像数据预测所述传送带处于正常状态的概率，所述撕裂图像概率表示利用所述图像数据预测所述传送处于撕裂状态的概率；
利用对预处理后的音频数据进行特征提取，得到音频特征矩阵，将所述音频特征矩阵输入至预训练的长短期记忆神经网络进行预测，得到所述音频数据的正常音频概率和撕裂音频概率，所述正常音频概率表示利用所述音频数据预测所述传送带处于正常状态的概率，所述撕裂音频概率表示利用所述音频数据预测所述传送处于撕裂状态的概率；
确定所述卷积神经网络预测的第一准确率，并确定所述长短期记忆神经网络预测的第二准确率，将所述第一准确率和所述第二准确率作为权重，对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，根据所述全局正常概率和所述全局撕裂概率判断所述传送带是否撕裂。
进一步地，对所述音频数据进行预处理，包括：
对所述音频数据进行高通滤波，提高所述音频数据在高频部分的信号强度；
将高通滤波后的音频数据分割为多段短数据，并采用如下所示的汉明窗函数进行加窗，
；
其中，a表示汉明窗的调节系数，N表示窗口长度，n表示窗口中的样本点索引；
对加窗后的音频数据进行如下所示的快速傅里叶变换，得到预处理后的音频数据，
；
其中，x(n)表示进行快速傅里叶变换后的音频数据，N表示进行快速傅里叶变换时的点数，j的取值为整数，i表示分割为多段短数据后，音频数据的每段短数据的序号。
进一步地，注意力机制包括通道注意力机制和空间注意力机制；所述卷积神经网络包括深度可分离卷积层；
所述利用所述卷积神经网络预测所述图像数据的正常图像概率和撕裂图像概率，包括：
通过所述通道注意力机制对所述图像数据的特征值在空间信息上的维度进行压缩，并利用预设的多层感知机对原通道数进行压缩；
在将压缩后的通道数扩张至原通道数后，利用预设的第一激活函数确定出多个激活后的第一激活结果，所述第一激活函数包括线性整流函数；
将所述多个激活后的第一结果进行逐元素相加后，输入至预设的第二激活函数确定出第二激活结果，所述第二激活函数包括S型生长曲线函数；
利用所述空间注意力机制对所述第二激活结果进行最大池化和平均池化，得到两个第一特征图，并对所述两个第一特征图进行拼接，得到第二特征图；
利用所述深度可分离卷积层对所述第二特征图进行深度可分离卷积，得到第三特征图，并按照所述第二激活函数对所述第三特征图进行运算，得到所述图像数据的所述正常图像概率和所述撕裂图像概率。
进一步地，利用对预处理后的音频数据进行特征提取，得到音频特征矩阵，包括：
利用预设的第一频率倒谱系数算法对所述音频数据进行特征提取，得到第一特征矩阵，利用预设的第二频率倒谱系数算法对所述音频数据进行特征提取，得到第二特征矩阵；
对所述第一特征矩阵进行差分运算，得到第一差分，对所述第二特征矩阵进行差分运算，得到第二差分；
按照如下所示的公式对所述第一特征矩阵、所述第二特征矩阵进行拼接，得到所述音频特征矩阵，
；
其中，GFCCLFCC表示拼接后得到的所述音频特征矩阵，G表示所述第一特征矩阵，L表示所述第二特征矩阵，表示所述第一特征矩阵的所述第一差分，/>表示所述第二特征矩阵的所述第二差分，角标α表示所述第一特征矩阵的维度，角标β表示所述第一差分的维度，角标γ表示所述第二特征矩阵的维度，角标δ表示所述第二差分的维度。
进一步地，对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，包括：
按照如下所示的公式确定归一化常数，
；
其中，K表示所述归一化常数，表示图像数据的正常图像概率的概率分布，表示音频数据的撕裂音频概率的概率分布，T表示所述传送带处于撕裂状态的概率，U表示对所述传送带所处状态进行预测时，预测结果不可信的概率；
按照如下所示的公式，对所述正常图像概率和所述正常音频概率进行加权，得到所述全局正常概率，
其中，PN表示所述全局正常概率，PI表示所述第一准确率，PA表示所述第二准确率，CIN表示所述正常图像概率，CAN表示所述正常音频概率；
按照如下所示的公式，对所述撕裂图像概率和所述撕裂音频概率进行加权，得到所述全局撕裂概率，
其中，PT表示所述全局撕裂概率，CIT表示所述撕裂图像概率，CAT表示所述撕裂音频概率。
进一步地，将所述第一准确率和所述第二准确率作为权重之后，还包括：
将所述卷积神经网络预测出的所述正常图像概率和所述撕裂图像概率不准确时，和/或所述长短期记忆神经网络预测出的所述正常音频概率和所述撕裂音频概率不准确时的概率，设置为不可信概率；
并令所述不可信概率满足如下所示的公式，
；
其中，PU表示所述不可信概率。
进一步地，确定所述卷积神经网络预测的第一准确率，并确定所述长短期记忆神经网络预测的第二准确率之前，还包括：
为所述图像数据设置第一撕裂阈值，并为所述音频数据设置第二撕裂阈值；
响应于确定所述撕裂图像概率在处于所述第一准确率时大于等于所述第一撕裂阈值，和/或所述撕裂音频概率在处于所述第二准确率时大于等于所示第二撕裂阈值，则判定所述传送带撕裂。
基于同一发明构思，本申请还提供了一种传送带撕裂检测装置，包括：数据获取模块、第一处理模块、第二处理模块和判定模块；
其中，数据获取模块，被配置为，获取传送带的图像数据和音频数据，将所述图像数据输入至预训练的带有注意力机制的卷积神经网络，并对所述音频数据进行预处理；
所述第一处理模块，被配置为，利用所述卷积神经网络预测所述图像数据的正常图像概率和撕裂图像概率，所述正常图像概率表示利用所述图像数据预测所述传送带处于正常状态的概率，所述撕裂图像概率表示利用所述图像数据预测所述传送处于撕裂状态的概率；
所述第二处理模块，被配置为，利用对预处理后的音频数据进行特征提取，得到音频特征矩阵，将所述音频特征矩阵输入至预训练的长短期记忆神经网络进行预测，得到所述音频数据的正常音频概率和撕裂音频概率，所述正常音频概率表示利用所述音频数据预测所述传送带处于正常状态的概率，所述撕裂音频概率表示利用所述音频数据预测所述传送处于撕裂状态的概率；
所述判定模块，被配置为，确定所述卷积神经网络预测的第一准确率，并确定所述长短期记忆神经网络预测的第二准确率，将所述第一准确率和所述第二准确率作为权重，对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，根据所述全局正常概率和所述全局撕裂概率判断所述传送带是否撕裂。
基于同一发明构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的传送带撕裂检测方法。
基于同一发明构思，本申请还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述传送带撕裂检测方法。
从上面所述可以看出，本申请提供的传送带撕裂检测方法、装置、存储介质和电子设备，基于获取的传送带的图像数据和音频数据，综合考虑了传送带的图像数据的特征和音频数据的特征，通过卷积神经网络来对图像数据进行预测，并利用长短期记忆神经网络来对音频数据进行预测，以得到对应图像数据的正常图像概率和撕裂图像概率，以及，对应音频数据的正常音频概率和撕裂音频概率，据此，可以通过证据理论来实现对各个概率结果的融合，并在融合过程中通过设置的第一准确率和第二准确率来实现对各个概率的加权，以此来实现获取全局正常概率和全局撕裂概率，从而进一步地实现对传送带是否撕裂的判断。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的传送带撕裂检测方法的流程图；
图2为本申请实施例的传送带撕裂检测装置结构示意图；
图3为本申请实施例的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请的实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术部分所述，相关的传送带撕裂检测方法还难以满足实际生产中对传送带的检测需要。
申请人在实现本申请的过程中发现，相关的传送带撕裂的检测方法存在的主要问题在于：由于当前对传送带是否撕裂往往采用单模态的检测，因此，其检测结果上存在准确性差和稳定性差的问题。
具体来说，当前对于传送带撕裂的检测，往往是采用单一的图像识别的方式来判断，因此，用于识别图像的模型也是单一的模型，这导致该单一的模型所输出的结果在准确性和稳定性上不足。
基于此，本申请中的一个或多个实施例提供了传送带撕裂检测方法。
在本申请的实施例中，作为具体示例的传送带可以处于正常状态，也可以处于撕裂状态。
进一步地，可以利用相机来拍摄传送带，并得到拍摄图像，也即图像数据，其中，相机可以时CCD相机（电荷耦合相机）等，还可以利用麦克风阵列来采集传送带的声音，也即音频数据。
进一步地，可以利用神经网络来对图像数据进行处理，以预测出该图像数据支持传送带处于正常状态的概率，并称为正常图像概率，以及，传送带处于撕裂状态的概率，并称为撕裂图像概率。
进一步地，利用神经网络还可以对音频数据进行处理，以预测出该音频数据支持传送带处于正常状态的概率，并称为正常音频概率，以及，传送带处于撕裂状态的概率，并称为撕裂音频概率。
在本实施例中，用于处理图像数据和用于处理音频数据的神经网络可以是不同的神经网络。
以下结合附图详细说明本申请的实施例。
参考图1，本申请一个实施例的传送带撕裂检测方法，包括以下步骤：
步骤S101、获取传送带的图像数据和音频数据，将所述图像数据输入至预训练的带有注意力机制的卷积神经网络，并对所述音频数据进行预处理。
在本申请的实施例中，基于获取的图像数据和音频数据，可以利用预设的不同的卷积神经网络来分别对图像数据和音频数据进行处理。
具体地，可以通过CCD相机来获取传送带的图像数据，并利用麦克风阵列来采集传送带的音频数据。
进一步地，在处理图像数据时，可以将图像数据输入至例如名为Shufflenet的卷积神经网络来进行预测，Shufflenet卷积神经网络可以进行逐点群卷积操作和通道混洗操作，通告通道混洗可以解决不同通道之间信息不流通的问题。
进一步地，在处理音频数据时，可以先对音频数据进行预处理，在对预处理后的音频数据进行神经网络的预测。
具体地，可以使用预先设置的高通滤波器来对音频数据进行高通滤波处理，以提高音频数据在高频部分的信号强度。
进一步地，音频数据的信号是连续的声音信号，因此，可以将进行高通滤波后的音频数据分割为多段短数据，例如，分割为长度25ms/段的短数据。
进一步地，可以对全部短数据进行加窗处理。
具体地，可以采用如下所示的汉明窗函数来进行加窗：
；
其中，a表示汉明窗的调节系数，N表示窗口长度，n表示窗口中的样本点索引。
进一步地，对分段后的音频数据进行加窗处理，能够更好地满足FFT(快速傅里叶变换)在运算时的周期性要求。
基于此，可以对加窗处理后的音频数据进行FFT处理，以得到音频数据的频域数据。
具体地，可以采用如下所示的公式来进行FFT处理并按照帧进行整合：
其中，x(n)表示进行快速傅里叶变换后的音频数据，也即频谱图，N表示进行快速傅里叶变换时的点数，j的取值为整数，i表示分割为多段短数据后，音频数据中的每段短数据的序号。
基于此，可以将进行FFT处理后的音频数据作为预处理后的音频数据，来进行下述的处理过程。
步骤S102、利用所述卷积神经网络预测所述图像数据的正常图像概率和撕裂图像概率，所述正常图像概率表示利用所述图像数据预测所述传送带处于正常状态的概率，所述撕裂图像概率表示利用所述图像数据预测所述传送处于撕裂状态的概率。
在本申请的实施例中，在将图像数据输入至预训练的Shufflenet后，可以预测出关于该图像数据的正常图像概率和撕裂图像概率。
其中，由于获得传送带撕裂的图像数据难度较高，因此能够用于训练Shufflenet的图像数据的数量较少，为了防止因训练数据集不足导致的欠拟合和/或过拟合问题，可以首先使用公共数据集来对Shufflenet进行初步训练，得到初步训练后的Shufflenet，然后使用传送带撕裂图像的数据集来对其进行迁移学习并完成训练，得到预训练的Shufflenet。
在本实施例中，在用于对图像数据进行预测的Shufflenet的网络结构中，设置有CBAM（卷积注意力机制模块），其中，该CBAM中包括有两部分，一部分为CAM（基于通道注意力机制的子单元），另一部分为SAM（基于空间注意力机制的子单元）。
其中，CBAM注意力模块可以插入到Shufflenet的每个Stage模块之后，以此来对复杂的图像数据进行快捷和高效地分析，实现提高分类精度的目的。
基于此，在将图像数据输入Shufflenet后，通过CAM可以利用平均池化层和最大池化层来对图像数据的特征值的空间信息进行维度上的压缩，例如，可以将原有的维压缩至/>维。
进一步地，可以使用预设的MLP（多层感知机）模块对通道数进行压缩，例如可以将原通道数压缩为原来的。
进一步地，在将通道数扩张恢复至原通道数后，可以利用预设的第一激活函数来得到第一激活结果。
其中，第一激活函数可以是例如ReLU激活函数（线性整流激活函数），利用ReLU激活函数可以得到两个第一激活结果。
基于此，可以将两个第一激活结果进行逐元素相加，并将逐元素相加后的结果输入至预设的第二激活函数以得到第二激活结果。
其中，第二激活函数可以是包括Sigmoid激活函数（S型生长曲线函数）。
进一步地，利用SAM可以对CAM输出的第二激活函数进行最大池化处理和平均池化处理，以得到2个第一特征图，其中，每个第一特征图的维度为。
进一步地，可以对2个第一特征图进行拼接，得到第二特征图，可以看出，该第二特征图的维度为。
进一步地，通过将第二特征图输入Shufflenet中预设的的深度可分离卷积层，来对其进行深度可分离卷积，可以将得到第三特征图，可以确定，通过深度可以分离卷积的第三特征图的维度为/>。
基于此，可以通过对第三特征图进行Sigmoid激活函数的Sigmoid运算，以此来得到图像数据对应的正常图像概率和撕裂图像概率。
步骤S103、利用对预处理后的音频数据进行特征提取，得到音频特征矩阵，将所述音频特征矩阵输入至预训练的长短期记忆神经网络进行预测，得到所述音频数据的正常音频概率和撕裂音频概率，所述正常音频概率表示利用所述音频数据预测所述传送带处于正常状态的概率，所述撕裂音频概率表示利用所述音频数据预测所述传送处于撕裂状态的概率。
在本申请的实施例中，基于预处理后的音频数据，可以利用预设的特征提取算法来对其进行特征提取，并利用预训练的长短期记忆神经网络来对其进行预测，以得到正常音频概率和撕裂音频概率。
具体地，可以利用GFCC（Gammatone滤波器频率倒谱系数）作为第一频率倒谱系数，利用LFCC（线性频率倒谱系数）作为第二倒谱系数，并通过将第一倒谱系数和第二倒谱系数结合的方式，来对音频数据进行特征提取。
在具体的示例中，由于传送带工作的现场声音复杂，各类复杂声音相互混叠，当出现传送带撕裂的声音时，很难被识别。
基于此，采用具有较好鲁棒性的GFCC作为主要特征识别算法，利用GFCC可以对音频数据的全频段声音信号进行识别，以此来得到第一特征矩阵。
进一步地，可以采用具有高效识别效果的LFCC作为辅助特征提取算法，来对音频数据进行特征提取，以此来得到第二特征矩阵。
在本实施例中，利用的GFCC和LFCC结合来进行特征提取是将GFCC与LFCC提取的特征矩阵进行拼接得到新的特征矩阵，考虑到声音信号，也即音频数据的动态性质，还需要将GFCC与LFCC的差分计算结果作为辅助特征来进行拼接，从而获得具有鲁棒性好，适应频率范围广的音频特征矩阵。
基于此，可以对第一特征矩阵进行差分运算，得到第一差分，并对第二特矩阵也进行差分运算，得到第二特征矩阵。
进一步地，可以按照如下所示的拼接公式，利用第一差分和第二差分，来对第一特征矩阵和第二特征矩阵进行拼接，得到音频特征矩阵：
；
其中，GFCCLFCC表示拼接后得到的所述音频特征矩阵，G表示第一特征矩阵，L表示第二特征矩阵，表示第一特征矩阵的一阶差分，并作为第一差分，/>表示第二特征矩阵的一阶差分，并作为第二差分，角标α表示所述第一特征矩阵的维度，角标β表示所述第一差分的维度，角标γ表示所述第二特征矩阵的维度，角标δ表示所述第二差分的维度。
基于此，可以将音频特征矩阵输入至预设的神经网络，来进行正常音频概率和撕裂音频概率的预测。
具体地，可以预先利用CNN网络（卷积神经网络）和LSTM网络（长短期记忆神经网络）组合的方式，来构建用于对音频数据进行预测的神经网络。
其中，可以先将全部的音频特征矩阵输入至CNN网络中，该CNN网络中设置有多个DWConv层（深度可分离卷积层），利用该DWConv层可以减弱音频特征中频域变化过大的特征，以及，噪声显著的特征，并获得自适应性更强的特征，也即，获得频域变化更小且噪声更小的特征。
进一步地，可以将DWConv层输出的自适应性更强的特征输入至LSTM网络中，以得到音频数据对应的正常音频概率和撕裂音频概率。
在一些其他实施例中，由于通过GFCC和LFCC结合来得到的音频特征矩阵是由GFCC的第一特征矩阵、GFCC的一阶差分、LFCC的第二特征矩阵以及LFCC的一阶差分矩阵拼接而成的，因此，如果其中的每一个都具有40维的特征，则最终得到的音频特征矩阵是160维的特征矩阵，利用160维的特征矩阵来进行预测时，其计算复杂度较高，不利于对传送带的实时检测。
基于此，可以在得到音频特征矩阵之后，在进行神经网络的预测之前，可以对上述得到的音频特征矩阵进行降维处理。
具体地，可以采用PCA（主成分分析）算法来对上述的音频特征矩阵进行分析，根据PCA算法分析，当LFCC的第二特征矩阵取前28维，GFCC的第一特征矩阵取前16维，LFCC的第二差分取前16维，GFCC的第一差分取前12维，则重新组合成的音频特征矩阵可以具有98%的有效信息。
基于此，可以使用降维后的音频特征矩阵来进行上述的神经网络的预测。
步骤S104、确定所述卷积神经网络预测的第一准确率，并确定所述长短期记忆神经网络预测的第二准确率，将所述第一准确率和所述第二准确率作为权重，对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，根据所述全局正常概率和所述全局撕裂概率判断所述传送带是否撕裂。
在本申请的实施例中，基于前述步骤中确定出的关于图像数据的正常图像概率和撕裂图像概率，以及，确定出的关于音频数据的正常音频概率和撕裂音频概率，可以利用证据理论对预测结果进行融合，以判断出传送带是否处于撕裂状态。
具体地，可以对预先为Shufflenet网络的预测结果设置第一准确率，以描述利用Shufflenet网络预测出的正常图像概率和撕裂图像概率的准确率；并为CNN和LSTM结合进行预测所得到的预测结果设置第二准确率，以描述利用CNN和LSTM结合预测出的正常音频概率和撕裂音频概率的准确率。
由于图像数据的预测与数据的预测各自的确率不同，因此在计算最终的全局正常概率或全局撕裂概率时，可以将不同网络预测的准确率作为权重参数加入到计算中。
进一步地，为了弥补引入作为权重的第一准确率和第二准确率后，传送带处于撕裂状态的概率和传送带处于正常状态的概率的和不等于1的情况，可以设置不可信概率，该不可信概率用于描述预测出的所述正常图像概率和所述撕裂图像概率不准确时，和/或预测出的所述正常音频概率和所述撕裂音频概率不准确时的概率。
基于此，可以确定出如下所示的预测概率表：
表1. 预测概率表
其中，PI表示第一准确率，CIN表示正常图像概率，PA表示第二准确率，CAN表示正常音频概率，CIT表示撕裂图像概率， CAT表示撕裂音频概率。
进一步地，在利用证据理论进行融合时，可以按照如下所示，来去定出归一化常数：
；
其中，K表示归一化常数，表示图像数据的正常图像概率的概率分布，/>表示音频数据的撕裂音频概率的概率分布，T表示传送带处于撕裂状态的概率，U表示对传送带所处状态进行预测时，预测结果不可信的概率。
进而，可以得到K= PI*CIN*PA*CAN+PI*CIT*PA*CAT+(1-PI)*(1-PA)。
基于此，可以按照如下所示来对CIN和CAN进行加权，得到全局正常概率PN：
并按照如下所示来对CIT和CAT进行加权，得到全局撕裂概率PI：
同时，可以确定，不可信概率满足：。
基于此，当PN大等于PI时，则可认为传送带处于正常状态的概率较大，并判定传送带处于正常状态；而当PN小于PI时，则可认为传送带处于撕裂状态的概率较大，并判定传送带处于撕裂状态。
据此，可以判断出传送带当前是否处于被撕裂的状态。
在本申请的另一实施例中，在确定出撕裂图像概率和撕裂音频概率之后，在确定第一准确率和第二准确率之前，当撕裂图像概率和撕裂音频概率中的任一一个明显过大时，可以直接判定传送带处于撕裂状态，而不必进行证据理论的融合过程。
具体地，可以预先设置关于撕裂图像概率的第一撕裂阈值，并预先设置关于撕裂音频概率的第二撕裂阈值/>。
基于此，当撕裂图像概率满足：
和/或撕裂音频概率满足：
则可以直接判定传送带当前处于撕裂状态。
可以看出，通过设置的第一撕裂阈值和第二撕裂阈值，可以有效弥补证据理论中证据冲突的问题。
可见，本申请的实施例的传送带撕裂检测方法，基于获取的传送带的图像数据和音频数据，综合考虑了传送带的图像数据的特征和音频数据的特征，通过卷积神经网络来对图像数据进行预测，并利用长短期记忆神经网络来对音频数据进行预测，以得到对应图像数据的正常图像概率和撕裂图像概率，以及，对应音频数据的正常音频概率和撕裂音频概率，据此，可以通过证据理论来实现对各个概率结果的融合，并在融合过程中通过设置的第一准确率和第二准确率来实现对各个概率的加权，以此来实现获取全局正常概率和全局撕裂概率，从而进一步地实现对传送带是否撕裂的判断。
需要说明的是，本申请的实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请的实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种传送带撕裂检测装置。
参考图2，所述传送带撕裂检测装置，包括：数据获取模块201、第一处理模块202、第二处理模块203和判定模块204；
其中，数据获取模块201，被配置为，获取传送带的图像数据和音频数据，将所述图像数据输入至预训练的带有注意力机制的卷积神经网络，并对所述音频数据进行预处理；
所述第一处理模块202，被配置为，利用所述卷积神经网络预测所述图像数据的正常图像概率和撕裂图像概率，所述正常图像概率表示利用所述图像数据预测所述传送带处于正常状态的概率，所述撕裂图像概率表示利用所述图像数据预测所述传送处于撕裂状态的概率；
所述第二处理模块203，被配置为，利用对预处理后的音频数据进行特征提取，得到音频特征矩阵，将所述音频特征矩阵输入至预训练的长短期记忆神经网络进行预测，得到所述音频数据的正常音频概率和撕裂音频概率，所述正常音频概率表示利用所述音频数据预测所述传送带处于正常状态的概率，所述撕裂音频概率表示利用所述音频数据预测所述传送处于撕裂状态的概率；
所述判定模块204，被配置为，确定所述卷积神经网络预测的第一准确率，并确定所述长短期记忆神经网络预测的第二准确率，将所述第一准确率和所述第二准确率作为权重，对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，根据所述全局正常概率和所述全局撕裂概率判断所述传送带是否撕裂。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请的实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的传送带撕裂检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的传送带撕裂检测方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备、动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本申请实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的装置用于实现前述任一实施例中相应的传送带撕裂检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的传送带撕裂检测方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的传送带撕裂检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围（包括权利要求）被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请的实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请的实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请的实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请的实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本申请的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请的实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种传送带撕裂检测方法，其特征在于，包括：
获取传送带的图像数据和音频数据，将所述图像数据输入至预训练的带有注意力机制的卷积神经网络，并对所述音频数据进行预处理；
利用所述卷积神经网络预测所述图像数据的正常图像概率和撕裂图像概率，所述正常图像概率表示利用所述图像数据预测所述传送带处于正常状态的概率，所述撕裂图像概率表示利用所述图像数据预测所述传送处于撕裂状态的概率；
利用对预处理后的音频数据进行特征提取，得到音频特征矩阵，将所述音频特征矩阵输入至预训练的长短期记忆神经网络进行预测，得到所述音频数据的正常音频概率和撕裂音频概率，所述正常音频概率表示利用所述音频数据预测所述传送带处于正常状态的概率，所述撕裂音频概率表示利用所述音频数据预测所述传送处于撕裂状态的概率；
确定所述卷积神经网络预测的第一准确率，并确定所述长短期记忆神经网络预测的第二准确率，将所述第一准确率和所述第二准确率作为权重，对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，根据所述全局正常概率和所述全局撕裂概率判断所述传送带是否撕裂；其中，所述对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，包括，
按照如下所示的公式确定归一化常数，
；
其中，K表示所述归一化常数，表示图像数据的正常图像概率的概率分布，/>表示音频数据的撕裂音频概率的概率分布，T表示所述传送带处于撕裂状态的概率，U表示对所述传送带所处状态进行预测时，预测结果不可信的概率；
按照如下所示的公式，对所述正常图像概率和所述正常音频概率进行加权，得到所述全局正常概率，
其中，PN表示所述全局正常概率，PI表示所述第一准确率，PA表示所述第二准确率，CIN表示所述正常图像概率，CAN表示所述正常音频概率；
按照如下所示的公式，对所述撕裂图像概率和所述撕裂音频概率进行加权，得到所述全局撕裂概率，
其中，PT表示所述全局撕裂概率，CIT表示所述撕裂图像概率，CAT表示所述撕裂音频概率。
2.根据权利要求1所述的方法，其特征在于，所述对所述音频数据进行预处理，包括：
对所述音频数据进行高通滤波，提高所述音频数据在高频部分的信号强度；
将高通滤波后的音频数据分割为多段短数据，并采用如下所示的汉明窗函数进行加窗，
；
其中，a表示汉明窗的调节系数，N表示窗口长度，n表示窗口中的样本点索引；
对加窗后的音频数据进行如下所示的快速傅里叶变换，得到预处理后的音频数据，
；
其中，x(n)表示进行快速傅里叶变换后的音频数据， N表示进行快速傅里叶变换时的点数，j的取值为整数，i表示分割为多段短数据后，音频数据的每段短数据的序号。
3.根据权利要求1所述的方法，其特征在于，所述注意力机制包括通道注意力机制和空间注意力机制；所述卷积神经网络包括深度可分离卷积层；
所述利用所述卷积神经网络预测所述图像数据的正常图像概率和撕裂图像概率，包括：
通过所述通道注意力机制对所述图像数据的特征值在空间信息上的维度进行压缩，并利用预设的多层感知机对原通道数进行压缩；
在将压缩后的通道数扩张至原通道数后，利用预设的第一激活函数确定出多个激活后的第一激活结果，所述第一激活函数包括线性整流函数；
将所述多个激活后的第一结果进行逐元素相加后，输入至预设的第二激活函数确定出第二激活结果，所述第二激活函数包括S型生长曲线函数；
利用所述空间注意力机制对所述第二激活结果进行最大池化和平均池化，得到两个第一特征图，并对所述两个第一特征图进行拼接，得到第二特征图；
利用所述深度可分离卷积层对所述第二特征图进行深度可分离卷积，得到第三特征图，并按照所述第二激活函数对所述第三特征图进行运算，得到所述图像数据的所述正常图像概率和所述撕裂图像概率。
4.根据权利要求1所述的方法，其特征在于，所述利用对预处理后的音频数据进行特征提取，得到音频特征矩阵，包括：
利用预设的第一频率倒谱系数算法对所述音频数据进行特征提取，得到第一特征矩阵，利用预设的第二频率倒谱系数算法对所述音频数据进行特征提取，得到第二特征矩阵；
对所述第一特征矩阵进行差分运算，得到第一差分，对所述第二特征矩阵进行差分运算，得到第二差分；
按照如下所示的公式对所述第一特征矩阵、所述第二特征矩阵进行拼接，得到所述音频特征矩阵，
；
其中，GFCCLFCC表示拼接后得到的所述音频特征矩阵G表示所述第一特征矩阵，L表示所述第二特征矩阵，表示所述第一特征矩阵的所述第一差分，/>表示所述第二特征矩阵的所述第二差分，角标α表示所述第一特征矩阵的维度，角标β表示所述第一差分的维度，角标γ表示所述第二特征矩阵的维度，角标δ表示所述第二差分的维度。
5.根据权利要求1所述的方法，其特征在于，所述将所述第一准确率和所述第二准确率作为权重之后，还包括：
将所述卷积神经网络预测出的所述正常图像概率和所述撕裂图像概率不准确时，和/或所述长短期记忆神经网络预测出的所述正常音频概率和所述撕裂音频概率不准确时的概率，设置为不可信概率；
并令所述不可信概率满足如下所示的公式，
；
其中，PU表示所述不可信概率。
6.根据权利要求1所述的方法，其特征在于，所述确定所述卷积神经网络预测的第一准确率，并确定所述长短期记忆神经网络预测的第二准确率之前，还包括：
为所述图像数据设置第一撕裂阈值，并为所述音频数据设置第二撕裂阈值；
响应于确定所述撕裂图像概率在处于所述第一准确率时大于等于所述第一撕裂阈值，和/或所述撕裂音频概率在处于所述第二准确率时大于等于所示第二撕裂阈值，则判定所述传送带撕裂。
7.一种传送带撕裂检测装置，其特征在于，包括：数据获取模块、第一处理模块、第二处理模块和判定模块；
其中，数据获取模块，被配置为，获取传送带的图像数据和音频数据，将所述图像数据输入至预训练的带有注意力机制的卷积神经网络，并对所述音频数据进行预处理；
所述第一处理模块，被配置为，利用所述卷积神经网络预测所述图像数据的正常图像概率和撕裂图像概率，所述正常图像概率表示利用所述图像数据预测所述传送带处于正常状态的概率，所述撕裂图像概率表示利用所述图像数据预测所述传送处于撕裂状态的概率；
所述第二处理模块，被配置为，利用对预处理后的音频数据进行特征提取，得到音频特征矩阵，将所述音频特征矩阵输入至预训练的长短期记忆神经网络进行预测，得到所述音频数据的正常音频概率和撕裂音频概率，所述正常音频概率表示利用所述音频数据预测所述传送带处于正常状态的概率，所述撕裂音频概率表示利用所述音频数据预测所述传送处于撕裂状态的概率；
所述判定模块，被配置为，确定所述卷积神经网络预测的第一准确率，并确定所述长短期记忆神经网络预测的第二准确率，将所述第一准确率和所述第二准确率作为权重，对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，根据所述全局正常概率和所述全局撕裂概率判断所述传送带是否撕裂；其中，所述对所述正常图像概率和所述正常音频概率加权，确定所述传送带处于正常状态的全局正常概率，并对所述撕裂图像概率和所述撕裂音频概率加权，确定所述传送带处于正常状态的全局撕裂概率，包括，
按照如下所示的公式确定归一化常数，
；
其中，K表示所述归一化常数，表示图像数据的正常图像概率的概率分布，/>表示音频数据的撕裂音频概率的概率分布，T表示所述传送带处于撕裂状态的概率，U表示对所述传送带所处状态进行预测时，预测结果不可信的概率；
按照如下所示的公式，对所述正常图像概率和所述正常音频概率进行加权，得到所述全局正常概率，
其中，PN表示所述全局正常概率，PI表示所述第一准确率，PA表示所述第二准确率，CIN表示所述正常图像概率，CAN表示所述正常音频概率；
按照如下所示的公式，对所述撕裂图像概率和所述撕裂音频概率进行加权，得到所述全局撕裂概率，
其中，PT表示所述全局撕裂概率，CIT表示所述撕裂图像概率，CAT表示所述撕裂音频概率。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311517931.4A CN117237359B (zh) | 2023-11-15 | 2023-11-15 | 传送带撕裂检测方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311517931.4A CN117237359B (zh) | 2023-11-15 | 2023-11-15 | 传送带撕裂检测方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237359A CN117237359A (zh) | 2023-12-15 |
| CN117237359B true CN117237359B (zh) | 2024-02-20 |
Family
ID=89083018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311517931.4A Active CN117237359B (zh) | 2023-11-15 | 2023-11-15 | 传送带撕裂检测方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237359B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117585399B (zh) * | 2024-01-19 | 2024-04-09 | 汶上义桥煤矿有限责任公司 | 基于图像处理的煤矿传送带撕裂检测方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018189522A (ja) * | 2017-05-08 | 2018-11-29 | キユーピー株式会社 | 設備故障の予兆診断方法 |
| CN110926782A (zh) * | 2019-12-06 | 2020-03-27 | 国网河南省电力公司三门峡供电公司 | 断路器故障类型判断方法、装置、电子设备及存储介质 |
| CN112465748A (zh) * | 2020-11-10 | 2021-03-09 | 西南科技大学 | 基于神经网络的裂缝识别方法、装置、设备及存储介质 |
| CN112508058A (zh) * | 2020-11-17 | 2021-03-16 | 安徽继远软件有限公司 | 基于音频特征分析的变压器故障诊断方法及装置 |
| CN112613479A (zh) * | 2021-01-04 | 2021-04-06 | 福州大学 | 基于轻量流式网络和注意力机制的表情识别方法 |
| CN112668754A (zh) * | 2020-12-03 | 2021-04-16 | 国网山西省电力公司大同供电公司 | 一种基于多源特征信息融合的电力设备缺陷诊断方法 |
| CN113029951A (zh) * | 2021-03-16 | 2021-06-25 | 太原理工大学 | 一种输送带损伤多谱视听调频融合检测方法及装置 |
| CN114013957A (zh) * | 2021-11-29 | 2022-02-08 | 天津电子信息职业技术学院 | 基于声音信号的输送带纵向撕裂检测方法及相关设备 |
| CN114926733A (zh) * | 2022-05-13 | 2022-08-19 | 太原理工大学 | 一种改进区域卷积神经网络的传送带撕裂检测方法 |
| CN115131738A (zh) * | 2022-08-30 | 2022-09-30 | 海门市重型矿山机械厂 | 输送机传送带撕裂预警方法与装置 |
| CN115330749A (zh) * | 2022-08-30 | 2022-11-11 | 上海大学 | 钢筋网面交叉点检测方法、系统、电子设备及存储介质 |
| KR102518615B1 (ko) * | 2022-03-08 | 2023-05-08 | 아이브스 주식회사 | 이상 음원을 판단하는 복합 감시 장치 및 방법 |
| CN116152938A (zh) * | 2021-11-18 | 2023-05-23 | 腾讯科技（深圳）有限公司 | 身份识别模型训练和电子资源转移方法、装置及设备 |
| CN116177146A (zh) * | 2023-01-29 | 2023-05-30 | 联通雄安产业互联网有限公司 | 一种基于ai与激光监测技术的输送皮带检测系统及方法 |
| CN116475089A (zh) * | 2023-04-25 | 2023-07-25 | 西安科技大学 | 矿井带式输送机视频图像智能识别的联动控制装置及方法 |
| CN116524273A (zh) * | 2023-05-11 | 2023-08-01 | 四川华能太平驿水电有限责任公司 | 一种发电站尾水管检测方法、装置、设备及存储介质 |
| CN116630852A (zh) * | 2023-05-17 | 2023-08-22 | 湖北星纪魅族科技有限公司 | 场景检测方法、电子设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100586881B1 (ko) * | 2004-03-15 | 2006-06-07 | 삼성전자주식회사 | 이미지에 따라 효과음을 제공하는 장치 및 그 방법 |
| CN109003260B (zh) * | 2018-06-28 | 2021-02-09 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
| WO2022133874A1 (zh) * | 2020-12-24 | 2022-06-30 | 京东方科技集团股份有限公司 | 图像处理方法及设备、计算机可读存储介质 |
-
2023
- 2023-11-15 CN CN202311517931.4A patent/CN117237359B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018189522A (ja) * | 2017-05-08 | 2018-11-29 | キユーピー株式会社 | 設備故障の予兆診断方法 |
| CN110926782A (zh) * | 2019-12-06 | 2020-03-27 | 国网河南省电力公司三门峡供电公司 | 断路器故障类型判断方法、装置、电子设备及存储介质 |
| CN112465748A (zh) * | 2020-11-10 | 2021-03-09 | 西南科技大学 | 基于神经网络的裂缝识别方法、装置、设备及存储介质 |
| CN112508058A (zh) * | 2020-11-17 | 2021-03-16 | 安徽继远软件有限公司 | 基于音频特征分析的变压器故障诊断方法及装置 |
| CN112668754A (zh) * | 2020-12-03 | 2021-04-16 | 国网山西省电力公司大同供电公司 | 一种基于多源特征信息融合的电力设备缺陷诊断方法 |
| CN112613479A (zh) * | 2021-01-04 | 2021-04-06 | 福州大学 | 基于轻量流式网络和注意力机制的表情识别方法 |
| CN113029951A (zh) * | 2021-03-16 | 2021-06-25 | 太原理工大学 | 一种输送带损伤多谱视听调频融合检测方法及装置 |
| CN116152938A (zh) * | 2021-11-18 | 2023-05-23 | 腾讯科技（深圳）有限公司 | 身份识别模型训练和电子资源转移方法、装置及设备 |
| CN114013957A (zh) * | 2021-11-29 | 2022-02-08 | 天津电子信息职业技术学院 | 基于声音信号的输送带纵向撕裂检测方法及相关设备 |
| KR102518615B1 (ko) * | 2022-03-08 | 2023-05-08 | 아이브스 주식회사 | 이상 음원을 판단하는 복합 감시 장치 및 방법 |
| CN114926733A (zh) * | 2022-05-13 | 2022-08-19 | 太原理工大学 | 一种改进区域卷积神经网络的传送带撕裂检测方法 |
| CN115131738A (zh) * | 2022-08-30 | 2022-09-30 | 海门市重型矿山机械厂 | 输送机传送带撕裂预警方法与装置 |
| CN115330749A (zh) * | 2022-08-30 | 2022-11-11 | 上海大学 | 钢筋网面交叉点检测方法、系统、电子设备及存储介质 |
| CN116177146A (zh) * | 2023-01-29 | 2023-05-30 | 联通雄安产业互联网有限公司 | 一种基于ai与激光监测技术的输送皮带检测系统及方法 |
| CN116475089A (zh) * | 2023-04-25 | 2023-07-25 | 西安科技大学 | 矿井带式输送机视频图像智能识别的联动控制装置及方法 |
| CN116524273A (zh) * | 2023-05-11 | 2023-08-01 | 四川华能太平驿水电有限责任公司 | 一种发电站尾水管检测方法、装置、设备及存储介质 |
| CN116630852A (zh) * | 2023-05-17 | 2023-08-22 | 湖北星纪魅族科技有限公司 | 场景检测方法、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 输送带纵向撕裂识别算法的研究与实现;马可;;橡塑技术与装备(第16期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237359A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11625433B2 (en) | Method and apparatus for searching video segment, device, and medium | |
| EP3767551A1 (en) | Inspection system, image recognition system, recognition system, discriminator generation system, and learning data generation device | |
| CN108875487B (zh) | 行人重识别网络的训练及基于其的行人重识别 | |
| CN112153460B (zh) | 一种视频的配乐方法、装置、电子设备和存储介质 | |
| WO2023280113A1 (zh) | 数据处理方法、神经网络模型的训练方法及装置 | |
| CN117237359B (zh) | 传送带撕裂检测方法、装置、存储介质和电子设备 | |
| CN111126358B (zh) | 人脸检测方法、装置、存储介质及设备 | |
| JP7188856B2 (ja) | 動的な画像解像度評価 | |
| CN115758225B (zh) | 基于多模态数据融合的故障预测方法、装置与存储介质 | |
| CN113723352B (zh) | 一种文本检测方法、系统、存储介质及电子设备 | |
| CN114420135A (zh) | 基于注意力机制的声纹识别方法及装置 | |
| CN111539524B (zh) | 轻量级自注意力模块和神经网络构架的搜索方法 | |
| WO2021147084A1 (en) | Systems and methods for emotion recognition in user-generated video(ugv) | |
| CN118071428A (zh) | 用于多模态监测数据的智能处理系统及方法 | |
| US20230119791A1 (en) | Relaxed instance frequency normalization for neural-network-based audio processing | |
| CN116645956A (zh) | 语音合成方法、语音合成系统、电子设备及存储介质 | |
| CN116682076A (zh) | 面向船舶安全监管的多尺度目标检测方法、系统及设备 | |
| CN115424060A (zh) | 模型训练方法、图像分类方法和装置 | |
| CN111797931B (zh) | 图像处理方法、图像处理网络训练方法、装置、设备 | |
| CN113987258A (zh) | 音频的识别方法、装置、可读介质和电子设备 | |
| CN113963282A (zh) | 视频替换检测及其模型的训练方法及装置 | |
| CN117131366B (zh) | 变压器维修设备控制方法、装置、电子设备和可读介质 | |
| CN115952830B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| US20240347048A1 (en) | Information processing apparatus, information processing method, and computer program product | |
| CN112561778B (zh) | 图像风格化处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |