[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113283344B - 一种基于语义分割网络的矿用输送带跑偏检测方法 - Google Patents

一种基于语义分割网络的矿用输送带跑偏检测方法 Download PDF

Info

Publication number
CN113283344B
CN113283344B CN202110584550.2A CN202110584550A CN113283344B CN 113283344 B CN113283344 B CN 113283344B CN 202110584550 A CN202110584550 A CN 202110584550A CN 113283344 B CN113283344 B CN 113283344B
Authority
CN
China
Prior art keywords
conveyor belt
area
mining conveyor
mining
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110584550.2A
Other languages
English (en)
Other versions
CN113283344A (zh
Inventor
张晓光
胡江迪
徐桂云
陈德明
倪冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ren'an Hi Tech Co ltd
China University of Mining and Technology CUMT
Original Assignee
Jiangsu Ren'an Hi Tech Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ren'an Hi Tech Co ltd, China University of Mining and Technology CUMT filed Critical Jiangsu Ren'an Hi Tech Co ltd
Priority to CN202110584550.2A priority Critical patent/CN113283344B/zh
Publication of CN113283344A publication Critical patent/CN113283344A/zh
Application granted granted Critical
Publication of CN113283344B publication Critical patent/CN113283344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于语义分割网络的矿用输送带跑偏检测方法，属于煤矿监测技术领域。方法：实时录制的矿用输送带运行视频，对视频按帧截图获取矿用输送带样本图像；对图像进行预处理，得到矿用输送带跑偏检测数据集；构建矿用输送带跑偏检测的语义分割网络；将样本图像训练集和验证集训练，产生训练模型；基于训练好的语义分割网络模型，输入待分割的原始矿用输送带图像，分割出已规划的安全区域及输送带实际区域子图；评估位置关系，判断输送带安全区域，超出安全区域且融合面积大于安全区域面积则判定此时矿用输送带发生了跑偏故障；检测出跑偏故障后，系统现场自动发出报警信号。优点：快速准确判断运行过程中输送带的实际区域面积，提高实时性和准确性。

Description

一种基于语义分割网络的矿用输送带跑偏检测方法
技术领域
本发明涉及煤矿监测技术领域，尤其涉及一种基于语义分割网络的矿用输送带跑偏检测方法。
背景技术
带式输送机作为一种结构简单、维修方便、输送力极强的物料输送设备，广泛应用于建材、化工、港口、粮食、电力等行业。矿用输送带作为煤矿带式输送系统中不可缺少的部分，在煤炭生产中发挥着至关重要的作用。随着煤炭能源的开发不断增加，生产效率的不断提升，对矿用输送带在载重、速度和传输距离等多方面的要求不断提高，其能否高效、安全、可靠的工作，关系到能否提高产煤效率和改善科研技术以及优化经济指标。输送带跑偏在煤炭生产运行中十分常见，也是对带式输送系统影响较大的故障之一。这种现象会加剧输送带的损耗，甚至破坏整个带式输送系统。此外，若输送带在负载运行过程中发生跑偏现象，还会造成洒料或飞料等事故。这不仅会降低实际的运输效率，引起不必要损失，严重时甚至会引发火灾等大型机突发事故。因此加强对矿用输送带的跑偏检测和故障预警具有重要的意义。
最初对矿用输送带的跑偏检测是通过人工监视来完成的，其主要实施方式是多人轮岗监视，在巡检过程中对已发生的输送带故障进行修复或上报，但长时间的人工监视会引起巡检人员严重疲劳，易出现漏报、误报等问题。随着微处理技术的发展及传感器的应用，逐渐出现了矿用输送带跑偏检测装置，主要分为接触式和非接触式；此外，随着机器视觉技术的发展，逐渐出现了机器视觉检测方法。
其中接触式装置主要有棒形检测器、线型检测器、漏料检测器、带宽检测器、振动监测器等，这些装置绝大多数采用机械式结构，虽然安装方便、结构简单，但是可靠性不高，自动化水平低、自适应能力差。
非接触式检测包括X光检测法、超声波检测法、电磁感应式检测法等，其中X光检测法无法快速成像、要求运行带速不可过高，抗干扰能力差且对人体有害。超声波检测法对带式输送机滚轮对接焊缝的内部缺陷进行了检测，但是需要满足较多条件，检测步骤繁琐且设备费用较高。电磁感应式检测法在输送带中每隔一定距离预埋一个传感线圈，通过输送带两侧的一组信号发射、接收探测器来检测信号判断故障是否发生，但在恶劣复杂的环境下抗干扰能力较差，传感器易失灵损坏。
机器视觉检测方法主要是通过工业CCD相机拍摄并获取现场图像，并利用计算机进行图像二值化，将采集图像与预设背景图像进行差异对比，或直接提取输送带边缘特征来判断是否有跑偏故障发生。这种方法对图像的分割处理和输送带的周围环境要求较高，输送带表面黏着的散煤、泥块等杂质或外界光照的变化都会直接影响图像分割的效果，需要根据不同场景调节检测算法参数。
综上所述，需要一种能够高效可靠的矿用输送带跑偏检测方法。
发明内容
发明目的：针对以上问题，本发明提出一种基于语义分割网络的矿用输送带跑偏检测方法，目的是通过快速准确判断出的运行过程中输送带的实际区域面积，提高矿用输送带跑偏检测的实时性和准确性，实现对矿用输送带的状态监测及安全防护。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于语义分割网络的矿用输送带跑偏检测方法，包含以下步骤：
步骤1：采集监控摄像机实时录制的矿用输送带运行视频，对视频按帧截图获取矿用输送带样本图像；
步骤2：对样本图像进行筛选，选取多种不同运行状态的矿用输送带图像；对图像进行预处理，并使用深度学习标注工具对所述矿用输送带图像进行标注，得到矿用输送带跑偏检测数据集；
步骤3：基于标注的矿用输送带跑偏检测数据集生成样本图像的训练集、验证集和测试集；
步骤4：构建用于矿用输送带跑偏检测的语义分割网络；
步骤5：将样本图像训练集和验证集输入到语义分割网络进行图像数据训练，直至网络模型达到收敛状态，产生训练模型；
步骤6：对语义分割网络的分割结果进行测试，将输送带测试集图像输入语义分割网络，得到语义分割图像，再根据已标记好的矿用输送带图像，计算均交并比和均像素精确度；
步骤7：分析语义分割网络的测试结果，若测试结果未满足预期要求则需调整网络模型训练的样本数、训练次数、交叉熵损失函数和学习率，并再次对网络模型重新进行训练和测试，直至网络模型满足预期要求；
步骤8：基于训练好的语义分割网络模型，输入待分割的原始矿用输送带图像，分割出已规划的安全区域及输送带实际区域子图；
步骤9：评估各所述已规划的安全区域与输送带区域子图的位置关系，判断输送带区域是否超出安全区域，计算两区域的融合面积大小，若超出安全区域且融合面积大于安全区域面积，则判定此时矿用输送带发生了跑偏故障；
步骤10：检测出跑偏故障后，矿用输送带状态监测软件平台记录此时的故障信息，系统现场自动发出报警信号。
进一步的，所述步骤1中，选取的监控摄像机能够满足煤矿工作环境中对矿用输送带状态监测的不同要求，其安装位置要保证监控视频能够获取完整的输送带运行区域，具体步骤如下：
步骤1.1：选取的监控摄像机工作温度为-30℃～60℃，湿度小于95％，支持背光补偿、数字降噪、日夜转换功能；
步骤1.2：选取的监控摄像机支持HTTP、TCP/IP、DNS网络协议，传输速率为10/100Mbps；
步骤1.3：选取的监控摄像机安装在带式输送机机头正上方1.8m处的悬架端，摄像机镜头水平视场角为89°；
步骤1.4：矿用输送带带宽为1.4m，平均运行速度为4m/s，选取的监控摄像机帧率为25fps，快门速度为1/3s至1/100,000s；
步骤1.5：通过监控摄像机实时采集矿用输送带运行视频，并将视频按帧截取为输送带运行图像，截取的图像分辨率为×。
进一步的，所述步骤2中，对样本图像进行筛选，选取多种不同运行状态的矿用输送带图像，并使用深度学习标注工具labelme对各图像中的已规划的安全区域和输送带区域进行标注，批量生成输送带数据集，具体步骤如下：
步骤2.1：筛选的图像取自多个时间段内不同运行状态的矿用输送带样本图像；
步骤2.2：对图像进行预处理，根据待检测目标区域位置对图像进行批量裁剪，得到的图像分辨率为×533；
步骤2.3：将裁剪后的图像导入labelme中，分别设置待处理图像的读取位置及存储位置，然后按序号分别依次标注出各图像中的输送带区域和已规划的安全区域，将两个标签的名字分别设为“belt”和“common”；
步骤2.4：在标注完成后，将新生成的json保存至目标文件夹，并全部将其批量转换为png图像，图像的位深度为24；
步骤2.5：将生成的png图像进行位深度转换，批量处理后的图像的位深度为8，并全部将其保存至目标文件夹。
进一步的，所述步骤3中，基于标注的矿用输送带跑偏检测数据集生成样本图像的训练集、验证集和测试集；通过labelme标注获得矿用输送带跑偏检测数据集样本总数为560张，其中，训练集的样本数量和验证集的样本数量设置为9:1，将训练集样本数量为450张，验证集样本数量为50张，测试集样本数量为60张。
进一步的，所述步骤4中，构建用于矿用输送带跑偏检测的语义分割网络；所述语义分割网络是基于金字塔池化模型的多尺度网络PSPNet，所述PSPNet分为Resnet卷积模块、金字塔池化模块和FCN模块；所述Resnet卷积模块深度为50层，提取得到输入图像的特征层；所述金字塔池化模块分为4层集合区域；所述集合区域分别包含4种不同尺寸的池化核；所述池化核大小分别为1×1、2×2、3×3和6×6，映射提取不同尺寸的池化特征图；所述池化特征图的输出端与卷积核的输入端连接，所述卷积核大小为1×1，保持全局特征的权重；所述FCN模块输出与输入图像尺寸相同的预测图像。
进一步的，所述步骤5中，选取满足训练要求的硬件设备和软件配置，调整PSPNet网络模型参数，将样本图像训练集和验证集输入到语义分割网络进行图像数据训练，直至网络模型达到收敛状态，产生矿用输送带语义分割训练模型；具体步骤如下：
步骤5.1：选取的计算机硬件配置为i9-K CPU，内存32G，RTX GPU，显存为16G，操作系统为win10，编程语言为Python3.8，深度学习框架为PyTorch；
步骤5.2：在SegmentataionClass和Img文件夹中分别添加已制作的矿用输送带跑偏检测数据集和原始矿用输送带样本图像，执行voc2pspnet.py实现数据的读取；
步骤5.3：在pspnet.py和train.py中设置待分割的目标类数，NUM_CLASSES＝3；
步骤5.4：在train.py中设部分训练参数，训练轮数Epochs为200，前100次训练轮数Epochs的训练批样本大小Batch_size设置为8，学习率设置为0.01，后100次训练轮数Epochs的训练批样本大小Batch_size设置为4，学习率设置为0.001；
步骤5.5：对PSPNet模型进行训练，随着训练轮数Epochs不断增加，训练集和验证集的loss函数值逐渐下降并逐渐趋于平缓，训练模型基本收敛。
进一步的，所述步骤6中的均交并比MIoU计算公式为：
其中，k为类别，不包含背景一类；pij为假正例数量，pii为真正例数量，pji为假负例数量。
进一步的，所述步骤6中的均像素精确度MPA计算公式为：
其中，k为类别，不包含背景一类；pij为假正例数量，pii为真正例数量。
进一步的，所述步骤7中的交叉熵损失函数Cross Entropy loss计算公式为：
其中，p(xi)为真实概率分布，q(xi)为预测概率分布。
进一步的，所述步骤9中，评估各所述已规划的安全区域与输送带区域子图的位置关系及两区域的面积大小，具体步骤为：
步骤9.1：对于单张矿用输送带子图，判断图中分割出的belt区域和common区域位置关系，若belt区域包含于common区域，则认为此时矿用输送带安全运行，若belt区域不完全包含于common区域，则认为此时矿用输送带可能发生跑偏故障；
步骤9.2：分别计算common区域的面积和两区域的融合面积大小；
步骤9.3：判断common区域面积与融合面积的大小关系，若common区域面积与融合面积之比大于0.90，则认为此时矿用输送带安全运行，若common区域面积与融合面积之比为0.75～0.90，则认为此时矿用输送带发生轻微跑偏故障，若common区域面积与融合面积之比小于0.75，则认为此时矿用输送带发生严重跑偏故障；
步骤9.4：按上述判断依据分别对其它子图进行评估。
进一步的，所述步骤10中，当某一时刻检测出跑偏故障时，矿用输送带状态监测软件平台记录此时的故障信息，系统立即向现场自动发出报警信号；所述矿用输送带状态监测软件平台通过前端的监控摄像机、中间的光纤网络传输通讯、后台的视觉检测算法实现对矿用输送带的跑偏检测；当某一时刻检测出跑偏故障时，矿用输送带状态监测软件平台记录此时的故障信息，系统立即向现场自动发出报警信号。
所述矿用输送带状态监测软件平台包括：系统登录模块、系统管理模块、视频监控模块、数据管理模块和报警管理模块；
系统登录模块：对访问用户进行身份认证；通过进入系统登录界面，依照用户名及密码判断是否允许该用户进入系统。
系统管理模块：对矿用输送带状态监测软件平台的参数配置以及密码管理，参数设置实现系统停止或重启、系统报警功能，修改密码功能可实现用户自行更改登录密码。
视频监控模块：包括现场监控功能、摄像头添加功能、监控调试功能、监控设备查询功能，获取采集得到的视频或图像，实现目标视频图像的存储及设备名称、设备地址、端口号信息的查询。
数据管理模块：将系统检测得到的数据信息按故障类型自动存储，允许访问用户进行实时查询、历史浏览和数据导出操作。
报警管理模块：基于检测后的输送带运行状态实现报警管理；若输送带运行状态异常并且系统已检测出发生的故障事件，则系统自动报警，提醒现场人员及时赶到现场处理，并记录报警信息以便后续的停机检修。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
(1)本发明旨在快速准确判断出的运行过程中输送带的实际区域面积，提高矿用输送带跑偏检测的实时性和准确性，以实现对矿用输送带的状态监测及安全防护。
(2)本发明的矿用输送带跑偏检测方法，基于训练好的矿用输送带语义分割网络模型，通过计算并判断已规划的安全区域、输送带实际区域的位置关系及两区域融合面积的大小，实现对矿用输送带跑偏故障的检测。
(3)本发明的方法提高了矿用输送带的跑偏检测精度，实时性强且可靠性强，准确率高，能够有效应用于基于视觉的矿用输送带状态监测系统，实现对运行过程中矿用输送带的跑偏故障检测，有益于预防重大煤炭安全事故，具有较大的应用价值。
附图说明
图1为本发明的基于语义分割网络的矿用输送带跑偏检测方法的整体流程图。
图2为本发明的标注后的矿用输送带跑偏检测数据集图像。
图3为本发明的PSPNet模型结构示意图。
图4为本发明的矿用输送带跑偏检测结果图。
图5本发明的矿用输送带状态监测软件平台功能示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
实施例1：本发明的一种基于语义分割网络的矿用输送带跑偏检测方法，整体流程如图1所示，基于训练好的矿用输送带语义分割网络模型，通过计算并判断已规划的安全区域及输送带实际区域的位置关系及两区域融合面积的大小，实现对矿用输送带跑偏故障的检测。
本发明所述的一种基于语义分割网络的矿用输送带跑偏检测方法，包括以下步骤：
步骤1：采集监控摄像机实时录制的矿用输送带运行视频，对视频按帧截图获取矿用输送带样本图像；
步骤2：对样本图像进行筛选，选取多种不同运行状态的矿用输送带图像，对图像进行预处理，并使用深度学习标注工具对所述矿用输送带图像进行标注，得到矿用输送带跑偏检测数据集；
步骤3：基于标注的矿用输送带跑偏检测数据集生成样本图像的训练集、验证集和测试集；
步骤4：构建用于矿用输送带跑偏检测的语义分割网络；
步骤5：将样本图像训练集和验证集输入到语义分割网络进行图像数据训练，直至网络模型达到收敛状态，产生训练模型；
步骤6：对语义分割网络的分割结果进行测试，将输送带测试集图像输入语义分割网络，得到语义分割图像，再根据已标记好的矿用输送带图像，计算均交并比和均像素精确度；
步骤7：分析语义分割网络的测试结果，若测试结果未满足预期要求则需调整网络模型训练的样本数、训练次数、交叉熵损失函数和学习率，并再次对网络模型重新进行训练和测试，直至网络模型满足预期要求；
步骤8：基于训练好的语义分割网络模型，输入待分割的原始矿用输送带图像，分割出已规划的安全区域及输送带实际区域子图；
步骤9：评估各所述已规划的安全区域与输送带区域子图的位置关系，判断输送带区域是否超出安全区域，判断输送带区域是否超出安全区域，计算两区域的融合面积大小，若超出安全区域且融合面积大于安全区域面积，则判定此时矿用输送带发生了跑偏故障；
步骤10：检测出跑偏故障后，矿用输送带状态监测软件平台记录此时的故障信息，系统现场自动发出报警信号。
在步骤1中，选取的监控摄像机能够满足煤矿工作环境中对矿用输送带状态监测的不同要求，其安装位置要保证监控视频能够获取完整的输送带运行区域，具体步骤如下：
步骤1.1：选取的监控摄像机工作温度为-30℃～60℃，湿度小于95％，支持背光补偿、数字降噪、日夜转换功能；
步骤1.2：选取的监控摄像机支持HTTP、TCP/IP、DNS网络协议，传输速率为10/100Mbps；
步骤1.3：选取的监控摄像机安装在带式输送机机头正上方1.8m处的悬架端，摄像机镜头水平视场角为89°；
步骤1.4：矿用输送带带宽为1.4m，平均运行速度为4m/s，选取的监控摄像机帧率为25fps，快门速度为1/3s至1/100,000s；
步骤1.5：通过监控摄像机实时采集矿用输送带运行视频，并将视频按帧截取为输送带运行图像，截取的图像分辨率为×。
在步骤2中，对样本图像进行筛选，选取多种不同运行状态的矿用输送带图像，并使用深度学习标注工具labelme对各图像中的已规划的安全区域和输送带区域进行标注，批量生成输送带数据集，具体步骤如下：
步骤2.1：筛选的图像取自多个时间段内不同运行状态的矿用输送带样本图像；
步骤2.2：对图像进行预处理，根据待检测目标区域位置对图像进行批量裁剪，得到的图像分辨率为×533；
步骤2.3：将裁剪后的图像导入labelme中，分别设置待处理图像的读取位置及存储位置，然后按序号分别依次标注出各图像中的输送带区域和已规划的安全区域，将两个标签的名字分别设为“belt”和“common”；
步骤2.4：在标注完成后，将新生成的json保存至目标文件夹，并全部将其批量转换为png图像，图像的位深度为24；
步骤2.5：将生成的png图像进行位深度转换，批量处理后的图像的位深度为8，并全部将其保存至目标文件夹。
在步骤3中，基于标注的矿用输送带跑偏检测数据集生成样本图像的训练集、验证集和测试集；通过labelme标注获得矿用输送带跑偏检测数据集样本总数为560张，其中，训练集的样本数量和验证集的样本数量设置为9:1，将训练集样本数量为450张，验证集样本数量为50张，测试集样本数量为60张。图2为本发明原始矿用输送带样本图像与标注后的矿用输送带图像对比图。其中，图2(a)为发生跑偏故障时原始矿用输送带样本图；图2(b)为发生跑偏故障时标注后的矿用输送带样本图；图2(c)为正常运行时原始矿用输送带样本图；图2(d)为正常运行时标注后的矿用输送带样本图。
在步骤4中，构建用于矿用输送带跑偏检测的语义分割网络；所述语义分割网络是基于金字塔池化模型的多尺度网络PSPNet，图3为本发明的PSPNet模型结构示意图。所述PSPNet分为Resnet卷积模块、金字塔池化模块和FCN模块；所述Resnet卷积模块深度为50层，提取得到输入图像的特征层；所述金字塔池化模块分为4层集合区域；所述集合区域分别包含4种不同尺寸的池化核；所述池化核大小分别为1×1、2×2、3×3和6×6，映射提取不同尺寸的池化特征图；所述池化特征图的输出端与卷积核的输入端连接，所述卷积核大小为1×1，保持全局特征的权重；所述FCN模块输出与输入图像尺寸相同的预测图像。
在步骤5中，选取满足训练要求的硬件设备和软件配置，调整PSPNet网络模型参数，将样本图像训练集和验证集输入到语义分割网络进行图像数据训练，直至网络模型达到收敛状态，产生矿用输送带语义分割训练模型，具体步骤如下：
步骤5.1：选取的计算机硬件配置为i9-K CPU，内存32G，RTX GPU，显存为16G，操作系统为win10，编程语言为Python3.8，深度学习框架为PyTorch；
步骤5.2：在SegmentataionClass和Img文件夹中分别添加已制作的矿用输送带跑偏检测数据集和原始矿用输送带样本图像，执行voc2pspnet.py实现数据的读取；
步骤5.3：在pspnet.py和train.py中设置待分割的目标类数，NUM_CLASSES＝3；
步骤5.4：在train.py中设部分训练参数，训练轮数Epochs为200，前100次训练轮数Epochs的训练批样本大小(Batch_size)设置为8，学习率设置为0.01，后100次训练轮数Epochs的训练批样本大小(Batch_size)设置为4，学习率设置为0.001；
步骤5.5：对PSPNet模型进行训练，随着训练轮数Epochs不断增加，训练集和验证集的loss函数值逐渐下降并逐渐趋于平缓，训练模型基本收敛。
在步骤6中，均交并比(MIoU)计算公式为：
其中，k为类别(不包含背景一类)，pij为假正例数量，pii为真正例数量，pji为假负例数量。
在步骤6中，均像素精确度(MPA)计算公式为：
其中，k为类别(不包含背景一类)，pij为假正例数量，pii为真正例数量。
步骤7中，交叉熵损失函数(Cross Entropy loss)计算公式为：
其中，p(xi)为真实概率分布，q(xi)为预测概率分布。
在步骤9中，评估各所述已规划的安全区域与输送带区域子图的位置关系及两区域的面积大小，具体步骤为：
步骤9.1：对于单张矿用输送带子图，判断图中分割出的belt区域和common区域位置关系，若belt区域包含于common区域，则认为此时矿用输送带安全运行，若belt区域不完全包含于common区域，则认为此时矿用输送带可能发生跑偏故障；
步骤9.2：分别计算common区域的面积和两区域的融合面积大小；
步骤9.3：判断common区域面积与融合面积的大小关系，若common区域面积与融合面积之比大于0.90，则认为此时矿用输送带安全运行，若common区域面积与融合面积之比为0.75～0.90，则认为此时矿用输送带发生轻微跑偏故障，若common区域面积与融合面积之比小于0.75，则认为此时矿用输送带发生严重跑偏故障；
步骤9.4：按上述判断依据分别对其它子图进行评估。图4为本发明的矿用输送带跑偏检测结果图，其中，图4(a)为矿用输送带发生跑偏故障时的检测结果图；图4(b)为矿用输送带正常运行时的检测结果图。
在步骤10中，当某一时刻检测出跑偏故障时，矿用输送带状态监测软件平台记录此时的故障信息，系统立即向现场自动发出报警信号；所述矿用输送带状态监测软件平台通过前端的监控摄像机、中间的光纤网络传输通讯、后台的视觉检测算法实现对矿用输送带的跑偏检测。当某一时刻检测出跑偏故障时，矿用输送带状态监测软件平台记录此时的故障信息，系统立即向现场自动发出报警信号。图5本发明的矿用输送带状态监测软件平台功能示意图。
所述矿用输送带状态监测软件平台包括：系统登录模块、系统管理模块、视频监控模块、数据管理模块和报警管理模块。
系统登录模块：该模块主要负责对访问用户进行身份认证。通过进入系统登录界面，依照用户名及密码判断是否允许该用户进入系统。
系统管理模块：该模块主要负责该监测系统的参数配置以及密码管理，参数设置可实现系统停止或重启、系统报警功能，修改密码功能可实现用户自行更改登录密码。
视频监控模块：该模块主要包括现场监控功能、摄像头添加功能、监控调试功能、监控设备查询功能，其主要目的是获取采集得到的视频或图像，并实现目标视频图像的存储及设备名称、设备地址、端口号信息的查询。
数据管理模块：该模块主要负责将系统检测得到的数据信息按故障类型自动存储，并允许访问用户进行实时查询、历史浏览和数据导出操作。
报警管理模块：该模块是基于检测后的输送带运行状态实现的，若输送带运行状态异常并且系统已检测出发生的故障事件，则系统自动报警，提醒现场人员及时赶到现场处理，并记录报警信息以便后续的停机检修。

Claims (2)

1.一种基于语义分割网络的矿用输送带跑偏检测方法，其特征是：包含以下步骤：
步骤1：采集监控摄像机实时录制的矿用输送带运行视频，对视频按帧截图获取矿用输送带样本图像；
步骤2：对样本图像进行筛选，选取多种不同运行状态的矿用输送带图像；对图像进行预处理，并使用深度学习标注工具对所述矿用输送带图像进行标注，得到矿用输送带跑偏检测数据集；
步骤3：基于标注的矿用输送带跑偏检测数据集生成样本图像的训练集、验证集和测试集；
步骤4：构建用于矿用输送带跑偏检测的语义分割网络；
步骤5：将样本图像训练集和验证集输入到语义分割网络进行图像数据训练，直至网络模型达到收敛状态，产生训练模型；
步骤6：对语义分割网络的分割结果进行测试，将输送带测试集图像输入语义分割网络，得到语义分割图像，再根据已标记好的矿用输送带图像，计算均交并比和均像素精确度；
步骤7：分析语义分割网络的测试结果，若测试结果未满足预期要求则需调整网络模型训练的样本数、训练次数、交叉熵损失函数和学习率，并再次对网络模型重新进行训练和测试，直至网络模型满足预期要求；
步骤8：基于训练好的语义分割网络模型，输入待分割的原始矿用输送带图像，分割出已规划的安全区域及输送带实际区域子图；
步骤9：评估各所述已规划的安全区域与输送带区域子图的位置关系，判断输送带区域是否超出安全区域，计算两区域的融合面积大小，若超出安全区域且融合面积大于安全区域面积，则判定此时矿用输送带发生了跑偏故障；
步骤10：检测出跑偏故障后，矿用输送带状态监测软件平台记录此时的故障信息，系统现场自动发出报警信号；
所述步骤1中，选取的监控摄像机能够满足煤矿工作环境中对矿用输送带状态监测的不同要求，其安装位置要保证监控视频能够获取完整的输送带运行区域，具体步骤如下：步骤1.1：选取的监控摄像机工作温度为-30℃～60℃，湿度小于95％，支持背光补偿、数字降噪、日夜转换功能；
步骤1.2：选取的监控摄像机支持HTTP、TCP/IP、DNS网络协议，传输速率为10/100Mbps；步骤1.3：选取的监控摄像机安装在带式输送机机头正上方1.8m处的悬架端，摄像机镜头水平视场角为89°；
步骤1.4：矿用输送带带宽为1.4m，平均运行速度为4m/s，选取的监控摄像机帧率为25fps，快门速度为1/3s至1/100,000s；
步骤1.5：通过监控摄像机实时采集矿用输送带运行视频，并将视频按帧截取为输送带运行图像，截取的图像分辨率为1920×1080；
所述步骤2中，对样本图像进行筛选，选取多种不同运行状态的矿用输送带图像，并使用深度学习标注工具labelme对各图像中的已规划的安全区域和输送带区域进行标注，批量生成输送带数据集，具体步骤如下：
步骤2.1：筛选的图像取自多个时间段内不同运行状态的矿用输送带样本图像；
步骤2.2：对图像进行预处理，根据待检测目标区域位置对图像进行批量裁剪，得到的图像分辨率为1084×533；
步骤2.3：将裁剪后的图像导入labelme中，分别设置待处理图像的读取位置及存储位置，然后按序号分别依次标注出各图像中的输送带区域和已规划的安全区域，将两个标签的名字分别设为“belt”和“common”；
步骤2.4：在标注完成后，将新生成的json保存至目标文件夹，并全部将其批量转换为png图像，图像的位深度为24；
步骤2.5：将生成的png图像进行位深度转换，批量处理后的图像的位深度为8，并全部将其保存至目标文件夹；
所述步骤3中，基于标注的矿用输送带跑偏检测数据集生成样本图像的训练集、验证集和测试集；通过labelme标注获得矿用输送带跑偏检测数据集样本总数为560张，其中，训练集的样本数量和验证集的样本数量设置为9:1，将训练集样本数量为450张，验证集样本数量为50张，测试集样本数量为60张；
所述步骤4中，构建用于矿用输送带跑偏检测的语义分割网络；所述语义分割网络是基于金字塔池化模型的多尺度网络PSPNet，所述PSPNet分为Resnet卷积模块、金字塔池化模块和FCN模块；所述Resnet卷积模块深度为50层，提取得到输入图像的特征层；所述金字塔池化模块分为4层集合区域；所述集合区域分别包含4种不同尺寸的池化核；所述池化核大小分别为1×1、2×2、3×3和6×6，映射提取不同尺寸的池化特征图；所述池化特征图的输出端与卷积核的输入端连接，所述卷积核大小为1×1，保持全局特征的权重；所述FCN模块输出与输入图像尺寸相同的预测图像；
所述步骤5中，选取满足训练要求的硬件设备和软件配置，调整PSPNet网络模型参数，将样本图像训练集和验证集输入到语义分割网络进行图像数据训练，直至网络模型达到收敛状态，产生矿用输送带语义分割训练模型；具体步骤如下：
步骤5.1：选取的计算机硬件配置为i9-9900K CPU，内存32G，RTX2080 GPU，显存为16G，操作系统为win10，编程语言为Python3.8，深度学习框架为PyTorch；
步骤5.2：在SegmentataionClass和Img文件夹中分别添加已制作的矿用输送带跑偏检测数据集和原始矿用输送带样本图像，执行voc2pspnet.py实现数据的读取；
步骤5.3：在pspnet.py和train.py中设置待分割的目标类数，NUM_CLASSES＝3；
步骤5.4：在train.py中设部分训练参数，训练轮数Epochs为200，前100次训练轮数Epochs的训练批样本大小Batch_size设置为8，学习率设置为0.01，后100次训练轮数Epochs的训练批样本大小Batch_size设置为4，学习率设置为0.001；
步骤5.5：对PSPNet模型进行训练，随着训练轮数Epochs不断增加，训练集和验证集的loss函数值逐渐下降并逐渐趋于平缓，训练模型基本收敛；
所述步骤6中的均交并比MIoU计算公式为：
其中，k为类别，不包含背景一类；pij为假正例数量，pii为真正例数量，pji为假负例数量；
所述步骤6中的均像素精确度MPA计算公式为：
其中，k为类别，不包含背景一类；pij为假正例数量，pii为真正例数量；
所述步骤7中的交叉熵损失函数Cross Entropy loss计算公式为：
其中，p(xi)为真实概率分布，q(xi)为预测概率分布；
所述步骤9中，评估各所述已规划的安全区域与输送带区域子图的位置关系及两区域的面积大小，具体步骤为：
步骤9.1：对于单张矿用输送带子图，判断图中分割出的belt区域和common区域位置关系，若belt区域包含于common区域，则认为此时矿用输送带安全运行，若belt区域不完全包含于common区域，则认为此时矿用输送带可能发生跑偏故障；
步骤9.2：分别计算common区域的面积和两区域的融合面积大小；
步骤9.3：判断common区域面积与融合面积的大小关系，若common区域面积与融合面积之比大于0.90，则认为此时矿用输送带安全运行，若common区域面积与融合面积之比为0.75～0.90，则认为此时矿用输送带发生轻微跑偏故障，若common区域面积与融合面积之比小于0.75，则认为此时矿用输送带发生严重跑偏故障；
步骤9.4：按上述判断依据分别对其它子图进行评估。
2.根据权利要求1所述的一种基于语义分割网络的矿用输送带跑偏检测方法，其特征是：所述步骤10中，当某一时刻检测出跑偏故障时，矿用输送带状态监测软件平台记录此时的故障信息，系统立即向现场自动发出报警信号；所述矿用输送带状态监测软件平台通过前端的监控摄像机、中间的光纤网络传输通讯、后台的视觉检测算法实现对矿用输送带的跑偏检测；当某一时刻检测出跑偏故障时，矿用输送带状态监测软件平台记录此时的故障信息，系统立即向现场自动发出报警信号；
所述矿用输送带状态监测软件平台包括：系统登录模块、系统管理模块、视频监控模块、数据管理模块和报警管理模块；
系统登录模块：对访问用户进行身份认证；通过进入系统登录界面，依照用户名及密码判断是否允许该用户进入系统；
系统管理模块：对矿用输送带状态监测软件平台的参数配置以及密码管理，参数设置实现系统停止或重启、系统报警功能，修改密码功能可实现用户自行更改登录密码；
视频监控模块：包括现场监控功能、摄像头添加功能、监控调试功能、监控设备查询功能，获取采集得到的视频或图像，实现目标视频图像的存储及设备名称、设备地址、端口号信息的查询；
数据管理模块：将系统检测得到的数据信息按故障类型自动存储，允许访问用户进行实时查询、历史浏览和数据导出操作；
报警管理模块：基于检测后的输送带运行状态实现报警管理；若输送带运行状态异常并且系统已检测出发生的故障事件，则系统自动报警，提醒现场人员及时赶到现场处理，并记录报警信息以便后续的停机检修。
CN202110584550.2A 2021-05-27 2021-05-27 一种基于语义分割网络的矿用输送带跑偏检测方法 Active CN113283344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110584550.2A CN113283344B (zh) 2021-05-27 2021-05-27 一种基于语义分割网络的矿用输送带跑偏检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110584550.2A CN113283344B (zh) 2021-05-27 2021-05-27 一种基于语义分割网络的矿用输送带跑偏检测方法

Publications (2)

Publication Number Publication Date
CN113283344A CN113283344A (zh) 2021-08-20
CN113283344B true CN113283344B (zh) 2024-03-12

Family

ID=77282016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110584550.2A Active CN113283344B (zh) 2021-05-27 2021-05-27 一种基于语义分割网络的矿用输送带跑偏检测方法

Country Status (1)

Country Link
CN (1) CN113283344B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762283B (zh) * 2021-08-30 2024-04-09 中铁工程装备集团有限公司 传送带跑偏监测方法及装置
CN113763375A (zh) * 2021-09-17 2021-12-07 深圳市赛为智能股份有限公司 传送带偏移程度检测方法、装置、计算机设备及存储介质
CN113763376B (zh) * 2021-09-17 2024-03-01 深圳市赛为智能股份有限公司 传送带偏移检测方法、装置、计算机设备及存储介质
CN114044325A (zh) * 2021-11-15 2022-02-15 华能汕头海门发电有限责任公司 输煤皮带故障检测系统
CN114313883B (zh) * 2022-02-08 2024-03-12 深圳市铁越电气有限公司 基于图像处理技术的皮带跑偏自动检测方法及系统
CN114155494B (zh) * 2022-02-10 2022-05-17 力博重工科技股份有限公司 一种基于深度学习的带式输送机输送带跑偏监测方法
CN114655655B (zh) * 2022-03-09 2024-07-26 南京北路软件技术有限公司 一种基于UNet网络的传送带跑偏检测方法
CN114772208B (zh) * 2022-03-31 2023-06-23 东北大学 一种基于图像分割的非接触式皮带撕裂检测系统及方法
CN114937028B (zh) * 2022-06-21 2023-12-08 苏州上舜精密工业科技有限公司 一种智能标识识别的直线滑台模组质量检测方法及系统
CN117746322A (zh) * 2023-12-15 2024-03-22 武汉展博人工环境有限公司 一种基于图像识别的游乐设施安全预警方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002004796A (ja) * 2000-06-23 2002-01-09 Komatsu Ltd 坑内搬送システム及び積荷搬出入方法
CN103359572A (zh) * 2013-05-23 2013-10-23 中国矿业大学 一种提升机故障诊断方法及装置
WO2019126664A1 (en) * 2017-12-22 2019-06-27 Flexible Steel Lacing Company Apparatus and method for monitoring conveyor systems
CN110163852A (zh) * 2019-05-13 2019-08-23 北京科技大学 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN110514669A (zh) * 2019-07-31 2019-11-29 辽宁科技大学 一种皮带输送机多区域洒料检测系统及方法
CN110953984A (zh) * 2019-11-22 2020-04-03 浙江蓝卓工业互联网信息技术有限公司 一种传送带偏移度判定方法及装置
CN111275711A (zh) * 2020-01-08 2020-06-12 西安电子科技大学 基于轻量级卷积神经网络模型的实时图像语义分割方法
CN111369538A (zh) * 2020-03-05 2020-07-03 北京科技大学 一种基于深度卷积神经网络的传输机胶带跑偏检测方法
CN112700419A (zh) * 2020-12-31 2021-04-23 精英数智科技股份有限公司 基于图像分割的产量计量方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8293072B2 (en) * 2009-01-28 2012-10-23 Georgia-Pacific Consumer Products Lp Belt-creped, variable local basis weight absorbent sheet prepared with perforated polymeric belt

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002004796A (ja) * 2000-06-23 2002-01-09 Komatsu Ltd 坑内搬送システム及び積荷搬出入方法
CN103359572A (zh) * 2013-05-23 2013-10-23 中国矿业大学 一种提升机故障诊断方法及装置
WO2019126664A1 (en) * 2017-12-22 2019-06-27 Flexible Steel Lacing Company Apparatus and method for monitoring conveyor systems
CN110163852A (zh) * 2019-05-13 2019-08-23 北京科技大学 基于轻量化卷积神经网络的输送带实时跑偏检测方法
CN110514669A (zh) * 2019-07-31 2019-11-29 辽宁科技大学 一种皮带输送机多区域洒料检测系统及方法
CN110953984A (zh) * 2019-11-22 2020-04-03 浙江蓝卓工业互联网信息技术有限公司 一种传送带偏移度判定方法及装置
CN111275711A (zh) * 2020-01-08 2020-06-12 西安电子科技大学 基于轻量级卷积神经网络模型的实时图像语义分割方法
CN111369538A (zh) * 2020-03-05 2020-07-03 北京科技大学 一种基于深度卷积神经网络的传输机胶带跑偏检测方法
CN112700419A (zh) * 2020-12-31 2021-04-23 精英数智科技股份有限公司 基于图像分割的产量计量方法、装置及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Computer Vision Based Conveyor Deviation Detection System;Mengchao Zhang 等;《Applied Sciences》;第10卷(第7期);第1-10页 *
基于视觉的矿用输送带状态监测系统研究;胡江迪;《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》(第03期);第B021-789页 *
基于计算机视觉的矿用输送带异常情况检测方法研究;林俊;《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》;20210515(第2021年第05期);第B021-170页 *
智慧矿山皮带运输机堵煤视频智能识别算法研究综述;赵学军;《江苏通信》;20210228;第37卷(第01期);第113-115页 *

Also Published As

Publication number Publication date
CN113283344A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN113283344B (zh) 一种基于语义分割网络的矿用输送带跑偏检测方法
CN108037133B (zh) 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统
WO2022077605A1 (zh) 一种风力机叶片图像损伤检测和定位方法
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
JP2023508759A (ja) 太陽光発電アレイの動作状態を決定する方法および装置、デバイス並びに記憶媒体
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN109815904B (zh) 一种基于卷积神经网络的火灾识别方法
CN104535356A (zh) 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统
CN113343779B (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN116224925B (zh) 一种智能加工管理系统
CN108664875A (zh) 基于图像识别的井下皮带运输监控方法
CN116168019B (zh) 基于机器视觉技术的电网故障检测方法及系统
CN109873990A (zh) 一种基于计算机视觉的矿山非法开采预警方法
CN113361420A (zh) 基于机器人的矿井火灾监测方法、装置、设备及存储介质
CN112702570A (zh) 一种基于多维行为识别的安防管理系统
CN111885349A (zh) 一种管廊异常检测系统及方法
CN117975372B (zh) 一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统及方法
CN110597165A (zh) 一种堆钢监测系统及堆钢监测方法
CN117636129A (zh) 一种电力施工监督图像的识别方法
CN114323302A (zh) 一种氧化锌避雷器故障智能识别方法
CN118197027B (zh) 一种基于管道预警的无人机调度查验方法以及相关装置
CN118485622B (zh) 一种基于光伏组件参数实时运算的光伏设备故障诊断方法
Gang et al. Research on key technology of infrared detection of power equipment
Nelega et al. Real-Time Monitoring System of Photovoltaic Power Plant Using UAV Thermal Images
Zhang Design and Implementation of an Abnormal Early Warning System for Intermediate Joints Using Drawings and Laser Point Cloud Scanning Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant