CN113673406B - 一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质 - Google Patents
一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113673406B CN113673406B CN202110934948.4A CN202110934948A CN113673406B CN 113673406 B CN113673406 B CN 113673406B CN 202110934948 A CN202110934948 A CN 202110934948A CN 113673406 B CN113673406 B CN 113673406B
- Authority
- CN
- China
- Prior art keywords
- model
- glass
- steps
- module
- burst
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 97
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000012805 post-processing Methods 0.000 claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000013480 data collection Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 26
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 230000009172 bursting Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005422 blasting Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质，该方法包括如下步骤：数据采集步骤，具体包括：获取摄像头拍摄到的建筑面外立面实时视频流并输出给数据处理步骤；数据处理步骤，具体包括：对数据收集步骤传入的视频流进行相应处理，转换成算法分析步骤所需要的格式；算法分析步骤，具体包括：接收所述数据处理步骤输出的格式视频流，通过数据预处理步骤、模型加载步骤、模型推理步骤、模型输出后处理步骤输出任务结果给异常事件生成及告警推送步骤；异常事件生成以及告警推送步骤，包括：将算法分析步骤返回的任务结果进行处理和呈现。本发明将检测到的爆裂玻璃位置与实际建筑的房间位置作匹配，实现端到端的玻璃爆裂监测告警。
Description
技术领域
本发明涉及一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质，属于视频监控安防技术领域。
背景技术
玻璃幕墙在当代广受开发商青睐，得益于外形精美，透光性好等优点，体现了现代建筑学与美学结构设计的最佳结合。然而，玻璃幕墙上的玻璃爆裂坠落危及行人的情况也常有发生，对人身和财产安全造成不可忽视的影响。针对频频发生的幕墙玻璃爆裂造成的事故，国家也相继出台了《玻璃幕墙的后期安全维护等规范》和相应的《管理办法》，但是目前对于已投入使用的玻璃幕墙的质量检测，仍然缺乏有效的技术手段。
目前比较常见的方法仍是借助专门的玻璃质量检测设备，或者将玻璃从支撑框架中拆除下来，然后再进行检测。除此之外，为了及时发现这类隐患，还需要安排人手定期巡检，直接观察玻璃状态，检查玻璃是否有裂纹，然而，物业安排相关工作人员每周或者每月巡检大楼的每一层玻璃，这意味着需要长期的人力投入，且无法保证人工检查没有疏漏。而且，巡检间隔期如果发生玻璃爆裂，也无法及时被检测到，还是无法解决根本问题。所以，一个能够快速简单地定位幕墙上的爆裂玻璃，且成本低，易批量部署的检测方法显得尤为重要。
专利1公开一种幕墙玻璃爆裂倾向的检测设备及其检测方法，涉及公开号为CN102565309A，其设计要点是通过应变材料，对玻璃扭曲变形程度进行检测，将应变片的变形信号经过测量检测电路的处理，通过计算机计算得到玻璃内部应力大小，从而实现定量检测。
论文:ColorCrack:Identifying Cracks in Glass，其设计要点是通过传统的视觉算法检测玻璃上的裂痕，首先用HOG特征提取画面中的玻璃区域，再通过其次变换矫正玻璃屏幕，然后用边缘检测器检测屏幕上的边缘，最后根据检测到的边缘信息找到玻璃上的裂纹。
论文:Semantic segmentation with deep learning:detection of cracks atthe cut edge of glass，其要点设计是通过设计一个巻积神经网络:U-Net，对玻璃边缘位置的裂纹进行图像分割，从而检测出爆裂的玻璃。
发明内容
现有的玻璃质量检测技术主要分成两种，一种是借助一些物理设备，利用特殊材料反馈的信号进行检测；另一种则是基于视觉，即通过拍摄得到玻璃照片，进行图像层面的分析，进而判断是否存在裂痕。第一种方法虽然可以定量地确认玻璃是否存在质量问题，但是对于已经投入使用的幕墙玻璃而言，对每一块都采用物理检测的方式，显然不现实。尤其对于高层建筑，还要考虑勘测成本以及人员操作安全问题。这一类的方法最明显的缺点在于实效性差，效率低。第二种方法，基于视觉的方法对玻璃图片进行分析，又可以细分为基于传统图像处理技术的方法，和基于神经网络的方法。基于传统图像处理技术，例如边缘检测/缺陷检测，主要弊端在于需要人工提取大量特征，算法的准确率受限，在到达精度瓶颈后很难再提升，而且普适性不强。基于神经网络的方法，例如使用大型分割网络，对输入图像进行下采样后再上采样，这种方法需要大量的数据作为支撑，然而现实场景中，玻璃爆破的数据量达不到要求，所以这是一个技术难点，目前一些方案提出利用生成网络来模拟玻璃爆破的图片，但是生成的图片与真实图片相比，仍然存在很大差距，对模型的精度提升帮助不大。除此之外，神经网络的训练依赖于大量的人工标注数据，这也是基于监督式神经网络的技术弊端之一。
本发明的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质，本申请采用的方法是基于视觉领域的网络模型，在小样本的条件下实现高精度玻璃爆裂检测，减少对大量人工标注数据的依赖，同时提供一整套服务系统，将检测到的爆裂玻璃位置与实际建筑的房间位置作匹配，实现端到端的玻璃爆裂监测告警。
本发明具体采用如下技术方案：一种幕墙玻璃爆裂检测方法，包括如下步骤：
数据采集步骤，具体包括：获取摄像头拍摄到的建筑面外立面实时视频流并输出给数据处理步骤；
数据处理步骤，具体包括：对数据收集步骤传入的视频流进行相应处理，转换成算法分析步骤所需要的格式；
算法分析步骤，具体包括：接收所述数据处理步骤输出的格式视频流，通过数据预处理步骤、模型加载步骤、模型推理步骤、模型输出后处理步骤输出任务结果给异常事件生成及告警推送步骤；
异常事件生成以及告警推送步骤，包括：将算法分析步骤返回的任务结果进行处理和呈现。
作为一种较佳的实施例，所述数据处理步骤具体包括：调整输入的实时视频流的帧率，然后将画面的分辨率压缩到指定数值，给处理好的视频流加上时间戳，以任务的形式传送给算法分析步骤。
作为一种较佳的实施例，所述数据预处理步骤包括：将数据处理步骤输入进来的任务进行拆解，得到包括视频、算法名称、和时间戳的关键信息，然后对视频流进行解码、抽帧、矫正、通道变换、分辨率调整，视频流处理成后续模型所要求的图片格式；模型加载步骤包括：根据任务中拆解出来的算法名称启动相应的神经网络模型，将模型加载到服务器上；所述模型推理步骤包括：将预处理得到的批数据输入到加载好的模型中，进行模型推理预测输出批结果反馈到模型后处理步骤进行结果拆解；所述模型后处理步骤具体包括：模型推理得到的批结果会反馈到模型后处理模块，进行批结果拆解，批结果中包含的信息有检测到的图片中爆裂玻璃的像素位置、模型在该像素位置处预测值的置信度，模型输出后处理步骤将模型返回的像素位置映射到图片中对建筑物划线处理后的区域位置，即将爆裂玻璃的像素位置与建筑物的楼层/房间信息对应起来，同时，模型输出后处理步骤将根据模型输出的置信度来判断是否需要返回玻璃爆裂的告警信息，如果置信度达到设定阈值，则将原图片，检测到爆裂玻璃的楼层/房间信息，置信度，时间戳信息打包为一个整体数据结构，以任务结果的形式输出到异常事件生成以及告警推送步骤。
作为一种较佳的实施例，所述异常事件生成以及告警推送步骤具体包括：将算法分析步骤返回的爆裂玻璃所在楼层和房间绘制在画面的相应区域，推送给中控显示页面，将算法分析步骤返回的事件结果以页面弹窗形式展示出来。
本发明还提出一种幕墙玻璃爆裂检测系统，包括：
数据采集模块，具体执行：获取摄像头拍摄到的建筑面外立面实时视频流并输出给数据处理模块；
数据处理模块，具体执行：对数据收集步骤传入的视频流进行相应处理，转换成算法分析模块所需要的格式；
算法分析模块，具体包括：接收所述数据处理模块输出的格式视频流，通过数据预处理模块、模型加载模块、模型推理模块、模型输出后处理模块输出任务结果给异常事件生成及告警推送模块；
异常事件生成以及告警推送模块，具体执行：将算法分析模块返回的任务结果进行处理和呈现。
作为一种较佳的实施例，所述数据处理模块具体包括：调整输入的实时视频流的帧率，然后将画面的分辨率压缩到指定数值，给处理好的视频流加上时间戳，以任务的形式传送给算法分析模块。
作为一种较佳的实施例，所述数据预处理模块包括：将数据处理模块输入进来的任务进行拆解，得到包括视频、算法名称、和时间戳的关键信息，然后对视频流进行解码、抽帧、矫正、通道变换、分辨率调整，视频流处理成后续模型所要求的图片格式；模型加载模块包括：根据任务中拆解出来的算法名称启动相应的神经网络模型，将模型加载到服务器上；所述模型推理模块包括：将预处理得到的批数据输入到加载好的模型中，进行模型推理预测输出批结果反馈到模型后处理模块进行结果拆解；所述模型后处理模块具体包括：模型推理得到的批结果会反馈到模型后处理模块，进行批结果拆解，批结果中包含的信息有检测到的图片中爆裂玻璃的像素位置、模型在该像素位置处预测值的置信度，模型输出后处理模块将模型返回的像素位置映射到图片中对建筑物划线处理后的区域位置，即将爆裂玻璃的像素位置与建筑物的楼层/房间信息对应起来，同时，模型输出后处理模块将根据模型输出的置信度来判断是否需要返回玻璃爆裂的告警信息，如果置信度达到设定阈值，则将原图片，检测到爆裂玻璃的楼层/房间信息，置信度，时间戳信息打包为一个整体数据结构，以任务结果的形式输出到异常事件生成以及告警推送模块。
作为一种较佳的实施例，所述异常事件生成以及告警推送模块具体执行：将算法分析模块返回的爆裂玻璃所在楼层和房间绘制在画面的相应区域，推送给中控显示页面，将算法分析模块返回的事件结果以页面弹窗形式展示出来。
本发明还提出电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
本发明还提出存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述方法的步骤。
本发明所达到的有益效果：第一，本发明不需要将玻璃拆除出来，用专业的玻璃质量检测设备进行检测；也无需用特殊的材料，通过物理接触的方式进行检测。本申请中的技术方案仅通过爆裂玻璃的视觉特征进行筛查，可以远程监控，批量自动化地对每一块玻璃都进行检测，具有成本低，实效性高，效率高的优点。第二，本发明提出的一种幕墙玻璃爆裂检测方法及系统，不仅是一种检测方法，还有一整套端到端的服务系统，可以将检测到的爆裂玻璃所在楼层和房间号信息，以告警通知形式发送给相关工作人员，极大减少了人力投入，可以有效减少相应事故发生概率。
附图说明
图1是本发明的一种幕墙玻璃爆裂检测系统的框架示意图；
图2是本发明的算法分析模块的拓扑示意图；
图3是本发明的幕墙玻璃检测模型关键组件示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1：本发明提出一种幕墙玻璃爆裂检测方法，包括如下步骤：
数据采集步骤，具体包括：获取摄像头拍摄到的建筑面外立面实时视频流并输出给数据处理步骤；
数据处理步骤，具体包括：对数据收集步骤传入的视频流进行相应处理，转换成算法分析步骤所需要的格式；
算法分析步骤，具体包括：接收所述数据处理步骤输出的格式视频流，通过数据预处理步骤、模型加载步骤、模型推理步骤、模型输出后处理步骤输出任务结果给异常事件生成及告警推送步骤；
异常事件生成以及告警推送步骤，包括：将算法分析步骤返回的任务结果进行处理和呈现。
作为一种较佳的实施例，所述数据处理步骤具体包括：调整输入的实时视频流的帧率，然后将画面的分辨率压缩到指定数值，给处理好的视频流加上时间戳，以任务的形式传送给算法分析步骤。
作为一种较佳的实施例，所述数据预处理步骤包括：将数据处理步骤输入进来的任务进行拆解，得到包括视频、算法名称、和时间戳的关键信息，然后对视频流进行解码、抽帧、矫正、通道变换、分辨率调整，视频流处理成后续模型所要求的图片格式；模型加载步骤包括：根据任务中拆解出来的算法名称启动相应的神经网络模型，将模型加载到服务器上；所述模型推理步骤包括：将预处理得到的批数据输入到加载好的模型中，进行模型推理预测输出批结果反馈到模型后处理步骤进行结果拆解；所述模型后处理步骤具体包括：模型推理得到的批结果会反馈到模型后处理模块，进行批结果拆解，批结果中包含的信息有检测到的图片中爆裂玻璃的像素位置、模型在该像素位置处预测值的置信度，模型输出后处理步骤将模型返回的像素位置映射到图片中对建筑物划线处理后的区域位置，即将爆裂玻璃的像素位置与建筑物的楼层/房间信息对应起来，同时，模型输出后处理步骤将根据模型输出的置信度来判断是否需要返回玻璃爆裂的告警信息，如果置信度达到设定阈值，则将原图片，检测到爆裂玻璃的楼层/房间信息，置信度，时间戳信息打包为一个整体数据结构，以任务结果的形式输出到异常事件生成以及告警推送步骤。
作为一种较佳的实施例，所述异常事件生成以及告警推送步骤具体包括：将算法分析步骤返回的爆裂玻璃所在楼层和房间绘制在画面的相应区域，推送给中控显示页面，将算法分析步骤返回的事件结果以页面弹窗形式展示出来。
实施例2：如图1所示，本发明还提出一种幕墙玻璃爆裂检测系统，包括：
数据采集模块，具体执行：获取摄像头拍摄到的建筑面外立面实时视频流并输出给数据处理模块；
数据处理模块，具体执行：对数据收集步骤传入的视频流进行相应处理，转换成算法分析模块所需要的格式；
算法分析模块，具体包括：接收所述数据处理模块输出的格式视频流，通过数据预处理模块、模型加载模块、模型推理模块、模型输出后处理模块输出任务结果给异常事件生成及告警推送模块；
异常事件生成以及告警推送模块，具体执行：将算法分析模块返回的任务结果进行处理和呈现。
作为一种较佳的实施例，所述数据处理模块具体包括：调整输入的实时视频流的帧率，然后将画面的分辨率压缩到指定数值，给处理好的视频流加上时间戳，以任务的形式传送给算法分析模块。
如图2所示，所述数据预处理模块包括：将数据处理模块输入进来的任务进行拆解，得到包括视频、算法名称、和时间戳的关键信息，然后对视频流进行解码、抽帧、矫正、通道变换、分辨率调整，视频流处理成后续模型所要求的图片格式；模型加载模块包括：根据任务中拆解出来的算法名称启动相应的神经网络模型，将模型加载到服务器上；所述模型推理模块包括：将预处理得到的批数据输入到加载好的模型中，进行模型推理预测输出批结果反馈到模型后处理模块进行结果拆解；所述模型后处理模块具体包括：模型推理得到的批结果会反馈到模型后处理模块，进行批结果拆解，批结果中包含的信息有检测到的图片中爆裂玻璃的像素位置、模型在该像素位置处预测值的置信度，模型输出后处理模块将模型返回的像素位置映射到图片中对建筑物划线处理后的区域位置，即将爆裂玻璃的像素位置与建筑物的楼层/房间信息对应起来，同时，模型输出后处理模块将根据模型输出的置信度来判断是否需要返回玻璃爆裂的告警信息，如果置信度达到设定阈值，则将原图片，检测到爆裂玻璃的楼层/房间信息，置信度，时间戳信息打包为一个整体数据结构，以任务结果的形式输出到异常事件生成以及告警推送模块。
作为一种较佳的实施例，所述异常事件生成以及告警推送模块具体执行：将算法分析模块返回的爆裂玻璃所在楼层和房间绘制在画面的相应区域，推送给中控显示页面，将算法分析模块返回的事件结果以页面弹窗形式展示出来。
实施例3：本发明还提出电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
实施例4：本发明还提出存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述方法的步骤。
需要说明的是，在算法分析模块中，关键的技术在于模型的构建和训练，模型的关键组件将会在如图3中展示，其中backbone(组件一)的作用是提取图像基本特征，将输入网络的图片转换成编码后的特征向量；SPP附件模块(组件二)的作用是融合组件一中提取的不同尺寸特征图；PANet(组件三)的作用与组件二基本相同，在组件二的基础上进一步进行特征信息融合；Yolo(组件四)的主要作用是将网络提取以及融合后的特征信息转换为后续计算损失函数以及输出推理结果所需的张量格式。
对于幕墙玻璃的检测，一个较大难题是相应的数据很少，难以达到训练神经网络的要求，本申请创新性地将自然语言处理领域预训练的概念应用到视觉领域，从而解决这个问题。在自然语言处理领域，由于数据标注消耗人力多，但是模型结构大，参数多，少量数据训练很容易造成过拟合，即模型会过度拟合到某一场景，从而导致鲁棒性差。所以一个很好的解决方法是先让模型在大型公开数据集上训练，让模型学习到通用的图像信息和特征，再将预训练好的模型，微调到小数据集上，进一步学习下游任务的特殊特征，这样就可以在消耗最小数据和标注的成本基础上，得到一个鲁棒性强，且精度高的模型。本申请中的模型训练借鉴此思路，首先在公开目标检测数据集上训练构建好的神经网络模型，在选择公开数据集时，特意选择一些室外的，带有幕墙玻璃场景的数据，这样可以让预训练基础模型在学习到图像的共通特征基础上，能够学习到更多标志性特征，同时也可以作为负样本数据的一部分。预训练模型训练完成后，可以再将其微调到特定场景下，比如某物业办公楼的幕墙玻璃，这部分微调所需要的数据量很少，大大减少了对数据和人工标注的依赖，而且在参数设置合理的前提下，模型的收敛速度非常快，单卡服务器即可完成训练。
首先是数据采集模块，主要设备是摄像头和一台具备一定算力的服务器。这里的摄像头可以采用市面上任意一款用于监控的产品，基本要求就是分辨率要达到人眼可辨识爆裂玻璃的程度，对于高层建筑物，本方案建议采取分段架设摄像头的方式，比如低中高区域各架设一台摄像机，这样可以更清晰的识别到每一个区域的玻璃。这里所说的服务器需要具备一定算力，即能够支持一个神经网络进行加载、推理、预测，以及处理数据。对算力的要求根据摄像头数量、模型大小会有所变化，可以选择部署在物理服务器或者云服务器上，具体可以根据资源消耗，预算来决定。
数据处理模块是本技术方案为算法分析模块专门设计的，具有高度定制化，所以没有替代方案。
算法分析模块中，数据预处理和模型输出预处理可以根据需求的不同，要求的格式不同做调整，涉及的主要是一些传统且基础的图像处理办法，例如调整分辨率、抽帧等。模型训练是本模块中的核心，其中我们在大型公开数据集上得到的预训练模型也可以微调到其它场景，所以具备高度可迁移性。
异常事件生成及告警推送模块可根据需求的不同做各类适配，本申请中提供了其中一种，即将识别到爆裂玻璃所在楼层和房间信息绘制在视频上，传送到告警平台，同时以弹窗形式通知工作人员。也可以将相关告警信息以短信/邮件形式发送到工作人员的指定移动设备上，只需要通信模块。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种幕墙玻璃爆裂检测方法，其特征在于，包括如下步骤：
数据采集步骤，具体包括：获取摄像头拍摄到的建筑面外立面实时视频流并输出给数据处理步骤；
数据处理步骤，具体包括：对数据收集步骤传入的视频流进行相应处理，转换成算法分析步骤所需要的格式；
算法分析步骤，具体包括：接收所述数据处理步骤输出的格式视频流，通过数据预处理步骤、模型加载步骤、模型推理步骤、模型输出后处理步骤输出任务结果给异常事件生成及告警推送步骤；所述数据预处理步骤包括：将数据处理步骤输入进来的任务进行拆解，得到包括视频、算法名称、和时间戳的关键信息，然后对视频流进行解码、抽帧、矫正、通道变换、分辨率调整，视频流处理成后续模型所要求的图片格式；模型加载步骤包括：根据任务中拆解出来的算法名称启动相应的神经网络模型，将模型加载到服务器上；所述模型推理步骤包括：将预处理得到的批数据输入到加载好的模型中，进行模型推理预测输出批结果反馈到模型后处理步骤进行结果拆解 ；所述模型后处理步骤具体包括：模型推理得到的批结果会反馈到模型后处理模块，进行批结果拆解，批结果中包含的信息有检测到的图片中爆裂玻璃的像素位置、模型在该像素位置处预测值的置信度 ，模型输出后处理步骤将模型返回的像素位置映射到图片中对建筑物划线处理后的区域位置，即将爆裂玻璃的像素位置与建筑物的楼层/房间信息对应起来，同时，模型输出后处理步骤将根据模型输出的置信度来判断是否需要返回玻璃爆裂的告警信息，如果置信度达到设定阈值，则将原图片，检测到爆裂玻璃的楼层/房间信息，置信度，时间戳信息打包为一个整体数据结构，以任务结果的形式输出到异常事件生成以及告警推送步骤；
异常事件生成以及告警推送步骤，包括：将算法分析步骤返回的任务结果进行处理和呈现。
2.根据权利要求1 所述的一种幕墙玻璃爆裂检测方法，其特征在于，所述数据处理步骤具体包括：调整输入的实时视频流的帧率，然后将画面的分辨率压缩到指定数值，给处理好的视频流加上时间戳，以任务的形式传送给算法分析步骤。
3.根据权利要求1所述的一种幕墙玻璃爆裂检测方法，其特征在于，所述异常事件生成以及告警推送步骤具体包括：将算法分析步骤返回的爆裂玻璃所在楼层和房间绘制在画面的相应区域，推送给中控显示页面，将算法分析步骤返回的事件结果以页面弹窗形式展示出来。
4.一种幕墙玻璃爆裂检测系统，其特征在于，包括：
数据采集模块，具体执行：获取摄像头拍摄到的建筑面外立面实时视频流并输出给数据处理模块；
数据处理模块，具体执行：对数据收集步骤传入的视频流进行相应处理，转换成算法分析模块所需要的格式；
算法分析模块，具体包括：接收所述数据处理模块输出的格式视频流，通过数据预处理模块、模型加载模块、模型推理模块、模型输出后处理模块输出任务结果给异常事件生成及告警推送模块；所述数据预处理模块包括：将数据处理模块输入进来的任务进行拆解，得到包括视频、算法名称、和时间戳的关键信息，然后对视频流进行解码、抽帧、矫正、通道变换、分辨率调整，视频流处理成后续模型所要求的图片格式；模型加载模块包括：根据任务中拆解出来的算法名称启动相应的神经网络模型，将模型加载到服务器上；所述模型推理模块包括：将预处理得到的批数据输入到加载好的模型中，进行模型推理预测输出批结果反馈到模型后处理模块进行结果拆解 ；所述模型后处理模块具体包括：模型推理得到的批结果会反馈到模型后处理模块，进行批结果拆解，批结果中包含的信息有检测到的图片中爆裂玻璃的像素位置、模型在该像素位置处预测值的置信度 ，模型输出后处理模块将模型返回的像素位置映射到图片中对建筑物划线处理后的区域位置，即将爆裂玻璃的像素位置与建筑物的楼层/房间信息对应起来，同时，模型输出后处理模块将根据模型输出的置信度来判断是否需要返回玻璃爆裂的告警信息，如果置信度达到设定阈值，则将原图片，检测到爆裂玻璃的楼层/房间信息，置信度，时间戳信息打包为一个整体数据结构，以任务结果的形式输出到异常事件生成以及告警推送模块；
异常事件生成以及告警推送模块，具体执行：将算法分析模块返回的任务结果进行处理和呈现。
5.根据权利要求4所述的一种幕墙玻璃爆裂检测系统，其特征在于，所述数据处理模块具体包括：调整输入的实时视频流的帧率，然后将画面的分辨率压缩到指定数值，给处理好的视频流加上时间戳，以任务的形式传送给算法分析模块。
6.根据权利要求4所述的一种幕墙玻璃爆裂检测系统，其特征在于，所述异常事件生成以及告警推送模块具体执行：将算法分析模块返回的爆裂玻璃所在楼层和房间绘制在画面的相应区域，推送给中控显示页面，将算法分析模块返回的事件结果以页面弹窗形式展示出来。
7.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求2至3中任一项所述方法的步骤。
8.存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求2至3中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110934948.4A CN113673406B (zh) | 2021-08-16 | 2021-08-16 | 一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110934948.4A CN113673406B (zh) | 2021-08-16 | 2021-08-16 | 一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113673406A CN113673406A (zh) | 2021-11-19 |
| CN113673406B true CN113673406B (zh) | 2024-07-23 |
Family
ID=78542867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110934948.4A Active CN113673406B (zh) | 2021-08-16 | 2021-08-16 | 一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673406B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120154B (zh) * | 2021-11-23 | 2022-10-28 | 宁波大学 | 一种高层建筑玻璃幕墙破损的自动检测方法 |
| CN114419080B (zh) * | 2022-01-26 | 2023-05-02 | 南昌市建筑科学研究所（南昌市建筑工程质量检测中心） | 一种幕墙巡检系统和方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020008344A1 (en) * | 2018-07-04 | 2020-01-09 | Hus Unmanned Systems Pte. Ltd. | Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath |
| CN112286994A (zh) * | 2020-11-02 | 2021-01-29 | 上海玻机智能幕墙股份有限公司 | 一种玻璃幕墙综合管理平台 |
| CN113225537A (zh) * | 2021-05-10 | 2021-08-06 | 合肥中科类脑智能技术有限公司 | 一种视频图像分析系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112912964B (zh) * | 2018-10-19 | 2024-09-27 | 豪夫迈·罗氏有限公司 | 利用卷积神经网络对冻干药物产品的缺陷检测 |
| CN110377996B (zh) * | 2019-07-10 | 2023-03-03 | 河北省建筑科学研究院有限公司 | 基于物联网和bim的城市建筑火灾爆裂程度预估系统及应用 |
| CN112084963B (zh) * | 2020-09-11 | 2022-11-01 | 中德（珠海）人工智能研究院有限公司 | 一种监控预警方法、系统及存储介质 |
| CN112633210B (zh) * | 2020-12-14 | 2022-10-21 | 南京理工大学 | 基于目标检测的轨道交通客流密度估计系统及其方法 |
-
2021
- 2021-08-16 CN CN202110934948.4A patent/CN113673406B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020008344A1 (en) * | 2018-07-04 | 2020-01-09 | Hus Unmanned Systems Pte. Ltd. | Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath |
| CN112286994A (zh) * | 2020-11-02 | 2021-01-29 | 上海玻机智能幕墙股份有限公司 | 一种玻璃幕墙综合管理平台 |
| CN113225537A (zh) * | 2021-05-10 | 2021-08-06 | 合肥中科类脑智能技术有限公司 | 一种视频图像分析系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113673406A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106097346B (zh) | 一种自学习的视频火灾探测方法 | |
| CN111047818A (zh) | 一种基于视频图像的森林火灾预警系统 | |
| CN101846576B (zh) | 一种基于视频的液体泄漏分析预警系统 | |
| CN111414887A (zh) | 基于yolov3算法的二次检测口罩人脸识别方法 | |
| CN113673406B (zh) | 一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质 | |
| CN109040693B (zh) | 智能告警系统及方法 | |
| WO2019000929A1 (zh) | 垃圾分类回收方法、垃圾分类设备以及垃圾分类回收系统 | |
| CN109297969B (zh) | 一种烟叶流水线杂质检测方法及系统 | |
| CN107194396A (zh) | 国土资源视频监控系统中基于特定违章建筑识别预警方法 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN104853154B (zh) | 一种基于运动图像的危岩变形信息提取及报警方法 | |
| CN107679471A (zh) | 基于视频监控平台的室内人员空岗检测方法 | |
| CN114772208B (zh) | 一种基于图像分割的非接触式皮带撕裂检测系统及方法 | |
| WO2024087341A1 (zh) | 一种基于视觉技术的皮带撕裂状态自动检测的方法和系统 | |
| CN115082813A (zh) | 检测方法、无人机、检测系统及介质 | |
| CN205751110U (zh) | 基于图像处理的教室智能管理系统 | |
| CN118351491A (zh) | 一种基于图像识别的线路运维监控方法及系统 | |
| CN104123709B (zh) | 一种基于字典选择的关键帧提取方法 | |
| CN116228023B (zh) | 减少基建场地碳排放量的方法、设备与介质 | |
| CN108664886A (zh) | 一种适应变电站进出监控需求的人脸快速识别方法 | |
| CN112016380B (zh) | 野生动物监测方法及系统 | |
| CN116259101A (zh) | 一种用于考场或课堂纪律巡视的方法及巡视机器人 | |
| CN115083229A (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
| CN117576632B (zh) | 基于多模态ai大模型的电网监控火灾预警系统及方法 | |
| CN105427303A (zh) | 一种变电站遗留物的视觉测量与估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |