CN116993665A - 一种基于计算机视觉的建筑工程作业面施工进度的智能检测方法 - Google Patents

Abstract

本发明针对建筑工程作业面施工进度公开了一种基于计算机视觉的智能检测方法，属于计算机视觉领域与工程管理领域，方法包括：利用塔吊高清摄像头捕捉施工现场作业面施工过程，并截取视频帧；分割作业面区域，将作业面与背景部分分离；利用基于solov2算法对施工阶段标志物进行实例分割；统计三类施工过程在作业面区域内的像素数量，判别其起止时间；对比实际施工进度与计划进度并分析进度差异；根据过往施工活动数据建立工期预测模型，提出施工资源调整建议。本发明基于计算机视觉算法检测作业面施工进度，并分析工期差异。本发明可帮助管理人员掌握施工进程，提高施工进度监控的实时性、真实性和准确性，此外还有助于快速建立施工进度可视化模型。

Description

一种基于计算机视觉的建筑工程作业面施工进度的智能检测 方法

技术领域

本发明涉及建筑行业智能化管理、监测技术领域，具体为一种基于计算机视觉的作业面施工进度智能识别方法及系统。

背景技术

随着计算机视觉和人工智能技术的发展成熟，在近些年将其应用于建筑施工领域的研究也越来越多。在施工监测方面，由于人力成本低、效率高、精准度高、信息化程度强等优点，计算机视觉技术被人们所广泛关注。与之相关的研究发明背景如下：

国网福建省电力有限公司经济技术研究院2022年公开的发明《基于图像识别的施工进度智能识别方法及系统》(申请公布号：CN114708216A)提出一种基于图像识别的施工进度智能识别方法及系统。该方法及系统根据用施工计划信息和监测设备信息建立的建筑物施工信息模型，再结合施工过程中使用施工场地周围的多个照相台拍摄的图像信息来判断施工的进度。但该方法是通过识别建筑物顶部轮廓到地基的距离来判断施工的层数，并不能对某一层作业面施工工序进行精准判断。

桂林理工大学2020年公开的发明《一种城市建筑物施工进度的遥感识别方法和系统》(申请公布号：CN110929607A)提出了一种基于深度卷积神经网络(DCNN)与云计算的建筑物施工进度遥感识别方法和系统。该方法与系统通过对高分卫星、飞机遥感影像进行深度卷积神经计算来对建筑物的不同施工进度进行精确快速识别。该方法建立了城市施工不同阶段的云储存影像数据库，从而满足城市遥感大数据时代下的建筑物施工进度识别。

广东电网有限责任公司广州供电局2023年公开的发明《一种基于AI图像识别的作业进度管理系统》(申请公布号：CN115620339A)提出了一种基于AI图像识别的作业进度管理系统。该系统包括行为采集子系统、数据传输模块、数据存储处理子系统和客户端子系统，可以通过数据存储处理子系统对采集作业人员的位置区域信息和整体图像信息进行识别处理，并将结果显示在客户端子系统，实现对作业人员的作业进度进行有效的管理。但该方法基于工人的位置及轨迹信息来判断施工进度，是一种间接而非直接识别施工进度的方法，可能存在一定的误差。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供一种智能检测标准层作业面施工进度的方法，用以识别标准层作业面的施工阶段，并获取不同施工阶段的起止时间，为进度监测提高效率和精度。

为此，本发明采用的具体技术方案如下：

一种智能检测标准层作业面施工进度的方法，包括以下步骤：

利用solov2分割算法对拍摄到的图片中的整个作业面区域进行分割，识别到作业面的范围，将作业面和背景分离开来。

利用基于作业面图像实例分割算法对作业面内的特征物品进行分割。

利用基于实例分割后作业面图片，通过像素分析来识别当前作业面的施工阶段。

利用上述作业面施工阶段识别的时序结果，判定各施工阶段的起止时间。

利用收集到的不同施工阶段的所需时间数据，使用数据回归模型对时间数据进行分析，预测拟合接下来的工期。

优选的，利用基于solov2的分割算法对整体施工作业面以及作业面内的特征物品进行分割的步骤为：

施工作业面影像获取：通过塔吊球机实时获取作业面施工视频，每隔“轮巡时间间隔”分钟取一次作业面图片。

影像预处理：对施工作业面的影像进行噪声去除、弱光补偿等预处理。

标注数据集：确定好要标注的对象或区域，选择好合适的标注方式(多边形标注或矩形框标注)对采集到的图像数据进行标注。进行标注后需要对标注数据进行验证和修正，确保标注的准确性和一致性，再将标注好的数据集拆分为训练集、验证集和测试集。

构建神经网络：构建SOLOv2神经网络，可以基于现有的预训练模型进行修改或自行设计网络结构。SOLOv2使用了Resnet和特征金字塔网络(FPN)，从而将不同大小的对象分配到不同级别的特征映射。分割的大致过程为：首先通过目标检测定位出每个实例所在的边界框，进而对边界框内部进行语义分割得到每个实例的掩码。实例分割又分为两个子任务，分别是类别预测和实例掩模生成。一个输入图像被划分为一个均匀的网格，即S×S。如果一个对象的中心落入一个网格单元中，则该网格单元负责预测语义类别和实例的掩码。具体来说，掩码学习过程又可以分为两个分支：卷积核分支和特征分支。SOLOv2能够高效的预测高分辨率的对象掩码，并分别有效地学习掩码内核和掩码特征。

网络训练：使用训练集对SOLOv2神经网络进行训练，可以使用SGD、Adam等优化算法，同时也需要设置损失函数和学习率等超参数。

网络验证：使用验证集对训练好的网络进行验证，检查模型的性能和效果，同时也可以对模型进行调优。

网络测试：使用测试集对训练好的网络进行测试，评估模型的性能和效果。

需要注意的是，在训练SOLOv2神经网络时，需要充分利用GPU资源加速训练，同时也需要注意过拟合和欠拟合等问题，适当调整超参数以提高模型的性能和泛化能力。

优选的，所述利用基于实例分割后作业面图片，通过像素分析来识别当前作业面的施工阶段的步骤为：

对不同施工活动类型划分：将作业面的施工活动分为搭支模版、绑扎钢筋、浇筑混凝土三种类型。

施工阶段顺序设定：作业面施工的阶段分为模板搭支、钢筋绑扎、混凝土浇筑，这其中钢筋绑扎最先开始，首先是柱和墙的钢筋绑扎，完成后再进行模板的搭支，当模板全部搭支完成之后再进行楼板钢筋的绑扎，当钢筋绑扎和模板搭支都完成后再进行混凝土的浇筑。

像素占比分析：对提取到的施工作业面图片进行像素分析，判断楼面区域内钢筋像素、混凝土像素的有无以及占比。

根据对于图像像素的分析进行不同施工阶段起止时间判定：

对像素的分析结果中当作业面区域内出现钢筋像素时，判定为“钢筋绑扎”工序的开始时间。对像素的分析结果中钢筋像素遍布整个作业面区域时，判定为“钢筋绑扎”工序的结束时间。

对像素的分析结果中当图片中作业面区域出现模板像素时(，判定为“模板搭支”这一工序的开始时间。对像素的分析结果中当模板像素在作业面范围内不再增加时，判定为“模板搭支”这一工序的结束时间。

对像素的分析结果中在作业面区域内出现混凝土的像素时，判定为“混凝土浇筑”工序的开始时间。对像素的分析结果中当混凝土的像素在整个作业面区域内达到90％以上且不再增加时，判定为“混凝土浇筑”工序的结束时间。

优选的，所述利用收集到的不同施工阶段的所需时间数据，使用数据回归模型对时间数据进行分析，预测拟合接下来的工期的步骤为：

收集时长数据：根据上述步骤中判断出的不同工序的起止时间，由施工时长＝结束时间-开始时间，得到不同施工阶段的时长，将多个不同作业面上不同施工阶段所耗时长进行整合，得到原始数据。

收集影响因素数据：记录不同施工阶段类型以及其对应的作业面面积、施工人数、天气状况、施工开始时间、物料供给状况等因素。

基于神经网络模型建立不同施工阶段所需工时与相关施工因素的非线性关系：将施工阶段类型、作业面面积、施工人数、天气状况、施工开始时间、物料供给情况作为模型输入值，将施工所需时长作为模型输出值，对模型进行训练，得到其对应关系。

工期预测：将正在进行施工的相关数据输入神经网络模型，得到本层作业面所需的工期时长，预测施工进展情况。

本发明的有益效果为：通过。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一中智能检测标准层作业面施工进度的方法的流程图；

图2为本发明实施例一中solov2网络模型中动态头部部分的示意图；

图3为本发明实施例一中钢筋绑扎施工区域的标注方式示意图；

图4为本发明实施例一中模板搭支阶段识别图；

图5为本发明实施例一中钢筋绑扎阶段识别图；

图6为本发明实施例一中混凝土浇筑阶段识别图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种智能检测标准层作业面施工进度的方法，如图一所示，包括以下步骤，

步骤S1、利用悬挂在塔吊上的高清摄像头对施工现场作业面进行作业情况捕捉，并截取视频帧；

步骤S2、利用基于solov2算法的方法在视频帧中分割出作业面区域，将作业面与背景部分分离；

步骤S3、利用基于solov2算法的方法对施工阶段标志物进行实例分割；

步骤S4、对分割后的图片在作业面区域内进行像素分析，判别不同施工活动及其起止时间；

步骤S5、将实际施工进度与计划进度进行对比，判断施工是否正常进行，并将判断结果呈现于前端，反馈给施工管理人员及业主；

步骤S6、根据已有施工活动所需的时长数据来对以后的工期进行预测。

在系统工作之前对后端要进行一些基础部署，包括以下重要步骤：

根据施工现场的情况按照需求修改算法代码中的参数信息，其中参数信息包括，

参数名称	参数含义	参数初始值
			device_id	设备id	1
site_id	视频流地址	19
			save_path	存储路径	62bea7dbfbdt
seg_conf	分割置信度	0.2
			status_conf	状态置信度	0.4
cls_concrete	混凝土类状态置信度	1
			cls_raber	钢筋类状态置信度	[2,3]
shape	图片分别率	1920×1080

其中主要调整设备id、视频流地址、存储路径、分别率。

将修改好的分割算法代码存储至自定义位置，在代码中添加不同摄像头所拍摄的作业面视频流

操作代码如下所示：

在算法代码所在文件夹中建立新的文件夹，分别命名为img、log，分别用于存储带有识别结果的图片和用于存储日志信息。

对任务进行定时设置，通过crontab命令来设置周期性被执行的指令，命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。

定时设置命令内容示例为：

每隔30分钟执行一次{

如果当前时间在8点到19点之间{

执行命令"/home/dongyong/SOLO/demo/hzj-10.10/hzj.sh"并将输出重定向到"/home/dongyong/SOLO/demo/hzj.log"

}

}

其中“30”代表轮巡时间间隔为30分钟，“8-19”代表检测区间为每日8时到19时。

实施时，应在所需施工场地内关键位置安装多组图像采集设备，关键区域包括但不限于塔吊臂、塔吊立柱等，图像采集设备包括但不限于高清稳定的监控相机、工业相机等。具体的图像采集设备安装地点和设备种类应根据施工现场的环境和作业面的施工状态做相应的调整。

首先应采集施工场地内作业面施工过程的视频，将视频每一帧图像保存下来，以预定间隔选取帧进行手动标注，形成作业面施工活动数据库，并利用此数据库训练改进的solo算法。

标签有脚手架、模板、钢筋、混凝土、，使用CVAT工具进行标注，标注方法为ploygon，即放大图片，贴近目标，逐个描点形成轮廓包围线。

在标注标签时采用“阶段+编号”的命名形式。例如标注第一个混凝土浇筑施工区域时，标签为“concreting01”，同一张图多个相同种类的目标，用不同的编号区分，其他图从01重新开始编号。

在图像标注时，特别值得注意的是遇到大型遮挡物尽量绕开标注，长条细条型障碍物可忽视，尽量保证作业面的完整性，图中所有符合目标的都要标出。

系统核心算法solov2依托于MMdetection框架运行，环境配置为Torch1.8.0+CUDA11.4+mmdet2.25.1+mmcv-full1.4.2+numpy1.21.6，神经网络参数设置为batch size＝2,epoch＝100,image scale＝1024*1024。

solov2模型的各组成部分及其超参数分别为detector(SOLOv2)、backbone(ResNet101)、neck(FPN)、Optimizer(SGD)、learning rate(2.5x10-3)等。经过充分训练后模型的平均分割精度能达到90％左右，实现较好的实例分割效果。

本系统搭载的solov2模型精度阈值为0.8(默认值)，此阈值可以按照模型优化程度、训练数据量以及项目实地测试结果进行动态调整。

上述图像采集设备应在施工阶段持续工作，并需将所采集到的视频图像实时传输到运行有本方法的设备中。

实施例二

获取模块，所述获取模块用于获取施工作业面的视频图像以及用于根据摄像头与工作面的位置关系来调整摄像头参数，以保证能够捕捉到清晰完整的作业面图片，包括具体步骤为；

step1：施工现场管理人员根据实际情况需要将摄像头布设在塔吊臂或塔吊立柱上的适当位置。

step2：将摄像头连接录像机，将服务器与本地网络或外网连接到一起，施工人员可以通过两种方式将摄像头拍摄的视频传输到服务器。方式一为使用本地网络，通过rtsp协议将视频流通过url网址读取到服务器；方式二为使用外网，服务器可以依靠rtmp协议(flv)通过推流平台获取摄像头的视频流。

step3：施工现场的管理人员根据工地上带宽的限制去调整视频流的码率、分辨率和帧率。带宽、码率、分辨率、帧率之间的关系式为：带宽≥码率＝分辨率×24×帧率×传输路数×压缩率，这其中24表示一个像素占用24bit内存。为保证本系统正常使用，建议码率、帧率、分辨率的下限分别为2048kb/s、25fps、1920*1080，因为本系统是非实时算法，采用了异步拉流的方法，因此带宽只考虑容纳一路视频时可以采用的帧率、分辨率。本系统中视频流采用H.265的编码方式，其压缩率为0.2。例如施工现场带宽为200Mb/s，即200×1024＝204800kb/s，摄像头初始参数设置为各参数的建议下限值，则码率＝1920×1080×24×25/1024×0.2＝24300kb/s＜带宽，施工人员可以根据需求提高分辨率和帧率。

进度识别模块，所述模块用于自动记录不同楼层各施工阶段的起止时间并将该起止时间呈现于可视化平台，此外识别正在施工的楼层作业面所处的施工阶段，并呈现于可视化平台，包括具体步骤为：

step1：管理人员在系统中输入初始作业面所在层数，系统默认各层作业面所包含施工活动均为“搭支模版、绑扎钢筋、浇筑混凝土”，若有特殊需要可对系统进行个性化调整。

step2：系统设置完成并启动后自动开始记录，记录下的每一层的每一个施工阶段都会进行存档，存档内容包括作业面所在层数、施工阶段的类型、起止时间、耗时总长、完成时的截图等等，管理人员能够在系统的可视化平台对这些内容进行查看。

透明化上报模块，所述模块用于对比实际进度与计划进度，可以监督工期是否正常，包括具体步骤为：

step1：施工管理人员在系统中输入每一层作业面的计划工期，输入内容包括层号、计划开始时间、计划结束时间等。

step2：系统记录下每一层的实际工期后自动与计划工期进行对比。若楼层进度正常，则可视化平台里建筑模型中该楼层的颜色显示为灰色；若楼层进度超过7日未完成，则可视化平台里建筑模型中该楼层的颜色显示为蓝色；若楼层进度超过10日未完成，则可视化平台里建筑模型中该楼层的颜色显示为黄色；若楼层进度超过15日未完成，则可视化平台里建筑模型中该楼层的颜色显示为红色。

工期预测模块，所述模块能够分析回归已有的施工时长数据，帮助管理人员预测未来的工期，包括具体步骤为：

step1：系统自动记录过去的各层作业面各施工阶段的施工数据，数据包括作业面面积、施工时长、施工人数、天气状况、物料供给情况等，并将这些施工数据输入到神经网络，训练回归模型。

step2施工管理人员在系统中输入本楼层的施工人数、施工过程天气情况、物料供给情况，系统即可根据以往数据自动预测出本楼层各个施工阶段的工期。

实施例三

本发明提供一种智能检测标准层作业面施工进度的方法，在实施过程中，塔吊顶升、作业面楼层上升等外界因素会导致摄像头视频拍摄画面出现改变，可能会造成目标画面丢失。为此，系统能自动识别出画面改变的情况并反馈给管理人员，由管理人员将拍摄画面手动调整复位，具体步骤如下：

step1：摄像头拍摄的视频流传到后台后自动按照时间间隔截取视频帧，系统自动选取每间隔一个小时所截取得图片，

step2：利用基于opencv中Harris角点检测方法，首先通过在整个图像中移动一个滑动窗口来确定图像的哪个部分的强度变化很大，强度变化较大的地方即为角点

step3：对于识别的每个窗口，计算一个分数值R，

step4：对分数应用阈值并标记角点。

step5：判断间隔一小时所截取图片的角点位置是否发生明显改变，

step6：若角点位置没有明显改变，则系统继续正常工作，若角点位置发生明显偏移，则系统会通知管理人员，通过手动操纵云台使摄像头复位。

实施例四

本发明在施工场地实际应用时可能会遇到以下会造成系统产生异常识别的情况。

钢筋绑扎和模板搭支两种施工活动存在交替进行的情况，例如剪力墙和柱的部分先进行钢筋绑扎后进行模板搭支，而楼板部分先进行模板搭支后进行钢筋绑扎。本方法更关注于楼板的施工，因此工序的逻辑仍为模板搭支→钢筋绑扎→混凝土浇筑，柱和墙的施工工艺不会干扰整体工序判别。

对于大型作业面而言，钢筋绑扎和模板搭支两种施工活动存在同时进行的情况，这是符合施工逻辑和实际的。本系统允许且能识别特殊施工工艺，在不同施工活动存在搭接进行的情况时，系统允许两种工作状态同时进行。(允许一些特种施工工艺，若ABC活动有搭接，也可以允许两种工作状态进行)

混凝土像素难以在浇筑开始后及时被系统识别到，混凝土浇筑由墙柱开始，但由于角度偏差、遮挡等原因，摄像头捕捉的画面无法看清墙柱模板内部的混凝土像素，无法准确识别到混凝土浇筑的起始时间。

系统以作业面区域内出现模板像素、出现混凝土像素分别作为模板搭支、混凝土浇筑两种施工活动的开始依据。这虽与实际开始时间略有偏差，但误差在允许范围内，并不影响整体施工进度的识别。

以上公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种智能检测标准层作业面施工进度的方法，其特征在于，所述方法包括以下步骤，

a)主体结构作业面整体区域分割。通过高清摄像机拍摄作业面施工视频并截取视频帧，在视频帧中分割出整个作业面的区域。

b)施工区域分割。在视频帧中根据不同施工阶段标志物(如模板、钢筋、混凝土、脚手架、混凝土泵管等)来分割该施工阶段所属区域，从而判别作业面现所处的施工阶段。

c)工序判别。通过对图片中作业面区域内关键特征的识别，来判断作业面上的不同施工阶段(搭支模版、绑扎钢筋、浇筑混凝土)，以及这些施工阶段的起止时间，从而计算每个施工阶段的工期。

d)工期预测。根据之前对施工工序的判别和分析，通过回归模型的推演得到未来相关的工序可能需要消耗的时间，从而实现对未来工期的预测。

值得注意的是，在步骤a、b中，摄像头由于不可预知的原因发生视角偏移会导致拍摄画面异常，从而无法截取到相应的施工画面并进行分割。对此，本方法采用基于检测角点的变化监测技术来处理此类异常。

在步骤c中，特殊的施工工艺流程和施工现场的复杂场景会对本方法的进度判别产生干扰，造成异常识别。对此，本方法通过设定固定工序逻辑来处理此类异常。

2.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤a中，首先使用摄像头对作业面施工情况进行拍摄，每“轮巡时间间隔”分钟取一次作业面图片，对取到的图片利用solov2算法进行作业面区域的分割，识别出整个作业面的范围。

3.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤b中，在截取到的图片中，对各种施工阶段的特征物所在区域进行识别和分割，标注图片中不同施工阶段所在区域，将其作为数据集训练solov2实例分割模型。

4.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤c中，我们主要将一层作业面内的施工阶段分为三个工序：“搭支模板、绑扎钢筋、浇筑混凝土”。

5.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤c中，对提取到的施工作业面图片中作业面区域进行像素分析，分析结果中，当图片中作业面区域出现包括但不限于“模板/钢筋/混凝土”像素时，判定为作业面工序之一，包括但不限于“模板搭支/钢筋绑扎/混凝土浇筑”的开始时间。

6.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤c中，混凝土浇筑过程中其像素占比持续增长，当混凝土的像素在作业面区域内占比达到90％以上且不再增加时，判定为“混凝土浇筑”工序的结束时间。

7.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤c中，作业面施工的阶段分为模板搭支、钢筋绑扎、混凝土浇筑，这其中钢筋绑扎最先开始，首先是柱和墙的钢筋绑扎，完成后再进行模板的搭支，当模板全部搭支完成之后再进行楼板钢筋的绑扎，当钢筋绑扎和模板搭支都完成后再进行混凝土的浇筑。系统判别主体结构作业面不同施工阶段之间的逻辑顺序不会受异常情况影响。

8.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤c中，对施工阶段工序的识别从地上一层开始，每经历“模板搭支、钢筋绑扎、混凝土浇筑”这三道工序为一个循环，每经过一个循环作业面升高一层。

9.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤d中，收集原始数据和与原始数据相对应的施工工期，其中原始数据包括建设规模参数和基本特征参数，利用以上数据训练适用于作业面进度预测的神经网络。

10.根据权利要求1所述的一种智能检测标准层作业面施工进度的方法，其特征在于，在步骤d中，在得到成熟的神经网络预测模型后，将现阶段数据输入预测模型获取待预测的施工工期。