CN110197203A - 基于宽度学习神经网络的桥梁路面裂缝分类识别方法 - Google Patents
基于宽度学习神经网络的桥梁路面裂缝分类识别方法 Download PDFInfo
- Publication number
- CN110197203A CN110197203A CN201910380261.3A CN201910380261A CN110197203A CN 110197203 A CN110197203 A CN 110197203A CN 201910380261 A CN201910380261 A CN 201910380261A CN 110197203 A CN110197203 A CN 110197203A
- Authority
- CN
- China
- Prior art keywords
- image
- crack
- bridge
- width
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000008676 import Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003763 carbonization Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于宽度学习神经网络的桥梁路面裂缝分类识别方法,属于图像处理和计算机视觉领域。利用宽度学习神经网络同时实现桥梁裂缝位置和裂缝属性的准确识别分类,主要解决目前基于宽度学习神经网络的桥梁裂缝的检测方法无法直接获取裂缝的宽度和长度信息的问题以及将PC端和手机端的结合来进行桥梁裂缝的分类识别,给桥梁裂缝的分类识别带来了更准确、更便捷、可靠性更高的方法,提高了桥梁裂缝检测的效率以及检测结果的准确性和稳定性。
Description
技术领域
本发明属于图像处理和计算机视觉领域,涉及基于宽度学习神经网络的桥梁路面裂缝分类识别方法。
背景技术
桥梁作为道路、公路、铁路等交通系统的枢纽,需要定期的对其健康状况进行检测和评估。通常混凝土结构引起病害的主要表现形式有裂缝、变形、腐蚀等等。而且桥梁通常大多是由混凝土构成,由调查得知,90%以上的混凝土桥梁的损坏是由桥梁裂缝造成的,桥梁表面出现裂缝不仅意味着桥梁内部出现了结构性的损伤,能够有效的反映结构当前的工作状态,而且外界产生的水汽就比较容易进入桥梁内部,从而加速钢筋等内部结构的腐蚀、材料碳化以及材料变形等;及时检测、捕捉、识别分类桥梁表面的裂缝,对于预示或者及时发现工程险情和后期桥梁的修补,控制裂缝的产生、扩展,并根据不同桥梁裂缝进行不同的预防工作,保证桥梁的可靠运营以及延长桥梁的使用寿命具有非常重要的意义。
目前的检测方法主要为人工检测、大型桥梁检测车检测为主,存在很多不足之处:
(1)安全性低:属于高空作业,而且检测人员需要下到桥梁底下进行检测,安全没有保障;
(2)检测效率低:检测效率会受到桥底环境复杂程度和质检工作者的经验和体力影响,比较耗时;
(3)检测精度低:主要以人眼进行观察检测,容易受到人的主观因素影响;
(4)劳动强度大:桥梁多,检测工作量大,单纯靠人工完成,强度比较大;
(5)成本高:需要专业人士操作,使用大量人力物力进行检测,花费高;
(6)信息化程度低:无法精确建立桥梁裂缝历史数据,不便于危险桥梁的管理和维护,亦无法给政府管理部门提供决策支撑信息。
上述不足导致目前桥梁裂缝的检测现状完全不能适应当下和未来桥梁的建设与发展。
近几年由于人们对裂缝特征的不同理解,使得人们提出的裂缝检测方法也是各种各样,但大部分原理基本特征是一致的,而且算法的流程也大致相同:预处理,裂缝区域检测与分类分割,后处理与特征描述。裂缝作为一种看似简单,却因为背景及本身结构特征而具有多变性和复杂性的目标,现有的桥梁裂缝检测方法仍然存在很多缺陷,远不能满足其需求。
总而言之,用于检测桥梁裂缝的特征多种多样,但是简单而又高效的桥梁裂缝的检测还是一个难点,如何快速高效精准的提取桥梁裂缝结构特征都是具有挑战性的问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于宽度学习神经网络的桥梁路面裂缝分类识别方法。
为达到上述目的,本发明提供如下技术方案:
一种基于宽度学习神经网络的桥梁裂缝分类识别方法,该方法包括以下步骤:
步骤一、创建宽度学习图像训练集;
步骤二、训练宽度学习神经网络模型;
步骤三、使用训练好的神经网络模型对待检测图像进行检测并输出预测标签图像;
步骤四、根据预测标签图像输出检测结果,包括图像类别、裂缝的坐标信息以及裂缝的像素级宽度值和长度值;
步骤五、根据检测结果通过输出病害记录结果,若待检测桥梁路面图像中存在裂缝,则记录图像名称、裂缝的坐标信息以及裂缝的宽度值和长度值;若待检测图像中没有裂缝,则就不需要记录;
步骤六、将pc端训练好的模型导入到移动端再到车载系统。
进一步,所述步骤一包括:
S11:采集桥梁路面图像:通过移动拍摄设备拍摄桥梁路面表面得到桥梁路面图像;
S12:将桥梁路面视频序列转变为图像序列,通过人工筛查桥梁图像选出足够数量张的裂缝图像和非裂缝图像,并且调整图像大小;桥梁路面图像的格式与原始桥梁路面图像需要保持一致;原始图像记为I,宽和高记为(W,H),调整之后的图像记为I’,宽和高记为(W’,H’);
S13:使用MATLAB软件打开调整大小后的桥梁裂缝图像,并通过MATLAB筛选出裂缝区域记为Rc,非裂缝区域记为Ri;
S14:对选出的裂缝区域和非裂缝区域进行不同颜色填充,颜色填充完成后,保存为训练集标签图像,此时图像格式要和原始桥梁裂缝图片格式一致,宽度和高度记为(W’,H’)。
进一步,所述步骤二包括:
S21:搭建宽度学习神经网络结构:宽度学习神经网络通过把特征节点层和增强节点层连接形成网络其权重参数通过伪逆来求解,宽度学习神经网络的代价函数选择softmaxloss函数,激活函数选择S型Sigmoid函数;为防止宽度学习神经网络模型过拟合,在代价函数中加入权值衰减weight decay L1,L2正则化项;
S22:选择训练策略:宽度学习神经网络训练使用求L2正则化求伪逆方法进行优化求解,实现加速学习过程;
S23:选择机器学习库:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构,并根据已选择的训练策略和图像训练集进行训练。
进一步,所述步骤三包括:
S31:选择一张桥梁路面图像作为待检测图像,并通过使用双线性插值的方法把待检测图像大小调至(W’,H’)像素,其中待检测图像采集要求要与宽度学习训练集图像保持一致;
S32:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构模型,对待检测图像进行推理预测,输出预测标签图像Il。
进一步,所述步骤四包括:
S41:把预测标签图像通过使用双三次插值的方法,把其大小调整到桥梁原始图片大小(w,h),把调整后的预测标签图像记成Q1,它的格式和原始桥梁图像的格式保持一致;
S42:运用宽度神经网络分类器在每个图像块中拟合一条线段,通过图像块中是否存在拟合出来的线段,来定位裂缝所占区域;遍历预测标签图像Q1中的所有连通区域,即裂缝区域,使用连通域面积最小化的方法来提取裂缝区域的外接矩形,并来计算外接矩形的宽和高的比值,记为Bhw;若Bhw大于或者等于线性判定阈值,则标记为有效裂缝区域;如果Bhw小于线性判定阈值,就标记为无效裂缝区域,其中线性判定阈值记为Ti;如果预测标签图像Q1中不存在有效裂缝区域,图像类别Class设为0;反之图像类别Class设为1;
S43:通过遍历有效裂缝区域,提取其轮廓点坐标集,记为Ps,轮廓点坐标的个数记为Ns,并计算它外接矩形长边的角度,记为θ;计算方法如下式:
其中,P1(x1,y1)和P2(x2,y2)是外接矩形长边的两个端点坐标;
S44:计算桥梁裂缝的像素级长度:对桥梁裂缝区域的轮廓点坐标集Ps进行抽样,抽样间隔记为N1,抽样后得到的轮廓点坐标的个数记为Ns;抽样后的轮廓点坐标集记为Ps1并计算桥梁裂缝的像素级长度值Lp,计算方法如下:
S45:计算桥梁裂缝的像素级宽度:抽样间隔记为N2,对裂缝区域的轮廓点坐标集Ps进行抽样,抽样后的轮廓点坐标集记为Ps2,轮廓点坐标的个数记为Ns1,;根据抽样后的轮廓点坐标集Ps2计算裂缝的像素级宽度值Wp,具体的计算方法步骤如下:
①先把抽样后的各轮廓点位置的裂缝像素级宽度值初始化为0;
②遍历抽样后的轮廓点坐标集Ps2,计算相邻两点的角度值,记做θs;比较θ和θs,如果两者间的误差绝对值大于或者等于角度偏差阈值,那么就放弃计算当前轮廓点位置的裂缝的像素级宽度值,继续遍历下一个轮廓点,角度偏差阈值记为T;如果两者间的误差绝对值小于角度偏差阈值,则计算出当前轮廓点位置的裂缝的像素级宽度值;各轮廓点位置的桥梁裂缝的像素级宽值记为Wp1,方法如下:
Wp1 i=cos(θs i)*Do
Do=|Ps2(i).y-Ps(j).y|
j={j|Ps2(i).x=Ps(j).x}
其中,i∈[1,Ns1],j∈[1,Ns];
③桥梁裂缝的像素级宽度值做过处理后:首先去除Wp1中的零值,然后再计算Wp1的平均值,并且把此平均值作为最终的裂缝的像素级宽度值Wp。
进一步,所述步骤五包括:
根据检测结果输出得出裂缝记录结果,如果待检测图像中存在裂缝,那么就把图像的名称和裂缝的坐标信息Psl以及裂缝的实际宽度值和长度值记录下来;如果待检测图像中没有裂缝,就不需要记录;
另外其中裂缝的实际长度值和宽度值分别记为Lr、Wr,计算方法为:
Wr=Wp×a
Lr=Lp×a
其中,a是尺度变换系数,表示图像中单个像素对应的实际距离值,取0.2mm/pixel。
进一步,所述步骤六包括:
S61:首先在pc端训练模型的时候要模型保存为pb模型;
S62:开始把pb模型移植到Android Studio上;
S63:在Android Studio中调用模型第三大步地模型导入手机上,实现桥梁路面裂缝损伤的在线实时检测识别分类。
本发明的有益效果在于:
(1)本发明能够直接对于桥梁裂缝的识别与分类,简化了桥梁裂缝检测流程,效率更高准确性更强。
(2)本发明使用一种基于宽度学习神经网络的桥梁裂缝的识别分类方法,运用宽度神经网络分类器进行裂缝识别,准确性和鲁棒性更高。
(3)本发明能够将PC机和移动端结合,给桥梁裂缝的检测带来了更多的方便,这对桥梁裂缝的检测和安全评估带来了更多便利和参考价值。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明基于宽度学习神经网络桥梁裂缝识别分类方法的流程图;
图2为基于宽度学习神经网络架构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
如图1所示,本发明是一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述的桥梁裂缝分类识别方法包括以下步骤:
步骤一、创建宽度学习图像训练集
对于所述步骤一的具体操作如下:
(1)采集隧道图像。通过移动检测装备拍摄隧道表面得到单通道的隧道图像,其分辨率一般要求不低于100万像素,图像的清晰度要求足够高,图像中的裂缝最小宽度不低于1像素;
(2)通过人工筛查隧道图像,选出2万张裂缝图像2万张非裂缝图像,并调整图像大小,图像格式与原始隧道图像一致。原始隧道图像记为I,宽和高记为(W,H),调整后的图像记为I’,宽和高记为(W’,H’);
其中图像的宽和高根据相机的分辨率来设定,(W,H)—般为(2560,2048),(W’,H’)设为(64,64);
(3)使用MATLAB软件打开调整大小后的裂缝图像,选出裂缝区域,记为Rc,非裂缝区域记为Ri;
(4)选出的裂缝区域Rc记为1,并设置裂缝区域填充颜色为白色。非裂缝区域Ri标记为0,并设置非裂缝区域填充颜色为黑色;
(5)对选出的裂缝区域和非裂缝区域进行不同颜色填充,裂缝和非裂缝区域颜色填充完成后,保存为训练集标签图像,记为L其格式与原始隧道图像I一致,大小为(W’,H’),图像训练集分成训练集、验证集和测试集三个部分,分配比例设为0.7:0.2:0.1;
步骤二,训练宽度学习神经网络模型.
对于步骤二所述具体操作如下:
(1)如图2所示,搭建宽度学习神经网络结构:宽度学习神经网络通过把(特征节点层和增强节点层连接形成网络其权重参数通过伪逆来求解,宽度学习神经网络的代价函数选择softmax loss函数,激活函数选择S型(Sigmoid)函数。为了防止宽度学习神经网络模型过拟合,在代价函数中加入权值衰减(weight decay)L1,L2正则化项。
(2)选择训练策略:宽度学习神经网络训练使用求L2正则化求伪逆方法进行优化求解,实现加速学习过程;
(3)选择机器学习库:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构,并根据已选择的训练策略和图像训练集进行训练。
步骤三、使用训练好的神经网络模型对待检测图像进行检测并输出预测标签图像,记做I1。
对于步骤三所述具体操作如下:
(1)选择一张桥梁路面图像作为待检测图像,并通过使用双线性插值的方法把待检测图像大小调至(W’,H’)像素,其中待检测图像采集要求要与宽度学习训练集图像保持一致;
(2)使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构模型,对待检测图像进行推理预测,输出预测标签图像I1。
步骤四、根据预测标签图像输出检测结果,包括图像类别、裂缝的坐标信息以及裂缝的像素级宽度值和长度值。
对于步骤四所述具体操作如下:
(1)把预测标签图像通过使用双三次插值的方法,把其大小调整到桥梁原始图片大小(w,h),把调整后的预测标签图像记成Q1,它的格式和原始桥梁图像的格式保持一致;
(2)运用宽度神经网络分类器在每个图像块中拟合一条线段,通过图像块中是否存在拟合出来的线段,来定位裂缝所占区域。遍历预测标签图像Q1中的所有连通区域,也就是裂缝区域,使用连通域面积最小化的方法来提取裂缝区域的外接矩形,并来计算外接矩形的宽和高的比值,记为Bhw;若Bhw大于或者等于线性判定阈值,则标记为有效裂缝区域;如果Bhw小于线性判定阈值,就标记为无效裂缝区域,其中线性判定阈值记为Ti;如果预测标签图像Q1中不存在有效裂缝区域,图像类别Class设为0;反之图像类别Class设为1;
(3)通过遍历有效裂缝区域,提取其轮廓点坐标集,记为Ps,轮廓点坐标的个数记为Ns,并计算它外接矩形长边的角度,记为θ;计算方法如下式所示:
其中,P1(x1,y1)和P2(x2,y2)是外接矩形长边的两个端点坐标;
(4)计算桥梁裂缝的像素级长度:对桥梁裂缝区域的轮廓点坐标集Ps进行抽样,抽样间隔记为N1,抽样后得到的轮廓点坐标的个数记为Ns;抽样后的轮廓点坐标集记为Ps1并计算桥梁裂缝的像素级长度值Lp,计算方法如下:
(5)计算桥梁裂缝的像素级宽度:抽样间隔记为N2,对裂缝区域的轮廓点坐标集Ps进行抽样,抽样后的轮廓点坐标集记为Ps2,轮廓点坐标的个数记为Ns1,;根据抽样后的轮廓点坐标集Ps2计算裂缝的像素级宽度值Wp,具体的计算方法步骤如下所示:
①先把抽样后的各轮廓点位置的裂缝像素级宽度值初始化为0;
②遍历抽样后的轮廓点坐标集Ps2,计算他们相邻两点的角度值,记做θs;比较θ和θs,如果两者间的误差绝对值大于或者等于角度偏差阈值,那么就放弃计算当前轮廓点位置的裂缝的像素级宽度值,继续遍历下一个轮廓点,角度偏差阈值记为T;如果两者间的误差绝对值小于角度偏差阈值,则计算出当前轮廓点位置的裂缝的像素级宽度值;各轮廓点位置的桥梁裂缝的像素级宽值记为Wp1,方法如下:
Wp1 i=cos(θs i)*Do (4)
Do=|Ps2(i).y-Ps(j).y| (5)
j={j|Ps2(i).x=Ps(j).x} (6)
其中,i∈[1,Ns 1],j∈[1,N s]
③桥梁裂缝的像素级宽度值做过处理后:首先去除Wp1中的零值,然后再计算Wp1的平均值,并且把此平均值作为最终的裂缝的像素级宽度值Wp。
步骤五、根据检测结果输出得出裂缝记录结果,如果待检测图像中存在裂缝,那么就把图像的名称和裂缝的坐标信息Psl以及裂缝的实际宽度值和长度值记录下来;如果待检测图像中没有裂缝,就不需要记录。另外其中裂缝的实际长度值和宽度值分别记为Lr、Wr,其计算方法为:
Wr=Wp×a
Lr=Lp×a
其中,a是尺度变换系数,表示图像中单个像素对应的实际距离值,取为0.2mm/pixel。
步骤六、将pc端训练好的模型导入到移动端导入车载:
对于步骤六所述具体操作如下:
(1)首先在pc端训练模型的时候要把模型保存为pb模型
(2)开始把pb模型移植到Android Studio上
(3)在Android Studio中调用模型第三大步地模型导入手机上,实现桥梁路面裂缝损伤的在线实时检测识别分类。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:该方法包括以下步骤:
步骤一、创建宽度学习图像训练集;
步骤二、训练宽度学习神经网络模型;
步骤三、使用训练好的神经网络模型对待检测图像进行检测并输出预测标签图像;
步骤四、根据预测标签图像输出检测结果,包括图像类别、裂缝的坐标信息以及裂缝的像素级宽度值和长度值;
步骤五、根据检测结果通过输出病害记录结果,若待检测桥梁路面图像中存在裂缝,则记录图像名称、裂缝的坐标信息以及裂缝的宽度值和长度值;若待检测图像中没有裂缝,则就不需要记录;
步骤六、将pc端训练好的模型导入到移动端再到车载系统。
2.根据权利要求1所述的一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述步骤一包括:
S11:采集桥梁路面图像:通过移动拍摄设备拍摄桥梁路面表面得到桥梁路面图像;
S12:将桥梁路面视频序列转变为图像序列,通过人工筛查桥梁图像选出足够数量张的裂缝图像和非裂缝图像,并且调整图像大小;桥梁路面图像的格式与原始桥梁路面图像需要保持一致;原始图像记为I,宽和高记为(W,H),调整之后的图像记为I’,宽和高记为(W’,H’);
S13:使用MATLAB软件打开调整大小后的桥梁裂缝图像,并通过MATLAB筛选出裂缝区域记为Rc,非裂缝区域记为Ri;
S14:对选出的裂缝区域和非裂缝区域进行不同颜色填充,颜色填充完成后,保存为训练集标签图像,此时图像格式要和原始桥梁裂缝图片格式一致,宽度和高度记为(W’,H’)。
3.根据权利要求1所述的一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述步骤二包括:
S21:搭建宽度学习神经网络结构:宽度学习神经网络通过把特征节点层和增强节点层连接形成网络其权重参数通过伪逆来求解,宽度学习神经网络的代价函数选择softmaxloss函数,激活函数选择S型Sigmoid函数;为防止宽度学习神经网络模型过拟合,在代价函数中加入权值衰减weight decay L1,L2正则化项;
S22:选择训练策略:宽度学习神经网络训练使用求L2正则化求伪逆方法进行优化求解,实现加速学习过程;
S23:选择机器学习库:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构,并根据已选择的训练策略和图像训练集进行训练。
4.根据权利要求1所述的一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述步骤三包括:
S31:选择一张桥梁路面图像作为待检测图像,并通过使用双线性插值的方法把待检测图像大小调至(W’,H’)像素,其中待检测图像采集要求要与宽度学习训练集图像保持一致;
S32:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构模型,对待检测图像进行推理预测,输出预测标签图像Il。
5.根据权利要求1所述的一种基于宽度学习神经网络的桥梁裂缝的分类识别方法,其特征在于:所述步骤四包括:
S41:把预测标签图像通过使用双三次插值的方法,把其大小调整到桥梁原始图片大小(w,h),把调整后的预测标签图像记成Q1,它的格式和原始桥梁图像的格式保持一致;
S42:运用宽度神经网络分类器在每个图像块中拟合一条线段,通过图像块中是否存在拟合出来的线段,来定位裂缝所占区域;遍历预测标签图像Q1中的所有连通区域,即裂缝区域,使用连通域面积最小化的方法来提取裂缝区域的外接矩形,并来计算外接矩形的宽和高的比值,记为Bhw;若Bhw大于或者等于线性判定阈值,则标记为有效裂缝区域;如果Bhw小于线性判定阈值,就标记为无效裂缝区域,其中线性判定阈值记为Ti;如果预测标签图像Q1中不存在有效裂缝区域,图像类别Class设为0;反之图像类别Class设为1;
S43:通过遍历有效裂缝区域,提取其轮廓点坐标集,记为Ps,轮廓点坐标的个数记为Ns,并计算它外接矩形长边的角度,记为θ;计算方法如下式:
其中,P1(x1,y1)和P2(x2,y2)是外接矩形长边的两个端点坐标;
S44:计算桥梁裂缝的像素级长度:对桥梁裂缝区域的轮廓点坐标集Ps进行抽样,抽样间隔记为N1,抽样后得到的轮廓点坐标的个数记为Ns;抽样后的轮廓点坐标集记为Ps1并计算桥梁裂缝的像素级长度值Lp,计算方法如下:
S45:计算桥梁裂缝的像素级宽度:抽样间隔记为N2,对裂缝区域的轮廓点坐标集Ps进行抽样,抽样后的轮廓点坐标集记为Ps2,轮廓点坐标的个数记为Ns1,;根据抽样后的轮廓点坐标集Ps2计算裂缝的像素级宽度值Wp,具体的计算方法步骤如下:
①先把抽样后的各轮廓点位置的裂缝像素级宽度值初始化为0;
②遍历抽样后的轮廓点坐标集Ps2,计算相邻两点的角度值,记做θs;比较θ和θs,如果两者间的误差绝对值大于或者等于角度偏差阈值,那么就放弃计算当前轮廓点位置的裂缝的像素级宽度值,继续遍历下一个轮廓点,角度偏差阈值记为T;如果两者间的误差绝对值小于角度偏差阈值,则计算出当前轮廓点位置的裂缝的像素级宽度值;各轮廓点位置的桥梁裂缝的像素级宽值记为Wp1,方法如下:
Wp1 i=cos(θs i)*Do
Do=|Ps2(i).y-Ps(j).y|
j={j|P s2(i).x=P s(j).x}
其中,i∈[1,Ns1],j∈[1,N s];
③桥梁裂缝的像素级宽度值做过处理后:首先去除Wp1中的零值,然后再计算Wp1的平均值,并且把此平均值作为最终的裂缝的像素级宽度值Wp。
6.根据权利要求1所述的一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述步骤五包括:
根据检测结果输出得出裂缝记录结果,如果待检测图像中存在裂缝,那么就把图像的名称和裂缝的坐标信息Psl以及裂缝的实际宽度值和长度值记录下来;如果待检测图像中没有裂缝,就不需要记录;
另外其中裂缝的实际长度值和宽度值分别记为Lr、Wr,计算方法为:
Wr=Wp×a
Lr=Lp×a
其中,a是尺度变换系数,表示图像中单个像素对应的实际距离值,取0.2mm/pixel。
7.根据权利要求1所述的一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述步骤六包括:
S61:首先在pc端训练模型的时候要模型保存为pb模型;
S62:开始把pb模型移植到Android Studio上;
S63:在Android Studio中调用模型第三大步地模型导入手机上,实现桥梁路面裂缝损伤的在线实时检测识别分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910380261.3A CN110197203B (zh) | 2019-05-08 | 2019-05-08 | 基于宽度学习神经网络的桥梁路面裂缝分类识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910380261.3A CN110197203B (zh) | 2019-05-08 | 2019-05-08 | 基于宽度学习神经网络的桥梁路面裂缝分类识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110197203A true CN110197203A (zh) | 2019-09-03 |
CN110197203B CN110197203B (zh) | 2022-06-10 |
Family
ID=67752482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910380261.3A Active CN110197203B (zh) | 2019-05-08 | 2019-05-08 | 基于宽度学习神经网络的桥梁路面裂缝分类识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110197203B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046936A (zh) * | 2019-12-05 | 2020-04-21 | 湖北民族大学 | 基于级联宽度神经网络桥梁裂缝分类识别方法 |
CN111160198A (zh) * | 2019-12-23 | 2020-05-15 | 北方工业大学 | 基于宽度学习的物体识别方法及系统 |
CN111401827A (zh) * | 2020-02-26 | 2020-07-10 | 山西省交通科技研发有限公司 | 一种桥梁病害数字化采集系统 |
CN111598845A (zh) * | 2020-04-26 | 2020-08-28 | 北京科技大学 | 基于深度学习与neo-6m定位模块的路面裂缝检测与定位的方法 |
CN111626092A (zh) * | 2020-03-26 | 2020-09-04 | 陕西陕北矿业韩家湾煤炭有限公司 | 一种基于机器学习的无人机影像地裂缝识别及提取方法 |
CN111652842A (zh) * | 2020-04-26 | 2020-09-11 | 佛山读图科技有限公司 | 高速西林瓶轧盖生产线实时视觉检测方法及系统 |
CN111795978A (zh) * | 2020-09-08 | 2020-10-20 | 湖南大学 | 一种钢桥结构健康状态评估方法、装置、设备及存储介质 |
CN111833356A (zh) * | 2020-06-15 | 2020-10-27 | 五邑大学 | 脑部胶质瘤图像分级方法、装置及存储介质 |
CN112749733A (zh) * | 2020-11-27 | 2021-05-04 | 江西省交通科学研究院 | 一种基于混合模型及图像金字塔的桥梁病害识别方法 |
CN112802011A (zh) * | 2021-02-25 | 2021-05-14 | 上海电机学院 | 一种基于vgg-bls的风机叶片缺陷检测方法 |
CN113033634A (zh) * | 2021-03-12 | 2021-06-25 | 重庆交通职业学院 | 一种基于机器学习的道路材料微图像处理方法和装置 |
CN113486721A (zh) * | 2021-06-09 | 2021-10-08 | 北京科技大学 | 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法 |
CN113537016A (zh) * | 2021-07-06 | 2021-10-22 | 南昌市微轲联信息技术有限公司 | 一种道路巡查中道路损伤自动检测预警的方法 |
CN114266766A (zh) * | 2022-01-11 | 2022-04-01 | 上海同陆云交通科技有限公司 | 基于图像与振动数据分析的桥梁接缝高差识别方法与系统 |
CN114511568A (zh) * | 2022-04-20 | 2022-05-17 | 西安博康硕达网络科技有限公司 | 基于无人机的高速公路桥梁检修方法 |
CN114565596A (zh) * | 2022-03-04 | 2022-05-31 | 同济大学 | 基于深度学习和视频理解的钢表面裂缝检测和预测方法 |
CN114663750A (zh) * | 2022-02-23 | 2022-06-24 | 无锡雪浪数制科技有限公司 | 一种基于机器视觉与深度学习的海缆填充条断裂识别方法 |
CN118351077A (zh) * | 2024-04-16 | 2024-07-16 | 武汉大学 | 基于mdta和gdfn的路面裂缝图像检测方法及装置 |
CN118485666A (zh) * | 2024-07-15 | 2024-08-13 | 南京智能时空机器人技术服务有限公司 | 一种路面裂隙检测方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910186A (zh) * | 2017-01-13 | 2017-06-30 | 陕西师范大学 | 一种基于cnn深度学习的桥梁裂缝检测定位方法 |
CN107403197A (zh) * | 2017-07-31 | 2017-11-28 | 武汉大学 | 一种基于深度学习的裂缝识别方法 |
CN108229461A (zh) * | 2018-01-16 | 2018-06-29 | 上海同岩土木工程科技股份有限公司 | 一种基于深度学习的隧道裂缝快速识别方法 |
CN109271885A (zh) * | 2018-08-29 | 2019-01-25 | 广东工业大学 | 一种基于宽度学习的鸟巢识别方法 |
CN109492625A (zh) * | 2018-12-29 | 2019-03-19 | 中国地质大学(武汉) | 一种基于宽度学习的人脸识别考勤方法 |
CN109522838A (zh) * | 2018-11-09 | 2019-03-26 | 大连海事大学 | 一种基于宽度学习的安全帽图像识别算法 |
-
2019
- 2019-05-08 CN CN201910380261.3A patent/CN110197203B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910186A (zh) * | 2017-01-13 | 2017-06-30 | 陕西师范大学 | 一种基于cnn深度学习的桥梁裂缝检测定位方法 |
CN107403197A (zh) * | 2017-07-31 | 2017-11-28 | 武汉大学 | 一种基于深度学习的裂缝识别方法 |
CN108229461A (zh) * | 2018-01-16 | 2018-06-29 | 上海同岩土木工程科技股份有限公司 | 一种基于深度学习的隧道裂缝快速识别方法 |
CN109271885A (zh) * | 2018-08-29 | 2019-01-25 | 广东工业大学 | 一种基于宽度学习的鸟巢识别方法 |
CN109522838A (zh) * | 2018-11-09 | 2019-03-26 | 大连海事大学 | 一种基于宽度学习的安全帽图像识别算法 |
CN109492625A (zh) * | 2018-12-29 | 2019-03-19 | 中国地质大学(武汉) | 一种基于宽度学习的人脸识别考勤方法 |
Non-Patent Citations (2)
Title |
---|
C. L. PHILIP CHEN等: "Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 * |
广西人工智能学会: "宽度学习系统:一种不需要深度结构的高效增量学习系统", 《HTTP://WWW.GXAAI.COM/INDEX.PHP?M=CONTENT&C=INDEX&A=SHOW&CATID=27&ID=89》 * |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046936A (zh) * | 2019-12-05 | 2020-04-21 | 湖北民族大学 | 基于级联宽度神经网络桥梁裂缝分类识别方法 |
CN111160198A (zh) * | 2019-12-23 | 2020-05-15 | 北方工业大学 | 基于宽度学习的物体识别方法及系统 |
CN111160198B (zh) * | 2019-12-23 | 2023-06-27 | 北方工业大学 | 基于宽度学习的物体识别方法及系统 |
CN111401827A (zh) * | 2020-02-26 | 2020-07-10 | 山西省交通科技研发有限公司 | 一种桥梁病害数字化采集系统 |
CN111401827B (zh) * | 2020-02-26 | 2023-04-07 | 山西省智慧交通研究院有限公司 | 一种桥梁病害数字化采集系统 |
CN111626092A (zh) * | 2020-03-26 | 2020-09-04 | 陕西陕北矿业韩家湾煤炭有限公司 | 一种基于机器学习的无人机影像地裂缝识别及提取方法 |
CN111626092B (zh) * | 2020-03-26 | 2023-04-07 | 陕西陕北矿业韩家湾煤炭有限公司 | 一种基于机器学习的无人机影像地裂缝识别及提取方法 |
CN111652842B (zh) * | 2020-04-26 | 2021-05-11 | 佛山读图科技有限公司 | 高速西林瓶轧盖生产线实时视觉检测方法及系统 |
CN111598845A (zh) * | 2020-04-26 | 2020-08-28 | 北京科技大学 | 基于深度学习与neo-6m定位模块的路面裂缝检测与定位的方法 |
CN111652842A (zh) * | 2020-04-26 | 2020-09-11 | 佛山读图科技有限公司 | 高速西林瓶轧盖生产线实时视觉检测方法及系统 |
CN111833356B (zh) * | 2020-06-15 | 2023-02-28 | 五邑大学 | 脑部胶质瘤图像分级方法、装置及存储介质 |
CN111833356A (zh) * | 2020-06-15 | 2020-10-27 | 五邑大学 | 脑部胶质瘤图像分级方法、装置及存储介质 |
CN111795978A (zh) * | 2020-09-08 | 2020-10-20 | 湖南大学 | 一种钢桥结构健康状态评估方法、装置、设备及存储介质 |
CN111795978B (zh) * | 2020-09-08 | 2020-12-04 | 湖南大学 | 一种钢桥结构健康状态评估方法、装置、设备及存储介质 |
CN112749733A (zh) * | 2020-11-27 | 2021-05-04 | 江西省交通科学研究院 | 一种基于混合模型及图像金字塔的桥梁病害识别方法 |
CN112802011A (zh) * | 2021-02-25 | 2021-05-14 | 上海电机学院 | 一种基于vgg-bls的风机叶片缺陷检测方法 |
CN113033634A (zh) * | 2021-03-12 | 2021-06-25 | 重庆交通职业学院 | 一种基于机器学习的道路材料微图像处理方法和装置 |
CN113486721A (zh) * | 2021-06-09 | 2021-10-08 | 北京科技大学 | 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法 |
CN113486721B (zh) * | 2021-06-09 | 2023-08-29 | 北京科技大学 | 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法 |
CN113537016A (zh) * | 2021-07-06 | 2021-10-22 | 南昌市微轲联信息技术有限公司 | 一种道路巡查中道路损伤自动检测预警的方法 |
CN113537016B (zh) * | 2021-07-06 | 2023-01-06 | 南昌市微轲联信息技术有限公司 | 一种道路巡查中道路损伤自动检测预警的方法 |
CN114266766A (zh) * | 2022-01-11 | 2022-04-01 | 上海同陆云交通科技有限公司 | 基于图像与振动数据分析的桥梁接缝高差识别方法与系统 |
CN114663750B (zh) * | 2022-02-23 | 2023-03-03 | 无锡雪浪数制科技有限公司 | 一种基于机器视觉与深度学习的海缆填充条断裂识别方法 |
CN114663750A (zh) * | 2022-02-23 | 2022-06-24 | 无锡雪浪数制科技有限公司 | 一种基于机器视觉与深度学习的海缆填充条断裂识别方法 |
CN114565596A (zh) * | 2022-03-04 | 2022-05-31 | 同济大学 | 基于深度学习和视频理解的钢表面裂缝检测和预测方法 |
CN114511568B (zh) * | 2022-04-20 | 2022-07-22 | 西安博康硕达网络科技有限公司 | 基于无人机的高速公路桥梁检修方法 |
CN114511568A (zh) * | 2022-04-20 | 2022-05-17 | 西安博康硕达网络科技有限公司 | 基于无人机的高速公路桥梁检修方法 |
CN118351077A (zh) * | 2024-04-16 | 2024-07-16 | 武汉大学 | 基于mdta和gdfn的路面裂缝图像检测方法及装置 |
CN118485666A (zh) * | 2024-07-15 | 2024-08-13 | 南京智能时空机器人技术服务有限公司 | 一种路面裂隙检测方法及系统 |
CN118485666B (zh) * | 2024-07-15 | 2024-09-06 | 南京智能时空机器人技术服务有限公司 | 一种路面裂隙检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110197203B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110197203B (zh) | 基于宽度学习神经网络的桥梁路面裂缝分类识别方法 | |
CN104766086B (zh) | 一种公路标识的监管方法和系统 | |
CN111047818A (zh) | 一种基于视频图像的森林火灾预警系统 | |
CN112330593A (zh) | 基于深度学习网络的建筑物表面裂缝检测方法 | |
CN110991466A (zh) | 一种基于新型视觉传感设备的高速公路路面状况检测系统 | |
CN112949482B (zh) | 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法 | |
US11587299B2 (en) | Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques | |
CN107992865A (zh) | 一种基于视频分析的车辆识别方法和系统 | |
CN115376082B (zh) | 一种融合传统特征提取与深度神经网络的车道线检测方法 | |
CN108229524A (zh) | 一种基于遥感图像的烟囱和冷凝塔检测方法 | |
CN114689600A (zh) | 一种桥梁混凝土结构表面裂缝检测方法及系统 | |
CN111896549A (zh) | 一种基于机器学习的建筑物裂缝监测系统和方法 | |
CN111626382A (zh) | 一种建筑工地车辆清洁度的快速智能识别方法和系统 | |
CN114708532A (zh) | 一种监控视频质量评估方法、系统及存储介质 | |
JP2020038132A (ja) | コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム | |
CN112949479B (zh) | 一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法 | |
CN116993665A (zh) | 一种基于计算机视觉的建筑工程作业面施工进度的智能检测方法 | |
CN112749741A (zh) | 一种基于深度学习的手闸紧固故障识别方法 | |
CN110969135B (zh) | 自然场景中的车标识别方法 | |
CN117726880A (zh) | 一种基于单目摄像头的交通锥桶3d实时检测方法、系统、设备及介质 | |
CN118134875A (zh) | 一种基于机器学习的道路车辙拥包沉陷尺寸及严重程度计算方法及系统 | |
CN110674764A (zh) | 一种工地裸露土方的检测方法、装置及系统 | |
TWI766376B (zh) | 鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法 | |
CN104574313A (zh) | 红绿灯的红灯颜色增强方法及其增强系统 | |
CN114708190A (zh) | 一种基于深度学习的道路裂缝检测评估算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |