[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112699736A - 一种基于空间注意力的桥梁支座病害识别方法 - Google Patents

一种基于空间注意力的桥梁支座病害识别方法 Download PDF

Info

Publication number
CN112699736A
CN112699736A CN202011442501.7A CN202011442501A CN112699736A CN 112699736 A CN112699736 A CN 112699736A CN 202011442501 A CN202011442501 A CN 202011442501A CN 112699736 A CN112699736 A CN 112699736A
Authority
CN
China
Prior art keywords
image
bridge
spatial
sample image
spatial attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011442501.7A
Other languages
English (en)
Other versions
CN112699736B (zh
Inventor
艾志勇
崔弥达
荣耀
张恺
吴刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGXI TRAFFIC SCIENCE RESEARCH INSTITUTE
Southeast University
Original Assignee
JIANGXI TRAFFIC SCIENCE RESEARCH INSTITUTE
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGXI TRAFFIC SCIENCE RESEARCH INSTITUTE, Southeast University filed Critical JIANGXI TRAFFIC SCIENCE RESEARCH INSTITUTE
Priority to CN202011442501.7A priority Critical patent/CN112699736B/zh
Publication of CN112699736A publication Critical patent/CN112699736A/zh
Application granted granted Critical
Publication of CN112699736B publication Critical patent/CN112699736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于空间注意力的桥梁支座病害识别方法,包括以下步骤:获取桥梁支座图像数据,通过人工标注的方法赋予标签,标签包含正常支座及桥梁服役的过程中可能出现的各类支座病害。构建带有空间注意力机制的神经网络模型,其中空间注意力机制通过一个小型的神经网络生成4个注意力坐标值,根据这4个坐标值筛选出图像中有价值的区域,并通过格点生成函数和双线性插值方法放缩至指定的大小;把空间注意力机制的输出作为卷积神经网络的输入进行训练,得到具有预测支座病害的神经网络模型。本发明的注意力模型能够让网络模型自动的提取出桥梁支座图像中有价值的区域进行学习,相较于传统卷积神经网络模型,能有效提高支座病害的识别精度。

Description

一种基于空间注意力的桥梁支座病害识别方法
技术领域
本发明涉及一种基于空间注意力的桥梁支座病害识别方法,属于土木工程与人工智能交互技术领域。
背景技术
随着基础设施建设的快速发展,土木行业发展迅速,大量的桥梁建设完毕,桥梁支座是桥梁受力的重要构件,在长期的服役过程中会出现老化、开裂等病害,影响其正常使用功能。人们一直依靠日常和定期性检查、抽样性和临时检查等手段来获取结构的相关信息。然而目前桥梁表观检测主要依赖于人工检测,这种方法效率低下、耗时长、成本高,且人工检测方法受环境及检测人员职业技术素养等因素影响较大,检测结果存在不确定性。
基于深度学习的图像处理技术快速发展,并在各行业得到广泛的应用,然而深度学习模型往往需要大量的标注数据进行训练才能达到较高的精度。在实际工程中,一些病害图像数据难以获取,且支座作为桥梁的连接构件,在图像采集的工程中难以避免的会包含其他构件及一些背景信息,影响到模型的识别结果。因此迫切的需要一种在数据集有限,场景复杂的情况下提高模型的识别精度的方法。
发明内容
本发明要解决的技术问题是提供一种基于空间注意力的桥梁支座病害识别方法,用于提高识别桥梁支座病害的神经网络的训练效率和精度问题。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于空间注意力的桥梁支座病害识别方法,基于多幅分别仅包含一个桥梁支座的样本图像,应用如下步骤A至步骤E,训练并获取用于识别桥梁支座病害的基于空间注意力机制的目标神经网络;其中,目标神经网络包括空间坐标生成网络和分类网络;然后,针对待检测的目标图像,依次应用空间坐标生成网络和分类网络,从而获得目标图像所包含的桥梁支座的分类结果;
步骤A.将各幅样本图像分别与其所包含桥梁支座的预设分类标签类型相关联,构建出桥梁支座样本图像数据库;
步骤B.定义样本图像中桥梁支座所在的最小矩形区域为空间注意力区域,基于桥梁支座样本图像数据库,构建以样本图像为输入、该样本图像中空间注意力区域的四个空间坐标为输出的空间坐标生成网络,其中空间注意力区域的四个空间坐标为xmin,ymin,xmax,ymax,其中,xmin,ymin为空间注意力区域左上角点的横坐标和纵坐标,xmax,ymax为空间注意力区域右下角点的横坐标和纵坐标;
步骤C.针对各幅样本图像,根据样本图像中空间注意力区域的四个空间坐标,应用格点生成函数,获得该样本图像中的空间注意力区域中对应预设比例网格划分下、各个格点的坐标,然后进入步骤D;
步骤D.针对各幅样本图像,通过预设的插值方法获得样本图像中空间注意力区域中各个格点的像素值,获得处理后的对应于各幅样本图像的基于注意力机制的图片;
步骤E.基于桥梁支座样本图像数据库中的标签和各幅样本图像的基于注意力机制的图片,构建以各幅样本图像的基于注意力机制的图片为输入,以对应的样本图像中支座图像的类别为输出的分类网络,根据分类网络的输出类别,与步骤A中标注类别的差异作为网络优化的目标,经过端到端迭代训练空间坐标生成网络和分类网络,得到目标神经网络。
作为本发明的一种优选技术方案,步骤A中,构建的桥梁支座样本图像数据库包含的桥梁支座不同状态,既包含正常支座状态,也包括桥梁服役的过程中预设的各类支座病害的状态。
作为本发明的一种优选技术方案,步骤A中,构建的桥梁支座样本图像数据库中,图像的分辨率在800×600以上。
作为本发明的一种优选技术方案,步骤B中空间坐标生成网络包括卷积层、池化层和全连接层。
作为本发明的一种优选技术方案,步骤C中,格点生成函数根据注意力机制生成的4个图像坐标与原始图像比例关系生成图像格点,格点生成函数的描述如下:
Figure BDA0002822901610000021
其中,x’ij为格点i,j在原始图像中对应的横坐标,y’ij为格点i,j在原始图像中对应的纵坐标,w'为预设格点图像的宽,h'为对应预设格点图像的高,xij为格点i,j在预设格点图像中的横坐标,yij为格点i,j在预设格点图像中的纵坐标。
作为本发明的一种优选技术方案,步骤D中,预设的插值方法为可微分的插值方法,以满足误差反向传播的要求。
作为本发明的一种优选技术方案,步骤E中,分类网络为满足预设指定特征表征能力的神经网络。
作为本发明的一种优选技术方案,所述预设指定特征表征能力的神经网络为VGG或ResNet。
作为本发明的一种优选技术方案,在步骤E中,目标神经网络的迭代训练选用梯度下降法。
本发明所述一种基于空间注意力的桥梁支座病害识别方法,采用以上技术方案与现有技术相比,具有以下技术效果:
本发明能够在有限的数据集下,通过联合训练空间坐标生成网络和分类网络组成的目标神经网络,获得基于空间注意力机制的神经网络,针对目标待检测的桥梁支座图像,首先将桥梁支座图像中的感兴趣的区域进行识别,再通过分类网络获取桥梁支座的是否病害以及病害的类型,相较于传统卷积神经网络模型,能有效提高神经网络模型的识别效率和准确性,为桥梁支座的自动化检测提供基础。
附图说明
图1为本发明的流程图;
图2为本发明中空间坐标生成网络的示意图;
图3为本发明中获取注意力区域的流程示意图;
图4为本发明中使用的VGG-16分类网络示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本实施例训练卷积神经网络的硬件条件:使亚马逊AWS云计算服务,配置亚马逊EC2P2.xlarge实例,该实例配置1个GPU,4个vCPU,61GB的随机存取存储器,系统采用ubuntu系统,编程语言采用python,深度学习平台使用pytorch。
如图1的流程图所示,本实施例实施的一种基于空间注意力的桥梁支座病害识别方法,首先选取5000幅分辨率超过800×600的分别仅包含一个桥梁支座的样本图像,各个样本图像分别包含桥梁支座不同状态,既包含正常支座状态,也包括桥梁服役的过程中预设的各类支座病害的状态,本实施例中的样本图像中的桥梁支座状态包括正常类支座,开裂支座,剪切变形支座三种类型。
基于以上样本图像,应用如下步骤A至步骤E,训练并获取用于识别桥梁支座病害的基于空间注意力机制的目标神经网络;其中,目标神经网络包括空间坐标生成网络和分类网络。
步骤A.将各幅样本图像分别与其所包含桥梁支座的预设分类标签类型相关联,构建出桥梁支座样本图像数据库,本实施例中的分类标签包含的桥梁支座状态为正常类支座,开裂支座,剪切变形支座三种类型。
步骤B.如图2所示,定义样本图像中桥梁支座所在的最小矩形区域为空间注意力区域,基于桥梁支座样本图像数据库,构建以样本图像为输入、该样本图像中空间注意力区域的四个空间坐标为输出的空间坐标生成网络,空间坐标生成网络包括卷积层、池化层和全连接层,其中空间注意力区域的四个空间坐标为xmin,ymin,xmax,ymax,其中,xmin,ymin为空间注意力区域左上角点的横坐标和纵坐标,xmax,ymax为空间注意力区域右下角点的横坐标和纵坐标。
步骤C.如图3所示,分别针对各幅样本图像,根据样本图像中空间注意力区域的四个空间坐标,应用如下格点生成函数,获得该样本图像中的空间注意力区域中对应预设比例网格划分下、各个格点的坐标。
格点生成函数根据注意力机制生成的4个图像坐标与原始图像比例关系生成图像格点,格点生成函数的描述如下:
Figure BDA0002822901610000041
其中,x’ij为格点i,j在原始图像中对应的横坐标,y’ij为格点i,j在原始图像中对应的纵坐标,w'为预设格点图像的宽,h'为对应预设格点图像的高,xij为格点i,j在预设格点图像中的横坐标,yij为格点i,j在预设格点图像中的纵坐标。
步骤D.针对各幅样本图像,通过满足误差反向传播的要求的可微分的插值方法,本实施例中具体选用双线性插值方法,获得样本图像中空间注意力区域中各个格点的像素值,获得处理后的对应于各幅样本图像的基于注意力机制的图片。
步骤E.如图4所示,基于桥梁支座样本图像数据库中的标签和各幅样本图像的基于注意力机制的图片,构建以各幅样本图像的基于注意力机制的图片为输入,以对应的样本图像中支座图像的类别为输出的满足预设指定特征表征能力的分类网络,本实施例中具体选用的是经典卷积神经网络中的VGG网络,然后根据分类网络的输出类别,与步骤A中标注类别的差异作为网络优化的目标,利用梯度下降法对空间坐标生成网络和分类网络进行联合训练,得到目标神经网络。
然后,针对待检测的目标图像,依次应用空间坐标生成网络和分类网络,从而获得目标图像所包含的桥梁支座的分类结果。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于空间注意力的桥梁支座病害识别方法,其特征在于,基于多幅分别仅包含一个桥梁支座的样本图像,应用如下步骤A至步骤E,训练并获取用于识别桥梁支座病害的基于空间注意力机制的目标神经网络;其中,目标神经网络包括空间坐标生成网络和分类网络;然后,针对待检测的目标图像,依次应用空间坐标生成网络和分类网络,从而获得目标图像所包含的桥梁支座的分类结果;
步骤A.将各幅样本图像分别与其所包含桥梁支座的预设分类标签类型相关联,构建出桥梁支座样本图像数据库;
步骤B.定义样本图像中桥梁支座所在的最小矩形区域为空间注意力区域,基于桥梁支座样本图像数据库,构建以样本图像为输入、该样本图像中空间注意力区域的四个空间坐标为输出的空间坐标生成网络,其中空间注意力区域的四个空间坐标为xmin,ymin,xmax,ymax,其中,xmin,ymin为空间注意力区域左上角点的横坐标和纵坐标,xmax,ymax为空间注意力区域右下角点的横坐标和纵坐标;
步骤C.针对各幅样本图像,根据样本图像中空间注意力区域的四个空间坐标,应用格点生成函数,获得该样本图像中的空间注意力区域中对应预设比例网格划分下、各个格点的坐标,然后进入步骤D;
步骤D.针对各幅样本图像,通过预设的插值方法获得样本图像中空间注意力区域中各个格点的像素值,获得处理后的对应于各幅样本图像的基于注意力机制的图片;
步骤E.基于桥梁支座样本图像数据库中的标签和各幅样本图像的基于注意力机制的图片,构建以各幅样本图像的基于注意力机制的图片为输入,以对应的样本图像中支座图像的类别为输出的分类网络,根据分类网络的输出类别,与步骤A中标注类别的差异作为网络优化的目标,经过端到端迭代训练空间坐标生成网络和分类网络,得到目标神经网络。
2.根据权利要求1所述的一种基于空间注意力的桥梁支座病害识别方法,其特征在于,步骤A中,构建的桥梁支座样本图像数据库包含的桥梁支座不同状态,既包含正常支座状态,也包括桥梁服役的过程中预设的各类支座病害的状态。
3.根据权利要求1所述的一种基于空间注意力的桥梁支座病害识别方法,其特征在于,步骤A中,构建的桥梁支座样本图像数据库中,图像的分辨率在800×600以上。
4.根据权利要求1所述的一种基于空间注意力的桥梁支座病害识别方法,其特征在于,步骤B中空间坐标生成网络包括卷积层、池化层和全连接层。
5.根据权利要求1所述的一种基于空间注意力的桥梁支座病害识别方法,其特征在于,步骤C中,格点生成函数根据注意力机制生成的4个图像坐标与原始图像比例关系生成图像格点,格点生成函数的描述如下:
Figure FDA0002822901600000021
其中,x′ij为格点i,j在原始图像中对应的横坐标,y′ij为格点i,j在原始图像中对应的纵坐标,w'为预设格点图像的宽,h'为对应预设格点图像的高,xij为格点i,j在预设格点图像中的横坐标,yij为格点i,j在预设格点图像中的纵坐标。
6.根据权利要求1所述的一种基于空间注意力的桥梁支座病害识别方法,其特征在于,步骤D中,预设的插值方法为可微分的插值方法,以满足误差反向传播的要求。
7.根据权利要求1所述的一种基于空间注意力的桥梁支座病害识别方法,其特征在于,步骤E中,分类网络为满足预设指定特征表征能力的神经网络。
8.根据权利要求7所述的一种基于空间注意力的桥梁支座病害识别方法,其特征在于,所述预设指定特征表征能力的神经网络为VGG或ResNet。
9.根据权利要求1所述的一种基于空间注意力的桥梁支座病害识别方法,其特征在于,在步骤E中,目标神经网络的迭代训练选用梯度下降法。
CN202011442501.7A 2020-12-08 2020-12-08 一种基于空间注意力的桥梁支座病害识别方法 Active CN112699736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011442501.7A CN112699736B (zh) 2020-12-08 2020-12-08 一种基于空间注意力的桥梁支座病害识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011442501.7A CN112699736B (zh) 2020-12-08 2020-12-08 一种基于空间注意力的桥梁支座病害识别方法

Publications (2)

Publication Number Publication Date
CN112699736A true CN112699736A (zh) 2021-04-23
CN112699736B CN112699736B (zh) 2024-06-07

Family

ID=75507773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011442501.7A Active CN112699736B (zh) 2020-12-08 2020-12-08 一种基于空间注意力的桥梁支座病害识别方法

Country Status (1)

Country Link
CN (1) CN112699736B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297959A (zh) * 2021-05-24 2021-08-24 南京邮电大学 一种基于角点注意力孪生网络的目标跟踪方法及系统
CN118820723A (zh) * 2024-08-01 2024-10-22 云南省公路科学技术研究院 基于深度学习的隧道衬砌病害检测系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288269A (zh) * 2018-01-24 2018-07-17 东南大学 基于无人机与卷积神经网络的桥梁支座病害自动识别方法
CN108363961A (zh) * 2018-01-24 2018-08-03 东南大学 基于卷积神经网络间迁移学习的桥梁支座病害识别方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN110070008A (zh) * 2019-04-04 2019-07-30 中设设计集团股份有限公司 一种采用无人机图像的桥梁病害识别方法
CN110222701A (zh) * 2019-06-11 2019-09-10 北京新桥技术发展有限公司 一种桥梁病害自动识别方法
CN111562220A (zh) * 2020-06-02 2020-08-21 吉林大学 一种桥梁病害快速智能检测方法
WO2020199538A1 (zh) * 2019-04-04 2020-10-08 中设设计集团股份有限公司 基于图像监控数据的桥梁关键构件病害预警系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN108288269A (zh) * 2018-01-24 2018-07-17 东南大学 基于无人机与卷积神经网络的桥梁支座病害自动识别方法
CN108363961A (zh) * 2018-01-24 2018-08-03 东南大学 基于卷积神经网络间迁移学习的桥梁支座病害识别方法
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN110070008A (zh) * 2019-04-04 2019-07-30 中设设计集团股份有限公司 一种采用无人机图像的桥梁病害识别方法
WO2020199538A1 (zh) * 2019-04-04 2020-10-08 中设设计集团股份有限公司 基于图像监控数据的桥梁关键构件病害预警系统及方法
CN110222701A (zh) * 2019-06-11 2019-09-10 北京新桥技术发展有限公司 一种桥梁病害自动识别方法
CN111562220A (zh) * 2020-06-02 2020-08-21 吉林大学 一种桥梁病害快速智能检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297959A (zh) * 2021-05-24 2021-08-24 南京邮电大学 一种基于角点注意力孪生网络的目标跟踪方法及系统
CN118820723A (zh) * 2024-08-01 2024-10-22 云南省公路科学技术研究院 基于深度学习的隧道衬砌病害检测系统及方法

Also Published As

Publication number Publication date
CN112699736B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
Karaaslan et al. Artificial intelligence assisted infrastructure assessment using mixed reality systems
Yin et al. Automated semantic segmentation of industrial point clouds using ResPointNet++
CN111476781B (zh) 一种基于视频语义分割技术的混凝土裂缝识别方法和装置
Xu et al. Recognition of rust grade and rust ratio of steel structures based on ensembled convolutional neural network
CN105825511A (zh) 一种基于深度学习的图片背景清晰度检测方法
WO2020238256A1 (zh) 基于弱分割的损伤检测方法及装置
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
TWI672637B (zh) 自體免疫抗體免疫螢光影像型態識別方法
CN112699736A (zh) 一种基于空间注意力的桥梁支座病害识别方法
CN112488990B (zh) 一种基于注意力正则化机制的桥梁支座病害识别方法
Shi et al. Development of large-scale synthetic 3D point cloud datasets for vision-based bridge structural condition assessment
Wang et al. Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation
Huang et al. Deep residual network training for reinforced concrete defects intelligent classifier
CN112767351A (zh) 一种基于敏感位置依赖分析的变电设备缺陷检测方法
Shinozaki et al. Detection of deterioration of furnace walls using large-scale point-clouds
Chu et al. A rendering‐based lightweight network for segmentation of high‐resolution crack images
CN110660068A (zh) 三维细胞构筑图像的半自动脑区分割方法
CN116777865A (zh) 一种水下裂缝的识别方法、系统、装置及存储介质
CN115564954A (zh) 一种染色体图像分割方法
CN114612420A (zh) 一种基于yolo算法的输电线路可见光缺陷识别方法
Kang et al. Automatic detection and classification process for concrete defects in deteriorating buildings based on image data
Ngo et al. Designing image processing tools for testing concrete bridges by a drone based on deep learning
Bao et al. Research on the detection and analysis of students’ classroom behavioral features based on deep cnns
Mykolaichuk et al. Image Segmentation in Loss Detection for Conservation and Restoration of Old Paintings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 330200 no.809 Jinsha Avenue, Xiaolan economic and Technological Development Zone, Nanchang City, Jiangxi Province

Applicant after: Jiangxi Academy of Transportation Sciences Co.,Ltd.

Applicant after: SOUTHEAST University

Address before: 330200 no.809 Jinsha Avenue, Xiaolan economic and Technological Development Zone, Nanchang City, Jiangxi Province

Applicant before: Jiangxi Transportation Research Institute

Applicant before: SOUTHEAST University

GR01 Patent grant