CN111985398A - 红外辅助双目测距方法和距离补偿热值采集方法 - Google Patents
红外辅助双目测距方法和距离补偿热值采集方法 Download PDFInfo
- Publication number
- CN111985398A CN111985398A CN202010841660.8A CN202010841660A CN111985398A CN 111985398 A CN111985398 A CN 111985398A CN 202010841660 A CN202010841660 A CN 202010841660A CN 111985398 A CN111985398 A CN 111985398A
- Authority
- CN
- China
- Prior art keywords
- target
- temperature
- area
- distance
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000000691 measurement method Methods 0.000 title claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 238000010438 heat treatment Methods 0.000 claims 5
- 238000009529 body temperature measurement Methods 0.000 abstract description 26
- 238000001514 detection method Methods 0.000 description 47
- 238000005259 measurement Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000004861 thermometry Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0066—Radiation pyrometry, e.g. infrared or optical thermometry for hot spots detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radiation Pyrometers (AREA)
- Closed-Circuit Television Systems (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明涉及一种红外辅助双目测距方法和距离补偿热值采集方法,红外辅助双目测距方法包括:采集红外图像,并根据红外图像确定高温危险区域;采集包含高温危险区域的双目图像,作为目标区域;根据目标区域和高温危险区域,确定双目图像的目标感兴趣区域,实现目标分割;根据目标分割结果计算双目目标中心位置;根据双目目标中心位置计算目标视差;依据距离‑视差模型计算目标距离。距离补偿热值采集方法根据得到的目标距离及高温危险区域的初始温度,依据距离‑温度模型计算目标温度。本发明的测距方法较传统方法测量精度高,使用领域宽,测量稳定性好。通过测得的精确距离补偿高温危险区域的温度测量结果,提高目标温度测量的精准度和稳定性。
Description
技术领域
本发明属于变电站热值检测技术领域,具体涉及一种应用于变电站热值检测的红外辅助双目测距方法和距离补偿热值采集方法。
背景技术
在电力系统中,往往由于设备温度发生异常而导致不必要的故障。因此通过监测电力设备的各种温度状态变化,可以对设备的故障做出诊断。在变电站里露天安置着各种变电设备,其中刀闸触头、接线排、开关等部件需要进行实时且精确的温度监控,当检测点温度超出某设定值时给予报警,使电力人员及时发现、跟踪、排除故障,确保电力设备安全运行。
红外测温法因其非接触、面测量等优点广泛应用于区域测温领域。目前常用的电力设备测温方法都是红外测温法,比如,利用红外点温仪、红外热电视、红外热像仪,以及红外摄像机等仪器进行温度测量。但常规红外测温方法的测量结果受被测对象的距离影响,距离越远,高温值越低,因此需要距离补偿;而常规的测距方法受环境光照、温湿度等影响太大,造成测距结果不准确,进而影响通过距离补偿的红外测温方法得到的温度的准确性。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种应用于变电站热值检测的红外辅助双目测距方法和距离补偿热值采集方法。
本发明要解决的技术问题通过以下技术方案实现:
本发明的第一方面,提供了一种红外辅助双目测距方法,包括:
采集红外图像,并根据红外图像确定高温危险区域;
采集包含所述高温危险区域的双目图像,作为目标区域;
根据所述目标区域和所述高温危险区域,确定所述双目图像的目标感兴趣区域,实现目标分割;
根据目标分割结果计算双目目标中心位置;
根据所述双目目标中心位置计算目标视差;
依据距离-视差模型计算目标距离。
在本发明提供的一种实施例中,所述根据所述目标区域和所述高温危险区域,确定所述双目图像的目标感兴趣区域,实现目标分割,包括:
根据所述目标区域和所述高温危险区域,找到目标扩展区域;所述目标扩展区域包含所述目标区域;
根据目标有限集合尺度关系,找出最大目标扩展区域;所述最大目标扩展区域包含所述高温危险区域和所述目标区域;
将所述最大目标扩展区域作为双目图像的目标感兴趣区域,实现目标分割。
在本发明提供的一种实施例中,所述根据目标分割结果计算双目目标中心位置,包括:根据左目图像的目标感兴趣区域确定Il确定左目图像的目标感兴趣区域的几何中心坐标(xcl,ycl);
根据右目图像的目标感兴趣区域Ir确定右目图像的目标感兴趣区域的几何中心坐标(xcr,ycr)。
在本发明提供的一种实施例中,所述根据所述双目目标中心位置计算目标视差,包括:
根据所述左目图像的目标感兴趣区域的几何中心坐标(xcl,ycl)和所述右目图像的目标感兴趣区域的几何中心坐标(xcr,ycr),通过下面的目标视差公式计算得到双目图像目标感兴趣区域的目标视差Δ:
Δ=sqrt[(xcl-xcr)2+(ycl-ycr)2]。
在本发明提供的一种实施例中,所述依据距离-视差模型计算目标距离,包括:
根据下面的目标视差分段线性补偿模型计算得到目标距离D:
D=kDiΔ+bDi,Δ∈[Δi,Δi+1],i=0,1,2...,n
其中,Δ为目标视差,kDi为第Di段线性模型比例系数,bDi第Di段线性模型的偏差系数,Δi为第i段线性模型起始目标视差,Δi+1第i段线性模型结束目标视差。
本发明的第二方面,提供了一种距离补偿热值采集方法,包括:
采集红外图像,并根据红外图像确定高温危险区域,并采集所述高温危险区域的初始温度;
采集包含所述高温危险区域的双目图像,作为目标区域;
根据所述目标区域和所述高温危险区域,确定所述双目图像的目标感兴趣区域,实现目标分割;
根据目标分割结果计算双目目标中心位置;
根据所述双目目标中心位置计算目标视差;
依据距离-视差模型计算目标距离;
根据所述高温危险区域的初始温度,依据距离-温度模型计算目标温度。
在本发明提供的一种实施例中,所述根据所述目标区域和所述高温危险区域,确定所述双目图像的目标感兴趣区域,实现目标分割,包括:
根据所述目标区域和所述高温危险区域,找到目标扩展区域;所述目标扩展区域包含所述目标区域;
根据目标有限集合尺度关系,找出最大目标扩展区域;所述最大目标扩展区域包含所述高温危险区域和所述目标区域;
将所述最大目标扩展区域作为双目图像的目标感兴趣区域,实现目标分割。
在本发明提供的一种实施例中,所述根据所述双目目标中心位置计算目标视差,包括:
根据所述左目图像的目标感兴趣区域的几何中心坐标(xcl,ycl)和所述右目图像的目标感兴趣区域的几何中心坐标(xcr,ycr),通过下面的目标视差公式计算得到双目图像目标感兴趣区域的目标视差Δ:
Δ=sqrt[(xcl-xcr)2+(ycl-ycr)2]。
在本发明提供的一种实施例中,所述依据距离-视差模型计算目标距离,包括:
根据下面的目标视差分段线性补偿模型计算得到目标距离D:
D=kDiΔ+bDi,Δ∈[Δi,Δi+1],i=0,1,2...,n
其中,Δ为目标视差,kDi为第Di段线性模型比例系数,bDi第Di段线性模型的偏差系数,Δi为第i段线性模型起始目标视差,Δi+1第i段线性模型结束目标视差。
在本发明提供的一种实施例中,所述根据所述高温危险区域的初始温度,依据距离-温度模型计算目标温度,包括:
根据目标距离和目标温度的关系,采用下面公式得到温度补偿值:
Δt=kiD+bi,D∈[Di,Di+1]
其中,D为目标距离,ki为第i段线性模型比例系数,bi为第i段线性模型的偏差系数,Di为第i段线性模型起始距离,Di+1为第i段线性模型结束距离;
根据所述高温危险区域的初始温度和所述温度补偿值,采用下面公式得到目标温度:
t=t0+Δt
其中,t为目标温度,t0为高温危险区域的初始温度,Δt为温度补偿值。
与现有技术相比,本发明的有益效果:
1、本发明的双目测距方法,采用红外相机辅助,当红外测温相机探测到高温目标时,白光双目相机根据红外相机确定目标感兴趣区域,以缩小检测区域,然后在目标感兴趣区域进行目标检测,最后利用双目目标偏差计算出高温目标与检测点之间的精确距离;该测距方法较传统方法测量精度高,使用领域宽,测量稳定性好。
2、本发明的距离补偿热值采集方法,在红外辅助双目测距的基础上,通过测得的精确距离补偿高温危险区域的温度测量结果,提高目标温度测量的精准度和稳定性。
附图说明
图1是本发明实施例提供的一种红外辅助双目测距方法的流程图;
图2是本发明实施例提供的一种距离补偿热值采集方法的流程图;
图3是本发明实施例提供的一种高温区域定位方法的流程图;
图4是本发明实施例提供的一种区域危险目标热值定位采集系统的结构示意图;
图5是本发明实施例提供的一种区域危险目标热值定位采集系统的位姿测控装置的电路结构示意图;
图6是本发明实施例提供的一种区域危险目标热值定位采集装置的结构示意图;
图7是本发明实施例提供的高温危险区域、双目ROI区域及在检测目标尺度之间的关系图;
图8是本发明实施例提供的双目ROI区域和在检测目标尺度之间的关系图;
图9是本发明实施例提供的目标和检测装置之间的位置关系图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
实施例一
请参见图1,图1是本发明实施例提供的一种红外辅助双目测距方法的流程图,本发明实施例的双目测距方法,包括:
S101、采集红外图像,并根据红外图像确定高温危险区域。
红外图像由红外相机采集得到,红外相机包括红外热像仪,红外摄像机等;红外相机设置于检测设备上,对变电站电力设备的温度情况实时监测;当监测到区域温度高于设定正常温度阈值时,该区域被认定为高温危险区域。
在本发明的实施例中,除红外相机外,还包括两个白光相机,两个白光相机和红外相机组成的三目相机在检测设备上安装时设置在同一水平位置,以使三目相机调成平行光轴,使得三个相机的图像信息可以共享。
S102、采集包含高温危险区域的双目图像,作为目标区域。
当红外相机探测到高温目标时,左目相机和右目相机分别采集包含高温目标所对应的左目图像和右目图像,作为左目图像的目标区域和右目图像的目标区域。
S103、根据目标区域和高温危险区域,确定双目图像的目标感兴趣区域,实现目标分割。
作为一种实施方式,该步骤可以包括以下细化步骤:
S1031、根据目标区域和高温危险区域,找到目标扩展区域;目标扩展区域包含双目图像的目标区域;
S1032、根据目标有限集合尺度关系,找出最大目标扩展区域;最大目标扩展区域包含高温危险区域和目标区域。
需要说明的是,目标有限集合尺度关系是指在视场区域内,所包含的目标个数是有限的,每一个目标的尺度也是有限的,即下面公式所定义的约束:
S1033、将最大目标扩展区域作为双目图像的目标感兴趣区域,实现目标分割。
S104、根据目标分割结果计算双目目标中心位置。
作为一种实施方式,该步骤可以具体为:
根据目标分割结果得到的左目图像的目标感兴趣区域Il确定左目图像的目标感兴趣区域的几何中心坐标(xcl,ycl);以及根据右目图像的目标感兴趣区域Ir确定右目图像的目标感兴趣区域的几何中心坐标(xcr,ycr)。
需要说明的是,目标感兴趣区域的几何中心是根据提取目标计算出的,包含在最大目标扩展之中,但和区域中心不同,其坐标取决于目标在最大目标扩展区域中的位置。
S105、根据双目目标中心位置计算目标视差。
作为一种实施方式,该步骤可以具体为:
根据左目图像目标感兴趣区域Il和右目图像目标感兴趣区域Ir的目标j几何中心坐标(xcl,ycl)和(xcr,ycr),通过下面的目标视差公式计算得到双目图像目标感兴趣区域的目标视差:
Δ=sqrt[(xcl-xcr)2+(ycl-ycr)2]
S106、依据距离-视差模型计算目标距离。
作为一种实施方式,该步骤可以具体为:
根据下面的目标视差分段线性补偿模型计算得到目标距离D:
D=kDiΔ+bDi,Δ∈[Δi,Δi+1],i=0,1,2...,n
其中,Δ为目标视差,kDi为第Di段线性模型比例系数,bDi第Di段线性模型的偏差系数,Δi为第i段线性模型起始目标视差,Δi+1第i段线性模型结束目标视差。
该目标距离即为红外相机确定的高温危险区域与包含三目相机的检测设备之间的距离。
本发明实施例的双目测距方法采用红外相机辅助,当红外测温相机探测到高温目标时,白光相机根据红外相机确定目标感兴趣区域(ROI),以缩小检测区域,然后在ROI中进行目标检测,最后利用双目目标偏差计算出高温目标与检测点之间的精确距离。该测距方法较传统方法测量精度高,使用领域宽,测量稳定性好;避免常规测距方法受环境光照、温湿度等因素影响太大的问题。
实施例二
请参见图2,图2是本发明实施例提供的一种距离补偿热值采集方法的流程图;本发明实施例的热值采集方法,包括:
S201、采集红外图像,并根据红外图像确定高温危险区域,并采集高温危险区域的初始温度。
红外图像由红外相机采集得到,红外相机包括红外热像仪,红外摄像机等;红外相机设置于检测设备上,对变电站电力设备的温度情况实时监测;当监测到区域温度高于设定正常温度阈值时,该区域被认定为高温危险区域,并提取出该高温危险区域的温度值作为初始温度值。
在本发明的实施例中,除红外相机外,还包括两个白光相机,两个白光相机和红外相机组成的三目相机在检测设备上安装时设置在同一水平位置,以使三目相机调成平行光轴,使得三个相机的图像信息可以共享。
S202、根据高温危险区域确定双目图像的目标区域。
当红外相机探测到高温目标时,左目相机和右目相机分别采集包含高温目标所对应的左目图像和右目图像,作为左目图像的目标区域和右目图像的目标区域。
S203、根据双目图像的目标区域和高温危险区域,确定双目图像的目标感兴趣区域,实现目标分割。
作为一种实施方式,该步骤可以包括以下细化步骤:
S2031、根据双目图像的目标区域和高温危险区域,找到目标扩展区域;目标扩展区域包含双目图像的目标区域。
S2032、根据目标有限集合尺度关系,找出最大目标扩展区域;最大目标扩展区域包含高温危险区域和目标区域。
需要说明的是,目标有限集合尺度关系是指在视场区域内,所包含的目标个数是有限的,每一个目标的尺度也是有限的,即下面公式所定义的约束:
S2033、将最大目标扩展区域作为双目图像的目标感兴趣区域,实现目标分割。
S204、根据目标分割结果计算双目目标中心位置。
作为一种实施方式,该步骤可以具体为:
根据目标分割结果得到的左目图像的目标感兴趣区域Il确定左目图像的目标感兴趣区域的几何中心坐标(xcl,ycl);以及根据右目图像的目标感兴趣区域Ir确定右目图像的目标感兴趣区域的几何中心坐标(xcr,ycr)。
需要说明的是,目标感兴趣区域的几何中心是根据提取目标计算出的,包含在最大目标扩展之中,但和区域中心不同,其坐标取决于目标在最大目标扩展区域中的位置。
S205、根据双目目标中心位置计算目标视差。
作为一种实施方式,该步骤可以具体为:
根据左目图像目标感兴趣区域Il和右目图像目标感兴趣区域Ir的目标j几何中心坐标(xcl,ycl)和(xcr,ycr),通过下面的目标视差公式计算得到双目图像目标感兴趣区域的目标视差:
Δ=sqrt[(xcl-xcr)2+(ycl-ycr)2]
S206、依据距离-视差模型计算目标距离。
作为一种实施方式,该步骤可以具体为:
根据下面的目标视差分段线性补偿模型计算得到目标距离D:
D=kDiΔ+bDi,Δ∈[Δi,Δi+l],i=0,1,2...,n
其中,Δ为目标视差,kDi为第Di段线性模型比例系数,bDi第Di段线性模型的偏差系数,Δi为第i段线性模型起始目标视差,Δi+1第i段线性模型结束目标视差。
该目标距离即为红外相机确定的高温危险区域与包含三目相机的检测设备之间的距离。
S207、根据高温危险区域的初始温度,依据距离-温度模型计算目标温度。
作为一种实施方式,该步骤可以包括以下细化步骤:
S2071、根据目标距离和目标温度的关系,采用公式Δt=kiD+bi,D∈[Di,Di+1],得到温度补偿值;其中,D为目标距离,ki为第i段线性模型比例系数,bi为第i段线性模型的偏差系数,Di为第i段线性模型起始距离,Di+1为第i段线性模型结束距离;
S2072、根据高温危险区域的初始温度和温度补偿值,采用公式t=t0+Δt,得到目标温度;其中,t为目标温度,t0为高温危险区域的初始温度,Δt为温度补偿值。
该目标温度t即为高温危险区域的精确温度。
本发明实施例提供的热值采集方法,在红外相机测温的基础上,配合两个白光相机,当红外测温相机探测到高温目标时,白光相机根据红外相机确定ROI,以缩小检测区域,然后在ROI中进行目标检测,最后利用双目目标偏差计算出高温目标与检测点之间的精确距离;进而通过该精确距离补偿红外相机对高温危险区域的温度测量结果,提高测温的精度和稳定性。
实施例三
请参见图1,图1是本发明实施例提供的一种高温危险区域定位方法的流程图;本实施例的高温危险区域定位方法,包括:
S301、将双目相机和红外相机安装在同一检测装置的云台上,并调成平行光轴;双目相机和红外相机随云台的转动产生光轴俯仰角和旋转角。
S302、红外相机采集红外图像,并根据红外图像确定高温危险区域;采集此时光轴的俯仰角和旋转角。
S303、双目相机采集包含高温危险区域的双目图像,作为目标区域。
S304、根据目标区域和高温危险区域,确定双目图像的目标感兴趣区域,实现目标分割。
S305、根据目标分割结果计算双目目标中心位置。
S306、根据双目目标中心位置计算目标视差。
S307、依据距离-视差模型计算目标距离。
S308、根据俯仰角、旋转角和目标距离计算得到目标坐标值。
S309、根据检测装置的物理坐标和目标坐标值计算得到目标的物理位置,实现高温危险区域定位。
需要说明的是,步骤S301-S307计算目标距离的具体方法与上述实施例相同,在此不再赘述。对步骤S308-S309进行具体说明如下:
S308、根据俯仰角、旋转角和目标距离计算得到目标坐标值。
作为一种实施方式,该步骤可以具体为:
根据俯仰角、旋转角和目标距离,采用下式计算得到目标坐标值(x1,y1,z1):
其中,D为目标距离,α为俯仰角,β为旋转角。
S309、根据检测装置的物理坐标和目标坐标值计算得到目标的物理位置,实现高温危险区域定位。
作为一种实施方式,该步骤可以具体为:
设检测装置物理坐标为(x0,y0,z0),根据目标坐标值(x1,y1,z1)通过下式计算得到目标在物理世界中的坐标(x,y,z):
通过计算目标在物理世界中的坐标,实现高温危险区域的精准定位。
本发明实施例提供的高温危险区域定位方法,采用红外相机辅助的双目测距方法,当红外测温相机探测到高温目标时,白光相机根据红外相机确定目标感兴趣区域,以缩小检测区域,然后在目标感兴趣区域中进行目标检测,最后利用双目目标偏差计算出高温目标与检测点之间的精确距离;该测距方法较传统方法测量精度高,使用领域宽,测量稳定性好;通过该方法测得的目标精确距离,结合三目相机的俯仰角和旋转角,得到高温危险区域的精确坐标值,再接合监测装置的物理坐标进而实现高温危险区域的精准定位。
实施例四
请参见图4,图4是本发明实施例提供的一种区域危险目标热值定位采集系统的结构示意图;本实施例的区域危险目标热值定位采集系统,包括:
测距测温模块,包括双目相机(左目相机和右目相机)、红外相机和图像处理装置;双目相机和红外相机安装在同一检测装置的云台上,并调成平行光轴;图像处理装置分别与双目相机和红外相机连接;图像处理装置根据双目相机和红外相机采集的图像识别目标,并测出目标距离。
位姿测控模块,包括云台电机、编码器和位姿测控装置;云台电机和编码器分别与位姿测控装置连接;云台电机还与云台连接,用于根据位姿测控装置的控制调节云台的角度,以使双目相机和红外相机产生光轴俯仰角和旋转角;编码器用于测量俯仰角和旋转角并将俯仰角和旋转角反馈给位姿测控装置。
具体地,云台电机可设置两台,第一云台电机为俯仰电机,第二云台电机为水平电机;俯仰电机和水平电机分别受位姿测控装置的控制调节云台在垂直方向上和水平方向上转动的角度,以达到调节三目相机光轴的俯仰角和旋转角的目的。相应地,编码器也需设置两台,第一编码器云台的俯仰运动轴上,第二编码器安装在云台的水平运动轴上;两台编码器随着云台相应的运动可以测量出三目相机光轴的俯仰角和旋转角;该角度信息被编码器反馈给位姿测控装置,再进一步反馈给图像处理装置。位姿测控装置的电路结构示意图如图5所示。
图像处理装置和位姿测控装置连接,图像处理装置根据目标距离、红外相机采集的目标初始温度,依据距离-温度模型计算目标温度;并根据目标距离、俯仰角和旋转角和检测装置的物理坐标得到目标的物理位置,实现热值点的定位。
需要说明的是,本实施例中,图像处理装置根据双目相机和红外相机采集的图像识别目标,并测出目标距离,其具体方法可以与实施例一中的采用红外辅助双目测距方法相同;因此,本实施例图像处理装置具体测距方法不再赘述。
图像处理装置根据目标距离、红外相机采集的目标初始温度,依据距离-温度模型计算目标温度,其具体方法可以与实施例二中的通过距离补偿的热值采集方法相同;因此,本实施例图像处理装置具体测温方法不再赘述。
根据目标距离、俯仰角和旋转角和检测装置的物理坐标得到目标的物理位置,实现热值点的定位,其具体方法可以与实施例三中的高温危险区域定位方法相同;因此,本实施例图像处理装置对高温危险区域的具体定位方法不再赘述。
本发明实施例提供的区域危险目标热值定位采集系统,图像处理装置可通过RS485及以太网总线与上位机连接并通信,可以通过上位机根据检测者的需要手动选择某一区域进行测距、测温以及定位,也可以在红外相机识别出高温危险区域时系统启动对高温危险区域的自动测距、测温以及定位。
本发明实施例提供的区域危险目标热值定位采集系统,利用红外相机检测目标温度,根据温度值来判断设备当前状态,根据区域温度分布,来找出高温点,对接近超温或已经超温的设备作为危险点进行定位,并评价其危险性;根据某一个设备温度变化历史,来估计其未来发展趋势,对设备运行状态可以进行预测。
实施例五
请参见图6,图6是本发明实施例提供的一种区域危险目标区域危险目标热值定位采集装置的结构示意图;本发明实施例的区域危险目标区域危险目标热值定位采集装置,采用串联式结构,从上至下依次包括:云台100、俯仰角度调节装置200、水平角度调节装置300、控制仓400,控制仓400下面还可以设置有与控制仓固定连接的底座500。
云台100上设置有双目相机和红外相机103,双目相机可由左目相机101和右目相机102两个白光相机构成,红外相机103可以为任意利用红外测温成像原理的装置;两个白光相机和红外相机103组成的三目相机在检测装置上安装时设置在同一水平位置,以使三目相机调成平行光轴,使得三个相机的图像信息可以共享。为了提高采集图像的效果,在云台100上还可以设置有补光灯104,具体地,补光灯可设置在三目相机的上方,并于三目相机光轴在垂直方向上平行。
俯仰角度调节装置200设置于云台100下方,并与云台100连接,用于调节云台100的俯仰角。水平角度调节装置300设置于俯仰角度调节装置200的下方,并与俯仰角度调节装置200连接,用于调节云台100的旋转角。云台100转动调节三个相机光轴的方向角。俯仰角度调节装置200包含俯仰电机,水平角度调节装置300包括水平电机,以分别调整光轴的俯仰角度和旋转角度;俯仰角度调节装置200和水平角度调节装置300的运动轴上分别安装有一个高精度编码器,可以测量出调节角度。
控制仓400内设置有控制系统,该控制系统如上述实施例四的区域危险目标热值定位采集系统。
位姿测控装置控制俯仰电机和水平电机转动,以调节云台上三目相机的俯仰角和旋转角,俯仰角和旋转角的具体角度值通过编码器测量出,并反馈给位姿测控装置,位姿测控装置再将这两个角度值反馈给图像处理装置。
图像处理装置与上位机连接并通信,图像处理装置接收上位机的控制命令,控制左目相机、右目相机和红外相机随着自身的转动采集设备不同方位的图像,并通过红外相机采集的红外图像实时显示区域的温度值;图像处理装置可根据其内部设置的算法计算红外相机识别出的高温危险区域的目标距离(如实施例一),并通过温度距离补偿模型计算出高温危险区域的精准温度(如实施例二),同时还可以根据目标距离、位姿测控装置反馈的云台的俯仰角和旋转角,以及检测装置的物理坐标得到目标的物理位置,实现热值点的定位(如实施例三)。
需要说明的是,通过本发明的实施例提供的方案,可以对变电站场域的任意设备的任意热源点实现测距、测温以及定位;既可以通过上位机根据检测者的需要手动选择某一区域进行测距、测温以及定位,也可以在红外相机识别出高温危险区域时系统启动对高温危险区域的自动测距、测温以及定位。
本发明的实施例提供的方案,对于给定的场域,检测设备通过调节俯仰角和旋转角可以连续检测整个场域,并将检测结果和场域三维地图统一起来,得到整个场域的温度分布,根据实际检测值和正常值的偏差,以及偏差分布来评判来评判整个场域设备运行状况,当目标温度接近临界点时,视为危险点,需要精确定位、重点关注,并及时上报给上位系统。
实施例六
本实施例对测距、测温以及定位的原理及方法进行详细描述。
左目相机、右目相机两个白光相机和一个红外相机组成的三目相机在安装时调成平行光轴,使三个相机图像信息可以共享,当红外测温相机探测到高温目标时,白光相机根据红外相机确定目标感兴趣区域(ROI),以缩小检测区域,然后再ROI中进行目标检测,然后利用双目目标偏差计算目标距离。
具体地,设红外相机检测到的高温危险区域为Wt,在检测目标尺度为WO,左相机检测ROI区域为Wl,右相机检测ROI区域为Wr,α为红外相机和白光相机视场角比例系数。在最小检测距离外,Wt和其他三个区域之间的关系为:
即Wt包含在其他三个区域内,其关系示例如图7所示。图7(a)是Wt和Wo关系图,图7(b)是Wt和Wl关系图,图7(c)是Wt和Wr关系图;从图中可以直观看出四个区域之间的关系。
一般而言,WO,Wl,Wr均为目标的最小包络矩形,因此三者之间的关系为:
即双目ROI区域和目标区域相并的尺度不小于二者的最大尺度,三者之间的关系如下图8所示。从图8中可以直观看出双目ROI和目标区域之间的关系。
根据上述定义,双目ROI区域和目标区域二者之间存在尺度的关联性和差异性,存在关联性是因为二者光轴平行且针对同一个目标,存在差异性是因为三个相机的光轴并不重合,且目标在红外相机和白光相机中的特征不同。
设WO,Wl,Wr分别定义为:
Wo=rect(xo,yo,wo,ho) (3)
Wl=rect(xl,yl,wl,hl) (4)
Wr=rect(xr,yr,wr,hr) (5)
Δ=sqrt[(xcl-xcr)2+(ycl-ycr)2] (9)
根据视差Δ和距离D之间的关系,可以计算出目标距离,本发明采用分段线性补偿模型计算距离,即:
D=kDiΔ+bDi,Δ∈[Δi,Δi+1],i=0,1,2...,n (10)
在得到距离后,通过比较实验,或通过黑体校准,可以测出目标距离D和目标温度之间的关系。根据实验,温度变化和距离呈三次函数关系,为了简化补偿,这里采用多点线性拟合方法进行温度修正。
Δt=kiD+bi,D∈[Di,Di+1] (11)
t=t0+Δt (12)
下面对目标物理位置的确定进行说明:
检测装置根据两个转角、目标距离确定被测目标相对于检测装置的相对坐标。设目标和检测装置之间的位置关系如图9所示。
设目标双目检测距离为目标距离D,则目标坐标值为:
其中,α为俯仰角,β为旋转角。
当检测装置物理坐标为(x0,y0,z0),根据上式结果,目标在物理世界中的坐标(x,y,z)为:
通过以上原理和方法实现场域的测距、测温和定位。
本发明实施例提供的方案,是面向变电站设备工作状态实时检测、评判,实现目标区域状态检测、危险点温度检测、危险点定位、危险点状态评估和预测等的智能化在线检测设备,为变电站工作状态评估提供新的检测设备和手段。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种红外辅助双目测距方法,其特征在于,包括:
采集红外图像,并根据红外图像确定高温危险区域;
采集包含所述高温危险区域的双目图像,作为目标区域;
根据所述目标区域和所述高温危险区域,确定所述双目图像的目标感兴趣区域,实现目标分割;
根据目标分割结果计算双目目标中心位置;
根据所述双目目标中心位置计算目标视差;
依据距离-视差模型计算目标距离。
2.根据权利要求1所述的红外辅助双目测距方法,其特征在于,所述根据所述目标区域和所述高温危险区域,确定所述双目图像的目标感兴趣区域,实现目标分割,包括:
根据所述目标区域和所述高温危险区域,找到目标扩展区域;所述目标扩展区域包含所述目标区域;
根据目标有限集合尺度关系,找出最大目标扩展区域;所述最大目标扩展区域包含所述高温危险区域和所述目标区域;
将所述最大目标扩展区域作为双目图像的目标感兴趣区域,实现目标分割。
3.根据权利要求2所述的红外辅助双目测距方法,其特征在于,所述根据目标分割结果计算双目目标中心位置,包括:
根据左目图像的目标感兴趣区域确定Il确定左目图像的目标感兴趣区域的几何中心坐标(xcl,ycl);
根据右目图像的目标感兴趣区域Ir确定右目图像的目标感兴趣区域的几何中心坐标(xcr,ycr)。
4.根据权利要求3所述的红外辅助双目测距方法,其特征在于,所述根据所述双目目标中心位置计算目标视差,包括:
根据所述左目图像的目标感兴趣区域的几何中心坐标(xcl,ycl)和所述右目图像的目标感兴趣区域的几何中心坐标(xcr,ycr),通过下面的目标视差公式计算得到双目图像目标感兴趣区域的目标视差Δ:
Δ=sqrt[(xcl-xcr)2+(ycl-ycr)2]。
5.根据权利要求4所述的红外辅助双目测距方法,其特征在于,所述依据距离-视差模型计算目标距离,包括:
根据下面的目标视差分段线性补偿模型计算得到目标距离D:
D=kDiΔ+bDi,Δ∈[Δi,Δi+1],i=0,1,2...,n
其中,Δ为目标视差,kDi为第Di段线性模型比例系数,bDi第Di段线性模型的偏差系数,Δi为第i段线性模型起始目标视差,Δi+1第i段线性模型结束目标视差。
6.一种距离补偿热值采集方法,其特征在于,包括:
采集红外图像,并根据所述红外图像确定高温危险区域,并采集所述高温危险区域的初始温度;
采集包含所述高温危险区域的双目图像,作为目标区域;
根据所述目标区域和所述高温危险区域,确定所述双目图像的目标感兴趣区域,实现目标分割;
根据目标分割结果计算双目目标中心位置;
根据所述双目目标中心位置计算目标视差;
依据距离-视差模型计算目标距离;
根据所述高温危险区域的初始温度,依据距离-温度模型计算目标温度。
7.根据权利要求6所述的距离补偿热值采集方法,其特征在于,所述根据所述目标区域和所述高温危险区域,确定所述双目图像的目标感兴趣区域,实现目标分割,包括:
根据所述目标区域和所述高温危险区域,找到目标扩展区域;所述目标扩展区域包含所述目标区域;
根据目标有限集合尺度关系,找出最大目标扩展区域;所述最大目标扩展区域包含所述高温危险区域和所述目标区域;
将所述最大目标扩展区域作为双目图像的目标感兴趣区域,实现目标分割。
8.根据权利要求7所述的距离补偿热值采集方法,其特征在于,所述根据所述双目目标中心位置计算目标视差,包括:
根据所述左目图像的目标感兴趣区域的几何中心坐标(xcl,ycl)和所述右目图像的目标感兴趣区域的几何中心坐标(xcr,ycr),通过下面的目标视差公式计算得到双目图像目标感兴趣区域的目标视差Δ:
Δ=sqrt[(xcl-xcr)2+(ycl-ycr)2]。
9.根据权利要求8所述的距离补偿热值采集方法,其特征在于,所述依据距离-视差模型计算目标距离,包括:
根据下面的目标视差分段线性补偿模型计算得到目标距离D:
D=kDiΔ+bDi,Δ∈[Δi,Δi+1],i=0,1,2...,n
其中,Δ为目标视差,kDi为第Di段线性模型比例系数,bDi第Di段线性模型的偏差系数,Δi为第i段线性模型起始目标视差,Δi+1第i段线性模型结束目标视差。
10.根据权利要求9所述的距离补偿热值采集方法,其特征在于,所述根据所述高温危险区域的初始温度,依据距离-温度模型计算目标温度,包括:
根据目标距离和目标温度的关系,采用下面公式得到温度补偿值:
Δt=kiD+bi,D∈[Di,Di+1]
其中,D为目标距离,ki为第i段线性模型比例系数,bi为第i段线性模型的偏差系数,Di为第i段线性模型起始距离,Di+1为第i段线性模型结束距离;
根据所述高温危险区域的初始温度和所述温度补偿值,采用下面公式得到目标温度:
t=t0+Δt
其中,t为目标温度,t0为高温危险区域的初始温度,Δt为温度补偿值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010841660.8A CN111985398B (zh) | 2020-08-20 | 2020-08-20 | 红外辅助双目测距方法和距离补偿热值采集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010841660.8A CN111985398B (zh) | 2020-08-20 | 2020-08-20 | 红外辅助双目测距方法和距离补偿热值采集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111985398A true CN111985398A (zh) | 2020-11-24 |
CN111985398B CN111985398B (zh) | 2023-11-28 |
Family
ID=73442320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010841660.8A Active CN111985398B (zh) | 2020-08-20 | 2020-08-20 | 红外辅助双目测距方法和距离补偿热值采集方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111985398B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112509010A (zh) * | 2020-12-30 | 2021-03-16 | 东莞市鑫泰仪器仪表有限公司 | 红外成像仪多目标追踪方法及系统 |
CN114943774A (zh) * | 2022-04-08 | 2022-08-26 | 杭州键嘉机器人有限公司 | 一种红外双目相机温度补偿计算方法 |
CN116958216A (zh) * | 2023-07-25 | 2023-10-27 | 南京航空航天大学 | 一种基于特征点距离估计的多光谱图像通道间配准方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008026998A (ja) * | 2006-07-18 | 2008-02-07 | Sumitomo Electric Ind Ltd | 障害物位置算出システム、及び障害物位置算出方法 |
JP2013127416A (ja) * | 2011-12-19 | 2013-06-27 | Ricoh Co Ltd | 測距装置、測距システム、測距プログラムおよび視差補正方法 |
US20130235163A1 (en) * | 2010-07-05 | 2013-09-12 | Hoon Joo | Camera system for three-dimensional thermal imaging |
CN104902182A (zh) * | 2015-05-28 | 2015-09-09 | 努比亚技术有限公司 | 一种实现连续自动对焦的方法和装置 |
CN107941342A (zh) * | 2017-10-19 | 2018-04-20 | 上海电力学院 | 综合距离及视角的电力巡检机器人红外测温装置及方法 |
CN109300161A (zh) * | 2018-10-24 | 2019-02-01 | 四川阿泰因机器人智能装备有限公司 | 一种基于双目视觉的定位方法及装置 |
CN110765877A (zh) * | 2019-09-20 | 2020-02-07 | 南京理工大学 | 基于热像仪和双目相机的行人检测方法及系统 |
CN110889455A (zh) * | 2019-12-02 | 2020-03-17 | 西安科技大学 | 一种化工园巡检机器人的故障检测定位及安全评估方法 |
CN111310692A (zh) * | 2020-02-25 | 2020-06-19 | 云从科技集团股份有限公司 | 一种检测对象管理方法、系统、机器可读介质及设备 |
-
2020
- 2020-08-20 CN CN202010841660.8A patent/CN111985398B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008026998A (ja) * | 2006-07-18 | 2008-02-07 | Sumitomo Electric Ind Ltd | 障害物位置算出システム、及び障害物位置算出方法 |
US20130235163A1 (en) * | 2010-07-05 | 2013-09-12 | Hoon Joo | Camera system for three-dimensional thermal imaging |
JP2013127416A (ja) * | 2011-12-19 | 2013-06-27 | Ricoh Co Ltd | 測距装置、測距システム、測距プログラムおよび視差補正方法 |
CN104902182A (zh) * | 2015-05-28 | 2015-09-09 | 努比亚技术有限公司 | 一种实现连续自动对焦的方法和装置 |
CN107941342A (zh) * | 2017-10-19 | 2018-04-20 | 上海电力学院 | 综合距离及视角的电力巡检机器人红外测温装置及方法 |
CN109300161A (zh) * | 2018-10-24 | 2019-02-01 | 四川阿泰因机器人智能装备有限公司 | 一种基于双目视觉的定位方法及装置 |
CN110765877A (zh) * | 2019-09-20 | 2020-02-07 | 南京理工大学 | 基于热像仪和双目相机的行人检测方法及系统 |
CN110889455A (zh) * | 2019-12-02 | 2020-03-17 | 西安科技大学 | 一种化工园巡检机器人的故障检测定位及安全评估方法 |
CN111310692A (zh) * | 2020-02-25 | 2020-06-19 | 云从科技集团股份有限公司 | 一种检测对象管理方法、系统、机器可读介质及设备 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112509010A (zh) * | 2020-12-30 | 2021-03-16 | 东莞市鑫泰仪器仪表有限公司 | 红外成像仪多目标追踪方法及系统 |
CN114943774A (zh) * | 2022-04-08 | 2022-08-26 | 杭州键嘉机器人有限公司 | 一种红外双目相机温度补偿计算方法 |
CN114943774B (zh) * | 2022-04-08 | 2023-06-09 | 杭州键嘉医疗科技股份有限公司 | 一种红外双目相机温度补偿计算方法 |
CN116958216A (zh) * | 2023-07-25 | 2023-10-27 | 南京航空航天大学 | 一种基于特征点距离估计的多光谱图像通道间配准方法 |
CN116958216B (zh) * | 2023-07-25 | 2024-05-28 | 南京航空航天大学 | 一种基于特征点距离估计的多光谱图像通道间配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111985398B (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111982300B (zh) | 区域危险目标热值定位采集系统和装置 | |
CN111985398B (zh) | 红外辅助双目测距方法和距离补偿热值采集方法 | |
CN106125744B (zh) | 基于视觉伺服的变电站巡检机器人云台控制方法 | |
CN112326039B (zh) | 一种光伏电站巡检辅助系统 | |
CN201522266U (zh) | 一种计算机双目视觉义齿扫描装置 | |
CN107941342A (zh) | 综合距离及视角的电力巡检机器人红外测温装置及方法 | |
CN102445323B (zh) | 一种基于图像处理的定日镜故障诊断方法及系统 | |
CN107764405A (zh) | 基于激光测距及视角补偿的电力巡检机器人红外测温装置 | |
CN112129483B (zh) | 一种基于烧蚀后退量补偿的烧蚀地面模拟试验装置及方法 | |
CN114894091B (zh) | 一种双目视觉测距功能的线路监控装置及系统 | |
CN103616897B (zh) | 双视场热像仪智能控制系统及方法 | |
CN104457570B (zh) | 一种铸坯位置测量方法 | |
CN108188835A (zh) | 基于机器视觉的数控机床主轴热伸长测试装置及测试方法 | |
CN111932558B (zh) | 高温危险区域定位方法 | |
CN113865712A (zh) | 一种jp电气柜温度监测系统 | |
Yao et al. | An image-based online monitoring system for pantograph wear and attitude | |
CN207351557U (zh) | 基于激光测距及视角补偿的电力巡检机器人红外测温装置 | |
CN207408000U (zh) | 综合距离及视角的电力巡检机器人红外测温装置 | |
CN115797998A (zh) | 一种基于图像融合的双波段智能测温装置和智能测温方法 | |
CN116772744B (zh) | 一种基于激光测距和视觉融合的3d扫描装置及其方法 | |
CN115526939A (zh) | 一种非接触高压分合电闸视频监测的三维角度标定系统 | |
CN101865661A (zh) | 螺旋桨桨叶螺距的自动测量新方法 | |
CN105628338B (zh) | 一种红外导引头全视场视线误差标校方法 | |
CN117419640A (zh) | 基于双目立体视觉的空间点三维坐标测量方法 | |
CN113959317A (zh) | 一种位移传感器装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |