CN113313659B - 一种多机协同约束下高精度图像拼接方法 - Google Patents
一种多机协同约束下高精度图像拼接方法 Download PDFInfo
- Publication number
- CN113313659B CN113313659B CN202110450860.5A CN202110450860A CN113313659B CN 113313659 B CN113313659 B CN 113313659B CN 202110450860 A CN202110450860 A CN 202110450860A CN 113313659 B CN113313659 B CN 113313659B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- pixel
- splicing
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000009499 grossing Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 6
- 238000007689 inspection Methods 0.000 abstract description 3
- 230000007704 transition Effects 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000746 purification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多机协同约束下高精度图像拼接方法,其从多机协同控制角度出发,基于多无人机的空间位姿信息,构建多尺度多视角图像拼接模型。针对单一单应性矩阵存在重影、像素断裂等现象,提出自适应单应性矩阵方法改善拼接效果。对于同一重叠区域模糊和拼接后色彩不一致问题,采用加权平滑算法,通过权值分配实现重叠部分图像平滑过渡,有效解决拼接重合附近的色差问题。利用自备航拍数据集进行算法性能验证,实验结果表明,本发明所提方法具有良好的拼接性能,配准精度明显提高,满足多机协同巡视飞行过程中对多尺度多视角航拍图像拼接高实时性及高精度的要求。
Description
技术领域
本发明涉及图像数据处理技术领域,尤其涉及一种多机协同约束下高精度图像拼接方法。
背景技术
图像拼接是将同一场景中存在重叠区域的多张图像组合成一幅宽视野、高分辨率完整图像的过程。目前常用的图像配准方法包括基于图像灰度、基于变换域和基于特征的方法。其中基于特征的匹配方法应用较为广泛,包括基本的HOG(Histogram of OrientedGradients,方向梯度直方图)特征、SIFT(Scale-Invariant Feature Transform,尺度不变特征变换)算法、SURF(Speeded Up Robust Features,加速鲁棒性特征)算法及ORB(Oriented FAST and Rotated BRIEF,快速特征点提取和描述算法)等改进算法。而HOG特征对图像几何和光学形变具有不变性、鲁棒性强,但实时性差、对噪点敏感,且对于遮挡问题处理比较困难;SIFT算法鲁棒性强、可靠性高,但计算量大,不能满足拼接实时性需求;SURF算法匹配速度快、运行效率高,但在尺度不变性、旋转不变性等性能上表现不够理想;ORB算法计算速度快,其运行时间远远优于SIFT和SURF,实时性性能良好,且对于噪声及其透视变换具有不变性。并且专利CN105869120A中公开了一种图像拼接的实时性优化方法,其通过锁定重叠区域以减少特征点的搜索范围,提升拼接速度,该方法注重拼接的高实时性,但拼接质量不高。专利CN108921780A公开了一种无人机航拍序列图像快速拼接方法,该方法稳定性好且冗余信息低,但图像细节信息易丢失,不利于生成高精度拼接结果图。
由于相机视角有限且环境复杂,难以实时获取高分辨率、综合性广域结果图,而利用多架无人机搭载多模传感器协同巡视任务区域能大幅提高巡视效率,但使用无人机巡视时仍存在两个问题:一是多机之间的信息共享及通信问题,实现复杂大量数据在极短时间内完成传输,避免信息不同步;二是多机拍摄图像的后处理问题,多机获取的图像信息本身是分离的,且各无人机飞行高度、相对位置和姿态的不同,导致各传感器采集到的航拍图像尺度和视角均不相同。目前,无人机航拍图像拼接方法对于同一平面图像的拼接效果较理想,但多机协同拍摄时常出现多个尺度多个视角图像相互交叉、重叠等情况,且现有算法无法同时满足高实时性和高精度要求。
为了解决该问题,如何合理利用多机协同策略,实现多尺度多视角航拍图像的拼接成为目前亟待解决的问题。
发明内容
针对上述存在的问题,本发明提供一种多机协同约束下高精度图像拼接方法,能够解决多无人机协同巡视过程中数据量大且类型复杂,导致拼接效率低、质量差的问题。
本发明的核心思路为:
首先从多机协同控制角度出发,实时采集航拍图像,选定先各无人机机间拼接、后单机序列帧间拼接的快速拼接方案;再利用ORB特征提取算法,充分考虑多机拍摄条件下,不同尺度、不同视角图像变换关系的区别,构建自适应单应性矩阵完成图像的高精度配准与拼接;最后利用加权平滑算法实现重叠图的平滑过渡,解决拼接得到的大视场图像存在断裂、接缝明显等视觉效果问题,从而提升图像拼接质量。
实现本发明目的的技术解决方案为:
一种多机协同约束下高精度图像拼接方法,其特征在于,包括以下步骤:
步骤1:通过多传感器实时采集地面图像并结合多无人机之间的位置、姿态、角度信息,构建多机协同实时图成像模型,从而确定实际成像区域;
步骤2:采用ORB方法提取实际成像区域中的原始图像的特征点集,先进行图像粗匹配,再通过随机采样一致性算法对粗匹配结果进行提纯,剔除误匹配点;
步骤3:构建自适应单应性矩阵将提纯处理后的图像映射至同一坐标系下进行初步拼接,然后对各序列图像进行时序修正,而后采用加权平滑算法进行色彩校正;
步骤4:完成图像拼接后输出结果图像。
进一步地,步骤1的具体操作步骤包括:
步骤11:对采集到的地面图像数据进行解算处理得到无人机运动参数,实现机体的飞行控制;
步骤12:利用多无人机上搭载的惯性导航单元、GPS和气压计来获取无人机姿态角:俯仰角θ、横滚角φ、偏航角,和坐标、飞行高度等信息;
步骤13:分别建立地面坐标系、机体坐标系、摄像机坐标系和图像坐标系;
步骤14:结合无人机姿态角建立机体坐标系与地面坐标系之间的坐标变换关系pg=Lbpb,建立多机协同实时图成像模型。
进一步地,步骤2的具体操作步骤包括:
步骤21:选取原始图像中任一像素点S,以S为圆心画一个半径为3pixel的圆,检测落在该圆周上的16个像素点,记邻域圆上16个像素点中的像素灰度满足式(2)的连续像素点个数为h,判断h是否大于预设的阈值εd,若大于则判定S为特征点,且像素满足的灰度值条件为:
其中,I(x)为圆周上任意一点的灰度,I(s)为圆心的灰度,εd为灰度差值的阈值,N表示灰度差值;
步骤22:对于每个像素点S直接检测其圆周垂直方向I(1)、I(9)和水平方向I(5)、I(13)四个像素位置上的灰度值,统计上述四个位置点I(t)与选取点像素灰度差值大于εd的像素点个数M,即:
M=size(I∈{|I(t)-I(s)|>εd}),εd>0 (3);
若特征点满足式(3)且M≥3,则判定S为特征点,否则直接排除此点;
步骤23:将一个图像中选出的任一特征点S与其他图像中所有的特征点V计算汉明距离d,并将得到的距离d进行排序,选取距离最近的一个点作为匹配点,建立粗略匹配点对,形成特征点集;
步骤24:采用随机采样一致性方法对得到的特征点集进行筛选,最后剔除误匹配点,得到提纯后的匹配特征点集。
进一步地,步骤24的具体操作步骤包括:
步骤241:在得到的特征点集上选取Q个点,根据设定的配准直线模型,计算第一张图像所有特征点P1在第二张图像上的映射点集P* 2,且满足映射关系:且m=1,2,…,Q;
步骤242:计算各点与第二张图像特征点集P2中对应点的欧氏距离,并设定特征点灰度差值的阈值为δ,统计P* 2中满足欧氏距离小于δ的特征点的个数NT:
δ>0;
步骤243:重新随机选取Q个点,重复执行K次步骤241-242,并记录每次NT的值,直至迭代结束;
步骤244:选取N=max(NTk(k=1,2,…,K))配准模型作为最终拟合结果,从而剔除误匹配点。
进一步地,步骤3的具体操作步骤包括:
步骤31:采用移动DLT方法,根据所述提纯后的多组匹配目标点对的坐标值,实现对自适应单应性矩阵的线性拟合;
步骤32:采用经单应性变换后的图像中心点位置对多无人机航拍图像序列进行时序修正且对应图像的时序移动参数flago的取值为:
其中,Pox是第o张经单应性变换后图像的中心点x坐标,L是基准图像的宽度;
步骤33:遍历图像序列的每一帧,根据flago的不同取值,进行修正:当flago为1时,使用待拼接图像的后一帧进行拼接,当flago为-1时,使用待拼接图像的前一帧进行拼接,直至flago为0时,输出修正后的图像序列;
步骤34:采用图像的线性渐变性重新计算重叠区域的新像素值,进行色彩校正。
进一步地,步骤31的具体操作步骤包括:
步骤311:两张图像的特征匹配点集分别为X*'和X*,构建自适应单应性变换关系式X*'=H*X*;
步骤312:将构建的自适应单应性变换关系式变为隐式形式,并线性化为:X*'×H*X*=0,即可得:
步骤313:记线性化矩阵可得A*h*=0,对A*进行奇异值分解,可得自适应单应性矩阵H*的右奇异向量/>
其中,权值表示离控制点x*越近的像素数据越重要,方差σ2是衡量测量点相对于控制点偏离程度的度量;
步骤314:根据得到的右奇异向量即可重构出自适应单应性矩阵H*。
进一步地,步骤34所述计算重叠区域的新像素值的公式为:
I(x,y)=Il(xl,yl)(1-α)+Ir(xr,yr)α (6),
其中,表示像素点横坐标到重叠区域左边界横坐标的距离,(xl,yl)为拼接前左图像坐标,(xr,yr)为拼接前右图像坐标,Il(xl,yl)为拼接前左图像像素,Ir(xr,yr)为拼接前右图像像素,(xlmax,ylmax)为拼接前左图像坐标最大值,(x,y)为拼接后图像坐标,I(x,y)为拼接后图像像素。
本方法与现有技术相比,具有以下有益效果:
第一,本发明针对复杂多变的环境以及多机协同下不同尺度、不同视角图像的变换问题,提出自适应单应性矩阵方法,基本消除传统单一单应性矩阵存在重影、像素断裂等现象,所提基于自适应单应性矩阵方法在配准误差和拼接精度方面效果较好,满足图像拼接的高精度要求。
第二,本发明还采用了加权平滑算法,通过权值分配实现重叠部分图像平滑过渡,结合线性渐变思想,有效解决了重叠区域模糊及拼接后色彩不一致问题。
综上所述,本发明提出的方法所得到的拼接图特征配准精度明显提高,满足了拼接的高精度要求。
附图说明
图1为本发明拼接算法流程图;
图2(a)-(c)为各坐标系转换示意图;
图3为四种场景航拍源图像特征点匹配示意图;
图4为两组不同航拍源图像;
图5为两组不同航拍源图像拼接实验图;
图6为四种场景下多尺度多视角图像拼接实验图。
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案,下面结合附图和实施例对本发明的技术方案做进一步的描述。
本发明提供一种多机协同约束下高精度图像拼接优化方法,其包括以下步骤:
步骤1:利用多传感器实时采集图像,结合多无人机之间的位置、姿态、角度信息,建立多机协同实时图成像模型;
多传感器实时采集地面图像,对图像数据进行解算处理得到无人机运动参数,实现机体的飞行控制。结合多无人机上搭载的惯性导航单元(IMU)、GPS和气压计,获取无人机姿态角(俯仰角θ、横滚角φ、偏航角)、坐标及飞行高度等信息。基于无人机搭载的各模块获取的位姿信息建立多机协同成像模型,以方便获取巡视区域特征信息。其包括以下几个具体步骤:
(1)建立坐标系
首先,建立地面坐标系pg=(xg,yg,zg)T,假设地面为平面,地面及障碍物上的点都位于该平面上。其中,坐标(xg,yg,zg)为地面点在x,y,z方向上的分量,指向满足坐标系右手定则;
其次,建立机体坐标系Pb=(xb,yb,zb)T,选取机体质心为原点,其中,xb轴指向机头,yb轴指向机身右方,zb轴指向机身下方;
再次,建立摄像机坐标系pci=(xci,yci,zci)T,假设每架无人机i对应一台摄像机,摄像机可安放在任意位置,因而选择地面坐标来描述摄像机位置。摄像机坐标系与地面坐标系之间的关系可以用旋转矩阵Rci和平移向量tci描述为:pg=Rcipci+tci;地面坐标系与摄像机坐标系的转换关系如附图2(a)所示,机体坐标系与地面坐标系的转换关系如附图2(b)所示;
最后,建立图像坐标系pIi=(xI,yI)T,图像坐标系是针对实时图建立的二维坐标系,以实时图左上角为坐标原点,xI轴水平向右,yI轴垂直xI轴向下,图像坐标系与摄像机坐标系之间的坐标变换关系为:pIi=RIipci,其中变换矩阵RIi与摄像机参数有关,图像坐标系与摄像机坐标系的转换关系如附图2(c)所示。
(2)建立成像模型
机载摄像机成像时,可以看作一个四棱锥和一个平面求交,通过各无人机四条棱边的直线方程可确定实际成像区域。结合无人机姿态角建立机体坐标系与地面坐标系之间的坐标变换关系:pg=Lbpb。绕x,y,z三个轴的变换矩阵Lb与无人机姿态角θ、φ、有关,其可表示为:
若有n架无人机拍摄的图像坐标pIi(i=1,2,…,n)与pg对应,即pg在n架无人机的成像范围内,后期则可以对这部分图像进行图像融合。
步骤2:采用ORB方法提取连续像素点灰度值信息,进一步判别图像特征点,对提取的特征点进行特征匹配和提纯。其包括以下几个具体步骤:
(1)特征提取
采用ORB方法,基于连续像素点的灰度值信息判别图像特征点,对比图像中任一像素点S与其圆形邻域内点的灰度值大小结果,提取源图像特征点集,具体过程描述如下:
首先,对候选点进行全局检测:选取图像中任一像素点S,以S为圆心画一个半径为3pixel的圆,考虑该像素点圆周上的16个像素,检测落在该圆周上的16个像素点,记邻域圆上的16个像素点中的像素灰度满足式(2)的连续像素点个数为h,判断h是否大于预设的阈值εd,通常阈值设为12,即若h>=12则判定S为特征点,且像素对应的灰度值满足条件为:
其中,I(x)为圆周上任意一点的灰度,I(s)为圆心的灰度,εd为灰度差值的阈值,N表示灰度差值。
其次,对候选点进行优化检测:利用ORB优化检测方法,加快特征点提取,提升检测效率。对于每个像素点S直接检测其圆周垂直方向I(1)、I(9)和水平方向I(5)、I(13)四个像素位置上的灰度值,统计上述四个位置点I(t)(t分别取1、5、9、13)与选取点像素灰度差值大于εd的像素点个数M,即:
M=size(I∈{|I(t)-I(s)|>εd}),εd>0 (3),
若S满足式(3)且M≥3,则判定S为特征点,否则直接排除此点。从而筛选出原始图像中各图像的特征点集,方便后续特征匹配。
(2)特征匹配与提纯
首先,对提取的特征点进行特征匹配:计算特征的汉明距离d,并以其作为特征匹配相似度的评价标准。对图像中的任一特征点S与其它图像中所有特征点V测量汉明距离d(S,V)=∑S[i*]⊕V[i*],其中i*=0,1,…,n-1,表示S和V都是n位的编码,⊕为异或运算。并将得到的距离进行排序,选取距离最近的一个作为匹配点,建立粗略匹配点对。匹配结果存在大量误匹配,需借助筛选机制过滤掉误匹配点。
其次,针对上述匹配出的特征点集,进行特征提纯:采用RANSAC(Random SampleConsensus,随机采样一致性)方法对特征点集进行筛选,选取Q个点,根据假定的配准直线模型,计算第一张图像所有特征点P1在第二张图像上的映射点集P* 2,且满足映射关系其中m=1,2,…,Q;
计算各点与第二张图像特征点集P2中对应点的欧氏距离,设定特征点灰度差值的阈值为δ,统计P* 2中满足欧氏距离小于δ的特征点的个数NT:
δ>0;
重新随机选取Q个点,重复上述操作K次并记录每次NT的值直至迭代结束并;
最终选取N=max(NTk(k=1,2,…,K))配准模型作为最终拟合结果,剔除误匹配点。
步骤3:构建自适应单应性矩阵将图像映射至同一坐标系下进行拼接,对各序列图像进行时序修正,而后采用加权平滑算法进行色彩校正完成图像拼接。其包括以下几个具体步骤:
(1)自适应单应性变换
先计算航拍图像之间的单应性矩阵,根据单应性矩阵将图像映射到同一坐标系下拼接成一幅粗略图;
再使用移动DLT(Direct Linear Transform,直接线性变换)方法,根据所匹配的目标点实现对单应性矩阵的线性拟合,拟合过程为:假定两张图像的特征匹配点集为X和X',构建单应性变换关系式X'=HX,即:
(x' y' 1)T=H(x y 1)T,
其中,(x' y' 1)T为X'中特征点的坐标,(x y 1)T为X中特征点的坐标,H为3×3的单应性矩阵,即:
将H的各行元素记作rj(j=1,2,3),且
将其变为隐式形式并线性化为:X'×HX=0,则可得:
记线性化矩阵那么可得,Ah=0,并求解出h。取A的前两行as并将其映射到A∈R2N*9,对A进行SVD(Singular Value Decomposition,奇异值分解)分解,并将/>定义为A的最小奇异值对应的右奇异向量,可得/>H可由/>重构而成;
最后,基于上述单应性矩阵H的构建过程,来设计位置相关的自适应单应性矩阵H*,满足单应性变换关系式X*'=H*X*,通过赋予权值以适应数据的变换过程,从而避免传统单个单应性矩阵仅针对视角范围在同一平面内适用的局限性,解决单个单应性变换造成的重影或配准误差问题。具体操作步骤包括:
步骤1:两张图像的特征匹配点集分别为X*'和X*,构建自适应单应性变换关系式X*'=H*X*;
步骤2:将构建的自适应单应性变换关系式变为隐式形式,并线性化为:X*'×H*X*=0,即可得:
步骤3:记线性化矩阵可得A*h*=0,对A*进行奇异值分解,可得自适应单应性矩阵H*的右奇异向量/>
其中,权值表示离控制点x*越近的像素数据越重要,方差σ2是衡量测量点相对于控制点偏离程度的度量;
步骤4:按照公式(4)得到并重构/>得到自适应单应性矩阵H*。
(2)时序修正
本发明采用经单应性变换后的图像中心点位置对多无人机航拍图像序列进行时序修正,修正公式为:
其中,Pox是第o张经单应性变换后图像的中心点x坐标,L是基准图像的宽度,flago是对应图像的时序移动参数,且其取值为:
遍历图像序列的每一帧,直到flago=0,输出修正后的图像序列。
(3)色彩校正
针对拼接后同一重叠区域存在模糊、重影及色彩不一致问题,采用图像的线性渐变重新计算重叠区域的新像素值,通过色彩校正以优化拼接效果。
假设α表示像素点横坐标到重叠区域左边界横坐标的距离,由下式给出拼接后图像像素点的灰度值:
I(x,y)=Il(xl,yl)(1-α)+Ir(xr,yr)α (6),
其中,(xl,yl)为拼接前左图像坐标,(xr,yr)为拼接前右图像坐标,Il(xl,yl)为拼接前左图像像素,Ir(xr,yr)为拼接前右图像像素,(xlmax,ylmax)为拼接前左图像坐标最大值,(x,y)为拼接后图像坐标,I(x,y)为拼接后图像像素。
通过上述的处理即可实现良好的拼接效果,得到拼接好的图像。
实施例
本发明的验证是在登记号为2020SR1088587的多无人机协同目标检测与识别系统中完成的。
1、实验环境
CPU:Intel Xeon E5-1650 v4;
RAM:32GB;
GPU:NVIDIA TITAN-X,Windows10系统,Visual studio 2015+Anaconda3.5+Python3.6。
2、实验过程
实验利用多无人机飞行平台在巡视飞行实验中采集的航拍图像,对所提拼接算法的性能进行验证,具体包括两个实验:
(1)两组不同航拍源图像拼接实验
依据本发明提出的拼接方法的各个步骤,将两组不同来源的航拍源图像如附图4所示,分别得到有效拼接,拼接处较为平滑,拼接后的结果如附图5所示。从图中可以看出,本方法有效扩大图像的视角范围,保留两张源图像各自的图像特征,且有效显示了源图像中被大树遮挡的深坑、人、灯牌等关键信息。
(2)四种场景下多尺度多视角图像拼接实验
利用多无人机巡视复杂地区关键道路的场景,构建四种实验场景,四种场景航拍源图像特征点匹配示意图如附图3所示,依据本发明提出的拼接方法的各个步骤,在各场景下进行图像拼接,且拼接结果如附图6所示。从图中可以看出,本方法的拼接精度较高且无图像失真。
3、拼接结果评价
为了充分验证本发明提出的拼接方法,采用RMSE(Root Mean Square Error,均方根误差)、Dice距离和Hausdorff距离等评价参数对拼接效果进行客观全面地评价。
(1)RMSE评价
均方根误差RMSE评价是指两幅图像配准后,待配准图像的多个特征点与变换后参考图像像素点位置之间偏差的均值平方根:
其中,△xq和△yq为第q个配准特征点在x方向和y方向上的误差。
(2)Dice距离评价
使用Dice距离来表示两个集合互相包含的程度:
其中,TP代表正确匹配点对数,GT和PR分别代表目标图像和变换图像的特征点集。
(3)Hausdorff距离评价
使用Hausdorff距离来计算两个点集的匹配性:
H(A,B)=max(h(A,B),h(B,A)),
其中,h(A,B)=maxa∈Aminb∈B||a-b||2,h(B,A)=maxb∈Bmina∈A||b-a||2。
根据上述三种评价指标,将本发明提出的方法与基于SURF和SIFT图像配准算法进行对比分析,得到的对比结果如表1所示:
表1不同方法的量化指标对比
由表1可以看出,本发明所提出的方法在RMSE、Dice和Hausdorff三个评价准则上均优于SURF和SIFT算法,算法运行时间短,且特征点匹配误差显著减少,符合本算法实验所处复杂多变的环境,满足多机协同巡视飞行过程中对多尺度多视角航拍图像拼接高实时性及高精度的要求。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管参照前述实施例对本发明专利进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种多机协同约束下高精度图像拼接方法,其特征在于,包括以下步骤:
步骤1:通过多传感器实时采集地面图像并结合多无人机之间的位置、姿态、角度信息,构建多机协同实时图成像模型,从而确定实际成像区域;
步骤2:采用ORB方法提取实际成像区域中的原始图像的特征点集,先进行图像粗匹配,再通过随机采样一致性算法对粗匹配结果进行提纯,剔除误匹配点;
步骤3:构建自适应单应性矩阵将提纯处理后的图像映射至同一坐标系下进行初步拼接,然后对各序列图像进行时序修正,而后采用加权平滑算法进行色彩校正;
步骤4:完成图像拼接后输出结果图像;
其中,步骤2的具体操作步骤包括:
步骤21:选取原始图像中任一像素点S,以S为圆心画一个半径为3pixel的圆,检测落在该圆周上的16个像素点,记邻域圆上16个像素点中的像素灰度满足式(2)的连续像素点个数为h,判断h是否大于预设的阈值εd,若大于则判定S为特征点,且像素满足的灰度值条件为:
其中,I(x)为圆周上任意一点的灰度,I(s)为圆心的灰度,εd为灰度差值的阈值,N表示灰度差值;
步骤22:对于每个像素点S直接检测其圆周垂直方向I(1)、I(9)和水平方向I(5)、I(13)四个像素位置上的灰度值,统计上述四个位置点I(t)与选取点像素灰度差值大于εd的像素点个数M,即:
M=size(I∈{|I(t)-I(s)|>εd}),εd>0 (3);
若特征点满足式(3)且M≥3,则判定S为特征点,否则直接排除此点;
步骤23:将一个图像中选出的任一特征点S与其他图像中所有的特征点V计算汉明距离d,并将得到的距离d进行排序,选取距离最近的一个点作为匹配点,建立粗略匹配点对,形成特征点集;
步骤24:采用随机采样一致性方法对得到的特征点集进行筛选,最后剔除误匹配点,得到提纯后的匹配特征点集;
步骤3的具体操作步骤包括:
步骤31:采用移动DLT方法,根据所述提纯后的多组匹配目标点对的坐标值,实现对自适应单应性矩阵的线性拟合;
步骤32:采用经单应性变换后的图像中心点位置对多无人机航拍图像序列进行时序修正且对应图像的时序移动参数flago的取值为:
其中,Pox是第o张经单应性变换后图像的中心点x坐标,L是基准图像的宽度;
步骤33:遍历图像序列的每一帧,根据flago的不同取值,进行修正:当flago为1时,使用待拼接图像的后一帧进行拼接,当flago为-1时,使用待拼接图像的前一帧进行拼接,直至flago为0时,输出修正后的图像序列;
步骤34:采用图像的线性渐变性重新计算重叠区域的新像素值,进行色彩校正。
2.根据权利要求1所述的一种多机协同约束下高精度图像拼接方法,其特征在于,步骤1的具体操作步骤包括:
步骤11:对采集到的地面图像数据进行解算处理得到无人机运动参数,实现机体的飞行控制;
步骤12:利用多无人机上搭载的惯性导航单元、GPS和气压计来获取无人机姿态角:俯仰角θ、横滚角φ、偏航角和坐标、飞行高度信息;
步骤13:分别建立地面坐标系、机体坐标系、摄像机坐标系和图像坐标系;
步骤14:结合无人机姿态角建立机体坐标系与地面坐标系之间的坐标变换关系pg=Lbpb,建立多机协同实时图成像模型。
3.根据权利要求2所述的一种多机协同约束下高精度图像拼接方法,其特征在于,步骤24的具体操作步骤包括:
步骤241:在得到的特征点集上选取Q个点,根据设定的配准直线模型,计算第一张图像所有特征点P1在第二张图像上的映射点集P* 2,且满足映射关系:P* 2 m=f(P1 m),且m=1,2,…,Q;
步骤242:计算P* 2 m各点与第二张图像特征点集P2中对应点的欧氏距离,并设定特征点灰度差值的阈值为δ,统计P* 2中满足欧氏距离小于δ的特征点的个数NT:NT=size(P* 2 m∈{||P2 m-P* 2 m||2<δ}),δ>0;
步骤243:重新随机选取Q个点,重复执行K次步骤241-242,并记录每次NT的值,直至迭代结束;
步骤244:选取N=max(NTk(k=1,2,…,K))配准模型作为最终拟合结果,从而剔除误匹配点。
4.根据权利要求3所述的一种多机协同约束下高精度图像拼接方法,其特征在于,步骤31的具体操作步骤包括:
步骤311:两张图像的特征匹配点集分别为X*'和X*,构建自适应单应性变换关系式X*'=H*X*;
步骤312:将构建的自适应单应性变换关系式变为隐式形式,并线性化为:X*'×H*X*=0,即可得:
步骤313:记线性化矩阵可得A*h*=0,对A*进行奇异值分解,可得自适应单应性矩阵H*的右奇异向量/>
其中,权值表示离控制点x*越近的像素数据越重要,方差σ2是衡量测量点相对于控制点偏离程度的度量;
步骤314:根据得到的右奇异向量即可重构出自适应单应性矩阵H*。
5.根据权利要求4所述的一种多机协同约束下高精度图像拼接方法,其特征在于,步骤34所述计算重叠区域的新像素值的公式为:
I(x,y)=Il(xl,yl)(1-α)+Ir(xr,yr)α (6),
其中,表示像素点横坐标到重叠区域左边界横坐标的距离,(xl,yl)为拼接前左图像坐标,(xr,yr)为拼接前右图像坐标,Il(xl,yl)为拼接前左图像像素,Ir(xr,yr)为拼接前右图像像素,(xlmax,ylmax)为拼接前左图像坐标最大值,(x,y)为拼接后图像坐标,I(x,y)为拼接后图像像素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110450860.5A CN113313659B (zh) | 2021-04-25 | 2021-04-25 | 一种多机协同约束下高精度图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110450860.5A CN113313659B (zh) | 2021-04-25 | 2021-04-25 | 一种多机协同约束下高精度图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113313659A CN113313659A (zh) | 2021-08-27 |
CN113313659B true CN113313659B (zh) | 2024-01-26 |
Family
ID=77371027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110450860.5A Active CN113313659B (zh) | 2021-04-25 | 2021-04-25 | 一种多机协同约束下高精度图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313659B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114154352B (zh) * | 2022-01-18 | 2024-05-17 | 中国科学院长春光学精密机械与物理研究所 | 航空成像多执行器协同控制的拓扑结构设计方法与装置 |
CN114820737B (zh) * | 2022-05-18 | 2024-05-07 | 浙江圣海亚诺信息技术有限责任公司 | 一种基于结构特征的遥感图像配准方法 |
CN116681590B (zh) * | 2023-06-07 | 2024-03-12 | 中交广州航道局有限公司 | 一种无人机航拍图像快速拼接方法 |
CN117036666B (zh) * | 2023-06-14 | 2024-05-07 | 北京自动化控制设备研究所 | 基于帧间图像拼接的无人机低空定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技(北京)有限公司 | 宽视场超高分辨率光学成像系统及方法 |
CN112435163A (zh) * | 2020-11-18 | 2021-03-02 | 大连理工大学 | 一种直线特征保护与网格优化的无人机航拍图像拼接方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101984463A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
US11164295B2 (en) * | 2015-09-17 | 2021-11-02 | Michael Edwin Stewart | Methods and apparatus for enhancing optical images and parametric databases |
-
2021
- 2021-04-25 CN CN202110450860.5A patent/CN113313659B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技(北京)有限公司 | 宽视场超高分辨率光学成像系统及方法 |
CN112435163A (zh) * | 2020-11-18 | 2021-03-02 | 大连理工大学 | 一种直线特征保护与网格优化的无人机航拍图像拼接方法 |
Non-Patent Citations (1)
Title |
---|
基于SIFT特征的彩色图像拼接方法研究;张永梅;张晨希;郭莎;;计算机测量与控制(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113313659A (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113313659B (zh) | 一种多机协同约束下高精度图像拼接方法 | |
CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
CN106651942B (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
CN111507901B (zh) | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 | |
CN109934862A (zh) | 一种点线特征结合的双目视觉slam方法 | |
CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
CN108665499B (zh) | 一种基于视差法的近距飞机位姿测量方法 | |
CN112734841B (zh) | 一种用轮式里程计-imu和单目相机实现定位的方法 | |
CN113850126A (zh) | 一种基于无人机的目标检测和三维定位方法和系统 | |
CN107560603B (zh) | 一种无人机倾斜摄影测量系统及测量方法 | |
CN115187798A (zh) | 一种多无人机高精度匹配定位方法 | |
CN111967337A (zh) | 一种基于深度学习和无人机影像的管道线变化检测方法 | |
CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
CN111798453A (zh) | 用于无人驾驶辅助定位的点云配准方法及其系统 | |
CN114022560A (zh) | 标定方法及相关装置、设备 | |
CN113624231A (zh) | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 | |
CN109671109B (zh) | 密集点云生成方法及系统 | |
CN111047631A (zh) | 一种基于单Kinect加圆盒的多视角三维点云配准方法 | |
CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
Jiang et al. | Learned local features for structure from motion of uav images: A comparative evaluation | |
CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
CN117197241B (zh) | 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |