CN103697864B - 一种基于大虚拟相机的窄视场双相机影像拼接方法 - Google Patents
一种基于大虚拟相机的窄视场双相机影像拼接方法 Download PDFInfo
- Publication number
- CN103697864B CN103697864B CN201310737819.1A CN201310737819A CN103697864B CN 103697864 B CN103697864 B CN 103697864B CN 201310737819 A CN201310737819 A CN 201310737819A CN 103697864 B CN103697864 B CN 103697864B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mover
- mtd
- mtr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000007 visual effect Effects 0.000 title abstract description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 19
- 239000000523 sample Substances 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
- G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种基于大虚拟相机的窄视场双相机影像拼接方法,根据两个单相机建立大虚拟相机,根据两个单相机的几何成像参数,建立大虚拟相机的几何成像参数;根据两个单相机和大虚拟相机的几何成像参数,建立各自的几何成像模型;解算并输出大虚拟相机对应的有理多项式模型系数;根据基于几何成像模型的坐标正算过程和坐标反算过程对两个单相机的图像分别进行间接法几何纠正,得到大虚拟相机图像坐标系下的两个图像,得到拼接后的大虚拟相机图像。本发明巧妙地借用了大虚拟相机的概念,在实现窄视场双相机影像的高精度拼接的同时,还提供与之相对应的有理多项式模型;且处理过程是全自动的、无需人工干预,适用于地面预处理过程。
Description
技术领域
本发明属于航天与航空摄影测量领域,涉及两台窄视场线阵相机同时推扫成像的情况下,一种基于大虚拟相机的窄视场双相机影像拼接方法。
背景技术
线阵推扫成像方式是目前获取高分辨率光学卫星影像的主要传感器。为了提高光学影像的空间分辨率,常采用长焦镜头;而长焦镜头导致观测视场变窄;为增加观测视场角,采用多片CCD(电荷耦合元件图像传感器)拼接或多台相机同时观测的方式。在多台相机同时观测的情况下,每台相机有一套独立的光学系统,遵循各自的几何成像模型,这给后续几何处理带来额外的工作。
常规的双相机图像处理方法有两种。一种是针对单相机图像进行高精度几何处理,即:对两个相机的图像独立进行几何纠正,做成正射影像之后再进行拼接和匀光处理;这种方法几何精度较高,但纠正选点和拼接处理的工作量都比较大。另一种是不考虑原始单相机成像的几何条件,仅根据双相机重叠区域内的图像,基于同名点匹配进行影像拼接处理;这种方法得到的拼接图像缺少严格的物理成像模型,几何精度比较差,难以满足测绘等领域的需求。由此可见,一种既能保证几何精度又不增加常规后续处理工作量的双相机图像拼接方法是迫在眉睫的。
发明内容
本发明所要解决的问题是:针对同时成像的两台线阵推扫的窄视场相机图像,通过基于大虚拟相机图像的几何纠正,实现全自动拼接处理,同时输出大虚拟相机图像对应的高精度有理多项式模型系数。
本发明的技术方案为一种基于大虚拟相机的窄视场双相机影像拼接方法,根据两个单相机建立大虚拟相机,所述大虚拟相机的焦距介于两个单相机的焦距之间,视场为两个单相机视场之和,主光轴位于两个单相机主光轴的中间;基于大虚拟相机进行以下步骤,
步骤1,根据两个单相机的几何成像参数,建立大虚拟相机的几何成像参数,所述几何成像参数包括相机参数和辅助数据,大虚拟相机的辅助数据和两个单相机的辅助数据相同,对大虚拟相机的相机参数建立包括求取本体坐标系下的视线方向如下,
设两个单相机分别记为相机A、B,相机A、B分别具有N1、N2个探元,相机A、B在本体坐标系上的重叠探元数为N0,则大虚拟相机的总探元数=N1+N2-N0,
设相机A的CCD的两端点A0,A1在本体坐标系中的平面投影坐标为(xA0,yA0)和(xA1,yA1),相机B的CCD的两端点B0,B1在本体坐标系中的平面投影坐标为(xB0,yB0)和(xB1,yB1),大虚拟相机的CCD两端点在本体坐标系下的平面投影坐标(xC0,yC0)(xC1,yC1)通过下式计算,
大虚拟相机的CCD的探元编号为s=0、1…N1+N2-N0-1,经线性内插,根据下式得到大虚拟相机的CCD每个探元s在本体坐标系中的视线方向[xC(s) yC(s) 1]T,
xC(s)=xC0,
步骤2,根据两个单相机和大虚拟相机的几何成像参数,建立各自的几何成像模型;解算并输出大虚拟相机图像对应的有理多项式模型系数;根据基于几何成像模型的坐标正算过程和坐标反算过程对两个单相机的图像分别进行间接法几何纠正,得到大虚拟相机图像坐标系下的两个图像;
步骤3,对步骤2所得大虚拟相机图像坐标系下的两个图像进行基于坐标的拼接,得到拼接后的大虚拟相机图像。
而且,步骤1中,设卫星的本体坐标系o-XbYbZb中,原点o位于卫星质心,XbYbZb轴分别为卫星的滚动轴、俯仰轴和偏航轴,按以下方式求取相机A的CCD的两端点A0,A1在本体坐标系中的平面投影坐标(xA0,yA0)和(xA1,yA1),以及相机B的CCD的两端点B0,B1在本体坐标系中的平面投影坐标(xB0,yB0)和(xB1,yB1),
设相机A和B的内方位元素分别为a0A,a1A,a2A,a3A,b0A,b1A,b2A,b3A,a0B,a1B,a2B,a3B,b0B,b1B,b2B,b3B,则像点(s,l)的光线在相机A、B的相机坐标系中的矢量分别为[xA(s) yA(s) 1]T、[xB(s) yB(s) 1]T,
xA(s)=a0A+a1As+a2As2+a3As3 xB(s)=a0B+a1Bs+a2Bs2+a3Bs3
yA(s)=b0A+b1As+b2As2+b3As3 yB(s)=b0B+b1Bs+b2Bs2+b3Bs3
其中,变量s为探元的编号,变量l为图像的行号;
又设相机A和B相对于本体坐标系的安装矩阵分别为:RBSa、RBSb,则相机A和B的CCD端点A0,A1,B0,B1在本体坐标系中的光线矢量 如下,
将本体坐标系下的光线矢量进行Zb轴归一化,得到各端点的平面投影坐标(xA0,yA0)(xA1,yA1)(xB0,yB0)(xB1,yB1)如下,
其中,xA0、yA0表示本体坐标系下的光线矢量 在XbYb坐标轴方向上的分量;xA1、yA1表示本体坐标系下的光线矢量 在XbYb坐标轴方向上的分量;xB0、yB0表示本体坐标系下的光线矢量 在XbYb坐标轴方向上的分量;xB1、yB1表示本体坐标系下的光线矢量 在XbYb坐标轴方向上的分量。
而且,步骤2中,基于几何成像模型的坐标正算过程实现如下,
设Rt、RGF、RFB、RBSa、RBSb分别为t时刻下从J2000惯性坐标系到地固地心直角坐标系的旋转矩阵、从轨道坐标系到J2000惯性坐标系的旋转矩阵、从本体坐标系到轨道坐标系的旋转矩阵、从相机坐标系A到本体坐标系的旋转矩阵、从相机坐标系B到本体坐标系的旋转矩阵,且[Xt Yt Zt]T为t时刻卫星质心在地固地心直角坐标系下的坐标矢量,
相机A的坐标正算过程为,对于相机A图像上的某像点(s,l),相机坐标系下的光线矢量[xA(s) yA(s) 1]T,则物方坐标[X Y Z]T由下列共线方程给出,
相机B的坐标正算过程为,对于相机B图像上的某像点(s,l),相机坐标系下的光线矢量[xB(s) yB(s) 1]T,则物方坐标[X Y Z]T由下列共线方程给出,
大虚拟相机坐标正算过程为,对于大虚拟相机图像上的某像点(s,l),首先求出本体坐标系下的光线矢量[xC(s) yC(s) 1]T,则物方坐标[X Y Z]T由下列共线方程给出:
其中,m为比例系数。
而且,步骤2中,基于几何成像模型的坐标反算过程根据有理多项式模型实现,相机A、B和大虚拟相机坐标的有理多项式模型的系数分别通过以下步骤得到,
首先,对相机所得图像分别划分规则格网,对物方高程划分多个高程面,利用相机的几何成像模型的坐标正算过程,计算所有虚拟立体格网点的物方坐标(X,Y,Z),并转换为WGS84地理经纬度坐标(B,L,H);
然后,将上述各虚拟立体格网点作为控制点,对有理多项式模型的系数列出误差方程式,基于最小二乘准则迭代求解,解算出有理多项式模型的系数。
而且,步骤2中,两个单相机的图像分别进行间接法几何纠正的实现方式为,以大虚拟相机图像坐标系为坐标系②,以相机A和B的图像坐标系分别作为坐标系①执行以下处理,
1)将坐标系①的原始图像四个角点坐标,基于相应单相机的几何成像模型的坐标正算过程和大虚拟相机的几何成像模型的坐标反算过程,得到输出图像在坐标系②中的范围;
2)对坐标系②输出图像范围内的每个像素,通过大虚拟相机的几何成像模型的坐标正算过程和相应单相机的几何成像模型的坐标反算过程,得到在坐标系①的原始图像坐标;
3)根据坐标系①中的原始图像坐标,通过灰度重采样,得到坐标系②相应输出图像上的每个像素的灰度值。
本发明针对线阵推扫的窄视场双相机影像,构造一个线阵推扫的大虚拟相机,旨在实现双相机图像拼接的同时,还能提供拼接图像的高精度几何模型。通过以上步骤就可以实现窄视场双相机图像的高精度拼接。该方法借助大虚拟相机概念,使拼接图像具有与之对应的高精度有理多项式模型,从而简化了后续图像几何处理与应用。该方法适用于同时推扫成像的窄视场双相机图像,前提条件是需要对两个单相机进行严格的几何标定,处理过程是全自动的、无需人工干预。这种双相机拼接工作可以在地面预处理阶段通过全自动批处理完成,因此,可以减少后续处理的工作量。
附图说明
图1为本发明实施例的两个单相机图像与大虚拟相机图像关系示意图;
图2为本发明实施例的间接法几何纠正流程示意图。
图3为本发明实施例的流程图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
参见图3,实施例针对同时推扫成像的窄视场双相机图像,执行步骤如下,可采用计算机软件技术实现自动运行流程:
步骤1,根据两个单相机的几何成像参数,建立大虚拟相机的几何成像参数。
本发明提出大虚拟相机概念,并计算每个探元在本体坐标系的视线方向。
首先介绍卫星本体坐标系与单相机坐标系。
卫星本体坐标系o-XbYbZb:原点o位于卫星质心,XbYbZb轴分别为卫星的滚动轴、俯仰轴和偏航轴。
单相机坐标系o-XcYcZc:原点o位于卫星质心,Zc轴指向主光轴方向,与卫星本体坐标系的Zb轴有一个夹角,称为安装角。XcYc平面为焦平面,与Zc轴垂直,XcYcZc构成右手系。其中:Xc指向卫星飞行方向,Yc轴指向CCD方向。
两个单相机的关系可以从两个方面来看。1)两个单相机的焦距、CCD探元数、视场角、CCD线阵在焦平面的位置等相机参数都比较接近,因此,用三次多项式表示的单相机内方位元素也都比较接近。2)两个单相机在卫星本体坐标系下的安装角方向相反、大小相近,两个主光轴之间的夹角略小于单相机的视场角,这样得到的两个单相机图像在地面覆盖范围有N0个像素的重叠。设两个单相机分别记为相机A、B。
对于大虚拟相机,假设它是安装在卫星本体坐标系下的,焦距介于两个单相机的焦距之间(因为一般相机A、B焦距会有差异,可等于相机A、B焦距的均值),视场则扩大到两个单相机视场之和(相当于CCD探元数翻了一倍),主光轴位于两个单相机主光轴的中间(相当于安装角接近于0)。因此,从大虚拟相机坐标系到本体坐标系的安装矩阵可以假设为单位矩阵,这样,大虚拟相机坐标系下的每个像素的视线方向就等于本体坐标系下的视线方向。
几何成像参数包括相机参数和辅助数据。由于两个单相机是同时推扫成像,因此,拥有相同的辅助数据,包括成像时间范围、卫星星历和卫星姿态数据等。对于大虚拟相机,直接使用辅助数据即可。
相机参数包括相机坐标系下视线方向和相机坐标系与卫星本体坐标系的安装矩阵,两者合在一起就是本体坐标系下的视线方向。为了求出大虚拟相机在本体坐标系下的视线方向,需要将两个单相机在相机坐标系下的视线方向变换到本体坐标系下,并投影到一个平面上。
设相机A、B分别具有N1、N2个探元,A和B内方位元素分别为:a0A,a1A,a2A,a3A,b0A,b1A,b2A,b3A,a0B,a1B,a2B,a3B,b0B,b1B,b2B,b3B,则像点(s,l)的光线在A、B相机坐标系中的矢量分别为:[xA(s) yA(s) 1]T、[xB(s) yB(s) 1]T:
xA(s)=a0A+a1As+a2As2+a3As3
yA(s)=b0A+b1As+b2As2+b3As3
(1)
xB(s)=a0B+a1Bs+a2Bs2+a3Bs3
yB(s)=b0B+b1Bs+b2Bs2+b3Bs3
(2)
其中:变量s为探元的编号,变量l为图像的行号。xA(s)、yA(s)分别代表A相机坐标系中沿轨、垂轨方向瞬时视场角的正切值,xB(s)、yB(s)分别代表B相机坐标系中沿轨、垂轨方向瞬时视场角的正切值。相机A的CCD的探元编号为s=0、1…N1-1,即s=0、s=N1-1对应于相机A的CCD的两端点A0,A1,相机B的CCD的探元编号为s=0、1…N1-1,即s=0、s=N2-1对应于相机B的CCD的两端点B0,B1。
又设A和B相机相对于本体坐标系的安装矩阵分别为:RBSa、RBSb,则可计算出A和B相机的CCD端点A0,A1,B0,B1在本体坐标系中的光线矢量
再将本体坐标系中的光线矢量投影到平面Zb=1上,即将本体坐标系下的光线矢量进行Zb轴归一化,得到XbYb两个方向的分量,即各端点的平面投影坐标(xA0,yA0)(xA1,yA1)(xB0,yB0)(xB1,yB1)如下:
其中,xA0、yA0表示本体坐标系下的光线矢量 在XbYb坐标轴方向上的分量;xA1、yA1表示本体坐标系下的光线矢量 在XbYb坐标轴方向上的分量;xB0、yB0表示本体坐标系下的光线矢量 在XbYb坐标轴方向上的分量;xB1、yB1表示本体坐标系下的光线矢量 在XbYb坐标轴方向上的分量。
如图1所示,设大虚拟相机的CCD位于A和B相机中间,则其两端点C0,C1在本体坐标系下的平面投影坐标(xC0,yC0)(xC1,yC1)可通过下式计算:
由于镜头畸变等原因,A、B两个单相机的CCD不一定严格排列在一条直线上,但这并不影响,大虚拟相机的CCD仍然可以排列在一条直线上。设两个单相机在本体坐标系(平面Zb=1)上的重叠探元数为N0,则大虚拟相机的总探元数=N1+N2-N0,大虚拟相机的CCD的探元编号为s=0、1…N1+N2-N0-1,经线性内插,可得到大虚拟相机的每个探元s在本体坐标系中的视线方向[xC(s) yC(s) 1]T:
xC(s)=xC0,
步骤2,对两个单相机图像进行几何纠正,得到大虚拟相机的图像坐标系下的两个图像,同时解算并输出大虚拟相机图像对应的有理多项式模型系数,包括以下子步骤,
步骤2.1,根据两个单相机和大虚拟相机的几何成像参数,建立各自的几何成像模型,包括:坐标正算(从各自的图像坐标系坐标到物方平均高程面坐标)和坐标反算(从物方平均高程面坐标到各自的图像坐标系坐标)两个过程。
基于几何成像模型的坐标正、反算过程均为现有技术。一般坐标正算过程基于共线方程模型实现,而坐标反算过程基于有理多项式模型实现。以下先描述共线方程,再在此基础上计算虚拟立体格网点坐标,用以解算有理多项式模型系数。其中单相机图像的坐标反算过程不限于有理多项式模型、也可以基于共线方程模型实现;而大虚拟相机图像对应的有理多项式模型系数是需要解算并输出的。
假设Rt、RGF、RFB、RBSa(RBSb)分别为t时刻下从J2000惯性坐标系到地固地心直角坐标系的旋转矩阵、从轨道坐标系到J2000惯性坐标系的旋转矩阵、从本体坐标系到轨道坐标系的旋转矩阵、从A(或B)相机坐标系到本体坐标系的旋转矩阵,且[Xt Yt Zt]T为t时刻卫星质心在地固地心直角坐标系下的坐标矢量。
单相机坐标正算过程如下:对于A(或B)相机图像上的某像点(s,l),先根据步骤1中式(1)或(2)所得相机坐标系下的光线矢量[xA(s) yA(s) 1]T(或[xB(s) yB(s) 1]T),则物方坐标[X Y Z]T由下列共线方程给出:
其中,m为比例系数,可利用现有技术,通过光线与参考椭球的平均高程面H相交,求解一元二次多项式,得到m的值,再代入上式,求得物方坐标[X Y Z]T。
大虚拟相机坐标正算过程如下:对于大虚拟相机图像上的某像点(s,l),根据步骤1中式(6)所得本体坐标系下的光线矢量[xC(s) yC(s) 1]T,则物方坐标[X Y Z]T由下列共线方程给出:
同样,m为比例系数,可利用现有技术,通过光线与参考椭球的平均高程面H相交,得到m的值,再代入上式,求得物方坐标[X Y Z]T。
由物方坐标反算像方坐标的过程可以通过有理多项式模型计算,属于现有技术。其中有理多项式模型的系数可以利用虚拟立体格网点,将其作为控制点,用最小二乘法求解得到。虚拟立体格网点的坐标计算和有理多项式模型的系数解算都是现有技术。对相机A、B、大虚拟相机,可以分别采用以下两步求取系数:。
首先,对相机所得图像分别划分规则格网,对物方高程划分多个高程面,利用相机的几何成像模型,即坐标正算公式(7)或(8),计算所有虚拟立体格网点的物方坐标(X,Y,Z),并转换为WGS84地理经纬度坐标(B,L,H);
然后,将上述各虚拟立体格网点作为控制点,对有理多项式模型的系数列出误差方程式,基于最小二乘准则迭代求解,可解算出有理多项式模型的系数。解释过程可参见现有最小二乘准则,为便于实施参考起见,提供解算过程如下:
1)设当前的迭代次数为k,令k的初始值为1,
设有理多项式模型为:
其中,
NumS(U,V,W)=a1+a2V+a3W+a4U+a5VU+a6VW+a7UW+a8V2+
a9U2+a10W2+a11UVW+a12V3+a13VU2+a14VW2
+a15V2U+a16U3+a17UW2+a18WV2+a19U2W+a20W3
DenS(U,V,W)=b1+b2V+b3W+b4U+b5VU+b6VW+b7UW+b8V2+
b9U2+b10W2+b11UVW+b12V3+b13VU2+b14VW2
+b15V2U+b16U3+b17UW2+b18WV2+b19U2W+b20W3
NumL(U,V,W)=c1+c2V+c3W+c4U+c5VU+c6VW+c7UW+c8V2+
c9U2+c10W2+c11UVW+c12V3+c13VU2+c14VW2
+c15V2U+c16U3+c17UW2+c18WV2+c19U2W+c20W3
DenL(U,V,W)=d1+d2V+d3W+d4U+d5VU+d6VW+d7UW+d8V2+
d9U2+d10W2+d11UVW+d12V3+d13VU2+d14VW2
+d15V2U+d16U3+d17UW2+d18WV2+d19U2W+d20W3
NumS(U,V,W)表示列方向的分子多项式,DenS(U,V,W)表示列方向的分母多项式,NumL(U,V,W)表示行方向的分子多项式,DenL(U,V,W)表示行方向的分子多项式。
多项式中的aj,bj,cj,dj,(j=1,…,20)为有理多项式模型的系数,(s′,l′)为归一化的图像坐标,(U,V,W)为归一化的经纬度坐标。
设共有n个虚拟立体格网控制点,其中第i个控制点的图像坐标(si,li),WGS84地理经纬度坐标为(Bi,Li,Hi),则第i个控制点的归一化的图像坐标(si′,li′)和归一化的经纬度坐标(Ui,Vi,Wi)可通过下式求出:
i=1,…,n
其中:平移系数SampleOff,LineOff,LatOff,LonOff,HeiOff为虚拟立体格网控制点的坐标均值;缩放系数SampleScale,LineScale,LatScale,LonScale,HeiScale为虚拟立体格网控制点的最大坐标值与最小坐标值之差。
2)为了求解未知数(即:有理多项式模型的系数)aj,bj,cj,dj,(j=1,…,20),先对公式(9)变换形式,得到有理多项式模型的另一种表达形式(11):
FS=s′×DenS(U,V,W)-NumS(U,V,W)=0 (11)
FL=l′×DenL(U,V,W)-NumL(U,V,W)=0
3)更新有理多项式模型的系数:
当k=1时,未知数aj,bj,cj,dj,(j=1,…,20)的初值aj 0,bj 0,cj 0,dj 0根据经验给出,当k>1时,未知数aj,bj,cj,dj,(j=1,…,20)的初值为上一次迭代结果aj k-1,bj k-1,cj k-1,dj k-1。
公式(11)按泰勒级数展开,取一次项得:
其中:由未知数初值代入公式(11)求得(是关于控制点坐标的函数),第一次执行到3)时,k=1,采用aj 0,bj 0,cj 0,dj 0作为第k次迭代的初值代入公式(11),后续执行到3)时采用上一轮迭代(第k-1次迭代)所得结果作为本次迭代的初值代入公式(11)。未知数的初值aj 0,bj 0,cj 0,dj 0可由本领域技术人员预先设置。为公式(11)中的FS,FL分别对有理多项式模型系数aj,bj,cj,dj求偏导数得到的系数(也是关于控制点坐标的函数)。daj,dbj,dcj,ddj表示aj,bj,cj,dj的误差。
设vaj,vbj,vcj,vdj为未知数aj,bj,cj,dj的改正数,将每个控制点的归一化坐标代入(12)式,可建立如下误差方程式:
A2n×80X80×1=L2n×1 (13)
其中:n为控制点数,A2n×80为系数矩阵,X80×1为有理多项式模型系数的改正数,L2n×1为常数向量。
X80×1=[va1 va2 … vb1 vb2 … vc1 vc2 … vd1 vd2 …]T
其中,为第i个控制点的归一化坐标代入得到的值;
(i=1,…,n)为第i个控制点的归一化坐标代入得到的值。
基于最小二乘准则,可解算出有理多项式模型系数的改正数:
X80×1=(A2n×80 TA2n×80)-1(A2n×80 TL2n×1) (15)
更新有理多项式模型的系数,得到本次迭代的结果aj k,b j k,cj k,d j k,(j=1,…,20):
aj k=aj k-1+vaj,bj k=bj k-1+vbj,cj k=cj k-1+vcj,dj k=dj k-1+vdj
4)判断,当前迭代次数k是否达到一预设定值或有理多项式模型系数的改正数向量的每个分量的绝对值是否都小于预设阈值,“是”则结束迭代;“否”则令k=k+1,返回3)进行下一次迭代。
通过上述流程可解算出A、B单相机的有理多项式模型系数和大虚拟相机的有理多项式模型系数,从而实现基于有理多项式模型的坐标反算(已知物方坐标求图像坐标的过程)。
具体实施时,坐标反算也可以采用其他方式,例如单相机可采用共线方程模型。
步骤2.2,对单相机图像进行间接法几何纠正,得到大虚拟相机图像坐标系下的两个图像。
间接法几何纠正属于现有技术,以相机A和B的图像坐标系分别作为坐标系①执行处理,处理流程如图2所示,以下分三步简述从坐标系①纠正到坐标系②的过程(坐标系①、②分别为单相机图像坐标系和大虚拟相机图像坐标系):
1)将坐标系①的原始图像四个角点坐标,通过步骤2.1的单相机的坐标正算和大虚拟相机的坐标反算,得到输出图像在坐标系②中的范围;
2)对坐标系②输出图像范围内的每个像素,通过步骤2.1的大虚拟相机的坐标正算和单相机的坐标反算,得到其在坐标系①的原始图像坐标;
3)根据坐标系①中的原始图像坐标,通过灰度重采样,得到坐标系②输出图像上的每个像素的灰度值。
图2中,表示原始单相机图像,表示输出大虚拟相机坐标系下的单相机图像,粗箭头表示从坐标系①到坐标系②的坐标正算过程,细箭头表示从坐标系②到坐标系①的坐标反算过程;由于反算到原始单相机图像上的坐标不是整像素值,图中dx和dy表示坐标的小数部分,根据反算的坐标进行灰度重采样,再将内插得到的灰度值赋给输出图像上的像素。
步骤3,对大虚拟相机图像坐标系下的两个输出图像进行基于坐标的拼接,得到拼接后的大虚拟相机图像。基于坐标的拼接具体实现可采用现有技术。
通过以上步骤就可以实现窄视场双相机图像的拼接并输出高精度的有理多项式模型系数。该方法借助大虚拟相机的概念,使拼接图像具有与之对应的高精度有理多项式模型,不仅简化了后续图像几何处理与应用,而且处理过程是全自动的、无需人工干预。本发明方法中的大虚拟相机参数不需要对用户公开,提供给用户的是有理多项式模型系数,这使得图像产品具备较好的保密性和通用性。本发明方法适用于同时推扫成像的窄视场双相机图像的地面预处理,前提条件是需要对两个单相机进行严格的几何标定,以保证两个单相机图像的相对几何精度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于大虚拟相机的窄视场双相机影像拼接方法,其特征在于:根据两个单相机建立大虚拟相机,所述大虚拟相机的焦距介于两个单相机的焦距之间,视场为两个单相机视场之和,主光轴位于两个单相机主光轴的中间;基于大虚拟相机进行以下步骤,
步骤1,根据两个单相机的几何成像参数,建立大虚拟相机的几何成像参数,所述几何成像参数包括相机参数和辅助数据,大虚拟相机的辅助数据和两个单相机的辅助数据相同,对大虚拟相机的相机参数建立包括求取卫星的本体坐标系下的视线方向如下,
设两个单相机分别记为相机A、B,相机A、B分别具有N1、N2个探元,相机A、B在本体坐标系上的重叠探元数为N0,则大虚拟相机的总探元数=N1+N2-N0,
设相机A的CCD的两端点A0,A1在本体坐标系中的平面投影坐标为(xA0,yA0)和(xA1,yA1),相机B的CCD的两端点B0,B1在本体坐标系中的平面投影坐标为(xB0,yB0)和(xB1,yB1),大虚拟相机的CCD两端点在本体坐标系下的平面投影坐标(xC0,yC0)(xC1,yC1)通过下式计算,
大虚拟相机的CCD的探元编号为s=0、1…N1+N2-N0-1,经线性内插,根据下式得到大虚拟相机的CCD每个探元s在本体坐标系中的视线方向[xC(s) yC(s) 1]T,
步骤2,根据两个单相机和大虚拟相机的几何成像参数,建立各自的几何成像模型;解算并输出大虚拟相机图像对应的有理多项式模型系数;根据基于几何成像模型的坐标正算过程和坐标反算过程对两个单相机的图像分别进行间接法几何纠正,得到大虚拟相机图像坐标系下的两个图像;
步骤3,对步骤2所得大虚拟相机图像坐标系下的两个图像进行基于坐标的拼接,得到拼接后的大虚拟相机图像。
2.根据权利要求1所述基于大虚拟相机的窄视场双相机影像拼接方法,其特征在于:步骤1中,设卫星的本体坐标系o-XbYbZb中,原点o位于卫星质心,Xb、Yb、Zb轴分别为卫星的滚动轴、俯仰轴和偏航轴,按以下方式求取相机A的CCD的两端点A0,A1在本体坐标系中的平面投影坐标(xA0,yA0)和(xA1,yA1),以及相机B的CCD的两端点B0,B1在本体坐标系中的平面投影坐标(xB0,yB0)和(xB1,yB1),
设相机A和B的内方位元素分别为a0A,a1A,a2A,a3A,b0A,b1A,b2A,b3A,a0B,a1B,a2B,a3B,b0B,b1B,b2B,b3B,则像点(s,l)的光线在相机A、B的相机坐标系中的矢量分别为[xA(s) yA(s) 1]T、[xB(s) yB(s) 1]T,
xA(s)=a0A+a1As+a2As2+a3As3 xB(s)=a0B+a1Bs+a2Bs2+a3Bs3
yA(s)=b0A+b1As+b2As2+b3As3 yB(s)=b0B+b1Bs+b2Bs2+b3Bs3
其中,变量s为探元的编号,变量l为图像的行号;
又设相机A和B相对于本体坐标系的安装矩阵分别为:RBSa、RBSb,则相机A和B的CCD端点A0,A1,B0,B1在本体坐标系中的光线矢量 如下,
将本体坐标系下的光线矢量进行Zb轴归一化,得到各端点的平面投影坐标(xA0,yA0)(xA1,yA1)(xB0,yB0)(xB1,yB1)如下,
其中,xA0、yA0表示本体坐标系下的光线矢量在Xb、Yb坐标轴方向上的分量;xA1、yA1表示本体坐标系下的光线矢量在Xb、Yb坐标轴方向上的分量;xB0、yB0表示本体坐标系下的光线矢量在Xb、Yb坐标轴方向上的分量;xB1、yB1表示本体坐标系下的光线矢量在Xb、Yb坐标轴方向上的分量。
3.根据权利要求2所述基于大虚拟相机的窄视场双相机影像拼接方法,其特征在于:步骤2中,基于几何成像模型的坐标正算过程实现如下,
设Rt、RGF、RFB、RBSa、RBSb分别为t时刻下从J2000惯性坐标系到地固地心直角坐标系的旋转矩阵、从轨道坐标系到J2000惯性坐标系的旋转矩阵、从本体坐标系到轨道坐标系的旋转矩阵、从相机坐标系A到本体坐标系的旋转矩阵、从相机坐标系B到本体坐标系的旋转矩阵,且[Xt Yt Zt]T为t时刻卫星质心在地固地心直角坐标系下的坐标矢量,
相机A的坐标正算过程为,对于相机A图像上的某像点(s,l),相机坐标系下的光线矢量[xA(s) yA(s) 1]T,则物方坐标[X Y Z]T由下列共线方程给出,
相机B的坐标正算过程为,对于相机B图像上的某像点(s,l),相机坐标系下的光线矢量[xB(s) yB(s) 1]T,则物方坐标[X Y Z]T由下列共线方程给出,
大虚拟相机坐标正算过程为,对于大虚拟相机图像上的某像点(s,l),首先求出本体坐标系下的光线矢量[xC(s) yC(s) 1]T,则物方坐标[X Y Z]T由下列共线方程给出:
其中,m为比例系数。
4.根据权利要求3所述基于大虚拟相机的窄视场双相机影像拼接方法,其特征在于:步骤2中,基于几何成像模型的坐标反算过程根据有理多项式模型实现,相机A、B和大虚拟相机坐标的有理多项式模型的系数分别通过以下步骤得到,
首先,对相机所得图像分别划分规则格网,对物方高程划分多个高程面,利用相机的几何成像模型的坐标正算过程,计算所有虚拟立体格网点的物方坐标(X,Y,Z),并转换为WGS84地理经纬度坐标(B,L,H);
然后,将上述各虚拟立体格网点作为控制点,对有理多项式模型的系数列出误差方程式,基于最小二乘准则迭代求解,解算出有理多项式模型的系数。
5.根据权利要求4所述基于大虚拟相机的窄视场双相机影像拼接方法,其特征在于:步骤2中,两个单相机的图像分别进行间接法几何纠正的实现方式为,以大虚拟相机图像坐标系为坐标系②,以相机A和B的图像坐标系分别作为坐标系①执行以下处理,
1)将坐标系①的原始图像四个角点坐标,基于相应单相机的几何成像模型的坐标正算过程和大虚拟相机的几何成像模型的坐标反算过程,得到输出图像在坐标系②中的范围;
2)对坐标系②输出图像范围内的每个像素,通过大虚拟相机的几何成像模型的坐标正算过程和相应单相机的几何成像模型的坐标反算过程,得到在坐标系①的原始图像坐标;
3)根据坐标系①中的原始图像坐标,通过灰度重采样,得到坐标系②相应输出图像上的每个像素的灰度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310737819.1A CN103697864B (zh) | 2013-12-27 | 2013-12-27 | 一种基于大虚拟相机的窄视场双相机影像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310737819.1A CN103697864B (zh) | 2013-12-27 | 2013-12-27 | 一种基于大虚拟相机的窄视场双相机影像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103697864A CN103697864A (zh) | 2014-04-02 |
CN103697864B true CN103697864B (zh) | 2015-11-04 |
Family
ID=50359476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310737819.1A Expired - Fee Related CN103697864B (zh) | 2013-12-27 | 2013-12-27 | 一种基于大虚拟相机的窄视场双相机影像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103697864B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105091906B (zh) * | 2015-06-30 | 2018-03-02 | 武汉大学 | 高分辨率光学推扫卫星稳态重成像传感器校正方法及系统 |
CN106643669B (zh) * | 2016-11-22 | 2018-10-19 | 北京空间机电研究所 | 一种多镜头多探测器航空相机单中心投影转换方法 |
CN106895851B (zh) * | 2016-12-21 | 2019-08-13 | 中国资源卫星应用中心 | 一种光学遥感卫星多ccd多相机统一处理的传感器校正方法 |
CN108974397B (zh) * | 2018-06-14 | 2020-07-10 | 上海卫星工程研究所 | 一种线阵推扫成像光学载荷的视场拼接范围验证方法 |
CN109660720B (zh) * | 2018-12-12 | 2020-10-30 | 河北汉光重工有限责任公司 | 一种应用于陆防监控双红外低空探测系统的扇扫拼接方法 |
CN110030976B (zh) * | 2019-04-08 | 2020-10-30 | 武汉大学 | 保持原始分辨率的遥感虚拟线阵参数提取及影像拼接方法 |
CN111951598B (zh) * | 2019-05-17 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 一种车辆跟踪监测方法、装置及系统 |
CN111538051B (zh) * | 2020-04-30 | 2022-08-26 | 中国科学院微小卫星创新研究院 | 一种摆扫大幅宽光学卫星精准处理方法 |
CN112697073B (zh) * | 2020-11-10 | 2022-07-15 | 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) | 一种三维姿态测量方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6782334B1 (en) * | 2003-04-01 | 2004-08-24 | Lockheed Martin Corporation | Method and system for calibration of time delay integration imaging devices |
CN101799293A (zh) * | 2010-03-05 | 2010-08-11 | 武汉大学 | 基于分段仿射变换的星载三片非共线tdiccd影像拼接方法 |
CN101827223A (zh) * | 2010-04-20 | 2010-09-08 | 武汉大学 | 基于行频归一化的非共线tdi ccd成像数据内视场拼接方法 |
CN103398701A (zh) * | 2013-07-31 | 2013-11-20 | 国家测绘地理信息局卫星测绘应用中心 | 一种基于物方投影面的星载非共线tdi ccd影像拼接方法 |
-
2013
- 2013-12-27 CN CN201310737819.1A patent/CN103697864B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6782334B1 (en) * | 2003-04-01 | 2004-08-24 | Lockheed Martin Corporation | Method and system for calibration of time delay integration imaging devices |
CN101799293A (zh) * | 2010-03-05 | 2010-08-11 | 武汉大学 | 基于分段仿射变换的星载三片非共线tdiccd影像拼接方法 |
CN101827223A (zh) * | 2010-04-20 | 2010-09-08 | 武汉大学 | 基于行频归一化的非共线tdi ccd成像数据内视场拼接方法 |
CN103398701A (zh) * | 2013-07-31 | 2013-11-20 | 国家测绘地理信息局卫星测绘应用中心 | 一种基于物方投影面的星载非共线tdi ccd影像拼接方法 |
Non-Patent Citations (2)
Title |
---|
自稳定双拼相机影像拼接技术;刘凤英,王冬;《测绘通报》;20120228(第2期);全文 * |
虚拟CCD线阵星载光学传感器内视场拼接;张过,刘斌,江万涛;《中国图象图形学报》;20120630;第17卷(第6期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103697864A (zh) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103697864B (zh) | 一种基于大虚拟相机的窄视场双相机影像拼接方法 | |
CN106403902B (zh) | 一种星地协同的光学卫星在轨实时几何定位方法及系统 | |
CN110500995B (zh) | 利用rpc参数建立高分辨率卫星影像等效几何成像模型的方法 | |
CN104897175B (zh) | 多相机光学推扫卫星在轨几何定标方法及系统 | |
CN103674063B (zh) | 一种光学遥感相机在轨几何定标方法 | |
CN106885585B (zh) | 一种基于光束法平差的星载摄影测量系统一体化检校方法 | |
CN104298887B (zh) | 一种多片线阵ccd相机的相对辐射定标方法 | |
CN107014399B (zh) | 一种星载光学相机-激光测距仪组合系统联合检校方法 | |
CN102410831B (zh) | 多条带扫描成像模型的设计及定位方法 | |
CN113900125B (zh) | 星地联合的线阵成像遥感卫星全自主几何定标方法及系统 | |
CN111612693B (zh) | 一种旋转大幅宽光学卫星传感器校正方法 | |
CN110006452B (zh) | 高分六号宽视场相机相对几何定标方法及系统 | |
CN110211054A (zh) | 一种星载推扫式光学传感器无畸变影像制作方法 | |
CN112258422B (zh) | 立体影像有理多项式参数(rpc)自动精化方法 | |
CN103632349A (zh) | 一种降低tdi-ccd相机图像模糊度的方法 | |
CN111508028A (zh) | 光学立体测绘卫星相机的自主在轨几何定标方法及系统 | |
CN104820984A (zh) | 一种卫星遥感立体影像处理系统及方法 | |
CN108447100B (zh) | 一种机载三线阵ccd相机的偏心矢量和视轴偏心角标定方法 | |
CN114838740A (zh) | 一种考虑不同经纬度区域的卫星图像几何定标方法 | |
CN111524196B (zh) | 一种摆扫大幅宽光学卫星在轨几何标定方法 | |
CN110853140A (zh) | 一种dem辅助的光学视频卫星影像稳像方法 | |
CN111538051B (zh) | 一种摆扫大幅宽光学卫星精准处理方法 | |
Pi et al. | On-orbit geometric calibration using a cross-image pair for the linear sensor aboard the agile optical satellite | |
CN105571598B (zh) | 一种卫星激光高度计足印相机姿态的测定方法 | |
CN109029379B (zh) | 一种高精度小基高比立体测绘方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151104 Termination date: 20161227 |