[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112985398A - 目标定位方法及系统 - Google Patents

目标定位方法及系统 Download PDF

Info

Publication number
CN112985398A
CN112985398A CN201911291169.6A CN201911291169A CN112985398A CN 112985398 A CN112985398 A CN 112985398A CN 201911291169 A CN201911291169 A CN 201911291169A CN 112985398 A CN112985398 A CN 112985398A
Authority
CN
China
Prior art keywords
coordinate system
aircraft
transformation matrix
camera
position coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911291169.6A
Other languages
English (en)
Inventor
陈宇楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingbangda Trade Co Ltd, Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingbangda Trade Co Ltd
Priority to CN201911291169.6A priority Critical patent/CN112985398A/zh
Publication of CN112985398A publication Critical patent/CN112985398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种目标定位方法及系统,涉及目标定位技术领域。其中方法包括:利用飞行器上搭载的相机实时获取目标点位于相机的像素平面的投影点的位置坐标;实时获取飞行器的飞控数据;基于飞控数据,构建将目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵;基于投影点的位置坐标和坐标系变换矩阵,定位在世界地理坐标系下目标点的位置坐标。根据本发明实施例的目标定位方法,避免了在飞行器上搭载激光测距机器,降低了飞行器的负载重量和成本,提高了飞行器的目标定位方法的目标定位范围。

Description

目标定位方法及系统
技术领域
本发明涉及目标定位技术领域,具体涉及一种目标定位方法及系统。
背景技术
目前,常用航空光电成像系统来对地面目标进行探测和跟踪。航空光电成像系统搭载于高空作业的固定翼或其他载人或无人飞行器上使用。若要实现地面目标定位,需要实时获取光电成像系统相对于飞行器的位置和姿态,以及光电成像系统相对于地面目标的距离。将飞行器机载端的GPS信息、惯导数据通过坐标系转换来完成目标定位。在整个目标定位过程中,获取飞行器与目标的距离值是关键。
现有技术中,载机目标定位技术可分为有源定位技术和无源定位技术。有源定位即机载端通过发射电磁波来直接测量得到飞行器与地面目标的距离值,例如,使用激光测距传感器来测量;而无源定位是指机载端不发射对目标直接照射的电磁波,而是通过间接利用视觉相机计算得到飞行器与目标的距离值,进而使用比例定位法求解图像中心的位置。大多数的载机目标定位技术依靠如图1所示的目标定位模型来进行定位。目标A在相机坐标系下的坐标A=(x0,y0,z0)为:
Figure BDA0002319161420000011
其中,z0为光电吊舱距离地平面的距离,α为光电吊舱的方位角,β为光电吊舱俯仰角,R为光电成像系统到目标的距离值。
有源目标定位技术依靠激光测距,快速准确,但是,搭载航空光电成像系统的高空作业的固定翼或其他载人或无人飞行器上的飞行高度单位为千米级别,需要使用大功率、高质量的激光测距机器,这增加了飞行器的负载重量,同时也增加了目标定位的成本。同时,无源目标定位技术中使用的比例定位法只能求解图像中心的位置,没有利用到目标点在图像中的位置信息,定位局限性大。
发明内容
有鉴于此,本发明实施例提供了一种目标定位方法及系统,降低了载机的负载重量和成本并且提高目标定位范围。
根据本发明的第一方面,提供一种目标定位方法,包括:
利用飞行器上搭载的相机实时获取所述目标点位于所述相机的像素平面的投影点的位置坐标;
实时获取所述飞行器的飞控数据;
基于所述飞控数据,构建将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵;
基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标。
可选地,所述基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标,包括:
利用所述坐标系变换矩阵将所述相机的光心的位置坐标从相机坐标系变换到惯性坐标系;
利用所述坐标系变换矩阵将所述目标点在所述像素平面的投影点的位置坐标转化到惯性坐标系;以及
基于惯性坐标系下所述相机的光心的ZI轴坐标和所述投影点的ZI轴坐标之间的几何关系,计算得到所述目标点在相机坐标系下的图像深度。
可选地,所述基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标,还包括:
基于所述图像深度和所述像素平面的投影点的位置坐标,利用所述坐标系变换矩阵将所述目标点的位置坐标从相机坐标系变换到惯性坐标系。
可选地,所述基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标,还包括:
将所述目标点的位置坐标从惯性坐标系变换到世界地理坐标系,定位世界地理坐标系下所述目标点的位置坐标。
可选地,所述图像深度是所述目标点在相机坐标系下的Zc轴坐标。
可选地,所述飞控数据包括:所述飞行器的位置信息、所述飞行器的姿态信息、云台位置信息和云台姿态信息;
所述飞行器的位置信息包括:惯性坐标系下所述飞行器的位置坐标和云台坐标系下所述飞行器的位置坐标;
所述飞行器的姿态信息包括:所述飞行器的滚转角、所述飞行器的俯仰角和所述飞行器的偏航角;
所述云台位置信息包括:相机坐标系下的云台旋转中心相对于所述相机的光心的平移距离;以及
所述云台姿态信息包括:云台偏航角和云台俯仰角。
可选地,所述基于所述飞控数据,构建将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵,包括:
基于所述飞行器的位置信息,构建从惯性坐标系到飞行器地理坐标系的第一变换矩阵;
基于所述飞行器的姿态信息,构建从飞行器地理坐标系到飞行器机体坐标系的第二变换矩阵;
基于所述云台姿态信息和所述飞行器的位置信息,构建从飞行器机体坐标系到云台坐标系的第三变换矩阵;
基于所述云台位置信息,构建从云台坐标系到相机坐标系的第四变换矩阵;
将所述第一变换矩阵、所述第二变换矩阵、所述第三变换矩阵和所述第四变换矩阵相乘,得到第五变换矩阵;
计算所述第五变换矩阵的逆矩阵,得到将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的所述坐标系变换矩阵。
可选地,所述基于所述图像深度和所述像素平面的投影点的位置坐标,利用所述坐标系变换矩阵将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的计算公式为:
Figure BDA0002319161420000031
其中,
Figure BDA0002319161420000032
为所述目标点在惯性坐标系下的位置坐标,q为所述目标点在所述像素平面的投影点的位置坐标,
Figure BDA0002319161420000041
为将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的所述坐标系变换矩阵,C-1为相机内参矩阵的逆矩阵,
Figure BDA0002319161420000042
为齐次矩阵,I为3×3的单位矩阵,λ为所述图像深度。
根据本发明的第二方面,提供一种目标定位系统,包括:
第一获取单元,被配置为执行利用飞行器上搭载的相机实时获取所述目标点位于所述相机的像素平面的投影点的位置坐标;
第二获取单元,被配置为执行实时获取所述飞行器的飞控数据;
构建单元,被配置为执行基于所述飞控数据,构建将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵;
定位单元,被配置为执行基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标。
根据本发明的第三方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现如上所述的目标定位方法。
根据本发明的第四方面,提供一种目标定位的控制装置,包括:
存储器,用于存储计算机指令;
处理器,耦合到所述存储器,所述处理器被配置为基于所述存储器存储的计算机指令执行实现如上所述的目标定位方法。
本发明的一个实施例具有以下优点或有益效果:利用飞行器上搭载的相机实时获取目标点位于相机的像素平面的投影点的位置坐标,利用飞行器上搭载的信息采集仪器实时采集飞行器在飞行过程中产生的飞控数据,避免了在飞行器上搭载激光测距机器,降低了飞行器的负载重量和成本。
基于飞行器的飞控数据,构建将目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵,基于投影点的位置坐标和坐标系变换矩阵,将目标点的位置坐标从相机坐标系变换到惯性坐标系,然后再将目标点的位置坐标从惯性坐标系变换到世界地理坐标系,定位世界地理坐标系下目标点的位置坐标。通过坐标系变换矩阵对实时获取的目标点位于相机的像素平面的投影点的位置坐标进行坐标变换以定位世界地理坐标系下目标点的位置坐标,可以定位任意一个目标点在像素平面的投影点的位置坐标,进而定位任意一个目标点在世界地理坐标系下的位置坐标,提高了飞行器的目标定位方法的目标定位范围。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示出现有的目标定位系统的结构示意图。
图2示出本发明的一个实施例的目标定位方法的流程示意图。
图3示出本发明的一个实施例的目标定位方法的针孔相机模型的示意图。
图4示出本发明的一个实施例的目标定位方法的流程示意图。
图5示出本发明的一个实施例的目标定位方法的定位技术原理的示意图。
图6示出本发明的一个实施例的目标定位系统的结构示意图。
图7示出本发明的一个实施例的目标定位的控制装置的结构图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
图2是本发明的一个实施例的目标定位方法的流程示意图。图3示出本发明的一个实施例的目标定位方法的针孔相机模型的示意图。如图3所示,相机坐标系{Xc,Yc,Zc},相机坐标系下的原点Oc位于相机光心,坐标单位为米;图像平面坐标系{Xim,Yim,Zc},各轴分别与相机坐标系各轴平行,图像平面坐标系下的原点Oim位于图像平面,坐标单位为米;像素平面坐标系{Xip,Yip},像素平面坐标系的原点Oip位于图像左上角,坐标单位为像素。
q=(xip,yip,1,1)T是目标点在相机坐标系下的坐标
Figure BDA0002319161420000061
Figure BDA0002319161420000062
在像素平面上的齐次投影,也即时目标点位于相机的像素平面的投影点的位置坐标。图像平面坐标系是中间变换坐标系,可以通过以下公式(2)和公式(3),将目标点位于相机的像素平面的投影点的位置坐标从像素单位转换成米单位:
xim=(-yip+0y)Sy (2)
yim=(-xip+0x)Sx (3)
其中,0x和0y是像素平面坐标系的原点Oip到图像平面坐标系的原点Oim的平移偏差,Sx和Sy是从像素单位到米单位的尺寸变换因子。
由相似三角形,得到
Figure BDA0002319161420000063
Figure BDA0002319161420000064
其中,f是相机焦距。
由以上公式可以得到将像素平面上任意一个目标点的位置坐标变换到相机坐标系的针孔相机模型,该针孔相机模型为:
Figure BDA0002319161420000065
其中,
Figure BDA0002319161420000066
C为相机内参矩阵,
Figure BDA0002319161420000067
Figure BDA0002319161420000068
为目标点在相机坐标系下的位置坐标,
Figure BDA0002319161420000069
为齐次矩阵,I为3×3的单位矩阵。λ是目标点在相机坐标系下的图像深度,也即是目标点在相机坐标系下的Zc轴坐标。
下面结合图3说明图2所示的本发明的一个实施例的目标定位方法的流程示意图。具体包括以下步骤:
在步骤S210中,利用飞行器上搭载的相机实时获取所述目标点位于所述相机的像素平面的投影点的位置坐标。
在该步骤中,在飞行器,例如,无人机(固定翼、多旋翼),的机载端搭载一个长焦单目相机,可以通过实时捕获到的图片,人为或由检测、跟踪程序获取目标点位于相机的像素平面的投影点的位置坐标,即q=(xip,yip,1,1)T
在步骤S220中,实时获取所述飞行器的飞控数据。
在该步骤中,利用飞行器上搭载的信息采集仪器实时采集飞行器在飞行过程中产生的飞控数据。飞控数据包括:飞行器的位置信息、飞行器的姿态信息、云台位置信息和云台姿态信息。其中,飞行器的位置信息包括:惯性坐标系下飞行器的位置坐标和云台坐标系下飞行器的位置坐标;飞行器的姿态信息包括:飞行器的滚转角、飞行器的俯仰角和飞行器的偏航角;云台位置信息包括:相机坐标系下的云台旋转中心相对于相机的光心的平移距离;云台姿态信息包括:云台偏航角和云台俯仰角。
在步骤S230中,基于所述飞控数据,构建将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵。
在本发明的一个可选的实施例中,世界地理坐标系,原点O位于地心,X轴指向地球赤道与本初子午圈的交点,Z轴指向北极,与地球自转轴平行,Y轴垂直于平面XOZ,与X轴、Z轴构成右手螺旋坐标系,以经度、纬度和高度表示任意一点的GPS坐标。
惯性坐标系I,原点OI为载机起飞点,XI轴指向正东方向,YI轴指向正北方向,ZI轴指向竖直向上的方向,与XI轴、YI轴构成右手螺旋坐标系,是固定坐标系。
飞行器地理坐标系v,原点Ov位于载机质心,Xv轴指向正北方向,Yv指向正东方向,Zv轴指向地心方向,与Xv轴、Yv轴构成右手螺旋坐标系,是运动坐标系。
飞行器机体坐标系b,原点Ob位于载机质心,Xb轴指向载机机头方向,Yb轴指向载机右翼方向,Zb轴垂直XbObYb平面且指向地面方向,与Xb轴、Yb轴构成右手螺旋坐标系,,是运动坐标系。
云台坐标系g,原点Og位于云台旋转中心(两转轴交点),Xg轴与机载相机光轴重合,并且垂直于像素平面,取摄影方向为正方向,Yg轴指向机翼右侧方向,Zg轴垂直于像素平面且指向地面方向,与Xg轴、Yg轴构成右手螺旋坐标系。
相机坐标系c,原点Oc位于机载相机光心,Xc轴平行于像素平面水平向右,Yc轴垂直于Xc轴向下,Zc轴与机载相机光轴重合,并且垂直于像素平面,取摄影方向为正方向,与Xc轴、Yc轴构成右手螺旋坐标系。
在该步骤中,基于飞行器的位置信息,构建从惯性坐标系I到飞行器地理坐标系v的第一变换矩阵
Figure BDA0002319161420000081
其中,从惯性坐标系I到飞行器地理坐标系v的第一变换矩阵
Figure BDA0002319161420000082
的计算公式为:
Figure BDA0002319161420000083
其中,
Figure BDA0002319161420000084
Figure BDA0002319161420000085
为惯性坐标系下飞行器的位置坐标。
基于飞行器的姿态信息,构建从飞行器地理坐标系v到飞行器机体坐标系b的第二变换矩阵
Figure BDA0002319161420000086
其中,从飞行器地理坐标系v到飞行器机体坐标系b的第二变换矩阵
Figure BDA0002319161420000087
的计算公式为:
Figure BDA0002319161420000088
其中,
Figure BDA0002319161420000089
φ,θ,ψ为飞行器欧拉角,φ为飞行器的滚转角(roll)、θ为飞行器的俯仰角(pitch)和ψ为飞行器的偏航角(yaw)。
基于云台姿态信息和飞行器的位置信息,构建从飞行器机体坐标系b到云台坐标系g的第三变换矩阵
Figure BDA0002319161420000091
其中,从飞行器机体坐标系b到云台坐标系g的第三变换矩阵
Figure BDA0002319161420000092
的计算公式为:
Figure BDA0002319161420000093
其中,
Figure BDA0002319161420000094
αaz是绕云台坐标系g的Zg轴转动的角度,即云台偏航角;αph是绕云台坐标系g的Yg轴转动的角度,即云台俯仰角。
Figure BDA0002319161420000095
是云台坐标系下飞行器的位置坐标。
基于云台位置信息,构建从云台坐标系g到相机坐标系c的第四变换矩阵
Figure BDA0002319161420000096
其中,从云台坐标系g到相机坐标系c的第四变换矩阵
Figure BDA0002319161420000097
的计算公式为:
Figure BDA0002319161420000098
其中,
Figure BDA0002319161420000099
Figure BDA00023191614200000910
是相机坐标系下的云台旋转中心相对于相机的光心的平移距离。
将第一变换矩阵
Figure BDA00023191614200000911
第二变换矩阵
Figure BDA00023191614200000912
第三变换矩阵
Figure BDA00023191614200000913
和第四变换矩阵
Figure BDA00023191614200000914
相乘,得到第五变换矩阵
Figure BDA00023191614200000915
计算第五变换矩阵的逆矩阵,得到将目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵。
在步骤S240中,基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标。
在该步骤中,基于投影点的位置坐标和坐标系变换矩阵,将目标点的位置坐标从相机坐标系变换到惯性坐标系,然后再将目标点的位置坐标从惯性坐标系变换到世界地理坐标系,实时定位世界地理坐标系下目标点的位置坐标。
根据本发明实施例,利用飞行器上搭载的相机实时获取目标点位于相机的像素平面的投影点的位置坐标,利用飞行器上搭载的信息采集仪器实时采集飞行器在飞行过程中产生的飞控数据,避免了在飞行器上搭载激光测距机器,降低了飞行器的负载重量和成本。
同时,基于飞行器采集的飞控数据构建第一变换矩阵、第二变换矩阵、第三变换矩阵和第四变换矩阵;将第一变换矩阵、第二变换矩阵、第三变换矩阵和第四变换矩阵相乘,得到第五变换矩阵。计算所述第五变换矩阵的逆矩阵,得到将目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵,基于坐标系变换矩阵得到目标点在惯性坐标系下的位置坐标。通过飞行器实时获取的飞控数据构建坐标系变换矩阵,无时延,提高了目标定位的实时性。
图4是本发明的一个实施例的目标定位方法的流程示意图。具体是图2中步骤S240中,基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标的具体过程,包括以下步骤:
在步骤S410中,利用所述坐标系变换矩阵将所述相机的光心的位置坐标从相机坐标系变换到惯性坐标系。
在该步骤中,利用坐标系变换矩阵将相机的光心的位置坐标从相机坐标系变换到惯性坐标系。其中,通过坐标系变换矩阵将相机坐标系下的相机光心的位置坐标变换到惯性坐标系的公式为:
Figure BDA0002319161420000101
其中,
Figure BDA0002319161420000102
为惯性坐标系下相机光心的位置坐标,相机光心在相机坐标系下的坐标为
Figure BDA0002319161420000103
为将目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵。
在步骤S420中,利用所述坐标系变换矩阵将所述目标点在所述像素平面的投影点的位置坐标转化到惯性坐标系。
在该步骤中,利用坐标系变换矩阵将目标点在像素平面的投影点的位置坐标转化到惯性坐标系。其中,根据公式(6)表示的针孔相机模型,通过坐标系变换矩阵将目标点在像素平面的投影点q的位置坐标转化到惯性坐标系的公式为:
Figure BDA0002319161420000111
其中,
Figure BDA0002319161420000112
为惯性坐标系下目标点在像素平面的投影点q的位置坐标,q为目标点在像素平面的投影点,
Figure BDA0002319161420000113
Figure BDA0002319161420000114
为将目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵,C-1为相机内参矩阵的逆矩阵。
在步骤S430中,基于惯性坐标系下所述相机的光心的ZI轴坐标和所述投影点的ZI轴坐标之间的几何关系,计算得到所述目标点在相机坐标系下的图像深度。
图5示出本发明的一个实施例的目标定位方法的定位技术原理的示意图。如图5所示,惯性坐标系{XI,YI,ZI}下相机光心的ZI轴坐标和目标点在像素平面的投影点q的ZI轴坐标之间存在几何关系:若地势平坦,则惯性坐标系下相机光心的ZI轴坐标和目标点在像素平面的投影点q的ZI轴坐标之间的几何关系为:
Figure BDA0002319161420000115
目标点在相机坐标系下的图像深度λ是目标点在相机坐标系下的Zc轴坐标。从而得出图像深度λ的计算公式为:
Figure BDA0002319161420000116
其中,
Figure BDA0002319161420000117
为惯性坐标系下相机光心的ZI轴坐标,
Figure BDA0002319161420000118
为惯性坐标系下目标点在像素平面的投影点q的ZI轴坐标。
在步骤S440中,基于所述图像深度和所述像素平面的投影点的位置坐标,利用所述坐标系变换矩阵将所述目标点的位置坐标从相机坐标系变换到惯性坐标系。
在该步骤中,基于图像深度和像素平面的投影点的位置坐标,利用坐标系变换矩阵将所述目标点的位置坐标从相机坐标系变换到惯性坐标系。其中,基于图像深度和像素平面的投影点的位置坐标,利用坐标系变换矩阵将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的计算公式为:
Figure BDA0002319161420000121
其中,
Figure BDA0002319161420000122
为目标点在惯性坐标系下的位置坐标,q为目标点在像素平面的投影点的位置坐标,
Figure BDA0002319161420000123
Figure BDA0002319161420000124
为将目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵,C-1为相机内参矩阵的逆矩阵,
Figure BDA0002319161420000125
为齐次矩阵,I为3×3的单位矩阵。
在步骤S450中,将所述目标点的位置坐标从惯性坐标系变换到世界地理坐标系,定位世界地理坐标系下所述目标点的位置坐标。
根据本发明实施例,基于飞行器的飞控数据,构建将目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵,基于目标点位于相机的像素平面的投影点的位置坐标和坐标系变换矩阵,将目标点的位置坐标从相机坐标系变换到惯性坐标系,然后再将目标点的位置坐标从惯性坐标系变换到世界地理坐标系,定位世界地理坐标系下目标点的位置坐标。通过坐标系变换矩阵对获取的目标点位于相机的像素平面的投影点的位置坐标进行坐标变换以定位世界地理坐标系下目标点的位置坐标,可以定位任意一个目标点在像素平面的投影点的位置坐标,进而定位任意一个目标点在世界地理坐标系下的位置坐标,提高了飞行器的目标定位方法的目标定位范围。
图6是本发明的一个实施例的目标定位系统的结构示意图。如图6所示,所述目标定位系统包括:第一获取单元610、第二获取单元620、构建单元630和定位单元640。
第一获取单元610,被配置为执行利用飞行器上搭载的相机实时获取所述目标点位于所述相机的像素平面的投影点的位置坐标。
第二获取单元620,被配置为执行实时获取所述飞行器的飞控数据。
构建单元630,被配置为执行基于所述飞控数据,构建将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵。
定位单元640,被配置为执行基于所述像素平面的投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标。
图7是根据本发明实施例的目标定位的控制装置的结构图。图7示出的设备仅仅是一个示例,不应对本发明实施例的功能和使用范围构成任何限制。
参考图7,该装置包括通过总线连接的处理器710、存储器720和输入输出设备730。存储器720包括只读存储器(ROM)和随机访问存储器(RAM),存储器720内存储有执行系统功能所需的各种计算机指令和数据,处理器710从存储器720中读取各种计算机指令以执行各种适当的动作和处理。输入输出设备包括键盘、鼠标等的输入部分;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。存储器720还存储有以下的计算机指令以完成本发明实施例的目标定位方法规定的操作。
相应地,本发明实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现上述目标定位方法所规定的操作。
附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作,流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码,所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意,所述实现规定逻辑功能的可执行指令可以重新组合,从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤,而不应以此作为对发明本身的限制。
以上所述仅为本发明的一些实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种目标定位方法,其特征在于,包括:
利用飞行器上搭载的相机实时获取所述目标点位于所述相机的像素平面的投影点的位置坐标;
实时获取所述飞行器的飞控数据;
基于所述飞控数据,构建将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵;
基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标。
2.根据权利要求1所述的目标定位方法,其特征在于,所述基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标,包括:
利用所述坐标系变换矩阵将所述相机的光心的位置坐标从相机坐标系变换到惯性坐标系;
利用所述坐标系变换矩阵将所述目标点在所述像素平面的投影点的位置坐标转化到惯性坐标系;以及
基于惯性坐标系下所述相机的光心的ZI轴坐标和所述投影点的ZI轴坐标之间的几何关系,计算得到所述目标点在相机坐标系下的图像深度。
3.根据权利要求2所述的目标定位方法,其特征在于,所述基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标,还包括:
基于所述图像深度和所述像素平面的投影点的位置坐标,利用所述坐标系变换矩阵将所述目标点的位置坐标从相机坐标系变换到惯性坐标系。
4.根据权利要求3所述的目标定位方法,其特征在于,所述基于所述投影点的位置坐标和所述坐标系变换矩阵,实时定位在世界地理坐标系下所述目标点的位置坐标,还包括:
将所述目标点的位置坐标从惯性坐标系变换到世界地理坐标系,定位世界地理坐标系下所述目标点的位置坐标。
5.根据权利要求4所述的目标定位方法,其特征在于,所述图像深度是所述目标点在相机坐标系下的Zc轴坐标。
6.根据权利要求1所述的目标定位方法,其特征在于,所述飞控数据包括:所述飞行器的位置信息、所述飞行器的姿态信息、云台位置信息和云台姿态信息;
所述飞行器的位置信息包括:惯性坐标系下所述飞行器的位置坐标和云台坐标系下所述飞行器的位置坐标;
所述飞行器的姿态信息包括:所述飞行器的滚转角、所述飞行器的俯仰角和所述飞行器的偏航角;
所述云台位置信息包括:相机坐标系下的云台旋转中心相对于所述相机的光心的平移距离;以及
所述云台姿态信息包括:云台偏航角和云台俯仰角。
7.根据权利要求6所述的目标定位方法,其特征在于,所述基于所述飞控数据,构建将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵,包括:
基于所述飞行器的位置信息,构建从惯性坐标系到飞行器地理坐标系的第一变换矩阵;
基于所述飞行器的姿态信息,构建从飞行器地理坐标系到飞行器机体坐标系的第二变换矩阵;
基于所述云台姿态信息和所述飞行器的位置信息,构建从飞行器机体坐标系到云台坐标系的第三变换矩阵;
基于所述云台位置信息,构建从云台坐标系到相机坐标系的第四变换矩阵;
将所述第一变换矩阵、所述第二变换矩阵、所述第三变换矩阵和所述第四变换矩阵相乘,得到第五变换矩阵;
计算所述第五变换矩阵的逆矩阵,得到将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的所述坐标系变换矩阵。
8.根据权利要求3所述的目标定位方法,其特征在于,所述基于所述图像深度和所述像素平面的投影点的位置坐标,利用所述坐标系变换矩阵将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的计算公式为:
Figure FDA0002319161410000031
其中,
Figure FDA0002319161410000032
为所述目标点在惯性坐标系下的位置坐标,q为所述目标点在所述像素平面的投影点的位置坐标,
Figure FDA0002319161410000033
Figure FDA0002319161410000034
为将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的所述坐标系变换矩阵,C-1为相机内参矩阵的逆矩阵,
Figure FDA0002319161410000035
为齐次矩阵,I为3×3的单位矩阵,λ为所述图像深度。
9.一种目标定位系统,其特征在于,包括:
第一获取单元,被配置为执行利用飞行器上搭载的相机实时获取所述目标点位于所述相机的像素平面的投影点的位置坐标;
第二获取单元,被配置为执行实时获取所述飞行器的飞控数据;
构建单元,被配置为执行基于所述飞控数据,构建将所述目标点的位置坐标从相机坐标系变换到惯性坐标系的坐标系变换矩阵;
定位单元,被配置为执行基于所述投影点的位置坐标和所述坐标系变换矩阵,定位在世界地理坐标系下所述目标点的位置坐标。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现如权利要求1至8中任一项所述的目标定位方法。
11.一种目标定位的控制装置,其特征在于,包括:
存储器,用于存储计算机指令;
处理器,耦合到所述存储器,所述处理器被配置为基于所述存储器存储的计算机指令执行实现如权利要求1至8中任一项所述的目标定位方法。
CN201911291169.6A 2019-12-16 2019-12-16 目标定位方法及系统 Pending CN112985398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911291169.6A CN112985398A (zh) 2019-12-16 2019-12-16 目标定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911291169.6A CN112985398A (zh) 2019-12-16 2019-12-16 目标定位方法及系统

Publications (1)

Publication Number Publication Date
CN112985398A true CN112985398A (zh) 2021-06-18

Family

ID=76343035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911291169.6A Pending CN112985398A (zh) 2019-12-16 2019-12-16 目标定位方法及系统

Country Status (1)

Country Link
CN (1) CN112985398A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658271A (zh) * 2021-08-18 2021-11-16 上海智能新能源汽车科创功能平台有限公司 一种基于路侧单目视觉的障碍物空间坐标边缘计算方法
CN113804187A (zh) * 2021-09-01 2021-12-17 河北汉光重工有限责任公司 一种光电吊舱目标定位的一体化系统
CN114167900A (zh) * 2021-11-19 2022-03-11 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪系统标校方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169946A1 (en) * 2009-12-07 2011-07-14 Rudin Leonid I System and method for determining geo-location(s) in images
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN109725340A (zh) * 2018-12-31 2019-05-07 成都纵横大鹏无人机科技有限公司 直接地理定位方法及装置
CN109724560A (zh) * 2018-12-17 2019-05-07 南京理工大学 一种基于惯性测量单元的单目测距系统
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169946A1 (en) * 2009-12-07 2011-07-14 Rudin Leonid I System and method for determining geo-location(s) in images
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN109724560A (zh) * 2018-12-17 2019-05-07 南京理工大学 一种基于惯性测量单元的单目测距系统
CN109725340A (zh) * 2018-12-31 2019-05-07 成都纵横大鹏无人机科技有限公司 直接地理定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴艳梅等: "无人机载光学侦察系统实时目标定位器设计", 《电光与控制》, vol. 15, no. 11, 30 November 2008 (2008-11-30), pages 47 - 49 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658271A (zh) * 2021-08-18 2021-11-16 上海智能新能源汽车科创功能平台有限公司 一种基于路侧单目视觉的障碍物空间坐标边缘计算方法
CN113804187A (zh) * 2021-09-01 2021-12-17 河北汉光重工有限责任公司 一种光电吊舱目标定位的一体化系统
CN114167900A (zh) * 2021-11-19 2022-03-11 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪系统标校方法及装置
CN114167900B (zh) * 2021-11-19 2023-06-30 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪系统标校方法及装置

Similar Documents

Publication Publication Date Title
CN105865454B (zh) 一种基于实时在线地图生成的无人机导航方法
US9185289B2 (en) Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
CN111415409B (zh) 一种基于倾斜摄影的建模方法、系统、设备和存储介质
CN109387186B (zh) 测绘信息获取方法、装置、电子设备及存储介质
CN105627991A (zh) 一种无人机影像实时全景拼接方法及系统
CN111966133A (zh) 一种云台视觉伺服控制系统
Johnson et al. Real-time terrain relative navigation test results from a relevant environment for Mars landing
CN110969663A (zh) 一种相机外部参数的静态标定方法
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN111936821A (zh) 用于定位的系统和方法
CN104835115A (zh) 用于航空相机的图像成像方法及系统
CN114004977B (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
CN106871927A (zh) 一种无人机光电吊舱安装误差标校方法
CN112985398A (zh) 目标定位方法及系统
US20220074743A1 (en) Aerial survey method, aircraft, and storage medium
CN110910502A (zh) 一种无人机三维建模系统
CN110160545A (zh) 一种激光雷达与gps的增强定位系统及方法
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
Cheng et al. High precision passive target localization based on airborne electro-optical payload
CN114612559A (zh) 一种无人机位姿计算方法、电子设备及存储介质
CN105389819A (zh) 一种鲁棒的半标定下视图像极线校正方法及系统
CN113340272A (zh) 一种基于无人机微群的地面目标实时定位方法
CN117036666A (zh) 基于帧间图像拼接的无人机低空定位方法
CN114964248B (zh) 一种运动轨迹出视场的目标位置计算和指示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination