CN108733066A - 一种基于吊舱姿态反馈的目标跟踪控制方法 - Google Patents
一种基于吊舱姿态反馈的目标跟踪控制方法 Download PDFInfo
- Publication number
- CN108733066A CN108733066A CN201810424169.8A CN201810424169A CN108733066A CN 108733066 A CN108733066 A CN 108733066A CN 201810424169 A CN201810424169 A CN 201810424169A CN 108733066 A CN108733066 A CN 108733066A
- Authority
- CN
- China
- Prior art keywords
- gondola
- coordinate system
- target
- angle
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000006641 stabilisation Effects 0.000 claims 1
- 238000011105 stabilization Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种基于吊舱姿态反馈的目标跟踪控制方法。在已知目标检测成像结果的前提下,考虑到吊舱的2个姿态角(俯仰角和偏航角)的输出是已知的,同时吊舱和无人机是捷联的,因此可以利用吊舱的姿态信息来生成所需的角度输入,进而产生吊舱速度控制指令,从而使得目标保持在视场中心。通过该方法能够快速准确的控制吊舱的旋转,使得目标在视场中心。
Description
技术领域
本发明涉及无人机控制技术领域,特别是涉及一种无人机机载吊 舱在线控制跟踪目标的方法。
背景技术
无人机在执行目标跟踪任务的过程中,一般要求能够锁定目标, 也就是说尽可能的使得目标在视场中心。要实现这个任务,仅仅依靠 相机是无法实现的,因此需要带有旋转功能的吊舱来实现。
由于低成本且小型化,无人机的机载载荷重量和体积有限,因此 一般小型无人机携带的吊舱都为二自由度的吊舱(三自由度吊舱相对 重,体积相对大),而实现吊舱的目标跟踪控制是一个难点。
关于吊舱的目标跟踪控制方法,目前常规的方法主要是基于纯图 像像素的吊舱跟踪控制,这种控制方法的参数调试与无人机和目标的 运动紧密相关,不同场合可能需要多次调试不同的控制参数。因此从 通用性的角度出发,需要一种能够适用于大多数吊舱目标跟踪的控制 方法。
发明内容
针对现有技术存在的缺陷,本发明的目的是提供一种基于吊舱姿 态反馈的目标跟踪控制方法,通过该方法能够快速准确的控制吊舱的 旋转,使得目标在视场中心。
具体地,本发明采用的技术方案如下:
本发明提供一种基于吊舱姿态反馈的目标跟踪控制方法,该方法 是在已知目标检测成像结果的前提下,通过本发明提供的上述控制方 法,能够快速准确的控制吊舱的旋转,使得目标在视场中心,具体实 施步骤如下:
(1)确定吊舱坐标系到摄像机坐标系的旋转的顺序为先偏航后 俯仰最后再滚转。考虑到吊舱没有滚转角的自由度,而且如果要保证 目标在视场中心,滚转角只会影响目标在中心的朝向(将目标看出区 域),旋转滚转角并不会使得目标偏离中心,因此将滚转角的旋转定 义在最后。
(2)定义坐标系和转换关系
关于吊舱坐标系、摄像机坐标系:
摄像机坐标系ocxcyczc原点为相机的光心,ocxc和ocyc轴与图 像的u,v轴平行,oczc轴为相机光轴,焦距为f,ocxc和ocyc方向的 有效焦距分别为fx和fy;吊舱坐标系opxpypzp的原点为吊舱安装轴 的中心点,opxp和opyp轴分别为吊舱的右侧和正前方,opzp满足 右手法则。
如图1所示,为摄像机坐标系到吊舱坐标系的方向余弦矩阵, 为tj时刻吊舱坐标系到ti时刻吊舱坐标系的方向余弦矩阵(其中 i,j=0,...k,i≠j),对应的欧拉角为分别表示偏航角,俯 仰角和滚转角。为tj时刻摄像机坐标系到ti时刻摄像机坐标系的 方向余弦矩阵(其中i,j=0,...k,i≠j),对应的欧拉角为
(3)计算目标偏离视场中心的大小(Δu,Δv)
其中(u0,v0)是图像的中心点,也叫主点坐标,(u1,v1)是检测到的 目标在图像中的成像位置坐标。
(4)计算在u,v方向上目标偏离的角度其中 u的方向是指沿着图像的行的方向,v方向指沿着图像的列的方向。
Δψ表示偏离的偏航角。参见图3,图3为目标u方向上的角度 示意图。
(5)根据欧拉角和旋转矩阵的转换关系,可以获得从tk时刻到tk+1时刻目标偏离角度的旋转矩阵
(6)由于吊舱相对内置相机的旋转矩阵事先已经进行标定,是一 个已知的输入,即已知,而且上一时刻吊舱旋转的旋转矩 阵已知,因此可以获得吊舱此时的旋转矩阵
(7)根据旋转矩阵和欧拉角的转换关系和式(4),得到吊舱的欧 拉角输出由于吊舱为2自由度,结合(1)的分 析,直接默认滚转角为0,因此得到2自由度吊舱的输入角
获得输入角后,就可以利用常规的控制方法生成 吊舱的速度控制指令,从而实现目标的稳定跟踪。
与现有技术相比,本发明能够产生以下技术效果:
本发明是在已知目标检测成像结果的前提下,考虑到吊舱的2个 姿态角(俯仰角和偏航角)的输出是已知的,同时吊舱和无人机是捷 联的,因此可以利用吊舱的姿态信息来生成所需的角度输入,进而产 生吊舱速度控制指令,从而使得目标保持在视场中心。通过该方法能 够快速准确的控制吊舱的旋转,使得目标在视场中心。
附图说明
图1是舱坐标系和摄像机坐标系转换示意图。
图2是目标图像像素位置示意图。
图3是目标u方向上的角度示意图。
具体实施方式
下面对本发明的进行详细阐述,以使本发明的优点和特征能更易 于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明 确的界定。
本发明是在已知目标检测成像结果的前提下,通过本发明提供的 上述控制方法,能够快速准确的控制吊舱的旋转,使得目标在视场中 心。
下面给出一具体实施例:
假设摄像机的焦距为fx=fy=1000,分辨率为1280×720;摄像机 坐标系到吊舱坐标系的方向余弦矩阵为单位矩阵;上一时刻tk吊 舱旋转的欧拉角为当前目标的成像位置 像素坐标为(u1,v1)=(740,560)。需要获得当前时刻tk+1时的吊舱控制速 度控制回路中的角度输入
采用本发明提供的方法获得2自由度吊舱的输入角,具体实施流 程如下:
1)根据已知条件和公式(1)计算出目标在偏离偏离视场中心的 大小
2)根据公式(2)计算出目标距离上一时刻偏离的角度
3)根据2)的结果以及公式(3)计算出旋转矩阵
4)根据已知条件计算出上一时刻tk吊舱的旋转矩阵
5)利用公式(4)可以获得旋转矩阵
6)根据5)的结果可以获得2自由度吊舱的角度输出(单位为 度)
以上所述仅为本发明的优选的实施例而已,并不用于限制本发明, 对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本 发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应 包含在本发明的保护范围之内。
Claims (1)
1.一种基于吊舱姿态反馈的目标跟踪控制方法,其特征在于:包括以下步骤:
(1)确定吊舱坐标系到摄像机坐标系的旋转的顺序为先偏航后俯仰最后再滚转;
(2)定义坐标系和转换关系
关于吊舱坐标系、摄像机坐标系:
摄像机坐标系ocxcyczc原点为相机的光心,ocxc和ocyc轴与图像的u,v轴平行,oczc轴为相机光轴,焦距为f,ocxc和ocyc方向的有效焦距分别为fx和fy;吊舱坐标系opxpypzp的原点为吊舱安装轴的中心点,opxp和opyp轴分别为吊舱的右侧和正前方,opzp满足右手法则;
为摄像机坐标系到吊舱坐标系的方向余弦矩阵,为tj时刻吊舱坐标系到ti时刻吊舱坐标系的方向余弦矩阵,其中i,j=0,...k,i≠j,对应的欧拉角为分别表示偏航角,俯仰角和滚转角;为tj时刻摄像机坐标系到ti时刻摄像机坐标系的方向余弦矩阵,对应的欧拉角为
(3)计算目标偏离视场中心的大小(Δu,Δv)
其中(u0,v0)是图像的中心点,也叫主点坐标,(u1,v1)是检测到的目标在图像中的成像位置坐标;
(4)计算在u,v方向上目标偏离的角度
其中:Δψ表示偏离的偏航角;
(5)根据欧拉角和旋转矩阵的转换关系,可以获得从tk时刻到tk+1时刻目标偏离角度的旋转矩阵
(6)由于吊舱相对内置相机的旋转矩阵事先已经进行标定,即已知,而且上一时刻吊舱旋转的旋转矩阵已知,因此可以获得吊舱此时的旋转矩阵
(7)根据旋转矩阵和欧拉角的转换关系和式(4),得到吊舱的欧拉角输出由于吊舱为2自由度,默认滚转角为0,因此得到2自由度吊舱的输入角
获得输入角后,即可生成吊舱的速度控制指令,从而实现目标的稳定跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810424169.8A CN108733066B (zh) | 2018-05-07 | 2018-05-07 | 一种基于吊舱姿态反馈的目标跟踪控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810424169.8A CN108733066B (zh) | 2018-05-07 | 2018-05-07 | 一种基于吊舱姿态反馈的目标跟踪控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108733066A true CN108733066A (zh) | 2018-11-02 |
CN108733066B CN108733066B (zh) | 2021-05-07 |
Family
ID=63937697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810424169.8A Active CN108733066B (zh) | 2018-05-07 | 2018-05-07 | 一种基于吊舱姿态反馈的目标跟踪控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108733066B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110220491A (zh) * | 2019-05-31 | 2019-09-10 | 彩虹无人机科技有限公司 | 一种无人机的光学吊舱安装误差角估算方法 |
CN110347186A (zh) * | 2019-07-17 | 2019-10-18 | 中国人民解放军国防科技大学 | 基于仿生双目联动的地面运动目标自主跟踪系统 |
CN110580054A (zh) * | 2019-08-21 | 2019-12-17 | 东北大学 | 一种基于自主视觉跟踪的光电吊舱的控制系统及方法 |
CN111800589A (zh) * | 2019-04-08 | 2020-10-20 | 清华大学 | 图像处理方法、装置和系统,以及机器人 |
CN113395448A (zh) * | 2021-06-15 | 2021-09-14 | 西安视成航空科技有限公司 | 一种机载吊舱图像搜索跟踪处理系统 |
CN113415433A (zh) * | 2021-07-30 | 2021-09-21 | 成都纵横大鹏无人机科技有限公司 | 基于三维场景模型的吊舱姿态修正方法、装置和无人机 |
CN114779833A (zh) * | 2022-03-03 | 2022-07-22 | 沃飞长空科技(成都)有限公司 | 光电吊舱视线轴控制方法、装置、光电吊舱及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833099A (zh) * | 2010-05-25 | 2010-09-15 | 广州科易光电技术有限公司 | 直升机巡检电力线路的锁定跟踪方法 |
CN102622764A (zh) * | 2012-02-23 | 2012-08-01 | 大连民族学院 | 一种基于移动相机平台的目标跟踪方法 |
CN104976991A (zh) * | 2015-05-06 | 2015-10-14 | 同济大学 | 一种考虑卫星姿态变化的三线阵影像像方偏差的获取方法 |
CN105549060A (zh) * | 2015-12-15 | 2016-05-04 | 大连海事大学 | 基于机载光电吊舱位置和姿态的目标定位系统 |
CN105698762A (zh) * | 2016-01-15 | 2016-06-22 | 中国人民解放军国防科学技术大学 | 一种单机航迹上基于不同时刻观测点的目标快速定位方法 |
CN105809702A (zh) * | 2016-03-29 | 2016-07-27 | 南京航空航天大学 | 一种基于Tsai算法的改进位姿估计方法 |
CN106027904A (zh) * | 2016-06-29 | 2016-10-12 | 中国人民解放军国防科学技术大学 | 视频卫星姿态运动图像补偿方法 |
CN106705966A (zh) * | 2016-09-18 | 2017-05-24 | 北京星网卫通科技开发有限公司 | 一种可实现高精度绝对位置及姿态测量的稳定平台系统 |
CN106777489A (zh) * | 2016-11-22 | 2017-05-31 | 中国人民解放军陆军军官学院 | 无人机载光电稳定转台跟踪态建模仿真方法 |
CN106737859A (zh) * | 2016-11-29 | 2017-05-31 | 江苏瑞伯特视觉科技股份有限公司 | 基于不变平面的传感器与机器人的外部参数标定方法 |
CN106989744A (zh) * | 2017-02-24 | 2017-07-28 | 中山大学 | 一种融合机载多传感器的旋翼无人机自主定位方法 |
CN107314771A (zh) * | 2017-07-04 | 2017-11-03 | 合肥工业大学 | 基于编码标志点的无人机定位以及姿态角测量方法 |
-
2018
- 2018-05-07 CN CN201810424169.8A patent/CN108733066B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833099A (zh) * | 2010-05-25 | 2010-09-15 | 广州科易光电技术有限公司 | 直升机巡检电力线路的锁定跟踪方法 |
CN102622764A (zh) * | 2012-02-23 | 2012-08-01 | 大连民族学院 | 一种基于移动相机平台的目标跟踪方法 |
CN104976991A (zh) * | 2015-05-06 | 2015-10-14 | 同济大学 | 一种考虑卫星姿态变化的三线阵影像像方偏差的获取方法 |
CN105549060A (zh) * | 2015-12-15 | 2016-05-04 | 大连海事大学 | 基于机载光电吊舱位置和姿态的目标定位系统 |
CN105698762A (zh) * | 2016-01-15 | 2016-06-22 | 中国人民解放军国防科学技术大学 | 一种单机航迹上基于不同时刻观测点的目标快速定位方法 |
CN105809702A (zh) * | 2016-03-29 | 2016-07-27 | 南京航空航天大学 | 一种基于Tsai算法的改进位姿估计方法 |
CN106027904A (zh) * | 2016-06-29 | 2016-10-12 | 中国人民解放军国防科学技术大学 | 视频卫星姿态运动图像补偿方法 |
CN106705966A (zh) * | 2016-09-18 | 2017-05-24 | 北京星网卫通科技开发有限公司 | 一种可实现高精度绝对位置及姿态测量的稳定平台系统 |
CN106777489A (zh) * | 2016-11-22 | 2017-05-31 | 中国人民解放军陆军军官学院 | 无人机载光电稳定转台跟踪态建模仿真方法 |
CN106737859A (zh) * | 2016-11-29 | 2017-05-31 | 江苏瑞伯特视觉科技股份有限公司 | 基于不变平面的传感器与机器人的外部参数标定方法 |
CN106989744A (zh) * | 2017-02-24 | 2017-07-28 | 中山大学 | 一种融合机载多传感器的旋翼无人机自主定位方法 |
CN107314771A (zh) * | 2017-07-04 | 2017-11-03 | 合肥工业大学 | 基于编码标志点的无人机定位以及姿态角测量方法 |
Non-Patent Citations (6)
Title |
---|
MILTON MACENA RAMOS DE LIMA 等: "Inference of flight angles associating the flight images movement with camera parameters", 《2013 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS)》 * |
丁洋: "空对地可见光图像制导跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
刘俊涛 等: "基于连续图像的无人平台载荷目标定位算法研究", 《军民两用技术与产品》 * |
刘学 等: "一种空对地可见光图像制导跟踪算法", 《长春理工大学学报(自然科学版)》 * |
孙长库 等: "基于IMU与单目视觉融合的姿态测量方法", 《天津大学学报(自然科学与工程技术版)》 * |
岳冬雪: "基于极线约束的图像目标识别可信度评价方法", 《小型微型计算机系统》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111800589A (zh) * | 2019-04-08 | 2020-10-20 | 清华大学 | 图像处理方法、装置和系统,以及机器人 |
CN111800589B (zh) * | 2019-04-08 | 2022-04-19 | 清华大学 | 图像处理方法、装置和系统,以及机器人 |
CN110220491A (zh) * | 2019-05-31 | 2019-09-10 | 彩虹无人机科技有限公司 | 一种无人机的光学吊舱安装误差角估算方法 |
CN110220491B (zh) * | 2019-05-31 | 2021-07-09 | 彩虹无人机科技有限公司 | 一种无人机的光学吊舱安装误差角估算方法 |
CN110347186A (zh) * | 2019-07-17 | 2019-10-18 | 中国人民解放军国防科技大学 | 基于仿生双目联动的地面运动目标自主跟踪系统 |
CN110347186B (zh) * | 2019-07-17 | 2022-04-05 | 中国人民解放军国防科技大学 | 基于仿生双目联动的地面运动目标自主跟踪系统 |
CN110580054A (zh) * | 2019-08-21 | 2019-12-17 | 东北大学 | 一种基于自主视觉跟踪的光电吊舱的控制系统及方法 |
CN110580054B (zh) * | 2019-08-21 | 2022-06-14 | 东北大学 | 一种基于自主视觉跟踪的光电吊舱的控制系统及方法 |
CN113395448A (zh) * | 2021-06-15 | 2021-09-14 | 西安视成航空科技有限公司 | 一种机载吊舱图像搜索跟踪处理系统 |
CN113415433A (zh) * | 2021-07-30 | 2021-09-21 | 成都纵横大鹏无人机科技有限公司 | 基于三维场景模型的吊舱姿态修正方法、装置和无人机 |
CN113415433B (zh) * | 2021-07-30 | 2022-11-29 | 成都纵横大鹏无人机科技有限公司 | 基于三维场景模型的吊舱姿态修正方法、装置和无人机 |
CN114779833A (zh) * | 2022-03-03 | 2022-07-22 | 沃飞长空科技(成都)有限公司 | 光电吊舱视线轴控制方法、装置、光电吊舱及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108733066B (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108733066A (zh) | 一种基于吊舱姿态反馈的目标跟踪控制方法 | |
US11041588B2 (en) | Method and system for controlling a gimbal | |
CN108803668B (zh) | 一种静态目标监测的智能巡检无人机吊舱系统 | |
WO2017020856A1 (zh) | 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法 | |
CN105205785B (zh) | 一种可定位的大型车辆运行管理系统及其运行方法 | |
US20210319709A1 (en) | Landing site localization for dynamic control of an aircraft toward a landing site | |
CN109753076A (zh) | 一种无人机视觉追踪实现方法 | |
CN105468014B (zh) | 一种单自驾仪一体化的飞行器系统及其二维云台控制方法 | |
CN105652891A (zh) | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 | |
US10538326B1 (en) | Flare detection and avoidance in stereo vision systems | |
US20200050217A1 (en) | Landing site localization for dynamic control of an aircraft toward a landing site | |
CN110622091A (zh) | 云台的控制方法、装置、系统、计算机存储介质及无人机 | |
CN109782810B (zh) | 基于图像引导的视频卫星运动目标跟踪成像方法及其装置 | |
CN106527457B (zh) | 航空扫描仪扫描控制指令规划方法 | |
Kassab et al. | UAV target tracking by detection via deep neural networks | |
Jones | Aerial inspection of overhead power lines using video: estimation of image blurring due to vehicle and camera motion | |
CN117270580A (zh) | 无人机载光电吊舱目标跟踪的伺服控制方法、系统和设备 | |
Mills et al. | Vision based control for fixed wing UAVs inspecting locally linear infrastructure using skid-to-turn maneuvers | |
CN114296479B (zh) | 一种基于图像的无人机对地面车辆跟踪方法及系统 | |
CN106097397A (zh) | 一种对非合作运动目标跟踪成像的视频卫星姿态控制方法 | |
CN108731683B (zh) | 一种基于导航信息的无人机自主回收目标预测方法 | |
Liu et al. | Visual-based online control of gimbal on the uav for target tracking | |
CN110191311A (zh) | 一种基于多无人机的实时视频拼接方法 | |
JP6434764B2 (ja) | 航空機の飛行制御方法及び航空機の飛行制御システム | |
Ajmera et al. | Autonomous visual tracking and landing of a quadrotor on a moving platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |