CN111784768A - 基于三色四灯标记识别的无人机姿态估计方法及系统 - Google Patents
基于三色四灯标记识别的无人机姿态估计方法及系统 Download PDFInfo
- Publication number
- CN111784768A CN111784768A CN202010646221.1A CN202010646221A CN111784768A CN 111784768 A CN111784768 A CN 111784768A CN 202010646221 A CN202010646221 A CN 202010646221A CN 111784768 A CN111784768 A CN 111784768A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- color
- image
- signal lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 239000003086 colorant Substances 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 239000003550 marker Substances 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 206010034719 Personality change Diseases 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 235000019646 color tone Nutrition 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及一种基于三色四灯标记识别的无人机姿态估计方法及系统，通过在目标无人机的机翼和尾翼的尖端设置有四个信号灯作为信号标记，减少了目标无人机姿态变动过程中标志被遮挡的几率；四个信号灯使用三种颜色，提高了无人机飞行姿态估计的鲁棒性，通过对采集的目标无人机的图像进行处理，检测得到图像特征，在识别图像特征与信号灯对应关系后，得到信号灯的二维图像坐标，将信号灯的三维坐标和二维图像坐标输入姿态估计模型中得到目标无人机的位置以及姿态，实现无人机自动实时姿态估计。该方法易挑选避开背景的色调，降低了图像特征的识别难度，解决了现有对无人机飞行姿态估计方法稳定性低的问题。
Description
技术领域
本发明涉及无人机技术领域，尤其涉及一种基于三色四灯标记识别的无人机姿态估计方法及系统。
背景技术
无人机具有机动灵活、反应快速、无人飞行、操作要求低等优点。目前无人机在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大的拓展了无人机本身的用途。
在无人机编队飞行过程中，便于知晓无人机的飞行姿态，现有采用在无人机上设置摄像机采集其它无人机飞行的姿态图片，并通过计算机视觉技术处理图片进行姿态估计，由于无人机的结构以及无人机在飞行过程中姿态的大尺度变化，现有对无人机标志设置方法很容易出现标志被遮挡的情况，导致标志无法被检测，从而无法进行姿态估计。
现有在目标无人机上设置多个具有相同颜色信号灯作为标志设置方案，但是该方案要求信号灯在图像中相对位置不变，因此不能在无人机姿态变化较大时使用。
发明内容
本发明实施例提供了一种基于三色四灯标记识别的无人机姿态估计方法及系统，用于解决现有对无人机飞行姿态估计方法稳定性低的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于三色四灯标记识别的无人机姿态估计方法，在目标无人机的机翼和尾翼的尖端设置有四个用于标记的信号灯，四个所述信号灯具有三种颜色，基于三色四灯标记识别的无人机姿态估计方法包括以下步骤：
步骤S1.获取采集设备采集具有四个信号灯标志的目标无人机飞行状态的图像，在HSV颜色空间对所述图像进行处理，得到具有高亮度高饱和度的图像特征；
步骤S2.根据四个所述信号灯三种颜色的色调从所述图像特征中提取与四个所述信号灯对应的连通域，识别所述连通域与四个所述信号灯一一对应关系，建立四个所述信号灯的二维图像坐标；
步骤S3.基于目标无人机建立四个所述信号灯的三维坐标，将所述三维坐标和所述二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态；
其中，所述姿态估计模型中设置有采集设备的参数。
优选地，在所述HSV颜色空间中对所述图像进行处理具体包括：
根据所述图像的RGB数值计算图像的饱和度和亮度，基于所述饱和度和亮度得到乘积图像；
对所述乘积图像采用阈值分割，得到二值图像；
对所有所述二值图像进行连通域标记，得到多个连通域；
根据目标区域的面积、形状对所有的所述连通域进行筛选，得到所述图像特征。
优选地，采用四个所述信号灯三种颜色的色调从所述图像特征中提取与四个所述信号灯对应所述连通域具体包括：
基于色调的周期性计算所述图像特征所在连通域在[-180°，180°]和[0°，360°]两个区间的色调均值和色调标准差；
选取所述连通域的色调标准差小的区间对应的色调均值和色调标准差作为所述连通域的色调统计量；
在所有的所述连通域中筛选出色调标准差小于标准差阈值的所述连通域，得到连通域集合；
在所述连通域集合中，计算每个所述连通域的色调均值与所述信号灯每种颜色色调之间的距离；
若所述距离小于距离阈值，从所述连通域集合中筛选出四个连通域。
优选地，四个所述连通域分别记为第一连通域、第二连通域、第三连通域和第四连通域，四个所述信号灯分别记为第一信号灯、第二信号灯、第三信号灯和第四信号灯，若所述第一信号灯和所述第二信号灯的色调颜色为第一种颜色，所述第三信号灯的色调颜色为第二种颜色，所述第四信号灯的色调颜色为第三种颜色，与所述第三信号灯和所述第四信号灯色调对应的所述连通域根据所述距离直接识别对应，若与所述第一信号灯和所述第二信号灯对应的所述连通域分别为所述第一连通域和所述第二连通域，对所述第一连通域和所述第二连通域与所述第一信号灯和所述第二信号灯的对应关系识别具体包括：
所述第一信号灯与所述第二信号灯连接成线，所述第三信号灯与所述第四信号灯连接成线，即所述第一连通域和所述第二连通域连接成第一直线，所述第三连通域和所述第四连通域连接成第二直线线；
若所述第一连通域指向所述第二连通域的方向矢量为v1，所述第三连通域指向所述第四连通域的方向矢量为v2，所述第一直线的中点指向所述第二直线的中点的矢量为v3；
根据sign＝(vT·v1)·(vT·v2)计算得到sign的数值，若sign大于0，所述第一连通域位于所述第三连通域一侧；若sign不大于0，所述第一连通域位于所述第四连通域一侧；
根据所述目标无人机上设置的所述第三信号灯和所述第四信号灯的位置，对所述第一连通域和所述第二连通域与所述第一信号灯和所述第二信号灯建立对应关系；
其中，vT为矢量为v3的垂直矢量。
优选地，若从所述连通域集合中不能筛选出所述距离小于距离阈值的四个连通域，则所述步骤S2识别过程失败。
优选地，计算每个所述连通域的色调均值与所述信号灯每种颜色色调之间的距离d公式为：
式中，h为信号灯的色调值，hm为连通域的色调均值。
优选地，将所述三维坐标和所述二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态具体包括：将所述三维坐标与所述二维图像坐标输入所述姿态估计模型中，对所述三维坐标与所述二维图像坐标采用Lambda Twist姿态估计算法计算输出所述目标无人机的位置；
对所述三维坐标进行映射处理，得到与所述三维坐标对应的在所述图像中的坐标。
本发明还提供一种基于三色四灯标记识别的无人机姿态估计系统，目标无人机的机翼和尾翼的尖端设置有四个用于标记的信号灯，四个所述信号灯具有三种颜色，基于三色四灯标记识别的无人机姿态估计系统包括特征检测单元、特征识别单元和姿态分析估计单元；
所述特征检测单元，用于获取采集设备采集具有四个信号灯标志的目标无人机飞行状态的图像，在HSV颜色空间对所述图像进行处理，得到具有高亮度高饱和度的图像特征；
所述特征识别单元，用于根据四个所述信号灯三种颜色的色调从所述图像特征中提取与四个所述信号灯对应的连通域，识别所述连通域与四个所述信号灯一一对应关系，建立四个所述信号灯的二维图像坐标；
所述姿态分析估计单元，用于基于目标无人机建立四个所述信号灯的三维坐标，将所述三维坐标和所述二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态；
其中，所述姿态估计模型中设置有采集设备的参数。
本发明还提供一种计算机可读存储介质，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机执行上述的基于三色四灯标记识别的无人机姿态估计方法。
本发明还提供一种设备，包括处理器以及存储器：
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行上述的基于三色四灯标记识别的无人机姿态估计方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
1.该基于三色四灯标记识别的无人机姿态估计方法通过在无人机的机翼和尾翼的尖端设置有四个信号灯作为信号标记，减少了目标无人机目标姿态变动过程中标志被遮挡的几率，提高识别目标无人机飞行姿态估计的稳定性，通过对采集具有信号标记的目标无人机飞行状态的图像并对采集的图像进行处理，得到图像特征，识别图像特征与信号灯对应关系后得到信号灯的二维图像坐标，基于目标无人机建立信号灯的三维坐标，将三维坐标和二维图像坐标输入姿态估计模型中得到目标无人机的位置以及姿态，实现无人机自动实时姿态估计。该方法易挑选避开背景的色调，降低了图像特征的识别难度，提高了应用该方法系统的鲁棒性，解决了现有对无人机飞行姿态估计方法稳定性低的技术问题。
2.该基于三色四灯标记识别的无人机姿态估计系统通过特征检测单元对采集具有信号标记的目标无人机飞行状态的图像并对采集的图像进行处理，采用特征识别单元得到图像特征以及识别图像特征与信号灯对应关系后，得到信号灯的二维图像坐标，在姿态分析估计单元上基于目标无人机建立信号灯的三维坐标，将三维坐标和二维图像坐标输入姿态估计模型中得到目标无人机的位置以及姿态，实现无人机自动实时姿态估计。该系统易挑选避开背景的色调，降低了图像特征的识别难度，提高了应用该系统的鲁棒性，解决了现有对无人机飞行姿态估计方法稳定性低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例所述的基于三色四灯标记识别的无人机姿态估计方法的步骤流程图。
图2a为本发明实施例所述基于三色四灯标记识别的无人机姿态估计方法的四个信号灯颜色色调布局图。
图2b为本发明实施例所述基于三色四灯标记识别的无人机姿态估计方法图2a的另一个角度的观测图。
图2c为本发明实施例所述基于三色四灯标记识别的无人机姿态估计方法图2a的又一个角度的观测图。
图3为本发明实施例所述的基于三色四灯标记识别的无人机姿态估计系统的框架图。
图4为本发明实施例中所述的基于三色四灯标记识别的无人机姿态估计系统另一的框架图。
图5a为本发明实施例中所述的基于三色四灯标记识别的无人机姿态估计系统的实物模拟目标图。
图5b为本发明实施例中所述的基于三色四灯标记识别的无人机姿态估计系统的实物模拟目标和采集设备的前向视图。
图5c为本发明实施例中所述的基于三色四灯标记识别的无人机姿态估计系统的实物模拟目标和采集设备的顶部视图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
现有对无人机的姿态估计主要是采用计算机视觉的技术实现目标姿态估计，计算机视觉技术通常分为两个步骤：首先，通过图像处理技术提取识别目标特征；其次，采用目标的特征信息估计目标的姿态。目前的计算机视觉技术已经取得了的巨大的进步，提取目标特征进行实时目标姿态估计仍然面临诸多难题，关于提取目标特征进行实时目标姿态估计主要通过在目标上设置信号标志则能够有效降低视觉目标姿态估计的难度，例如通过精心设置信号标志的模式，可以使标志易于被检测和识别，并提供更高精度的位置信息，从而提高目标位置和姿态估计性能。
由此，基于标志的技术成为计算机视觉目标姿态估计的重要途径，对于特征点信号标志，目标姿态估计流程又可细分为3个步骤：一是标志号对应图像特征的检测；二是图像特征与目标上信号标志之间对应关系的建立；三是基于信号标志对应的3维空间坐标和2维图像坐标进行目标位置和姿态估计。
现有在William A.Hoff系统提出了目标位置和姿态估计方案。William A.Hoff系统使用同心圆作为目标表面的信号标志，即在白色背景上放置黑色圆环，或者反之。基于此标志，该William A.Hoff系统通过简单的全局图像阈值分割就能分离白色和黑色区域；然后，通过对分割后的二值图像进行形态学滤波操作消除图像中面积较小的黑色和白色结构；最后，通过连通域标记获取其质心，并基于同心圆黑色和白色区域同心准则，检查黑色和白色连通域质心是否接近，从而提取标志特征。对于确定图像特征与目标上各信号标志的对应关系识别，首先在目标表面上一个矩形的四个顶点上各放置一个信号标志；然后，在某一条边上靠近其中一个顶点处放置第5个信号标志。基于此布局中有3个点共线，以及中间点靠近一端的事实，能够提取与共线标志对应的3个图像特征，再根据其余两个信号标志相对这3点的位置关系，就能确定其余两个特征点与标志的对应关系。在确定了标志所对应的图像特征后，该William A.Hoff系统使用Hung-Yeh-Harwood算法估计姿态，Hung-Yeh-Harwood算法中输入的数据包含有矩形区域4个顶点处信号标志的3维空间坐标、2维图像坐标和采集无人机图像设备的参数。Hung-Yeh-Harwood算法通过优化特征点位置测量值和预测值之间的偏差以获取目标的姿态。采集无人机图像设备的参数包含有斜率参数的针孔相机模型，不考虑镜头畸变影响以简化计算。
在现有的技术中，通常基于LED灯的高亮度和特定颜色将LED用作目标无人机上的信号标志，目前在目标无人机上布置相同颜色的多个LED作为信号标志，该技术中LED灯与图像特征对应关系的建立要求图像中LED灯的相对位置不变，因此难以在无人机姿态变化较大时进行应用。
本申请实施例提供了一种基于三色四灯标记识别的无人机姿态估计方法及系统，用于解决了现有对无人机飞行姿态估计方法稳定性低的技术问题。在本实施例中，信号灯为LED灯进行举例描述，在其他实施例中，信号灯也可以为发出颜色光的发光器件，例如，二极管。
实施例一：
图1为本发明实施例所述的基于三色四灯标记识别的无人机姿态估计方法的步骤流程图。
如图1所示，本发明实施例提供了一种基于三色四灯标记识别的无人机姿态估计方法，目标无人机的机翼和尾翼的尖端设置有四个用于标记的信号灯，四个信号灯具有三种颜色，基于三色四灯标记识别的无人机姿态估计方法包括以下步骤：
步骤S1.获取采集设备采集具有四个信号灯标志的目标无人机飞行状态的图像，在HSV颜色空间对图像进行处理，得到具有高亮度高饱和度的图像特征；
步骤S2.根据四个信号灯三种颜色的色调从图像特征中提取与四个信号灯对应的连通域，识别连通域与四个信号灯一一对应关系，并建立四个信号灯的二维图像坐标；
步骤S3.基于目标无人机建立四个信号灯的三维坐标，将三维坐标和二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态；
其中，姿态估计模型中设置有采集设备的参数。
在本发明实施例的步骤S1中，主要是获取具有四个信号灯标记的目标无人机飞行状态下的图像，并对获取的图像进行处理，提取具有高亮度高饱和度的图像特征。其中，主要是通过采集设备采集具有四个信号灯标记的目标无人机飞行状态下的图像，图像在HSV颜色空间中将图像的RGB格式转换为HSV格式，采集的图像中的目标无人机具有信号灯标志，在图像中的亮度通常高于周边区域，并且具有较高的颜色饱和度，在HSV颜色空间中有助于提高识别图像特征。
需要说明的是，采集设备可以为摄像机，也可以为摄像头、相机等。信号灯可以为LED灯，也可以为二极管。在本实施例中，采用LED灯作为信号标志，四个LED灯的颜色分别为红、黄和蓝。目标无人机的机身通常为白色，在识别高饱和度的图像特征过程中可以避免识别目标无人机机体区域带来的风险，可以避免估计目标无人机姿态结果因机体颜色影响识别的准确率。由于目标无人机表面狭长，信号灯占用的面积空间小，信号灯相对现有的图形标志能够全天时工作，而图形不能在夜晚使用摄像头感知；将飞行中的无人机作为目标，目标无人机飞行的姿态变化大，信号灯作为标志抗遮挡能力强，能够在广泛的视角上进行感知，而现有的图形标志则很容易被遮挡。HSV颜色空间是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型，在HSV颜色空间内，纯彩色和纯白色一样，具有最高亮度，而在其它的相关颜色空间内，纯彩色亮度低于纯白色，这样亮度稍低的白色可能和高亮度的纯彩色具有相同的亮度，不利于检测纯彩色的信号灯信号标志。
在本发明实施例的步骤S2中，主要是根据信号灯的三种颜色色调识别四个信号灯与图像特征中连通域的对应关系，得到信号灯与连通域一一对应关系后，建立信号灯的二维图像坐标。其中，根据信号灯的色调和信号灯在目标无人机位置布局下，各信号标志和图像特征的对应关系识别需要根据信号灯的独特色调从图像特征识别到的连通域中提取出四个连通域作为相应的特征。
需要说明的是，基于信号灯的色彩和布局识别其与图像特征之间的对应关系，在目标无人机的两个机翼和两个尾翼的尖端均设置了信号灯作为信号标记，即在目标无人机上设置有四个信号灯，为了尽可能减少目标无人机姿态变化所造成的遮挡的影响，最大限度的利用了无人机上的空间，使得各信号标志尽可能相互远离，显而易见，这有助于在尽可能远的距离上对各信号标志进行空间分辨，进而在更远的距离上进行姿态估计；也降低了无人机所需信号标志的数目，使之更易在无人机目标上进行布局，解决了无人机上信号标志的设置问题。在本实施例中，四个信号灯分别记为第一信号灯、第二信号灯、第三信号灯和第四信号灯，第一信号灯和第二信号灯分别设置在目标无人机的两个机翼的尖端上，第三信号灯和第四信号灯分别设置在无人机的两个尾翼的尖端上，第一信号灯与第二信号灯连接成线，记为第一线段；第三信号灯与第四信号灯连接成线，记为第二线段；第一线段与第二线段具有平行关系。第一信号灯和第二信号灯的色调颜色均为第一种颜色，第三信号灯和第四信号灯的色调颜色分别为第二种颜色和第三种颜色；或者第三信号灯和第四信号灯的色调颜色均为第一种颜色，第一信号灯和第二信号灯的色调颜色分别为第二种颜色和第三种颜色。
在本发明实施例的步骤S3中，主要是获取四个信号灯基于目标无人机作为基准建立的三维坐标，将步骤S2中获得的二维图像坐标以及三维坐标输入到姿态估计模型，姿态估计模型中设置有采集设备的参数，根据二维图像坐标、三维坐标和采集设备的参数在姿态估计模型中进行分析，得到无人机估计的姿态以及目标位置。
本发明提供的一种基于三色四灯标记识别的无人机姿态估计方法通过在无人机的机翼和尾翼的尖端设置有四个信号灯作为信号标记，减少了无人机目标姿态变动过程中标志被遮挡的几率，提高识别无人机飞行姿态估计的稳定性，通过对采集具有信号标记的无人机飞行状态的图像并对采集的图像进行处理，得到图像特征，识别图像特征中连通域与信号灯对应关系，得到信号灯的二维图像坐标，基于目标无人机建立信号灯的三维坐标，将三维坐标和二维图像坐标输入姿态估计模型中得到目标无人机的位置以及姿态，实现无人机自动实时姿态估计。该方法易挑选避开背景的色调，降低了图像特征的识别难度，提高了应用该方法系统的鲁棒性，解决了现有对无人机飞行姿态估计方法稳定性低的技术问题。
在本发明的一个实施例中，在HSV颜色空间中对图像进行处理具体包括：
获取图像的RGB数值，根据图像的RGB数值计算图像的饱和度和亮度，基于饱和度和亮度得到乘积图像；
对乘积图像采用阈值分割，得到二值图像；
对所述二值图像进行连通域标记，得到多个连通域；
根据目标区域的面积、形状对所有的连通域进行筛选，得到图像特征。
需要说明的是，采用采集设备采集无人机飞行状态下的图像是RGB格式的彩色图像，在HSV颜色空间对图像进行处理过程中，就是在图像中找到信号灯的位置，即是对图像的处理和图像特征的特征检测过程。
在本实施例中，首先计算图像中饱和度通道和亮度通道的通道乘积图像。在图像中只有高亮度高饱和度彩色区域具有较高的值，从而能够有效抑制低亮度和低饱和度区域(白色)，有效抑制与信号灯信号标志相连接的机身区域的灰度。其次，在乘积图像上使用简单的阈值分割，就能获得多个孤立的信号灯信号标志区域。再次，对分割后的二值图像进行连通域标记，得到多个连通域，根据信号灯的面积和形状等信息剔除面积过小、过大以及形状偏离圆形较大的连通域后，将其余连通域作为处理的输出结果，即是筛选出符合信号灯要求的连通域作为特征检测得到的图像特征。
需要说明的是，由于特征检测的计算量与图像的尺寸大小成正比，在目标区域大小变化的情况下，对目标区域缩放以输出固定尺寸的窗口图像，在此基础上进行颜色空间转换和特征检测操作，从而避免因目标区域大小变动所造成计算量的波动，提高提取图像特征的特征检测准确率。
在本实施例中，在HSV颜色空间中对图像进行处理首先将RGB的图像转换为HSV格式，具体为：
V＝max(R,G,B)
C＝V-min(R,G,B)
式中，R、G、B分别为红、绿、蓝的颜色值；V为亮度，S为饱和度，H为色调，C为图像的RGB数值中最大值与最小值的差。
在本发明的一个实施例中，采用四个信号灯三种颜色的色调从图像特征中提取与四个信号灯对应的连通域具体包括：
基于色调的周期性计算图像特征所在连通域在在[-180°，180°]和[0°，360°]两个区间的色调均值和色调标准差；
选取连通域的色调标准差小的区间对应的色调均值和色调标准差作为连通域的色调统计量；
在所有的连通域中筛选出色调标准差小于标准差阈值的连通域，得到连通域集合；
在连通域集合中，计算每个连通域的色调均值与信号灯每种颜色色调之间的距离；
若距离小于距离阈值，从连通域集合中筛选出四个连通域。
需要说明的是，颜色的色调值具有固有的周期性，周期为360°。在步骤S1中获得多个连通域，在HSV颜色空间中可以得到每个连通域在[0°，360°]区间的色调值，计算每个连通域在[-180°，180°]区间的色调h[-180,180]的公式为：
式中，h[0,360]为原色调值，值的范围为[0°，360°]，h[-180,180]为在区间[-180°，180°]上的色调值。
在本发明的实施例中，计算每个连通域的色调均值与每个信号灯的色调之间的距离d公式为：
式中，h为信号灯的色调值，hm为连通域的色调均值。
需要说明的是，信号灯的色调值h和连通域的色调均值hm均位于区间为[0°，360°]。
在本发明的实施例中，四个连通域分别记为第一连通域、第二连通域、第三连通域和第四连通域，若第一信号灯和第二信号灯的色调颜色为第一种颜色，第三信号灯的色调颜色为第二种颜色，第四信号灯的色调颜色为第三种颜色，与第三信号灯和第四信号灯色调对应的连通域根据距离直接识别对应，若与第一信号灯和第二信号灯对应的连通域分别为第一连通域和第二连通域，对第一连通域和第二连通域与第一信号灯和第二信号灯的对应关系识别具体包括：
第一信号灯与第二信号灯连接成线，第三信号灯与第四信号灯连接成线，即第一连通域和第二连通域连接成第一直线，第三连通域和第四连通域连接成第二直线线；
若第一连通域指向第二连通域的方向矢量为v1，第三连通域指向第四连通域的方向矢量为v2，第一直线的中点指向第二直线的中点的矢量为v3；
根据sign＝(vT·v1)·(vT·v2)计算得到sign的数值，若sign大于0，第一连通域位于第三连通域一侧；若sign不大于0，第一连通域位于第四连通域一侧；
根据目标无人机上设置的第三信号灯和第四信号灯的位置，对第一连通域和第二连通域与第一信号灯和第二信号灯建立对应关系；
其中，vT为矢量为v3的垂直矢量。
图2a为本发明实施例所述基于三色四灯标记识别的无人机姿态估计方法的四个信号灯颜色色调布局图，图2b为本发明实施例所述基于三色四灯标记识别的无人机姿态估计方法图2a的另一个角度的观测图，图2c为本发明实施例所述基于三色四灯标记识别的无人机姿态估计方法图2a的又一个角度的观测图。
需要说明的是，在本实施例中，第一信号灯和第二信号灯使用第一种颜色，第三信号灯和第四信号灯分别使用第二种颜色和第三种颜色；根据计算信号灯色调和连通域的色调均值的距离提取与第二种颜色和第三种颜色最相近的连通域作为第三连通域和第四连通域，并直接建立了第三信号灯和第四信号灯与图像特征的对应关系，第一信号灯和第二信号灯设置在目标无人机的机翼上，因第一信号灯和第二信号灯具有相同的色调，通过计算信号灯色调和连通域的色调均值的距离无法确定第一信号灯、第二信号灯与第一连通域和第二连通域之间的一一对应关系。具体过程如图2a至图2c所示，由于目标无人机上设置是四个信号灯，第一种颜色为1号色，第二种颜色为2号色，第三种颜色为3号色，在三维空间中1号色的2个信号灯之间连线与2号色和3号色2个信号灯之间连线具有平行关系，两线段中点的连线及延长线通常将4个信号灯分为两部分，一部分包含2号色的信号灯和一个1号色信号灯，另一部分包含3号色信号灯和另一个1号色信号灯。若1号色的2个信号灯之间的方向矢量为v1，2号色和3号色的2个信号灯之间的方向矢量为v2(2号色指向3号色)，1号色的2个信号灯中点指向2号色和3号色的2个信号灯中点的矢量为v＝(a,b)，则与其垂直的矢量vT＝(b,-a)。2号色一侧的1号色信号灯指向3号色一侧1号色信号灯的矢量vT与的内积与vT·v2具有相同的符号。
在本发明的实施例中，采用三种颜色的信号灯作为信号标记，颜色越少就越容易避开图像中背景颜色，从而降低了错误识别的概率，增加了应用该基于三色四灯标记识别的无人机姿态估计方法系统的鲁棒性。
在本发明的实施例中，若从连通域集合中不能筛选出距离小于距离阈值的四个连通域，则步骤S2识别过程失败，即是特征检测过程是失败的，不能进行后续步骤S3的姿态估计。
在本发明的一个实施例中，将三维坐标和二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态具体包括：将三维坐标与二维图像坐标输入姿态估计模型中，对三维坐标与二维图像坐标采用Lambda Twist姿态估计算法计算输出目标无人机的位置；
其中，对三维坐标进行映射处理，得到与三维坐标对应的在图像中的坐标。
需要说明的是，对于无人机的姿态估计，首先是对图像采集过程中三维空间坐标到二维坐标的映射过程，获得信号灯在采集设备三维坐标系下的坐标，Xc＝[Xc,Yc,Zc]T＝RX+t。其中，Xc为信号灯三维空间坐标X在采集设备坐标系下的坐标。目标无人机相对于采集设备的姿态以旋转矩阵R和位移t来表示，之后对采集设备坐标进行归一化：xn＝[xn,yn]T＝[Xc/Zc,Yc/Zc]T，其中，xn为归一化后的二维坐标。由于采集设备的镜头存在畸变，畸变后的二维坐标计算模型为：
式中，xd为畸变后的二维坐标，k1:5为二维坐标计算模型所使用的畸变参数，r2＝xn 2+yn 2。最后经过采集设备投影矩阵获得信号灯在图像中的像素坐标：
式中，x＝[x,y]T为信号灯的二维图像坐标，K为采集设备矩阵，fx和fy分别为水平和垂直焦距。
基于上述三维空间坐标到二维坐标的映射模型，具体的姿态估计过程为：将获得的4个信号灯的三维空间坐标和二维图像坐标表示为：X1:4和x1:4。基于二维坐标计算模型，估计旋转矩阵R和位移t。上述畸变和采集设备矩阵K通过标定获取为已知参数。对于无人机的姿态估计首先基于二维图像坐标x1:4获取归一化坐标xn,1:4，流程为x1:4→xd,1:4→xn,1:4。具体如下：
得到畸变后的坐标[xd,yd]，关于xd,1:4→xn,1:4的关系非线性，计算过程使用迭代计算，得到为维图像坐标的归一化坐标xn,1:4后，以坐标xn,1:4其中3个点使用P3P(PerspectiveThree Point)算法估计姿态：[Rk,tk]＝P3P(X1:3,xn,1:3)。根据[Rk,tk]＝P3P(X1:3,xn,1:3)公式计算，具体的P3P算法采用LambdaTwist，基于LambdaTwist算法计算最多获得4个解，即k＝1:4。对于每一组解[Rk,tk]，对第4个信号灯空间坐标进行投影可获得其二维归一化坐标
并计算
与xn,4之间的差值：ek＝||xn,4-xn,k,4||2。式中，
由二维图像坐标进行计算，K,k1:5分别为采集设备矩阵和畸变参数。最后，取误差最小的解[Rk,tk]作为姿态估计模型的输出，即是姿态估计模型输出目标无人机的位置和姿态。LambdaTwist算法如《Persson M,Nordberg K.Lambda Twist:An Accurate FastRobust Perspective Three Point(P3P)Solver.ECCV2018》公开的内容。
实施例二：
图3为本发明实施例所述的基于三色四灯标记识别的无人机姿态估计系统的框架图。
如图3所示，本发明实施例还提供一种基于三色四灯标记识别的无人机姿态估计系统，目标无人机的机翼和尾翼的尖端设置有四个用于标记的信号灯，基于三色四灯标记识别的无人机姿态估计系统包括特征检测单元10、特征识别单元20和姿态分析估计单元30；
特征检测单元10，用于获取采集设备采集具有四个信号灯标志的目标无人机飞行状态的图像，在HSV颜色空间对所述图像进行处理，得到具有高亮度高饱和度的图像特征；
特征识别单元20，用于根据四个所述信号灯三种颜色的色调从图像特征中提取与四个信号灯对应的连通域，识别连通域与四个信号灯一一对应关系，建立四个信号灯的二维图像坐标；
姿态分析估计单元30，用于基于目标无人机建立四个信号灯的三维坐标，将三维坐标和二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态；
其中，姿态估计模型中设置有采集设备的参数。
图4为本发明实施例中所述的基于三色四灯标记识别的无人机姿态估计系统另一的框架图。
如图4所示，在本发明实施例中，通过观测无人机挂载的过采集设备采集目标无人机的图像，图像是以RGB格式输出到采集设备的DSP芯片上；DSP芯片设置在观测无人机上，完成目标姿态估计任务。信息处理要具有实时性，即能够以采集设备的帧频(30fps)处理数据。DSP芯片首先将RGB格式的图像转换为HSV格式的图像，并基于饱和度和亮度图像完成图像特征的特征检测工作；其次，基于图像特征的特征检测过程获得的连通域，利用色调图像计算图像特征的平均色调，从其中提取并识别目标上每个信号灯所对应的图像特征的连通域；最后，以四个信号灯的三维坐标和二维图像坐标作为输入到姿态估计模型中，姿态估计模型中输出估计目标无人机的位置和姿态。
图5a为本发明实施例中所述的基于三色四灯标记识别的无人机姿态估计系统的实物模拟目标图，图5b为本发明实施例中所述的基于三色四灯标记识别的无人机姿态估计系统的实物模拟目标和采集设备的前向视图，图5c为本发明实施例中所述的基于三色四灯标记识别的无人机姿态估计系统的实物模拟目标和采集设备的顶部视图。
如图5a至图5c所示，在本实施例中，基于三色四灯标记识别的无人机姿态估计系统实物模拟目标被用于验证所提系统的有效性。目标材料采用白色泡沫板，用于模拟机身的白色。板上布置的4个信号灯灯分别为红、紫和蓝色，其布局模拟目标无人机机翼和尾翼尖端所在位置。机翼两灯相距30cm，尾翼两灯20cm，机翼与尾翼相距10cm。目标布置在转椅上，便于移动。采集设备采用海康威视的一款网络的摄像机，图像帧的空间分辨率为1920x1080，布置在另一把转移上。地砖帮助确定摄像机和目标之间的相对位置，其边长为60cm。当摄像机和目标距离为240cm。图5a显示了模拟目标的制作和标志的检测识别结果；图5b标示了目标测量的场景的前向视图，这里距离测量值为235.16cm，误差可接受；标志的布局位于右上部，与图5a相符，使用针孔采集设备坐标系，原点为光心，z轴为光轴；图5c显示了顶部视图，标志布局与图5a相符，机翼基本与x轴平行。
需要说明的是，实施例二系统中单元对应于实施例一方法中的步骤S1至S3，实施例一的方法已对步骤S1至S3详细阐述了，再此对实施例二中的单元不再一一阐述。
本发明提供的一种基于三色四灯标记识别的无人机姿态估计系统通过特征检测单元对采集的具有信号标记的目标无人机飞行状态的图像并对采集的图像进行处理，采用特征识别单元得到图像特征以及识别图像特征与信号灯对应关系后，得到信号灯的二维图像坐标，在姿态分析估计单元上基于目标无人机建立信号灯的三维坐标，将三维坐标和二维图像坐标输入姿态估计模型中得到目标无人机的位置以及姿态，实现无人机自动实时姿态估计。该系统易挑选避开背景的色调，降低了图像特征的识别难度，提高了应用该系统的鲁棒性，解决了现有对无人机飞行姿态估计方法稳定性低的技术问题。
实施例三：
本发明实施例还提供一种计算机可读存储介质，计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机执行上述的基于三色四灯标记识别的无人机姿态估计方法。
实施例四：
本发明实施例还提供一种设备，其特征在于，包括处理器以及存储器：
存储器，用于存储程序代码，并将程序代码传输给处理器；
处理器，用于根据程序代码中的指令执行上述的基于三色四灯标记识别的无人机姿态估计方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在设备中的执行过程。
设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于三色四灯标记识别的无人机姿态估计方法，其特征在于，在目标无人机的机翼和尾翼的尖端设置有四个用于标记的信号灯，四个所述信号灯具有三种颜色，基于三色四灯标记识别的无人机姿态估计方法包括以下步骤：
步骤S1.获取采集设备采集具有四个信号灯标志的目标无人机飞行状态的图像，在HSV颜色空间对所述图像进行处理，得到具有高亮度高饱和度的图像特征；
步骤S2.根据四个所述信号灯三种颜色的色调从所述图像特征中提取与四个所述信号灯对应的连通域，识别所述连通域与四个所述信号灯一一对应关系，建立四个所述信号灯的二维图像坐标；
步骤S3.基于目标无人机建立四个所述信号灯的三维坐标，将所述三维坐标和所述二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态；
其中，所述姿态估计模型中设置有采集设备的参数。
2.根据权利要求1所述的基于三色四灯标记识别的无人机姿态估计方法，其特征在于，在所述HSV颜色空间中对所述图像进行处理具体包括：
根据所述图像的RGB数值计算图像的饱和度和亮度，基于所述饱和度和亮度得到乘积图像；
对所述乘积图像采用阈值分割，得到二值图像；
对所有所述二值图像进行连通域标记，得到多个连通域；
根据目标区域的面积、形状对所有的所述连通域进行筛选，得到所述图像特征。
3.根据权利要求2所述的基于三色四灯标记识别的无人机姿态估计方法，其特征在于，采用四个所述信号灯三种颜色的色调从所述图像特征中提取与四个所述信号灯对应的连通域具体包括：
基于色调的周期性计算所述图像特征所在连通域在[-180°，180°]和[0°，360°]两个区间的色调均值和色调标准差；
选取所述连通域的色调标准差小的区间对应的色调均值和色调标准差作为所述连通域的色调统计量；
在所有的所述连通域中筛选出色调标准差小于标准差阈值的所述连通域，得到连通域集合；
在所述连通域集合中，计算每个所述连通域的色调均值与所述信号灯每种颜色色调之间的距离；
若所述距离小于距离阈值，从所述连通域集合中筛选出四个连通域。
4.根据权利要求3所述的基于三色四灯标记识别的无人机姿态估计方法，其特征在于，四个所述连通域分别记为第一连通域、第二连通域、第三连通域和第四连通域，四个所述信号灯分别记为第一信号灯、第二信号灯、第三信号灯和第四信号灯，若所述第一信号灯和所述第二信号灯的色调颜色为第一种颜色，所述第三信号灯的色调颜色为第二种颜色，所述第四信号灯的色调颜色为第三种颜色，与所述第三信号灯和所述第四信号灯色调对应的所述连通域根据所述距离直接识别对应，若与所述第一信号灯和所述第二信号灯对应的所述连通域分别为所述第一连通域和所述第二连通域，对所述第一连通域和所述第二连通域与所述第一信号灯和所述第二信号灯的对应关系识别具体包括：
所述第一信号灯与所述第二信号灯连接成线，所述第三信号灯与所述第四信号灯连接成线，即所述第一连通域和所述第二连通域连接成第一直线，所述第三连通域和所述第四连通域连接成第二直线线；
若所述第一连通域指向所述第二连通域的方向矢量为v1，所述第三连通域指向所述第四连通域的方向矢量为v2，所述第一直线的中点指向所述第二直线的中点的矢量为v3；
根据sign＝(vT·v1)·(vT·v2)计算得到sign的数值，若sign大于0，所述第一连通域位于所述第三连通域一侧；若sign不大于0，所述第一连通域位于所述第四连通域一侧；
根据所述目标无人机上设置的所述第三信号灯和所述第四信号灯的位置，对所述第一连通域和所述第二连通域与所述第一信号灯和所述第二信号灯建立对应关系；
其中，vT为矢量为v3的垂直矢量。
5.根据权利要求3所述的基于三色四灯标记识别的无人机姿态估计方法，其特征在于，若从所述连通域集合中不能筛选出所述距离小于距离阈值的四个连通域，则所述步骤S2识别过程失败。
6.根据权利要求3所述的基于三色四灯标记识别的无人机姿态估计方法，其特征在于，计算每个所述连通域的色调均值与所述信号灯每种颜色色调之间的距离d公式为：
式中，h为信号灯的色调值，hm为连通域的色调均值。
7.根据权利要求1所述的基于三色四灯标记识别的无人机姿态估计方法，其特征在于，将所述三维坐标和所述二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态具体包括：将所述三维坐标与所述二维图像坐标输入所述姿态估计模型中，对所述三维坐标与所述二维图像坐标采用Lambda Twist姿态估计算法计算输出所述目标无人机的位置；
其中，对所述三维坐标进行映射处理，得到与所述三维坐标对应的在所述图像中的坐标。
8.一种基于三色四灯标记识别的无人机姿态估计系统，其特征在于，目标无人机的机翼和尾翼的尖端设置有四个用于标记的信号灯，四个所述信号灯具有三种颜色，基于三色四灯标记识别的无人机姿态估计系统包括特征检测单元、特征识别单元和姿态分析估计单元；
所述特征检测单元，用于获取采集设备采集具有四个信号灯标志的目标无人机飞行状态的图像，在HSV颜色空间对所述图像进行处理，得到具有高亮度高饱和度的图像特征；
所述特征识别单元，用于根据四个所述信号灯三种颜色的色调从所述图像特征中提取与四个所述信号灯对应的连通域，识别所述连通域与四个所述信号灯一一对应关系，建立四个所述信号灯的二维图像坐标；
所述姿态分析估计单元，用于基于目标无人机建立四个所述信号灯的三维坐标，将所述三维坐标和所述二维图像坐标输入姿态估计模型中，输出目标无人机的位置以及姿态；
其中，所述姿态估计模型中设置有采集设备的参数。
9.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的基于三色四灯标记识别的无人机姿态估计方法。
10.一种设备，其特征在于，包括处理器以及存储器：
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行如权利要求1-7任意一项所述的基于三色四灯标记识别的无人机姿态估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646221.1A CN111784768B (zh) | 2020-07-07 | 2020-07-07 | 基于三色四灯标记识别的无人机姿态估计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646221.1A CN111784768B (zh) | 2020-07-07 | 2020-07-07 | 基于三色四灯标记识别的无人机姿态估计方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784768A true CN111784768A (zh) | 2020-10-16 |
| CN111784768B CN111784768B (zh) | 2021-09-24 |
Family
ID=72758102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010646221.1A Active CN111784768B (zh) | 2020-07-07 | 2020-07-07 | 基于三色四灯标记识别的无人机姿态估计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784768B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113686300A (zh) * | 2021-09-08 | 2021-11-23 | 中电金融设备系统（深圳）有限公司 | 传送带物品姿态检测系统及方法 |
| CN116205975A (zh) * | 2023-02-01 | 2023-06-02 | 广东国地规划科技股份有限公司 | 一种像控点数据采集方法及无人机测绘方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205899386U (zh) * | 2016-08-01 | 2017-01-18 | 中国人民武装警察部队总医院 | 多旋翼无人机飞行用外置式安全控制装置及系统 |
| CN109214288A (zh) * | 2018-08-02 | 2019-01-15 | 广州市鑫广飞信息科技有限公司 | 基于多旋翼无人机航拍视频的帧间场景匹配方法及装置 |
| CN110182365A (zh) * | 2019-06-13 | 2019-08-30 | 中国矿业大学 | 一种煤矿井下防爆型四旋翼无人机 |
| CN111324145A (zh) * | 2020-02-28 | 2020-06-23 | 厦门理工学院 | 一种无人机自主着陆方法、装置、设备及存储介质 |
-
2020
- 2020-07-07 CN CN202010646221.1A patent/CN111784768B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205899386U (zh) * | 2016-08-01 | 2017-01-18 | 中国人民武装警察部队总医院 | 多旋翼无人机飞行用外置式安全控制装置及系统 |
| CN109214288A (zh) * | 2018-08-02 | 2019-01-15 | 广州市鑫广飞信息科技有限公司 | 基于多旋翼无人机航拍视频的帧间场景匹配方法及装置 |
| CN110182365A (zh) * | 2019-06-13 | 2019-08-30 | 中国矿业大学 | 一种煤矿井下防爆型四旋翼无人机 |
| CN111324145A (zh) * | 2020-02-28 | 2020-06-23 | 厦门理工学院 | 一种无人机自主着陆方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113686300A (zh) * | 2021-09-08 | 2021-11-23 | 中电金融设备系统（深圳）有限公司 | 传送带物品姿态检测系统及方法 |
| CN116205975A (zh) * | 2023-02-01 | 2023-06-02 | 广东国地规划科技股份有限公司 | 一种像控点数据采集方法及无人机测绘方法 |
| CN116205975B (zh) * | 2023-02-01 | 2023-09-19 | 广东国地规划科技股份有限公司 | 一种像控点数据采集方法及无人机测绘方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784768B (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108108761B (zh) | 一种基于深度特征学习的快速交通信号灯检测方法 | |
| CN109211207B (zh) | 一种基于机器视觉的螺钉识别与定位装置 | |
| CN108510545B (zh) | 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质 | |
| CN106874884B (zh) | 基于部位分割的人体再识别方法 | |
| CN110163025A (zh) | 二维码定位方法及装置 | |
| CN109523551B (zh) | 一种获取机器人行走姿态的方法及系统 | |
| CN110807807B (zh) | 一种单目视觉的目标定位的图案、方法、装置及设备 | |
| CN106355592B (zh) | 一种教育玩具套件及其电路元件和电线的识别方法 | |
| JPWO2018123607A1 (ja) | 対空標識、画像処理装置、画像処理方法、及び、プログラム | |
| CN111784768B (zh) | 基于三色四灯标记识别的无人机姿态估计方法及系统 | |
| CN113222940B (zh) | 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 | |
| CN107767379A (zh) | Pcb板标注印刷质量检测方法 | |
| CN111709994B (zh) | 一种自主无人机视觉探测与引导系统及方法 | |
| JP6779688B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
| CN108022245B (zh) | 基于面线基元关联模型的光伏面板模板自动生成方法 | |
| CN110942092B (zh) | 一种图形图像识别方法及识别系统 | |
| WO2021170051A1 (zh) | 一种数字摄影测量方法、电子设备及系统 | |
| JP2020087155A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN112686872B (zh) | 基于深度学习的木材计数方法 | |
| CN111435429A (zh) | 一种基于双目立体数据动态认知的手势识别方法及系统 | |
| CN111380503B (zh) | 一种采用激光辅助标定的单目相机测距方法 | |
| CN112001966B (zh) | 飞行训练ar系统中显示屏的定位与跟踪方法 | |
| CN112115737B (zh) | 一种车辆朝向的确定方法、装置及车载终端 | |
| WO2023193763A1 (zh) | 数据处理方法及装置、追踪标记、电子设备及存储介质 | |
| CN114600160A (zh) | 生成三维(3d)模型的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |