[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118154682A - 多源数据辅助的ptz摄像机几何定位方法及装置 - Google Patents

多源数据辅助的ptz摄像机几何定位方法及装置 Download PDF

Info

Publication number
CN118154682A
CN118154682A CN202410164893.7A CN202410164893A CN118154682A CN 118154682 A CN118154682 A CN 118154682A CN 202410164893 A CN202410164893 A CN 202410164893A CN 118154682 A CN118154682 A CN 118154682A
Authority
CN
China
Prior art keywords
image
images
coordinates
determining
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410164893.7A
Other languages
English (en)
Inventor
王腾
王彦泽
梁子杰
陈相龙
林康恩
曾灿荣
林佳琦
吴金豪
钱佩
方涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SURVEYING AND MAPPING INSTITUTE LANDS AND RESOURCE DEPARTMENT OF GUANGDONG PROVINCE
Original Assignee
SURVEYING AND MAPPING INSTITUTE LANDS AND RESOURCE DEPARTMENT OF GUANGDONG PROVINCE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SURVEYING AND MAPPING INSTITUTE LANDS AND RESOURCE DEPARTMENT OF GUANGDONG PROVINCE filed Critical SURVEYING AND MAPPING INSTITUTE LANDS AND RESOURCE DEPARTMENT OF GUANGDONG PROVINCE
Publication of CN118154682A publication Critical patent/CN118154682A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多源数据辅助的PTZ摄像机几何定位方法及装置，属于机器视觉领域，该方法包括：获取目标区域的待定位影像，并根据待定位影像从预设的数据库中检索出所有相似影像；对待定位影像和每个相似影像进行特征点匹配，将每个相似影像已匹配特征点的三维坐标信息赋予待定位影像对应的特征点；根据已匹配特征点的三维坐标，基于DLT模型，确定待定位影像的位姿；根据带位姿的待定位影像，结合DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标。该方法解决了定位过程中对人工布置控制点的依赖问题，避免了人工布设控制点过程中控制点位置选择、人工测量精度和环境变化等因素对控制点坐标准确性的影响，实现了目标点的精确定位。

Description

多源数据辅助的PTZ摄像机几何定位方法及装置
技术领域
本发明涉及机器视觉领域，尤其涉及一种多源数据辅助的PTZ摄像机几何定位方法及装置。
背景技术
目前，常见的单目视觉几何定位技术应用包括无人机视觉定位与摄像机定位。前者利用单目视觉来进行定位和导航，可以通过融合传感器数据实现更高的精确度和可靠性，但会受到GPS信号质量、环境干扰、风速等多种因素的影响。此外，无人机视觉定位成本相对较高，包括无人机本身的成本、传感器和设备维护、培训人员等方面的费用。而后者如果使用一般摄像机则会出现视野与视角有限的问题。其中，用于监控的摄像机主要包含固定式和转动式。固定式摄像机的水平角度和俯仰角度锁定，监控范围小，只能捕捉到摄像机所面向的区域，这意味着摄像机定位系统可能无法提供全方位的定位信息，尤其是在需要监控大范围或复杂环境的情况下。带有云台的可转动式摄像机(包括枪机、球机等)可以大大提高监控范围，所以能够调整水平与俯仰角且可进行焦距变换的PTZ摄像机就得到了运用。
然而，不论是摄像机定位还是无人机视觉定位的传统空三都涉及到野外的控制点的布设，而控制点布设在几何定位中是一个关键且复杂的任务，不仅浪费人力物力，还可能面临位置选择、测量精度、大规模管理、环境变化和数据处理等难题。
发明内容
本发明为了解决野外单目视觉定位现有技术中所存在的高塔视频监控对目标物体地理定位不准确，以及外业工作繁重、难度高和需要大量人力物力的问题。
本发明提供一种多源数据辅助的PTZ(Pan/Tilt/Zoom，代表云台的三个主要功能)摄像机几何定位方法，包括：获取目标区域的待定位影像，并根据所述待定位影像从预设的数据库中检索出所有相似影像；对所述待定位影像和每个相似影像进行特征点匹配，将每个相似影像已匹配特征点的三维坐标信息赋予待定位影像对应的特征点；根据已匹配特征点的三维坐标，基于直接线性变换(Direct Linear Transform，DLT)模型，确定待定位影像的位姿；根据带位姿的待定位影像，结合数字地表模型(Digital Surface Model，DSM)进行DSM求交，得到待定位影像中待定位目标的三维位置坐标；其中，所述数据库中包括PTZ摄像机在所述目标区域获取的多个角度的参考影像，所述参考影像的位姿，根据参考影像中标注的控制点，结合目标区域的正射卫星影像以及数字地表模型预先确定。
在本发明的多源数据辅助的PTZ摄像机几何定位方法中，所述获取待定位影像之前，还包括：通过PTZ摄像机获取目标区域多个角度的参考影像，并根据正射卫星影像与数字地表模型，对每个参考影像进行控制点标注以及确定控制点三维坐标；根据DLT模型和所述控制点三维坐标，解算出每个参考影像的位姿；将每个参考影像和对应的位姿信息作为样本数据存入数据库中。
在本发明的多源数据辅助的PTZ摄像机几何定位方法中，所述对所述待定位影像和每个相似影像进行特征点匹配，包括：采用尺度不变特征转换(Scale-invariantfeature transform，SIFT)特征提取算法，对所述待定位影像和所述相似影像进行两次单向匹配，并将匹配结果的交集作为已匹配的特征点集。
在本发明的多源数据辅助的PTZ摄像机几何定位方法中，所述获取目标区域的待定位影像之前，还包括：提取每个参考影像的特征点得到特征向量集合；利用聚类算法将所述特征向量集合划分为多组，并将每组中距离聚类中心最近的多个描述子作为新的特征向量集合，将上述聚类划分的过程递归应用到每组描述子向量构成的特征向量集合中，直至达到预设的词汇树深度，从而得到影像词汇树；采用词频逆文本频率(TF-IDF)，对所述影像词汇树中不同的视觉单词计算对应权重；
相应地，所述根据所述待定位影像从预设的数据库中检索出所有相似影像，具体为：根据词汇树检索结合所述视觉单词的权重，计算数据库中每个参考影像和所述待定位影像的相似性得分因子；根据所述相似性得分因子，确定每个参考影像和所述待定位影像的相似度；根据所述相似度确定相似影像。
在本发明的多源数据辅助的PTZ摄像机几何定位方法中，所述根据所述相似性得分因子，确定每个参考影像和所述待定位影像的相似度，包括：计算所述待定位影像和每个参考影像之间的反距离权重因子；根据所述相似性得分因子与所述反距离权重因子，确定待定位影像和每个参考影像之间的相似度；其中，所述反距离权重因子与待定位影像和每个参考影像之间空间距离反相关。
在本发明的多源数据辅助的PTZ摄像机几何定位方法中，所述反距离权重因子计算方式包括：
其中，dmax为待定位影像与所有参考影像之间空间距离的最大值，为待定位影像i与参考影像j之间的空间距离，/>表示待定位影像i与参考影像j之间的反距离权重因子。
在本发明的多源数据辅助的PTZ摄像机几何定位方法中，所述根据所述相似度确定相似影像，包括：对于相似度最大的Q个参考影像，以类间方差最大为原则，确定查询深度阈值t；将查询深度阈值前的t个参考影像作为相似影像；所述类间方差计算方法包括：
g＝w1w2(μ1-μ2)2
其中：
其中，Ci为第i个参考影像与待定位影像的相似度，t取值为0,1…Q-1，N1为属于阈值t之前的参考影像数量。
在本发明的多源数据辅助的PTZ摄像机几何定位方法中，所述根据带位姿的待定位影像，结合数字地表模型DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标，包括：根据所述待定位影像的位姿，确定像素坐标到世界坐标变换关系的投影矩阵；根据待定位影像的图像坐标和预设的初始高程，基于所述投影矩阵确定待定位目标的平面二维坐标；根据所述平面二维坐标进行内插DSM，得到新的高程；重复根据待定位影像的图像坐标和新的高程，基于所述投影矩阵确定待定位目标的平面二维坐标，并得到新的高程的过程，直至反投影误差小于预设阈值，从而得到待定位目标的三维位置坐标；其中，所述初始高程确定方法包括取目标区域的平均高程，或者最高高程。
本发明还提供一种多源数据辅助的PTZ摄像机几何定位装置，包括：检索模块，用于获取目标区域的待定位影像，并根据所述待定位影像从预设的数据库中检索出所有相似影像；匹配模块，用于对所述待定位影像和每个相似影像进行特征点匹配，将每个相似影像已匹配特征点的三维坐标信息赋予待定位影像对应的特征点；变换模块，用于根据已匹配特征点的三维坐标，基于直接线性变换DLT模型，确定待定位影像的位姿；定位模块，用于根据带位姿的待定位影像，结合DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标；其中，所述数据库中包括PTZ摄像机在所述目标区域获取的多个角度的参考影像，所述参考影像的位姿，根据参考影像中标注的控制点，结合目标区域的正射卫星影像以及数字地表模型预先确定。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述多源数据辅助的PTZ摄像机几何定位方法。
本发明产生的有益效果是：通过PTZ摄像机拍摄的参考影像布设控制点，无需人工野外布置控制点，解决了定位过程中对人工布置控制点的依赖问题。并且，根据参考影像的控制点辅以卫星正射影像及DSM、DEM等确定控制点坐标，避免了人工布设控制点过程中控制点位置选择、人工测量精度和环境变化等因素对控制点坐标准确性的影响。此外，结合坐标转换、线性变换等，利用高精度DSM数据解算已有正射影像像点对应的地面坐标的方式，在DSM的辅助下解算各个待定位点的地面坐标，实现了目标点的精确定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的多源数据辅助的PTZ摄像机几何定位方法的流程示意图之一；
图2是本发明实施例的多源数据辅助的PTZ摄像机几何定位方法的流程示意图之二；
图3是本发明实施例的影像相似度计算过程示意图；
图4是本发明实施例的反距离权重因子示意图；
图5是本发明实施例的查询深度示意图；
图6是本发明实施例的地面坐标解算流程示意图；
图7是本发明实施例的高程迭代逼近过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
下面结合图1至图7对本发明的多源数据辅助的PTZ摄像机几何定位方法及装置进行说明，图1是本发明实施例的多源数据辅助的PTZ摄像机几何定位方法的流程示意图之一，如图1所示，本发明提供一种多源数据辅助的PTZ摄像机几何定位方法，包括：
S1、获取目标区域的待定位影像，并根据所述待定位影像从预设的数据库中检索出所有相似影像。
其中，所述数据库中包括PTZ摄像机在所述目标区域获取的多个角度的参考影像，所述参考影像的位姿，根据参考影像中标注的控制点，结合目标区域的正射卫星影像以及数字地表模型预先确定。
不同于传统的单目定位需要人工野外布设控制点，工作量大且工作难度高，风险系数也较大，本发明利用PTZ摄像机的特点将此过程内业化。在PTZ视频数据的基础上，结合如谷歌地图与遥感影像数据等，先进行人工标注、寻找控制点后存入样本数据库。在控制点标注过程中可以运用DSM内插、DEM自动化批量高程求解，节约大量的人力物力。
具体而言，摄像机拍摄目标区域域视频数据后，可以抽取、筛选视频帧，结合目标区域遥感影像数据及DSM数据进行标注。标注过程可以采用人工标注，人工标注以目标区域的谷歌地图、遥感影像数据以及目标区域DSM数据为参照。主要选择的特征点类型包括池塘角点、道路拐点、田埂角点和房屋下角点。具体流程可以是：首先参考卫星影像对特征点的经纬度坐标进行标注，再通过DSM得到对应经纬度的高程，得到标注控制点的三维坐标。基于控制点的三维坐标，利用如DLT模型等变换，容易得到参考影像的位姿。
S2、对所述待定位影像和每个相似影像进行特征点匹配，将每个相似影像已匹配特征点的三维坐标信息赋予待定位影像对应的特征点。
相似影像的控制点三维坐标和位姿已知，据此容易得到相似影像中特征点的三维坐标。匹配成功的特征点，在相似影像中和待定位影像中三维坐标是相同的，将其在相似影像中的坐标值直接赋予待定位影像即可，从而得到待定位影像特征点的三维坐标。
S3、根据已匹配特征点的三维坐标，基于DLT模型，确定待定位影像的位姿。
DLT模型即直接线性变换是建立像点坐标和相应物点物方空间坐标之间直接的线性关系的算法，其可由像空间坐标直接变换到物空间坐标，不需要任何内、外方位元素的初值。利用直接线性变换的方法求解姿态可以直接解算超定方程获得直接线性变换系数的近似值，如式(1)为直接线性变换的一般形式：
其中，x、y为图像坐标，X、Y、Z为物方空间坐标，li(i＝1,2…,11)为直接线性变换的系数。
由于影像成像可发生畸变，(1)式解算出的系数并不能直接当作准确值使用，所以在直接线性变换一般式的基础上增加偏心畸变和径向畸变的畸变改正系数，如式(2)所示，以提升解算精度，其中Δx、Δy为控制点的像点坐标的系统误差改正数，Vx、Vy为控制点的像点坐标观测值改正数，畸变模型如式(3)。
其中,k1、k2为径向畸变系数，p1、p2为偏心畸变系数，x′、y′表示畸变后的像素坐标，x、y为畸变前的像素坐标，x0、y0为像主点，r为像平面坐标系中点(x,y)与图像中心(x0,y0)的像素距离。在解算出像点坐标的径向畸变和偏心畸变参数后，还需对原始像点坐标做畸变改正，以便后续使用立体像对解算物方点，如式(4)。
在根据特征点解算完成待定位影像和相似影像的直接线性变换系数后，可对像片重叠区域的像点计算其对应的三维空间物方坐标。
S4、根据带位姿的待定位影像，结合DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标。
通过高程迭代逼近的方式实现精准定位，利用DSM作为约束，通过高程迭代内插方式逐渐逼近特征点的真实地面坐标，从而解决了基于高精度DSM的单视图特征点位地面坐标解算如何实现射线与不规则DSM面的求交问题。
本发明的多源数据辅助的PTZ摄像机几何定位方法，通过PTZ摄像机拍摄的参考影像布设控制点，无需人工野外布置控制点，解决了定位过程中对人工布置控制点的依赖问题。并且，根据参考影像的控制点辅以卫星正射影像及DSM、DEM等确定控制点坐标，避免了人工布设控制点过程中控制点位置选择、人工测量精度和环境变化等因素对控制点坐标准确性的影响。此外，结合坐标转换、线性变换等，利用高精度DSM数据解算已有正射影像像点对应的地面坐标的方式，在DSM的辅助下解算各个待定位点的地面坐标，实现了目标点的精确定位。
在一个实施例中，所述获取待定位影像之前，还包括：通过PTZ摄像机获取目标区域多个角度的参考影像，并根据正射卫星影像与数字地表模型，对每个参考影像进行控制点标注以及确定控制点三维坐标；根据DLT模型和所述控制点三维坐标，解算出每个参考影像的位姿；将每个参考影像和对应的位姿信息作为样本数据存入数据库中。
图2是本发明实施例的多源数据辅助的PTZ摄像机几何定位方法的流程示意图之二，如上述实施例所述，可以先通过PTZ摄像机在目标区域进行多角度拍摄，然后提取视频帧，利用控制点标注，结合正射卫星影像与DSM确定控制点三维坐标。然后利用DLT模型和控制点三维坐标，解算出每个参考影像的位姿，作为样本数据存入数据库中。利用DLT模型不需要内外方位元素的起始值，简化了计算过程，且适用性更强。
在一个实施例中，所述对所述待定位影像和每个相似影像进行特征点匹配，包括：采用SIFT特征提取算法，对所述待定位影像和所述相似影像进行两次单向匹配，并将匹配结果的交集作为已匹配的特征点集。
采用SIFT特征提取算法对待定位影像和检索出最相似的参考影像两张影像的特征点进行匹配，然后在完成特征点的匹配后，将参考影像特征点的三维坐标信息赋予待计算影像。在特征点匹配过程中，采用双向匹配方法，即取两次单向匹配结果的交集作为匹配点集。利用SIFT双向匹配具有不对称性，所以对于两张影像而言，若以其中一张影像为参考影像，另一张为待匹配影像，进行一次单向匹配，再将两张影像进行一次反向匹配，两次匹配到的特征点数量和分布情况可能不同，可据这一特性，剔除误匹配点，从而提高匹配的精确度。
在一个实施例中，所述获取目标区域的待定位影像之前，还包括：提取每个参考影像的特征点得到特征向量集合；利用聚类算法将所述特征向量集合划分为多组，并将每组中距离聚类中心最近的多个描述子作为新的特征向量集合，将上述聚类划分的过程递归应用到每组描述子向量构成的特征向量集合中，直至达到预设的词汇树深度，从而得到影像词汇树；采用词频逆文本频率TF-IDF，对所述影像词汇树中不同的视觉单词计算对应权重；相应地，所述根据所述待定位影像从预设的数据库中检索出所有相似影像，具体为：根据词汇树检索结合所述视觉单词的权重，计算数据库中每个参考影像和所述待定位影像的相似性得分因子；根据所述相似性得分因子，确定每个参考影像和所述待定位影像的相似度；根据所述相似度确定相似影像。
具体而言，可采用采用如SIFT等特征提取算法，提取参考影像的特征点。采用SIFT特征向量集合进行构树，提取影像的SIFT特征后，利用如K-means等聚类算法，将特征向量集合划分为几组，每组由特征向量集合中距离该组聚类中心最近的描述子组成。然后将该过程递归应用到每组描述子向量中，从而将其划分为新的k组，每层都重复上述过程，直至达到词汇树深度d，而k的经验值一般取10。
在词汇树中进行影像检索时，可使用词频一逆文本频率(TF—IDF)对图像进行加权计算。具体计算公式为：
其中：ti为第i个单词的权值；词频(termfrequency,TF)表示某个视觉单词在图像中出现的次数，次数越多表示该视觉单词越重要；逆文本频率IDF为影像总数量和包含该单词的影像数目比的对数，是该单词重要性的度量；ni为查询影像包含视觉单词i的影像数量；n为查询影像包含所有视觉单词的影像数量；N为影像总数量；Ni为影像数据集中至少有一个包含视觉单词i的图像数量。
当词汇树创建完成后，每张影像则可以表示为加权后不同视觉单词的组合。要测量两张影像的视觉单词向量(q和d)之间的相似性，可通过构建检索数据库(即样本数据存储构建的数据库)，采用影像检索系统中的倒排索引方法，对不同的视觉单词计算对应权重ω，然后计算每个参考影像和待定位影像相似性得分因子s(q,d)，可以此确定两个影像之间的相似度。影像相似度计算过程如图3所示。
其中，s(q,d)的计算方式包括：
其中：表示Lp范数；q＝(q0,q1,…,qm)、d＝(d0,d1,…,dm)表示影像的m个视觉单词所组成的TF-IDF视觉单词向量；相似性得分因子s(q,d)的值为0～1且得分越高相似性越大。
在一个实施例中，所述根据所述相似性得分因子，确定每个参考影像和所述待定位影像的相似度，包括：计算所述待定位影像和每个参考影像之间的反距离权重因子；根据所述相似性得分因子与所述反距离权重因子，确定待定位影像和每个参考影像之间的相似度；其中，所述反距离权重因子与待定位影像和每个参考影像之间空间距离反相关。
如图4所示，考虑到空间距离上越近的影像具有重叠区的可能性越高，若将影像之间的空间距离作为影响因素参与评价，则可大大提高两者之间的相关性。因此，本发明实施例并不直接以相似性得分因子确定影像的相似度，而是还考虑与空间距离反相关的反距离权重因子。
具体而言，根据影像初始位姿信息计算待定位影像与所有参考影像的欧式空间距离。根据空间距离计算待定位影像与所有参考影像之间的反距离权重因子用以评价两者之间的空间相关性。将相似性得分因子/>与反距离权重因子/>组合起来形成综合权重因子/>用于综合评价待定位影像和每个参考影像之间的空间相关性(即相似度)，可表示为：
其中，i表示待定位影像，j表示参考影像。
在一个实施例中，所述反距离权重因子计算方式包括：
其中，dmax为待定位影像Ii与所有参考影像之间空间距离的最大值，为待定位影像Ii与参考影像Ij之间的空间距离。
在一个实施例中，所述根据所述相似度确定相似影像，包括：对于相似度最大的Q个参考影像，以类间方差最大为原则，确定查询深度阈值t；将查询深度阈值前的t个参考影像作为相似影像；所述类间方差计算方法包括：
g＝w1w2(μ1-μ2)2 (9)
其中：
其中，Ci为第i个参考影像与待定位影像的相似度，t取值为0,1…Q-1，N1为属于阈值t之前的参考影像数量。
在查询深度内，类间方差最大对应的位置即为查询深度阈值，可表示为：
其中，g(t*)为查询深度因子，t为初设查询阈值。
在深度查询阈值中，查询深度是指以综合权重因子为依据，在影像集合中查询出与当前影像相似性最高的前Q′张影像，组成待匹配对像，如图5所示。
图5中，待定位影像(作为查询影像Vj)与查询深度Q共组成Q′对像对进行匹配。实际处理过程中Q过小会造成漏检，而Q过大则会引入大量无效匹配像对，降低匹配效率。因此，本发明实施例采用查询深度阈值的方式对查询深度进行分割，仅将阈值前的影像与查询影像组成匹配像对进入匹配环节。阈值计算公式如上所示。
本发明实施例中，以类间方差最大为原则，将查询深度Q内的影像分为前景与背景两部分。N1为属于阈值t之前的影像数量，w1为属于前景的影像频率；w2为属于后景的影像频率。μ1为阈值t之前影像的综合因子平均值，μ2为阈值t之后的影像综合因子平均值，g为前景影像与背景影像之间的类间方差。
此外，在检索评价指标中，可通过查准率Pprecision和查全率Precall评价该算法的准确性和完整性。通过特征提取时间和影像检索平均时间评价算法的效率。查准率通过计算查询深度内正确的查询影像N与查询深度Q的比值构成。查全率则通过计算查询深度内正确的查询影像N与穷举法匹配中得到的所有正确影像数量M比值构成，可分别表示为：
在一个实施例中，所述根据带位姿的待定位影像，结合数字地表模型DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标，包括：根据所述待定位影像的位姿，确定投影矩阵；基于所述投影矩阵建立的像素坐标到世界坐标的投影变换，根据待定位影像的图像坐标和预设的初始高程，确定待定位目标的平面二维坐标；根据所述平面二维坐标进行内插DSM，得到新的高程；重复根据待定位影像的图像坐标和新的高程，确定待定位目标的平面二维坐标，并得到新的高程的过程，直至反投影误差小于预设阈值，从而得到待定位目标的三维位置坐标；其中，所述初始高程确定方法包括取目标区域的平均高程，或者最高高程。
如图6和图7所示，利用投影矩阵P，可以建立从像素坐标(x,y,1)到世界坐标(X,Y,Z,1)的投影变换，即(x,y,1)＝P(X,Y,Z,1)。但对于一个特征点而言，只能建立两个方程，而未知数有3个，即(X,Y,Z)。因此，预设一个初始高程平面Z0代入该投影变换，Z0一般可以取目标区域的平均高程或者最高的高程，可以计算得到初始平面坐标(X0,Y0)。随后利用该平面坐标内插DEM，可得到更接近真实高程的Z1高程面。
迭代上述过程，不断更新高程面，直到反投影误差小于某极小阈值。即可得到精度极高的目标三维坐标。其中高精度DSM进行迭代内插的输入数据是正射影像与卫星影像通过影像匹配得到的特征点(x,y)。三维到二维的投影变换就是高程Z算一个已知量，加上像素坐标两个已知量，总共三个，就可以解X、Y两个未知数的方程。反投影误差就是把三维(X,Y,Z)坐标反计算(用共线方程/DLT这种二三维对应模型都可以)像素坐标，和实际像素坐标的差就是反投影误差。阈值可以是多次实验对比结果选一个时间较短精度较高的。
本发明还提供一种多源数据辅助的PTZ摄像机几何定位装置，包括：检索模块，用于获取目标区域的待定位影像，并根据所述待定位影像从预设的数据库中检索出所有相似影像；匹配模块，用于对所述待定位影像和每个相似影像进行特征点匹配，将每个相似影像已匹配特征点的三维坐标信息赋予待定位影像对应的特征点；变换模块，用于根据已匹配特征点的三维坐标，基于DLT模型，确定待定位影像的位姿；定位模块，用于根据带位姿的待定位影像，结合DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标；其中，所述数据库中包括PTZ摄像机在所述目标区域获取的多个角度的参考影像，所述参考影像的位姿，根据参考影像中标注的控制点，结合目标区域的正射卫星影像以及数字地表模型预先确定。
本发明实施例所提供的多源数据辅助的PTZ摄像机几何定位装置，其实现原理及产生的技术效果和前述多源数据辅助的PTZ摄像机几何定位方法实施例相同，为简要描述，基于多源数据辅助的PTZ摄像机几何定位装置实施例部分未提及之处，可参考前述多源数据辅助的PTZ摄像机几何定位方法实施例中相应内容。
此外，本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质被处理器执行时实现方法实施例多源数据辅助的PTZ摄像机几何定位方法。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种多源数据辅助的PTZ摄像机几何定位方法，其特征在于，包括
获取目标区域的待定位影像，并根据所述待定位影像从预设的数据库中检索出所有相似影像；
对所述待定位影像和每个相似影像进行特征点匹配，将每个相似影像已匹配特征点的三维坐标信息赋予待定位影像对应的特征点；
根据已匹配特征点的三维坐标，基于直接线性变换DLT模型，确定待定位影像的位姿；
根据带位姿的待定位影像，结合数字地表模型DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标；
其中，所述数据库中包括PTZ摄像机在所述目标区域获取的多个角度的参考影像，所述参考影像的位姿，根据参考影像中标注的控制点，结合目标区域的正射卫星影像以及数字地表模型预先确定。
2.根据权利要求1所述的多源数据辅助的PTZ摄像机几何定位方法，其特征在于，所述获取待定位影像之前，还包括：
通过PTZ摄像机获取目标区域多个角度的参考影像，并根据正射卫星影像与数字地表模型，对每个参考影像进行控制点标注以及确定控制点三维坐标；
根据DLT模型和所述控制点三维坐标，解算出每个参考影像的位姿；
将每个参考影像和对应的位姿信息作为样本数据存入数据库中。
3.根据权利要求1所述的多源数据辅助的PTZ摄像机几何定位方法，其特征在于，所述对所述待定位影像和每个相似影像进行特征点匹配，包括：
采用尺度不变特征变换SIFT特征提取算法，对所述待定位影像和所述相似影像进行两次单向匹配，并将匹配结果的交集作为已匹配的特征点集。
4.根据权利要1所述的多源数据辅助的PTZ摄像机几何定位方法，其特征在于，所述获取目标区域的待定位影像之前，还包括：
提取每个参考影像的特征点得到特征向量集合；
利用聚类算法将所述特征向量集合划分为多组，并将每组中距离聚类中心最近的多个描述子作为新的特征向量集合，将上述聚类划分的过程递归应用到每组描述子向量构成的特征向量集合中，直至达到预设的词汇树深度，从而得到影像词汇树；
采用词频逆文本频率TF-IDF，对所述影像词汇树中不同的视觉单词计算对应权重；
相应地，所述根据所述待定位影像从预设的数据库中检索出所有相似影像，具体为：
根据词汇树检索结合所述视觉单词的权重，计算数据库中每个参考影像和所述待定位影像的相似性得分因子；
根据所述相似性得分因子，确定每个参考影像和所述待定位影像的相似度；
根据所述相似度确定相似影像。
5.根据权利要求4所述的多源数据辅助的PTZ摄像机几何定位方法，其特征在于，所述根据所述相似性得分因子，确定每个参考影像和所述待定位影像的相似度，包括：
计算所述待定位影像和每个参考影像之间的反距离权重因子；
根据所述相似性得分因子与所述反距离权重因子，确定待定位影像和每个参考影像之间的相似度；
其中，所述反距离权重因子与待定位影像和每个参考影像之间空间距离反相关。
6.根据权利要求5所述的多源数据辅助的PTZ摄像机几何定位方法，其特征在于，所述反距离权重因子计算方式包括：
其中，dmax为待定位影像与所有参考影像之间空间距离的最大值，为待定位影像i与参考影像j之间的空间距离，/>表示待定位影像i与参考影像j之间的反距离权重因子。
7.根据权利要求4所述的多源数据辅助的PTZ摄像机几何定位方法，其特征在于，所述根据所述相似度确定相似影像，包括：
对于相似度最大的Q个参考影像，以类间方差最大为原则，确定查询深度阈值t；
将查询深度阈值前的t个参考影像作为相似影像；
所述类间方差计算方法包括：
g＝w1w2(μ1-μ2)2
其中：
其中，Ci为第i个参考影像与待定位影像的相似度，t取值为0,1…Q-1，N1为属于阈值t之前的参考影像数量。
8.根据权利要求1所述的多源数据辅助的PTZ摄像机几何定位方法，其特征在于，所述根据带位姿的待定位影像，结合数字地表模型DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标，包括：
根据所述待定位影像的位姿，确定像素坐标到世界坐标变换关系的投影矩阵；
根据待定位影像的图像坐标和预设的初始高程，基于所述投影矩阵确定待定位目标的平面二维坐标；
根据所述平面二维坐标进行内插DSM，得到新的高程；
重复根据待定位影像的图像坐标和新的高程，基于所述投影矩阵确定待定位目标的平面二维坐标，并得到新的高程的过程，直至反投影误差小于预设阈值，从而得到待定位目标的三维位置坐标；
其中，所述初始高程确定方法包括取目标区域的平均高程，或者最高高程。
9.一种多源数据辅助的PTZ摄像机几何定位装置，其特征在于，包括：
检索模块，用于获取目标区域的待定位影像，并根据所述待定位影像从预设的数据库中检索出所有相似影像；
匹配模块，用于对所述待定位影像和每个相似影像进行特征点匹配，将每个相似影像已匹配特征点的三维坐标信息赋予待定位影像对应的特征点；
变换模块，用于根据已匹配特征点的三维坐标，基于DLT模型，确定待定位影像的位姿；
定位模块，用于根据带位姿的待定位影像，结合DSM进行DSM求交，得到待定位影像中待定位目标的三维位置坐标；
其中，所述数据库中包括PTZ摄像机在所述目标区域获取的多个角度的参考影像，所述参考影像的位姿，根据参考影像中标注的控制点，结合目标区域的正射卫星影像以及数字地表模型预先确定。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述多源数据辅助的PTZ摄像机几何定位方法。
CN202410164893.7A 2023-12-11 2024-02-05 多源数据辅助的ptz摄像机几何定位方法及装置 Pending CN118154682A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311684652 2023-12-11
CN2023116846527 2023-12-11

Publications (1)

Publication Number Publication Date
CN118154682A true CN118154682A (zh) 2024-06-07

Family

ID=91291846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410164893.7A Pending CN118154682A (zh) 2023-12-11 2024-02-05 多源数据辅助的ptz摄像机几何定位方法及装置

Country Status (1)

Country Link
CN (1) CN118154682A (zh)

Similar Documents

Publication Publication Date Title
US12094226B2 (en) Simultaneous localization and mapping method, device, system and storage medium
CN107833280B (zh) 一种基于地理网格与图像识别相结合的户外移动增强现实方法
Chen et al. City-scale landmark identification on mobile devices
Majdik et al. Air‐ground matching: Appearance‐based GPS‐denied urban localization of micro aerial vehicles
CN103337052B (zh) 面向宽幅遥感影像的自动几何纠正方法
US10089762B2 (en) Methods for navigating through a set of images
US11915478B2 (en) Bayesian methodology for geospatial object/characteristic detection
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
US20220164595A1 (en) Method, electronic device and storage medium for vehicle localization
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
Wu et al. Uavd4l: A large-scale dataset for uav 6-dof localization
Semenov et al. Deep learning approach for SAR image retrieval for reliable positioning in GPS-challenged environments
Sui et al. An accurate indoor localization approach using cellphone camera
CN116863085B (zh) 一种三维重建系统、三维重建方法、电子设备及存储介质
CN116468878B (zh) 一种基于定位地图的ar设备定位方法
CN117057086B (zh) 基于目标识别与模型匹配的三维重建方法、装置及设备
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN109829939B (zh) 一种缩小多视影像匹配同名像点搜索范围的方法
CN118154682A (zh) 多源数据辅助的ptz摄像机几何定位方法及装置
CN118225087A (zh) 卫星导航拒止条件下飞行器的自主绝对定位与导航方法
CN116309836A (zh) 一种基于视觉图像的三维物体位姿识别方法和装置、电子设备
KR102249380B1 (ko) 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템
Venable Improving real world performance of vision aided navigation in a flight environment
Venable Improving Real World Performance for Vision Navigation in a Flight Environment

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination