[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108765298A - 基于三维重建的无人机图像拼接方法和系统 - Google Patents

基于三维重建的无人机图像拼接方法和系统 Download PDF

Info

Publication number
CN108765298A
CN108765298A CN201810623110.1A CN201810623110A CN108765298A CN 108765298 A CN108765298 A CN 108765298A CN 201810623110 A CN201810623110 A CN 201810623110A CN 108765298 A CN108765298 A CN 108765298A
Authority
CN
China
Prior art keywords
image
point
characteristic point
matching
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810623110.1A
Other languages
English (en)
Inventor
唐娉
邹松
胡昌苗
单小军
唐吉文
郑柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201810623110.1A priority Critical patent/CN108765298A/zh
Publication of CN108765298A publication Critical patent/CN108765298A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于三维重建的无人机图像拼接方法，包括：获取无人机相机在拍摄区域拍摄的无序的图像；对获取的无序的图像进行特征点提取，对提取出来的特征点进行特征匹配，得到匹配特征点对，并根据匹配特征点对按顺序排列无序的图像；对匹配特征点对进行解析，得到相机姿态参数、畸变参数和特征点的空间坐标；根据相机姿态参数和特征点的空间坐标对排列好顺序的图像进行图像分簇，形成多个图像簇，分别提取各个图像簇的密集点云，并完成密集匹配；根据密集点云、相机姿态参数以及畸变参数对完成密集匹配后的图像进行正射纠正，将正射纠正后的图像进行拼接得到拼接图像。提高拼接速度，不具有投影畸变。本发明还提供了一种无人机图像拼接系统。

Description

基于三维重建的无人机图像拼接方法和系统
技术领域
本发明涉及遥感图像拼接技术领域，特别涉及一种基于三维重建的无人机 图像拼接方法，还涉及一种基于三维重建的无人机图像拼接系统。
背景技术
现代社会中，遥感技术已成为人类获取地理环境及其变化信息的必备高科 技手段。相比耗资巨大的航天遥感系统，无人机(Unmanned Aerial Vehicles,简 称UAV)作为航天摄影和对地观测的遥感平台，在成本上具有巨大优势。同时， 无人机遥感(UnmannedAerial Vehicle Remote Sensing，简称UAVRS)系统技术 有其他遥感技术不可替代的优点。它以固定翼UAV、无人旋翼机和垂直起降 UAV等作为遥感平台获取实时高分辨率遥感影像数据，既能克服有人航空遥感 受制于长航时、大机动、恶劣气象条件、危险环境等的影响，又能弥补卫星因 天气和时间无法获取感兴趣区遥感信息的空缺，提供多角度、高分辨率影像， 还能避免地面遥感工作范围小、视野窄、工作量大等因素。而且，随着计算机、 通信技术的迅速发展以及各种重量轻、体积小、探测精度高的数字化新型传感 器的不断面世，UAV的性能不断提高，使UAVRS具有结构简单、成本低、风 险小、灵活机动、实时性强等优点，正逐步成为卫星遥感、有人机遥感和地面 遥感的有效补充手段，给遥感应用注入了新鲜血液。
无人机影像由于受飞行高度，相机视角的影响，单张无人机影像所覆盖的 区域面积不大，在特定任务中需要对多张影像进行拼接，有效覆盖所有工作区。 目前，对于无人机遥感影像拼接，一种常见的方法是采用传统摄影测量方法进 行数据处理。由于用于航拍的无人机上通常搭载了定位定向系统(Position& Orientation System，简称POS)，集DGPS(Differential GPS)技术和惯性导航 系统(INS，Inertial Navigation System)技术于一体，可以获取移动物体的空间 位置和三轴姿态信息，该方法通常利用POS数据进行传感器定位以此获取相机 拍摄时刻的外方位线元素和角元素，进而对重叠影像进行密集匹配，然后采用 前方交会方法获取密集特征点的地理坐标，根据这些密集点坐标来生成数字高 程模型(Digital Elevation Model，简称DEM)，另外，作业员需要在专业的摄 影测量系统上修改DEM使它符合实际地形，然后利用DEM对影像采用数字微 分纠正的方法生成正射影像，最后根据正射影像中像素的地理信息完成影像拼 接。该方法最后得到的拼接影像是含有地理信息的正射图，因此拼接精度较高， 但是整个拼接流程繁琐复杂，在拼接过程中需要人工干预，导致拼接耗时长， 另外最后得到的拼接影像精度依赖于GPS\IMU数据精度，该方法也不适用于没 有搭载POS系统的低成本无人机。
另一种比较常见的方法是首先对无人机影像提取特征点，然后在区域内影 像间进行特征点匹配，之后根据特征点匹配结果利用光束法平差的方法整体解 求区域内影像的姿态参数和畸变参数，最后将参与拼接的影像变换到统一的平 面或球面上，得到拍摄区域的全景图，另外还需要对影像重叠区域进行像素的 选取和加权，使整体的拼接影像色调一致。该方法拼接流程简单，拼接过程不 需要人工干预，拼接耗时短，另外在拼接中不需要其他地理控制信息，但是该 方法的缺点是最后得到的拼接影像存在着影像变形，特别是当拍摄区域较大时， 拼接影像变形更明显。
因此，如何提高无人机影像拼接速度、精度以及拼接后图像的清晰度，是 本领域技术人员急需要解决的问题。
在背景技术中公开的上述信息仅用于加强对本发明的背景的理解，因此其 可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。
发明内容
有鉴于此，本申请实施例希望提供基于三维重建的无人机图像拼接方法， 以及基于三维重建的无人机图像拼接系统，以至少解决现有技术中存在的问题。
本申请实施例的技术方案是这样实现的，根据本申请的一个实施例，提供 一种基于三维重建的无人机图像拼接方法，包括：
获取无人机相机在拍摄区域拍摄的无序的图像；
对获取的无序的图像进行特征点提取，对提取出来的特征点进行特征匹配， 得到匹配特征点对，并根据所述匹配特征点对按顺序排列无序的图像；
对所述匹配特征点对进行解析，得到相机姿态参数、畸变参数和所述特征 点的空间坐标；
根据所述相机姿态参数和所述特征点的空间坐标对排列好顺序的图像进行 图像分簇，形成多个图像簇，分别提取各个所述图像簇的密集点云，并完成密 集匹配；
根据所述密集点云、所述相机姿态参数以及所述畸变参数对完成密集匹配 后的图像进行正射纠正，并将正射纠正后的图像进行拼接得到拼接图像。
优选的，在上述基于三维重建的无人机图像拼接方法中，对获取的无序的 图像进行特征点提取，包括：
基于获取的无序的图像得到高斯图像金字塔和高斯差分金字塔，探测所述 高斯差分金字塔中各差分尺度空间对应的极值点，探测到的所述极值点为所述 特征点；
对探测到的所述特征点进行精确定位，并利用所述特征点的邻域像素的梯 度方向分布特性确定所述特征点的主方向；
根据所述特征点的精确定位和所述特征点的主方向计算所述特征点的描述 子，所述特征点的描述子包括所述特征点以及所述特征点的邻域像素点的信息。
优选的，在上述基于三维重建的无人机图像拼接方法中，对提取出来的所 述特征点进行特征匹配，得到匹配特征点对，包括：
选取拍摄的一个所述图像作为基准图像，根据所述基准图像的特征点集的 描述向量构建k-d树索引；
根据所述图像中的待匹配特征点在所述k-d树中进行最佳节点优先搜索， 检索出与所述待匹配特征点距离最近的k个数据点；
若所述k近邻中最近邻的点与所述待匹配特征点之间的距离在预设阈值 内，且所述最近邻的点与次近邻点的距离比值在预设阈值内，则将所述最近邻 点与所述待匹配特征点看作所述匹配特征点对；
利用随机样本统计方法在所有的所述匹配特征点对中剔除出误匹配点。
优选的，在上述基于三维重建的无人机图像拼接方法中，根据所述相机姿 态参数和所述特征点的空间坐标对排列好顺序的图像进行图像分簇，形成多个 图像簇，包括：
在所述提取出来的特征点中随机取点，获取该点的可视信息，在所述可视 信息中搜索该点的局部领域，在所述局部领域进行点云融合，输出融合后的所 述特征点的点集；
根据图像分辨率筛选符合覆盖约束条件的图像，删除不符合所述覆盖约束 条件的图像；
判断筛选的图像集是否满足大小约束条件，若否，则对所述筛选的图像集 进行分割，形成新图像簇；
判断所述特征点集中的特征点是否属于所述新图像簇中的特征点，若不是， 则将包含所述特征点的图像加入所述新图像簇中，直至所述新图像簇满足所述 覆盖约束条件和图像簇大小约束条件。
优选的，在上述基于三维重建的无人机图像拼接方法中，根据所述密集点 云、所述相机姿态参数以及所述畸变参数对完成密集匹配后的图像进行正射纠 正，并将正射纠正后的图像进行拼接得到拼接图像，包括：
通过所述密集点云建立拍摄区域的数字表面模型；
根据所述数字表面模型、所述相机姿态参数以及所述畸变参数，利用基于 面元的间接法数字微分纠正对所述图像进行正射校正，得到正射图像；
根据所述正射图像的角点坐标确定相邻所述正射图像的重叠区域；
在所述重叠区域中两个所述正射图像的灰度值差异最小的像素点构成拼接 线；
采用图像均值强制改正方法消除拼接线，得到所述拼接图像。
优选的，在上述基于三维重建的无人机图像拼接方法中，对每个图像簇建 立密集点云之后，包括：
对所述密集点云进行滤波处理和旋转处理。
本发明还提供了一种基于三维重建的无人机图像拼接系统，包括：
图像获取模块，用于获取无人机相机在拍摄区域拍摄的无序的图像；
图像排列模块，用于对获取的无序的图像进行特征点提取，对所述特征点 进行特征匹配，得到匹配特征点对，并根据所述匹配特征点对按顺序排列无序 的图像；
特征点坐标解析模块，用于对所述匹配特征点对进行解析，得到相机姿态 参数、畸变参数和所述特征点的空间坐标；
密集匹配模块，用于根据所述相机姿态参数和所述特征点的空间坐标对排 列好顺序的图像进行图像分簇，形成多个图像簇，分别提取各个所述图像簇的 密集点云，并完成密集匹配；
正射纠正模块，用于根据所述密集点云、所述相机姿态参数以及所述畸变 参数对完成密集匹配后的图像进行正射纠正；
图像拼接模块，用于并将正射纠正后的图像进行拼接得到拼接图像。
本发明由于采用以上技术方案，其具有以下优点：本方案中，提供的基于 三维重建的无人机图像拼接方法中，将三维重建方法用于无序的无人机影像拼 接，三维重建根据多视图的图像重建拍摄区域的三维信息，即各个图像的姿态 参数和匹配特征点的空间坐标，进而获取拍摄区域的密集点云，利用点云数据 拟合出拍摄区域的数字表面模型，然后通数字表面模型对图像进行数字微分纠 正，最后实现图像序列的全自动快速拼接。与传统的图像拼接相比，不需要其 它外部控制点和地理信息，提高了拼接速度，且由于得到的图像是正射影像， 不具有投影畸变。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上 述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描 述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或 相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图 仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的 限制。
图1为本发明实施例提供的基于三维重建的无人机图像拼接方法流程图；
图2为本发明实施例提供的基于三维重建的无人机图像拼接方法具体实施 例的流程图；
图3为本发明实施例提供的高斯图像金字塔和高斯差分金字塔示意图；
图4为本发明实施例提供的连续的高斯空间和连续的高斯差分空间示意 图；
图5为本发明实施例提供的差分尺度空间相邻点示意图；
图6为本发明实施例提供的离散空间极值点和真正极值点的差别示意图；
图7为本发明实施例提供的梯度直方图示意图；
图8为本发明实施例提供的关键点描述子示意图；
图9为本发明实施例提供的点云可视信息示意图；
图10为本发明实施例提供的多视图聚簇算法(CMVS)流程图；
图11为本发明实施例提供的移动曲面拟合法内插数字表面模型算法流程 图；
图12为本发明的实施例提供的一种基于三维重建的无人机图像拼接系统 结构示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认 识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修 改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、 "宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水平"、"顶"、 "底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所 示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗 示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不 能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不 能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此， 限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特 征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体 的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语" 安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆 卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可 以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或 两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情 况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或 之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直 接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上 "、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一 特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括 第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二 特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结 构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然， 它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子 中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不 指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特 定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用 和/或其他材料的使用。
实施例一
在一种具体实施方式中，提供了一种基于三维重建的无人机图像拼接方法， 如图1所示，包括：
步骤S100：获取无人机相机在拍摄区域拍摄的无序的图像。
步骤S200：对获取的无序的图像进行特征点提取，对提取出来的特征点进 行特征匹配，得到匹配特征点对，并根据匹配特征点对按顺序排列无序的图像。
通过尺度不变特征变换(SIFT，Scale-invariant feature transform，SIFT)算子进行特征点提取，特征点包括SIFT特征点本身以及与SIFT特征点对应的 SIFT特征向量，由于获取的图像数据量大，处理过程中的运算量大，因此，采 用图形处理器(GPU，GraphicsProcessing Unit)进行SIFT算子提取可以大幅 提高运行速度。
根据已经提取的SIFT特征点以及SIFT特征向量，对所有的图像进行两两 匹配。由于相邻图像均有重叠区，重叠区的特征点集有更高的匹配率，因此， 以任意一幅图像为基准，寻找有重叠区域以及重叠区域的匹配特征点对，特征 点集的匹配结果确定图像之间的相邻重叠关系。其中，SIFT特征向量维数较高， 故采用基于k-d树的最佳节点优先搜索方法提高匹配速度。
步骤S300：对匹配特征点对进行解析，得到相机姿态参数、畸变参数和特 征点的空间坐标。
将最佳匹配特征点逐个加入光束平差中得到特征点的三维的空间坐标，利 用非线性最小二乘法(Levenberg-Marquardt)迭代更新相机姿态参数。
步骤S400：根据相机姿态参数和特征点的空间坐标对排列好顺序的图像进 行图像分簇，形成多个图像簇，分别提取各个图像簇的密集点云，并完成密集 匹配。
由于拼接图像序列数据量大，在密集匹配前需要对图像分簇，目的是发现 重叠图像聚簇，使每个图像簇的图像数量大小是可管理的，同时筛除多余的图 像，减少密集匹配所需的时间和空间代价。其中，基于上述利用光束法平差得 到的相机姿态参数和特征点的空间坐标结果，利用多视图聚簇(clustering multi-view stereo，简称CMVS)算法对原始图像进行聚簇分类，减少需要提取 密集点云的图像数，但不降低密集点云提取的质量，进而减少后续密集匹配工 作量，减少密集匹配时间和空间代价。
再由三维多视角立体视觉算法(Patch-based Multi-view Stereo，PMVS)通 过匹配、膨胀、过滤三个步骤，在局部光度一致性和全局可视性约束下完成密 集匹配，得到拍摄区域内密集点云。
步骤S500：根据密集点云、相机姿态参数以及畸变参数对完成密集匹配后 的图像进行正射纠正，并将正射纠正后的图像进行拼接得到拼接图像。
根据密集点云拟合拍摄区域的数字表面模型，根据拍摄区域内已知空间坐 标的密集点云即图像相邻关系、相机姿态参数和畸变参数计算拼接图像的空间 范围以及像素大小，根据相机的姿态参数、畸变参数对拼接图像进行正射纠正， 从而实现拼接图像在几何上的对齐。
其中，拼接图像的空间范围以及像素大小的计算方法为：首先对拍摄区域 内每个图像计算空间范围以及像素大小，其次根据拍摄区域内所有图像的空间 范围计算拼接图像的空间范围，取序列图像像素大小的中值作为最终拼接图像 的像素大小。具体的，使用公式(1)由像元坐标反求空间坐标，公式(1)是 场景点三维坐标(X,Y,Z)和图像上相应的像素坐标(u,v)之间的关系：
其中，(Δu,Δv)表示畸变差，表示变换矩阵，畸变差和 变换矩阵可由平差求得。
利用公式(1)对每幅图像的四个角点(0,0)、(width,0)、(0,height)、(width,height) (像素空间)反求四个角点对应的空间坐标(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)， 其中，width、height表示图像宽度和高度，令(点云的平均高程)。利用 四个角点的空间坐标得到每幅影像在X-Y平面上的空间范围[Xmin,Xmax]、 [Ymin,Ymax]，因此可计算出拼接图像的像素大小s：
根据每幅图像的角点坐标确定相邻图像的重叠区域，在重叠区域中寻找两 幅图像灰度值差异最小的像素点构成的拼接线，采用强制改正方法消除拼接缝。 同时对拍摄区域内的多幅正射图像进行匀色匀光处理，解决正射图像之间的色 彩不平衡问题，使得正射图像色调一致，几何一致。根据正射图像的地理信息 对正射图像进行拼接得到拍摄区域的拼接图像。
本实施例中，提供的基于三维重建的无人机图像拼接方法中，将三维重建 方法用于无序的无人机影像拼接，三维重建根据多视图的图像重建拍摄区域的 三维信息，即各个图像的姿态参数和匹配特征点的空间坐标，进而获取拍摄区 域的密集点云，与传统的图像拼接相比，不需要其它外部控制点和地理信息， 提高了拼接速度，且由于得到的图像是正射影像，不具有投影畸变。
在上述基于三维重建的无人机图像拼接方法的基础上，通过尺度不变特征 转换算子对获取的所有图像进行特征点提取，步骤如下：
步骤一：基于获取的所有图像得到高斯图像金字塔和高斯差分金字塔，探 测高斯差分金字塔中各差分尺度空间对应的极值点，探测到的极值点为特征点。
如图3和图4所示，图像金字塔是一种以多分辨率来解释图像的结构，通 过对原始图像进行多尺度像素采样，生成N个不同分辨率的图像。把具有最高 级别分辨率的图像放在底部，以金字塔形状排列，往上是一系列像素或尺寸逐 渐降低的图像，一直到金字塔的顶部只包含一个像素点的图像，构成了图像金 字塔。本实施例中，图像金字塔共分O组，每组有S层，下一组图像由上一组 图像隔点降采样得到。
O＝S＝3，σ(o,s)＝σ02o+s/S
其中，σ(o,s)是图像金字塔第O组的第S层的尺度参数， o∈[0,O+2],s∈[0,S+1]，σ0是基准层尺度，取σ0＝1.6×21/S，则k＝21/S，得到等比 为k的多个尺度的高斯金字塔。
高斯图像金字塔并不是一个金字塔，而是有很多组图像金字塔构成，并且 每组图像金字塔都包含若干层，在高斯图像金字塔中一共生成O组S层不同尺 度的图像，这两个量合起来(O，S)就构成了高斯图像金字塔的尺度空间， 也就是说以高斯图像金字塔的组O作为二维坐标系的一个坐标，不同层S作为 另一个坐标，则给定的一组坐标(O，S)就可以唯一确定高斯图像金字塔中 的一幅图像。
高斯差分金字塔(DOG，Difference of Gaussian)是在高斯图像金字塔的基 础上构建起来的，生成高斯图像金字塔的目的就是为了构建高斯差分金字塔， 通过每组上下相邻两层的高斯尺度空间图像相减得到。高斯差分金字塔的第1 组第1层是由高斯图像金字塔的第1组第2层减第1组第1层得到的。以此类 推，逐组逐层生成每一个差分图像，所有差分图像构成高斯差分金字塔。概括 为高斯差分金字塔的第O组第S层图像是由高斯图像金字塔的第O组第S+1层 减第O组第S层得到的。每一组在层数上，高斯差分金字塔比高斯图像金字塔 少一层，特征点的提取都是在高斯差分金字塔上进行的。
不同尺度的高斯滤波生成的尺度空间用来表示图像的多尺度特征，尺度空 间通过高斯卷积核生成，生成方法公式如下：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
其中σ是尺度参数，(x,y)是空间坐标，可变尺度高斯函数I(x,y)是输入图像，*表示卷积运算。尺度参数σ大小 决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特 征，σ＝0对应原始图像，尺度参数σ水平的尺度空间表示图像上空间尺寸小于 σ的结构将被平滑掉。
高斯差分空间是通过尺度空间之差构建的，生成方法公式如下：
(3)式中，k为两相邻尺度空间倍数的常数。类似地，对应高斯图像金字塔， 可生成高斯差分金字塔。
其中，构建好高斯差分空间后，进行极值点探测。如图5所示，差分尺度 空间有五层，只有中间三层可以进行检测，中间三层的每一个像素点都要遍历 极值点探测，为了在不同尺度空间下能够匹配出特征点，在每一层差分金字塔 图像都探测极值点。具体的，极值点探测是通过同一组内各差分金字塔中相邻 两层图像之间比较完成的，每一个像素点和所有的相邻点比较，即中间的检测 点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较， 以确保在差分尺度空间和二维图像空间都检测到极值点。
步骤二：对探测到所述特征点进行精确定位，并利用特征点的邻域像素的 梯度方向分布特性确定特征点的主方向。
之所以是特征点，是与周围点相比较而言的，因此它的特征表示是建立在 邻域的点的基础上的。特征点直观上似乎图像上的一个点，但实际上所说的特 征点可以认为是以该点为中心的邻域。特征点的特征表示，即向量，可以在特 征匹配时用到。将极值点作为特征点时，能够获取特征点的位置，通过拟合三 维二次函数可以精确确定该特征点的位置，达到子像素精度。
利用差分函数在特征点处用泰勒展开式得到：
式中X＝(x，y，σ)T为特征点的偏移量，D是D（x，y，σ）在特征点处的值，令
可以得到X的极值
如图6所示，探测到的离散空间的极值点并不是真正的极值点，显示的是 二维函数离散空间得到的极值点与连续空间极值点的差别。
因此，为了精确得到极值点的位置，同时为了极值点的稳定性，利用离散 极值点拟合的连续二维二次函数精确确定极值点的位置，假定(x0,y0)是尺度σ的 离散的极值点，则在点(x0,y0)的二次泰勒展开函数的形式为：
求上式极值点(x*,y*)，当x*-x0或y*-y0大于0.5时，将极值点更新为 (x0+1,y0)或(x0,y0+1)，(4)式中的一阶微分和二阶微分利用一阶差分和二阶差 分计算，更新后的极值点就是特征点。
为了得到特征点的特征表示，即特征点的向量。特征点的特征表示是建立 在以该点为中心的邻域的基础上。利用特征点的邻域像素的梯度方向分布特性 为每一个特征点确定主方向(梯度最大的方向)。具体的，在每个特征点所处的 高斯图像金字塔层，计算特征点及其邻域所有像素点的梯度幅值和方向，构成 一个梯度方向直方图，该直方图的横坐标是梯度方向，共36项，每项代表了 10度的范围；纵坐标是梯度大小，对于归到横坐标上任一项内所有的点，将其 梯度大小相加，其和作为纵坐标。梯度直方图如图7所示，示意的梯度方向只 画了8项，从直方图中选出纵坐标值最大的一项所在方向作为该关键点的主方向，如果另一个相当于主峰值能量的峰值时，也将其作为该关键点的方向，称 为辅方向。
步骤三：根据特征点的精确定位和特征点的主方向计算特征点的描述子， 特征点的描述子包括特征点以及特征点的邻域像素点的信息。
特征点有坐标位置、尺度信息以及方向信息，仍然需要更稳定的表达，即 需要构建关键点的描述子。特征点的描述子是一组向量，该向量不只包括特征 点，也包括特征点邻域对其有贡献的像素点。
如图8所示，特征点描述子的构建方法如下：对关键点邻域(如8*8邻域) 图像区域分块，分成4个大小2*2的像素块，计算每个块内8个方向的梯度直 方图，绘制每个梯度方向的累加形成一个种子点，这样一个关键点由4*4共16 个种子点的信息所组成。这样对于每个特征点就可以产生128维的向量，这128 维的向量就是关键点描述子，一般也称为SIFT特征向量。
在上述基于三维重建的无人机图像拼接方法的基础上，对提取出来的特征 点进行特征匹配，得到匹配特征点对，包括：
步骤一：选取拍摄的一个图像作为基准图像，根据基准图像的特征点集的 描述向量构建k-d树索引。
步骤二：根据图像中的待匹配特征点在k-d树中进行最佳节点优先搜索， 检索出与待匹配特征点距离最近的k个数据点。
步骤三：若k近邻中最近邻的点与待匹配特征点之间的距离在预设阈值内， 且最近邻点与次近邻点的距离比值在预设阈值内，则将最近邻点与待匹配特征 点看作匹配特征点对。
步骤四：利用随机样本统计方法在所有匹配特征点对中剔除出误匹配点。
在上述基于三维重建的无人机图像拼接方法的基础上，根据所述相机姿态 参数和所述特征点的空间坐标对排列好顺序的图像进行图像分簇，形成多个图 像簇，分别提取各个所述图像簇的密集点云，并完成密集匹配。
本实施方式中，利用多视图聚簇算法对图像进行图像的聚簇分类，以减少 密集匹配时间和空间代价。多视图聚簇算法需要满足三个条件：紧密性：冗余 的图像从簇中剔除；大小：簇都应足够小，以使以每个簇为单位都能完成重建 密集点云的任务；覆盖：由图像簇重建得到的结果必须使整个图像细节损失最 小，即Ii(C)表示图像Ii中覆盖点数，Ii(F)表示图像Ii中所有的点数，τ为 阈值，可设为0.7。引入函数f(P，C)描述SFM(Structure from motion,从运动信 息中恢复三维场景结构)点集P在图像簇C中被重建出来的精度，SFM点Pj能 在至少一个图像簇Ck中重建出来的条件为：maxf(Pj，Ck∩Vj)≥λf(Pj，Vj).其中λ可设为 0.7，Vj为Pj在其所有可见的像片集合。
如图11所示，多视图聚簇算法进行聚簇分类的步骤如下：
步骤一，在提取出来的特征点中随机取点，获取该点的可视信息，在可视 信息中搜索该点的局部领域，在局部领域进行点云融合，即将邻域各点位置的 平均值作为融合点的位置信息，重复该步骤，输出融合后的特征点的点集。
这里点P的可视信息Vp是一个集合，该集合包含那些点P可见的图像，点P 的可视信息如图9示意，特征点P1,P2,P3,P4,P5，图像I1,I2,I3可见P1,P2,P3，图像I3,I4上可见P4,P5点，因此V1＝V2＝V3＝{I1,I2,I3}，V4＝V5＝{I3,I4}。
步骤二，根据图像分辨率筛选符合覆盖约束条件的图像，删除不符合所述 覆盖约束条件的图像。
由于无人机成像时飞行高度不可能绝对一致，因此图像序列的空间分辨率 是不同的，图像序列分辨率可以从相机成像参数获得。按照图像分辨率从低到 高的顺序搜索，筛选符合覆盖约束条件的图像，删除不符合覆盖约束条件的图 像，即删除分辨率较低的图像。其中，覆盖约束指任意图像中至少有70％的点 是能够被聚簇图像重构的，且重构的精度不会太差于由所有图像重构的精度。
步骤三，判断筛选的图像集是否满足大小约束条件，若否，则对所述筛选 的图像进行分割，形成新图像簇。
筛选的图像构成了图像集合，如果图像集过大，就需要分割成新的图像簇， 使每个图像簇变小一些。因此，对不符合大小约束条件的图像进行分割，形成 新的图像簇。具体的，采用归一化分割算法进行分割，通过边的权值定义图像 集形成一个图，在图的薄弱处分割。具体做法如下：将图像集合构建成一个图， 其中图的顶点是图像，边elm是图像对(Il,Im)间的边缘权，它表示的是图像对 (Il,Im)对SFM点集多视图聚簇重建贡献量的大小。即Θlm表示图像Il,Im都可见的SFM点集。在图的薄弱 处分割，显然，对多视图聚簇重建贡献大的其边缘值越大，被分割开的可能性 就越小，不断分割直到图像簇满足大小约束条件。
步骤四，判断特征点集中的特征点是否属于新图像簇中的特征点，若不是， 则将包含上述特征点的图像加入新图像簇中，直至新图像簇满足覆盖约束条件 和图像簇大小约束条件。
在上述步骤二、步骤三形成图像簇的过程中可能破坏覆盖约束条件，因此 需要在聚簇中增加新的图像，使得覆盖约束条件能够继续被满足。具体的，检 查每个SFM特征点Pj，如果该点是不能被图像簇重构的那30％的点，或者重构 的精度比较差，则找到那个能够使Pj重构精度最高的簇，将包含特征点Pj但不在 簇中的图像加进去，更新图像簇，使得每个聚簇的图像数量满足约束。重复上 述步骤，直到最终结果都能符合覆盖约束条件以及图像簇大小约束条件。
三维多视角立体视觉算法(PMVS)实现密集匹配，包括以下步骤：
初始特征匹配：通过哈里斯角点检测和差分算子检测的方法检测出角点和 特征斑块，进行特征匹配，用这些角点和特征斑块重建出稀疏面片集，作为种 子点。
种子面片扩展：由稀疏的种子点扩散得到密集的面片，由于面片几何上完 全由其中心点和指向相机的单位法向量所确定，因此密集面片和密集的有向点 相对应。
过滤：剔除外点在真实表面外部情况下和外点在真实表面内部情况下的误 差点。
在上述基于三维重建的无人机图像拼接方法的基础上，根据所述密集点云、 所述相机姿态参数以及所述畸变参数对完成密集匹配后的图像进行正射纠正， 并将正射纠正后的图像进行拼接得到拼接图像，包括：
步骤一：通过密集点云建立拍摄区域的数字表面模型。
图像序列的数字微分纠正中，通过密集点云建立拍摄区域的数字表面模型。 本实施例中，采用规则格网描述拍摄区域的数字表面模型，根据离散的点云高 程值即Z值，采用移动曲面拟合法插值求出规则格网上点的Z值。图像表示必 须用格网值，但点云不一定在格网上，所以需要插值，为了获得的曲面更光滑、 准确，所以利用移动曲面拟合获得插值。
其中，移动曲面拟合法获得格网Z值插值算法流程，如图12所示，包括 以下步骤：
第一：对每一个格网点p(xp,yp)，从点云中检索出该格网点邻近的数据点 p(xi,yi)，并将局部坐标原点移至格网点p(xp,yp)。格网邻近数据点p(xi,yi)的搜 索策略是以格网点P为圆心，以R为半径作圆，凡落在圆内的数据点即被选择为 参考点，参考点数目根据所采用的局部拟合函数的阶数确定。当采用二次曲面 内插时，要求所选择数据点的个数n＞6。若点数不够时，则增大R的数值，直至 数据点的个数n满足要求。
第二：采用二次曲面作为拟合曲面其中A、B、C、D、E、F是待求系数，查看格网 点处的函数值，则推出F＝0。拟合方程变形为将 参考点数的坐标代入拟合方程得到线性方程组，可获得线性方程组Z＝MX，其 中Z是格网邻近数据点的高程向量，M是系数矩阵，X是拟合系数向量，常数 项分量是zp。此时若采用最小二乘法求解，可获得方程式的拟合系数A、B、C、 D、E和zp，zp是格网处的高程值zp。
第三：计算每个格网邻近数据点p(xi,yi)的权。
为了更精确地获得格网处的高程值zp，考虑到每个格网邻近数据点p(xi,yi) 与待求点p(xp,yp)距离不同对待求点的贡献不同，因此赋以不同的权值。权值反 映格网邻近数据点p(xi,yi)与待定点相关的程度，该数据点与待定点的距离di愈 小，它对待定点的影响愈大，则权应愈大；反之，di愈大，权应愈小。本实施 例采用反距离权值
第四：加权最小二乘法估计格网处的高程值zp。
构造权值矩阵W＝(wi)n×n，进行加权最小二乘法估计 得到解其中拟合系数向量 的常数项分量zp就是所求的格网点的值。
步骤二：根据数字表面模型、相机姿态参数所述畸变参数，利用基于面元 的间接法数字微分纠正对图像进行正射纠正，得到正射图像。实现了图像在几 何上的对齐。
间接法数字微分纠正是指由纠正后的像点坐标(正射图像的像点坐标)出 发反求其在原始图像上的像点坐标。设正射图像上任意一点P的像点坐标是 (X′，Y′)，由正射图像左下角图廓点地面坐标（X0，Y0）与正射图像比例尺分母M计算P 点所对应的地面坐标：
X＝X0+M·X′
Y＝Y0+M·Y′
再根据前面获得的数字表面模型，可内插出P点的高程Z，因此P点的地面坐 标为(X，Y，Z)。
由光束法平差获得的投影矩阵是P，因此可以获得P点在原始图像上相应的 像点坐标p(x，y)。
由于所求得的像点坐标不一定正好落在像元素中心，为此还必须进行灰度内插，本实施例采用双线性内插方法，求得p点的灰度值。
数字微分纠正是点元素纠正，但为了加快运行速度，一般采用基于面元素 的数字微分纠正方法，即以面元素作为“纠正单元”，一般以正方形作为纠正单 元，用反算公式(5)计算该纠正单元4个角点的像点坐标，纠正单元内的坐标 则用双线性内插求得。
步骤三：根据正射图像的角点坐标确定相邻正射图像的重叠区域。
步骤四：在重叠区域中两个正射图像的灰度值差异最小的像素点构成拼接 线。
步骤五：采用图像均值强制改正方法消除拼接线，得到拼接图像。
在上述基于三维重建的无人机图像拼接方法的基础上，对每个图像簇建立 密集点云之后，包括：
对所述密集点云进行滤波处理和旋转处理。
其中，基于上述得到的拍摄区域内密集点云，需要对点云做滤波处理以消 除离群点，另外还需对点云做平面拟合，根据拟合的平面参数将密集点云旋转 到与空间坐标系X-Y平面平行，相应的由前面光束法平差获得的旋转矩阵也需 要进行相同角度的旋转。步骤如下：
对密集点云进行基于统计信息的滤波处理，具体的，首先计算密集点云数 据整体均值和方差，再对每一点计算其所在邻域的均值以及该点到均值的距离， 若该点到均值的距离超过某一阈值(阈值由整体均值和方差确定)，则认为该点 是离群点，需要被过滤掉；
需要对密集点云数据进行旋转使之与空间坐标系X-Y平面平行。具体的利 用RANSAC算法计算拟合平面参数，然后根据平面参数计算拟合平面与X-Y 平面的旋转矩阵，最后对密集点云以及相机姿态参数进行旋转。
实施例二
本发明还提供了一种基于三维重建的无人机图像拼接系统，包括：
图像获取模块10，用于获取无人机相机在拍摄区域拍摄的无序的图像；
图像排列模块20，用于对获取的无序的图像进行特征点提取，对所述特征 点进行特征匹配，得到匹配特征点对，并根据所述匹配特征点对按顺序排列无 序的图像；
特征点坐标解析模块30，用于对所述匹配特征点对进行解析，得到相机姿 态参数、畸变参数和所述特征点的空间坐标；
密集匹配模块40，用于根据所述相机姿态参数和所述特征点的空间坐标对 排列好顺序的图像进行图像分簇，形成多个图像簇，分别提取各个所述图像簇 的密集点云，并完成密集匹配；
正射纠正模块50，用于根据所述密集点云、所述相机姿态参数以及所述畸 变参数对完成密集匹配后的图像进行正射纠正；
图像拼接模块60，用于将正射纠正后的图像进行拼接得到拼接图像。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的 保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于三维重建的无人机图像拼接方法，其特征在于，包括：
获取无人机相机在拍摄区域拍摄的无序的图像；
对获取的无序的图像进行特征点提取，对提取出来的特征点进行特征匹配，得到匹配特征点对，并根据所述匹配特征点对按顺序排列无序的图像；
对所述匹配特征点对进行解析，得到相机姿态参数、畸变参数和所述特征点的空间坐标；
根据所述相机姿态参数和所述特征点的空间坐标对排列好顺序的图像进行图像分簇，形成多个图像簇，分别提取各个所述图像簇的密集点云，并完成密集匹配；
根据所述密集点云、所述相机姿态参数以及所述畸变参数对完成密集匹配后的图像进行正射纠正，并将正射纠正后的图像进行拼接得到拼接图像。
2.如权利要求1所述的基于三维重建的无人机图像拼接方法，其特征在于，对获取的无序的图像进行特征点提取，包括：
基于获取的无序的图像得到高斯图像金字塔和高斯差分金字塔，探测所述高斯差分金字塔中各差分尺度空间对应的极值点，探测到的所述极值点为所述特征点；
对探测到的所述特征点进行精确定位，并利用所述特征点的邻域像素的梯度方向分布特性确定所述特征点的主方向；
根据所述特征点的精确定位和所述特征点的主方向计算所述特征点的描述子，所述特征点的描述子包括所述特征点以及所述特征点的邻域像素点的信息。
3.如权利要求1所述的基于三维重建的无人机图像拼接方法，其特征在于，对提取出来的所述特征点进行特征匹配，得到匹配特征点对，包括：
选取拍摄的一个所述图像作为基准图像，根据所述基准图像的特征点集的描述向量构建k-d树索引；
根据所述图像中的待匹配特征点在所述k-d树中进行最佳节点优先搜索，检索出与所述待匹配特征点距离最近的k个数据点；
若所述k近邻中最近邻的点与所述待匹配特征点之间的距离在预设阈值内，且所述最近邻的点与次近邻点的距离比值在预设阈值内，则将所述最近邻点与所述待匹配特征点看作所述匹配特征点对；
利用随机样本统计方法在所有的所述匹配特征点对中剔除出误匹配点。
4.如权利要求1所述的基于三维重建的无人机图像拼接方法，其特征在于，根据所述相机姿态参数和所述特征点的空间坐标对排列好顺序的图像进行图像分簇，形成多个图像簇，包括：
在所述提取出来的特征点中随机取点，获取该点的可视信息，在所述可视信息中搜索该点的局部领域，在所述局部领域进行点云融合，输出融合后的特征点集；
根据图像分辨率筛选符合覆盖约束条件的图像，删除不符合所述覆盖约束条件的图像；
判断筛选的图像集是否满足大小约束条件，若否，则对所述筛选的图像集进行分割，形成新图像簇；
判断所述特征点集中的特征点是否属于所述新图像簇中的特征点，若不是，则将包含所述特征点的图像加入所述新图像簇中，直至所述新图像簇满足所述覆盖约束条件和图像簇大小约束条件。
5.如权利要求1所述的基于三维重建的无人机图像拼接方法，其特征在于，提取各个所述图像簇的密集点云之后，包括：
对所述密集点云进行滤波处理和旋转处理。
6.如权利要求1所述的基于三维重建的无人机图像拼接方法，其特征在于，根据所述密集点云、所述相机姿态参数以及所述畸变参数对完成密集匹配后的图像进行正射纠正，并将正射纠正后的图像进行拼接得到拼接图像，包括：
通过所述密集点云建立拍摄区域的数字表面模型；
根据所述数字表面模型、所述相机姿态参数以及所述畸变参数，利用基于面元的间接法数字微分纠正对所述图像进行正射校正，得到正射图像；
根据所述正射图像的角点坐标确定相邻所述正射图像的重叠区域；
在所述重叠区域中两个所述正射图像的灰度值差异最小的像素点构成拼接线；
采用图像均值强制改正方法消除拼接线，得到所述拼接图像。
7.一种基于三维重建的无人机图像拼接系统，其特征在于，包括：
图像获取模块，用于获取无人机相机在拍摄区域拍摄的无序的图像；
图像排列模块，用于对获取的无序的图像进行特征点提取，对所述特征点进行特征匹配，得到匹配特征点对，并根据所述匹配特征点对按顺序排列无序的图像；
特征点坐标解析模块，用于对所述匹配特征点对进行解析，得到相机姿态参数、畸变参数和所述特征点的空间坐标；
密集匹配模块，用于根据所述相机姿态参数和所述特征点的空间坐标对排列好顺序的图像进行图像分簇，形成多个图像簇，分别提取各个所述图像簇的密集点云，并完成密集匹配；
正射纠正模块，用于根据所述密集点云、所述相机姿态参数以及所述畸变参数对完成密集匹配后的图像进行正射纠正；
图像拼接模块，用于将正射纠正后的图像进行拼接得到拼接图像。
CN201810623110.1A 2018-06-15 2018-06-15 基于三维重建的无人机图像拼接方法和系统 Pending CN108765298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810623110.1A CN108765298A (zh) 2018-06-15 2018-06-15 基于三维重建的无人机图像拼接方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810623110.1A CN108765298A (zh) 2018-06-15 2018-06-15 基于三维重建的无人机图像拼接方法和系统

Publications (1)

Publication Number Publication Date
CN108765298A true CN108765298A (zh) 2018-11-06

Family

ID=63978390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810623110.1A Pending CN108765298A (zh) 2018-06-15 2018-06-15 基于三维重建的无人机图像拼接方法和系统

Country Status (1)

Country Link
CN (1) CN108765298A (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598677A (zh) * 2018-12-05 2019-04-09 广东工业大学 一种三维图像拼接方法、装置、设备及可读存储介质
CN109658450A (zh) * 2018-12-17 2019-04-19 武汉天乾科技有限责任公司 一种基于无人机的快速正射影像生成方法
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110060240A (zh) * 2019-04-09 2019-07-26 南京链和科技有限公司 一种基于摄像的轮胎轮廓测量方法
CN110276254A (zh) * 2019-05-17 2019-09-24 恒锋信息科技股份有限公司 基于无人机的禁止摆摊区域摊贩自动识别预警方法
CN110503604A (zh) * 2019-07-31 2019-11-26 武汉大学 一种基于高精度pos的航空面阵影像实时正射拼接方法
CN110503622A (zh) * 2019-08-23 2019-11-26 上海圭目机器人有限公司 基于定位数据的图像全局定位优化拼接方法
CN110910483A (zh) * 2019-11-29 2020-03-24 广州极飞科技有限公司 三维重建方法、装置及电子设备
CN110930510A (zh) * 2019-11-29 2020-03-27 广东优世联合控股集团股份有限公司 城市空间三维重建方法
CN111080794A (zh) * 2019-12-10 2020-04-28 华南农业大学 一种耕地现场边云协同的三维重建方法
CN111091595A (zh) * 2019-12-23 2020-05-01 吉林省广播电视研究所(吉林省广播电视局科技信息中心) 斜视三维测绘方法及测绘系统
CN111247563A (zh) * 2019-03-12 2020-06-05 深圳市大疆创新科技有限公司 一种影像处理方法、装置及系统
CN111583119A (zh) * 2020-05-19 2020-08-25 北京数字绿土科技有限公司 一种正射影像拼接方法、设备以及计算机可读介质
WO2020198963A1 (zh) * 2019-03-29 2020-10-08 深圳市大疆创新科技有限公司 关于拍摄设备的数据处理方法、装置及图像处理设备
CN111754556A (zh) * 2020-06-23 2020-10-09 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种递增式无人机航摄重叠度检测方法及系统
CN111833447A (zh) * 2020-07-13 2020-10-27 Oppo广东移动通信有限公司 三维地图构建方法、三维地图构建装置及终端设备
CN111951201A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接方法、装置和存储介质
CN111968243A (zh) * 2020-06-28 2020-11-20 成都威爱新经济技术研究院有限公司 一种ar图像生成方法、系统、设备以及存储介质
CN111982015A (zh) * 2020-08-18 2020-11-24 深圳大学 结构几何形态监测方法
CN112001277A (zh) * 2020-08-11 2020-11-27 中国地质科学院矿产资源研究所 无人机填图方法、填图装置及填图系统
CN112132029A (zh) * 2020-09-23 2020-12-25 中国地震局地震预测研究所 一种面向地震应急响应的无人机遥感影像快速定位方法
CN112164081A (zh) * 2020-09-30 2021-01-01 西南交通大学 一种车载LiDAR点云铁路横断面轮廓提取方法
CN112215304A (zh) * 2020-11-05 2021-01-12 珠海大横琴科技发展有限公司 一种用于地理影像拼接的灰度影像匹配方法及装置
CN112381704A (zh) * 2020-11-16 2021-02-19 北京航天泰坦科技股份有限公司 遥感数字影像处理方法和装置、设备及存储介质
CN112665554A (zh) * 2020-12-29 2021-04-16 杭州今奥信息科技股份有限公司 一种正射影像的生成方法与系统
CN112712462A (zh) * 2019-10-24 2021-04-27 上海宗保科技有限公司 一种基于图像拼接的无人机图像采集系统
CN112859109A (zh) * 2021-02-02 2021-05-28 北京大成国测科技有限公司 无人机全景图像处理方法、装置及电子设备
CN113034673A (zh) * 2021-03-24 2021-06-25 怀化学院 一种3d点云建模系统及计算机可读存储介质
CN113077552A (zh) * 2021-06-02 2021-07-06 北京道达天际科技有限公司 基于无人机影像的dsm生成方法和装置
CN113447961A (zh) * 2021-06-28 2021-09-28 深圳市木千科技有限公司 动态gps坐标纠偏方法
CN113486729A (zh) * 2021-06-15 2021-10-08 北京道达天际科技有限公司 基于gpu的无人机影像特征点提取方法
CN113759953A (zh) * 2021-11-09 2021-12-07 四川格锐乾图科技有限公司 一种基于开源dem数据的飞行姿态照片纠正方法
CN113808103A (zh) * 2021-09-16 2021-12-17 广州大学 基于图像处理的路面坑洼自动检测方法、设备和存储介质
CN113962855A (zh) * 2021-06-07 2022-01-21 长春理工大学 一种组合式卷积网络的卫星图像超分辨率重建方法、装置
CN114390270A (zh) * 2020-10-16 2022-04-22 中国移动通信集团设计院有限公司 实时智能站点全景查勘方法、装置和电子设备
CN114449247A (zh) * 2022-04-11 2022-05-06 深圳市其域创新科技有限公司 一种多路视频3d叠加方法及其系统
CN115294190A (zh) * 2022-10-08 2022-11-04 南通致和祥智能装备有限公司 一种基于无人机的市政工程用土地塌方体积测量方法
CN115358930A (zh) * 2022-10-19 2022-11-18 成都菁蓉联创科技有限公司 一种基于多无人机实时图像拼接方法及目标检测方法
CN116109781A (zh) * 2023-04-12 2023-05-12 深圳市其域创新科技有限公司 一种三维重建方法及系统
CN116363185A (zh) * 2023-06-01 2023-06-30 成都纵横自动化技术股份有限公司 地理配准方法、装置、电子设备和可读存储介质
CN116704152A (zh) * 2022-12-09 2023-09-05 荣耀终端有限公司 图像处理方法和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN106651961A (zh) * 2016-12-09 2017-05-10 中山大学 一种基于彩色立体标定物的无人机标定方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN106651961A (zh) * 2016-12-09 2017-05-10 中山大学 一种基于彩色立体标定物的无人机标定方法及系统

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
刘晓莉: "一种基于改进的SIFT特征点算法的无人机影像快速匹配研究", 《测绘与空间地理信息》 *
周军其等: "《遥感原理与应用》", 30 November 2014, 武汉大学出版社 *
国家测绘地理信息局职业技能鉴定指导中心: "《测绘综合能力》", 30 April 2012, 测绘出版社 *
崔哲: "基于SIFT算法的图像特征点提取与匹配", 《中国优秀硕士学位论文全文数据库》 *
曹琳: "基于无人机倾斜摄影测量技术的三维建模及其精度分析", 《中国优秀硕士学位论文全文数据库》 *
王佩军 等: "《摄影测量学》", 30 May 2016, 武汉大学出版社 *
王双亭: "《摄像测量学》", 28 February 2017, 测绘出版社 *
郑悦等: "基于灰度均值改正比的拼接缝消除方法", 《计算机应用》 *
魏巍: "低空航拍图像正射全景拼图方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598677B (zh) * 2018-12-05 2023-03-21 广东工业大学 一种三维图像拼接方法、装置、设备及可读存储介质
CN109598677A (zh) * 2018-12-05 2019-04-09 广东工业大学 一种三维图像拼接方法、装置、设备及可读存储介质
CN109658450A (zh) * 2018-12-17 2019-04-19 武汉天乾科技有限责任公司 一种基于无人机的快速正射影像生成方法
CN109658450B (zh) * 2018-12-17 2020-10-13 武汉天乾科技有限责任公司 一种基于无人机的快速正射影像生成方法
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110022439B (zh) * 2019-01-29 2021-09-28 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN111247563A (zh) * 2019-03-12 2020-06-05 深圳市大疆创新科技有限公司 一种影像处理方法、装置及系统
WO2020198963A1 (zh) * 2019-03-29 2020-10-08 深圳市大疆创新科技有限公司 关于拍摄设备的数据处理方法、装置及图像处理设备
CN110060240A (zh) * 2019-04-09 2019-07-26 南京链和科技有限公司 一种基于摄像的轮胎轮廓测量方法
CN110060240B (zh) * 2019-04-09 2023-08-01 南京链和科技有限公司 一种基于摄像的轮胎轮廓测量方法
CN111951201A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接方法、装置和存储介质
CN111951201B (zh) * 2019-05-16 2024-01-23 杭州海康威视数字技术股份有限公司 一种无人机航拍图像拼接方法、装置和存储介质
CN110276254A (zh) * 2019-05-17 2019-09-24 恒锋信息科技股份有限公司 基于无人机的禁止摆摊区域摊贩自动识别预警方法
CN110276254B (zh) * 2019-05-17 2024-06-07 恒锋信息科技股份有限公司 基于无人机的禁止摆摊区域摊贩自动识别预警方法
CN110503604A (zh) * 2019-07-31 2019-11-26 武汉大学 一种基于高精度pos的航空面阵影像实时正射拼接方法
CN110503604B (zh) * 2019-07-31 2022-04-29 武汉大学 一种基于高精度pos的航空面阵影像实时正射拼接方法
CN110503622A (zh) * 2019-08-23 2019-11-26 上海圭目机器人有限公司 基于定位数据的图像全局定位优化拼接方法
CN110503622B (zh) * 2019-08-23 2022-07-01 上海圭目机器人有限公司 基于定位数据的图像全局定位优化拼接方法
CN112712462A (zh) * 2019-10-24 2021-04-27 上海宗保科技有限公司 一种基于图像拼接的无人机图像采集系统
CN110910483B (zh) * 2019-11-29 2021-05-14 广州极飞科技股份有限公司 三维重建方法、装置及电子设备
CN110930510A (zh) * 2019-11-29 2020-03-27 广东优世联合控股集团股份有限公司 城市空间三维重建方法
CN110910483A (zh) * 2019-11-29 2020-03-24 广州极飞科技有限公司 三维重建方法、装置及电子设备
CN111080794B (zh) * 2019-12-10 2022-04-05 华南农业大学 一种耕地现场边云协同的三维重建方法
CN111080794A (zh) * 2019-12-10 2020-04-28 华南农业大学 一种耕地现场边云协同的三维重建方法
CN111091595B (zh) * 2019-12-23 2023-06-02 吉林省广播电视研究所(吉林省广播电视局科技信息中心) 斜视三维测绘方法及测绘系统
CN111091595A (zh) * 2019-12-23 2020-05-01 吉林省广播电视研究所(吉林省广播电视局科技信息中心) 斜视三维测绘方法及测绘系统
CN111583119A (zh) * 2020-05-19 2020-08-25 北京数字绿土科技有限公司 一种正射影像拼接方法、设备以及计算机可读介质
CN111754556B (zh) * 2020-06-23 2024-06-28 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种递增式无人机航摄重叠度检测方法及系统
CN111754556A (zh) * 2020-06-23 2020-10-09 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种递增式无人机航摄重叠度检测方法及系统
CN111968243B (zh) * 2020-06-28 2023-04-11 成都威爱新经济技术研究院有限公司 一种ar图像生成方法、系统、设备以及存储介质
CN111968243A (zh) * 2020-06-28 2020-11-20 成都威爱新经济技术研究院有限公司 一种ar图像生成方法、系统、设备以及存储介质
CN111833447A (zh) * 2020-07-13 2020-10-27 Oppo广东移动通信有限公司 三维地图构建方法、三维地图构建装置及终端设备
CN112001277A (zh) * 2020-08-11 2020-11-27 中国地质科学院矿产资源研究所 无人机填图方法、填图装置及填图系统
CN111982015A (zh) * 2020-08-18 2020-11-24 深圳大学 结构几何形态监测方法
CN112132029A (zh) * 2020-09-23 2020-12-25 中国地震局地震预测研究所 一种面向地震应急响应的无人机遥感影像快速定位方法
CN112132029B (zh) * 2020-09-23 2023-07-11 中国地震局地震预测研究所 一种面向地震应急响应的无人机遥感影像快速定位方法
CN112164081A (zh) * 2020-09-30 2021-01-01 西南交通大学 一种车载LiDAR点云铁路横断面轮廓提取方法
CN112164081B (zh) * 2020-09-30 2023-04-21 西南交通大学 一种车载LiDAR点云铁路横断面轮廓提取方法
CN114390270A (zh) * 2020-10-16 2022-04-22 中国移动通信集团设计院有限公司 实时智能站点全景查勘方法、装置和电子设备
CN114390270B (zh) * 2020-10-16 2023-08-15 中国移动通信集团设计院有限公司 实时智能站点全景查勘方法、装置和电子设备
CN112215304A (zh) * 2020-11-05 2021-01-12 珠海大横琴科技发展有限公司 一种用于地理影像拼接的灰度影像匹配方法及装置
CN112381704A (zh) * 2020-11-16 2021-02-19 北京航天泰坦科技股份有限公司 遥感数字影像处理方法和装置、设备及存储介质
CN112665554A (zh) * 2020-12-29 2021-04-16 杭州今奥信息科技股份有限公司 一种正射影像的生成方法与系统
CN112859109A (zh) * 2021-02-02 2021-05-28 北京大成国测科技有限公司 无人机全景图像处理方法、装置及电子设备
CN113034673A (zh) * 2021-03-24 2021-06-25 怀化学院 一种3d点云建模系统及计算机可读存储介质
CN113077552A (zh) * 2021-06-02 2021-07-06 北京道达天际科技有限公司 基于无人机影像的dsm生成方法和装置
CN113962855A (zh) * 2021-06-07 2022-01-21 长春理工大学 一种组合式卷积网络的卫星图像超分辨率重建方法、装置
CN113486729A (zh) * 2021-06-15 2021-10-08 北京道达天际科技有限公司 基于gpu的无人机影像特征点提取方法
CN113447961A (zh) * 2021-06-28 2021-09-28 深圳市木千科技有限公司 动态gps坐标纠偏方法
CN113447961B (zh) * 2021-06-28 2023-10-27 深圳市木千科技有限公司 动态gps坐标纠偏方法
CN113808103A (zh) * 2021-09-16 2021-12-17 广州大学 基于图像处理的路面坑洼自动检测方法、设备和存储介质
CN113759953A (zh) * 2021-11-09 2021-12-07 四川格锐乾图科技有限公司 一种基于开源dem数据的飞行姿态照片纠正方法
CN114449247A (zh) * 2022-04-11 2022-05-06 深圳市其域创新科技有限公司 一种多路视频3d叠加方法及其系统
CN115294190A (zh) * 2022-10-08 2022-11-04 南通致和祥智能装备有限公司 一种基于无人机的市政工程用土地塌方体积测量方法
CN115358930A (zh) * 2022-10-19 2022-11-18 成都菁蓉联创科技有限公司 一种基于多无人机实时图像拼接方法及目标检测方法
CN115358930B (zh) * 2022-10-19 2023-02-03 成都菁蓉联创科技有限公司 一种基于多无人机实时图像拼接方法及目标检测方法
CN116704152B (zh) * 2022-12-09 2024-04-19 荣耀终端有限公司 图像处理方法和电子设备
CN116704152A (zh) * 2022-12-09 2023-09-05 荣耀终端有限公司 图像处理方法和电子设备
CN116109781B (zh) * 2023-04-12 2023-06-23 深圳市其域创新科技有限公司 一种三维重建方法及系统
CN116109781A (zh) * 2023-04-12 2023-05-12 深圳市其域创新科技有限公司 一种三维重建方法及系统
CN116363185B (zh) * 2023-06-01 2023-08-01 成都纵横自动化技术股份有限公司 地理配准方法、装置、电子设备和可读存储介质
CN116363185A (zh) * 2023-06-01 2023-06-30 成都纵横自动化技术股份有限公司 地理配准方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN108765298A (zh) 基于三维重建的无人机图像拼接方法和系统
Pepe et al. Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures
CN106373088B (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN106327573B (zh) 一种针对城市建筑的实景三维建模方法
CN108168521A (zh) 一种基于无人机实现景观三维可视化的方法
CN107492069B (zh) 基于多镜头传感器的图像融合方法
EP2442275A2 (en) Method and apparatus for three-dimensional image reconstruction
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
JP2003519421A (ja) 任意の局面の受動的な体積画像の処理方法
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN113222820B (zh) 一种位姿信息辅助的航空遥感图像拼接方法
CN113607135A (zh) 一种用于路桥施工领域的无人机倾斜摄影测量方法
CN112150629A (zh) 一种基于视觉的盘煤系统及方法
KR102557775B1 (ko) 드론을 이용한 3차원 지도 제작 방법
CN108917753A (zh) 基于从运动恢复结构的飞行器位置确定方法
CN106910238A (zh) 基于大倾角近景影像的彩色纹理重建方法
WO2022104260A1 (en) Data normalization of aerial images
CN113345084B (zh) 三维建模系统及三维建模方法
JP2014106118A (ja) 数値表層モデル作成方法、及び数値表層モデル作成装置
CN110986888A (zh) 一种航空摄影一体化方法
CN109671109A (zh) 密集点云生成方法及系统
CN108801225A (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
CN113436313B (zh) 一种基于无人机的三维重建误差主动修正方法
CN117576343B (zh) 基于高分辨率卫星立体影像的三维mesh模型制作方法
CN114136335A (zh) 一种基于无人机倾斜摄影测量的空中三角形精度分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106