CN109326006B - 地图融合方法和装置 - Google Patents

Abstract

本申请实施例公开了地图融合方法和装置。地图融合方法的一实施例包括：获取当前位置曲线，当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列；从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，其中，预先生成的位置曲线集合中的各位置曲线与当前位置曲线基于相同的导航指令生成；将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合该实现方式可以使得融合后的图像帧中所包含的地图点的位置信息更加准确、可信。

Description

地图融合方法和装置

技术领域

本申请实施例涉及导航领域，具体涉及地图生成领域，尤其涉及地图融合方法和装置。

背景技术

导航，是指能够监测和控制工艺或车辆从一个地方移动到另一个地方的过程。现有的导航类应用中，已实现了AR(Augmented Reality，增强现实)导航。AR导航可以在导航应用的界面中，呈现现实街景，并且添加虚拟指引路线，使得用户能够直观地对比导航界面的街景和实际街景，从而更轻松地找到行进方向和目的地。

在AR导航项目路口的场景中，路口位置的定位方案可以由SLAM(simultaneouslocalization and mapping，即时定位与地图构建)的重定位来解决。SLAM重定位首先需要建立此路段的地图模型，下一次经过此路段时可以根据视觉信息定位到精确的位置点。

由于多种车辆在不同时间，不同气候，以及不同视觉传感器采集，如何对多种车辆采集的地图数据进行融合，成为了亟待解决的问题。

发明内容

本申请实施例提出了地图融合方法和装置。

第一方面，本申请实施例提供了一种地图融合方法，包括：获取当前位置曲线，当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列；从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，其中，预先生成的位置曲线集合中的各位置曲线与当前位置曲线基于相同的导航指令生成；将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合。

在一些实施例中，从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，包括：基于预先训练的图像特征提取网络，得到当前图像帧序列的当前图像特征序列和位置曲线集合中各图像帧序列的待匹配图像特征序列；从当前图像特征序列确定出当前图像特征子序列，从各待匹配图像特征序列中，确定出与当前图像特征子序列的匹配度最高的待匹配图像特征序列；将与当前图像特征子序列的匹配度最高的待匹配图像特征序列所对应的图像帧子序列作为匹配图像帧子序列。

在一些实施例中，从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，包括：对当前位置曲线进行贝塞尔拟合得到拟合后当前位置曲线；对预先生成的位置曲线集合中的各位置曲线融合得到融合位置曲线，并对融合位置曲线进行贝塞尔拟合，得到待匹配位置曲线；对拟合后当前位置曲线和待匹配位置曲线进行对齐；从对齐的区域内，确定出当前图像帧子序列以及与当前图像帧子序列匹配的匹配图像帧子序列。

在一些实施例中，在将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合之后，方法还包括：基于对齐的区域内，当前位置曲线的当前图像帧序列中的各帧和待匹配位置曲线所包含的各图像帧序列的相对应图像帧之间的相似度，确定是否将当前位置曲线保存至位置曲线集合中。

在一些实施例中，预先训练的图像特征提取网络通过如下方式训练得到：将训练样本输入预先建立的、基于卷积神经网络的初始图像特征提取网络，训练样本包括样本图像和用于表征样本图像的位置的标注；将样本图像作为输入，并将用于表征样本图像的位置的标注作为期望输出，训练初始图像特征提取网络，得到训练后的图像特征提取网络。

第二方面，本申请实施例还提供了一种地图融合装置，包括：获取单元，被配置成获取当前位置曲线，当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列；确定单元，被配置成从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，其中，预先生成的位置曲线集合中的各位置曲线与当前位置曲线基于相同的导航指令生成；融合单元，被配置成将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合。

在一些实施例中，确定单元进一步被配置成：基于预先训练的图像特征提取网络，得到当前图像帧序列的当前图像特征序列和位置曲线集合中各图像帧序列的待匹配图像特征序列；从当前图像特征序列确定出当前图像特征子序列，从各待匹配图像特征序列中，确定出与当前图像特征子序列的匹配度最高的待匹配图像特征序列；将与当前图像特征子序列的匹配度最高的待匹配图像特征序列所对应的图像帧子序列作为匹配图像帧子序列。

在一些实施例中，确定单元进一步被配置成：对当前位置曲线进行贝塞尔拟合得到拟合后当前位置曲线；对预先生成的位置曲线集合中的各位置曲线融合得到融合位置曲线，并对融合位置曲线进行贝塞尔拟合，得到待匹配位置曲线；对拟合后当前位置曲线和待匹配位置曲线进行对齐；从对齐的区域内，确定出当前图像帧子序列以及与当前图像帧子序列匹配的匹配图像帧子序列。

在一些实施例中，装置还包括：保存单元，被配置成基于对齐的区域内，当前位置曲线的当前图像帧序列中的各帧和待匹配位置曲线所包含的各图像帧序列的相对应图像帧之间的相似度，确定是否将当前位置曲线保存至位置曲线集合中。

在一些实施例中，预先训练的图像特征提取网络通过如下方式训练得到：将训练样本输入预先建立的、基于卷积神经网络的初始图像特征提取网络，训练样本包括样本图像和用于表征样本图像的位置的标注；将样本图像作为输入，并将用于表征样本图像的位置的标注作为期望输出，训练初始图像特征提取网络，得到训练后的图像特征提取网络。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面描述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面描述的方法。

本申请实施例提供的地图融合的方案，通过获取当前位置曲线，并从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，最后将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合，可以使得融合后的图像帧中所包含的地图点的位置信息更加准确、可信。随着地图数据的不断采集，能够使得融合后的图像帧所包含的地图点及其位置信息能够不断地接近真实的地图点及其位置。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请一个实施例的地图融合方法可以应用于其中的示例性系统架构图；

图2是根据本申请的地图融合方法的一个实施例的流程图；

图3是根据本申请的地图融合方法的一个应用场景的示意图；

图4是本申请的地图融合方法中，从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列的一个示意性流程；

图5是根据本申请的地图融合方法的另一个实施例的流程图；

图6是根据本申请的地图融合装置的一个实施例的结构图；

图7是适于用来实现本申请实施例的地图融合方法的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的地图融合方法或地图融合装置的实施例的示例性系统架构100。

系统架构100可以包括地图采集车101、网络102和服务器103。网络102用以在地图采集车101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

地图采集车101可通过网络102与服务器103交互，以接收或发送消息等。地图采集车101上可以安装有GPS(Global Positioning System，全球定位系统)天线、图像采集装置、IMU(Inertial measurement unit，惯性测量单元)、VIO(visual-inertial odometry，视觉-惯性里程计)等中的一种或多种传感器以及通信装置等。

服务器103可以是提供各种服务的服务器，例如对地图采集车101采集到的数据进行处理的服务器。服务器103可以对接收到的地图数据进行分析等处理，并生成处理结果，例如，将接收到的新的地图数据与已有的地图数据进行融合之后的地图数据。

需要说明的是，本申请实施例所提供的地图融合方法一般由服务器103执行。相应地，地图融合装置一般设置于服务器103中。

应该理解，图1中的地图采集车101、网络102和服务器103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的地图采集车101、网络102和服务器103。

继续参考图2，其示出了根据本申请的地图融合方法的一个实施例的流程200。

该地图融合方法，包括以下步骤：

步骤201，获取当前位置曲线，当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列。

在这里，位置曲线可以理解为自导航起点至导航终点的一段移动轨迹，以及车辆在该移动轨迹上采集到的多个图像帧构成的图像帧序列。

本实施例的地图融合方法的执行主体(例如，图1所示的服务器103)可以向地图采集车发送地图采集指令，使得地图采集车从A点移动到B点。地图采集车在到达A点时，可以开启其上安装的传感器，从而开始地图数据的采集。

在一些应用场景中，地图采集车上可以安装有VIO。随着地图采集车自A点向B点移动，VIO可以以某一采样间隔进行采样，并将其采集到的关键帧及其对应的地图采集车的位姿信息对应保存，从而生成当前位置曲线。在这些应用场景中，例如，VIO可以基于当前帧图像与前一关键帧图像的相似度，来判断是否将当前帧图像作为一个关键帧图像。具体地，可以将VIO在A点采集的图像帧作为第一个关键帧。接着，随着地图采集车的移动，VIO将不断地采集图像帧。将每一个采集得到的图像帧与第一个关键帧进行相似度比较，若该图像帧与第一个关键帧的相似度小于一预先设置的相似度阈值(例如，90％)，则可以将该图像帧作为第二个关键帧。接着，VIO继续进行图像采集，并基于采集的图像帧与第二个关键帧的相似度，来确定出第三个关键帧。以此类推，便可以生成自A点至B点的由关键帧构成的当前图像帧序列。此外，可以将VIO采集每个关键帧的时刻，由VIO或者地图采集车上安装的其它传感器(例如，GPS天线)采集到的位置信息，作为与各关键帧对应的位置信息。

步骤202，从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列。其中，预先生成的位置曲线集合中的各位置曲线与当前位置曲线基于相同的导航指令生成。

在这里，预先生成的位置曲线集合中，包括至少一条预先生成的位置曲线，并且，该位置曲线集合中的位置曲线与当前位置曲线基于相同的导航指令生成。例如，当前位置曲线是基于“从A位置移动至B位置”这一导航指令生成的，那么，位置曲线集合中的位置曲线也均是基于“从A位置移动至B位置”这一导航指令生成的。

可以理解的是，与当前位置曲线类似，位置曲线集合中的每一条位置曲线同样包含多个导航点的位置信息和由与各导航点对应的图像帧构成的图像帧序列。

此外，本步骤中，“匹配”可以理解为，从位置曲线集合中确定出的匹配图像帧子序列中的每一帧与当前图像帧子序列中相应的帧之间的相同的程度超过了位置曲线集合中的其它各帧。

例如，在一些应用场景中，当前位置曲线上包括k个导航点，以及与各导航点对应的图像帧f₁～f_k构成的当前图像帧序列。在这些应用场景中，若当前图像帧序列中的当前图像帧子序列f₁～f_g(g＜k)中，每一个图像帧所对应的位置与位置曲线集合中某一位置曲线其中一部分连续图像帧f’₁～f’_g的位置最接近，也即，f₁的位置和f’₁的位置之间的距离小于f₁与位置曲线集合中其它任意图像帧的位置之间的距离，f₂的位置和f’₂的位置之间的距离小于f₂与位置曲线集合中其它任意图像帧的位置之间的距离，……，f_g的位置和f’_g的位置之间的距离小于f_g与位置曲线集合中其它任意图像帧的位置之间的距离。那么，f’₁～f’_g便可以作为当前图像帧子序列f₁～f_g的匹配图像帧子序列。

步骤203，将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合。

仍以当前图像帧子序列为f₁～f_g、匹配图像帧子序列为f’₁～f’_g为例。本步骤中，可以分别对f_i和f’_i(1≤i≤g)进行融合，从而得到每个图像帧的融合图像帧。

图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。

本步骤中，通过分别将当前图像帧子序列中的各图像帧与匹配图像帧子序列中与之相应的图像帧进行融合，可以使得融合后的图像帧中所包含的地图点的位置信息更加准确、可信。

可以理解的是，由于采集当前位置曲线的地图采集车和采集位置曲线集合中各位置曲线的地图采集车的差异，采集当前图像帧子序列中的各图像帧的位姿和采集匹配图像帧子序列中与之相应的图像帧的位姿之间可能存在偏差。为了使得融合得到的图像帧中所包含的地图点的位置信息更加准确、可信。在确定出与当前图像帧子序列f₁～f_g相匹配的匹配图像帧子序列f’₁～f’_g之后，可以首先将当前图像帧子序列f₁～f_g中的各帧进行位姿变换，从而将当前图像帧子序列f₁～f_g投影至匹配图像帧子序列f’₁～f’_g的坐标系下，再将投影后的f₁～f_g分别与f’₁～f’_g进行融合。

可以采用已有的算法进行位姿变换。例如，可以采用基于RANSAC(Random SampleConsensus)的P3P(Perspective-n-Points)算法来求取将当前图像帧子序列f₁～f_g变换至匹配图像帧子序列f’₁～f’_g所在的坐标系下的旋转矩阵R和转移矩阵T，从而对当前图像帧子序列f₁～f_g中的各图像帧进行位姿变换。可以理解的是，基于RANSAC的P3P算法是现有技术中广泛研究的算法，在此不再赘述。

本实施例提供的地图融合方法，通过获取当前位置曲线，并从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，最后将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合，可以使得融合后的图像帧中所包含的地图点的位置信息更加准确、可信。随着地图数据的不断采集，能够使得融合后的图像帧所包含的地图点及其位置信息能够不断地接近真实的地图点及其位置。

继续参见图3，图3是根据本实施例的地图融合方法的应用场景的一个示意图300。

在图3所示的应用场景中，服务器可以向地图采集车301发送导航指令，以指示地图采集车自起点A移动至终点B。

在该应用场景中，地图采集车在到达A点时，开始地图数据的采集，例如，利用VIO采集关键帧及其位姿信息从而得到当前位置曲线，并将采集到的地图数据上传至服务器。

可以理解，地图采集车可以将每次采集到的关键帧及其位姿信息上传至服务器，这样一来，服务器可以在接收到自A点至B点的全部关键帧及其位姿信息之后，形成当前位置曲线。或者，地图采集车可以将每次采集到的关键帧及其位姿信息在本地保存，并在完成自A点至B点的全部关键帧及其位姿信息的采集之后，形成当前位置曲线，并将形成的当前位置曲线发送给服务器。

服务器在获取到当前位置曲线之后，可以从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，并将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合，从而得到多个融合后的图像帧。

在本实施例的地图融合方法的一些可选的实现方式中，参见图4所示，本实施例步骤202的从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，可以进一步通过如下的流程来实现。

首先，在步骤401中，基于预先训练的图像特征提取网络，得到当前图像帧序列的当前图像特征序列和位置曲线集合中各图像帧序列的待匹配图像特征序列。

例如，当前图像帧序列由图像帧f₁～f_k构成。那么，可以分别将图像帧f₁～f_k输入预先训练的图像特征提取网络，得到当前图像特征序列。可以理解，当前图像特征序列中的每一个元素，用于表征当前图像帧序列中其中一个图像帧的图像特征，也即，当前图像特征序列的长度与当前图像帧序列的长度相同，均为k。

类似地，可以将位置曲线集合中，各图像帧序列所包含的图像帧输入该预先训练的图像特征提取网络，从而分别得到与位置曲线集合中各位置曲线的各图像帧序列对应的待匹配图像特征序列。例如，若位置曲线集合中包含n条位置曲线，那么，可以得到n个待匹配图像特征序列。

接着，在步骤402中，从当前图像特征序列确定出当前图像特征子序列，从各待匹配图像特征序列中，确定出与当前图像特征子序列的匹配度最高的待匹配图像特征序列。

在这里，例如，可以预先设置一当前图像特征子序列的长度。例如，期望从长度为k的当前图像特征序列中确定出与5(k＞5)个连续的当前图像帧对应的当前图像特征，那么，当前图像特征子序列的长度为5。

可以从当前图像特征序列中，取出第1～第5个当前图像特征，分别并与其中一个待匹配图像特征序列(设为a)中的第1～第5个待匹配图像特征、第2～第6个待匹配图像特征，…，第n-4～第n(假设该待匹配图像特征序列的长度为n)个图像特征进行相似度运算，这样一来，可以从该待匹配图像特征序列中，确定出与当前图像特征序列的第1～第5个当前图像特征最相似的待匹配图像特征子序列(设为a1)以及相应的相似度矩阵。可以理解，相似度矩阵中的各分量可用于表征当前图像特征序列中的第1～第5个当前图像特征和a₁中相应的图像特征之间的相似度。

以此类推，可以从待匹配图像特征序列a中确定出与当前图像特征序列中，第2～第6个图像特征最相似的待匹配图像特征子序列a₂，…，与第k-4～第k个图像特征最相似的待匹配图像特征子序列a_m。

最后，可以从a₁～a_m中，确定出具有最小相似度矩阵的a_i(1≤i≤m)，并将所确定出的ai作为待匹配图像特征序列a中，与当前图像特征序列的某个子序列匹配度最高的待匹配图像帧子序列。

利用类似的方式，可以确定出位置曲线集合中，每一条位置曲线上，与当前图像特征序列的某个子序列匹配度最高的待匹配图像特征序列。这样一来，可以从这些匹配度最高的待匹配图像帧子序列中，再筛选出一个匹配度最高(例如，相似度矩阵所指示的相似度最大)的待匹配图像特征序列。

最后，在步骤403中，将与当前图像特征子序列的匹配度最高的待匹配图像特征序列所对应的图像帧子序列作为匹配图像帧子序列。

本步骤中，可以将由步骤402确定出的匹配度最高的待匹配图像特征序列所对应的位置曲线上的图像帧子序列，作为匹配图像帧子序列。

在这些可选的实现方式的一些应用场景中，预先训练的图像特征提取网络通过如下方式训练得到：

将训练样本输入预先建立的、基于卷积神经网络的初始图像特征提取网络，训练样本包括样本图像和用于表征样本图像的位置的标注。

将样本图像作为输入，并将用于表征样本图像的位置的标注作为期望输出，训练初始图像特征提取网络，得到训练后的图像特征提取网络。

可以理解的是，在训练图像特征提取网络时，训练样本集中的每个训练样本可以包括样本图像和对该样本图像的位置标注(例如，该样本图像的采集点的经纬度)。或者，在训练图像特征提取网络时，训练样本集中的每个训练样本可以包括两个样本图像和用于指示该两个样本图像的采集位置是否相同的标注信息(例如，若两个样本图像的采集位置相同，则该训练样本的标注为“1”；反之，若两个样本图像的采集位置不相同，则该训练样本的标注为“0”)。

在完成训练之后，可以利用该图像特征提取网络进行图像特征的提取。例如，可以将图像特征提取网络的全连接层输出的特征向量作为输入该图像特征提取网络的图像的图像特征。

进一步参考图5，其示出了地图融合方法的又一个实施例的流程600。

该地图融合方法的流程500，包括以下步骤：

步骤501，获取当前位置曲线，当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列。

本步骤501可以采用与图2所示实施例中的步骤201类似的方式执行，在此不再赘述。

步骤502，对当前位置曲线进行贝塞尔拟合得到拟合后当前位置曲线。

在这里，可以对当前位置曲线所指示的运动轨迹进行拟合，生成与之对应的贝赛尔曲线(Bézier curve)，作为拟合后当前位置曲线。可以理解，拟合后当前位置曲线中的每个导航点也对应着一由传感器采集的图像帧(例如，由地图采集车上的VIO采集的关键帧)。

步骤503，对预先生成的位置曲线集合中的各位置曲线融合得到融合位置曲线，并对融合位置曲线进行贝塞尔拟合，得到待匹配位置曲线。

在这里，与图2所示的实施例类似，预先生成的位置曲线集合中的各位置曲线与当前位置曲线基于相同的导航指令生成。例如，当前位置曲线是基于“从A位置移动至B位置”这一导航指令生成的，那么，位置曲线集合中的位置曲线也均是基于“从A位置移动至B位置”这一导航指令生成的。

此外，在这里，对位置曲线集合中的位置曲线进行融合的过程，例如可以是，对位置曲线集合中的位置曲线所包含的导航点的位置求取平均值，从而将位置曲线集合中的所有位置曲线合并成一条位置曲线，即，融合位置曲线。接着，对该融合位置曲线进行贝塞尔拟合，得到待匹配位置曲线。

步骤504，对拟合后当前位置曲线和待匹配位置曲线进行对齐。

在这里，“对齐”例如可以理解为，对拟合后当前位置曲线和待匹配位置曲线中的一者进行旋转、平移等变换，以使二者尽可能地部分重合。

步骤505，从对齐的区域内，确定出当前图像帧子序列以及与当前图像帧子序列匹配的匹配图像帧子序列。

本步骤中，对齐的区域例如可以指，通过步骤504确定出的拟合后当前位置曲线和待匹配位置曲线中重合的部分。

可以理解的是，在拟合后当前位置曲线和待匹配位置曲线中重合的部分，拟合后当前位置曲线可以包含多个导航点，且每个导航点均对应一图像帧。相应地，待匹配位置曲线也可以包含多个导航点，且每个导航点对应m个图像帧，在这里，m例如可以为位置曲线集合中所包含的位置曲线的数量。

此外，在从对齐的区域内确定出当前图像帧子序列以及与当前图像帧子序列匹配的匹配图像帧子序列的方式例如也可以采用图4和与图4相关的文字部分所描述的方式来实现，在此不再赘述。

步骤506，将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合。

本步骤506可以采用与图2所示实施例中的步骤203类似的方式执行，在此不再赘述。

本实施例的地图融合方法，通过将当前位置曲线进行贝塞尔拟合得到拟合后当前位置曲线，并将预先生成的位置曲线集合中的各位置曲线融合再进行贝塞尔拟合得到待匹配位置曲线，再将拟合后当前位置曲线和待匹配位置曲线进行对齐，并从对齐的区域内确定出当前图像帧子序列以及与当前图像帧子序列匹配的匹配图像帧子序列。这样一来，可以降低确定出当前图像帧子序列以及与当前图像帧子序列匹配的匹配图像帧子序列所需的运算次数，有利于节约执行地图融合方法的执行主体的计算资源并提高确定出当前图像帧子序列以及与当前图像帧子序列匹配的匹配图像帧子序列的效率。

在一些可选的实现方式中，在步骤506的将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合之后，本实施例的地图融合方法还可以进一步包括：

基于对齐的区域内，当前位置曲线的当前图像帧序列中的各帧和待匹配位置曲线所包含的各图像帧序列的相对应图像帧之间的相似度，确定是否将当前位置曲线保存至位置曲线集合中。

从本实施例以上步骤503可知，待匹配位置曲线由对预先生成的位置曲线集合中的各位置曲线进行融合后，再进行贝塞尔拟合后得到。因此，可以理解，待匹配位置曲线包含了位置曲线集合中的各位置曲线所对应的图像帧序列。例如，若位置曲线集合中有2条位置曲线，那么待匹配位置曲线中，对应着2个图像帧序列。

若对齐区域内，当前位置曲线和待匹配位置曲线均包含4个导航点。那么，可以将当前位置曲线上与这4个导航点对应的图像帧分别与位置曲线集合中，各条位置曲线的处于对齐区域内的部分所对应的图像帧分别进行相似度判断。例如，当前位置曲线上处于对齐区域内的图像帧子序列为{f1,f2,f3,f4}，位置曲线集合中的2条位置曲线处于对齐区域内的图像帧子序列分别为{a1,a2,a3,a4}和{b1,b2,b3,b4}。那么，可以分别求取f1与a1的相似度s1、f2与a2的相似度s2，f3与a3的相似度s3、f4与a4的相似度s4，形成相似度矩阵：S1＝[s1,s2,s3,s4]^T。类似地，可以得到{f1,f2,f3,f4}和{b1,b2,b3,b4}的相似度矩阵S2＝[s’1,s’2,s’3,s’4]^T，以及{a1,a2,a3,a4}和{b1,b2,b3,b4}的相似度矩阵S3＝[s”1,s”2,s”3,s”4]^T。接着，可以基于各相似度矩阵确定{f1,f2,f3,f4}分别与{a1,a2,a3,a4}和{b1,b2,b3,b4}的相似度是否大于{a1,a2,a3,a4}分别与{f1,f2,f3,f4}和{b1,b2,b3,b4}的相似度，以及{f1,f2,f3,f4}分别与{a1,a2,a3,a4}和{b1,b2,b3,b4}的相似度是否大于{b1,b2,b3,b4}分别与{f1,f2,f3,f4}和{a1,a2,a3,a4}的相似度。例如，若用相似度矩阵S1+S2的各分量和来表征{f1,f2,f3,f4}分别与{a1,a2,a3,a4}和{b1,b2,b3,b4}的相似度，用相似度矩阵S1+S3的各分量和来表征{a1,a2,a3,a4}分别与{f1,f2,f3,f4}和{b1,b2,b3,b4}的相似度，用相似度矩阵S2+S3的各分量和来表征{b1,b2,b3,b4}分别与{a1,a2,a3,a4}和{f1,f2,f3,f4}的相似度。那么，若S1+S2的各分量和＞S1+S3的各分量和＞S2+S3的各分量和，可以理解{b1,b2,b3,b4}分别与{a1,a2,a3,a4}和{f1,f2,f3,f4}的相似度较低，而{f1,f2,f3,f4}分别与{a1,a2,a3,a4}和{b1,b2,b3,b4}的相似度较高。此时，可以将当前位置曲线保存至位置曲线集合中，而将位置曲线集合中，与{b1,b2,b3,b4}对应的位置曲线从位置曲线集合中删除。

进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种地图融合装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的地图融合装置包括获取单元601、确定单元602和融合单元603。

其中：

获取单元601可被配置成获取当前位置曲线，当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列。

确定单元602可被配置成从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，其中，预先生成的位置曲线集合中的各位置曲线与当前位置曲线基于相同的导航指令生成。

融合单元603可被配置成将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合。

在一些可选的实现方式中，确定单元602可以进一步被配置成：基于预先训练的图像特征提取网络，得到当前图像帧序列的当前图像特征序列和位置曲线集合中各图像帧序列的待匹配图像特征序列；从当前图像特征序列确定出当前图像特征子序列，从各待匹配图像特征序列中，确定出与当前图像特征子序列的匹配度最高的待匹配图像特征序列；将与当前图像特征子序列的匹配度最高的待匹配图像特征序列所对应的图像帧子序列作为匹配图像帧子序列。

在一些可选的实现方式中，确定单元602还可以进一步被配置成：对当前位置曲线进行贝塞尔拟合得到拟合后当前位置曲线；对预先生成的位置曲线集合中的各位置曲线融合得到融合位置曲线，并对融合位置曲线进行贝塞尔拟合，得到待匹配位置曲线；对拟合后当前位置曲线和待匹配位置曲线进行对齐；从对齐的区域内，确定出当前图像帧子序列以及与当前图像帧子序列匹配的匹配图像帧子序列。

在一些可选的实现方式中，地图融合装置还可以包括保存单元(图中未示出)。

在这些可选的实现方式中，保存单元可以被配置成基于对齐的区域内，当前位置曲线的当前图像帧序列中的各帧和待匹配位置曲线所包含的各图像帧序列的相对应图像帧之间的相似度，确定是否将当前位置曲线保存至位置曲线集合中。

在一些可选的实现方式中，预先训练的图像特征提取网络通过如下方式训练得到：将训练样本输入预先建立的、基于卷积神经网络的初始图像特征提取网络，训练样本包括样本图像和用于表征样本图像的位置的标注；将样本图像作为输入，并将用于表征样本图像的位置的标注作为期望输出，训练初始图像特征提取网络，得到训练后的图像特征提取网络。

下面参考图7，其示出了适于用来实现本申请实施例的地图融合方法的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括一个或多个处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分706加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括硬盘等的存储部分706；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分707。通信部分707经由诸如因特网的网络执行通信处理。驱动器708也根据需要连接至I/O接口705。可拆卸介质709，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器708上，以便于从其上读出的计算机程序根据需要被安装入存储部分706。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分707从网络上被下载和安装，和/或从可拆卸介质709被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、确定单元以及融合单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取当前位置曲线的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取当前位置曲线，当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列；从预先生成的位置曲线集合中，确定出与当前位置曲线的图像帧序列的中的当前图像帧子序列匹配的匹配图像帧子序列，其中，预先生成的位置曲线集合中的各位置曲线与当前位置曲线基于相同的导航指令生成；将当前图像帧子序列中的各图像帧与匹配图像帧子序列中相应的图像帧进行融合。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种地图融合方法，包括：

获取当前位置曲线，所述当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列；

从预先生成的位置曲线集合中，确定出与所述当前位置曲线的图像帧序列中的当前图像帧子序列匹配的匹配图像帧子序列，其中，所述预先生成的位置曲线集合中的各位置曲线与所述当前位置曲线基于相同的导航指令生成；

将所述当前图像帧子序列中的各图像帧与所述匹配图像帧子序列中相应的图像帧进行融合。

2.根据权利要求1所述的方法，其中，所述从预先生成的位置曲线集合中，确定出与所述当前位置曲线的图像帧序列中的当前图像帧子序列匹配的匹配图像帧子序列，包括：

基于预先训练的图像特征提取网络，得到所述当前图像帧序列的当前图像特征序列和所述位置曲线集合中各图像帧序列的待匹配图像特征序列；

从所述当前图像特征序列确定出当前图像特征子序列，从各所述待匹配图像特征序列中，确定出与所述当前图像特征子序列的匹配度最高的待匹配图像特征序列；

将与所述当前图像特征子序列的匹配度最高的待匹配图像特征序列所对应的图像帧子序列作为所述匹配图像帧子序列。

3.根据权利要求1或2所述的方法，其中，所述从预先生成的位置曲线集合中，确定出与所述当前位置曲线的图像帧序列中的当前图像帧子序列匹配的匹配图像帧子序列，包括：

对所述当前位置曲线进行贝塞尔拟合得到拟合后当前位置曲线；

对所述预先生成的位置曲线集合中的各位置曲线融合得到融合位置曲线，并对所述融合位置曲线进行贝塞尔拟合，得到待匹配位置曲线；

对所述拟合后当前位置曲线和所述待匹配位置曲线进行对齐；

从对齐的区域内，确定出所述当前图像帧子序列以及与所述当前图像帧子序列匹配的匹配图像帧子序列。

4.根据权利要求3所述的方法，其中，在将所述当前图像帧子序列中的各图像帧与所述匹配图像帧子序列中相应的图像帧进行融合之后，所述方法还包括：

基于所述对齐的区域内，所述当前位置曲线的当前图像帧序列中的各帧和所述待匹配位置曲线所包含的各图像帧序列的相对应图像帧之间的相似度，确定是否将所述当前位置曲线保存至所述位置曲线集合中。

5.根据权利要求2所述的方法，其中，所述预先训练的图像特征提取网络通过如下方式训练得到：

将训练样本输入预先建立的、基于卷积神经网络的初始图像特征提取网络，所述训练样本包括样本图像和用于表征样本图像的位置的标注；

将所述样本图像作为输入，并将用于表征样本图像的位置的标注作为期望输出，训练所述初始图像特征提取网络，得到训练后的图像特征提取网络。

6.一种地图融合装置，包括：

获取单元，被配置成获取当前位置曲线，所述当前位置曲线包括多个导航点的位置信息和由与各导航点对应的图像帧构成的当前图像帧序列；

确定单元，被配置成从预先生成的位置曲线集合中，确定出与所述当前位置曲线的图像帧序列中的当前图像帧子序列匹配的匹配图像帧子序列，其中，所述预先生成的位置曲线集合中的各位置曲线与所述当前位置曲线基于相同的导航指令生成；

融合单元，被配置成将所述当前图像帧子序列中的各图像帧与所述匹配图像帧子序列中相应的图像帧进行融合。

7.根据权利要求6所述的装置，其中，所述确定单元被配置成：

基于预先训练的图像特征提取网络，得到所述当前图像帧序列的当前图像特征序列和所述位置曲线集合中各图像帧序列的待匹配图像特征序列；

从所述当前图像特征序列确定出当前图像特征子序列，从各所述待匹配图像特征序列中，确定出与所述当前图像特征子序列的匹配度最高的待匹配图像特征序列；

将与所述当前图像特征子序列的匹配度最高的待匹配图像特征序列所对应的图像帧子序列作为所述匹配图像帧子序列。

8.根据权利要求6或7所述的装置，其中，所述确定单元被配置成：

对所述当前位置曲线进行贝塞尔拟合得到拟合后当前位置曲线；

对所述预先生成的位置曲线集合中的各位置曲线融合得到融合位置曲线，并对所述融合位置曲线进行贝塞尔拟合，得到待匹配位置曲线；

对所述拟合后当前位置曲线和所述待匹配位置曲线进行对齐；

从对齐的区域内，确定出所述当前图像帧子序列以及与所述当前图像帧子序列匹配的匹配图像帧子序列。

9.根据权利要求8所述的装置，其中，所述装置还包括：

保存单元，被配置成基于所述对齐的区域内，所述当前位置曲线的当前图像帧序列中的各帧和所述待匹配位置曲线所包含的各图像帧序列的相对应图像帧之间的相似度，确定是否将所述当前位置曲线保存至所述位置曲线集合中。

10.根据权利要求7所述的装置，其中，所述预先训练的图像特征提取网络通过如下方式训练得到：

将训练样本输入预先建立的、基于卷积神经网络的初始图像特征提取网络，所述训练样本包括样本图像和用于表征样本图像的位置的标注；

将所述样本图像作为输入，并将用于表征样本图像的位置的标注作为期望输出，训练所述初始图像特征提取网络，得到训练后的图像特征提取网络。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images