CN106556391A - 一种基于多核dsp的快速视觉测量方法 - Google Patents

Abstract

本发明公开了一种基于多核DSP的快速视觉测量方法，包含如下步骤：S1、由第一核利用PCIe接口完成两副图像采集；S2、由第二核和第三核分别完成目标图像的ORB特征子和描述子提取；S3、由第四核完成双目图像特征的匹配，并完成位姿解算。本发明能够通过DSP的多核处理不同的任务，采用FAST算子提取目标特征点，并采用Brief算子进行描述，构成ORB特征点，在保证特征提取实时性的同时，也保证了特征点的旋转不变性和尺度不变性。

Description

一种基于多核DSP的快速视觉测量方法

技术领域

本发明涉及计算机视觉与嵌入式系统技术，特别属于一种基于多核DSP的快速视觉测量方法。

背景技术

本发明涉及计算机视觉与嵌入式系统技术，具体涉及多核DSP调度技术、多核DSP核间通信技术、PCIe总线技术和视觉测量技术等。视觉传感器最接近人类感知效果，具有信息量大，特征丰富，采样周期短，使用方便经济等特点。近年来，随着图像处理技术的进步和空间探索的需求，基于视觉信息完成航天器超近距离相对导航逐渐成为航天领域研究的热点。计算机视觉最主要的特点是图像特征易于提取且数量大，而且图像间的特征关联较其它传感数据更容易。采用多核DSP构架的图像处理系统，可以提高运算效率，提高系统的实时性。

基于上述，因此本发明提出一种基于多核DSP的快速视觉测量方法。

发明内容

本发明的目的是提供一种基于多核DSP的快速视觉测量方法，通过DSP的多核处理不同的任务，采用FAST算子提取目标特征点，并采用Brief算子进行描述，构成ORB特征点，在保证特征提取实时性的同时，也保证了特征点的旋转不变性和尺度不变性。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种基于多核DSP的快速视觉测量方法，其特点是，包含如下步骤：

S1、由第一核利用PCIe接口完成两副图像采集；

S2、由第二核和第三核分别完成目标图像的ORB特征子和描述子提取；

S3、由第四核完成双目图像特征的匹配，并完成位姿解算。

所述的S1中采用PCIe接口实现双目视觉图像数据由FPGA快速读取到DSP的外接DDR3存储器中，为两幅图像分配独立的寻址空间。

所述的S2中，采用ORB特征算子对两幅图像中的目标进行特征提取和描述。

所述的S3中，利用二进制最小汉明距方法完成ORB特征点的初始匹配，采用八点随机抽样完成特征点的匹配，利用双目视觉测量原理，实现位姿信息的解算。

所述的步骤S3后还包含将计算结果通过RS422接口上传这一步骤。

本发明与现有技术相比，具有以下优点：

1、在硬件架构方面，采用多核DSP作为硬件平台，由其中一核完成与FPGA的高速图像数据读取，另外两核完成目标特征点提取，最后由一核完成特征点的匹配、位姿解算和数据上传。

2、在特征提取算子方面，采用FAST算子提取目标特征点，并采用Brief算子进行描述，构成ORB特征点，在保证特征提取实时性的同时，也保证了特征点的旋转不变性和尺度不变性。

3、该成果对基于视觉的自主导航技术研究具有重要的指导意义。

附图说明

图1为本发明一种基于多核DSP的快速视觉测量方法的流程图；

图2为本发明中的立体视觉成像示意图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

如图1、2所示，一种基于多核DSP的快速视觉测量方法，包含如下步骤：

S1、由第一核利用PCIe接口完成左右两副图像采集；

S2、由第二核和第三核分别完成目标图像的ORB特征子和描述子提取；

S3、由第四核完成双目图像特征的匹配，并完成位姿解算。

所述的S1中，采用PCIe总线接口由DSP核1实现从FPGA中获取左右两个视角的图像数据。本发明采用PCIe 2.x总线规范，总线频率达到2.5GHz，单通道峰值带宽为5GT/s，采用8/10b编码的方式。PCIe链路使用“端到端的数据传送方式”，当FPGA检测到来自DSP的握手信号时，便启动PCIe总线，采用DMA方式将两幅图像数据送入与DSP相连的DDR3中，当核1完成图像数据写操作后，便通过ICP核间通信方式，通知核1与核2，启动特征点算法模块。

所述的S2中，采用ORB特征算子对目标进行特征提取和描述，提高图像特征提取的快速性和准确性，可以保证具有一定的旋转不变性和尺度不变性。ORB特征检测采用FAST特征算子，特征描述采用BRIEF描述子，这两种算法的速度都非常快，非常适用于实时测量系统。FAST特征检测的原则为：若某像素点与其周围邻域内足够多的像素点处于不同的区域，在该像素点可能为角点。对于灰度图而言，若该点的灰度值比其周围邻域内足够多的像素点的灰度值大或者小，则该点可能为角点。本发明中选择以任意像素点为圆心的圆形区域作为该点的邻域。选取某一待判断点p，在以p为中心，以3个像素为半径的离散化Bresenham圆环上，将p的灰度值I(u,v)和它邻域内16个像素点的灰度值进行比较，若圆环上存在9个连续的像素点的灰度值大于p点的灰度值加th或者小于p点的灰度值减th，则p点位角点。

为了给检测到的角点价格方向信息，本发明采用了一个简单有效的角点定向方——灰度质心法，灰度质心法假设角点的灰度和质心之间存在一个偏移，这个向量可以用于表示一个方向。本发明定义的邻域距为：

质心为：

特征点与质心的夹角定义为FAST特征点的方向：

θ＝arctan(m₀₁,m₁₀) (3)

为了提高方法的旋转不变性，需要确保u、v在半径为3的圆形区域内，即u,v∈[-3,+3]。

BRIEF描述子定义S*S大小的图像邻域准则τ为：

I(x)为图像块在x(u,v)处的灰度值，同理I(y)为图像块在y(u,v)处的灰度值。选择n个(x,y)像素位置对，就可以得到BRIEF描述子的二进制比特串：

n可以取值为128、256和512等，选择不同的值会影响速度、存储效率和识别率等方面。为了解决ORB算子的噪声敏感问题，采用高斯核滤波器对图像进行预处理；为了解决尺度不变性问题，采用8尺度、1.2倍因子建立图像金字塔，对每一层进行高斯滤波，并提取ORB特征。

经过以处理，ORB算子在抗光照变化、抗噪声、旋转不变性和尺度不变性方面都具有了较强的鲁棒性。

所述的S3中，采用最小汉明距准则完成特征初匹配和单点RANSAC完成特征精匹配，并将全状态模型中对应点坐标进行替换更新，同时完成最终的时间预测和量测更新。汉明距表示两个相同的数据对应位不同的数量，我们以d_Hamming(a,b)表示数据a和b之间的汉明距，对这两个数据进行异或运算，并统计结果为1的数量，那么这个数就是汉明距。记录汉明距满足小于一定阈值的点对，这些点对即为初始匹配点对。

从初始匹配点对中随机抽取八点，进行图像点的匹配。RANSAC算法需要关注的参数主要有：构建模型需要的最少数据数量m，算法迭代次数ik，模型验证条件con，判断模型合理性的数据点数量num。w表示每次迭代时从数据集中选取一个点别切该点是正确数据点的概率，每次选取的m个点均正确的概率为w^m，1-w^m表示m个数据中至少有一点是异常数据的概率。因此，ik次迭代过程中从来没有选取到m个数据均为正确数据的概率为1-pr＝(1-w^m)^ik。那么迭代次数为：

通常情况下，pr为事先给定的常数。本发明的验证条件con为预测的特征点与选取的特征点的欧氏距离。当有足够的点满足验证条件时，迭代结束，并记录最终匹配的特征点。

在记录下最终匹配的特征点后，利用双目视觉测量原理实现相对位姿的解算。设左摄像机o-xyz位于世界坐标系的原点处且无旋转，图像坐标系为O_l-X_lY_l，有效焦距为f₁，右摄像机坐标系为o_r-x_ry_rz_r，图像坐标系为O_r-X_rY_r，有效焦距为f_r，由摄像机透视变换模型有：

o-xyz坐标系和o_r-x_ry_rz_r坐标系之间的相互位置关系可以通过空间转换矩阵M_lr表示为：

M_lr＝[R T] (10)

式中，分别为o-xyz坐标系与o_r-x_ry_rz_r坐标系之间的旋转矩阵及其原点之间的平移变换矢量。可知，对于o-xyz坐标系中的空间点，两摄像机像面点之间的对应关系为：

于是，空间点三维坐标可以表示为:

综上所述，本发明所提供的一种基于多核DSP的快速视觉测量方法，与现有技术相比，具有以下优点和有益效果：在硬件架构方面，采用多核DSP作为硬件平台，由其中一核完成与FPGA的高速图像数据读取，另外两核完成目标特征点提取，最后由一核完成特征点的匹配、位姿解算和数据上传。在特征提取算子方面，采用FAST算子提取目标特征点，并采用Brief算子进行描述，构成ORB特征点，在保证特征提取实时性的同时，也保证了特征点的旋转不变性和尺度不变性。该成果对基于视觉的自主导航技术研究具有重要的指导意义。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (5)

1.一种基于多核DSP的快速视觉测量方法，其特征在于，包含如下步骤：

S1、由第一核利用PCIe接口完成两副图像采集；

S2、由第二核和第三核分别完成目标图像的ORB特征子和描述子提取；

S3、由第四核完成双目图像特征的匹配，并完成位姿解算。

2.如权利要求1所述的基于多核DSP的快速视觉测量方法，其特征在于，所述的S1中采用PCIe接口实现双目视觉图像数据由FPGA快速读取到DSP的外接DDR3存储器中，为两幅图像分配独立的寻址空间。

3.如权利要求1所述的基于多核DSP的快速视觉测量方法，其特征在于，所述的S2中，采用ORB特征算子对两幅图像中的目标进行特征提取和描述。

4.如权利要求1所述的基于多核DSP的快速视觉测量方法，其特征在于，所述的S3中，利用二进制最小汉明距方法完成ORB特征点的初始匹配，采用八点随机抽样完成特征点的匹配，利用双目视觉测量原理，实现位姿信息的解算。

5.如权利要求4所述的基于多核DSP的快速视觉测量方法，其特征在于，所述的步骤S3后还包含将计算结果通过RS422接口上传这一步骤。