CN208350997U

CN208350997U - 一种目标物运动监测系统

Info

Publication number: CN208350997U
Application number: CN201821055979.2U
Authority: CN
Inventors: 贾春阳; 张桂琴; 徐广鹏; 冯丙岩
Original assignee: CATHAY NEBULA SCIENCE & TECHNOLOGY Co Ltd
Current assignee: CATHAY NEBULA SCIENCE & TECHNOLOGY Co Ltd
Priority date: 2018-07-04
Filing date: 2018-07-04
Publication date: 2019-01-08
Anticipated expiration: 2028-07-04

Abstract

本实用新型公开了一种目标物运动监测系统，包括工控机和分别与工控机连接的双目摄像机、3D激光扫描仪以及GNSS/INS组合导航模块；所述工控机对双目视觉数据、激光点云数据和GNSS/INS组合导航模块的测量数据进行融合处理，实时提供目标物相对摄像机的相对位置和姿态，以及目标物相对大地的绝对位置和姿态。本实用新型实现了目标物的非接触式识别及测量，从而大大降低应用场景的限制，增加了目标物运动监测的通用性。同时，由于采用非接触测量，大大降低了检测系统对目标物正常运行的影响。再者，该系统不随目标物共同运动，不受线缆供电或者无线通信等手段的影响，因此大大降低了系统安装的复杂度和运行的稳定性。

Description

一种目标物运动监测系统

技术领域

本实用新型涉及一种基于激光、双目视觉和GNSS/INS的目标物识别、运动监测系统，能够实现目标物智能识别以及位置、姿态的准确感知和监控。

背景技术

目标物识别及运动监测技术能够对目标物进行识别，并感知目标物的运动轨迹和姿态，是掌握目标物实时运动状态的重要方法，也是目标物运动控制的直接依据。目前目标物运动监测常用的手段是目标物位置感知和姿态测量。

按照检测系统与目标物的相对位置关系，运动监测方法分为接触式和非接触式。

目前目标物运动监测方法多为接触式方法，即将测量系统与目标物固连，并且随着目标物共同运动，通过实时感知测量系统的位置和姿态，从而进一步推导出目标物的运动状态。接触式监测方法的优点是监测原理简单、监测系统技术成熟、容易进行系统标定。但是，接触式监测方法不可避免存在以下固有的缺点：

1、应用环境受限

接触式监测方法的安装方式决定了其测量目标物的唯一性，即一台监测系统只能监测与其固连的一个目标物，无法实现多目标物的测量，功能单一。因此，对于多目标物的测量应用，需要多台监测系统共同完成，无形中增加了设备安装工作量和设备投入成本。尤其对于车辆、集装箱监测等需要频繁变换目标物的应用场景，接触式监测方法更是难以完成。

2、对目标物带来影响

由于接触式监测方法需要将监测系统安装于目标物之上，安装过程中不可避免会破坏目标物的原有结构，并且增加的监测系统会改变目标物的原有外形。因此，接触时测量对于一些对结构、外形有严格要求的目标物来说是不可行的。

3、其他

接触式监测系统供电和通信是制约其应用的另一个重要因素，采用线缆形式通信会制约目标物的运动范围，而采用无线通信方法容易受到干扰，也可能会对目标物工作产生潜在影响；接触式监测系统的供电问题也为其应用场景和目标物种类提出了更多限制条件。

发明内容

为了克服现有技术的上述缺点，本实用新型提供了一种用于目标物识别、运动监测的非接触式测量系统，基于双目视觉技术和3D激光扫描技术，利用3D激光扫描仪生成的目标物点云数据以及双目高清摄像机采集的目标物图像数据进行信息融合，完成目标物标记识别，并且计算得到目标物相对摄像机坐标系的实时位置和姿态信息；GNSS/INS组合导航模块测量摄像机的实时位置和姿态，从而提供摄像机坐标系到大地坐标系的实时转换关系；利用上述两组信息，可实时计算出目标物在大地坐标系下的绝对位置和姿态信息。

本实用新型解决其技术问题所采用的技术方案是：一种目标物运动监测系统，包括工控机和分别与工控机连接的双目摄像机、3D激光扫描仪以及GNSS/INS组合导航模块；所述双目摄像机对目标物进行实时拍摄，得到双目视觉数据并传送给工控机；所述3D激光扫描仪对目标进行扫描，获得激光点云数据并传送给工控机；所述GNSS/INS组合导航模块测量双目摄像机的实时位置和姿态，并将测量数据传送给工控机；所述工控机对双目视觉数据、激光点云数据和GNSS/INS组合导航模块的测量数据进行融合处理，实时提供目标物相对摄像机的相对位置和姿态，以及目标物相对大地的绝对位置和姿态。

与现有技术相比，本实用新型的积极效果是：本实用新型基于3D激光和双目视觉深度融合技术，利用3D激光和高精度摄像机识别目标物标记，从而监测目标物的相对位置、姿态；利用GNSS/INS组合导航模块感知监测系统(3D激光和高精度摄像机)的位置、姿态，从而为目标物相对位置、姿态到绝对位置、姿态的转换提供实时参考信息，实现目标物运动测量功能。

本实用新型实现了目标物的非接触式识别及测量，从而大大降低应用场景的限制，增加了目标物运动监测的通用性。同时，由于采用非接触测量，大大降低了检测系统对目标物正常运行的影响。再者，该系统不随目标物共同运动，不受线缆供电或者无线通信等手段的影响，因此大大降低了系统安装的复杂度和运行的稳定性。

由于目标物识别和监测系统能够实时感知监测系统自身的位置，因此监测系统可以在移动过程中实现对目标物的监测。基于这一特点，该监测系统能够安装在大型作业机械上，随作业机械共同运动，对作业目标物进行智能识别和监测。

附图说明

本实用新型将通过例子并参照附图的方式说明，其中：

图1是目标物运动监测系统组成原理图；

图2是光电测量模块工作原理图；

图3是目标物运动监测系统工作原理图；

图4是摄像机坐标系示意图；

图5是激光摄像机标定模型示意图；

图6是距离-精度关系。

具体实施方式

本目标物运动监测系统由两个模块组成：光电测量模块和GNSS/INS组合导航模块。该系统各个模块的相对安装位置关系如附图1所示，其中光电测量模块由两个高速摄像机(组成双目摄像机)和1个3D激光雷达组成，并且三者呈一字排列，共同对摄像机前方一定范围内的目标进行识别与运动测量；GNSS/INS组合导航模块与光电测量模块统一安装于目标物运动监测平台，实时提供目标物运动监测系统的位置和姿态参考信息。

由于系统安装过程不可避免存在安装误差，同时激光雷达、摄像机以及GNSS/INS等设备之间的相对转换关系未知，因此通过出厂标校消除了摄像机的图形畸变，完成了摄像机光轴对准，同时获得了两个摄像机以及激光到摄像机坐标系下的旋转补偿量和平移补偿量。而且，GNSS/INS组合导航模块与摄像机坐标系的安装关系也通过事先标定得出。

双目摄像机基于双目视觉原理，对预先放置于目标物上的预设图像标记物(可有多种形状，根据不同应用需求进行更改)进行识别测量，利用图像识别技术可以识别出标记物的编号，利用两个摄像机拍摄图像存在的相差，能够计算出目标物距摄像机坐标系的相对位置和姿态信息。其特点是在平行于成像平面方向上的测量较为精确，但在深度方向(前向距离)的测量随距离增加精度变坏(双目视觉原理)。而3D激光传感器的距离测量误差与测量距离相关性小，在一定范围内可以认为是基本恒定的，因此，引入激光雷达进行深度方向上的辅助观测，能够补偿双目视觉测量的不足；同时，双目摄像机能够弥补3D激光传感器在目标物细节特征识别方面分辨率不足的缺陷。两者测量原理互补又有所重合，因此利用两者数据进行深度融合，既能够进一步提高测量系统的精度，又能够提供适度的冗余，增强监测系统的可靠性。光电测量模块的数据融合原理如图2所示。

GNSS/INS组合导航模块能够实时测量摄像机坐标系的绝对位置和姿态，进而提供了摄像机坐标系到大地坐标系的转换矩阵和平移量，可以将摄像机坐标系下的目标物相对位置、姿态转换到大地坐标系下的绝对位置、姿态；同时，由于GNSS/INS组合导航测姿和定位的实时性，可以不断更新摄像机坐标系到大地坐标系的转换矩阵和平移量，从而实现了测量系统运动过程中对目标物的监测。目标物运动监测系统总体工作原理如图3所示。

本实用新型还提供了一种通用的光电式目标物运动监测系统标定校正方法。

1、基于双目视觉原理，利用“张氏标定”对双目摄像机的内外参数进行标定和校正；

2、使用激光与双目摄像机对同一目标物的不同位置状态进行多次标定，利用激光与双目摄像机测量信息的相关性原理对两者进行联合标定，求出其固定的旋转和平移关系。利用相似的方法实现了摄像机坐标系与GNSS/INS坐标系相对关系的标定。

一、坐标系设定：

摄像机图像坐标系：摄像机成像平面的坐标系，可以表示为(x,y)和(u,v)两种格式，(x,y)坐标系的原点位于摄像机光轴与成像平面的焦点O’(u0,v0)上，单位为长度单位(米)。(u,v)坐标系的原点在图片的左上角(其实是存储器的首地址)，如图4所示，单位为数量单位(个)。(x,y)主要用于表征物体从摄像机坐标系向图像坐标系的透视投影关系。而(u,v)则是实实在在的，我们能从摄像机中得到的真实信息。

激光坐标系：3D激光的测量坐标系。

目标物坐标系：目标物自身的坐标系统。

摄像机坐标系：摄像机、激光进行标定以后的统一参考坐标系，下文将主摄像机的像平面坐标系作为摄像机坐标系。

GNSS/INS坐标系：GNSS/INS组合导航模块的坐标系。

大地坐标系：地理坐标系，也作为双目视觉中的世界坐标系。

二、双目摄像机标定

双目工业摄像机成像系统的标定是指：获得左工业摄像机的内参数、右工业摄像机的内参数以及双目工业摄像机成像系统的外参数。

摄像机坐标系到图像坐标系的转换公式：

其中，α_x、α_y、u₀、v₀是线性模型的内部参数。α_x、α_y分别是u轴和v轴的尺度因子，或称为有效焦距(即α_x＝f/dx，α_y＝f/dy，dx、dy分别为水平方向与竖直方向的像元间距)，u₀、v₀是光学中心。在下列公式中，R和T是旋转矩阵和平移矩阵，称为外部参数；对于非线性模型的内部参数，除了上述的内部参数，还包括畸变参数k₁、k₂、p₁、p₂、s₁、s₂。工业视觉中，一般只考虑主要的径向畸变参数k₁、k₂，考虑过多，反而引起解的不稳定性，降低标定精度。

为了适应不同的视觉任务要求，有些学者提出的算法能够估计出所提到的摄像机的全部模型参数，也有些学者将摄像机模型简化，只估计出部分模型参数。不论是摄像机线性模型，还是非线性模型，为了获得较高的标定精度，一般需要采用优化方法估计出内、外部参数。

张正友等人提出了基于平面靶标的标定方法，因其简单易行，已成为机器视觉领域比较常用的方法之一。该方法需要摄像机从不同的角度拍摄平面靶标的多幅图像(至少3幅)，摄像机与靶标间可以自由地运动，无需知道运动参数。

设靶标平面上的三维点记为M＝[x,y,z]^T，对应的图像平面上点记为m＝[u,v]^T，它们的齐次坐标分别记为与则空间点M与图像点之间的映射关系为：

其中，s为非零尺度因子，旋转矩阵R与平移向量t称为摄像机外部参数矩阵，A称为摄像机内部参数矩阵，定义为

其中，u₀、v₀为主点坐标，α_x、α_y分别是u轴和v轴的尺度因子，γ是u轴和v轴间的倾斜因子。假设靶标平面位于世界坐标系的xy平面上，即z＝0。记旋转矩阵R的第i列为γ_i，由下列公式有

令H＝[h₁,h₂,h₃]，λ为常数，且记为[h₁,h₂,h₃]＝λA[r₁,r₂,t]；其中，t为从世界坐标系的原点到光心的矢量，r₁,r₂为图像平面两个坐标轴在世界坐标系中的方向矢量，显然，t不会与r₁,r₂共面，且r₁,r₂正交，因此det([r₁,r₂,t])≠0。又由于det(A)≠0，所以det(H)≠0。

求解矩阵H，使实际图像坐标与根据公式m_i计算出的图像坐标之间差值最小，则目标函数记为

当求解出后，由公式和R的正交性可得到

公式是关于摄像机内参数的两个基本约束。令

则描述了绝对二次曲线在图像平面上的投影，通过SVD可求得B。对其利用cholesky分解可求解出A^-1，再求逆得到A。A求出后，可求出外参数，得到

r₁＝λA^-1h₁，r₂＝λA^-1h₂，r₃＝r₁×r₂，t＝λA^-1h₃

其中λ＝1/||A^-1h₁||＝1/||A^-1h₂||。

三、激光-双目视觉联合标定

激光传感器和视觉传感器数据信息融合的首要任务是解决传感器之间的标定问题，标定效果的好坏直接影响信息融合的效果，所以标定技术是传感器之间信息交互的桥梁。

联合标定的目的就是建立激光扫描数据点坐标与立体视觉图像中相对应的像素点坐标之间的坐标变换关系。标定后，激光扫描点不仅具有距离信息而且还具有相应的颜色信息。激光与摄像机的外部标定方法主要有基于硬件和基于算法两种形式。

使用一个外部标定方法，标定板要完全位于激光与视觉的视野范围内，标定过程简单，标定板只需改变三次位置，提高了工作效率。

首先检测激光扫描平面与标定板交线的两个顶点即图5所示的E点和F点，在立体摄像机的左图像中找到标定板的三个顶点，然后将此E、F两点投射到左摄像机图像平面上。通过最小化图像中两个投影点E、F分别与图像所得AB边和AC边的距离，得到激光摄像机的外部参数。

旋转矩阵用欧拉角表示，欧拉角表示用偏转、俯仰、铡倾来表示姿态的变化。这里激光坐标系到双目摄像机左摄像机坐标系旋转量为φ(θ_x,θ_y,θ_z)，则对应的旋转矩阵R＝R_x(θ_x)R_y(θ_y)R_z(θ_z)，有

位置变化矩阵用T表示，T＝[t_x,t_y,t_z]^T，表示对应三个坐标轴的平移。假定空间中的一点在摄像机坐标系和激光坐标系下分别为P_c和P_l，则坐标之间变换关系为：

P_c＝RP_l+T

激光坐标系下的原始测量可以用极坐标系表示为(ρ,θ)，其中ρ代表距离，θ是旋转角度。则激光坐标系下的P_l可以用如下方程表示：

P_l＝[ρ₁ cosθ,0,ρ₁ sinθ]

将激光扫描平面作为o-xy平面是为了与摄像机坐标系相适应。

图像平面标定板成像AB、AC边可以被检测到，分别在图像上表示为ab、ac边，e、f点为激光扫描E、F点映射到图像上的点，从点e、f分别到ab、ac边的距离可由式计算：

由标定盘在不同的方向和位置可以得到不同的映射关系，引入一个索引代表标定板在不同的方向和位置。外部参数的校正问题可以转化为找到最优化的旋转关系和平移关系以使下式最小。

四、摄像机与GNSS/INS坐标系转换

同激光与双目视觉联合标定相似，摄像机坐标系与GNSS/INS坐标系转换同样存在三个旋转量和三个平移量，标定手段同样采用外部标定方法，标定板要完全位于光电测量模块的观测范围内，保持标定板与光电测量模块距离适中，并且通过外部测量手段事先精确测量标定板的准确位置和姿态。

由光电测量模块可以测量出标定板相对摄像机坐标系下的转换矩阵[R₁ T₁]，同时，由于GNSS/INS组合导航模块和标定板的位置和姿态已知，则可准确求出标定板相对GNSS/INS坐标系的转换矩阵[R₂ T₂]，联合[R₁ T₁]和[R₂ T₂]，则容易求出摄像机坐标系到GNSS/INS坐标系的转换矩阵

由于单次测量随机性较大，因此采用多次测量寻找估计的方法可以有效降低该转换矩阵的计算误差。

五、激光-图像数据融合

图像-激光数据融合算法是该方法的核心算法模块，结合双目视觉及激光测距的优点来精确解算出目标物相对摄像机系的位置、姿态。处理流程包括：两帧图像标记匹配；三维图像重建；最小二乘拟合；非线性最优化，其中：

标记匹配在双目视觉系统中往往是一个较难的课题，主要是由于无标记的物体特征往往较为复杂，因此容易出现无匹配或失匹配。因此，在本系统中采用预先设计好的光学标记，内部含有编码信息，直接可以实现特征的唯一匹配。

物体三维位置的解算，可以通过联立两个摄像机的坐标转换方程得到。

其中，Zc为物体特征点在摄像机坐标系下的Z位置，u、v为特征点成像在图像中的行列位置，dx、dy为像素尺寸，s’为摄像机倾斜因子，u0、v0为摄像机坐标系原点所在的像素行、列位置，f为焦距，R、t为摄像机坐标系相对于世界坐标系(即本测量系统坐标系)的旋转矩阵和平移向量，Xa、Ya、Za为物体在世界坐标系中的三维位置。

两个摄像机可以获得两组方程，其中等式右侧前三个矩阵已经通过标定过程获得，所以共有Zc1、Zc2、Xa、Ya、Za共五个未知量，每组有三个方程共6个方程，因此可以获得唯一解。

现对双目系统在Z轴方向精度做如下分析。不失一般性，假设两摄像机平行放置，远处物体处在左摄像机光轴上，两台摄像机间距1m，单个像素大小5.5um。经过简单几何分析，可得如图6所示的精度-距离曲线。

可以看出，距离误差随距离增长迅速增加，其关系为二次曲线。

而激光传感器的距离测量误差，随距离增加仅有小幅的线性增长，在30m范围内可以认为是基本恒定的。因此，有必要引入激光雷达进行深度方向上的辅助观测，以提高位置传感的精度。

利用最小二乘法等数据拟合算法，激光点云数据进行拟合可以得到标记安装平面的方程。该方程带入图像处理得出的u、v即可对双目视觉求出的特征点空间位置进行进一步优化逼近。

六、光电-惯导数据融合

由于光电测量系统测量到的目标物位置、姿态是以像极坐标系为基准的，因此光电测量系统测量得到的结果是相对量，因此要分析目标物的运动力学，需要将其转换到地面测量坐标系中。

由于光电测量模块以内部时钟作为基准进行工作，而GNSS/INS以卫星高精度时间系统为基准，两者之间缺少统一的时间基准。因此将GNSS/INS模块的PPS引入光电测量模块内部，作为其精准时标。基于上述策略，两者之间参考时间完成统一，但是采样时刻不完全相同，因此需要对GNSS/INS实时结果进行插值，以得到对应于光电测量模块采样时刻的GNSS/INS数据。

大地坐标系与图像坐标系的坐标转换如下：

其中，是标记点相对于大地坐标系的位置；[R_g t_g]是通过GNSS/INS组合导航模块实时计算得到的GNSS/INS坐标系相对于大地坐标系的位置、姿态；u、v是标记点在图像坐标系中的位置；α_u、α_v分别为图像u轴和v轴上的尺度因子，s是描述两图像坐标轴倾斜程度的参数，(u0,v0)为主点坐标，是摄像机的内参数；[R t]完全由摄像机坐标系相对于GNSS/INS坐标系的方位决定，称为摄像机外部参数矩阵。

根据大地坐标系与图像坐标系的坐标转换关系，可以得出目标物运动检测方法的解算顺序：

(1)利用标定过程，得出摄像机内参矩阵以及外参矩阵即摄像机坐标系与机体坐标系之间的位置、姿态关系[R t]。

(2)通过GNSS/INS组合导航模块可以获取当前GNSS/INS地理位置和偏移角度φ、ψ、θ，从而得出GNSS/INS组合导航模块与大地坐标系之间的相对转换关系[R_g t_g]。

(3)利用图像处理技术，可得到标记点在图像坐标系中的位置u、v。

(4)参考上式，联立两台摄像机坐标转换方程，结合激光扫描得出的平面方程求得的Z_c，即可计算目标物标记点相对于大地坐标系的位置、姿态。

Claims

1.一种目标物运动监测系统，其特征在于：包括工控机和分别与工控机连接的双目摄像机、3D激光扫描仪以及GNSS/INS组合导航模块；所述双目摄像机对目标物进行实时拍摄，得到双目视觉数据并传送给工控机；所述3D激光扫描仪对目标进行扫描，获得激光点云数据并传送给工控机；所述GNSS/INS组合导航模块测量双目摄像机的实时位置和姿态，并将测量数据传送给工控机；所述工控机对双目视觉数据、激光点云数据和GNSS/INS组合导航模块的测量数据进行融合处理，实时提供目标物相对摄像机的相对位置和姿态，以及目标物相对大地的绝对位置和姿态。

2.根据权利要求1所述的一种目标物运动监测系统，其特征在于：所述3D激光扫描仪与双目摄像机固连，共同组成光电测量系统。

3.根据权利要求1所述的一种目标物运动监测系统，其特征在于：所述双目摄像机、3D激光扫描仪以及GNSS/INS组合导航模块统一安装于目标物运动监测平台。

4.根据权利要求1所述的一种目标物运动监测系统，其特征在于：所述双目摄像机为两个高速摄像机，与3D激光扫描仪三者呈一字排列。