CN102042814B

CN102042814B - 大型堆场三维形貌的投影辅助摄像测量方法

Info

Publication number: CN102042814B
Application number: CN2010102083231A
Authority: CN
Inventors: 张小虎; 欧建良; 朱肇昆; 苑云; 于起峰
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2010-06-24
Filing date: 2010-06-24
Publication date: 2012-03-07
Anticipated expiration: 2030-06-24
Also published as: CN102042814A

Abstract

一种大型堆场三维形貌的投影辅助摄像测量方法，包括：架设以堆场为观测视场的摄像网络系统，引入投影辅助增强堆场表面特征，多个摄像机对堆场投影特征同步成像形成序列影像；提取影像投影特征后，以核线、梯度等多个约束确定堆场表面投影线同名点集，结合摄像系统已标定参数和前方交会实时解算三维投影线；解算各成像时刻摄像网络系统在参考坐标系运动状态及序列影像相对姿态的物理参数后，拼接三维投影线形成堆场的表面数字模型，并由此计算堆场三维形貌参数。本方法可解决港口码头、厂矿仓库调度管理中大型物料堆场三维形貌参数的高精度、实时自动测量问题，可应用于提高装卸工程机械智能化、现代物流管理信息化水平等方面。

Description

大型堆场三维形貌的投影辅助摄像测量方法

技术领域

本发明涉及矿石粉、煤炭、粮食等物料大型堆场形貌摄像测量方法，进一步是指在激光投影等投影设备对复杂形貌堆场的辅助下，通过非接触序列立体成像构建堆场表面数字模型，测定三维形貌参数的方法；还属于输送装卸工程机械智能化、现代物流管理信息化等工程技术，以及数字摄影测量、数字图像处理、计算机视觉等领域。

背景技术

矿石粉、煤炭和粮食等物料大型堆场的三维形貌参数快速准确测定，对于提高港口及大型仓库等物流管理调度能力、降低损耗、合理安排物资进出等，具有重要的指导和监测作用，并能产生良好的经济效益。

在堆场物料的装卸输送中，通常要求将物料堆放成一定几何形状截面（如三角形）的长条形，装卸工程机械在堆场两侧滑轨上进行取货或者堆放操作。日常堆场管理和装卸操作中，需要准确掌握堆场三维形貌参数，用于堆场已被填挖、或者可被填挖的物料三维参数计算。在堆场物料挖取或回填的操作中，堆场形貌随时可能发生滑动等局部变化，并非简单的几何增减。长期以来，堆场通过整形填挖操作对堆场物资的进出进行经验管理，这需要操作中对堆场进行严格的几何形态维护，效率低、误差大。随着激光测距扫描技术的发展，在堆场物料三维形貌参数测量中也得到使用，但该技术目前很难满足实际应用需求，主要原因是：激光主动发射后需沿原路反射返回，方可形成一次有效扫描测距，而堆场物资颗粒小，激光发射后在表面易形成漫反射；对气候、光照等条件的变化比较敏感，恶劣天气条件下难以正常工作；堆场材质对光波的吸收比较明显，进一步降低了激光有效扫描能力；此外，堆场一般为三角形截面，扫描设备架设于截面最高点以上的移动平台悬臂，此时的俯视扫描，对堆场表面的入射角很小，有效激光扫描不到平时的十分之一甚至更低。

近年来，为解决堆场表面纹理特征贫乏、特征提取匹配困难的问题，在传统摄影测量的基础上加入了光切法的思想，此时CCD成像虽也能解算堆场表面三维轮廓，但光刀面与CCD相对关系的标定精度、光刀运动范围、实际操作的技术要求和复杂度、与投影中心线提取都是影响精度的重要因素。

以上激光扫描、光切法的三维测量整体精度和可靠性在实际工作中并不高，因为虽然单点激光测距具有毫米级精度，但当扫描设备被架设在十多米长的移动悬臂上时，设备随着物料装卸负荷的变化使得移动悬臂的抖动十分明显，可达数十毫米，而且这种不规则运动很难被补偿消除，使得不同扫描位置之间的数据拼接对整体的堆场表面三维重建精度影响相当大。此外，能满足数百米堆场扫描的激光设备属于室外大功率的工程级设备，目前还需要依赖国外进口，价格昂贵、无法自行维护，初期和运行成本均相当大。因此，从以上分析来看，现有技术手段很难全面适应大型堆场三维形貌测量在精度、速度、可靠性与自动化水平和运行成本等方面的要求。

近年来，以计算机技术、数字图像处理技术和空间分析技术为核心的信息技术得到飞速发展，数字摄像机制造工艺水平大幅度提高，这些科技进步使得利用摄像测量方法实施堆场的非接触式、高精度、自动快速测量成为可能。

发明内容

本发明要解决的技术问题是，针对现有技术存在的不足，提出一种大型堆场三维形貌的投影辅助摄像测量方法，它将光投影辅助下的摄像测量运用于堆场三维测量，系统数字化程度高、操作简便、速度快，可以满足堆场三维形貌高精度、高可靠度、高自动化程度测量的需要，适应大型堆场物流管理调度现代化、数字化，以及物料输送和装卸工程机械智能化作业等要求。

本发明的技术方案是，所述大型堆场三维形貌的投影辅助摄像测量方法包括：

a. 堆场摄像测量系统与辅助投影设备的安装：

在堆场不同位置安装至少2台固定的或可移动的摄像机，标定摄像机参数，组成摄像测量网络系统；

在堆场安装辅助投影设备，该辅助投影设备通过绕固定点转动或平动或由转动与平动的组合运动对堆场表面投影，形成堆场表面全覆盖的（光线）投影特征；

所述辅助投影设备可以是结构光投影设备、或者线投影如激光光刀等；

b. 堆场表面投影特征的三维解算：

所述辅助投影设备对堆场表面投影的同时，所述各摄像机同步采集堆场表面投影特征，通过影像内投影特征、梯度矢量、核线等相互约束实现自动可靠匹配与立体或多目视觉影像交会平差计算，实时获取堆场表面投影特征三维解；

c. 序列投影特征的三维拼接：

辅助投影对堆场表面的全覆盖结束后，对摄像系统生成的时间序列三维投影特征进行拼接，统一到堆场整体的三维坐标系中，得到堆场表面投影特征的点云与边缘线等提取于序列影像的三维数据集；

d. 堆场三维数字表面模型构建：

以堆场表面的三维数据集为基础，以堆场基准平面的位置为自变量，根据双线性插值等算法计算每个平面点位的堆场表面相对于基准平面的高度，形成堆场三维表面数字模型；

e. 堆场三维形貌测量：

以堆场三维表面数字模型为基础，按照空间分析等方式计算该数字模型的堆场三维形貌参数，如堆场任意局部区域的体积、堆场表面积等参数。

以下对本发明做出进一步说明。

如图1所示，本发明的技术原理和工作过程为，以光线投影增强堆场表面可被摄像记录的特征，通过非接触摄像测量方式对堆场进行序列成像，按照摄像系统已标定的立体或多目视觉实时解算影像中堆场表面的瞬间三维投影特征，以平台运动参数和影像相对定向实现不同时刻的三维投影特征拼接，从而建立堆场三维数字模型并全面测量堆场三维形貌参数；基本工作过程可表述为：架设以堆场为成像观测视场的摄像系统，为弥补物料（如矿石粉、煤炭、粮食）所形成堆场三维表面纹理贫乏、特征点提取与匹配困难的问题，引入与摄像基线具有较大交角的投影辅助设备在堆场表面形成点阵或轮廓线特征；通过投影设备自主运动（旋转、平移等）对堆场表面进行连续投影，摄像系统对投影特征同步成像采集影像数据；影像投影特征提取得到附着于堆场表面的一组投影特征点阵或轮廓线，以立体像对核线、投影特征交点与投影边缘特征梯度等获得同步影像中的同名特征，以交会平差的方式结合摄像系统的标定参数，解算三维投影特征；为实现移动平台条件下的三维投影特征拼接，以移动平台运动参数为初值，精确解算相邻序列影像的相对定向参数，该影像处理工作可以在同名影像得到后实时完成；投影设备对堆场表面全覆盖投影和摄像系统同步成像结束后，即可根据投影特征三维数据集、和不同成像时刻摄像系统在统一的堆场三维参考坐标系的相对姿态位置参数进行拼接；以参考坐标系中平面位置为二维变量，以每个平面位置局部区域的点云数据高度为基础，按照双线性插值等方法得到堆场的三维表面数字模型，然后按照空间分析计算该数字模型全面的堆场三维形貌参数。

本发明可有效适应物料输送与装卸工程机械智能化、现代物流管理信息化的要求，满足高精度、高可靠度、高自动化程度大宗物料堆场三维测量的需要，在工程机械先进制造与现代物流领域、港口厂矿仓库等散装物料输送装卸管理与监测方面具有良好的应用前景。

本发明是一种非接触式、辅助投影下的大型堆场三维测量方法。应用本发明方法时，只需标定多像机组成的摄像系统，并布置好辅助投影设备，使堆场处于摄像网络装置所确定的视场和投影扫描范围内即可，在实际使用中，简单易用，测量装置的可操作性好；实施本发明，可采用以摄像装置、激光光刀和个人计算机（或DSP处理器）为核心的硬件设备，对硬件依赖程度低，数字化、自动化程度高，测量结果可靠，维护简便，处理速度快，可以方便地采用计算机对摄像装置所获得的图像数据进行存储、复制、传输和自动化处理。

附图说明：

图1是投影辅助下的堆场三维摄像测量原理及过程图示；

图2是摄像机与辅助投影设备均安装在移动平台上的一种实施例堆场三维测量系统示意图；图中的直线箭头和圆形线箭头分别表示相应设备的可直线或旋转运行的方向；

图3是摄像机固定、辅助投影设备安装在移动平台上的另一种实施例的堆场三维测量系统示意图；图中的直线箭头和圆形线箭头分别表示相应设备的可直线或旋转运行的方向。

在图中：

1、2、3、4—摄像机， 5—辅助投影设备， 6—移动平台。

具体实施方式：

一种大型堆场三维形貌的投影辅助摄像测量方法，包括：

大型堆场中架设摄像系统：

可采用两种方式：（1）如图2所示，在移动平台固定安装两台及两台以上摄像机和可自主转动和平移运动的光线投影设备；（2）在堆场合适位置固定架设两台或或两台以上摄像机（如图3所示，在堆场四角各架设一台摄像机）组成摄像网络系统，在移动平台或其它位置安装可自主转动与平移运动的光投影设备；

摄像网络系统标定：对相对姿态位置固定的摄像机（如图2、图3所示情形）之间相对关系，以高精度标定框放入摄像系统视场，按两步法等方法计算像机自身内参数、以及各像机之间的角度与方位等姿态参数，建立解算同步影像中所记录堆场表面投影特征的局部三维坐标系；

堆场表面投影与摄像数据采集：通过移动平台或投影设备自主运动，辅助投影设备对堆场进行投影，形成准确表现堆场表面结构的投影特征，摄像机网络系统对投影特征进行跟踪和同步成像，直至完成堆场表面的全覆盖投影成像；

堆场表面投影特征三维解算：图像数据在标定参数辅助下，通过计算机软件系统处理，实时获取堆场表面投影特征三维解、相邻序列影像相对定向参数（即相邻成像时刻摄像系统之间的角度与位置相对关系）；

三维投影特征拼接与三维测量：根据固定摄像参数、或者移动摄像网络动态解算的相对关系参数，拼接三维投影特征，空间插值解算堆场三维表面数字模型，计算堆场三维形貌参数。

本发明方法所测量计算的参数可以是堆场三维形貌参数以及堆场体积、表面积等参数。在获得堆场三维表面数字模型后，堆场局部或者整体的体积表面积或其它形貌参数计算，按照先做基准平面的格网插值、再计算每个格网区间的体积或表面积微元、然后积分获得选定区域或者堆场整体的体积表面积等参数值。

进一步地，本发明获得待测堆场三维形貌参数的方法为：

a．从摄像机摄得的影像提取投影特征，计算立体像对核线约束和投影特征（点阵或轮廓线）交点，在立体像对内外参数已知条件下，以成像时刻为单位，计算摄像机同步影像所记录的三维投影特征（如堆场表面投影线）；

b．所有三维投影特征在摄像网络标定的三维坐标系中进行空间拼接，可以采用以下两种方式之一：

（1）当多个摄像机所组成的摄像网络系统被安装在移动平台上，则在已知移动平台运动参数、和序列影像相对定向参数用于三维投影特征的精确拼接，以形成堆场统一坐标系下表面的三维点云与轮廓线数据集；

（2）如果摄像机固定架设在堆场四周，则由立体或多目视觉交会的投影特征均在同一个确定的三维坐标系内，得到序列影像综合的三维数据集；

c.获得堆场整体三维表面数字模型：得到具有三维坐标的堆场表面点云与轮廓线集合后，以堆场平面位置为二维变量，根据双线性插值等算法计算每个平面点位的堆场表面相对于基准平面的高度，构成堆场三维表面数字模型；

d.以堆场三维表面数字模型为基础，以空间分析土方计算等方式获得堆场三维形貌参数。

所述辅助投影设备为能在不规则起伏堆场表面形成清晰投影线的光学投影设备，如光刀轮廓线投影设备、点阵投影设备等。

为保证辅助投影可准确全面表面堆场表面特征、并实现整个处理过程中投影特征的实时自动提取与精确解算，本发明所述光投影设备（辅助投影设备）可以自主转动或者平动，其要求是：在堆场表面的投影特征与摄像机之间基线形成较大交角，从而保证影像内核线与投影特征（如投影点排列组成的堆场表面轮廓线）相交的唯一性与交点位置的准确性。

本发明中，辅助投影设备自主转动和平移对堆场表面投影，投影参数（投影点与摄像机的基线、投影面在参考三维坐标系角度）不需求解，堆场表面投影点阵或轮廓线的三维解由同步影像特征提取匹配后结合核线、边缘梯度、前方交会等方法自动解算。

本方法中有关模型算法的分析说明：

1 基于核线与梯度约束的同步影像内投影线边缘提取与同名点确定：

由于堆场自身材料特点，非投影线部分的影像亮度非常黯淡，一般可以将投影线灰度阈值设为99%甚至更高，据此可以得到不同影像区分投影线主体和极少数噪声与其它堆场背景部分的灰度阈值，再根据Canny算子提取投影线边缘信息，得到同步立体影像中具有对称性的投影线两个连续边缘以及极少量噪点，然后计算边缘点梯度矢量、根据核线约束匹配投影线边缘同名点。有关影像梯度、核线约束的投影线边缘同名点解算的数学分析如下：

a 设影像I的灰度矩阵为

，其中，则影像任意点的梯度矢量为：

梯度值：

(1)

梯度方向：

(2)

b 同步立体影像

的同名点核线方程为：

设

、

为立体影像中一对同名点，则在立体影像参数已标定情况下，过两影像点的核线方程分别为：

过

的核线方程：

(3)

过的核线方程： (4)

其中

，

，像对基线

，两影像相对旋转矩阵

，

分别为影像

的等效焦距。

c 在判断投影线边缘同名点时，首先考虑边缘点的梯度值大小（投影线具有明显的阶梯形式，反映在梯度值上应大于所有梯度值的平均）；满足此条件下，根据核线与梯度方向在两影像的夹角关系判断给定点与候选点的同名关系（一般核线与投影线边缘有两个交点，位于同名核线上的投影线同一侧边缘点的梯度方向与核线在影像平面的夹角差应该很小，以此消除基于核线与投影线两边缘交点的同名歧义），得到连续投影线边缘的同名点集；

2 同名点交会形成独立坐标系下三维投影线

获得同步影像中投影线同名点集

后，按照摄影测量共线方程的最小二乘前方交会方式解算每对同名点在当前同步立体影像独立坐标系下的三维点坐标。有关共线方程与前方交会平差的数学分析如下：

a 摄影测量共线方程：

(5)

其中，

为同名点对应三维坐标，两影像各自旋转矩阵分别为

、

，

、

为成像点三维坐标；

b 考虑同名点影像上的观测误差，根据共线方程组解三维点坐标的前方交会最小二乘的间接平差模型如下：

(6)

其中，

，，

，

，

为初值。

3 相邻时刻堆场表面成像的影像相对定向，及三维投影线拼接

根据相邻序列影像对堆场成像的区域重叠性，按SIFT算法提取并匹配同名点，根据同名点解算相邻影像的相对旋转矩阵及预先标定的影像内参数，按照移动平台运动参数计算相邻影像成像时刻的基线向量初始值；再按影像重叠区域同名点所构成的共面方程，与最小二乘迭代解算相邻影像之间的精确相对三维平移与旋转关系；以此为不同时刻同步影像交会解算三维投影线的转换基准，实拼接不同时刻下同步影像解算的三维投影线。基于影像SIFT同名点的共面方程与最小二乘进行影像相对定向、与不同三维坐标系下投影线拼接的数学分析如下：

a 立体影像同名点共面方程：

(7)

其中，

为像对基线，

为同名点在作为参考影像的像空间辅助坐标系的矢量，

为同名点在另一影像像空间辅助坐标系中矢量。当同名点数

，即可根据8点算法解算相对姿态的初始旋转矩阵，然后以此相对定向初始条件按（7）进行最小二乘的精确相对姿态平差迭代；

b 已知两三维坐标系平移与旋转参数下的坐标转换：

(8)

其中，

为某同步影像所确定独立三维坐标系下的投影线三维坐标，

为两三维坐标系之间的旋转变换矩阵，

为两坐标系三维平移量，

为在新独立三维坐标系下对应于的坐标。由此，该转换可实现不同时刻同步影像所提取三维投影点线数据的拼接。

4 基于堆场三维表面数字模型的任意选定区域体积、表面积积分求解

当辅助投影线完成堆场表面的扫描与同步成像，本方法所采用的以上1～3分析的处理模型算法可近实时的完成堆场表面投影线的提取与三维计算，以及基于相邻影像相对定向参数的三维拼接，从而为堆场三维形貌的快速测量提供基础条件。此处以堆场表面任意选定区域的表面积、体积计算为例展开数学分析如下：

a 基于三维投影点线的堆场表面数字模型解算：

由于堆场表面扫描时投影线运动并不规则，在不同区域可能存在密集或稀疏投影的三维数据，为测量堆场形貌参数，本方法先对堆场平面区域按格网取点，再搜索以该点位为中心的局部区域内投影线三维点集。按照平面上点间距为权平均的线性模型，距离插值点越近权越大，拟合当前点的高程值，获得平面密度一致的堆场三维表面数字模型，平面点高程拟合计算公式：

(9)

其中，假定当前点为中心的局部区域内存在

个投影线边缘三维点，分别为

，当前点为

，各点到当前点平面距离为

。

b 基于规则格网的堆场任意区域形貌参数（体积、表面积等）的计算。堆场需量测区域边界在数字表面模型中划定后，按照平面点与多边形相容判断可自动获得区域所包含的格网点集，然后做三角剖分，计算三角形表面积可使用海伦公式：

(10)

其中，

表示第

对三角形两顶点之间三维距离，S表示三角形表面积，P表示三角形周长的一半。该堆场区域整体表面积由所包含的三角形面单元积分得到。

建立数字表面模型后的堆场任意选定区域的体积可在格网点三角剖分后，按三棱柱体积累积得到，其中，三棱柱表面用斜平面拟合，下表面则为堆场水平面或者给定参考平面。三棱柱体积单元的计算公式为：

(11)

其中，为三棱柱底面积，

为三棱柱顶点的高程。然后该堆场区域整体体积由三棱柱体积单元积分得到。

Claims

1.一种大型堆场三维形貌的投影辅助摄像测量方法，其特征是，该方法包括：

a.堆场摄像测量系统与辅助投影设备的安装：

在堆场安装辅助投影设备，该辅助投影设备通过绕固定点转动或平动或所述转动与平动的复合运动对堆场表面投影，形成堆场表面全覆盖的投影特征；

b.堆场表面投影特征的三维解算：

所述辅助投影设备对堆场表面投影的同时，各摄像机同步采集堆场表面投影特征，通过影像内投影特征、梯度矢量、核线相互约束实现自动可靠匹配与立体或多目视觉影像交会平差计算，实时获取堆场表面投影特征三维解；

c. 序列投影特征的三维拼接：

辅助投影对堆场表面的全覆盖结束后，对摄像系统生成的时间序列三维投影特征进行拼接，统一到堆场三维坐标系中，得到统一坐标系下堆场表面的三维点云与轮廓线数据集或序列影像综合的三维数据集；

d.对于三维点云与轮廓线数据集或序列影像综合的三维数据集，以堆场平面位置为二维变量，根据双线性插值算法计算每个平面点位的堆场表面相对于基准平面的高度，构成堆场三维表面数字模型；

e.以堆场三维表面数字模型为基础，按照空间分析计算该数字模型全面的堆场三维形貌参数、堆场体积、堆场表面积中的至少一个参数。

2.根据权利要求1所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是：

从摄像机摄得的影像提取投影特征，计算立体像对核线约束和投影特征交点，在立体像对内外参数已知条件下，以成像时刻为单位，计算摄像机同步影像所记录的三维投影特征；所述投影特征为轮廓线，三维投影特征为堆场表面投影线；

所有三维投影特征在摄像网络标定的三维坐标系中进行空间拼接，采用以下两种方式之一：

（2）当摄像机固定架设在堆场四周，则由立体或多目视觉交会的投影特征均在同一个确定的三维坐标系内，得到序列影像综合的三维数据集；

以堆场三维表面数字模型为基础，以空间分析土方计算方式获得堆场三维形貌参数。

3.根据权利要求1所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是，所述辅助投影设备为能在不规则起伏堆场表面形成清晰投影线的光学投影设备。

4.根据权利要求1或3所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是，所述辅助投影设备为光刀轮廓线投影设备或点阵投影设备。

5.根据权利要求1所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是，所述辅助投影设备为可自主转动或者平动的，它在堆场表面的投影特征与摄像机之间基线形成较大交角。

6.根据权利要求1所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是，堆场表面投影点阵或轮廓线的三维解由同步影像特征提取匹配后结合核线、边缘梯度、前方交会方法自动解算。