CN114322960B - 一种基于视觉定位的掘进机智能移站方法及系统 - Google Patents
一种基于视觉定位的掘进机智能移站方法及系统 Download PDFInfo
- Publication number
- CN114322960B CN114322960B CN202210012075.6A CN202210012075A CN114322960B CN 114322960 B CN114322960 B CN 114322960B CN 202210012075 A CN202210012075 A CN 202210012075A CN 114322960 B CN114322960 B CN 114322960B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- target
- heading machine
- laser
- roadway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000005641 tunneling Effects 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 239000003245 coal Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 238000012821 model calculation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于视觉定位的掘进机智能移站方法及系统，利用视觉测量的方法通过安装在掘进机机身上的相机拍摄机身后方安装在巷道顶部的激光标靶，结合坐标系转化得到机身在巷道位姿。随着掘进机向前掘进，标靶脱离视觉测量范围时开始移站，本发明提出视觉定位的掘进机智能移站方法，在掘进机不断向前掘进机时，视觉测量的基准随之跟进，从而快速、准确的得到掘进机在巷道坐标系下的位姿，实现掘进机的定位。
Description
技术领域
本发明涉及煤矿用掘进机的位姿检测及导航定位领域，特别是涉及一种基于视觉定位的掘进机智能移站方法及系统。
背景技术
我国煤矿井下掘进工作面空间有限加之环境恶劣，为了实现井下掘进机的远程控制，需要实时获取掘进机的位姿信息，因此，煤矿井下掘进机机身位姿检测是实现掘进机自动控制的重要环节。
随着科学技术的发展及煤矿智能化步伐的加快，煤矿井下掘进机机身位姿检测的方法不断更新。机器视觉作为一种新的掘进机位姿测量的方法，具有非接触测量的特点，视觉测量一般利用相机采集特征标靶图像通过模型解算得到掘进机机身位姿，可以解决井下掘进机机身位姿检测的问题。但是视觉测量的方法中移站(需要定期对标靶进行移动)环节较为复杂，为了保证视觉测量的精度及稳定性，每完成一次移站需要人工对标靶进行标定，从而增加工人工作量及占用掘进机工作时间。
为了解决视觉测量方法中移站环节的繁杂过程，减少工人劳动量，提高工作效率，因此提出一种基于视觉定位的掘进机智能移站方法。对提高煤矿安全生产效率，减小人员危险，推动煤矿智能化水平具有重大意义。
发明内容
本发明的目的是提供一种基于视觉定位的掘进机智能移站方法及系统实现对掘进机的精确定位和控制。
为实现上述目的，本发明提供了如下方案：
一种基于视觉定位的掘进机智能移站方法，所述方法包括：
搭建视觉定位系统；所述视觉定位系统包括：激光指向仪支架、激光指向仪、掘进机以及安装在所述掘进机上的相机；通过所述激光指向仪形成标靶；
视觉定位系统开始运行，掘进机进行掘进机作业，在掘进机脱离视觉测量有效范围之前，掘进机停止掘进作业；
通过安装在掘进机机身上的相机拍摄激光标靶图像；
对所述激光标靶图像进行处理和解算得到相机坐标系与标靶坐标系的转化矩阵
基于所述相机坐标系与标靶坐标系的转化矩阵计算得到当前掘进机在巷道中的位姿/>
将激光标靶从巷道顶部取下，前移至距离掘进机较近位置；
此时，标靶坐标系为移站后标靶坐标系Ob'Xb'Yb'Zb'；
相机采集移站后激光标靶图像；
对所述移站后激光标靶图像进行处理和解算得到相机坐标系与移站后标靶坐标系的转化矩阵
利用移站前掘进机在巷道中的位姿结合坐标转化，将移站后标靶坐标系转化至巷道坐标系，确定移站后的转化矩阵为/>
利用移站后的转化矩阵确定移站后的掘进机的位姿；
直至超出新标靶视觉测量有效范围，将标靶坐标系继续前移作为新的标靶坐标系，如此重复操作，直至完成整条巷道掘进作业。
可选的，所述激光指向仪的数量为3个，构成三角形激光标靶。
可选的，所述搭建视觉定位系统具体包括以下步骤：
在掘进工作面掘进机后方巷道顶部安装激光指向仪支架；
在所述激光指向仪支架上安装激光指向仪，构成激光标靶并建立标靶坐标系ObXbYbZb；
在掘进机机身上安装相机，并建立相机坐标系OcXcYcZc；
获取激光标靶相对于巷道坐标系OhXhYhZh的坐标。
可选的，对所述激光标靶图像进行处理和解算得到相机坐标系与标靶坐标系的转化矩阵具体是采用门形三线模型得到相机坐标系与标靶坐标系的转化矩阵/>
可选的，基于所述相机坐标系与标靶坐标系的转化矩阵计算得到当前掘进机在巷道中的位姿/>具体采用以下公式：
其中，为掘进机在巷道中的位姿，/>为标靶坐标系到巷道坐标系的转化矩阵；为机身坐标系到相机坐标系的转化矩阵，/>为相机坐标系与标靶坐标系的转化矩阵。
本发明另外提供一种基于视觉定位的掘进机智能移站系统，所述系统包括：
视觉定位系统和工控机；
所述视觉定位系统包括：激光指向仪支架、激光指向仪、掘进机以及安装在所述掘进机上的相机；
所述工控机用于对相机采集到的图像进行处理和解算。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明中的上述视觉定位的掘进机智能移站方法及系统，可减少移站过程中人员参与量及工作量，相对于人工移站具有准确、快速、稳定的特点；
采用视觉测量本身完成移站的标定环节，降低了操作难度，大大提高了工作效率，保证了人员安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例掘进机视觉定位移站示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于视觉定位的掘进机智能移站方法及系统实现对掘进机的精确定位和控制。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了简化视觉测量方法中移站的复杂过程，实现快速，准确的移站，提高井下掘进机位姿检测及定位的精度，进而保证巷道成型质量。将参照附图详细描述实现过程。主要包括以下内容：
图1为本发明实施例掘进机视觉定位移站示意图，如图1，所述方法包括：
本发明在计算过程中提出了坐标系转化的概念，具体的坐标系包括：巷道坐标系OhXhYhZh；标靶坐标系ObXbYbZb，以激光指向仪构成的三角形中心为坐标原点，Z轴垂直于巷道顶板向上，Y轴沿巷道掘进方向，x轴沿水平方向；移站后标靶坐标系Ob'Xb'Yb'Zb'；相机坐标系OcXcYcZc，以相机光心为坐标原点，Z轴沿相机朝向拍摄的物体方向，X轴沿水平方向，Y轴垂直于Z轴竖直向下；掘进机机身坐标系OoXoYoZo，Z轴垂直于巷道顶板向上，Y轴沿巷道掘进方向，x轴沿水平方向。
本发明提供一种基于视觉定位的掘进机智能移站方法，移站过程包括以下步骤：
步骤一、在掘进工作面掘进机后方巷道顶部安装激光指向仪支架，支激光指向仪支架上安装三个激光指向仪构成三角形激光标靶并建立标靶坐标系ObXbYbZb；掘进机机身上安装防爆相机，建立相机坐标系OcXcYcZc。利用矿用激光指向仪等测量手段得到标靶相对于巷道坐标系OhXhYhZh的坐标。激光标靶要保证三个激光指向仪激光发射端共面且发出三条平行激光。通过安装在掘进机机身上的防爆相机拍摄激光标靶。
步骤二、建立掘进机视觉定位系统后，视觉定位系统开始运行，掘进机进行掘进机作业。随着掘进机不断向前掘进，安装在机身上的防爆相机与激光标靶之间的间距逐渐增大，以至于防爆相机拍摄不到激光标靶光斑、或超出视觉测量有效范围。
步骤三、在掘进机脱离视觉测量有效范围之前，掘进机停止掘进作业，视觉测系统采集标靶图像经过图像处理、模型解算得到相机坐标系与标靶坐标系的转化矩阵通过坐标转化计算得到当前掘进机在巷道中的位姿/>
其中，为标靶坐标系到巷道坐标系的转化矩阵，初始时通过全站仪测量得到；为机身坐标系到相机坐标系的转化矩阵，通过相机外参标定得到。
坐标转化为：
其中，αβγ分别为机身在巷道坐标系下绕x轴、y轴、z轴旋转的角度；X、Y、Z分别为机身在巷道坐标系下沿x轴、y轴、z轴平移的距离。
步骤四、将激光标靶从巷道顶部取下，前移至距离掘进机较近位置。此时，标靶坐标系为移站后标靶坐标系Ob'Xb'Yb'Zb'。
步骤五、视觉测量系统采集移站后激光标靶图像经过图像处理、模型解算得到相机坐标系与移站后标靶坐标系的转化矩阵结合步骤三得到的移站前掘进机在巷道中的位姿/>利用坐标转化，将移站后标靶坐标系转化至巷道坐标系，转化矩阵为/>
步骤六、掘进机开机进行正常掘进作业，移站后标靶坐标系成为新的标靶坐标系，将公式(2)得到的移站后标靶坐标到巷道坐标系的转化矩阵代入公式(1)可得到掘进机在巷道中的位姿。直至超出新标靶有效范围(视觉测量有效范围)后，将标靶坐标系继续前移作为新的标靶坐标系。如此重复操作，直至完成整条巷道掘进作业。
本发明还提供一种基于视觉定位的掘进机智能移站系统，所述系统包括：
视觉定位系统和工控机；
所述视觉定位系统包括：激光指向仪支架、激光指向仪、掘进机以及安装在所述掘进机上的相机；
所述工控机用于对相机采集到的图像进行处理和解算。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (3)
1.一种基于视觉定位的掘进机智能移站方法，其特征在于，所述方法包括：
搭建视觉定位系统；所述视觉定位系统包括：激光指向仪支架、激光指向仪、掘进机以及安装在所述掘进机上的相机；通过所述激光指向仪形成标靶；
视觉定位系统开始运行，掘进机进行掘进机作业，在掘进机脱离视觉测量有效范围之前，掘进机停止掘进作业；
通过安装在掘进机机身上的相机拍摄激光标靶图像；
对所述激光标靶图像进行处理和解算得到相机坐标系与标靶坐标系的转化矩阵
基于所述相机坐标系与标靶坐标系的转化矩阵计算得到当前掘进机在巷道中的位姿/>
其中，为掘进机在巷道中的位姿，/>为标靶坐标系到巷道坐标系的转化矩阵；/>为机身坐标系到相机坐标系的转化矩阵，/>为相机坐标系与标靶坐标系的转化矩阵；
将激光标靶从巷道顶部取下，前移至距离掘进机较近位置；
此时，标靶坐标系为移站后标靶坐标系Ob'Xb'Yb'Zb'；
相机采集移站后激光标靶图像；
对所述移站后激光标靶图像进行处理和解算得到相机坐标系与移站后标靶坐标系的转化矩阵
利用移站前掘进机在巷道中的位姿结合坐标转化，将移站后标靶坐标系转化至巷道坐标系，确定移站后的转化矩阵为/>
利用移站后的转化矩阵确定移站后的掘进机的位姿；
掘进机开机进行正常掘进作业，移站后标靶坐标系成为新的标靶坐标系，将公式(2)得到的移站后标靶坐标到巷道坐标系的转化矩阵代入公式(1)，得到掘进机在巷道中的位姿；
直至超出新标靶视觉测量有效范围，将标靶坐标系继续前移作为新的标靶坐标系，如此重复操作，直至完成整条巷道掘进作业；
其中，所述搭建视觉定位系统具体包括以下步骤：
在掘进工作面掘进机后方巷道顶部安装激光指向仪支架；
在所述激光指向仪支架上安装激光指向仪，构成激光标靶并建立标靶坐标系ObXbYbZb；
在掘进机机身上安装相机，并建立相机坐标系OcXcYcZc；
获取激光标靶相对于巷道坐标系OhXhYhZh的坐标。
2.根据权利要求1所述的基于视觉定位的掘进机智能移站方法，其特征在于，所述激光指向仪的数量为3个，构成三角形激光标靶。
3.根据权利要求1所述的基于视觉定位的掘进机智能移站方法，其特征在于，对所述激光标靶图像进行处理和解算得到相机坐标系与标靶坐标系的转化矩阵具体是采用门形三线模型得到相机坐标系与标靶坐标系的转化矩阵/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210012075.6A CN114322960B (zh) | 2022-01-07 | 2022-01-07 | 一种基于视觉定位的掘进机智能移站方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210012075.6A CN114322960B (zh) | 2022-01-07 | 2022-01-07 | 一种基于视觉定位的掘进机智能移站方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114322960A CN114322960A (zh) | 2022-04-12 |
| CN114322960B true CN114322960B (zh) | 2023-08-22 |
Family
ID=81024172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210012075.6A Active CN114322960B (zh) | 2022-01-07 | 2022-01-07 | 一种基于视觉定位的掘进机智能移站方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114322960B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000337887A (ja) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | 移動体の自己位置標定装置 |
| JP2009198329A (ja) * | 2008-02-21 | 2009-09-03 | Kajima Corp | 位置計測システムおよび位置計測方法 |
| CN104792326A (zh) * | 2015-03-30 | 2015-07-22 | 中国矿业大学(北京) | 一种悬臂式掘进机位姿测量系统的快速布站和移站方法 |
| CN112050732A (zh) * | 2020-08-21 | 2020-12-08 | 西安科技大学 | 一种悬臂式掘进机空间位姿自动检测方法及系统 |
| CN112284253A (zh) * | 2020-10-19 | 2021-01-29 | 北京航天众信科技有限公司 | 基于单目视觉的掘进机位姿测量方法、系统以及存储介质 |
| CN113405458A (zh) * | 2021-06-30 | 2021-09-17 | 辽宁工程技术大学 | 一种截割头精准坐标检测系统及检测方法 |
-
2022
- 2022-01-07 CN CN202210012075.6A patent/CN114322960B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000337887A (ja) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | 移動体の自己位置標定装置 |
| JP2009198329A (ja) * | 2008-02-21 | 2009-09-03 | Kajima Corp | 位置計測システムおよび位置計測方法 |
| CN104792326A (zh) * | 2015-03-30 | 2015-07-22 | 中国矿业大学(北京) | 一种悬臂式掘进机位姿测量系统的快速布站和移站方法 |
| CN112050732A (zh) * | 2020-08-21 | 2020-12-08 | 西安科技大学 | 一种悬臂式掘进机空间位姿自动检测方法及系统 |
| CN112284253A (zh) * | 2020-10-19 | 2021-01-29 | 北京航天众信科技有限公司 | 基于单目视觉的掘进机位姿测量方法、系统以及存储介质 |
| CN113405458A (zh) * | 2021-06-30 | 2021-09-17 | 辽宁工程技术大学 | 一种截割头精准坐标检测系统及检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器视觉的掘进机空间位姿检测技术研究;田原;;矿山机械;第41卷(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114322960A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10731967B2 (en) | System for quickly detecting tunnel deformation | |
| CN110700840B (zh) | 一种基于激光标靶定位的掘进机位姿测量方法 | |
| CN109753081B (zh) | 一种基于机器视觉的巷道巡检无人机系统及导航方法 | |
| CN103712555B (zh) | 汽车大梁装配孔视觉在线测量系统及其方法 | |
| CN111735445B (zh) | 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法 | |
| CN110736446B (zh) | 一种悬臂式掘进机位姿识别系统及方法 | |
| CN108952742B (zh) | 一种基于机器视觉的盾构机导向方法 | |
| CN106052645A (zh) | 一种悬臂式掘进机空间位姿实时检测系统及方法 | |
| CN115042175B (zh) | 一种机器人机械臂末端姿态的调整方法 | |
| CN114998212A (zh) | 基于激光扫描仪的矿井巷道顶板钢带钻孔的定位方法和系统 | |
| CN114322960B (zh) | 一种基于视觉定位的掘进机智能移站方法及系统 | |
| CN113722796B (zh) | 一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法 | |
| CN106840137B (zh) | 一种四点式掘进机自动定位定向方法 | |
| CN114434036A (zh) | 用于大型船舶结构件龙门式机器人焊接的三维视觉系统及运行方法 | |
| CN116704019B (zh) | 一种基于锚杆网络的钻锚机器人单目视觉定位方法 | |
| CN114511620B (zh) | 一种基于Mask R-CNN的结构位移监测方法 | |
| CN113870228B (zh) | 一种塔吊表面氧化损伤识别、定位及损伤面积统计方法 | |
| CN111197486A (zh) | 一种基于机器视觉的顶管机导向方法 | |
| CN113202456B (zh) | 一种基于图像处理的煤矿井下开孔角度测量装置和方法 | |
| CN112975222B (zh) | 基于多线结构光焊缝跟踪传感器的焊枪末端位姿识别方法 | |
| CN116241265A (zh) | 悬臂式掘进机超挖预警装置、方法、系统、设备及介质 | |
| CN115727851A (zh) | 一种煤矿井下掘进装备位姿检测系统及方法 | |
| CN209841056U (zh) | 基于车道线的机器人定位导航系统 | |
| CN114320305A (zh) | 一种光学视觉竖井挖掘导向系统及导向方法 | |
| CN113701633A (zh) | 一种掘进机位姿监测设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |