CN113050121A - 一种船舶导航系统和船舶导航方法 - Google Patents
一种船舶导航系统和船舶导航方法 Download PDFInfo
- Publication number
- CN113050121A CN113050121A CN202110300750.0A CN202110300750A CN113050121A CN 113050121 A CN113050121 A CN 113050121A CN 202110300750 A CN202110300750 A CN 202110300750A CN 113050121 A CN113050121 A CN 113050121A
- Authority
- CN
- China
- Prior art keywords
- ship
- point cloud
- ais
- data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000013136 deep learning model Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000035484 reaction time Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一种船舶导航系统和船舶导航方法，通过激光雷达发射并接收激光信号形成点云数据，雷达标定设备进行雷达标定，完成激光雷达坐标系向船舶坐标系的转化和各处点云的融合，通过AIS接收机接收甚高频天线信号形成AIS数据，工控机设备同时接收来自雷达标定设备的点云数据和来自AIS接收机的AIS数据，工控机设备进行碰撞风险计算，对船舶碰撞风险做出预警，工控机设备进行点云目标识别，以及点云数据和AIS数据匹配，经可视化处理，辅助船舶驾驶。本发明实时计算碰撞风险，确保航行安全，并通过识别点云信息并与AIS信息叠加成像，实现辅助内河船舶驾驶，增加航行的安全性。
Description
技术领域
本发明涉及一种船舶导航系统和船舶导航方法。
背景技术
内河水路货物运输在城市经济的快速发展中发挥着越来越显著的作用。然而船舶碰撞风险时有发生，人为因素是风险发生的重要原因。船舶自动化技术的发展和应用，不应该是将人为控制所淘汰，而是要以科技技术来弥补人为操作的不足，最大程度的降低人为操作的失误。
在目前可应用于船舶航行的智能技术中，激光雷达能够精确地探测近距离范围内目标障碍物的距离和方位信息，并且有着良好的抗雨雾干扰能力，可以有效解决船舶在复杂水域和狭窄水道航行的近距离目标探测问题，但激光雷达单一的感知性能无法为驾驶者提空可靠的决策依据；电子海图设备广泛应用于船舶的导航，有效的提高了船舶航行安全率，但电子海图设备显示船舶动态信息较为模糊，显示效果为二维，无法给予操纵者直观的视角。
现有船舶驾驶辅助技术及管理水平落后于陆上水平，目前陆上车辆驾驶普遍使用各类智能导航系统，激光雷达技术已成为了汽车自动驾驶的“眼睛”，水路船舶航行也迫切需要智能导航和管理系统实现船舶航行全程监控和全程记录、安全侦测和提醒告警的智能化技术体系，提升船舶航行安全性，并为减缓船员工作压力做好技术保障。
发明内容
本发明的目的在于提供一种船舶导航系统和船舶导航方法，实时计算碰撞风险，确保航行安全，并通过识别点云信息并与AIS信息叠加成像，实现辅助内河船舶驾驶，增加航行的安全性。
为了达到上述目的，本发明提供一种船舶导航系统，包含：
传感器模块，用于通过激光雷达发射并接收激光信号，同时使用AIS接收机接收甚高频天线信号，将采集到的数据传输至数据处理模块；
数据处理模块，用于同时接收外部激光雷达点云数据与AIS数据，进行雷达信号标定、点云目标识别、碰撞风险计算、点云数据和AIS数据匹配。
所述船舶导航系统还包含导航预警模块，所述导航预警模块包含：报警装置和船载显示平板；
所述报警装置连接所述数据处理模块，用于接收碰撞报警信号，使用声光结合的方式进行报警，对船舶碰撞风险做出预警；
所述船载显示平板连接所述数据处理模块，用于接收包含目标位置信息、类别信息和AIS信息的点云数据，并进行可视化处理，通过直观的图像显示来辅助船舶驾驶，实现雷达点云信息增强显示的效果。
所述船舶导航系统还包含通信模块，其分别连接传感器模块、数据处理模块和导航预警模块，使用5G网络搭建船舶内部局域网，用于保证各模块间通信的及时性。
所述传感器模块包含：至少三台多线激光雷达和至少一台AIS接收机；
所述多线激光雷达分别布置于船首左侧、船首右侧和船尾中心处，以探测船舶前方和左右的航行环境；
所述AIS接收机连接船载VHF天线，以接收传播周围的船舶AIS信息。
所述数据处理模块包含：雷达标定设备和工控机设备；
所述雷达标定设备连接所述多线激光雷达，进行外参标定与点云融合，完成激光雷达坐标系向船舶坐标系的转化；
所述工控机设备连接所述雷达标定设备、所述AIS接收机和所述导航预警模块，用于同时接收点云数据和AIS数据，完成点云目标识别、碰撞风险计算、点云数据和AIS数据匹配。
本发明还提供一种船舶导航方法，通过激光雷达发射并接收激光信号形成点云数据，雷达标定设备进行雷达标定，完成激光雷达坐标系向船舶坐标系的转化和各处点云的融合，通过AIS接收机接收甚高频天线信号形成AIS数据，工控机设备同时接收来自雷达标定设备的点云数据和来自AIS接收机的AIS数据，工控机设备进行碰撞风险计算，对船舶碰撞风险做出预警，工控机设备进行点云目标识别，以及点云数据和AIS数据匹配，经可视化处理，辅助船舶驾驶。
所述雷达标定方法包含：
建立以船舶中心为原点的坐标系O1，激光雷达坐标系为O2，两个坐标系的转换关系为：O1＝RO2+T，其中，R为3×3旋转矩阵，T为3×1平移矩阵，找到空间中任意两个点P1、P2在坐标系O1和坐标系O2下所组成的向量v1、v2，称为一组同名向量，有v2＝Rv1，结合Rodrigues方法来描述坐标系旋转，找到两组以上的同名向量即可求解旋转矩阵R，再使用多个空间点与两个坐标系原点构成多组向量g1i、g2i，k＝1,2,3,...，i表示第几组向量，k表示向量的组数，使用公式
即可求出平移矩阵T，如此依次完成激光雷达的标定。
所述计算碰撞风险的方法包含：
建立模型计算出船舶在周围360°各方向上的安全距离：
其中，已知本船的航速v，船舶总吨位t，normalize()表示归一化函数，v’表示船速v在各方向上的投影，t0表示反应时间；
由此在点云坐标系中圈画出船舶的安全区域，若有其他点云目标进入此安全区域，则产生碰撞风险。
所述识别点云目标的方法包含：
建立每个点云映射到RGB图像中一个网格中的映射函数Sj，计算出由高度、强度和密度三个通道编码的RGB图像；
将RGB图像输入由卷积神经网络CNN和区域建议网络E-RPN组成的Complex-YOLO深度学习模型，对RGB图像进行特征提取，通过对目标的位置与姿态估计来预测多类别的3D检测框，将目标划分为船舶、浮标、桥梁和未知障碍物四种类别，将识别出的点云目标扩充为包含位置信息和类别信息的序列。
所述匹配点云数据和AIS数据的方法包含：
针对点云数据，建立t-1时刻检测目标的状态模型X(t-1)＝{pt-1,vt-1}，其中，p和v分别表示位置和速度，使用卡尔曼滤波预测出点云目标在t时刻的状态模型Z(t)，使用公式
计算出船舶坐标系下X(t)和Z(t)状态下的两个3D框各自中点与8个角点间欧氏距离的平均值表示二者的关联性，再结合匈牙利算法匹配所有的预测结果与检测结果，以此完成多个船舶点云目标的轨迹跟踪；其中，boxix和boxiz分别表示3D检测框x和3D检测框z中第i个关键点，包括各自的中点和其余8个角点在内，共9组关键点；
针对AIS数据，提取AIS数据中的位置信息，剔除与本船距离大于300m的船舶目标，以MMSI编号对目标船舶进行跟踪，经插值处理后形成完整的船舶运动轨迹；
在船舶坐标系下，分别计算出点云目标与AIS目标的位置相似性、航向相似性与航速相似性，再融合计算出二者的轨迹相似性，将相似性大于等于90％轨迹划归于同一目标，将点云船舶目标跟踪信息扩充为Z(t)＝{MMSI，TYPE，DISTANCE，SOG，COG}，其中，MMSI，TYPE，DISTANCE，SOG，COG分别表示MMSI编号、类别、距离、航速与航向信息，且随时间更新。
本发明具有以下优点：
1、使用3D目标检测算法从点云数据中识别出船舶目标，同时接收周围船舶的AIS数据，依据两者的空间坐标关系进行匹配，后经可视化处理，可在点云图像中增加更多的船舶信息。
2、结合点云数据和导入的航道数据，可准确识别出航道边界、浮标、桥梁等物体，并且在点云图像中进行标示，辅助感知周围环境。
3、基于激光雷达精准的探测性能，对船舶与周围障碍物的间距进行实时的监控，在形成碰撞危险时进行报警，确保航行安全。
附图说明
图1是本发明提供的一种船舶导航系统的结构框图。
图2是船载各模块布置方案平面图。
图3是本发明提供的一种船舶导航方法的流程图。
具体实施方式
以下根据图1～图3，具体说明本发明的较佳实施例。
针对目前船舶导航形式单一且不够直观的缺点，本发明提出了一种船舶导航系统和导航方法，使用船载激光雷达设备，其探测距离和视场角可有效满足内河船舶在航行过程中对周围环境的清晰感知，通过点云目标检测技术与AIS信息叠加技术，实现对航行环境的多形态展示，同时基于激光雷达对障碍物的精准探测实现碰撞预警。
如图1所示，在本发明的一个实施例中，提供一种船舶导航系统，包含：
传感器模块1，用于同时采集点云数据和AIS数据，通过激光雷达发射并接收激光信号，同时使用AIS接收机接收甚高频天线信号，将采集到的数据通过通信模块3传输至船舶驾驶室内的数据处理模块2；
数据处理模块2，用于同时接收外部激光雷达点云数据与AIS数据，从多方面对数据进行处理运算，并将计算结果传输至导航预警模块4，对导航与报警模块做出部署；
导航预警模块4，用于接收数据处理模块的计算结果，输出点云图像并显示，实现雷达点云信息增强显示的效果，对船舶碰撞风险做出预警；
通信模块3，分别连接传感器模块1、数据处理模块2和导航预警模块4，使用5G网络搭建船舶内部局域网，用于保证各模块间通信的及时性。
如图2所示，所述传感器模块1包含：至少三台多线激光雷达11和AIS接收机12；所述多线激光雷达11分别布置于船首左侧、船首右侧和船尾中心处，以探测船舶前方和左右的航行环境，激光雷达11共同连接至设置在驾驶舱内的雷达标定设备21，进行外参标定与点云融合，形成以船舶为原心覆盖周围360°区域的点云坐标系；所述AIS接收机12连接船载VHF天线，可接收周围二十海里范围内的船舶AIS信息，将接收到的AIS数据同样传输至数据处理模块2，等待进行下一步处理。
所述的数据处理模块2包含：雷达标定设备21和工控机设备22；所述雷达标定设备21，连接外部三台激光雷达11，分别进行外参求取，完成激光雷达坐标系向船舶坐标系的转化和各处点云的融合，其标定方法为：建立以船舶中心为原点的坐标系O1，激光雷达坐标系为O2，两个坐标系的转换关系为：O1＝RO2+T，其中，R为3×3旋转矩阵，T为3×1平移矩阵，找到空间中任意两个点P1、P2在坐标系O1和坐标系O2下所组成的向量v1、v2，称为一组同名向量，有v2＝Rv1，结合Rodrigues方法来描述坐标系旋转，找到两组以上的同名向量即可求解旋转矩阵R，再使用多个空间点与两个坐标系原点构成多组向量g1i、g2i，k＝1,2,3,...，i表示第几组向量，k表示向量的组数，使用公式
即可求出平移矩阵T，如此依次完成三台激光雷达的标定；所述工控机设备22采用linux系统，可支持GPU运算，其连接雷达标定设备21、AIS接收机12和导航预警模块4，用于同时接收点云与AIS数据，以完成点云目标识别、碰撞风险计算、点云与AIS叠加等工作。
进一步，所述工控机设备22用于同时接收来自雷达标定设备与AIS接收机的点云和AIS数据，并提取AIS信息中的MMSI编号、经纬度坐标、航向与航速信息，剔除距离较远的船舶信息，所述工控机设备22包含：碰撞预警单元23，目标识别单元24和信号融合单元25；所述碰撞预警单元23部署于所述工控机设备22内部，用于计算碰撞风险，并且做出预警决策，所述计算和决策方法为：通过船舶坐标系下的点云数据，实时监控船舶与周围障碍物的距离，结合自身航向与航速，建立模型计算出碰撞风险，计算碰撞风险的方法具体包含：建立模型计算出船舶安全区域，已知本船的航速v，船舶总吨位t，计算船舶在周围360°各方向上的安全距离：
其中，normalize()表示归一化函数，v’表示船速v在各方向上的投影，t0表示反应时间，由此可在点云坐标系中圈画出船舶的安全区域，若有其他点云目标进入此区域，则产生碰撞风险；所述目标识别单元24部署于工控机设备22内部，用于对点云数据进行目标检测与分类，检测与分类方法为：首先对点云进行预处理，建立每个点云映射到RGB图像中一个网格中的映射函数Sj，计算出由高度、强度和密度三个通道编码的RGB图像；再将RGB图像输入由CNN(卷积神经网络)和E-RPN(区域建议网络)组成的Complex-YOLO深度学习模型，对RGB图像进行特征提取，通过对目标的位置与姿态估计来预测多类别的3D检测框，目标划分为船舶、浮标、桥梁和未知障碍物四种类别，将识别出的点云目标扩充为包含位置信息和类别信息的序列；所述信号融合单元25部署于工控机设备22内部，用于计算点云目标与AIS目标的运动轨迹，进行空间坐标系下的匹配计算，并将匹配的结果传输至导航与预警模块4，匹配计算方法为：针对点云数据，建立t-1时刻检测目标的状态模型X(t-1)＝{pt-1,vt-1}，其中p和v分别表示位置和速度，使用卡尔曼滤波预测出点云目标在t时刻的状态模型Z(t)，使用公式
(其中，boxix和boxiz分别表示检测框x和检测框z中第i个关键点，包括各自的中点和其余8个角点在内，共9组关键点)计算出船舶坐标系下X(t)和Z(t)状态下的两个3D框各自中点与8个角点间欧氏距离的平均值表示二者的关联性，再结合匈牙利算法匹配所有的预测结果与检测结果，以此完成多个船舶点云目标的轨迹跟踪；针对AIS数据，提取AIS数据中的位置信息，剔除与本船距离大于300m的船舶目标，以MMSI编号对目标船舶进行跟踪，经插值处理后形成完整的船舶运动轨迹；在船舶坐标系下，分别计算出点云目标与AIS目标的位置相似性、航向相似性与航速相似性，再融合计算出二者的轨迹相似性，将相似性较高的轨迹划归于同一目标，将点云船舶目标跟踪信息扩充为Z(t)＝{MMSI，TYPE，DISTANCE，SOG，COG}，其中，MMSI，TYPE，DISTANCE，SOG，COG分别表示MMSI编号、类别、距离、航速与航向信息，且随时间更新。
所述通信模块3分别使用两条10-20米和一条50米以上的网线连接分布于船首和船尾的激光雷达与驾驶舱内的雷达标定设备，在雷达标定设备21、工控机设备22、AIS接收机12、船载显示平板42和报警装置41间构建5G局域网，使用无线网络进行数据传输。
所述导航与预警模块4包含：报警装置41和船载显示平板42；所述报警装置41连接所述数据处理模块2，用于接收碰撞报警信号，使用声光结合的方式进行报警；所述船载显示平板42连接所述数据处理模块2，用于接收包含目标位置信息、类别信息和AIS信息的点云数据，并进行可视化处理，通过直观的图像显示来辅助船舶驾驶；所述船载显示平板42内部部署有可视化软件43，用于将点云数据处理为RGB图像，同时从导入的航道数据中提取航道边界信息，从点云数据中提取出类别信息(包括船舶、浮标、桥梁和未知障碍物)和AIS信息(包括MMSI编号、航向、航速)，对这些信息建立不同的可视化模型，将点云像素化，生成以船舶为中心的鸟瞰图像，根据点云目标的位置标示3D检测框，将浮标、桥梁和航道边界以可视化模型表示，将MMSI编号、类别等信息以文本形式标示于检测框周围。
如图3所示，本发明还提供一种船舶导航方法，实施步骤如下：
步骤1、船舶通过激光雷达发射并接收激光信号，形成点云数据并通过网线传输至驾驶舱内部的雷达标定设备，雷达标定设备完成激光雷达坐标系向船舶坐标系的转化和各处点云的融合，同时使用AIS接收机接收甚高频天线信号，将采集到的数据通过通信模块传输至船舶驾驶室内的数据处理模块；
所述雷达标定设备的标定方法为：建立以船舶中心为原点的坐标系O1，激光雷达坐标系为O2，两个坐标系的转换关系为：O1＝RO2+T，其中，R为3×3旋转矩阵，T为3×1平移矩阵，找到空间中任意两个点P1、P2在坐标系O1和坐标系O2下所组成的向量v1、v2，称为一组同名向量，有v2＝Rv1，结合罗德里格旋转公式(Rodrigues'rotation formula)来描述坐标系旋转，找到两组以上的同名向量即可求解旋转矩阵R，再使用多个空间点与两个坐标系原点构成多组向量g1i、g2i，k＝1,2,3,...，i表示第几组向量，k表示向量的组数，使用公式
即可求出平移矩阵T，如此依次完成三台激光雷达的标定；
步骤2、使用工控机设备同时接收来自雷达标定设备与AIS接收机的信号，分别进行解码处理并剔除异常数据；
步骤3、计算碰撞风险：
工控机设备通过船舶坐标系下的点云数据来实时监控船舶与周围障碍物的准确距离，结合自身航向与航速，计算出碰撞风险，设置风险阈值以决定是否引发报警，若达到阈值，则向机舱内部的报警装置发送报警信号；
所述计算碰撞风险的方法具体包含：
建立模型计算出船舶在周围360°各方向上的安全距离：
其中，已知本船的航速v，船舶总吨位t，normalize()表示归一化函数，v’表示船速v在各方向上的投影，t0表示反应时间；
由此可在点云坐标系中圈画出船舶的安全区域，若有其他点云目标进入此安全区域，则产生碰撞风险；
步骤4、检测点云目标：
工控机设备使用映射函数Sj将点云向RGB图像进行转化，通过预先训练好的Complex-YOLO深度网络模型进行3D目标边界框的位置预测，将目标划分为船舶、浮标、桥梁和未知障碍物四种类别，识别出的点云目标扩充为包含位置信息和类别信息的序列；
所述检测与分类方法为：首先对点云进行预处理，建立每个点云映射到RGB图像中一个网格中的映射函数Sj，计算出由高度、强度和密度三个通道编码的RGB图像；再将RGB图像输入由CNN(卷积神经网络)和E-RPN(区域建议网络)组成的Complex-YOLO深度学习模型，对RGB图像进行特征提取，通过对目标的位置与姿态估计来预测多类别的3D检测框，目标划分为船舶、浮标、桥梁和未知障碍物四种类别，将识别出的点云目标扩充为包含位置信息和类别信息的序列；
步骤5、匹配点云数据和AIS数据：
工控机设备分别建立点云船舶目标和AIS目标的跟踪模型，且不断更新目标位置形成两组目标轨迹，随每次更新交叉计算两组轨迹间的相似性，将相似度较高的轨迹划归于同一目标，将点云船舶目标跟踪信息扩充为Z(t)＝{MMSI，TYPE，DISTANCE，SOG，COG}，其中MMSI，TYPE，DISTANCE，SOG，COG分别表示MMSI编号、类别、距离、航速与航向信息，且随时间更新，将所有点云和带有轨迹信息和AIS信息的点云目标信息传输至驾驶舱的船载显示平板；
所述匹配方法为：
针对点云数据，建立t-1时刻检测目标的状态模型X(t-1)＝{pt-1,vt-1}，其中，p和v分别表示位置和速度，使用卡尔曼滤波预测出点云目标在t时刻的状态模型Z(t)，使用公式
(其中，boxix和boxiz分别表示3D检测框x和3D检测框z中第i个关键点，包括各自的中点和其余8个角点在内，共9组关键点)计算出船舶坐标系下X(t)和Z(t)状态下的两个3D框各自中点与8个角点间欧氏距离的平均值表示二者的关联性，再结合匈牙利算法匹配所有的预测结果与检测结果，以此完成多个船舶点云目标的轨迹跟踪；
针对AIS数据，提取AIS数据中的位置信息，剔除与本船距离大于300m的船舶目标，以MMSI编号对目标船舶进行跟踪，经插值处理后形成完整的船舶运动轨迹；
在船舶坐标系下，分别计算出点云目标与AIS目标的位置相似性、航向相似性与航速相似性，再融合计算出二者的轨迹相似性，以此将船舶目标匹配上与之契合的AIS信号，将点云船舶目标跟踪信息扩充为Z(t)＝{MMSI，TYPE，DISTANCE，SOG，COG}，其中，MMSI，TYPE，DISTANCE，SOG，COG分别表示MMSI编号、类别、距离、航速与航向信息，且随时间更新；
步骤6、平板导航和碰撞预警：
使用船载显示平板接收来自工控机设备的点云信息，使用自主开发的可视化软件，将点云像素化，生成以船舶为中心的鸟瞰图像，根据点云目标的位置标示3D检测框，将浮标、桥梁和航道边界以可视化模型表示，将MMSI编号、类别等信息以文本形式标示于检测框周围，驾驶舱内部的报警装置与工控机设备也处于实时连接状态，准备在危险情况下做出预警。
本发明使用船载激光雷达方案，结合点云目标检测技术与AIS信息叠加技术，使用视频显示的手段来代替人眼瞭望，可在各种复杂天气环境下帮助驾驶员直观了解船舶状态与周围环境信息。相比普通的激光雷达显示系统，本发明可实现：1、使用3D目标检测算法从点云数据中识别出船舶目标，同时接收周围船舶的AIS数据，依据两者的空间坐标关系进行匹配，后经可视化处理，可在点云图像中增加更多的船舶信息。2、结合点云数据和导入的航道数据，可准确识别出航道边界、浮标、桥梁等物体，并且在点云图像中进行标示，辅助感知周围环境。3、基于激光雷达精准的探测性能，对船舶与周围障碍物的间距进行实时的监控，在形成碰撞危险时进行报警，确保航行安全。
需要说明的是，在本发明的实施例中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述实施例，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (10)
1.一种船舶导航系统，其特征在于，包含：
传感器模块，用于通过激光雷达发射并接收激光信号，同时使用AIS接收机接收甚高频天线信号，将采集到的数据传输至数据处理模块；
数据处理模块，用于同时接收外部激光雷达点云数据与AIS数据，进行雷达信号标定、点云目标识别、碰撞风险计算、点云数据和AIS数据匹配。
2.如权利要求1所述的船舶导航系统，其特征在于，所述船舶导航系统还包含导航预警模块，所述导航预警模块包含：报警装置和船载显示平板；
所述报警装置连接所述数据处理模块，用于接收碰撞报警信号，使用声光结合的方式进行报警，对船舶碰撞风险做出预警；
所述船载显示平板连接所述数据处理模块，用于接收包含目标位置信息、类别信息和AIS信息的点云数据，并进行可视化处理，通过直观的图像显示来辅助船舶驾驶，实现雷达点云信息增强显示的效果。
3.如权利要求1或2所述的船舶导航系统，其特征在于，所述船舶导航系统还包含通信模块，其分别连接传感器模块、数据处理模块和导航预警模块，使用5G网络搭建船舶内部局域网，用于保证各模块间通信的及时性。
4.如权利要求1所述的船舶导航系统，其特征在于，所述传感器模块包含：至少三台多线激光雷达和至少一台AIS接收机；
所述多线激光雷达分别布置于船首左侧、船首右侧和船尾中心处，以探测船舶前方和左右的航行环境；
所述AIS接收机连接船载VHF天线，以接收传播周围的船舶AIS信息。
5.如权利要求4所述的船舶导航系统，其特征在于，所述数据处理模块包含：雷达标定设备和工控机设备；
所述雷达标定设备连接所述多线激光雷达，进行外参标定与点云融合，完成激光雷达坐标系向船舶坐标系的转化；
所述工控机设备连接所述雷达标定设备、所述AIS接收机和所述导航预警模块，用于同时接收点云数据和AIS数据，完成点云目标识别、碰撞风险计算、点云数据和AIS数据匹配。
6.一种利用如权利要求1-5中任意一项所述的船舶导航系统而实现的船舶导航方法，其特征在于，通过激光雷达发射并接收激光信号形成点云数据，雷达标定设备进行雷达标定，完成激光雷达坐标系向船舶坐标系的转化和各处点云的融合，通过AIS接收机接收甚高频天线信号形成AIS数据，工控机设备同时接收来自雷达标定设备的点云数据和来自AIS接收机的AIS数据，工控机设备进行碰撞风险计算，对船舶碰撞风险做出预警，工控机设备进行点云目标识别，以及点云数据和AIS数据匹配，经可视化处理，辅助船舶驾驶。
7.如权利要求6所述的船舶导航方法，其特征在于，所述雷达标定方法包含：
建立以船舶中心为原点的坐标系O1，激光雷达坐标系为O2，两个坐标系的转换关系为：O1＝RO2+T，其中，R为3×3旋转矩阵，T为3×1平移矩阵，找到空间中任意两个点P1、P2在坐标系O1和坐标系O2下所组成的向量v1、v2，称为一组同名向量，有v2＝Rv1，结合罗德里格旋转公式来描述坐标系旋转，找到两组以上的同名向量即可求解旋转矩阵R，再使用多个空间点与两个坐标系原点构成多组向量g1i、g2i，k＝1,2,3,...，i表示第几组向量，k表示向量的组数，使用公式
即可求出平移矩阵T，如此依次完成激光雷达的标定。
8.如权利要求6所述的船舶导航方法，其特征在于，所述计算碰撞风险的方法包含：
建立模型计算出船舶在周围360°各方向上的安全距离：
其中，已知本船的航速v，船舶总吨位t，normalize()表示归一化函数，v’表示船速v在各方向上的投影，t0表示反应时间；
由此在点云坐标系中圈画出船舶的安全区域，若有其他点云目标进入此安全区域，则产生碰撞风险。
9.如权利要求6所述的船舶导航方法，其特征在于，所述识别点云目标的方法包含：
建立每个点云映射到RGB图像中一个网格中的映射函数Sj，计算出由高度、强度和密度三个通道编码的RGB图像；
将RGB图像输入由卷积神经网络CNN和区域建议网络E-RPN组成的Complex-YOLO深度学习模型，对RGB图像进行特征提取，通过对目标的位置与姿态估计来预测多类别的3D检测框，将目标划分为船舶、浮标、桥梁和未知障碍物四种类别，将识别出的点云目标扩充为包含位置信息和类别信息的序列。
10.如权利要求7所述的船舶导航方法，其特征在于，所述匹配点云数据和AIS数据的方法包含：
针对点云数据，建立t-1时刻检测目标的状态模型X(t-1)＝{pt-1,vt-1}，其中，p和v分别表示位置和速度，使用卡尔曼滤波预测出点云目标在t时刻的状态模型Z(t)，使用公式
计算出船舶坐标系下X(t)和Z(t)状态下的两个3D框各自中点与8个角点间欧氏距离的平均值表示二者的关联性，再结合匈牙利算法匹配所有的预测结果与检测结果，以此完成多个船舶点云目标的轨迹跟踪；其中，boxix和boxiz分别表示3D检测框x和3D检测框z中第i个关键点，包括各自的中点和其余8个角点在内，共9组关键点；
针对AIS数据，提取AIS数据中的位置信息，剔除与本船距离大于300m的船舶目标，以MMSI编号对目标船舶进行跟踪，经插值处理后形成完整的船舶运动轨迹；
在船舶坐标系下，分别计算出点云目标与AIS目标的位置相似性、航向相似性与航速相似性，再融合计算出二者的轨迹相似性，将相似性大于等于90％的轨迹划归于同一目标，将点云船舶目标跟踪信息扩充为Z(t)＝{MMSI，TYPE，DISTANCE，SOG，COG}，其中，MMSI，TYPE，DISTANCE，SOG，COG分别表示MMSI编号、类别、距离、航速与航向信息，且随时间更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110300750.0A CN113050121A (zh) | 2021-03-22 | 2021-03-22 | 一种船舶导航系统和船舶导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110300750.0A CN113050121A (zh) | 2021-03-22 | 2021-03-22 | 一种船舶导航系统和船舶导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113050121A true CN113050121A (zh) | 2021-06-29 |
Family
ID=76513921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110300750.0A Pending CN113050121A (zh) | 2021-03-22 | 2021-03-22 | 一种船舶导航系统和船舶导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113050121A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744570A (zh) * | 2021-11-03 | 2021-12-03 | 武汉理工大学 | 一种桥区水域船舶防撞预警方法及装置 |
| CN114063622A (zh) * | 2022-01-06 | 2022-02-18 | 陕西欧卡电子智能科技有限公司 | 无人船自主停泊定位方法、装置及相关组件 |
| CN114509784A (zh) * | 2022-01-30 | 2022-05-17 | 重庆长安汽车股份有限公司 | 一种激光雷达数据接收解析融合可视化的方法 |
| CN115082532A (zh) * | 2022-05-12 | 2022-09-20 | 华南理工大学 | 一种基于激光雷达的跨江输电线防船舶碰撞方法 |
| CN115331486A (zh) * | 2022-08-12 | 2022-11-11 | 河海大学 | 一种船舶碰撞风险评估与预测方法及装置 |
| CN116087984A (zh) * | 2022-12-26 | 2023-05-09 | 南通润邦海洋工程装备有限公司 | 一种基于激光雷达的作业船防碰撞平台 |
| CN117470107A (zh) * | 2023-12-28 | 2024-01-30 | 思创数码科技股份有限公司 | 基于激光扫描与雷达扫描结合的船舶测量方法及系统 |
| CN117496134A (zh) * | 2024-01-03 | 2024-02-02 | 思创数码科技股份有限公司 | 船舶目标检测方法、系统、可读存储介质及计算机 |
| CN117647812A (zh) * | 2023-11-24 | 2024-03-05 | 中国船舶集团有限公司第七一六研究所 | 基于导航雷达的船舶行驶路线检测预警方法及系统 |
| CN117710923A (zh) * | 2023-12-14 | 2024-03-15 | 江苏镇扬汽渡有限公司 | 一种不良视线下汽渡辅助航行方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0532379A1 (fr) * | 1991-09-13 | 1993-03-17 | Automobiles Peugeot | Procédé et dispositif de reconnaissance automatique de panneaux de signalisation |
| US20070188734A1 (en) * | 2004-09-29 | 2007-08-16 | Sea On Line | Anti-Collision Warning System for Marine Vehicle and Anti-Collision Analysis Method |
| US20090271054A1 (en) * | 2006-09-13 | 2009-10-29 | Marine & Remote Sensing Solutions (Marss) | Manoeuvre and safety system for a vehicle or an installation |
| CN108281043A (zh) * | 2018-03-23 | 2018-07-13 | 上海海事大学 | 一种船舶碰撞风险预警系统及预警方法 |
| CN108873799A (zh) * | 2018-06-29 | 2018-11-23 | 南京海联智能科技有限公司 | 船载智能驾驶辅助终端 |
| CN109084747A (zh) * | 2018-06-26 | 2018-12-25 | 武汉理工大学 | 基于通用三维引擎的水上交通全景三维导航系统及方法 |
| CN109263826A (zh) * | 2018-08-30 | 2019-01-25 | 武汉理工大学 | 基于操纵性建模的船舶智能避碰系统及方法 |
| CN109460035A (zh) * | 2018-12-18 | 2019-03-12 | 国家海洋局北海海洋工程勘察研究院（青岛环海海洋工程勘察研究院） | 一种无人艇高速状态下的二级自主避障系统及避障方法 |
| CN109670411A (zh) * | 2018-11-30 | 2019-04-23 | 武汉理工大学 | 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统 |
| CN110175186A (zh) * | 2019-05-15 | 2019-08-27 | 中国舰船研究设计中心 | 一种智能船舶环境威胁目标感知系统及方法 |
| US20200050202A1 (en) * | 2018-08-10 | 2020-02-13 | Buffalo Automation Group, Inc. | Deep Learning and Intelligent Sensing System Integration |
| CN111221000A (zh) * | 2020-01-16 | 2020-06-02 | 中电科（宁波）海洋电子研究院有限公司 | 基于激光雷达的船舶边界探测方法 |
| CN111899568A (zh) * | 2020-07-17 | 2020-11-06 | 广州忘平信息科技有限公司 | 桥梁防撞预警系统、方法、装置和存储介质 |
| CN112198653A (zh) * | 2020-10-13 | 2021-01-08 | 上海海事大学 | 一种船舶望远镜 |
-
2021
- 2021-03-22 CN CN202110300750.0A patent/CN113050121A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0532379A1 (fr) * | 1991-09-13 | 1993-03-17 | Automobiles Peugeot | Procédé et dispositif de reconnaissance automatique de panneaux de signalisation |
| US20070188734A1 (en) * | 2004-09-29 | 2007-08-16 | Sea On Line | Anti-Collision Warning System for Marine Vehicle and Anti-Collision Analysis Method |
| US20090271054A1 (en) * | 2006-09-13 | 2009-10-29 | Marine & Remote Sensing Solutions (Marss) | Manoeuvre and safety system for a vehicle or an installation |
| CN108281043A (zh) * | 2018-03-23 | 2018-07-13 | 上海海事大学 | 一种船舶碰撞风险预警系统及预警方法 |
| CN109084747A (zh) * | 2018-06-26 | 2018-12-25 | 武汉理工大学 | 基于通用三维引擎的水上交通全景三维导航系统及方法 |
| CN108873799A (zh) * | 2018-06-29 | 2018-11-23 | 南京海联智能科技有限公司 | 船载智能驾驶辅助终端 |
| US20200050202A1 (en) * | 2018-08-10 | 2020-02-13 | Buffalo Automation Group, Inc. | Deep Learning and Intelligent Sensing System Integration |
| CN109263826A (zh) * | 2018-08-30 | 2019-01-25 | 武汉理工大学 | 基于操纵性建模的船舶智能避碰系统及方法 |
| CN109670411A (zh) * | 2018-11-30 | 2019-04-23 | 武汉理工大学 | 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统 |
| CN109460035A (zh) * | 2018-12-18 | 2019-03-12 | 国家海洋局北海海洋工程勘察研究院（青岛环海海洋工程勘察研究院） | 一种无人艇高速状态下的二级自主避障系统及避障方法 |
| CN110175186A (zh) * | 2019-05-15 | 2019-08-27 | 中国舰船研究设计中心 | 一种智能船舶环境威胁目标感知系统及方法 |
| CN111221000A (zh) * | 2020-01-16 | 2020-06-02 | 中电科（宁波）海洋电子研究院有限公司 | 基于激光雷达的船舶边界探测方法 |
| CN111899568A (zh) * | 2020-07-17 | 2020-11-06 | 广州忘平信息科技有限公司 | 桥梁防撞预警系统、方法、装置和存储介质 |
| CN112198653A (zh) * | 2020-10-13 | 2021-01-08 | 上海海事大学 | 一种船舶望远镜 |
Non-Patent Citations (6)
| Title |
|---|
| 何建春: ""加快AIS与激光传感技术强化对船舶动态监管"", 《中国水运》, vol. 15, no. 9, 30 September 2015 (2015-09-30), pages 47 - 49 * |
| 朱菲婷: ""基于激光点云3D检测的车辆外廓尺寸测量研究"", 《科技风》, 31 January 2019 (2019-01-31), pages 164 - 165 * |
| 李小毛: ""基于3D激光雷达的无人水面艇海上目标检测"", 《上海大学学报》, vol. 23, no. 1, 28 February 2017 (2017-02-28), pages 27 - 37 * |
| 王群朋: ""基于光斑跟踪的夜间航行船舶跟踪方法"", 《中国航海》, vol. 43, no. 4, 31 December 2020 (2020-12-31), pages 52 - 59 * |
| 王贵槐: ""基于激光雷达的内河无人船障碍物识别方法"", 《光学技术》, vol. 44, no. 5, 30 September 2018 (2018-09-30), pages 602 - 609 * |
| 胡勤友: ""基于船舶时空轨迹数据的水上输出风险评估"", 《交通信息与安全》, vol. 38, no. 1, 31 January 2020 (2020-01-31), pages 143 - 149 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744570A (zh) * | 2021-11-03 | 2021-12-03 | 武汉理工大学 | 一种桥区水域船舶防撞预警方法及装置 |
| CN113744570B (zh) * | 2021-11-03 | 2022-03-25 | 武汉理工大学 | 一种桥区水域船舶防撞预警方法及装置 |
| CN114063622A (zh) * | 2022-01-06 | 2022-02-18 | 陕西欧卡电子智能科技有限公司 | 无人船自主停泊定位方法、装置及相关组件 |
| CN114063622B (zh) * | 2022-01-06 | 2022-05-17 | 陕西欧卡电子智能科技有限公司 | 无人船自主停泊定位方法、装置及相关组件 |
| CN114509784A (zh) * | 2022-01-30 | 2022-05-17 | 重庆长安汽车股份有限公司 | 一种激光雷达数据接收解析融合可视化的方法 |
| CN115082532A (zh) * | 2022-05-12 | 2022-09-20 | 华南理工大学 | 一种基于激光雷达的跨江输电线防船舶碰撞方法 |
| CN115082532B (zh) * | 2022-05-12 | 2024-03-29 | 华南理工大学 | 一种基于激光雷达的跨江输电线防船舶碰撞方法 |
| CN115331486B (zh) * | 2022-08-12 | 2023-06-13 | 河海大学 | 一种船舶碰撞风险评估与预测方法及装置 |
| CN115331486A (zh) * | 2022-08-12 | 2022-11-11 | 河海大学 | 一种船舶碰撞风险评估与预测方法及装置 |
| CN116087984A (zh) * | 2022-12-26 | 2023-05-09 | 南通润邦海洋工程装备有限公司 | 一种基于激光雷达的作业船防碰撞平台 |
| CN116087984B (zh) * | 2022-12-26 | 2024-02-23 | 南通润邦海洋工程装备有限公司 | 一种基于激光雷达的作业船防碰撞平台 |
| CN117647812A (zh) * | 2023-11-24 | 2024-03-05 | 中国船舶集团有限公司第七一六研究所 | 基于导航雷达的船舶行驶路线检测预警方法及系统 |
| CN117647812B (zh) * | 2023-11-24 | 2024-08-06 | 中国船舶集团有限公司第七一六研究所 | 基于导航雷达的船舶行驶路线检测预警方法及系统 |
| CN117710923A (zh) * | 2023-12-14 | 2024-03-15 | 江苏镇扬汽渡有限公司 | 一种不良视线下汽渡辅助航行方法 |
| CN117710923B (zh) * | 2023-12-14 | 2024-05-03 | 江苏镇扬汽渡有限公司 | 一种不良视线下汽渡辅助航行方法 |
| CN117470107A (zh) * | 2023-12-28 | 2024-01-30 | 思创数码科技股份有限公司 | 基于激光扫描与雷达扫描结合的船舶测量方法及系统 |
| CN117496134A (zh) * | 2024-01-03 | 2024-02-02 | 思创数码科技股份有限公司 | 船舶目标检测方法、系统、可读存储介质及计算机 |
| CN117496134B (zh) * | 2024-01-03 | 2024-03-22 | 思创数码科技股份有限公司 | 船舶目标检测方法、系统、可读存储介质及计算机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113050121A (zh) | 一种船舶导航系统和船舶导航方法 | |
| Thombre et al. | Sensors and AI techniques for situational awareness in autonomous ships: A review | |
| KR102240839B1 (ko) | 이미지 세그멘테이션을 이용한 자율 운항 방법 | |
| CN110414396B (zh) | 一种基于深度学习的无人艇感知融合算法 | |
| CN101214851B (zh) | 船舶行驶智能型全天候主动安全预警系统及其预警方法 | |
| KR102661363B1 (ko) | 접안 모니터링 장치 및 방법 | |
| CN105841688B (zh) | 一种船舶辅助泊岸方法和系统 | |
| KR102466804B1 (ko) | 이미지 세그멘테이션을 이용한 자율 운항 방법 | |
| CN108873799A (zh) | 船载智能驾驶辅助终端 | |
| Helgesen et al. | Heterogeneous multi-sensor tracking for an autonomous surface vehicle in a littoral environment | |
| Kim et al. | Artificial intelligence vision-based monitoring system for ship berthing | |
| CN111536962B (zh) | 智能船舶的航线规划方法及装置、存储介质、计算机设备 | |
| CN111163290B (zh) | 一种夜间航行船舶检测并跟踪的方法 | |
| CN111290410A (zh) | 一种基于毫米波雷达的船舶自动离靠泊系统及方法 | |
| US20240271943A1 (en) | Assisted navigation systems and methods | |
| CN115620559A (zh) | 一种基于智能感知的船舶安全管理方法、系统及设备 | |
| CN115723919B (zh) | 一种船舶偏航的辅助航行方法及装置 | |
| CN115311900B (zh) | 一种基于视觉增强的内河航道船舶辅助目标识别方法 | |
| CN113687349A (zh) | 基于多传感器融合的无人艇海面目标追踪方法及装置 | |
| KR20150028074A (ko) | 선박의 충돌방지장치 | |
| CN114061565B (zh) | 一种无人船舶slam及其应用方法 | |
| KR102283968B1 (ko) | 이미지 학습 기반 시정 관측 정보 생성 및 공유 시스템과 그 방법 | |
| KR20240080189A (ko) | 거리 측정 방법 및 이를 이용하는 거리 측정 장치 | |
| CN117542225A (zh) | 一种增强现实船舶辅助航行系统 | |
| CN113942623A (zh) | 一种智慧航行平台和航行方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |