[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114758504B - 一种基于滤波校正的网联车超速预警方法及系统 - Google Patents

一种基于滤波校正的网联车超速预警方法及系统 Download PDF

Info

Publication number
CN114758504B
CN114758504B CN202210661541.3A CN202210661541A CN114758504B CN 114758504 B CN114758504 B CN 114758504B CN 202210661541 A CN202210661541 A CN 202210661541A CN 114758504 B CN114758504 B CN 114758504B
Authority
CN
China
Prior art keywords
vehicle
image
point cloud
point
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210661541.3A
Other languages
English (en)
Other versions
CN114758504A (zh
Inventor
黄倩
刘云涛
李道勋
朱永东
赵志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210661541.3A priority Critical patent/CN114758504B/zh
Publication of CN114758504A publication Critical patent/CN114758504A/zh
Priority to PCT/CN2022/116972 priority patent/WO2023240805A1/zh
Application granted granted Critical
Publication of CN114758504B publication Critical patent/CN114758504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于滤波校正的网联车超速预警方法及系统，通过对激光雷达和摄像头感知数据中同一目标生成时间偏差进行估计，并利用估计的时间偏差分布，对点云目标位置进行滤波校正，实现多源目标映射对齐，解决由于时间偏差造成的点云和图像融合准确率低的问题。本发明通过标记出参考网联车在连续行驶过程中，分别在点云和图像数据中的中心点坐标，并利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像，利用映射点和在图像中的中心点的距离差，推导出目标的生成时间偏差，并设计一种置信滤波方法重新估计网联车点云目标的最优位置，实现基于点云和图像高精度融合的车辆超速识别预警，为智能网联车安全驾驶提供技术支撑。

Description

一种基于滤波校正的网联车超速预警方法及系统
技术领域
本发明涉及智能交通技术领域，尤其涉及一种基于滤波校正的网联车超速预警方法及系统。
背景技术
随着智慧交通建设的高速发展，智慧网联车相关技术逐渐发展兴起，网联车是智慧园区建设的重要部分，也是C-V2X(车路协同)技术的主要落地应用。智能网联车的安全驾驶是一个重要课题，涉及到感知、协调、决策、控制等多个方面，准确感知周围环境，控制车辆行驶速度是基本安全驾驶准则。车路协同技术通过路侧感知设备感知车辆行驶速度，进一步控制网联车安全驾驶。过去，通过毫米波雷达监测车辆行驶速度的方式，由于不能准确区分车辆而逐渐被废弃，取而代之的是通过激光雷达和摄像头融合感知的车辆行驶速度监测方法。
目前采用硬件线控触发激光雷达和摄像头的硬件时间同步，由于激光雷达、摄像头传感器曝光机制、目标运动、以太网传输时延、数据编解码等不确定因素造成两个传感器设备采集的数据帧内容并非完全同步，运动目标生成时间存在一定范围内的偏差，造成两者数据融合时同一目标不能完全对齐，由于不能准确关联同一目标，导致基于这两种感知数据融合的车辆超速检测方法检测准确率较低。因此，本发明提出一种通过对激光雷达和摄像头感知数据中同一目标生成时间偏差进行估计，并利用估计的时间偏差分布，对点云目标位置进行滤波校正，提高点云和图像融合对齐准确率，实现基于点云和图像高精度融合的车辆超速识别预警，为基于多传感器融合的网联车安全监控提供可靠的技术支撑。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于滤波校正的网联车超速预警方法及系统，解决现有的激光雷达和摄像头由于存在时间偏差同一目标不能匹配对齐，造成基于激光雷达和摄像头的多传感器融合的网联车超速预警系统检测准确度较低的问题。本发明通过标记出参考网联车在连续行驶过程中，分别在点云和图像数据中的中心点坐标，并利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像，利用映射点和在图像中的中心点的距离差，推导出目标的生成时间偏差，并根据时间偏差分布重新滤波估计点云网联车目标中心点最优位置，实现基于点云和图像高精度融合。
本发明的目的是通过以下技术方案来实现的：一种基于滤波校正的网联车超速预警方法，该方法包括以下步骤：
步骤一：选定一辆参考网联车，通过数据帧时间同步的激光雷达和摄像头采集若干帧参考网联车在连续行驶过程中的点云和图像数据，并标记出参考网联车在点云和图像数据中的中心点坐标，利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像，测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差，估计出参考网联车目标在点云和图像中的生成时间偏差，并计算时间偏差分布参数；
步骤二：实时获取道路上网联车连续行驶过程中的点云和图像数据，对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正；具体为：利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数计算置信增益，并基于置信增益重新滤波估计点云网联车目标的最优位置；
步骤三：将滤波校正后的点云网联车目标一一映射至对应的图像帧，计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差，距离差最小且小于阈值的即为其在图像中相应的匹配目标，按此方式完成所有点云和图像中网联车目标的映射匹配对齐；
步骤四：将匹配对齐后的网联车目标在点云和图像中的感知信息融合，以获取网联车的车牌号和瞬时速度，对瞬时速度超过最大限速的网联车车牌号上报至网联车云控平台同时做出超速预警，并远程控制网联车减速至安全车速。
进一步地，步骤一中，采用硬件线控方式控制激光雷达和摄像头数据帧时间同步。
进一步地，步骤一中，假设要估计的点云和图像中参考网联车目标生成时间偏差 为t，标记出的参考网联车在点云中的中心点坐标为
Figure 638564DEST_PATH_IMAGE001
、在图像中的中心点坐标为
Figure 325897DEST_PATH_IMAGE002
、朝向角为
Figure 654110DEST_PATH_IMAGE003
，计算出的瞬时速度为
Figure 59684DEST_PATH_IMAGE004
，点云中心点映射至图像上的映射点坐标为
Figure 997291DEST_PATH_IMAGE005
，测量出的参考网联车映射至图像上的映射点坐标
Figure 539130DEST_PATH_IMAGE006
和参考网联车在图像中的中 心点坐标
Figure 38245DEST_PATH_IMAGE002
的位置偏差为
Figure 665535DEST_PATH_IMAGE007
；
则参考网联车在点云中的中心点坐标
Figure 908298DEST_PATH_IMAGE001
和映射至图像上的映射点坐标
Figure 507906DEST_PATH_IMAGE006
满足如下关系：
Figure 177922DEST_PATH_IMAGE008
其中H为点云到图像的仿射变换矩阵，H矩阵维度大小为3*4，由激光雷达和摄像头 联合外参标定和摄像头内参标定得到；表示如下：其中
Figure 292509DEST_PATH_IMAGE009
为H矩阵中的元素，均为实数，
Figure 338962DEST_PATH_IMAGE010
；
Figure 356859DEST_PATH_IMAGE011
根据参考网联车瞬时行驶速度，得出参考网联车在时间偏差t内发生移动后的位 置在点云中的坐标
Figure 197776DEST_PATH_IMAGE012
分别为：
Figure 2921DEST_PATH_IMAGE013
其中
Figure 384224DEST_PATH_IMAGE014
为参考网联车的瞬时速度，
Figure 958425DEST_PATH_IMAGE015
为参考网联车发生移动后的位置坐 标；
则参考网联车发生移动后的位置坐标
Figure 970243DEST_PATH_IMAGE015
和在图像中的中心点坐标
Figure 59422DEST_PATH_IMAGE002
满足如下关系：
Figure 447678DEST_PATH_IMAGE016
因此，根据测量出的参考网联车映射至图像上的映射点坐标
Figure 673123DEST_PATH_IMAGE006
和参考网联车在 图像中的中心点坐标
Figure 625816DEST_PATH_IMAGE002
的位置偏差d，列出如下等式：
Figure 936712DEST_PATH_IMAGE017
则可推导出时间偏差t是一个和已知的仿射变换矩阵、点云中心点坐标、朝向角、瞬时速度、位置偏差相关的数值，表示如下：
Figure 66342DEST_PATH_IMAGE018
其中，大写字母A，B分别为：
Figure 208610DEST_PATH_IMAGE019
。
进一步地，参考网联车的瞬时行驶速度通过参考网联车目标在最近邻前后两帧中的中心点移动距离和帧间隔时间比值计算得出。
进一步地，计算时间偏差分布参数具体过程如下：
（1）利用Kolmogorov-Smirnov检验方法检测时间偏差是否符合正态分布；假设估 计出的时间偏差数据为N组，计算出数据的均值为
Figure 765493DEST_PATH_IMAGE020
，方差为
Figure 360423DEST_PATH_IMAGE021
，设置检测显著性水平为
Figure 293744DEST_PATH_IMAGE022
； 利用Kolmogorov-Smirnov检验方法检测数据不服从正态分布的概率，即P值，若P值小于等 于显著性水平，则时间偏差不符合正态分布，若P值大于显著性水平，则时间偏差符合正态 分布；
（2）若时间偏差符合正态分布，则其正态分布表达式记为
Figure 493781DEST_PATH_IMAGE023
；其中X表 示这N组时间偏差数据；
（3）若时间偏差不符合正态分布，则按数值大小从小到大对时间偏差数据进行排序，对数值大小处于第二四分位数和第三四分位数的之间的所有数据，计算出中位数和方差。
进一步地，步骤二中，包括以下步骤：
（1）对第k个点云网联车目标，利用深度学习检测算法检测出的中心点位置坐标为
Figure 283882DEST_PATH_IMAGE024
，朝向角为
Figure 70835DEST_PATH_IMAGE025
，置信度分数为
Figure 339005DEST_PATH_IMAGE026
, 计算出的瞬时速度为
Figure 596811DEST_PATH_IMAGE027
；
（2）根据时间偏差分布参数计算置信增益，具体为：
（2.1）若时间偏差符合正态分布，假设其正态分布表达式中的参数均值为
Figure 557814DEST_PATH_IMAGE028
，方差 为
Figure 330598DEST_PATH_IMAGE029
；则置信增益
Figure 136880DEST_PATH_IMAGE030
为：
Figure 311509DEST_PATH_IMAGE031
则基于置信增益重新滤波估计出网联车目标的点云中心点横纵坐标
Figure 443413DEST_PATH_IMAGE032
分别 为：
Figure 703493DEST_PATH_IMAGE033
（2.2）若时间偏差不符合正态分布，假设时间偏差按数值大小从小到大排序后的 第二四分位数和第三四分位数之间的数据的中位数为
Figure 812001DEST_PATH_IMAGE034
，方差为
Figure 841137DEST_PATH_IMAGE035
，则置信增益
Figure 143943DEST_PATH_IMAGE036
为：
Figure 829002DEST_PATH_IMAGE037
则基于置信增益滤波重新估计出网联车目标的点云中心点横纵坐标
Figure 242666DEST_PATH_IMAGE038
分 别为：
Figure 126308DEST_PATH_IMAGE039
（3）由于网联车为刚性物体，其位置移动并不会改变其在竖坐标即z轴的值的大 小，即基于置信增益滤波重新估计的竖坐标
Figure 600015DEST_PATH_IMAGE040
，则重新滤波估计后的网联车目标的最 优位置中心点坐标为
Figure 569108DEST_PATH_IMAGE041
。
进一步地，步骤三中，包括以下步骤：
（1）对任一位置滤波校正后的点云网联车目标，利用仿射变换矩阵，将点云中心点坐标映射至图像；
（2）计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差；
假设校正后的点云中心点映射至图像上的映射点坐标为
Figure 520883DEST_PATH_IMAGE042
，图像中第i网联车 目标的中心点坐标为
Figure 291655DEST_PATH_IMAGE043
，
Figure 936263DEST_PATH_IMAGE044
为图像中网联车目标总数；
则映射点坐标和图像中第i个网联车目标的中心点坐标的距离差
Figure 595915DEST_PATH_IMAGE045
为：
Figure 351381DEST_PATH_IMAGE046
（3）计算最小距离差，并判断最小距离差是否小于设定阈值
Figure 944037DEST_PATH_IMAGE047
；其中最小距离差 为：
Figure 759546DEST_PATH_IMAGE048
若最小距离差
Figure 703231DEST_PATH_IMAGE049
小于阈值
Figure 262388DEST_PATH_IMAGE047
，则对应的图像中网联车目标即为匹配目标；
（4）依据步骤（1）-（3），完成所有点云网联车目标和图像网联车目标的映射匹配对齐。
进一步地，步骤四中，基于图像数据利用OCR车牌号识别方法识别网联车目标在图像中的车牌号。
另一方面，本发明还提供了一种基于滤波校正的网联车超速预警系统，该系统包括时间偏差分布参数确定模块、滤波校正模块、匹配对齐模块和感知信息融合模块；
所述时间偏差分布参数确定模块用于选定一辆参考网联车，通过数据帧时间同步的激光雷达和摄像头采集若干帧参考网联车在连续行驶过程中的点云和图像数据，并标记出参考网联车在点云和图像数据中的中心点坐标，利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像，测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差，估计出参考网联车目标在点云和图像中的生成时间偏差，并计算时间偏差分布参数；
所述滤波校正模块用于实时获取道路上网联车连续行驶过程中的点云和图像数据，对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正；具体为：利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数确定模块得到的时间偏差分布参数计算置信增益，并基于置信增益重新滤波估计点云网联车目标的最优位置；
所述匹配对齐模块用于将滤波校正模块校正后的点云网联车目标一一映射至对应的图像帧，计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差，距离差最小且小于阈值的即为其在图像中相应的匹配目标，按此方式完成所有点云和图像中网联车目标的映射匹配对齐；
所述感知信息融合模块用于将匹配对齐模块匹配对齐后的网联车目标在点云和图像中的感知信息融合，以获取网联车的车牌号和瞬时速度，对瞬时速度超过最大限速的网联车车牌号信息上报至网联车云控平台同时做出超速预警，并远程控制网联车减速至安全车速。
本发明的有益效果是，本发明提出一种基于滤波校正的网联车超速预警方法及系统，采用深度学习的目标检测方法对运动的点云和图像数据中的网联车目标进行检测，通过对连续视频帧中的运动网联车位置进行滤波校正，实现对同一运动目标的融合匹配对齐，显著减少由于时间偏差造成的基于激光雷达和摄像头融合的超速检测方法准确率低的问题。其实现方法简单高效，能有效的运用于基于多传感器融合的网联车超速驾驶的安全监测，为智能网联车安全驾驶管理精准决策提供可靠技术支撑。
附图说明
图1是本发明一种基于滤波校正的网联车超速预警方法流程图。
图2是不同时间偏差下，参考网联车点云检测框映射至图像上的映射框和图像检测框的位置偏差示意图。
图3是位置校正后的点云参考网联车映射至图像的伪3D框示意图。
图4是本发明一种基于滤波校正的网联车超速预警系统结构示意图。
图5是本发明一种基于滤波校正的网联车超速预警装置结构示意图。
具体实施方式
下面根据附图详细说明本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提出了一种基于滤波校正的网联车超速预警方法，用于解决基于激光雷达和摄像头融合的网联车超速预警过程，由于运动目标在点云和图像数据中融合不完全对齐导致的检测准确率低的问题。融合方法为决策级融合方法，即通过分别检测出网联车目标在点云中的位置速度信息和在图像中的车牌号信息，再将两种数据源中的网联车目标进行匹配对齐，融合目标在两种数据源中的信息，以达到利用多源异构数据感知特点进行融合的目的。该方法包括以下步骤：
步骤一：在园区道路网联车速度监测点安装固态激光雷达和摄像头，采用硬件线控方式控制激光雷达和摄像头数据帧时间同步。
上述固态激光雷达的产品型号为大疆览沃AVIA傲览，采用非重复扫描方式，水平FOV为70.4°，竖直FOV为77.2°，一帧点云数据包含4.8万个反射点。摄像头为网络摄像头。两者同向安装在园区网联车速度监测点的竖杆上，通过硬件线控的方式控制摄像头和激光雷达同步曝光，数据采集频率均为10HZ，但是由于两个传感器的曝光机制、目标运动、以太网传输时延、数据编解码等不确定因素造成两个传感器设备采集的数据帧内容并非完全同步，导致运动目标生成时间存在一定范围内的偏差，造成两者数据融合时同一目标不能完全对齐，因此首先需估计出数据帧的时间偏差。
选定一辆参考网联车多次行驶进入固态激光雷达和摄像头的监测点，并标记出参考网联车在连续行驶过程中，分别在点云和图像数据中的中心点坐标，利用仿射变换矩阵将参考网联车在点云数据中的中心点映射至图像，测量出映射点和参考网联车在图像上的中心点坐标的位置偏差，估计出目标生成时间偏差。具体过程如下：
（1）选定一辆参考网联车多次行驶进入监测点，并采集若干帧参考网联车在连续行驶过程中的点云和图像数据，标记出参考网联车在每一帧点云和图像数据中的中心点坐标。
（2）对任一对同步数据帧，测量参考网联车点云中心点映射至图像中的映射点坐标和在图像数据中的中心点坐标的位置偏差，并基于位置偏差，估计出点云和图像数据中的目标生成时间偏差。
假设要估计的目标生成时间偏差为
Figure 975130DEST_PATH_IMAGE050
，标记出的参考网联车在点云数据中的中心 点坐标为
Figure 454216DEST_PATH_IMAGE051
，在图像数据中的中心点坐标为
Figure 885197DEST_PATH_IMAGE002
，朝向角为
Figure 982466DEST_PATH_IMAGE003
，计算出的瞬时速度为
Figure 815293DEST_PATH_IMAGE004
，点云中心点映射至图像上的映射点坐标为
Figure 910288DEST_PATH_IMAGE005
，测量出的参考网联车映射至图像上 的映射点坐标
Figure 828565DEST_PATH_IMAGE006
和参考网联车在图像中的中心点坐标
Figure 729525DEST_PATH_IMAGE002
的位置偏差为d。
则参考网联车在点云数据中的中心点坐标
Figure 151279DEST_PATH_IMAGE001
和映射至图像上的映射点坐标
Figure 479493DEST_PATH_IMAGE006
满足如下关系：
Figure 386531DEST_PATH_IMAGE008
(公式1)
其中H为点云到图像的仿射变换矩阵，H矩阵维度大小为3*4，可由激光雷达和摄像 头联合外参标定和摄像头内参标定得到，可表示如下，其中
Figure 91182DEST_PATH_IMAGE052
为H矩阵中的元素，均为实 数，
Figure 633022DEST_PATH_IMAGE053
。
Figure 132136DEST_PATH_IMAGE054
根据网联车瞬时行驶速度，可得出参考网联车在时间偏差t内发生移动后的位置 在点云中心点的坐标
Figure 759426DEST_PATH_IMAGE012
分别为：
Figure 205451DEST_PATH_IMAGE013
其中
Figure 601798DEST_PATH_IMAGE014
为参考网联车的瞬时速度，可通过网联车目标在最近邻前后两帧中的中 心点移动距离和帧间隔时间比值计算得出，
Figure 271813DEST_PATH_IMAGE055
为参考网联车发生移动后的位置坐 标，由于网联车为刚性物体，因此其竖坐标即z轴的值的大小不随车辆位置移动而改变。
则参考网联车发生移动后的位置点云中心点坐标
Figure 386400DEST_PATH_IMAGE015
和在图像数据中的中 心点坐标
Figure 665809DEST_PATH_IMAGE002
满足如下关系：
Figure 182241DEST_PATH_IMAGE016
(公式2)
因此，根据测量得到的参考网联车映射至图像上的映射点坐标
Figure 23158DEST_PATH_IMAGE006
和参考网联车 在图像数据中的中心点坐标
Figure 890620DEST_PATH_IMAGE002
的位置偏差d，可列出如下等式：
Figure 475185DEST_PATH_IMAGE017
（公式3）
根据公式（1）,（2）,（3）可推导出，时间偏差t是一个和已知的仿射变换参数、点云中心点坐标、朝向角、瞬时速度、位置偏差相关的数值，可表示如下：
Figure 49386DEST_PATH_IMAGE018
其中，大写字母
Figure 857942DEST_PATH_IMAGE056
，
Figure 884804DEST_PATH_IMAGE057
分别为：
Figure 273060DEST_PATH_IMAGE058
如图2所示，是点云中参考网联车目标未进行位置校正，不同时间偏差下，参考网联车点云检测框映射至图像上的映射框和参考网联车在图像中检测框的位置偏差，时间偏差较小时映射框和图像中检测框的重叠度较高，时间偏差较大时映射框和图像中检测框的位置偏差较大，几乎无重叠。
假设估计出的时间偏差为N组，利用Kolmogorov-Smirnov检验方法，检测时间偏差是否符合正态分布。若时间偏差符合正态分布，则求出其正态分布表达式，若不符合正态分布，则计算出按数值大小排序后的时间偏差的第二四分位数和第三四分位数之间的数据的中位数和方差。
上述Kolmogorov-Smirnov检验方法常被用于检测某数据分布是否符合某分布，此处是正态分布，通过估计出某数据分布的P值，来确定数据符合正态分布的假设是否成立，若P值大于显著性水平则认为假设成立，否则不成立。具体过程如下：
（1）利用Kolmogorov-Smirnov检验方法检测时间偏差是否符合正太分布。对N组时 间偏差数据，计算出数据的均值为
Figure 999970DEST_PATH_IMAGE059
，方差为
Figure 182689DEST_PATH_IMAGE021
，设置检测显著性水平为
Figure 24743DEST_PATH_IMAGE022
。利用 Kolmogorov-Smirnov检验方法检测该组数据不服从正态分布的概率，即P值，若P值小于等 于显著性水平，则时间偏差不符合正态分布，若P值大于显著性水平，则时间偏差符合正态 分布。其中，N值大于等于100。
（2）若时间偏差符合正态分布，则其正态分布表达式可记为
Figure 951111DEST_PATH_IMAGE023
。其中
Figure 31063DEST_PATH_IMAGE060
表示这N组时间偏差数据。
（3）若时间偏差不符合正态分布，则按数值大小从小到大对时间偏差数据进行排序，对数值大小处于第二四分位数和第三四分位数的之间的所有数据，计算出中位数和方差。
步骤二：实时获取园区道路上网联车连续行驶过程中的点云和图像数据，并检测出点云网联车目标的中心点、朝向角、置信度分数、瞬时速度，和图像网联车目标的车牌号。
具体的，对点云数据采用基于CenterPoint三维目标检测算法检测出网联车目标中心点、朝向角、置信度分数，并基于网联车目标在最近邻前后两帧中的中心点移动距离和帧间隔时间比值计算网联车的瞬时速度；采用OCR识别方法识别出图像数据中的网联车目标，并识别出网联车的车牌号。
上述三维目标检测算法包括基于图像生成、基于点云生成、基于图像点云融合生 成，此处采用基于CenterPoint网络模型的目标检测算法，仅基于点云生成，将采集的大量 点云数据进行标注，并将标注后的数据分为训练集、验证集、测试集，在训练集上训练后的 模型在测试集上的准确率mAP值高达91%，在点云数据中心50m（单位：米）范围内的目标的检 出率达95%。所述的OCR识别方法检测准确率达99%。所述朝向角值范围为
Figure 853525DEST_PATH_IMAGE061
，所述置 信度分数值范围为（0,1）。
基于置信滤波方法对检测出的点云网联车目标中心点位置进行滤波校正。即利用检测算法检测出的网联车目标的置信度分数和时间偏差分布参数计算置信增益，并基于置信增益重新滤波估计网联车目标的最优位置。具体过程如下：
（1）对第k个点云网联车目标，假设利用深度学习检测算法检测出的中心点位置坐 标为
Figure 651717DEST_PATH_IMAGE062
,朝向角为
Figure 381775DEST_PATH_IMAGE063
，置信度分数为c，计算出的瞬时速度为
Figure 316233DEST_PATH_IMAGE064
。
（2）根据时间偏差分布参数计算置信增益，具体为：
（2.1）若时间偏差符合正态分布，假设其正态分布表达式中的参数均值为
Figure 610729DEST_PATH_IMAGE065
，方 差为
Figure 896217DEST_PATH_IMAGE066
。则置信增益
Figure 164387DEST_PATH_IMAGE030
为：
Figure 484510DEST_PATH_IMAGE031
则基于置信增益重新滤波估计出网联车目标的点云中心点横纵坐标
Figure 445513DEST_PATH_IMAGE032
分别 为：
Figure 155980DEST_PATH_IMAGE067
（2.2）若时间偏差不符合正态分布，假设时间偏差按数值大小从小到大排序后的 第二四分位数和第三四分位数之间的数据的中位数为
Figure 24579DEST_PATH_IMAGE034
,方差为
Figure 402471DEST_PATH_IMAGE035
，则置信增益
Figure 268796DEST_PATH_IMAGE036
为：
Figure 30340DEST_PATH_IMAGE037
则基于置信增益滤波重新估计出网联车目标的点云中心点横纵坐标
Figure 640313DEST_PATH_IMAGE038
分 别为：
Figure 935028DEST_PATH_IMAGE068
（3）由于网联车为刚性物体，其位置移动并不会改变其在竖坐标即z轴的值的大 小，即
Figure 972255DEST_PATH_IMAGE040
，则重新滤波估计后的网联车目标的最优位置中心点坐标为
Figure 719631DEST_PATH_IMAGE069
。
步骤三：将滤波校正后的点云网联车目标一一映射至对应的图像帧，计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差，距离差最小且小于阈值的即为其在图像中相应的匹配目标，按此方式完成所有点云和图像中的网联车目标的映射匹配对齐。如图3所示，是位置校正后的点云参考网联车映射至图像的伪3D框示意图。该步骤的具体过程如下：
（1）对任一位置滤波校正后的点云网联车目标，利用仿射变换矩阵，将点云中心点坐标映射至图像。
（2）计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差。
假设其校正后的点云中心点坐标为
Figure 336557DEST_PATH_IMAGE070
，映射至图像上的映射点坐标为
Figure 220199DEST_PATH_IMAGE071
，则映射点坐标和点云中心点坐标满足如下关系：
Figure 693906DEST_PATH_IMAGE072
其中H为点云到图像的仿射变换矩阵，H矩阵维度大小为3*4，可由激光雷达和摄像 头联合外参标定和摄像头内参标定得到，可表示如下，其中
Figure 928578DEST_PATH_IMAGE052
为H矩阵中的元素，均为实 数，
Figure 113310DEST_PATH_IMAGE053
：
Figure 117038DEST_PATH_IMAGE011
假设图像中第i个网联车目标的中心点坐标为
Figure 496066DEST_PATH_IMAGE043
，
Figure 218035DEST_PATH_IMAGE044
为图像中网联车目标总数。则映射点坐标和图像中第i个网联车目标的中心点坐标 的距离差为：
Figure 973501DEST_PATH_IMAGE073
（3）计算最小距离差，并判断最小距离差是否小于设定阈值
Figure 831736DEST_PATH_IMAGE074
。其中最小距离差为：
Figure 647245DEST_PATH_IMAGE048
若最小距离差
Figure 794193DEST_PATH_IMAGE049
小于阈值
Figure 87771DEST_PATH_IMAGE047
，则相应的图像中网联车目标即为匹配目标。
（4）依据步骤（1）-（3），完成所有点云网联车目标和图像网联车目标的映射匹配对齐。
步骤四：将匹配对齐后的网联车目标在点云和图像中的感知信息融合，以获取同一目标网联车的车牌号和瞬时速度信息，将瞬时速度超过最大限速的网联车车牌号信息进行上报至网联车云控平台同时做出超速预警，并远程控制网联车减速至常规车速。最大限速为园区内规定的网联车的最大限速，为30km/h，常规车速为25km/h。
所述网联车云控平台是基于云服务器，提供网联车管理控制功能，包含每辆网联车信息并可以对具体的网联车做出远程控制。
另一方面，如图4所示，本发明还提供了一种基于滤波校正的网联车超速预警系统，该系统包括时间偏差分布参数确定模块、滤波校正模块、匹配对齐模块和感知信息融合模块；
所述时间偏差分布参数确定模块用于选定一辆参考网联车，通过数据帧时间同步的激光雷达和摄像头获取若干帧参考网联车在连续行驶过程中的点云和图像数据中的中心点坐标，利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像，测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差，估计出参考网联车目标在点云和图像中的生成时间偏差，并计算时间偏差分布参数；时间偏差分布参数确定模块的具体实现过程参考本发明提供的一种基于滤波校正的网联车超速预警方法中步骤一的细节描述。
所述滤波校正模块用于实时获取道路上网联车连续行驶过程中的点云和图像数据，对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正；具体为：利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数确定模块得到的时间偏差分布参数计算置信增益，并基于置信增益重新滤波估计点云网联车目标的最优位置；滤波校正模块的具体实现过程参考本发明提供的一种基于滤波校正的网联车超速预警方法中步骤二的细节描述。
所述匹配对齐模块用于将滤波校正模块校正后的点云网联车目标一一映射至对应的图像帧，计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差，距离差最小且小于阈值的即为其在图像中相应的匹配目标，按此方式完成所有点云和图像中网联车目标的映射匹配对齐；匹配对齐模块的具体实现过程参考本发明提供的一种基于滤波校正的网联车超速预警方法中步骤三的细节描述。
所述感知信息融合模块用于将匹配对齐模块匹配对齐后的网联车目标在点云和图像中的感知信息融合，以获取网联车的车牌号和瞬时速度，对瞬时速度超过最大限速的网联车车牌号信息上报至网联车云控平台同时做出超速预警，并远程控制网联车减速至安全车速。感知信息融合模块的具体实现过程参考本发明提供的一种基于滤波校正的网联车超速预警方法中步骤四的细节描述。
与前述基于滤波校正的网联车超速预警方法的实施例相对应，本发明还提供了基于滤波校正的网联车超速预警装置的实施例。
参见图5，本发明实施例提供的一种基于滤波校正的网联车超速预警装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的基于滤波校正的网联车超速预警方法。
本发明基于滤波校正的网联车超速预警装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明基于滤波校正的网联车超速预警装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于滤波校正的网联车超速预警方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种基于滤波校正的网联车超速预警方法，其特征在于，该方法包括以下步骤：
步骤一：选定一辆参考网联车，通过数据帧时间同步的激光雷达和摄像头采集若干帧参考网联车在连续行驶过程中的点云和图像数据，并标记出参考网联车在点云和图像数据中的中心点坐标，利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像，测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差，估计出参考网联车目标在点云和图像中的生成时间偏差，并计算时间偏差分布参数；具体为：
假设要估计的点云和图像中参考网联车目标生成时间偏差为t，标记出的参考网联车在点云中的中心点坐标为
Figure DEST_PATH_IMAGE002
、在图像中的中心点坐标为
Figure DEST_PATH_IMAGE004
、朝向角为
Figure DEST_PATH_IMAGE006
，计算出的瞬时速度为
Figure DEST_PATH_IMAGE008
，点云中心点映射至图像上的映射点坐标为
Figure DEST_PATH_IMAGE010
，测量出的参考网联车映射至图像上的映射点坐标
Figure DEST_PATH_IMAGE012
和参考网联车在图像中的中心点坐标
Figure DEST_PATH_IMAGE013
的位置偏差为
Figure DEST_PATH_IMAGE015
；
则参考网联车在点云中的中心点坐标
Figure DEST_PATH_IMAGE016
和映射至图像上的映射点坐标
Figure DEST_PATH_IMAGE017
满足如下关系：
Figure DEST_PATH_IMAGE019
其中H为点云到图像的仿射变换矩阵，H矩阵维度大小为3*4，由激光雷达和摄像头联合外参标定和摄像头内参标定得到；表示如下：其中
Figure DEST_PATH_IMAGE021
为H矩阵中的元素，均为实数，
Figure DEST_PATH_IMAGE023
；
Figure DEST_PATH_IMAGE025
根据参考网联车瞬时行驶速度，得出参考网联车在时间偏差
Figure DEST_PATH_IMAGE027
内发生移动后的位置在点云中的坐标
Figure DEST_PATH_IMAGE029
分别为：
Figure DEST_PATH_IMAGE031
其中
Figure DEST_PATH_IMAGE033
为参考网联车的瞬时速度，
Figure DEST_PATH_IMAGE035
为参考网联车发生移动后的位置坐标；
则参考网联车发生移动后的位置坐标
Figure 722622DEST_PATH_IMAGE035
和在图像中的中心点坐标
Figure 108604DEST_PATH_IMAGE013
满足如下关系：
Figure DEST_PATH_IMAGE037
因此，根据测量出的参考网联车映射至图像上的映射点坐标
Figure 481817DEST_PATH_IMAGE017
和参考网联车在图像中的中心点坐标
Figure DEST_PATH_IMAGE038
的位置偏差d，列出如下等式：
Figure DEST_PATH_IMAGE040
则可推导出时间偏差
Figure 172299DEST_PATH_IMAGE027
是一个和已知的仿射变换矩阵、点云中心点坐标、朝向角、瞬时速度、位置偏差相关的数值，表示如下：
Figure DEST_PATH_IMAGE042
其中，大写字母A，B分别为：
Figure DEST_PATH_IMAGE044
计算时间偏差分布参数具体过程如下：
利用Kolmogorov-Smirnov检验方法检测时间偏差是否符合正态分布；假设估计出的时间偏差数据为N组，计算出数据的均值为
Figure DEST_PATH_IMAGE046
，方差为
Figure DEST_PATH_IMAGE048
，设置检测显著性水平为
Figure DEST_PATH_IMAGE050
；利用Kolmogorov-Smirnov检验方法检测数据不服从正态分布的概率，即P值，若P值小于等于显著性水平，则时间偏差不符合正态分布，若P值大于显著性水平，则时间偏差符合正态分布；
若时间偏差符合正态分布，则其正态分布表达式记为
Figure DEST_PATH_IMAGE052
，其中X表示这N组时间偏差数据，时间偏差分布参数为均值和方差；
若时间偏差不符合正态分布，则按数值大小从小到大对时间偏差数据进行排序，对数值大小处于第二四分位数和第三四分位数的之间的所有数据，计算出中位数和方差，时间偏差分布参数为中位数和方差；
步骤二：实时获取道路上网联车连续行驶过程中的点云和图像数据，对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正；具体为：利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数计算置信增益，并基于置信增益重新滤波估计点云网联车目标的最优位置；包括以下步骤：
（2.1）对第k个点云网联车目标，利用深度学习检测算法检测出的中心点位置坐标为
Figure DEST_PATH_IMAGE054
，朝向角为
Figure DEST_PATH_IMAGE056
，置信度分数为
Figure DEST_PATH_IMAGE058
, 计算出的瞬时速度为
Figure DEST_PATH_IMAGE060
；
（2.2）根据时间偏差分布参数计算置信增益，具体为：
（2.2.1）若时间偏差符合正态分布，假设其正态分布表达式中的参数均值为
Figure DEST_PATH_IMAGE062
，方差为
Figure DEST_PATH_IMAGE064
；则置信增益
Figure DEST_PATH_IMAGE066
为：
Figure DEST_PATH_IMAGE068
则基于置信增益重新滤波估计出网联车目标的点云中心点横纵坐标
Figure DEST_PATH_IMAGE070
分别为：
Figure DEST_PATH_IMAGE072
（2.2.2）若时间偏差不符合正态分布，假设时间偏差按数值大小从小到大排序后的第二四分位数和第三四分位数之间的数据的中位数为
Figure DEST_PATH_IMAGE074
，方差为
Figure DEST_PATH_IMAGE076
，则置信增益
Figure DEST_PATH_IMAGE078
为：
Figure DEST_PATH_IMAGE080
则基于置信增益滤波重新估计出网联车目标的点云中心点横纵坐标
Figure DEST_PATH_IMAGE082
分别为：
Figure DEST_PATH_IMAGE084
（2.3）由于网联车为刚性物体，其位置移动并不会改变其在竖坐标即z轴的值的大小，即基于置信增益滤波重新估计的竖坐标
Figure DEST_PATH_IMAGE086
，则重新滤波估计后的网联车目标的最优位置中心点坐标为
Figure DEST_PATH_IMAGE088
；步骤三：将滤波校正后的点云网联车目标一一映射至对应的图像帧，计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差，距离差最小且小于阈值的即为其在图像中相应的匹配目标，按此方式完成所有点云和图像中网联车目标的映射匹配对齐；
步骤四：将匹配对齐后的网联车目标在点云和图像中的感知信息融合，以获取网联车的车牌号和瞬时速度，对瞬时速度超过最大限速的网联车车牌号上报至网联车云控平台同时做出超速预警，并远程控制网联车减速至安全车速。
2.根据权利要求1所述的一种基于滤波校正的网联车超速预警方法，其特征在于，步骤一中，采用硬件线控方式控制激光雷达和摄像头数据帧时间同步。
3.根据权利要求1所述的一种基于滤波校正的网联车超速预警方法，其特征在于，参考网联车的瞬时行驶速度通过参考网联车目标在最近邻前后两帧中的中心点移动距离和帧间隔时间比值计算得出。
4.根据权利要求1所述的一种基于滤波校正的网联车超速预警方法，其特征在于，步骤三中，包括以下步骤：
（1）对任一位置滤波校正后的点云网联车目标，利用仿射变换矩阵，将点云中心点坐标映射至图像；
（2）计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差；
假设校正后的点云中心点映射至图像上的映射点坐标为
Figure DEST_PATH_IMAGE090
，图像中第i网联车目标的中心点坐标为
Figure DEST_PATH_IMAGE092
，
Figure DEST_PATH_IMAGE094
为图像中网联车目标总数；
则映射点坐标和图像中第i个网联车目标的中心点坐标的距离差
Figure DEST_PATH_IMAGE096
为：
Figure DEST_PATH_IMAGE098
（3）计算最小距离差，并判断最小距离差是否小于设定阈值
Figure DEST_PATH_IMAGE100
；其中最小距离差为：
Figure DEST_PATH_IMAGE102
若最小距离差
Figure DEST_PATH_IMAGE104
小于阈值
Figure DEST_PATH_IMAGE100A
，则对应的图像中网联车目标即为匹配目标；
（4）依据步骤（1）-（3），完成所有点云网联车目标和图像网联车目标的映射匹配对齐。
5.根据权利要求1所述的一种基于滤波校正的网联车超速预警方法，其特征在于，步骤四中，基于图像数据利用OCR车牌号识别方法识别网联车目标在图像中的车牌号。
6.一种基于滤波校正的网联车超速预警系统，其特征在于，该系统包括时间偏差分布参数确定模块、滤波校正模块、匹配对齐模块和感知信息融合模块；
所述时间偏差分布参数确定模块用于选定一辆参考网联车，通过数据帧时间同步的激光雷达和摄像头采集若干帧参考网联车在连续行驶过程中的点云和图像数据，并标记出参考网联车在点云和图像数据中的中心点坐标，利用仿射变换矩阵将参考网联车在点云中的中心点映射至图像，测量出图像上的映射点和参考网联车在图像上的中心点坐标的位置偏差，估计出参考网联车目标在点云和图像中的生成时间偏差，并计算时间偏差分布参数；具体为：
假设要估计的点云和图像中参考网联车目标生成时间偏差为t，标记出的参考网联车在点云中的中心点坐标为
Figure DEST_PATH_IMAGE105
、在图像中的中心点坐标为
Figure 440467DEST_PATH_IMAGE013
、朝向角为
Figure DEST_PATH_IMAGE006A
，计算出的瞬时速度为
Figure 558203DEST_PATH_IMAGE008
，点云中心点映射至图像上的映射点坐标为
Figure 559657DEST_PATH_IMAGE010
，测量出的参考网联车映射至图像上的映射点坐标
Figure 352032DEST_PATH_IMAGE017
和参考网联车在图像中的中心点坐标
Figure 755332DEST_PATH_IMAGE013
的位置偏差为
Figure DEST_PATH_IMAGE015A
；
则参考网联车在点云中的中心点坐标
Figure 545433DEST_PATH_IMAGE016
和映射至图像上的映射点坐标
Figure 158817DEST_PATH_IMAGE017
满足如下关系：
Figure 364671DEST_PATH_IMAGE019
其中H为点云到图像的仿射变换矩阵，H矩阵维度大小为3*4，由激光雷达和摄像头联合外参标定和摄像头内参标定得到；表示如下：其中
Figure 982996DEST_PATH_IMAGE021
为H矩阵中的元素，均为实数，
Figure 147261DEST_PATH_IMAGE023
；
Figure 857728DEST_PATH_IMAGE025
根据参考网联车瞬时行驶速度，得出参考网联车在时间偏差
Figure 991906DEST_PATH_IMAGE027
内发生移动后的位置在点云中的坐标
Figure 104219DEST_PATH_IMAGE029
分别为：
Figure DEST_PATH_IMAGE106
其中
Figure 767281DEST_PATH_IMAGE033
为参考网联车的瞬时速度，
Figure 230624DEST_PATH_IMAGE035
为参考网联车发生移动后的位置坐标；
则参考网联车发生移动后的位置坐标
Figure 43859DEST_PATH_IMAGE035
和在图像中的中心点坐标
Figure 135312DEST_PATH_IMAGE038
满足如下关系：
Figure 208091DEST_PATH_IMAGE037
因此，根据测量出的参考网联车映射至图像上的映射点坐标
Figure 752204DEST_PATH_IMAGE017
和参考网联车在图像中的中心点坐标
Figure 369131DEST_PATH_IMAGE038
的位置偏差d，列出如下等式：
Figure 190456DEST_PATH_IMAGE040
则可推导出时间偏差
Figure 726480DEST_PATH_IMAGE027
是一个和已知的仿射变换矩阵、点云中心点坐标、朝向角、瞬时速度、位置偏差相关的数值，表示如下：
Figure DEST_PATH_IMAGE107
其中，大写字母A，B分别为：
Figure 492310DEST_PATH_IMAGE044
计算时间偏差分布参数具体过程如下：
利用Kolmogorov-Smirnov检验方法检测时间偏差是否符合正态分布；假设估计出的时间偏差数据为N组，计算出数据的均值为
Figure DEST_PATH_IMAGE046A
，方差为
Figure 476709DEST_PATH_IMAGE048
，设置检测显著性水平为
Figure DEST_PATH_IMAGE050A
；利用Kolmogorov-Smirnov检验方法检测数据不服从正态分布的概率，即P值，若P值小于等于显著性水平，则时间偏差不符合正态分布，若P值大于显著性水平，则时间偏差符合正态分布；
若时间偏差符合正态分布，则其正态分布表达式记为
Figure DEST_PATH_IMAGE108
；其中X表示这N组时间偏差数据，时间偏差分布参数为均值和方差；
若时间偏差不符合正态分布，则按数值大小从小到大对时间偏差数据进行排序，对数值大小处于第二四分位数和第三四分位数的之间的所有数据，计算出中位数和方差，时间偏差分布参数为中位数和方差；
所述滤波校正模块用于实时获取道路上网联车连续行驶过程中的点云和图像数据，对任一点云帧中检测出的点云网联车目标通过置信滤波方法对点云中心点位置进行滤波校正；具体为：利用检测算法检测出的点云网联车目标的置信度分数和时间偏差分布参数确定模块得到的时间偏差分布参数计算置信增益，并基于置信增益重新滤波估计点云网联车目标的最优位置；具体如下：
对第k个点云网联车目标，利用深度学习检测算法检测出的中心点位置坐标为
Figure DEST_PATH_IMAGE109
，朝向角为
Figure 73913DEST_PATH_IMAGE056
，置信度分数为
Figure DEST_PATH_IMAGE058A
, 计算出的瞬时速度为
Figure 249679DEST_PATH_IMAGE060
；
根据时间偏差分布参数计算置信增益，具体为：
若时间偏差符合正态分布，假设其正态分布表达式中的参数均值为
Figure 643751DEST_PATH_IMAGE062
，方差为
Figure 602480DEST_PATH_IMAGE064
；则置信增益
Figure DEST_PATH_IMAGE066A
为：
Figure 83883DEST_PATH_IMAGE068
则基于置信增益重新滤波估计出网联车目标的点云中心点横纵坐标
Figure 102655DEST_PATH_IMAGE070
分别为：
Figure DEST_PATH_IMAGE110
若时间偏差不符合正态分布，假设时间偏差按数值大小从小到大排序后的第二四分位数和第三四分位数之间的数据的中位数为
Figure 843078DEST_PATH_IMAGE074
，方差为
Figure 605498DEST_PATH_IMAGE076
，则置信增益
Figure 255922DEST_PATH_IMAGE078
为：
Figure 39070DEST_PATH_IMAGE080
则基于置信增益滤波重新估计出网联车目标的点云中心点横纵坐标
Figure DEST_PATH_IMAGE111
分别为：
Figure DEST_PATH_IMAGE112
由于网联车为刚性物体，其位置移动并不会改变其在竖坐标即z轴的值的大小，即基于置信增益滤波重新估计的竖坐标
Figure 502675DEST_PATH_IMAGE086
，则重新滤波估计后的网联车目标的最优位置中心点坐标为
Figure DEST_PATH_IMAGE113
；
所述匹配对齐模块用于将滤波校正模块校正后的点云网联车目标一一映射至对应的图像帧，计算每一个点云网联车目标的中心点在图像中的映射点坐标和图像中任一网联车目标中心点坐标的距离差，距离差最小且小于阈值的即为其在图像中相应的匹配目标，按此方式完成所有点云和图像中网联车目标的映射匹配对齐；
所述感知信息融合模块用于将匹配对齐模块匹配对齐后的网联车目标在点云和图像中的感知信息融合，以获取网联车的车牌号和瞬时速度，对瞬时速度超过最大限速的网联车车牌号信息上报至网联车云控平台同时做出超速预警，并远程控制网联车减速至安全车速。
CN202210661541.3A 2022-06-13 2022-06-13 一种基于滤波校正的网联车超速预警方法及系统 Active CN114758504B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210661541.3A CN114758504B (zh) 2022-06-13 2022-06-13 一种基于滤波校正的网联车超速预警方法及系统
PCT/CN2022/116972 WO2023240805A1 (zh) 2022-06-13 2022-09-05 一种基于滤波校正的网联车超速预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210661541.3A CN114758504B (zh) 2022-06-13 2022-06-13 一种基于滤波校正的网联车超速预警方法及系统

Publications (2)

Publication Number Publication Date
CN114758504A CN114758504A (zh) 2022-07-15
CN114758504B true CN114758504B (zh) 2022-10-21

Family

ID=82337228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210661541.3A Active CN114758504B (zh) 2022-06-13 2022-06-13 一种基于滤波校正的网联车超速预警方法及系统

Country Status (2)

Country Link
CN (1) CN114758504B (zh)
WO (1) WO2023240805A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758504B (zh) * 2022-06-13 2022-10-21 之江实验室 一种基于滤波校正的网联车超速预警方法及系统
CN114937081B (zh) * 2022-07-20 2022-11-18 之江实验室 基于独立非均匀增量采样的网联车位置估计方法及装置
CN115272493B (zh) * 2022-09-20 2022-12-27 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN118124536B (zh) * 2024-05-06 2024-08-16 江苏大块头智驾科技有限公司 一种无人驾驶车辆制动装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112817A (zh) * 2021-04-13 2021-07-13 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于车联网和跟驰行为的隧道车辆定位和预警系统及其方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7395073B2 (en) * 2003-06-05 2008-07-01 Ntt Docomo Inc. Method and apparatus for location estimation using region of confidence filtering
CN105549050B (zh) * 2015-12-04 2017-11-28 合肥工业大学 一种基于模糊置信度滤波的北斗变形监测定位方法
CN106228570B (zh) * 2016-07-08 2019-04-09 百度在线网络技术（北京）有限公司 一种真值数据确定方法和装置
DE102016013028A1 (de) * 2016-11-02 2018-05-03 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur genauen Lagebestimmung von pfeilartigen Objekten relativ zu Oberflächen
CN107564069B (zh) * 2017-09-04 2020-09-29 北京京东尚科信息技术有限公司 标定参数的确定方法、装置及计算机可读存储介质
US10430970B2 (en) * 2017-12-04 2019-10-01 GM Global Technology Operations LLC Detection and recalibration for a camera system using lidar data
CN108932736B (zh) * 2018-05-30 2022-10-11 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN108983248A (zh) * 2018-06-26 2018-12-11 长安大学 一种基于3d激光雷达及v2x的网联车定位方法
CN109147370A (zh) * 2018-08-31 2019-01-04 南京锦和佳鑫信息科技有限公司 一种智能网联车的高速公路控制系统和特定路径服务方法
CN110243358B (zh) * 2019-04-29 2023-01-03 武汉理工大学 多源融合的无人车室内外定位方法及系统
CN110942449B (zh) * 2019-10-30 2023-05-23 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN110850403B (zh) * 2019-11-18 2022-07-26 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法
CN114078145A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 盲区数据处理方法、装置、计算机设备和存储介质
CN114076918A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 毫米波雷达、激光雷达与相机联合标定方法和装置
CN112085801B (zh) * 2020-09-08 2024-03-19 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
CN113092807B (zh) * 2021-04-21 2024-05-14 上海浦江桥隧运营管理有限公司 基于多目标跟踪算法的城市高架道路车辆测速方法
CN114359181B (zh) * 2021-12-17 2024-01-26 上海应用技术大学 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN114545434A (zh) * 2022-01-13 2022-05-27 燕山大学 一种路侧视角测速方法、系统、电子设备及存储介质
CN114612795A (zh) * 2022-03-02 2022-06-10 南京理工大学 基于激光雷达点云的路面场景目标识别方法
CN114758504B (zh) * 2022-06-13 2022-10-21 之江实验室 一种基于滤波校正的网联车超速预警方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112817A (zh) * 2021-04-13 2021-07-13 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于车联网和跟驰行为的隧道车辆定位和预警系统及其方法

Also Published As

Publication number Publication date
CN114758504A (zh) 2022-07-15
WO2023240805A1 (zh) 2023-12-21

Similar Documents

Publication Publication Date Title
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
US10949684B2 (en) Vehicle image verification
CN112132896B (zh) 一种轨旁设备状态检测方法及系统
CN107609486A (zh) 一种车辆前向防撞预警方法及系统
CN112149550A (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN114526745A (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
CN115731268A (zh) 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法
CN110197106A (zh) 物件标示系统及方法
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
CN111612818A (zh) 新型双目视觉多目标跟踪方法及系统
CN116415202A (zh) 一种多源数据融合方法、系统、电子设备及存储介质
CN114119763B (zh) 一种用于自动驾驶车辆的Lidar标定方法及装置
CN117215316B (zh) 基于协同控制与深度学习的驾驶环境感知的方法和系统
CN116958842B (zh) 基于激光-视觉融合的地下管线的巡检方法及装置
CN114219852A (zh) 一种用于自动驾驶车辆的多传感器标定方法及装置
CN113160299B (zh) 基于卡尔曼滤波的车辆视频测速方法和计算机可读存储介质
CN114690230A (zh) 一种基于视觉惯性slam的自动驾驶车辆导航方法
CN115205397A (zh) 一种基于计算机视觉和位姿估计的车辆时空信息识别方法
US20230025579A1 (en) High-definition mapping
CN114943945B (zh) 一种基于遮罩投影的远距离目标检测方法
CN117268424B (zh) 一种多传感器融合的自动驾驶寻线方法及装置
CN117784797B (zh) 基于视觉图像和激光雷达的水下智能机器人导航避障方法
Tsaregorodtsev et al. Automated Automotive Radar Calibration with Intelligent Vehicles
RU2775822C1 (ru) Способы и системы для обработки данных лидарных датчиков

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant