CN112634354A - 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 - Google Patents
基于路侧传感器的网联自动驾驶行车风险评估方法与装置 Download PDFInfo
- Publication number
- CN112634354A CN112634354A CN202011518996.7A CN202011518996A CN112634354A CN 112634354 A CN112634354 A CN 112634354A CN 202011518996 A CN202011518996 A CN 202011518996A CN 112634354 A CN112634354 A CN 112634354A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- target
- image
- roadside
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012502 risk assessment Methods 0.000 title claims abstract description 20
- 230000006855 networking Effects 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 14
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 8
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000008447 perception Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于路侧传感器的网联自动驾驶行车风险评估方法与装置,该方法包括:步骤1,获取图像坐标系与GNSS大地坐标系之间的对应关系;步骤2,通过路侧传感器获取其所能覆盖范围的交通场景中的路侧感知数据,路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度;步骤3,将步骤2中的目标检测框转换成GNSS大地坐标系中的目标位置;步骤4,根据步骤2获得的所有目标类型,获取每一种目标类型的交通参与者的等效权重参数;步骤5,计算所有目标对该自动驾驶车辆所产生的风险。本发明能够通过路侧传感器信息对道路区域的交通风险分布进行计算,有效进行安全评估。
Description
技术领域
本发明涉及自动驾驶技术技术领域,特别是关于一种基于路侧传感器的网联自动驾驶行车风险评估方法与装置。
背景技术
随着自动驾驶技术的飞速发展,为使车辆的感知与决策能力得到提升,构建更加安全、可靠、智能的行车环境,将自动驾驶车辆与智能路侧传感器结合的技术思路成为一种趋势。
现有智能路侧设备主要完成路侧环境感知,或者将路侧感知数据与智能车进行简单的信息融合,例如:通过路侧传感器,对道路的交通参与者状态进行感知,将处理的信息通过网联技术发送给该区域的智能车辆,车辆接收到信息后,仅进行一些简单的判断工作(盲区预警)。同时,路侧传感器感知数据,与自动驾驶车辆的坐标系并不统一,无法有效帮助自动驾驶系统进行有效的安全决策,而且实施起来较为困难或是效果达不到预期。
发明内容
本发明的目的在于提供一种基于路侧传感器的网联自动驾驶行车风险评估方法与装置来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的,本发明提供一种基于路侧传感器的网联自动驾驶行车风险评估方法,该方法包括:
步骤1,获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系;
步骤2,通过路侧传感器获取其所能覆盖范围的交通场景中的路侧感知数据,路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度;
步骤3,根据步骤1获得的图像坐标系与GNSS大地坐标系之间的对应关系,将步骤2中的目标检测框转换成GNSS大地坐标系中的目标位置;
步骤4,根据步骤2获得的所有目标类型,获取每一种目标类型的交通参与者的等效权重参数;
步骤5,计算所有目标对该自动驾驶车辆所产生的风险。
进一步地,步骤1中的“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1):
其中,对应为GNSS大地坐标系中的坐标,对应为图像坐标系中的坐标,Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵,Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵,Wi表示齐次坐标的中间参数。
进一步地,Mt的获取方法具体包括:
步骤11,在路侧传感器的图像可覆盖区域内的道路真实交通场景中设置四个可连成矩形的点,其在原始图像Is所对应的图像坐标系中的像素坐标点记为第一标记点:Pi s={(us1,vs1),...(us4,vs4)};
步骤12,在目标图像It所在的图像坐标系中设置四个可连成矩形的第二标记点Pi t={(ut1,vt1),...(ut4,vt4)},使第二标记点与第一标记点之间的坐标值满足如下式(2)提供的透视变换关系,计算式(3)提供的透视变换矩阵Mt中8个未知参数:
其中:
进一步地,Mg的获取方法具体包括:
步骤13,在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点,其在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi={(u1,v1),(u2,v2),...(un,vn)},在大地坐标系中的坐标值表示为Pt G={(xt1 G,yt1 G),(xt2 G,yt2 G),...(xtn G,ytn G)};
步骤14,利用透视变换矩阵Mt和式(6),得到第三标记点在目标图像It所对应的图像坐标系中的坐标值Pt={(ut 1,vt 1),(ut 2,vt 2),...(ut n,vt n)};
Pt=(1/Wi)(MtPi) (6)
步骤15,根据式(7)提供的Pt与Pt G中对应点满足的变换关系,计算Mg:
进一步地,步骤4中所有目标类型的交通参与者的等效权重参数集合N={N1,N2,...,Nm},其中,Ni表示第i种目标类型的交通参与者的等效权重参数,i=1,...,m;
步骤5具体包括:
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8):
其中,k1表示根据实际的道路交通场景标定得到的大于0的常数,|rj|为j点与该静止物体之间的距离;
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9):
其中,k2为根据实际的道路交通场景标定得到的大于0的常数,θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角,v表示运动物体的运动速度。
进一步地,Ni的计算公式为式(10):
Ni=αMi+βVi (10)
其中,
α+β=1 (11)
Mi表示第i种类型的交通参与者的质量,Vi表示第i种类型的交通参与者的易受伤程度系数。
本发明还提供一种基于路侧传感器的网联自动驾驶行车风险评估装置,该装置包括:
标定单元,其用于获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系;
路侧传感器,其用于获取其所能覆盖范围的交通场景中的路侧感知数据,路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度;
坐标转换单元,其用于根据标定单元获得的图像坐标系与GNSS大地坐标系之间的对应关系,将路侧传感器中的目标检测框转换成GNSS大地坐标系中的目标位置;
第一计算单元,其用于根据路侧传感器获得的所有目标类型,获取每一种目标类型的交通参与者的等效权重参数;
第二计算单元,计算所有目标对该自动驾驶车辆所产生的风险;
其中,“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1):
其中,对应为GNSS大地坐标系中的坐标,对应为图像坐标系中的坐标,Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵,Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵,Wi表示齐次坐标的中间参数。
进一步地,Mt的获取方法具体包括:
步骤11,在路侧传感器的图像可覆盖区域内的道路真实交通场景中设置四个可连成矩形的点,其在原始图像Is所对应的图像坐标系中的像素坐标点记为第一标记点:Pi s={(us1,vs1),...(us4,vs4)};
步骤12,在目标图像It所在的图像坐标系中设置四个可连成矩形的第二标记点Pi t={(ut1,vt1),...(ut4,vt4)},使第二标记点与第一标记点之间的坐标值满足如下式(2)提供的透视变换关系,计算式(3)提供的透视变换矩阵Mt中8个未知参数:
其中:
进一步地,Mg的获取方法具体包括:
步骤13,在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点,其在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi={(u1,v1),(u2,v2),...(un,vn)},在大地坐标系中的坐标值表示为Pt G={(xt1 G,yt1 G),(xt2 G,yt2 G),,..(xtn G,ytn G)};
步骤14,利用透视变换矩阵Mt和式(6),得到第三标记点在目标图像It所对应的图像坐标系中的坐标值Pt={(ut 1,vt 1),(ut 2,vt 2),...(ut n,vt n)};
Pt=(1/Wi)(MtPi) (6)
步骤15,根据式(7)提供的Pt与Pt G中对应点满足的变换关系,计算Mg:
进一步地,第一计算单元中所有目标类型的交通参与者的等效权重参数集合N={N1,N2,...,Nm},其中,Ni表示第i种目标类型的交通参与者的等效权重参数,i=1,...,m;
第二计算单元具体包括:
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8):
其中,k1表示根据实际的道路交通场景标定得到的大于0的常数,|rj|为j点与该静止物体之间的距离;
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9):
其中,k2为根据实际的道路交通场景标定得到的大于0的常数,θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角,v表示运动物体的运动速度。
本发明将提出一种适用于网联自动驾驶车辆的路侧风险评估的方法与装置,通过路侧传感器信息对道路区域的交通风险分布进行计算,有效进行安全评估,将环境感知上升为风险认知,从而有效提高智能车的安全驾驶能力,更加适用于复杂的交通场景。
附图说明
图1为本发明实施例的基于路侧传感器的网联自动驾驶车辆行车风险评估的原理示意图。
图2为本发明实施例提供的通过设置第一标记点进行透视变换的示意图。
图3为本发明实施例提供的在摄像头图像所覆盖区域设置第三标记点的示意图。
图4为本发明实施例提供的静止物体产生的风险分布示意图。
图5为本发明实施例提供的静止物体产生的风险分布示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
路侧传感器:在本实施例中主要包含路侧摄像头和路侧激光雷达等常见传感器,通常固定在路侧,对特定道路区域进行相应感知。其中:摄像头感知数据主要为图像信息。激光雷达传感数据主要为测距信息,通常以点云表示。路侧感知数据主要包括交通参与者的目标检测框、目标类型、目标运动朝向和目标速度等信息。目标检测框和目标类型主要通过图像检测算法获得,目标类型主要指小型汽车、公交、火车、行人、骑车人、路障等表示其属性的分类。目标运动朝向和目标速度则可以通过激光雷达测得。
网联自动驾驶车辆:主要指通过高精度全局定位系统定位,通过定位信息在规划好的行车路径上通过感知、决策与控制实现自动驾驶的网联智能车辆。
图像坐标系:指路侧摄像头所拍摄图像所在的平面坐标系,通常呈现为像素u-v坐标系,(u,v)表示图像上第u行第v列的像素位置。
GNSS大地坐标系:其原始信息为(经度,纬度),通过大地投影转换后表示为(x,y)。
如图1所示,本发明实施例提供的基于路侧传感器的网联自动驾驶行车风险评估方法包括:
步骤1,获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系。
步骤1中的“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1):
其中,对应为GNSS大地坐标系中的坐标,对应为图像坐标系中的坐标,Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵,Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵,Wi表示齐次坐标的中间参数。
对于路侧摄像头捕获的图像hj,运用目标检测算法,可检测到各交通参与者的目标类型以及其图像坐标系下的目标检测框,目标检测框通常用{u,v,w,h}进行表示,其中:(u,v)表示目标检测框在原图中一点(例如:左下点),(w,h)表示该目标检测框的宽度与高度。可以根据路侧摄像头角度适当取该目标检测框范围内一点,比如目标检测框的几何中心或者检测框下边缘线的中点,作为该交通参与者的质心位置,再利用式(1),便可以获取该交通参与者的质心在大地坐标系中的坐标值,即目标在GNSS大地坐标系中的位置,进而可以获得该交通参与者与自动驾驶车辆所处相应道路交通场景中的任意一点之间的距离。
通过以上步骤,路侧感知数据由{目标检测框、目标类型、目标运动朝向、目标速度等}转换为了{GNSS大地坐标系中的目标位置、目标类型、目标运动朝向、目标速度等}。此时,当前检测的目标信息与GNSS大地坐标系一致,可直接供自动驾驶车辆使用。
上述实施例中,由于路侧摄像头的成像会存在透视变形(例如:近大远小),需要将获取的图像进行透视变换。如图2所示,将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵Mt的获取方法具体包括:
步骤11,在路侧传感器的图像可覆盖区域内的道路真实交通场景中设置四个可连成矩形的点,其分别在路侧摄像头拍摄的原始图像Is上呈现为四个第一标记点A,连接呈非矩形结构。第一标记点A在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi s={(us1,vs1),...(us4,vs4)}。
步骤12,在目标图像It设置四个可连成矩形的第二标记点B,第二标记点B在图像坐标系中记作为:Pi t={(ut1,vt1),...(ut4,vt4)}。为了将第一标记点A对应的图像上的点变换到第二标记点B的位置,第二标记点B与第一标记点A之间的坐标值需要满足如下式(2)提供的透视变换关系。利用第二标记点B与第一标记点A的坐标值以及式(4)和(5),通过四组点对展开得八组方程,计算式(3)提供的透视变换矩阵Mt中8个未知参数以及Wi:
其中:
此时,如图2所示,可通过透视变换矩阵Mt,可将原图Is变换为一张消除了透视变换的目标图像It,也就是说,经由透视变换矩阵后的图像相应地由路侧视角转为了鸟瞰视角。
上述实施例中,Mg的获取方法具体包括:
步骤13,在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点C,如图1所示,路侧摄像头图像所覆盖区域为一个十字路口,黑色圆点为实际道路上被设置的第三标记点C。
四个第三标记点C在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi={(u1,v1),(u2,v2),...(un,vn)}。
可以利用差分GPS设备,测得各第一标记点在大地坐标系中的坐标值表示为Pt G={(xt1 G,yt1 G),(xt2 G,yt2 G),...(xtn G,ytn G)}。
步骤14,利用式(3)提供的透视变换矩阵Mt和式(6),得到第三标记点C在目标图像It所对应的图像坐标系中的坐标值Pt=(1/Wi)(MtPi),可以表示为:Pt={(ut 1,vt 1),(ut 2,vt 2),...(ut n,vt n)};
Pt=(1/Wi)(MtPi) (6)
步骤15,根据式(7)提供的Pt与Pt G中对应点满足的变换关系,计算Mg:
其中,Mg为3*3矩阵,可通过选取Pt与Pt G中任意三组对应点对,进行计算,为使得误差最小,可遍历对应点选取的排列组合,选择出使得||Pi G-MgPt||误差最小的Mg。
通过步骤1,将路侧感知设备坐标系(例如:图像坐标系)与自动驾驶车辆使用的GNSS大地坐标系标定的方法,进而解决了路侧感知数据不能直接供自动驾驶系统使用的问题。
路侧感知设备一般为固定设备,其覆盖检测范围不变。在位姿不变的情况下,本发明的坐标标定方法只需操作一次即可,之后在实际应用中便可以持续使用该标定结果。
步骤2,通过路侧传感器获取自动驾驶车辆所处相应道路交通场景中的路侧感知数据,路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度。
步骤3,根据步骤1获得的图像坐标系与自动驾驶车辆可使用的GNSS大地坐标系之间的对应关系,将步骤2中的目标检测框转换成GNSS大地坐标系中的目标位置,进而获得该交通参与者与自动驾驶车辆所处相应道路交通场景中的任意一点之间的距离。
步骤4,根据步骤3获得的所有目标类型,获取每一种目标类型的交通参与者的等效权重参数。
步骤4中所有目标类型的交通参与者的等效权重参数集合N={N1,N2,...,Nm},其中,Ni表示第i种目标类型的交通参与者的等效权重参数,i=1,...,m;
Ni的计算公式为式(10):
Ni=αMi+βVi (10)
其中,
α+β=1 (11)
Mi表示第i种类型的交通参与者的质量,Vi表示第i种类型的交通参与者的易受伤程度系数。
道路交通场景中,每一个交通参与者都会对周围区域产生一定的风险。根据感知数据类型,定义N={N1,N2,...,Nm},代表公交、汽车、卡车、行人、骑车人等m类物体的等效权重参数。等效权重参数的作用由于在同一运动状态下,不同类型的物体产生的风险不一样,其数值大小标定要符合客观规律。例如运动状态一样的情况下,公交车产生的风险将大于普通小汽车产生的风险,因此N1>N2,依此类推。
等效权重取值方式通常需要基于不同物体的质量Mi和易受伤程度Vi等因素,按照如下方式取值:
Ni=αMi+βVi
其中,Vi根据是否容易收到伤害进行经验取值,以如下类别来说,{卡车、公交、汽车、骑车人、行人}可依次取Vi={100,200,300,400,500}。
因为Mi是质量,差异会很大,卡车可以达到好几吨,骑车人可能100千克左右。仅考虑Mi,会使得小型交通参与者产生的风险被淹没。同时,小型交通参与者(行人、骑车人等),属于道路易受伤害群体,在衡量风险的时候需要特定考虑。因此,需要将Vi按照一个梯度取值,由于该量级差异达不到Mi的差异级别,因此需要通过调整α、β两个权重来减小由于质量量级造成的差异,满足风险大小符合客观规律。α、β为待定权重,其和等于1。
步骤5,计算所有目标对该自动驾驶车辆所产生的风险。
交通参与者的运动状态,对该自动驾驶车辆所产生的风险的影响较大:
(一)对于静止的交通参与者(例如:固定路障,停止的车辆等),越接近该物体,受到其风险的影响越大。
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8):
其中,k1表示根据实际的道路交通场景标定得到的大于0的常数,需要根据实际的交通场景(高速、城市道路等)进行相应的标定,以经验可取范围在(0,2]之间。
|rj|为j点与该静止交通参与者之间的距离,其可以根据步骤3获得的自动驾驶车辆可使用的GNSS大地坐标系下的交通参与者的目标位置确定得到。
t通常取(0,3)之间的常数,表示该风险随距离变化的影响程度。静止物体产生的风险分布将会是一组风险等高线为原型的分布,如图4所示。
(二)对于运动的交通参与者,其风险与其运动状态有关。例如:运动车辆在车头前方产生的风险将大于车尾后方产生的风险。
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9):
其中,k2为根据实际的道路交通场景标定得到的大于0的常数,需要根据实际的交通场景(高速、城市道路等)进行相应的标定,以经验可取范围在(0,2]之间。
|rj|为j点与该运动交通参与者之间的距离,其可以根据步骤3获得的自动驾驶车辆可使用的GNSS大地坐标系下的交通参与者的目标位置确定得到。
θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角,cosθ则使得风险分布趋向与物体的运动方向(实线箭头)符合,如图5所示。
v表示运动物体的运动速度。
t通常可取(0,3)之间的常数,表示该风险随距离变化的影响程度。
(三)对于所有的N个路侧感知数据,通过以上方法,分别计算各个物体在该区域产生的风险分布{R1,......,Rn},将风险叠加起来,就可以得到整个道路的风险分布:
上述实施例将环境路侧感知数据进一步计算为风险认知信息,解决在复杂行车环境下,现有自动驾驶技术难以安全决策的问题。
本发明还提供一种基于路侧传感器的网联自动驾驶行车风险评估装置,该装置包括:标定单元、路侧传感器、坐标转换单元、第一计算单元和第二计算单元。
其中:
标定单元用于获取图像坐标系与GNSS大地坐标系之间的对应关系。
路侧传感器用于获取自动驾驶车辆所处相应道路交通场景中的路侧感知数据,路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度。
坐标转换单元用于根据标定单元获得的图像坐标系与自动驾驶车辆可使用的GNSS大地坐标系之间的对应关系,将路侧传感器中的目标检测框转换成GNSS大地坐标系中的目标位置。
第一计算单元用于根据路侧传感器获得的所有目标类型,获取每一种目标类型的交通参与者的等效权重参数。
第二计算单元,计算所有目标对该自动驾驶车辆所产生的风险;
其中,“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1):
其中,对应为GNSS大地坐标系中的坐标,对应为图像坐标系中的坐标,Mt表示用于将路侧感知数据从路侧视角下的原始图像转换为鸟瞰视角下的目标图像的透视变换矩阵,Mg表示用于将目标图像从图像坐标系转换为GNSS大地坐标系的变换矩阵,Wi表示中间参数。
在一个实施例中,第一计算单元中所有目标类型的交通参与者的等效权重参数集合N={N1,N2,...,Nm},其中,Ni表示第i种目标类型的交通参与者的等效权重参数,i=1,...,m。
第二计算单元具体包括:
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8):
其中,k1表示根据实际的道路交通场景标定得到的大于0的常数,需要根据实际的交通场景(高速、城市道路等)进行相应的标定,以经验可取范围在(0,2]之间。
|rj|为j点与该静止交通参与者之间的距离,其可以根据步骤3获得的自动驾驶车辆可使用的GNSS大地坐标系下的交通参与者的目标位置确定得到。
t通常取(0,3)之间的常数,表示该风险随距离变化的影响程度。静止物体产生的风险分布将会是一组风险等高线为原型的分布,如图4所示。
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9):
其中,k2为根据实际的道路交通场景标定得到的大于0的常数,需要根据实际的交通场景(高速、城市道路等)进行相应的标定,以经验可取范围在(0,2]之间。
|rj|为j点与该运动交通参与者之间的距离,其可以根据步骤3获得的自动驾驶车辆可使用的GNSS大地坐标系下的交通参与者的目标位置确定得到。
θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角,cosθ则使得风险分布趋向与物体的运动方向(实线箭头)符合,如图5所示。
v表示运动物体的运动速度。
t通常可取(0,3)之间的常数,表示该风险随距离变化的影响程度。
需要说明的是,交通参与者对自动驾驶车辆产生的风险、以及Mt、Mg和Ni,除了上述实施例之外,还可以采用现有方法中获得,在此不再赘述。
通过本发明提出的方法,在复杂交通场景下,通过路侧传感器感知区域内的所有交通参与者的目标位置,并通过所提出的坐标转换方法得到GNSS大地坐标系下的真实位置,将每一个目标产生的分析依据其属性分开独立考虑,最后通过叠加得到整个道路区域的风险分布情况。该风险分布相比较与传统的根据碰撞时间与空间的方法来说,不但能体现危险程度,还能体现道路区域哪里风险值高,哪里风险值较低。通过设定合理的风险安全阈值,保障自动驾驶汽车当前行驶位置风险值小于等于风险安全阈值,可以有效的实现复杂场景下,自动驾驶车辆风险辨识的准确性,提高决策的可靠性与安全性。
本发明的技术方案,最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于路侧传感器的网联自动驾驶行车风险评估方法,其特征在于,包括:
步骤1,获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系;
步骤2,通过路侧传感器获取其所能覆盖范围的交通场景中的路侧感知数据,路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度;
步骤3,根据步骤1获得的图像坐标系与GNSS大地坐标系之间的对应关系,将步骤2中的目标检测框转换成GNSS大地坐标系中的目标位置;
步骤4,根据步骤2获得的所有目标类型,获取每一种目标类型的交通参与者的等效权重参数;
步骤5,计算所有目标对该自动驾驶车辆所产生的风险。
4.如权利要求3所述的基于路侧传感器的网联自动驾驶行车风险评估方法,其特征在于,Mg的获取方法具体包括:
步骤13,在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点,其在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi={(u1,v1),(u2,v2),…(un,vn)},在大地坐标系中的坐标值表示为Pt G={(xt1 G,yt1 G),(xt2 G,yt2 G),…(xtn G,ytn G)};
步骤14,利用透视变换矩阵Mt和式(6),得到第三标记点在目标图像It所对应的图像坐标系中的坐标值Pt={(ut 1,vt 1),(ut 2,vt 2),…(ut n,vt n)};
Pt=(1/Wi)(MtPi) (6)
步骤15,根据式(7)提供的Pt与Pt G中对应点满足的变换关系,计算Mg:
5.如权利要求1至4中任一项所述的基于路侧传感器的网联自动驾驶行车风险评估方法,其特征在于,步骤4中所有目标类型的交通参与者的等效权重参数集合N={N1,N2,…,Nm},其中,Ni表示第i种目标类型的交通参与者的等效权重参数,i=1,…,m;
步骤5具体包括:
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8):
其中,k1表示根据实际的道路交通场景标定得到的大于0的常数,|rj|为j点与该静止物体之间的距离;
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9):
其中,k2为根据实际的道路交通场景标定得到的大于0的常数,θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角,v表示运动物体的运动速度。
6.如权利要求5所述的基于路侧传感器的网联自动驾驶行车风险评估方法,其特征在于,Ni的计算公式为式(10):
Ni=αMi+βVi (10)
其中,
α+β=1 (11)
Mi表示第i种类型的交通参与者的质量,Vi表示第i种类型的交通参与者的易受伤程度系数。
7.一种基于路侧传感器的网联自动驾驶行车风险评估装置,其特征在于,包括:
标定单元,其用于获取图像坐标系与可供自动驾驶车辆使用的GNSS大地坐标系之间的对应关系;
路侧传感器,其用于获取其所能覆盖范围的交通场景中的路侧感知数据,路侧感知数据包括图像坐标系中的目标检测框、目标类型、目标运动朝向和目标速度;
坐标转换单元,其用于根据标定单元获得的图像坐标系与GNSS大地坐标系之间的对应关系,将路侧传感器中的目标检测框转换成GNSS大地坐标系中的目标位置;
第一计算单元,其用于根据路侧传感器获得的所有目标类型,获取每一种目标类型的交通参与者的等效权重参数;
第二计算单元,计算所有目标对该自动驾驶车辆所产生的风险;
其中,“图像坐标系与GNSS大地坐标系之间的对应关系”表示为式(1):
9.如权利要求8所述的基于路侧传感器的网联自动驾驶行车风险评估装置,其特征在于,Mg的获取方法具体包括:
步骤13,在摄像头图像可覆盖区域内的道路真实交通场景中设置n个第三标记点,其在原始图像Is所对应的图像坐标系中的像素坐标值表示为Pi={(u1,v1),(u2,v2),…(un,vn)},在大地坐标系中的坐标值表示为Pt G={(xt1 G,yt1 G),(xt2 G,yt2 G),…(xtn G,ytn G)};
步骤14,利用透视变换矩阵Mt和式(6),得到第三标记点在目标图像It所对应的图像坐标系中的坐标值Pt={(ut 1,vt 1),(ut 2,vt 2),…(ut n,vt n)};
Pt=(1/Wi)(MtPi) (6)
步骤15,根据式(7)提供的Pt与Pt G中对应点满足的变换关系,计算Mg:
10.如权利要求7至9中任一项所述的基于路侧传感器的网联自动驾驶行车风险评估装置,其特征在于,第一计算单元中所有目标类型的交通参与者的等效权重参数集合N={N1,N2,…,Nm},其中,Ni表示第i种目标类型的交通参与者的等效权重参数,i=1,…,m;
第二计算单元具体包括:
第i种类型的静止的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(8):
其中,k1表示根据实际的道路交通场景标定得到的大于0的常数,|rj|为j点与该静止物体之间的距离;
第i种类型的运动的交通参与者对自动驾驶车辆所处相应道路交通场景中的j点产生的风险表示为式(9):
其中,k2为根据实际的道路交通场景标定得到的大于0的常数,θ表示运动物体的运动方向相对于自动驾驶车辆的纵向行驶方向的夹角,v表示运动物体的运动速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011518996.7A CN112634354B (zh) | 2020-12-21 | 2020-12-21 | 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011518996.7A CN112634354B (zh) | 2020-12-21 | 2020-12-21 | 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112634354A true CN112634354A (zh) | 2021-04-09 |
CN112634354B CN112634354B (zh) | 2021-08-13 |
Family
ID=75320796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011518996.7A Active CN112634354B (zh) | 2020-12-21 | 2020-12-21 | 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112634354B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114537385A (zh) * | 2022-03-09 | 2022-05-27 | 重庆长安汽车股份有限公司 | 一种基于交通目标感知结果的危险目标筛选方法 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217615A (zh) * | 2014-09-16 | 2014-12-17 | 武汉理工大学 | 一种基于车路协同的行人防碰撞系统和方法 |
CN107590438A (zh) * | 2017-08-16 | 2018-01-16 | 中国地质大学(武汉) | 一种智能辅助驾驶方法及系统 |
CN108010360A (zh) * | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
CN108573357A (zh) * | 2018-05-08 | 2018-09-25 | 清华大学 | 基于等效力的行车风险实时评估方法及其装置 |
CN109444936A (zh) * | 2018-10-18 | 2019-03-08 | 南京天辰礼达电子科技有限公司 | 一种利用gnss和倾角传感器确定斗尖坐标的方法 |
CN109714421A (zh) * | 2018-12-28 | 2019-05-03 | 国汽(北京)智能网联汽车研究院有限公司 | 基于车路协同的智能网联汽车运行系统 |
CN109931926A (zh) * | 2019-04-04 | 2019-06-25 | 山东智翼航空科技有限公司 | 一种基于站心坐标系的小型无人机无缝自主式导航算法 |
CN109974713A (zh) * | 2019-04-26 | 2019-07-05 | 安阳全丰航空植保科技股份有限公司 | 一种基于地表特征群的导航方法及系统 |
CN110009765A (zh) * | 2019-04-15 | 2019-07-12 | 合肥工业大学 | 一种自动驾驶车辆场景数据系统及场景格式转化方法 |
CN110103952A (zh) * | 2019-04-29 | 2019-08-09 | 北京百度网讯科技有限公司 | 辅助车辆驾驶的方法、设备、介质和系统 |
CN110414831A (zh) * | 2019-07-24 | 2019-11-05 | 清华大学 | 基于驾驶人认知视角的人车路耦合风险评估方法及装置 |
CN110673182A (zh) * | 2019-09-29 | 2020-01-10 | 清华大学 | 一种gnss高精度快速定位方法及装置 |
WO2020059220A1 (ja) * | 2018-09-21 | 2020-03-26 | 日立建機株式会社 | 座標変換システム及び作業機械 |
CN111354182A (zh) * | 2018-12-20 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 一种辅助驾驶方法和系统 |
CN111489585A (zh) * | 2020-03-04 | 2020-08-04 | 昆明理工大学 | 一种基于边缘计算的车辆行人碰撞避免方法 |
CN111554088A (zh) * | 2020-04-13 | 2020-08-18 | 重庆邮电大学 | 一种多功能v2x智能路侧基站系统 |
CN111738071A (zh) * | 2020-05-15 | 2020-10-02 | 南京航空航天大学 | 一种基于单目摄像机的运动变化的逆透视变换方法 |
CN111783502A (zh) * | 2019-04-03 | 2020-10-16 | 长沙智能驾驶研究院有限公司 | 基于车路协同的视觉信息融合处理方法、装置及存储介质 |
CN111824128A (zh) * | 2019-03-29 | 2020-10-27 | 本田技研工业株式会社 | 车辆控制系统 |
CN111862197A (zh) * | 2019-04-30 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 视频监控中的目标跟踪方法、系统及球机 |
CN112017251A (zh) * | 2020-10-19 | 2020-12-01 | 杭州飞步科技有限公司 | 标定方法、装置、路侧设备和计算机可读存储介质 |
CN112101209A (zh) * | 2020-09-15 | 2020-12-18 | 北京百度网讯科技有限公司 | 用于路侧计算设备的确定世界坐标点云的方法和装置 |
-
2020
- 2020-12-21 CN CN202011518996.7A patent/CN112634354B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217615A (zh) * | 2014-09-16 | 2014-12-17 | 武汉理工大学 | 一种基于车路协同的行人防碰撞系统和方法 |
CN107590438A (zh) * | 2017-08-16 | 2018-01-16 | 中国地质大学(武汉) | 一种智能辅助驾驶方法及系统 |
CN108010360A (zh) * | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
CN108573357A (zh) * | 2018-05-08 | 2018-09-25 | 清华大学 | 基于等效力的行车风险实时评估方法及其装置 |
WO2020059220A1 (ja) * | 2018-09-21 | 2020-03-26 | 日立建機株式会社 | 座標変換システム及び作業機械 |
CN109444936A (zh) * | 2018-10-18 | 2019-03-08 | 南京天辰礼达电子科技有限公司 | 一种利用gnss和倾角传感器确定斗尖坐标的方法 |
CN111354182A (zh) * | 2018-12-20 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 一种辅助驾驶方法和系统 |
CN109714421A (zh) * | 2018-12-28 | 2019-05-03 | 国汽(北京)智能网联汽车研究院有限公司 | 基于车路协同的智能网联汽车运行系统 |
CN111824128A (zh) * | 2019-03-29 | 2020-10-27 | 本田技研工业株式会社 | 车辆控制系统 |
CN111783502A (zh) * | 2019-04-03 | 2020-10-16 | 长沙智能驾驶研究院有限公司 | 基于车路协同的视觉信息融合处理方法、装置及存储介质 |
CN109931926A (zh) * | 2019-04-04 | 2019-06-25 | 山东智翼航空科技有限公司 | 一种基于站心坐标系的小型无人机无缝自主式导航算法 |
CN110009765A (zh) * | 2019-04-15 | 2019-07-12 | 合肥工业大学 | 一种自动驾驶车辆场景数据系统及场景格式转化方法 |
CN109974713A (zh) * | 2019-04-26 | 2019-07-05 | 安阳全丰航空植保科技股份有限公司 | 一种基于地表特征群的导航方法及系统 |
CN110103952A (zh) * | 2019-04-29 | 2019-08-09 | 北京百度网讯科技有限公司 | 辅助车辆驾驶的方法、设备、介质和系统 |
CN111862197A (zh) * | 2019-04-30 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 视频监控中的目标跟踪方法、系统及球机 |
CN110414831A (zh) * | 2019-07-24 | 2019-11-05 | 清华大学 | 基于驾驶人认知视角的人车路耦合风险评估方法及装置 |
CN110673182A (zh) * | 2019-09-29 | 2020-01-10 | 清华大学 | 一种gnss高精度快速定位方法及装置 |
CN111489585A (zh) * | 2020-03-04 | 2020-08-04 | 昆明理工大学 | 一种基于边缘计算的车辆行人碰撞避免方法 |
CN111554088A (zh) * | 2020-04-13 | 2020-08-18 | 重庆邮电大学 | 一种多功能v2x智能路侧基站系统 |
CN111738071A (zh) * | 2020-05-15 | 2020-10-02 | 南京航空航天大学 | 一种基于单目摄像机的运动变化的逆透视变换方法 |
CN112101209A (zh) * | 2020-09-15 | 2020-12-18 | 北京百度网讯科技有限公司 | 用于路侧计算设备的确定世界坐标点云的方法和装置 |
CN112017251A (zh) * | 2020-10-19 | 2020-12-01 | 杭州飞步科技有限公司 | 标定方法、装置、路侧设备和计算机可读存储介质 |
Non-Patent Citations (5)
Title |
---|
CHUNXIANG WANG等: "Automatic Parking Based on a Bird"s Eye View Vision System", 《SAGE JOURNALS》 * |
MARKUS SCHREIBER等: "LaneLoc: Lane marking based localization using highly accurate maps", 《2013 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 * |
MENE_痴痴: "逆透视矩阵原理以及应用(平视图转鸟瞰图、俯视图)", 《CSDN:HTTPS://BLOG.CSDN.NET/WEIXIN_44409075/ARTICLE/DETAILS/97892652"》 * |
朱誉品: "基于MEMS传感器的组合导航系统研究", 《中国优秀硕士学位论文全文数据库·信息科技辑》 * |
邹博维: "基于多传感器的车辆局部交通环境感知", 《中国优秀硕士学位论文全文数据库·工程科技Ⅱ辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114537385A (zh) * | 2022-03-09 | 2022-05-27 | 重庆长安汽车股份有限公司 | 一种基于交通目标感知结果的危险目标筛选方法 |
CN114537385B (zh) * | 2022-03-09 | 2024-05-07 | 重庆长安汽车股份有限公司 | 一种基于交通目标感知结果的危险目标筛选方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112634354B (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022141910A1 (zh) | 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法 | |
CN109829386B (zh) | 基于多源信息融合的智能车辆可通行区域检测方法 | |
CN111448478B (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
CN102208036B (zh) | 车辆位置检测系统 | |
CN106240458B (zh) | 一种基于车载双目相机的车辆前方碰撞预警方法 | |
EP2372304B1 (en) | Vehicle position recognition system | |
EP2372308B1 (en) | Image processing system and vehicle control system | |
CN108692719B (zh) | 物体检测装置 | |
CN111291676A (zh) | 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 | |
CN108229366A (zh) | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 | |
CN111967360B (zh) | 基于车轮的目标车辆姿态检测方法 | |
US9969399B2 (en) | Vehicle and method of controlling the vehicle | |
US20060111841A1 (en) | Method and apparatus for obstacle avoidance with camera vision | |
CN108256413A (zh) | 可通行区域检测方法及装置、存储介质、电子设备 | |
CN101734214A (zh) | 汽车防撞行人智能装置与方法 | |
CN111915883A (zh) | 一种基于车载摄像的道路交通状况检测方法 | |
CN111272139B (zh) | 一种基于单目视觉的车辆长度测量方法 | |
CN110751693B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
CN108121941A (zh) | 一种基于监控设备的目标物速度计算方法 | |
Hsu et al. | Design and implementation of an intelligent road detection system with multisensor integration | |
CN115440034B (zh) | 一种基于摄像头的车路协同实现方法及实现系统 | |
CN112634354B (zh) | 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 | |
CN113435224A (zh) | 用于获取车辆3d信息的方法和装置 | |
Franke et al. | Towards holistic autonomous obstacle detection in railways by complementing of on-board vision with UAV-based object localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |