[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113296107B - 传感器协同检测拖挂角度的方法、系统、设备及存储介质 - Google Patents

传感器协同检测拖挂角度的方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113296107B
CN113296107B CN202110698841.4A CN202110698841A CN113296107B CN 113296107 B CN113296107 B CN 113296107B CN 202110698841 A CN202110698841 A CN 202110698841A CN 113296107 B CN113296107 B CN 113296107B
Authority
CN
China
Prior art keywords
sensor
coordinate system
point
pixel
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110698841.4A
Other languages
English (en)
Other versions
CN113296107A (zh
Inventor
谭黎敏
孙作雷
饶兵兵
顾荣琦
姜康韻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xijing Technology Co ltd
Original Assignee
Shanghai Xijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xijing Technology Co ltd filed Critical Shanghai Xijing Technology Co ltd
Priority to CN202110698841.4A priority Critical patent/CN113296107B/zh
Publication of CN113296107A publication Critical patent/CN113296107A/zh
Application granted granted Critical
Publication of CN113296107B publication Critical patent/CN113296107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了传感器协同检测拖挂角度的方法、系统、设备及存储介质，该方法包括以下步骤：通过设置第一传感器进行空间扫描获得第一空间坐标系，至少将获得地面点云信息投影到俯视平面坐标系；通过第二传感器拍摄拖挂朝向拖头的端面，获得第二空间坐标系和实时图像，实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系；对实时图像进行图像识别，获得拖头的端面的图像区域；将位于图像区域中的像素点各自对应的第一空间坐标进行平面拟合获得一垂直平面；将垂直平面投影到俯视平面坐标系，基于垂直平面与车辆行驶方向获得拖挂角度。本发明能够准确检测拖头与拖挂之间的拖挂角度，不需要额外设备，降低了整体成本。

Description

传感器协同检测拖挂角度的方法、系统、设备及存储介质
技术领域
本发明属于机器视觉领域，尤其涉及一种传感器协同检测拖挂角度的方法、系统、设备及存储介质。
背景技术
拖挂车主要用于承担长途运输作业或特殊设备的运输作业。随着这些车辆的体积和重量越来越大，尤其是车辆长度尺寸的增大，对车辆的载重量和总轴距要求日益增大。
所周知地，根据车辆设计理论中的阿克曼原理，为了使得车辆顺利转向，需要使得车辆的所有车轮瞬时绕一个转动中心(即转向中心)转动，这样在转向时所有车轮才能处于纯滚动或基本纯滚动状态，否则将造成车轮侧滑，轻则轮胎磨损加剧，重则导致侧翻。需要注意的是，为了简化分析，在车辆设计理论中对于车辆转向系统转向中心的分析，均是采用类似俯视形式的原理分析图，忽略前后车桥的高度差异、形状差异等因素，各个车轮的转轴、前后车轴等均简化为直线形式。对于通常的四轮车辆而言，例如前轮转向、后轮驱动的车辆，通过转向梯形的设计，可以容易地使得转向过程中各个车轮的转轴交汇于一点(即转向中心)，由于后桥左、右车轮不转向，其转轴均为后车轴，一般是左前车轮和右前车轮的转轴延伸交汇于后车轴的延伸线上的一点(即转向中心)。但是，由于拖挂车具有多根车轴，其各个车轮在转向时难以同时绕同一转向中心转动。
现有技术的大型车辆，例如拖挂车通过挂车简单加长以后，其通过性会受到严重影响，最小转弯半径一般大大增加，具体地，在拖挂车转弯时，牵引车与挂车之间形成折角，其行驶轨迹具有较大的偏移，容易侵占相邻的车道，例如如果缺乏合理设计的转向系统和转向控制方法，拖挂车在转向过程中容易发生甩尾，其危害性远高于普通汽车。而且，现有技术中的这些拖挂车，更普遍的缺陷是转向时车轮易侧滑、轮胎易磨损，车辆行驶不稳定，容易发生事故，甚至会造成拖挂车不能正常行驶。目前，为了实时监测拖车的拖头与拖挂之间的角度，需要加装额外的检测装置，成本很高。
因此，本发明提供了一种传感器协同检测拖挂角度的方法、系统、设备及存储介质。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供传感器协同检测拖挂角度的方法、系统、设备及存储介质，克服了现有技术的困难，能够基于拖车的现有传感器设备准确检测拖头与拖挂之间的拖挂角度，不需要增加额外的设备，大大降低了整体成本。
本发明的实施例提供一种传感器协同检测拖挂角度的方法，包括以下步骤：
S110、通过设置在拖头的至少一第一传感器进行空间扫描获得第一空间坐标系，至少将获得地面点云信息投影到俯视平面坐标系；
S120、通过设置在拖头朝向拖挂一侧的具有像素测距功能的第二传感器拍摄所述拖挂朝向所述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系；
S130、对所述实时图像进行图像识别，获得所述拖头的端面的图像区域；
S140、将位于所述图像区域中的像素点各自对应的第一空间坐标进行平面拟合获得一垂直平面；
S150、将所述垂直平面投影到所述俯视平面坐标系，基于所述垂直平面与车辆行驶方向获得拖挂角度。
优选地，所述步骤S110中，所述第一传感器是激光雷达传感器，对所述激光雷达传感器获得的点云数据进行平面拟合获得地面在第一空间坐标系中地面的坐标点的集合，根据所述地面的坐标点的集合建立基于地面的俯视平面坐标系。
优选地，所述第一空间坐标系中包括一预设的车辆行驶方向，并将所述车辆行驶方向投影到俯视平面坐标系中。
优选地，所述步骤S120中，所述第二传感器的每个像素包括图像采集单元和红外测距单元，每个所述像素获得色彩值和距离值。
优选地，所述步骤S120中，所述第二传感器的双目图像传感器，通过两个传感器之间的视差矩阵获得每个像素对应的距离值。
优选地，所述步骤S130中，包括：
S131、通过神经网络对所述实时图像进行图像识别，获得每个像素的识别标签；
S132、对所述识别标签为集装箱端面的所有像素点建立外轮廓；
S133、将所述外轮廓所围的图像区域作为所述集装箱端面在所述实时图像中的图像区域。
优选地，所述步骤S140中，包括：
S141、将位于所述图像区域中的所有像素组成端面像素集合；
S142、将所述端面像素集合中每个像素对应的第二空间中测距点的空间坐标转换到所述第一空间坐标系；
S143、在所述第一空间中建立一拟合平面，所述拟合平面垂直于地面，且满足所述图像区域中的所有像素点对应的第一空间中的空间坐标到所述垂直平面的距离的总和最小。
优选地，所述步骤S150中，包括：
S151、将所述第一空间坐标中的垂直平面投影到所述俯视平面坐标系获得投影线段；
S152、基于所述俯视平面坐标系获得所述投影线段的中垂线；
S153、通过基于所述俯视平面坐标系求得所述中垂线与预设车辆行驶方向之间的夹角，将所述夹角作为拖挂角度。
优选地，所述步骤S150中还包括：将所述拖挂角度储存于车机。
优选地，所述步骤S150之后还包括以下步骤：
S170、基于车体上一时刻的拖挂角度t0和实时车机参数，预测车体下一时刻的拖挂角度t1，
t1＝t0+Delta t＝t0+S/d sin(t0-h0)，
其中，S为车头移动的距离，d为车头到拖挂后轮中心的距离，t0 为上一时刻的拖挂角度，h0为上一时刻的拖头角度。
优选地，所述步骤S150之后、步骤S170之前还包括以下步骤：
S160、获得实时车机参数，所述实时车机参数包括在上一时刻与下一时刻之间的车头移动的距离S，车头到拖挂后轮中心的预设距离d，上一时刻的拖头角度h0。
优选地，两个所述第一传感器分别设置于车头的两侧，所述第二传感器设置于所述拖头朝向拖挂一侧的中央。
优选地，所述第一空间坐标系与所述第二空间坐标系预先经过坐标系标定。
优选地，所述第二传感器被分时复用：
当拖车装载集装箱时，所述第二传感器工作于第一状态，所述第二传感器拍摄所述拖挂朝向所述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系，发送到车机。
当拖车装空载时，所述第二传感器工作于第二状态，所述第二传感器拍摄后方的车辆，生成关于后车的点云数据，发送到车机。
优选地，所述拖挂设有侦测集装箱的感器，当检测到集装箱时，驱动所述第二传感器工作于第一状态；当未检测到集装箱时，驱动所述第二传感器工作于第二状态。
本发明的实施例还提供一种传感器协同检测拖挂角度的系统，用于实现上述的传感器协同检测拖挂角度的方法，传感器协同检测拖挂角度的系统包括：
空间扫描模块，通过设置在拖头的至少一第一传感器进行空间扫描获得第一空间坐标系，至少将获得地面点云信息投影到俯视平面坐标系；
图像获取模块，通过设置在拖头朝向拖挂一侧的具有像素测距功能的第二传感器拍摄所述拖挂朝向所述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系；
图像识别模块，对所述实时图像进行图像识别，获得所述拖头的端面的图像区域；
平面拟合模块，将位于所述图像区域中的像素点各自对应的第一空间坐标进行平面拟合获得一垂直平面；
角度侦测模块，将所述垂直平面投影到所述俯视平面坐标系，基于所述垂直平面与车辆行驶方向获得拖挂角度。
本发明的实施例还提供一种传感器协同检测拖挂角度的设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述传感器协同检测拖挂角度的方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述传感器协同检测拖挂角度的方法的步骤。
本发明的传感器协同检测拖挂角度的方法、系统、设备及存储介质，能够基于拖车的现有传感器设备准确检测拖头与拖挂之间的拖挂角度，不需要增加额外的设备，大大降低了整体成本。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的传感器协同检测拖挂角度的方法的流程图。
图2是使用本发明的传感器协同检测拖挂角度的方法拖车直行时的俯视图。
图3是使用本发明的传感器协同检测拖挂角度的方法拖车转弯时的俯视图。
图4是图3中的局部放大图。
图5是使用本发明的传感器协同检测拖挂角度的方法过程中实时拍摄的图像画面的示意图。
图6是使用本发明的传感器协同检测拖挂角度的方法过程中拟合平面的示意图。
图7是使用本发明的传感器协同检测拖挂角度的方法过程中俯视平面坐标系的示意图。
图8是本发明的传感器协同检测拖挂角度的系统的结构示意图
图9本发明的传感器协同检测拖挂角度的设备的结构示意图。以及图10是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 拖头
11 车辆行驶方向
2 拖挂
3 第二传感器
30 图像画面
31 测距点
32 拟合平面
33 投影线段
34 中垂线
35 外轮廓
4 第一传感器
41 俯视平面坐标系
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的传感器协同检测拖挂角度的方法的流程图。如图1 所示，本发明传感器协同检测拖挂角度的方法，包括以下步骤：
S110、通过设置在拖头的至少一第一传感器进行空间扫描获得第一空间坐标系，至少将获得地面点云信息投影到俯视平面坐标系。
S120、通过设置在拖头朝向拖挂一侧的具有像素测距功能的第二传感器拍摄上述拖挂朝向上述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系。
S130、对上述实时图像进行图像识别，获得上述拖头的端面的图像区域。
S140、将位于上述图像区域中的像素点各自对应的第一空间坐标进行平面拟合获得一垂直平面。
S150、将上述垂直平面投影到上述俯视平面坐标系，基于上述垂直平面与车辆行驶方向获得拖挂角度。
在一个优选实施例中，上述步骤S110中，上述第一传感器是激光雷达传感器，对上述激光雷达传感器获得的点云数据进行平面拟合获得地面在第一空间坐标系中地面的坐标点的集合，根据上述地面的坐标点的集合建立基于地面的俯视平面坐标系，但不以此为限。
在一个优选实施例中，上述第一空间坐标系中包括一预设的车辆行驶方向，并将上述车辆行驶方向投影到俯视平面坐标系中，但不以此为限。
在一个优选实施例中，上述步骤S120中，上述第二传感器的每个像素包括图像采集单元和红外测距单元，每个上述像素获得色彩值和距离值，但不以此为限。
在一个优选实施例中，上述步骤S120中，上述第二传感器的双目图像传感器，通过两个传感器之间的图像的差异来获得每个像素对应的距离值，但不以此为限。本发明中使用现有的基于双目图像传感器基于左传感器与右传感器获得的视差矩阵，来计算其中每个像素的对应距离的方法，此处不再赘述。
在一个优选实施例中，上述步骤S130中，包括：
S131、通过神经网络对上述实时图像进行图像识别，获得每个像素的识别标签。
S132、对上述识别标签为集装箱端面的所有像素点建立外轮廓。
S133、将上述外轮廓所围的图像区域作为上述集装箱端面在上述实时图像中的图像区域，但不以此为限。
在一个优选实施例中，上述步骤S140中，包括：
S141、将位于上述图像区域中的所有像素组成端面像素集合。
S142、将上述端面像素集合中每个像素对应的第二空间中测距点的空间坐标转换到上述第一空间坐标系。
S143、在上述第一空间中建立一拟合平面，上述拟合平面垂直于地面，且满足上述图像区域中的所有像素点对应的第一空间中的空间坐标到上述垂直平面的距离的总和最小，但不以此为限。
在一个优选实施例中，上述步骤S150中，包括：
S151、将上述第一空间坐标中的垂直平面投影到上述俯视平面坐标系获得投影线段。
S152、基于上述俯视平面坐标系获得上述投影线段的中垂线。
S153、通过基于上述俯视平面坐标系求得上述中垂线与预设车辆行驶方向之间的夹角，将上述夹角作为拖挂角度，但不以此为限。
在一个优选实施例中，上述步骤S150中还包括：将上述拖挂角度储存于车机，但不以此为限。
在一个优选实施例中，上述步骤S150之后还包括以下步骤：
S170、基于车体上一时刻的拖挂角度t0和实时车机参数，预测车体下一时刻的拖挂角度t1，
t1＝t0+Delta t＝t0+S/d sin(t0-h0)，
其中，S为车头移动的距离，d为车头到拖挂后轮中心的距离，t0 为上一时刻的拖挂角度，h0为上一时刻的拖头角度，但不以此为限。
在一个优选实施例中，上述步骤S150之后、步骤S170之前还包括以下步骤：
S160、获得实时车机参数，上述实时车机参数包括在上一时刻与下一时刻之间的车头移动的距离S，车头到拖挂后轮中心的预设距离d，上一时刻的拖头角度h0，但不以此为限。
在一个优选实施例中，两个上述第一传感器分别设置于车头的两侧，上述第二传感器设置于上述拖头朝向拖挂一侧的中央，但不以此为限。
在一个优选实施例中，上述第一空间坐标系与上述第二空间坐标系预先经过坐标系标定，但不以此为限。
在一个优选实施例中，上述第二传感器被分时复用：
当拖车装载集装箱时，上述第二传感器工作于第一状态，上述第二传感器拍摄上述拖挂朝向上述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系，发送到车机。
当拖车装空载时，上述第二传感器工作于第二状态，上述第二传感器拍摄后方的车辆，生成关于后车的点云数据，发送到车机，但不以此为限。
在一个优选实施例中，上述拖挂设有侦测集装箱的感器，当检测到集装箱时，驱动上述第二传感器工作于第一状态。当未检测到集装箱时，驱动上述第二传感器工作于第二状态，但不以此为限。
本发明的传感器协同检测拖挂角度的方法能够基于拖车的现有传感器设备准确检测拖头与拖挂之间的拖挂角度，不需要增加额外的设备，大大降低了整体成本。
以下通过图2至7展示了本发明的传感器协同检测拖挂角度的方法的实施过程示意图。如图2至7所示，本发明的实施过程如下：
图2是使用本发明的传感器协同检测拖挂角度的方法拖车直行时的俯视图。图3是使用本发明的传感器协同检测拖挂角度的方法拖车转弯时的俯视图。图4是图3中的局部放大图。图5是使用本发明的传感器协同检测拖挂角度的方法过程中实时拍摄的图像画面的示意图。如图2至5 所示，拖头1的两个分别设有一个激光雷达传感器4，激光雷达传感器4可以扫描周围空间获得点云数据，然后通过点云的过滤将点云数据分为地面部分的第一点云数据集合和障碍物部分的第二点云数据集合。关于障碍物部分的第二点云数据集合用于进行障碍物识别。可见本发明中是将激光雷达传感器4获得的部分点云数据进行复用，不需要增加额外的激光雷达传感器。本实施例中，主要将地面部分的第一点云数据集合作为后续传感器融合使用检测的部分输入。
双目图像传感器3设置于拖头1朝向拖挂2一侧的中央。通过设置在拖头1的至少一激光雷达传感器4进行空间扫描获得第一空间坐标系，至少将获得地面点云信息投影到俯视平面坐标系41。对激光雷达传感器4 获得的点云数据进行平面拟合获得地面在第一空间坐标系中地面的坐标点的集合，根据地面的坐标点的集合建立基于地面的俯视平面坐标系41。第一空间坐标系中包括一预设的车辆行驶方向11，并将车辆行驶方向11 投影到俯视平面坐标系41中。
通过设置在拖头1朝向拖挂2一侧的具有像素测距功能的双目图像传感器3拍摄拖挂2朝向拖头1的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系。双目图像传感器3通过两个传感器之间的视差矩阵获得每个像素对应的距离值，每个像素都可以获得色彩值(RGB值)和距离值(D值)，此时，每个像素具有四个通道(R、G、B、D)。第一空间坐标系与第二空间坐标系预先经过坐标系标定。
对实时图像进行图像识别，双目图像传感器3实时拍摄的图像画面 30中获得拖头1的端面的图像区域。通过神经网络对实时图像进行图像识别，获得每个像素的识别标签，此时，每个像素具有四个通道(R、G、 B、D、T)，其中，T为识别标签。对识别标签为集装箱端面的所有像素点建立外轮廓35，将外轮廓35所围的图像区域作为集装箱端面在实时图像中的图像区域。即找出所有识别标签T＝集装箱端面的像素点，基于这些像素点建立一个包围这些像素点的外轮廓35，被外轮廓35所包围的这个图像区域就是集装箱端面对应的图像区域。
图6是使用本发明的传感器协同检测拖挂角度的方法过程中拟合平面的示意图。如图6所示，将位于图像区域中的像素点各自对应的第一空间坐标进行平面拟合获得一垂直平面。将位于图像区域中的所有像素组成端面像素集合。将端面像素集合中每个像素对应的第二空间的测距点31 的坐标转换到第一空间坐标系，也就是将在第二空间坐标系中对应集装箱端面的所有测距点31基于预设的标定转换关系(旋转矩阵、平移矩阵等，此处不再赘述)转换到第一空间坐标系中。在第一空间中建立一拟合平面 32，拟合平面32垂直于地面，获得的拟合平面32必须满足图像区域中的所有像素点对应的第一空间中的空间坐标到垂直平面的距离的总和最小。(本发明采用现有的基于点云的平面拟合算法，此处不在赘述)
图7是使用本发明的传感器协同检测拖挂角度的方法过程中俯视平面坐标系的示意图。如图7所示，将垂直平面投影到俯视平面坐标系41，基于垂直平面与车辆行驶方向11获得拖挂角度。将第一空间坐标中的垂直平面投影到俯视平面坐标系41获得投影线段33。基于俯视平面坐标系 41获得投影线段33的中垂线34。通过基于俯视平面坐标系41求得中垂线34与预设车辆行驶方向11之间的夹角A，将夹角A作为拖挂角度。
并且，还可以将此刻的将拖挂角度储存于车机，获得实时车机参数，实时车机参数包括在上一时刻与下一时刻之间的车头移动的距离S，车头到拖挂2后轮中心的预设距离d，上一时刻的拖头1角度h0。基于车体上一时刻的拖挂角度t0和实时车机参数，预测车体下一时刻的拖挂角度t1， t1＝t0+Delta t＝t0+S/d sin(t0-h0)，其中，S为车头移动的距离，d为车头到拖挂2后轮中心的距离，t0为上一时刻的拖挂角度，h0为上一时刻的拖头1角度。
在一个变化例子中，双目图像传感器3被分时复用：拖挂2设有侦测集装箱的感器，当检测到集装箱时，驱动双目图像传感器3工作于第一状态，双目图像传感器3拍摄拖挂2朝向拖头1的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系，发送到车机。当未检测到集装箱时，驱动双目图像传感器3工作于第二状态，双目图像传感器3拍摄后方的车辆，生成关于后车的点云数据，发送到车机。所以，本发明的双目图像传感器3可以是将用于后向监视的传感器(或是用于辅助倒车的传感器等等)进行复用，得到集装箱的端面点云数据，不需要增加额外的监视传感器。
图8是本发明的传感器协同检测拖挂角度的系统的结构示意图。如图 8所示，本发明的实施例还提供一种传感器协同检测拖挂角度的系统5，用于实现上述的传感器协同检测拖挂角度的方法，包括：
空间扫描模块51，通过设置在拖头的至少一第一传感器进行空间扫描获得第一空间坐标系，至少将获得地面点云信息投影到俯视平面坐标系。
图像获取模块52，通过设置在拖头朝向拖挂一侧的具有像素测距功能的第二传感器拍摄上述拖挂朝向上述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系。
图像识别模块53，对上述实时图像进行图像识别，获得上述拖头的端面的图像区域。
平面拟合模块54，将位于上述图像区域中的像素点各自对应的第一空间坐标进行平面拟合获得一垂直平面。
角度侦测模块55，将上述垂直平面投影到上述俯视平面坐标系，基于上述垂直平面与车辆行驶方向获得拖挂角度。
本发明的传感器协同检测拖挂角度的系统，能够基于拖车的现有传感器设备准确检测拖头与拖挂之间的拖挂角度，不需要增加额外的设备，大大降低了整体成本。
本发明实施例还提供一种传感器协同检测拖挂角度的设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的传感器协同检测拖挂角度的方法的步骤。
如上，本发明的传感器协同检测拖挂角度的设备能够基于拖车的现有传感器设备准确检测拖头与拖挂之间的拖挂角度，不需要增加额外的设备，大大降低了整体成本。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图9是本发明的传感器协同检测拖挂角度的设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备 600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线 630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备 600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的传感器协同检测拖挂角度的方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够基于拖车的现有传感器设备准确检测拖头与拖挂之间的拖挂角度，不需要增加额外的设备，大大降低了整体成本。
图10是本发明的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如 Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的传感器协同检测拖挂角度的方法、系统、设备及存储介质，能够基于拖车的现有传感器设备准确检测拖头与拖挂之间的拖挂角度，不需要增加额外的设备，大大降低了整体成本。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (14)

1.一种传感器协同检测拖挂角度的方法，其特征在于，包括以下步骤：
S110、通过设置在拖头的至少一第一传感器进行空间扫描获得第一空间坐标系，至少将获得地面点云信息投影到俯视平面坐标系；
S120、通过设置在拖头朝向拖挂一侧的具有像素测距功能的第二传感器拍摄所述拖挂朝向所述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系，所述拖挂设有侦测集装箱的感器，所述第二传感器被分时复用，当检测到集装箱时，驱动所述第二传感器工作于第一状态，所述第二传感器拍摄所述拖挂朝向所述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系，发送到车机；当未检测到集装箱时，驱动所述第二传感器工作于第二状态，所述第二传感器拍摄后方的车辆，生成关于后车的点云数据，发送到车机；
S130、对所述实时图像进行图像识别，获得所述拖头的端面的图像区域；
S140、将位于所述图像区域中的像素点各自对应的第一空间坐标进行平面拟合获得一垂直平面；
S150、将所述垂直平面投影到所述俯视平面坐标系，基于所述垂直平面与车辆行驶方向获得拖挂角度。
2.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，所述步骤S110中，所述第一传感器是激光雷达传感器，对所述激光雷达传感器获得的点云数据进行平面拟合获得地面在第一空间坐标系中地面的坐标点的集合，根据所述地面的坐标点的集合建立基于地面的俯视平面坐标系。
3.根据权利要求2所述的传感器协同检测拖挂角度的方法，其特征在于，所述第一空间坐标系中包括一预设的车辆行驶方向，并将所述车辆行驶方向投影到俯视平面坐标系中。
4.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，所述步骤S120中，所述第二传感器的每个像素包括图像采集单元和红外测距单元，每个所述像素获得色彩值和距离值。
5.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，所述步骤S120中，所述第二传感器的双目图像传感器，通过两个传感器之间的视差矩阵获得每个像素对应的距离值。
6.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，所述步骤S130中，包括：
S131、通过神经网络对所述实时图像进行图像识别，获得每个像素的识别标签；
S132、对所述识别标签为集装箱端面的所有像素点建立外轮廓；
S133、将所述外轮廓所围的图像区域作为所述集装箱端面在所述实时图像中的图像区域。
7.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，所述步骤S140中，包括：
S141、将位于所述图像区域中的所有像素组成端面像素集合；
S142、将所述端面像素集合中每个像素对应的第二空间中测距点的空间坐标转换到所述第一空间坐标系；
S143、在所述第一空间中建立一拟合平面，所述拟合平面垂直于地面，且满足所述图像区域中的所有像素点对应的第一空间中的空间坐标到所述垂直平面的距离的总和最小。
8.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，所述步骤S150中，包括：
S151、将所述第一空间坐标中的垂直平面投影到所述俯视平面坐标系获得投影线段；
S152、基于所述俯视平面坐标系获得所述投影线段的中垂线；
S153、通过基于所述俯视平面坐标系求得所述中垂线与预设车辆行驶方向之间的夹角，将所述夹角作为拖挂角度。
9.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，所述步骤S150中还包括：将所述拖挂角度储存于车机。
10.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，两个所述第一传感器分别设置于车头的两侧，所述第二传感器设置于所述拖头朝向拖挂一侧的中央。
11.根据权利要求1所述的传感器协同检测拖挂角度的方法，其特征在于，所述第一空间坐标系与所述第二空间坐标系预先经过坐标系标定。
12.一种传感器协同检测拖挂角度的系统，其特征在于，用于实现如权利要求1所述的传感器协同检测拖挂角度的方法，包括：
空间扫描模块，通过设置在拖头的至少一第一传感器进行空间扫描获得第一空间坐标系，至少将获得地面点云信息投影到俯视平面坐标系；
图像获取模块，通过设置在拖头朝向拖挂一侧的具有像素测距功能的第二传感器拍摄所述拖挂朝向所述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系，所述拖挂设有侦测集装箱的感器，所述第二传感器被分时复用，当检测到集装箱时，驱动所述第二传感器工作于第一状态，所述第二传感器拍摄所述拖挂朝向所述拖头的端面，获得第二空间坐标系和实时图像，所述实时图像中的每一个像素点与第二空间坐标系中的每一个测距点具有点对点的映射关系，发送到车机；当未检测到集装箱时，驱动所述第二传感器工作于第二状态，所述第二传感器拍摄后方的车辆，生成关于后车的点云数据，发送到车机；
图像识别模块，对所述实时图像进行图像识别，获得所述拖头的端面的图像区域；
平面拟合模块，将位于所述图像区域中的像素点各自对应的第一空间坐标进行平面拟合获得一垂直平面；
角度侦测模块，将所述垂直平面投影到所述俯视平面坐标系，基于所述垂直平面与车辆行驶方向获得拖挂角度。
13.一种传感器协同检测拖挂角度的设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1至11中任意一项所述传感器协同检测拖挂角度的方法的步骤。
14.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1至11中任意一项所述传感器协同检测拖挂角度的方法的步骤。
CN202110698841.4A 2021-06-23 2021-06-23 传感器协同检测拖挂角度的方法、系统、设备及存储介质 Active CN113296107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698841.4A CN113296107B (zh) 2021-06-23 2021-06-23 传感器协同检测拖挂角度的方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698841.4A CN113296107B (zh) 2021-06-23 2021-06-23 传感器协同检测拖挂角度的方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113296107A CN113296107A (zh) 2021-08-24
CN113296107B true CN113296107B (zh) 2024-07-23

Family

ID=77329426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698841.4A Active CN113296107B (zh) 2021-06-23 2021-06-23 传感器协同检测拖挂角度的方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113296107B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111284502A (zh) * 2020-03-10 2020-06-16 仓擎智能科技(上海)有限公司 一种牵引车组位姿检测方法及系统
CN111344214A (zh) * 2017-09-21 2020-06-26 大陆汽车系统公司 用于挂车倒车辅助的推断鸟瞰图
CN112861653A (zh) * 2021-01-20 2021-05-28 上海西井信息科技有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105627995B (zh) * 2016-03-31 2018-03-23 京东方科技集团股份有限公司 摄像装置、转动装置、测距装置、测距系统和测距方法
US10332002B2 (en) * 2017-03-27 2019-06-25 GM Global Technology Operations LLC Method and apparatus for providing trailer information
US10346705B2 (en) * 2017-06-20 2019-07-09 GM Global Technology Operations LLC Method and apparatus for estimating articulation angle
DE102017011177A1 (de) * 2017-12-05 2019-06-06 Wabco Gmbh Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann
CN108550141A (zh) * 2018-03-29 2018-09-18 上海大学 一种基于深度视觉信息的运动车斗自动识别与定位方法
CN112004696B (zh) * 2018-05-01 2024-04-12 大陆汽车系统公司 牵引车辆和拖车的对准
US10984553B2 (en) * 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
CN108761479B (zh) * 2018-06-07 2021-07-02 驭势科技（北京）有限公司 拖车拖斗检测方法、系统和无人驾驶拖车
US11200430B2 (en) * 2018-11-05 2021-12-14 Tusimple, Inc. Systems and methods for detecting trailer angle
CN110751598B (zh) * 2019-10-17 2023-09-26 长沙智能驾驶研究院有限公司 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
CN112233136B (zh) * 2020-11-03 2021-10-22 上海西井信息科技有限公司 基于双目识别的集卡对位方法、系统、设备及存储介质
CN112362055B (zh) * 2020-12-01 2022-12-30 苏州挚途科技有限公司 姿态估计方法、装置和电子设备
CN112904363B (zh) * 2021-01-19 2023-04-25 北京九曜智能科技有限公司 一种自动驾驶车辆对接拖车自动托挂钩的方法
CN112816967B (zh) * 2021-02-03 2024-06-14 成都康烨科技有限公司 图像距离测量方法、装置、测距设备和可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111344214A (zh) * 2017-09-21 2020-06-26 大陆汽车系统公司 用于挂车倒车辅助的推断鸟瞰图
CN111284502A (zh) * 2020-03-10 2020-06-16 仓擎智能科技(上海)有限公司 一种牵引车组位姿检测方法及系统
CN112861653A (zh) * 2021-01-20 2021-05-28 上海西井信息科技有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113296107A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
JP7124117B2 (ja) トレーラの検出および自律的なヒッチング
US11198340B2 (en) Coupler and tow-bar detection for automated trailer hitching via cloud points
US10984553B2 (en) Real-time trailer coupler localization and tracking
CN112424001B (zh) 车辆-拖车距离检测设备和方法
CN112004696B (zh) 牵引车辆和拖车的对准
US20210078634A1 (en) Vehicular trailering assist system
CN101332836B (zh) 用于确定拖车铰接角系统和过程
WO2019202317A1 (en) Method and system of articulation angle measurement
WO2015001054A2 (en) Vehicle control system
US20220358677A1 (en) Automatic trailer camera calibration
US20220343535A1 (en) System and method for estimating relative trailer angle
CN113296107B (zh) 传感器协同检测拖挂角度的方法、系统、设备及存储介质
US20230294767A1 (en) Vehicle Trailer Angle Estimation via Projective Geometry
US20230290001A1 (en) Long-Term Visual Trailer Tracker for Vehicle-Trailer Angle Estimation
US20240317240A1 (en) Associating environment perception data with data indicative of a friction condition
US20220321841A1 (en) Remote monitoring system, remote monitoring method, and remote monitoring server
CN115014809A (zh) 牵引车与拖挂的碰撞检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant