[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114972427A - 一种基于单目视觉的目标跟踪方法、终端设备及存储介质 - Google Patents

一种基于单目视觉的目标跟踪方法、终端设备及存储介质 Download PDF

Info

Publication number
CN114972427A
CN114972427A CN202210548990.7A CN202210548990A CN114972427A CN 114972427 A CN114972427 A CN 114972427A CN 202210548990 A CN202210548990 A CN 202210548990A CN 114972427 A CN114972427 A CN 114972427A
Authority
CN
China
Prior art keywords
target
vehicle
contour
distance
monocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210548990.7A
Other languages
English (en)
Inventor
陈祥勇
柯英杰
陈卫强
苏亮
刘强生
邹雪滢
陈燕丽
蔡奇晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen King Long United Automotive Industry Co Ltd
Original Assignee
Xiamen King Long United Automotive Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen King Long United Automotive Industry Co Ltd filed Critical Xiamen King Long United Automotive Industry Co Ltd
Priority to CN202210548990.7A priority Critical patent/CN114972427A/zh
Publication of CN114972427A publication Critical patent/CN114972427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于单目视觉的目标跟踪方法、终端设备及存储介质，该方法中包括：S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。本发明能够有效的提高单目视觉感知精度，更加适用于实际道路中园区无人驾驶的感知能力提升。

Description

一种基于单目视觉的目标跟踪方法、终端设备及存储介质
技术领域
本发明涉及目标跟踪领域，尤其涉及一种基于单目视觉的目标跟踪方法、终端设备及存储介质。
背景技术
当前园区无人驾驶视觉感知技术，主要有单目视觉和双目视觉两个方向，由于双目摄像头制作工艺及稳定性要求高等原因，成本较高。而单目摄像头因其成本较低，被更加广泛运用于感知系统。但是在实际道路行驶过程中，由于车身抖动、路面不平、斜坡等原因，现有的基于单目视觉的感知系统的精度并不尽如人意，尤其在复杂道路环境中适应性较差。
发明内容
为了解决上述问题，本发明提出了一种基于单目视觉的目标跟踪方法、终端设备及存储介质。
具体方案如下：
一种基于单目视觉的目标跟踪方法，包括以下步骤：
S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；
S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；
S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；
S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。
进一步的，目标信息还包括置信度。
进一步的，目标类型包括车辆、行人和其他。
进一步的，目标类型为车辆时，其目标信息还包括车辆下半部分感兴趣区域的图像。
进一步的，当目标类型为车辆时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
S101：将车辆下半部分感兴趣区域的图像转换为灰度图，并对灰度图进行边缘检测；
S102：对边缘检测后的图像进行边膨胀处理，并查找边膨胀处理后的图像中的轮廓；
S103：根据轮廓包含的轮廓点数量对查找到的所有轮廓进行第一次过滤，剔除其中轮廓点数量少于轮廓点数量阈值的轮廓；
S104：根据轮廓的面积对第一次过滤后的轮廓进行第二次过滤，剔除其中轮廓面积小于轮廓面积阈值的轮廓；
S105：对第二次过滤后的所有轮廓进行椭圆拟合；
S106：根据拟合后的轮廓与车轮轮廓的匹配度对第二次过滤后的轮廓进行第三次过滤，剔除其中匹配度小于匹配度阈值的轮廓；
S107：根据轮廓的长短轴比值对第三次过滤后的轮廓进行第四次过滤，剔除其中长短轴比值大于长短轴比值阈值的轮廓；
S108：通过车辆姿态检测算法对第四次过滤后的轮廓进行检测，如果检测出车轮，则判定目标车辆横向行驶，否则，判定目标车辆纵向行驶。
S109：当目标车辆为横向行驶时，采用基于高度或基于坐标系转换的测距算法计算目标车辆与本车之间的距离；当目标车辆为纵向行驶时，采用基于宽度的测距算法计算目标车辆与本车之间的距离。
进一步的，当目标类型为行人时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
S201：计算目标边界框的高宽比，当高宽比大于高宽比阈值时，判定行人为侧面站立；当高宽比小于高宽比阈值时，判定行人为正面站立；
S202：根据行人为正面站立还是侧面站立设置对应的宽度参数，采用基于宽度的测距算法计算行人与本车的距离。
进一步的，当目标类型为其他时，采用基于高度或基于坐标系转换的测距算法计算目标与本车的距离。
进一步的，步骤S4中对目标的实时跟踪采用的具体步骤如下：
S401：通过卡尔曼滤波算法对t-1时刻的目标信息和目标与本车的距离进行跟踪，预测t时刻的目标信息、目标与本车的距离和目标与本车的相对速度；
S402：将对t时刻的视频帧图像进行目标检测得到的t时刻的目标边界框与通过步骤S401预测得到t时刻的目标边界框进行IOU匹配，当匹配度大于预设的匹配度阈值时，判定为匹配成功，否则，判定为匹配不成功；对于匹配成功的目标，用t时刻的检测结果更新t时刻的预测结果，得到目标最优估计值；对于匹配不成功的目标，重新分配卡尔曼滤波器进行跟踪；对于连续N次匹配不成功的跟踪目标，不再通过卡尔曼滤波算法进行目标跟踪。
一种基于单目视觉的目标跟踪终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，能够有效的提高单目视觉感知精度，更加适用于实际道路中园区无人驾驶的感知能力提升。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中目标与本车之间的距离计算的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种基于单目视觉的目标跟踪方法，如图1所示，其为本发明实施例所述的基于单目视觉的目标跟踪方法的流程图，所述方法包括以下步骤：
S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像。
S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息。
对视频帧图像进行目标检测时可以采用现有的目标检测算法即可，在此不做限制。
该实施例中设定目标类型包括车辆、行人和其他，目标信息包括目标的类型和目标边界框。为了更好地方便用户对目标检测结果进行判断，该实施例中目标信息还包括置信度。另外，为了方便对车辆类型的目标进行距离计算，车辆类型的目标相对于行人和其他两种类型的目标，其目标信息还包括车辆下半部分感兴趣区域(ROI)的图像。
S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离。
如图2所示，为了提高距离计算的准确性，该实施例中针对不同类型的目标设定了不同的测距算法，具体如下：
(1)当目标类型为车辆时，测距算法具体为：
S101：将车辆下半部分感兴趣区域的图像转换为灰度图，并对灰度图进行边缘检测；
S102：对边缘检测后的图像进行边膨胀处理，并查找边膨胀处理后的图像中的轮廓；
S103：根据轮廓包含的轮廓点数量对查找到的所有轮廓进行第一次过滤，剔除其中轮廓点数量少于轮廓点数量阈值的轮廓；
S104：根据轮廓的面积对第一次过滤后的轮廓进行第二次过滤，剔除其中轮廓面积小于轮廓面积阈值的轮廓；
S105：对第二次过滤后的所有轮廓进行椭圆拟合；
S106：根据拟合后的轮廓与车轮轮廓的匹配度对第二次过滤后的轮廓进行第三次过滤，剔除其中匹配度小于匹配度阈值的轮廓；
S107：根据轮廓的长短轴比值对第三次过滤后的轮廓进行第四次过滤，剔除其中长短轴比值大于长短轴比值阈值的轮廓；
S108：通过车辆姿态检测算法对第四次过滤后的轮廓进行检测，如果检测出车轮，则判定目标车辆横向行驶，否则，判定目标车辆纵向行驶。
S109：当目标车辆为横向行驶时，采用基于高度或基于坐标系转换的测距算法计算目标车辆与本车之间的距离；当目标车辆为纵向行驶时，采用基于宽度的测距算法计算目标车辆与本车之间的距离。
轮廓点数量阈值、轮廓面积阈值、匹配度阈值和长短轴比值阈值的大小本领域技术人员可以根据经验数据预先设定，在此不做限定。
(2)当目标类型为行人时，测距算法具体为：
S201：计算目标边界框的高宽比，当高宽比大于高宽比阈值时，判定行人为侧面站立；当高宽比小于高宽比阈值时，判定行人为正面站立；
S202：根据行人为正面站立还是侧面站立设置对应的宽度参数，采用基于宽度的测距算法计算行人与本车的距离。
(3)当目标类型为其他时，采用基于高度或基于坐标系转换的测距算法计算目标与本车的距离。
下面分别介绍三种测距算法
(一)基于宽度的测距算法
基于相机模型，通过标定获取摄像头内参，已经目标边界框信息，利用三角形相似原理，可以计算出世界坐标系下的目标与本车的距离，公式如下：
Figure BDA0003653700670000071
其中，f表示相机的焦距，w表示目标的像素宽度，lx表示目标的测量点距离图像中心点的横向像素距离，dx表示相机横向像素的单位大小，X1表示世界坐标下的纵向距离，Y1表示世界坐标下的横向距离，W1表示目标的真实宽度。
进一步的，由于：
f＝fx.dx
ix＝u-W/2
其中，fx表示相机的内参，u表示目标边界框左上角横向像素坐标，W表示图像宽度。
由上述公式推导，即可求解得到目标与本车的纵向距离X1和横向距离Y1
Figure BDA0003653700670000072
Figure BDA0003653700670000073
(二)基于高度的测距算法
基于相机模型，通过标定获取摄像头内参，以及摄像头安装高度及目标边界框信息，利用三角形相似原理，可以计算出世界坐标系下的目标与本车的距离，公式如下：
Figure BDA0003653700670000074
其中，f表示相机焦距，ly表示目标点距离图像中心点的纵向像素距离,dy表示相机纵向像素的单位大小，H1表示摄像头安装高度，D表示世界坐标下目标与本车的距离。
进一步的f＝fy.dy
ly＝v-H/2
其中，fy表示相机的内参，v表示目标边界框左上角纵向像素坐标，H表示图像高度。
由上述公式推导，即可求解目标与本车的距离D：
Figure BDA0003653700670000081
(三)基于坐标系转换的测距算法
从世界坐标系到相机坐标系是刚体变换，对应旋转矩阵R和平移矩阵T，相机坐标系到图像坐标系是透视投影，对应透视投影矩阵P；从图像坐标系到像素坐标系是离散化，对应像素坐标和图像坐标的关系转换。最后得到一个点从世界坐标系到像素坐标系的转换公式如下：
Figure BDA0003653700670000082
Figure BDA0003653700670000083
Figure BDA0003653700670000084
其中，K表示内参矩阵，P表示外参矩阵，R、T分别表示世界坐标系到相机坐标系的旋转矩阵和平移矩阵，fx、fy表示相机水平方向和垂直方向相对单位像素的焦距，(u0,v0)表示相机光学中心坐标，(u,v)表示目标点在图像上的像素坐标，Zc表示目标点到相机的距离，Xw、Yw、Zw分别表示目标点在世界坐标系下的X,Y,Z三个方向的距离。
已知目标点在图像上的像素坐标(u,v)，通过相机标定得到内参矩阵K和外参矩阵P，即可求解得到目标与本车的距离Xw、Yw，Zw其中Zw＝0。
S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。
该实施例中对目标的实时跟踪采用的具体步骤如下：
S401：通过卡尔曼滤波算法对t-1时刻的目标信息和目标与本车的距离进行跟踪，预测t时刻的目标信息、目标与本车的距离和目标与本车的相对速度；
S402：将对t时刻的视频帧图像进行目标检测得到的t时刻的目标边界框与通过步骤S401预测得到t时刻的目标边界框进行IOU匹配，当匹配度大于预设的匹配度阈值时，判定为匹配成功(同一目标)，否则，判定为匹配不成功(不同目标)；对于匹配成功的目标，用t时刻的检测结果更新t时刻的预测结果，得到目标最优估计值；对于匹配不成功的目标，重新分配卡尔曼滤波器进行跟踪；对于连续N次匹配不成功的跟踪目标，不再通过卡尔曼滤波算法进行目标跟踪。
匹配度阈值的大小本领域技术人员可以根据经验数据预先设定，在此不做限定。
卡尔曼滤波算法进行跟踪时的方程为：
Xt＝FXt-1+u
式中，Xt-1表示t-1时刻的状态向量(11x1)，Xt-1＝[x,y,s,x_,y_,r,x^,y^,s^,xv,yv]T。x表示目标边界框左上角横向坐标，y表示目标边界框左上角纵向坐标，s表示目标边界框面积，x_表示目标与本车的纵向距离，y_表示目标与本车的横向距离，r表示目标边界框的高宽比，x^表示x的变化量，y^表示y的变化量，s^表示s的变化量，xv表示目标与本车的纵向相对速度，yv表示目标与本车的横向相对速度。
式中，F为状态变化矩阵(11X11)，该实施例中设置为；
F＝[[1,0,0,0,0,0,1,0,0,0,0],[0,1,0,0,0,0,0,1,0,0,0],[0,0,1,0,0,0,0,0,1,0,0],[0,0,0,1,0,0,0,0,0,△t,0],[0,0,0,0,1,0,0,0,0,0,△t],[0,0,0,0,0,1,0,0,0,0,0],[0,0,0,0,0,0,1,0,0,0,0],[0,0,0,0,0,0,0,1,0,0,0],[0,0,0,0,0,0,0,0,1,0,0],[0,0,0,0,0,0,0,0,0,1,0],[0,0,0,0,0,0,0,0,0,0,1]]
其中，△t表示t时刻与t-1时刻的时间差。
式中，u表示外部影响参数，该实施例中取值为0。
P＇＝FPFT+Q
式中，P表示状态协方差矩阵(11X11)，初始设置为：
P＝[[10,0,0,0,0,0,0,0,0,0,0],[0,10,0,0,0,0,0,0,0,0,0],[0,0,10,0,0,0,0,0,0,0,0],[0,0,0,10,0,0,0,0,0,0,0],[0,0,0,0,10,0,0,0,0,0,0],[0,0,0,0,0,10,0,0,0,0,0],[0,0,0,0,0,0,1000,0,0,0,0],[0,0,0,0,0,0,0,1000,0,0,0],[0,0,0,0,0,0,0,0,1000,0,0],[0,0,0,0,0,0,0,0,0,1000,0],[0,0,0,0,0,0,0,0,0,0,1000]]
式中，Q表示过程噪声矩阵(11X11)，初始设置为：
Q＝[[0.01,0,0,0,0,0,0,0,0,0,0],[0,0.01,0,0,0,0,0,0,0,0,0],[0,0,0.01,0,0,0,0,0,0,0,0],[0,0,0,0.01,0,0,0,0,0,0,0],[0,0,0,0,0.01,0,0,0,0,0,0],[0,0,0,0,0,0.01,0,0,0,0,0],[0,0,0,0,0,0,0.01,0,0,0,0],[0,0,0,0,0,0,0,0.01,0,0,0],[0,0,0,0,0,0,0,0,0.01,0,0],[0,0,0,0,0,0,0,0,0,0.001,0],[0,0,0,0,0,0,0,0,0,0,0.001]]
卡尔曼滤波算法进行更新时的方程为：
y＝z-HXt
式中，z表示t时刻的测量值[xm,ym,sm,x_m,y_m,rm]T，Xt表示t时刻预测的状态向量，H表示测量矩阵(6X11)，初始设置为：
H＝[[1,0,0,0,0,0,0,0,0,0,0],[0,1,0,0,0,0,0,0,0,0,0],[0,0,1,0,0,0,0,0,0,0,0],[0,0,0,1,0,0,0,0,0,0,0],[0,0,0,0,1,0,0,0,0,0,0],[0,0,0,0,0,1,0,0,0,0,0]]
S＝HP＇HT+R
式中，R表示测量噪声矩阵(6X6)，数值根据测量误差设定，初始设置为：
R＝[[1,0,0,0,0,0],[0,1,0,0,0,0],[0,0,1,0,0,0],[0,0,0,10,0,0],[0,0,0,0,10,0],[0,0,0,0,0,10]]
K＝P＇HTS-1
式中，K表示卡尔曼增益
X＝Xt+Ky
P＝(I-KH)P＇
式中，X、P分别表示t时刻卡尔曼滤波更新后的状态向量和状态协方差矩阵，I表示与状态向量同维度的单位矩阵。
两个目标边界框进行IOU匹配时，设目标检测得到的t时刻的目标边界框为A＝(xm,ym,sm,rm)，通过步骤S401预测得到t时刻的目标边界框为B＝(xp,yp sp,将两者进行IOU匹配，两者的IOU(交并比)值即为匹配度，公式如下：
Figure BDA0003653700670000131
进一步的，该实施例中还包括将预测得到的下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度发送至显示界面进行显示。
本发明实施例能够准确预测障碍物目标的位置、距离以及相对速度等信息，可以有效的提高单目视觉感知精度，更加适用于实际道路中园区无人驾驶的感知能力提升。
实施例二：
本发明还提供一种基于单目视觉的目标跟踪终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述基于单目视觉的目标跟踪终端设备可以是车载电脑、云端服务器等计算设备。所述基于单目视觉的目标跟踪终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述基于单目视觉的目标跟踪终端设备的组成结构仅仅是基于单目视觉的目标跟踪终端设备的示例，并不构成对基于单目视觉的目标跟踪终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于单目视觉的目标跟踪终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于单目视觉的目标跟踪终端设备的控制中心，利用各种接口和线路连接整个基于单目视觉的目标跟踪终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于单目视觉的目标跟踪终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述基于单目视觉的目标跟踪终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (10)

1.一种基于单目视觉的目标跟踪方法，其特征在于，包括以下步骤：
S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；
S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；
S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；
S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。
2.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：目标信息还包括置信度。
3.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：目标类型包括车辆、行人和其他。
4.根据权利要求3所述的基于单目视觉的目标跟踪方法，其特征在于：目标类型为车辆时，其目标信息还包括车辆下半部分感兴趣区域的图像。
5.根据权利要求4所述的基于单目视觉的目标跟踪方法，其特征在于：当目标类型为车辆时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
S101：将车辆下半部分感兴趣区域的图像转换为灰度图，并对灰度图进行边缘检测；
S102：对边缘检测后的图像进行边膨胀处理，并查找边膨胀处理后的图像中的轮廓；
S103：根据轮廓包含的轮廓点数量对查找到的所有轮廓进行第一次过滤，剔除其中轮廓点数量少于轮廓点数量阈值的轮廓；
S104：根据轮廓的面积对第一次过滤后的轮廓进行第二次过滤，剔除其中轮廓面积小于轮廓面积阈值的轮廓；
S105：对第二次过滤后的所有轮廓进行椭圆拟合；
S106：根据拟合后的轮廓与车轮轮廓的匹配度对第二次过滤后的轮廓进行第三次过滤，剔除其中匹配度小于匹配度阈值的轮廓；
S107：根据轮廓的长短轴比值对第三次过滤后的轮廓进行第四次过滤，剔除其中长短轴比值大于长短轴比值阈值的轮廓；
S108：通过车辆姿态检测算法对第四次过滤后的轮廓进行检测，如果检测出车轮，则判定目标车辆横向行驶，否则，判定目标车辆纵向行驶；
S109：当目标车辆为横向行驶时，采用基于高度或基于坐标系转换的测距算法计算目标车辆与本车之间的距离；当目标车辆为纵向行驶时，采用基于宽度的测距算法计算目标车辆与本车之间的距离。
6.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：当目标类型为行人时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
S201：计算目标边界框的高宽比，当高宽比大于高宽比阈值时，判定行人为侧面站立；当高宽比小于高宽比阈值时，判定行人为正面站立；
S202：根据行人为正面站立还是侧面站立设置对应的宽度参数，采用基于宽度的测距算法计算行人与本车的距离。
7.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：当目标类型为其他时，采用基于高度或基于坐标系转换的测距算法计算目标与本车的距离。
8.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：步骤S4中对目标的实时跟踪采用的具体步骤如下：
S401：通过卡尔曼滤波算法对t-1时刻的目标信息和目标与本车的距离进行跟踪，预测t时刻的目标信息、目标与本车的距离和目标与本车的相对速度；
S402：将对t时刻的视频帧图像进行目标检测得到的t时刻的目标边界框与通过步骤S401预测得到t时刻的目标边界框进行IOU匹配，当匹配度大于预设的匹配度阈值时，判定为匹配成功，否则，判定为匹配不成功；对于匹配成功的目标，用t时刻的检测结果更新t时刻的预测结果，得到目标最优估计值；对于匹配不成功的目标，重新分配卡尔曼滤波器进行跟踪；对于连续N次匹配不成功的跟踪目标，不再通过卡尔曼滤波算法进行目标跟踪。
9.一种基于单目视觉的目标跟踪终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中任一所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～8中任一所述方法的步骤。
CN202210548990.7A 2022-05-20 2022-05-20 一种基于单目视觉的目标跟踪方法、终端设备及存储介质 Pending CN114972427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210548990.7A CN114972427A (zh) 2022-05-20 2022-05-20 一种基于单目视觉的目标跟踪方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210548990.7A CN114972427A (zh) 2022-05-20 2022-05-20 一种基于单目视觉的目标跟踪方法、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN114972427A true CN114972427A (zh) 2022-08-30

Family

ID=82984492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210548990.7A Pending CN114972427A (zh) 2022-05-20 2022-05-20 一种基于单目视觉的目标跟踪方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN114972427A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503491A (zh) * 2023-06-26 2023-07-28 安徽大学 一种基于相机标定和视觉的机器狗障碍物测距和避障方法
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质
WO2024146580A1 (zh) * 2023-01-05 2024-07-11 北京地平线信息技术有限公司 车辆状态的确定方法、装置、电子设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024146580A1 (zh) * 2023-01-05 2024-07-11 北京地平线信息技术有限公司 车辆状态的确定方法、装置、电子设备和存储介质
CN116503491A (zh) * 2023-06-26 2023-07-28 安徽大学 一种基于相机标定和视觉的机器狗障碍物测距和避障方法
CN117553695A (zh) * 2024-01-11 2024-02-13 摩斯智联科技有限公司 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质
CN117553695B (zh) * 2024-01-11 2024-05-03 摩斯智联科技有限公司 计算车辆高度的方法、装置及计算机存储介质

Similar Documents

Publication Publication Date Title
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
CN114972427A (zh) 一种基于单目视觉的目标跟踪方法、终端设备及存储介质
US10867403B2 (en) Vehicle external recognition apparatus
US20080253606A1 (en) Plane Detector and Detecting Method
US20180137376A1 (en) State estimating method and apparatus
US10789731B2 (en) Method and system for detecting an object alongside a road of a motor vehicle based on at least two images of an environmental region of the motor vehicle
JP2002352225A (ja) 障害物検出装置及びその方法
JP2017526082A (ja) 動作推定方法、移動体、およびプロセッサに動作推定方法を実行させるコンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体
CN113256701B (zh) 一种距离的获取方法、装置、设备及可读存储介质
KR102566583B1 (ko) 서라운드 뷰 이미지의 안정화를 위한 방법 및 장치
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
Ponsa et al. On-board image-based vehicle detection and tracking
CN110515376B (zh) 一种航迹推演校正的评价方法、终端和存储介质
US20200193184A1 (en) Image processing device and image processing method
García-García et al. 3D visual odometry for road vehicles
Lin et al. Construction of fisheye lens inverse perspective mapping model and its applications of obstacle detection
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
Hashimoto et al. An image processing architecture and a motion control method for an autonomous vehicle
CN113537161B (zh) 一种障碍物的识别方法、系统及装置
Westerhoff et al. Development and comparison of homography based estimation techniques for camera to road surface orientation
US7899212B2 (en) Image processing apparatus and image processing method
CN115601435A (zh) 车辆姿态检测方法、装置、车辆及存储介质
CN108416305B (zh) 连续型道路分割物的位姿估计方法、装置及终端
García-García et al. 3D visual odometry for GPS navigation assistance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination