CN113936255B - 一种路口多转向车辆计数方法及系统 - Google Patents
一种路口多转向车辆计数方法及系统 Download PDFInfo
- Publication number
- CN113936255B CN113936255B CN202111205143.2A CN202111205143A CN113936255B CN 113936255 B CN113936255 B CN 113936255B CN 202111205143 A CN202111205143 A CN 202111205143A CN 113936255 B CN113936255 B CN 113936255B
- Authority
- CN
- China
- Prior art keywords
- counting
- frame
- image
- feature
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 81
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000004645 scanning capacitance microscopy Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于车辆计数技术领域，提供了一种路口多转向车辆计数方法及系统，首先，获取路口交通视频；然后，对路口交通视频中每一帧图像中的车辆进行多角度检测，得到每一帧图像的车辆倾斜检测框；确定每一帧图像的倾斜计数线，对于每条倾斜计数线，提取每一帧图像的空间特征，并选取每一帧图像前后的多帧图像的空间特征，组成每一帧图像的时空计数特征；最后，基于每条倾斜计数线的时空计数特征，检测每一帧图像中车辆与每条计数线的关系，结合所述检测结果和选取的多帧图像的车辆倾斜检测框，对多转向上的车辆进行计数，实现了对十字路口转向的车辆进行计数。
Description
技术领域
本发明属于车辆计数技术领域，尤其涉及一种路口多转向车辆计数方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
近年来，道路交通的视频监控越来越多，这些基于交通视频的交通监控系统经常使用计算机视觉方法来开发，因为视频信息含量高，比传统的磁线圈、微波或超声波探测器等传感器更智能。例如，通过视觉技术，可以提供流量、速度、车辆分类和异常检测。而随着飞行器技术与航拍技术的快速发展，高分辨率航拍图像的获取变得越来越容易，无人机监控也已经开始在智能交通中使用。
在智能交通中，交通流参数是各种智能模型的基础数据，而交通流参数的获取通常是基于车辆计数得到的。对交通道路上的车辆进行计数再进行交通体量的估计对优化交通、实现智慧城市有着重要意义，基于视觉的交通体量估计方法有着较高的性价比。在交通车辆计数中，对于经过某一交通断面的车辆计数可以得到交通流体量数据，而大部分的车辆计数是对某一时刻静止的车辆进行计数，或者是沿着道路行驶的车辆进行通过车辆数目的计数。
转弯计数在交叉路口分析中起着重要作用，包括交通运行分析、交叉路口设计和交通规划应用。此外，需要转弯计数来开发优化的交通信号时间，从而带来各种好处，例如改善交通时间、减少燃料消耗和减少车辆碰撞。但是，很少有工作明确解决十字路口的转弯计数。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种路口多转向车辆计数方法及系统，实现了对十字路口转向的车辆进行计数，以获得各个转向上通过的车辆数量。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种路口多转向车辆计数方法，其包括：
获取路口交通视频；
对路口交通视频中每一帧图像中的车辆进行多角度检测，得到每一帧图像的车辆倾斜检测框；
确定每一帧图像的倾斜计数线，对于每条倾斜计数线，提取每一帧图像的空间特征，并选取每一帧图像前后的多帧图像的空间特征，组成每一帧图像的时空计数特征；
基于每条倾斜计数线的时空计数特征，检测每一帧图像中车辆与每条计数线的关系，结合所述检测结果和选取的多帧图像的车辆倾斜检测框，对多转向上的车辆进行计数。
进一步的，所述多角度检测采用多角度检测网络，所述多角度检测网络包括：
采用ResNet作为骨干网络提取输入图像的特征，得到四个金字塔特征图；
将四个金字塔特征图均归一化，将均一化的特征图相加，得到相加后的特征；
处理相加后的特征，得到前景增强特征图；
四个金字塔特征图分别与前景增强特征图进行相加得到四个增强的金字塔特征图；
四个增强的金字塔特征图经过区域特征聚集后，得到四个池化特征图，四个池化特征图沿着通道维度进行合并得到合并特征图。
进一步的，所述多角度检测网络还包括：
所述合并特征图依次经过全局平均池化、卷积操作和S函数后，得到通道注意力权值图；
将通道注意力权值图分成四块分别与四个池化特征图，进行通道级别的相乘，得到相乘后的特征图；
相乘后的特征图经过求和后，得到最终特征图；
所述最终特征图将分为两个通道进行全连接，分别来预测水平框和倾斜框。
进一步的，所述处理相加后的特征的具体步骤为：
以所述相加后的特征为输入，先通过一个3*3的卷积获取文本信息，再经过1*1卷积操作获得单通道的特征权值图；
所述单通道的特征权值图与以目标区域为前景的二值图像通过像素级点乘，点乘结果再与所述相加后的特征相加，得到前景增强特征图。
进一步的，所述多角度检测网络的目标函数由三部分组成，分别是：所述单通道的特征权值图与以目标区域为前景的二值图像单通道的特征权值图与以目标区域为前景的二值图像之间的目标分割损失、水平框的分类损失和倾斜框的位置损失。
进一步的，所述检测每一帧图像中车辆与每条计数线的关系的具体方法为：
将一条计数线的时空计数特征输入到基于堆栈长短时递归神经网络中，经过基于堆栈长短时递归神经网络对时空计数特征中的时序信息进行处理后，得到车辆与计数线的关系；
所述车辆与计数线的关系包括：车辆以进入方式经过计数线、车辆以驶出方式经过计数线和无车辆经过计数线。
进一步的，所述对多转向上的车辆进行计数的具体步骤为：
对于每条倾斜计数线，判断车辆与计数线的关系；
若车辆与计数线的关系为所述无车辆经过计数线，不计数；
若车辆与计数线的关系为所述车辆以驶出方式经过计数线或车辆以进入方式经过计数线，则根据选取的多帧图像的车辆倾斜检测框，判断车辆转向，并进行转向上的经过车辆累加。
本发明的第二个方面提供一种路口多转向车辆计数系统，其包括：
数据获取单元，其被配置为：获取路口交通视频；
倾斜框检测单元，其被配置为：对路口交通视频中每一帧图像中的车辆进行多角度检测，得到每一帧图像的车辆倾斜检测框；
时空计数特征提取单元，其被配置为：确定每一帧图像的倾斜计数线，对于每条倾斜计数线，提取每一帧图像的空间特征，并选取每一帧图像前后的多帧图像的空间特征，组成每一帧图像的时空计数特征；
车辆计数单元，其被配置为：基于每条倾斜计数线的时空计数特征，检测每一帧图像中车辆与每条计数线的关系，结合所述检测结果和选取的多帧图像的车辆倾斜检测框，对多转向上的车辆进行计数。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种路口多转向车辆计数方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种路口多转向车辆计数方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种路口多转向车辆计数方法，其提出了一种空间和通道注意力的多角度检测深度网络(SCAM)，对无人机拍摄的十字路口的车辆目标进行检测，得到的检测框是任意角度的，定位车辆的同时获得车辆的方向。
本发明提供了一种路口多转向车辆计数方法，其提出了一种基于倾斜检测框的转弯时空计数特征tSTCF，以对转弯车辆的过线时空信息进行提取，该特征可以有效的表征车辆相对计数线的时空位置特征。
本发明提供了一种路口多转向车辆计数方法，其设计了堆栈长短时递归神经网络sLSTM来处理tSTCF，通过对tSTCF包含的时空特征处理后进行分类，基于分类结果和位置信息对多转向的车辆进行同时计数。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的一种路口多转向车辆计数方法的整体流程图；
图2是本发明实施例一的SCAM网络结构图；
图3是本发明实施例一的计数线和转向定义图；
图4是本发明实施例一的转向车辆计数模型图；
图5是本发明实施例一的堆栈的LSTM处理tSTCF特征的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种路口多转向车辆计数方法，对转向的车辆进行定位，同时基于检测结果提出了一种堆栈长短时递归神经网络sLSTM对十字路口转向的车辆进行计数，以获得各个转向上通过的车辆数量。
本实施例提供的一种路口多转向车辆计数方法，基于路口交通视频，研究了基于深度网络的多转向车辆计数模型，如图1所示，主要分为倾斜框检测、转向时空计数特征提取和基于sLSTM进行路口多转向车辆计数三部分。
步骤1、获取路口交通视频。
基于道路固定安装的摄像头对于道路十字路口的拍摄覆盖面通常不够广，难以获得四个路口的高质量交通状况视频，而基于无人机的摄像头拍摄的路口交通视频则可以获得更加广阔的覆盖面，因此，本发明基于无人机拍摄的大场景道路路口视频进行十字路口车辆转弯计数。
优选的，采用无人机从高空拍摄的十字路口的交通场景视频作为待处理交通视频数据，交通视频数据为25帧每秒，对于每一帧数据首先以路口中心为中心点，裁剪出1024*1024像素的图像，作为待处理路口交通图像。
步骤2、对路口交通视频中每一帧图像中的车辆进行多角度检测，得到每一帧图像的路口的车辆倾斜检测框，具体的，对每一帧图像中的车辆进行多角度检测时采用多角度检测网络SCAM。
其中，如图2所示，SCAM网络的结构为：
采用ResNet作为骨干网络提取输入图像的特征，ResNet的前向传播计算是通过自下而上的路径实现的。在得到{P2，P3，P4，P5}特征金字塔后，将四个金字塔特征图均归一化到P4大小，并将四层均一化的特征图相加，得到相加后的特征Fp。
处理相加后的特征，得到前景增强特征图，具体的：特征Fp通过一个基于目标二值分割的空间注意力模块SAM将特征中的背景信息进一步进行抑制，SAM模块以Fp为输入，先通过一个3*3的卷积获取文本信息，再经过1*1卷积操作获得单通道的特征权值图F1，该单通道的特征权值图将与以目标区域为前景的二值图像Fb为有监督的学习进行学习以增强权值表征，F1与二值图像Fb之间的损失loss1作为整个检测网络损失函数的一部分。F1与Fp通过像素级点乘，点乘结果再与Fp相加得到基于空间注意力的前景增强特征图Fs。
四个金字塔特征图{P2，P3，P4，P5}分别与Fs进行相加得到四个增强的金字塔特征图{S2，S3，S4，S5}(即，前景增强、背景抑制的金字塔特征图)，四个增强的金字塔特征图再经过区域特征聚集(RoI Align)后，得到四个池化特征图{L2，L3，L4，L5},将这些特征图进行沿着通道维度进行合并得到合并特征图Ld，输入通道自适应注意力模块CAM，CAM首先通过全局平均池化，然后再经过两个1*1卷积操作以获得特征之间的通道相关性，再通过S函数得到通道注意力权值图Fc，将此权值图Fc分成四块分别与四个池化特征图{L2，L3，L4，L5}进行通道级别的相乘，得到相乘后的特征图{Lc2，Lc3，Lc4，Lc5}，再进行求和后得到最终经过多尺度、空间注意力和通道注意力操作后的最终特征图Fd，将用于倾斜框的检测。
通过上述提取特征的过程后得到的最终特征图Fd作为倾斜检测模块(ODM)的输入，将分为两个通道进行全连接，分别得到Fh来预测水平检测框HBB的四个参数(x，y，w，h)，得到Fo来预测倾斜框OBB的五个参数(x，y，w，h，θ)，以HBB和OBB产生的损失loss2和loss3作为网络训练时的损失函数的一部分。
整个网络模型的损失函数L(p，c，c*，v)由三部分组成，分别是loss1目标分割损失L1(即单通道的特征权值图与以目标区域为前景的二值图像之间的目标分割损失)、loss2水平框的分类损失L2、loss3倾斜框的位置损失L3：
L(p，c，c*,v)＝λ1L1(A*,A)+λ2L2(p,c)+λ3L3(v*,v)
L2(p，c)＝-log(p)
其中，A为二值化图像，“*”代表真实值，c为候选框种类，p为输出置信度，v为倾斜框坐标，λ1、λ2和λ3为超参数且值设置为1，(i，j)为像素坐标。
步骤3、确定每一帧图像的倾斜计数线，对于每条倾斜计数线，提取每一帧图像的空间特征，并选取每一帧图像前后的多帧图像的空间特征，组成每一帧图像的时空计数特征。
作为一种实施方式，定义两个车辆计数线，对8转向的车辆经过计数线进行定义，并设计转向时空计数特征tSTCF及其提取方法。
(1)倾斜计数线的确定方法为：首先，对路口交通视频进行预处理，使每一帧图像中路口的水平道路为水平方向、且垂直道路为垂直方向；然后，设置第一计数线(计数线1)与水平方向的夹角为135°，第二计数线(计数线2)与水平方向的夹角为45°，两条计数线相互垂直。
如上所述，本发明的交通视频数据经预处理后为1024*1024像素的图片，本发明采用的交通视频数据经预处理后，其路口的水平道路(BD道路)基本为水平方向，垂直道路(AC道路)基本为垂直方向，若角度变化较大则通过图像旋转和尺寸设置统一为图3中的场景或近似图3的场景。
为了对各种转向都可以计数，首先对各种情况的车辆转向进行定义，如图3所示，本发明一共对8种转向情况进行分别计数，分别定义为：1右转(A→B)、2右转(D→A)、3右转(B→C)、4右转(C→D)、5左转(A→D)、6左转(B→A)、7左转(D→C)、8左转(C→B)。
这8种转向情况的车辆可通过设置两条倾斜计数线全部包含，为图3中的计数线1和计数线2，计数线1与图像水平方向的夹角为135°，计数线2与图像水平方向的夹角为45°，两条计数线相互垂直。
(2)转向时空计数特征tSTCF提取
得到车辆的倾斜检测框结果后，针对计数线1再提取每一帧的时空计数特征tSTCF，记为tSTCF1，该特征包括了以下四种转向车辆的特征：1、4、6、7，且其中1和7为从计数线1的右上方转向至左下方，4和6为从计数线1的左下方转向至右上方；即依据计数线1提取的tSTCF包含两个方向。同理，针对计数线2提取每一帧的时空计数特征tSTCF，记为tSTCF2，该特征包括了以下四种转向车辆的特征：2、3、5、8，且其中2和8为从计数线2的右下方转向至左上方，3和5为从计数线2的左上方转向至右下方；即依据计数线2提取的tSTCF也是包含两个方向。
针对计数线1，按照如下方式提取其tSTCF，记为时空计数特征集tSTCF1。
对每一帧图像检测结果，选取倾斜检测框角度在175°至105°之间的检测框，记为表示第j帧中选取的待提取tSTCF的车辆；是第j帧中第i个边界框的左上角的x轴坐标；是第j帧中第i个边界框的左上角的y轴坐标；是第j帧中第i个边界框的宽度；是第j帧中第i个边界框的高度。
对按照如下公式计算每一个检测框的空间特征
将按照值的大小进行升序排列，形成集合获取集合s(j)前3个值(车辆空间特征)作为该帧(第j帧)的空间特征若不满3个值则填充最大值max＝150。
作为一种实施方式，选择第j帧之前一帧和第j帧之后一帧作为提取单元提取第j帧针对计数线1的时空计数特征如下公式所示：
针对计数线2，按照如下方式提取其tSTCF，记为时空计数特征集tSTCF2。
对每一帧图像检测结果，选取倾斜检测框角度在25°至75°之间的检测框，记为表示第j帧中选取的待提取tSTCF的车辆；是第j帧中第i个边界框的左上角的x轴坐标；是第j帧中第i个边界框的左上角的y轴坐标；是第j帧中第i个边界框的宽度；是第j帧中第i个边界框的高度。
对按照如下公式计算每一个检测框的空间特征
将按照值的大小进行升序排列，形成集合获取集合s(j)前3个值(车辆空间特征)作为该帧(第j帧)的空间特征若不满3个值则填充最大值max＝150。
与步骤1一致，选择第j帧之前一帧和第j帧之后一帧作为提取单元提取第j帧针对计数线2的时空计数特征如下公式所示：
(3)tSTCF类别定义
通过上述分析，针对两个计数线提取的tSTCF均包含两个方向，将其两个转向方向分别记为进入计数线和驶出计数线。按照这样的定义，对上述针对两个计数线提取的tSTCF1和tSTCF2，对其中经过计数线的转向车辆所提取的tSTCF进行分类。每一个计数线进入和驶出进行如下定义：tSTCF1中，将从计数线1的右上方转向至左下方(转向1和7)定义为1类进入经过计数线(进入in)，将从计数线1的右下方转向至左上方(转向4和6)定义为2类驶出经过计数线(驶出out)；tSTCF2中，将从计数线2的右下方转向至左上方(转向2和8)定义为1类进入经过计数线(进入in)，将从计数线2的左上方转向至右下方(转向3和5)定义为2类驶出经过计数线(驶出out)。即对视频中所有经过计数线(计数线1和2)的车辆提取的所有tSTCF(包括tSTCF1和tSTCF2)中，定义为1类的tSTCF有转向1、7、2、8，定义为2类的tSTCF有转向4、6、3、5。如图3所示。其他未有车辆经过两个计数线的帧提取的tSTCF则记为3类，总结来说，对视频帧提取的所有的tSTCF分为三类：第1类车辆以进入计数线的方式经过计数线，包括转向1、7、2、8；第2类车辆以驶出计数线的方式经过计数线，包括转向4、6、3、5；第三类为没有车辆经过计数线。
步骤4、基于每条倾斜计数线的时空计数特征，采用sLSTM处理后得到每一帧图像中车辆与每条计数线的关系，结合所述处理结果和选取的多帧图像的车辆倾斜检测框，对多转向上的车辆进行计数。
作为一种实施方式，采用基于堆栈长短时递归神经网络sLSTM来处理基于倾斜检测结果提取的tSTCF，对tSTCF进行分类，再基于阈值判定不同转向上是否有车辆经过，最终得到交通视频中十字路口8个转向上的车辆经过数目。
对十字路口视频进行多角度车辆检测并提取了tSTCF后，本发明设计了基于堆栈长短时递归神经网络sLSTM网络的转向车辆计数模型。设计的计数模型由三部分组成，包括输入转向时空计数特征、sLSTM网络和多转向计数器。模型由tSTCF作为输入，sLSTM网络处理tSTCF后输出Oj，后由多转向计数器接收sLSTM的输出Oj，通过多转向计数器后最终的计数模型输出8种多转向车辆计数结果：车辆计数模型结构如图4所示。
(1)sLSTM网络结构
转向时空计数特征Fj(计数线1的时空计数特征或计数线2的时空计数特征)是sLSTM的输入。sLSTM网络包含两个堆砌的长短时递归神经网络(LSTM)层，一个全连接(FC)层，一个归一化指数(softmax)层和一个分类(classification)层。sLSTM中的两层堆砌的LSTM层每层有100个隐藏单元。在FC层和softmax层之后，最后为一层分类层。
tSTCF特征Fj是sLSTM的输入，Fj是3×3维的时间序列特征，第j帧图像对应的一条计数线的tSTCF特征Fj直接输入到第一层LSTM层中，经第一层LSTM层处理后，再输入到第二层LSTM层。图3-5显示了LSTM层处理STCF特征的过程：Fj中从fj-1到fj+1的特征按时间序列输入LSTM，在第j帧，LSTM使用LSTM网络的第(j-1)步的状态和输入的fj来计算和更新LSTM的第j步的状态；直到处理fj+1输入以更新LSTM的第(j+1)步的状态获得最终输出。第二个LSTM层接收第一个LSTM层的输出数据，同第一层LSTM一样进行第j-1步到第j+1步的更新，最终得到堆栈的LSTM的输出，再输入到后续的全连接层FC层。堆栈的LSTM处理tSTCF特征Fj的过程如图5所示。
第j帧图像对应的一条计数线的转向时空计数特征Fj输入到sLSTM中，经过sLSTM对Fj中的时序信息进行处理后，对Fj进行分类，得到车辆与每条计数线的关系。按照上述对tSTCF类别的定义，输入的Fj共分为三类，即得到车辆与每条计数线的关系包括：车辆以进入方式经过计数线、车辆以驶出方式经过计数线、无车辆经过计数线。因此，本发明按照如下方法定义sLSTM网络的输出Oj：对于Fj中涉及的每个转向车辆，判断在第j帧时是否经过计数线(包括计数线1和计数线2)，若所有转向车辆都没过线，则Oj＝1；若有一转向辆车沿着驶出方向(转向4、6、3、5)过线，则Oj＝2；若有一转向辆车沿着进入方向(转向1、7、2、8)过线，则Oj＝3。
基于上述输出定义，sLSTM网络最后一个层分类层的最终输出为Oj(Oj＝1,2,3)，分类层是基于交叉熵函数构建的，由交叉熵损失来计算的，其定义为，
其中，loss是分类层的交叉熵损失；K是样本数，Ii,j是第i个tSTCF属于第j类的指示值；oi,j是softmax层的输出，是将第i个tSTCF分类为第j类的概率。
(2)sLSTM网络的训练和测试
sLSTM网络需要经过训练数据学习得到分类tSTCF的参数值，本发明将无人机录制的三个不同的十字路口视频进行了多角度车辆检测，依据本发明提出的tSTCF的提取方法提取出tSTCF后，人工标注了每个tSTCF的类别值(1，2，3)。通过数据反转操作共提取了10460个tSTCF特征样本，包括8576个类别1样本、942个类别2样本、942个类别3样本。三个类别的样本量是不平衡的，为了平衡不同类别的样本，本文采用了样本数据乘以随机权值的样本扩增策略来平衡三个类别的样本量，将类别2样本和类别3样本两类数据量扩展了6倍。最终准备了8576个类别1样本，5652个类别2样本和5652个类别3样本。这19880个样本中的1/2用于训练sLSTM，1/4样本用于验证，其余1/4样本用于测试。
tSTCF特征提取和sLSTM计数网络采用Matlab进行编程。sLSTM是使用Inteli7-7700 CPU进行训练和测试的。训练cLSTM网络使用Adam算法进行优化，学习率设置为0.001，梯度阈值设置为1以防止梯度爆炸，训练周期为100个，每个训练周期的迭代次数为3。
(3)多转向计数器
训练好的sLSTM可以较高的精确度对提取的tSTCF进行分类，分类结果输出为Oj(Oj＝1,2,3)。本发明设计了多转向计数器对分类结果输出Oj进行转向选择和8个转向上的经过车辆累加。具体的，对于每条倾斜计数线，判断车辆与计数线的关系；若车辆与计数线的关系为无车辆经过计数线，不计数；若车辆与计数线的关系为车辆以驶出方式经过计数线或车辆以进入方式经过计数线，则根据选取的多帧图像的车辆倾斜检测框，判断车辆转向，并进行转向上的经过车辆累加。
对于Oj＝1的Fj，表示该帧没有转向车辆经过计数线，不计数。
若输出的Oj＝2，则表示在4、6、3、5四个转向中的一个方向上有转向车辆经过。若该Fj来自tSTCF1集，即对于计数线1，则为4、6两个转向中的一个方向有车辆经过，若该Fj所涉及的车辆检测框的中心点坐标的y值大于阈值(H为输入图像的高度)，则为4方向转向上有转向车辆经过计数线1，则若该Fj所涉及的车辆检测框的中心点坐标的y值小于阈值(H为输入图像的高度)，则为6方向转向上有转向车辆经过计数线1，则若该Fj来自tSTCF2集，即对于计数线2，则为3、5两个转向中的一个方向有车辆经过。若该Fj所涉及的车辆检测框的中心点坐标的y值大于阈值(H为输入图像的高度)，则为3方向转向上有转向车辆经过计数线2，则若该Fj所涉及的车辆检测框的中心点坐标的y值小于阈值(H为输入图像的高度)，则为5方向转向上有转向车辆经过计数线2，则
若输出的Oj＝3，则表示在1、7、2、8四个转向中的一个方向上有转向车辆经过。若该Fj来自tSTCF1集，即对于计数线1，则为1、7两个转向中的一个方向有车辆经过，若该Fj所涉及的车辆检测框的中心点坐标的y值大于阈值(H为输入图像的高度)，则为7方向转向上有转向车辆经过计数线1，则若该Fj所涉及的车辆检测框的中心点坐标的y值小于阈值(H为输入图像的高度)，则为1方向转向上有转向车辆经过计数线1，则若该Fj来自tSTCF2集，即对于计数线2，则为2、8两个转向中的一个方向有车辆经过。若该Fj所涉及的车辆检测框的中心点坐标的y值大于阈值(H为输入图像的高度)，则为8方向转向上有转向车辆经过计数线2，则若该Fj所涉及的车辆检测框的中心点坐标的y值小于阈值(H为输入图像的高度)，则为2方向转向上有转向车辆经过计数线2，则
至此，经过最后多转向车辆计数器后，本发明提出的基于sLSTM的多转向计数模型可对十字路口8个转向方向进行同时的实时转向车辆计数。
实施例二
本实施例提供了一种路口多转向车辆计数系统，其具体包括如下模块：
数据获取单元，其被配置为：获取路口交通视频；
倾斜框检测单元，其被配置为：对路口交通视频中每一帧图像中的车辆进行多角度检测，得到每一帧图像的车辆倾斜检测框；
时空计数特征提取单元，其被配置为：确定每一帧图像的倾斜计数线，对于每条倾斜计数线，提取每一帧图像的空间特征，并选取每一帧图像前后的多帧图像的空间特征，组成每一帧图像的时空计数特征；
车辆计数单元，其被配置为：基于每条倾斜计数线的时空计数特征，检测每一帧图像中车辆与每条计数线的关系，结合所述检测结果和选取的多帧图像的车辆倾斜检测框，对多转向上的车辆进行计数。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种路口多转向车辆计数方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种路口多转向车辆计数方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种路口多转向车辆计数方法，其特征在于，包括：
获取路口交通视频；
对路口交通视频中每一帧图像中的车辆进行多角度检测，得到每一帧图像的车辆倾斜检测框；
确定每一帧图像的倾斜计数线，对于每条倾斜计数线，提取每一帧图像的空间特征，并选取每一帧图像前后的多帧图像的空间特征，组成每一帧图像的时空计数特征；
基于每条倾斜计数线的时空计数特征，检测每一帧图像中车辆与每条计数线的关系，结合所述检测结果和选取的多帧图像的车辆倾斜检测框，对多转向上的车辆进行计数；
所述多角度检测采用多角度检测网络，所述多角度检测网络包括：采用ResNet作为骨干网络提取输入图像的特征，得到四个金字塔特征图；将四个金字塔特征图均归一化，将均一化的特征图相加，得到相加后的特征；处理相加后的特征，得到前景增强特征图；四个金字塔特征图分别与前景增强特征图进行相加得到四个增强的金字塔特征图；四个增强的金字塔特征图经过区域特征聚集后，得到四个池化特征图，四个池化特征图沿着通道维度进行合并得到合并特征图；
所述多角度检测网络还包括：所述合并特征图依次经过全局平均池化、卷积操作和S函数后，得到通道注意力权值图；将通道注意力权值图分成四块分别与四个池化特征图，进行通道级别的相乘，得到相乘后的特征图；相乘后的特征图经过求和后，得到最终特征图；所述最终特征图将分为两个通道进行全连接，分别来预测水平框和倾斜框。
2.如权利要求1所述的一种路口多转向车辆计数方法，其特征在于，所述处理相加后的特征的具体步骤为：
以所述相加后的特征为输入，先通过一个3*3的卷积获取文本信息，再经过1*1卷积操作获得单通道的特征权值图；
所述单通道的特征权值图与以目标区域为前景的二值图像通过像素级点乘，点乘结果再与所述相加后的特征相加，得到前景增强特征图。
3.如权利要求2所述的一种路口多转向车辆计数方法，其特征在于，所述多角度检测网络的目标函数由三部分组成，分别是：所述单通道的特征权值图与以目标区域为前景的二值图像单通道的特征权值图与以目标区域为前景的二值图像之间的目标分割损失、水平框的分类损失和倾斜框的位置损失。
4.如权利要求1所述的一种路口多转向车辆计数方法，其特征在于，所述检测每一帧图像中车辆与每条计数线的关系的具体方法为：
将一条计数线的时空计数特征输入到基于堆栈长短时递归神经网络中，经过基于堆栈长短时递归神经网络对时空计数特征中的时序信息进行处理后，得到车辆与计数线的关系；
所述车辆与计数线的关系包括：车辆以进入方式经过计数线、车辆以驶出方式经过计数线和无车辆经过计数线。
5.如权利要求4所述的一种路口多转向车辆计数方法，其特征在于，所述对多转向上的车辆进行计数的具体步骤为：
对于每条倾斜计数线，判断车辆与计数线的关系；
若车辆与计数线的关系为所述无车辆经过计数线，不计数；
若车辆与计数线的关系为所述车辆以驶出方式经过计数线或车辆以进入方式经过计数线，则根据选取的多帧图像的车辆倾斜检测框，判断车辆转向，并进行转向上的经过车辆累加。
6.一种路口多转向车辆计数系统，其特征在于，包括：
数据获取单元，其被配置为：获取路口交通视频；
倾斜框检测单元，其被配置为：对路口交通视频中每一帧图像中的车辆进行多角度检测，得到每一帧图像的车辆倾斜检测框；
时空计数特征提取单元，其被配置为：确定每一帧图像的倾斜计数线，对于每条倾斜计数线，提取每一帧图像的空间特征，并选取每一帧图像前后的多帧图像的空间特征，组成每一帧图像的时空计数特征；
车辆计数单元，其被配置为：基于每条倾斜计数线的时空计数特征，检测每一帧图像中车辆与每条计数线的关系，结合所述检测结果和选取的多帧图像的车辆倾斜检测框，对多转向上的车辆进行计数；
所述多角度检测采用多角度检测网络，所述多角度检测网络包括：采用ResNet作为骨干网络提取输入图像的特征，得到四个金字塔特征图；将四个金字塔特征图均归一化，将均一化的特征图相加，得到相加后的特征；处理相加后的特征，得到前景增强特征图；四个金字塔特征图分别与前景增强特征图进行相加得到四个增强的金字塔特征图；四个增强的金字塔特征图经过区域特征聚集后，得到四个池化特征图，四个池化特征图沿着通道维度进行合并得到合并特征图；
所述多角度检测网络还包括：所述合并特征图依次经过全局平均池化、卷积操作和S函数后，得到通道注意力权值图；将通道注意力权值图分成四块分别与四个池化特征图，进行通道级别的相乘，得到相乘后的特征图；相乘后的特征图经过求和后，得到最终特征图；所述最终特征图将分为两个通道进行全连接，分别来预测水平框和倾斜框。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的一种路口多转向车辆计数方法中的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的一种路口多转向车辆计数方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111205143.2A CN113936255B (zh) | 2021-10-15 | 2021-10-15 | 一种路口多转向车辆计数方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111205143.2A CN113936255B (zh) | 2021-10-15 | 2021-10-15 | 一种路口多转向车辆计数方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113936255A CN113936255A (zh) | 2022-01-14 |
| CN113936255B true CN113936255B (zh) | 2024-09-03 |
Family
ID=79279813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111205143.2A Active CN113936255B (zh) | 2021-10-15 | 2021-10-15 | 一种路口多转向车辆计数方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936255B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109643367A (zh) * | 2016-07-21 | 2019-04-16 | 御眼视觉技术有限公司 | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 |
| CN110889347A (zh) * | 2019-11-15 | 2020-03-17 | 山东大学 | 基于时空计数特征的密度交通流计数方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10486707B2 (en) * | 2016-01-06 | 2019-11-26 | GM Global Technology Operations LLC | Prediction of driver intent at intersection |
| CN111191607A (zh) * | 2019-12-31 | 2020-05-22 | 上海眼控科技股份有限公司 | 确定车辆的转向信息的方法、设备和存储介质 |
| US11731639B2 (en) * | 2020-03-03 | 2023-08-22 | GM Global Technology Operations LLC | Method and apparatus for lane detection on a vehicle travel surface |
| CN111583660B (zh) * | 2020-05-22 | 2021-09-10 | 济南博观智能科技有限公司 | 车辆转向行为检测方法、装置、设备及存储介质 |
| CN111932908B (zh) * | 2020-08-05 | 2021-07-23 | 浙江工业大学 | 一种基于深度学习的转向比及车流量统计方法 |
-
2021
- 2021-10-15 CN CN202111205143.2A patent/CN113936255B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109643367A (zh) * | 2016-07-21 | 2019-04-16 | 御眼视觉技术有限公司 | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 |
| CN110889347A (zh) * | 2019-11-15 | 2020-03-17 | 山东大学 | 基于时空计数特征的密度交通流计数方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113936255A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598030B (zh) | 一种航拍图像中车辆检测和分割的方法及系统 | |
| Wang et al. | YOLOv3-MT: A YOLOv3 using multi-target tracking for vehicle visual detection | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN105550701B (zh) | 实时图像提取识别方法及装置 | |
| Huang et al. | Spatial-temproal based lane detection using deep learning | |
| CN113591872A (zh) | 一种数据处理系统、物体检测方法及其装置 | |
| CN116783620A (zh) | 根据点云的高效三维对象检测 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN111553321A (zh) | 一种流动商贩目标检测模型、检测方法及其管理方法 | |
| CN103198300A (zh) | 基于双层背景的停车事件检测方法 | |
| CN115496971A (zh) | 一种红外目标检测方法、装置、电子设备及存储介质 | |
| CN117611994A (zh) | 基于注意力机制加权特征融合的遥感图像目标检测方法 | |
| CN104778699A (zh) | 一种自适应对象特征的跟踪方法 | |
| CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
| Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s | |
| CN114707604A (zh) | 一种基于时空注意力机制的孪生网络跟踪系统及方法 | |
| CN117671647B (zh) | 一种多任务道路场景感知方法 | |
| Singh et al. | Improved YOLOv5l for vehicle detection: an application to estimating traffic density and identifying over speeding vehicles on highway scenes | |
| CN113435324A (zh) | 一种车辆目标检测方法、装置及计算机可读存储介质 | |
| CN113936255B (zh) | 一种路口多转向车辆计数方法及系统 | |
| CN116630904B (zh) | 融合非临近跳连与多尺度残差结构的小目标车辆检测方法 | |
| CN117789160A (zh) | 一种基于聚类优化的多模态融合目标检测方法及系统 | |
| CN113269171B (zh) | 车道线检测方法、电子设备及车辆 | |
| CN113963265B (zh) | 一种复杂遥感陆地环境小样本小目标快速检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee after: Qilu University of Technology (Shandong Academy of Sciences) Country or region after: China Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Patentee before: Qilu University of Technology Country or region before: China |
|
| CP03 | Change of name, title or address |