CN112686125A - 车辆类型的确定方法及装置、存储介质、电子装置 - Google Patents
车辆类型的确定方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN112686125A CN112686125A CN202011567540.XA CN202011567540A CN112686125A CN 112686125 A CN112686125 A CN 112686125A CN 202011567540 A CN202011567540 A CN 202011567540A CN 112686125 A CN112686125 A CN 112686125A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- feature vector
- vehicle type
- target
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 119
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种车辆类型的确定方法及装置、存储介质、电子装置,该方法包括:获取待测车辆的图像信息,得到目标图像;将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量,其中,融合特征向量包括待测车辆的关键点特征向量、车系特征向量以及车型特征向量;基于融合特征向量确定待测车辆的车辆类型。通过本发明,解决了相关技术中对车辆类型的确定过程复杂,并且不准确的问题,进而达到了准确确定车辆类型的效果。
Description
技术领域
本发明实施例涉及车辆领域,具体而言,涉及一种车辆类型的确定方法及装置、存储介质、电子装置。
背景技术
在城市道路和农村道路中,农用车的违法行为也越来越多,如农用车无牌驾驶、农用车非法载人、农用车非法改装、农用车超载等违法行为,这些驾驶行为具有严重的危害性,各地方政府也开始对这类农用车驾驶行为加大处罚力度。
现有技术中,对车辆类型的确定过程比较复杂,并且不准确。
针对上述技术问题,相关技术中尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种车辆类型的确定方法及装置、存储介质、电子装置,以至少解决相关技术中对车辆类型的确定过程复杂,并且不准确的问题。
根据本发明的一个实施例,提供了一种车辆类型的确定方法,包括:获取待测车辆的图像信息,得到目标图像;将上述目标图像输入至多任务目标模型中,得到上述多任务目标模型输出的融合特征向量,其中,上述融合特征向量包括上述待测车辆的关键点特征向量、车系特征向量以及车型特征向量;基于上述融合特征向量确定上述待测车辆的车辆类型。
根据本发明的另一个实施例,提供了一种车辆类型的确定装置,包括:第一获取模块,用于获取待测车辆的图像信息,得到目标图像;第一输入模块,用于将上述目标图像输入至多任务目标模型中,得到上述多任务目标模型输出的融合特征向量,其中,上述融合特征向量包括上述待测车辆的关键点特征向量、车系特征向量以及车型特征向量;第一确定模块,用于基于上述融合特征向量确定上述待测车辆的车辆类型。
在一个示例性实施例中,上述第一输入模块,包括:第一输入单元,用于将上述目标图像输入至上述多任务目标模型中的主干网络中,得到上述主干网络输出的上述目标图像的N个主特征图;第二输入单元,用于将上述N个主特征图中的M个特征图输入至关键点分支网络中,得到上述关键点分支网络输出的关键点特征向量;第三输入单元,用于将上述N个主特征图中的K个特征图输入至车系分支网络中,得到上述车系分支网络输出的车系特征向量;第四输入单元,用于将上述N个主特征图中的K个特征图输入至车型分支网络中,得到上述车型分支网络输出的车型特征向量;其中,上述N、上述M以及上述K均是大于或等于1的自然数,上述M和上述K均小于上述N。
在一个示例性实施例中,在上述主干网络中包括多个卷积层的情况下,上述M个特征图位于上述多个卷积层中的第P层,上述K个特征图位于上述多个卷积层中的第Q层,其中,上述P和上述Q均是小于1的自然数,且上述P大于上述Q。
在一个示例性实施例中,上述第二输入单元,包括:第一预测子单元,用于利用上述关键点分支网络中的卷积层对上述M个特征图的位置进行预测,得到关键点位置预测信息;第一确定子单元,用于基于上述关键点位置预测信息和上述K个特征图确定上述关键点特征向量。
在一个示例性实施例中,上述车系分支网络中至少包括一个全连接层,其中,上述车系分支网络中的全连接层用于输出上述车系特征向量。
在一个示例性实施例中,上述车型分支网络中至少包括一个全连接层,其中,上述车型分支网络中的全连接层用于输出上述车型特征向量。
在一个示例性实施例中,上述第一确定模块,包括:第一确定单元,用于在上述融合特征向量对应的车系是目标车辆的车系,且上述车型特征向量对应的车辆类型是上述目标车辆的车辆类型的情况下,确定上述待测车辆的车辆类型是上述目标车辆的车辆类型。
在一个示例性实施例中,上述装置还包括:第二确定模块,用于将上述目标图像输入至多任务目标模型中,得到上述多任务目标模型输出的融合特征向量之前,确定上述待测车辆的车型损失函数Ltype;第三确定模块,用于确定上述待测车辆的车系损失函数Lmodel;第四确定模块,用于确定上述待测车辆的关键点损失函数Lpoint;第五确定模块,用于利用上述Ltype、上述Lmodel以及上述Lpoint确定目标损失函数Lfinal,其中,Lfinal=Lmod el+αLtype+βLpo int,上述α和上述β均用于表示多任务原始模型的权重系数;第六确定模块,用于基于上述目标损失函数对上述多任务原始模型进行训练,得到上述多任务目标模型。
在一个示例性实施例中,上述第四确定模块包括:
其中,上述p* i(h,w)用于表示样本图像对应的真实标注信息,上述pi(h,w)用于表示上述样本图像对应的预测标注信息,上述(h,w)用于表示上述样本图像中的像素点坐标,上述H用于表示上述样本图像的高度,上述W用于表示上述样本图像的宽度,上述样本图像用于训练上述多任务原始模型。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,通过获取待测车辆的图像信息,得到目标图像;将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量,其中,融合特征向量包括待测车辆的关键点特征向量、车系特征向量以及车型特征向量;基于融合特征向量确定待测车辆的车辆类型。实现了确定出车辆类型的目的。因此,可以解决相关技术中对车辆类型的确定过程复杂,并且不准确的问题,达到准确并高效的确定出车辆的类型的效果。
附图说明
图1是本发明实施例的一种车辆类型的确定方法的移动终端的硬件结构框图;
图2是根据本发明实施例的车辆类型的确定方法的流程图;
图3是根据本发明实施例的关键位置的示意图;
图4是根据本发明实施例的标注信息的结构示意图;
图5是根据本发明实施例的车辆类型的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种车辆类型的确定方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的车辆类型的确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种车辆类型的确定方法,图2是根据本发明实施例的车辆类型的确定方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,获取待测车辆的图像信息,得到目标图像;
可选地,本实施例包括但不限于应用于对车辆的类型进行确定的场景中,例如,检测车辆是否为农用车等等。在本实施例中,目标图像中标注有待测车辆的关键信息,例如,将待测车辆的车系、车型种类、车标、左车灯、右车灯标注为关键信息。
可选地,目标图像包括但不限于是通过摄像头获取的,例如,安装在交通枢纽处的监控摄像头拍摄路过的车辆。
步骤S204,将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量,其中,融合特征向量包括待测车辆的关键点特征向量、车系特征向量以及车型特征向量;
可选地,在本实施例中,多任务目标模型是基于卷积神经网络的模型,多任务目标模型包括目标检测模型,用于检测出目标车辆的车辆信息,目标检测模型例如可以是SSD、Yolo、FasterRCNN、CenterNet、FCOS等,目标检测模型中的主干网络可以是ResNet,Inception、DenseNet、MobileNet等网络。多任务目标模型还包括分类模型,将目标图像输入至分类模型中,对目标车辆的类型进行分类,例如,目标分类模型可以是RegNetY。
车辆信息包括但不限于是车辆的特征,例如,车辆类型、车系、车标等。如图2所示,点A表示车标关键点,点B表示左车灯关键点,点C表示右车灯关键点。车系种类除了常见的奥迪、宝马、奔驰车系外,还包括农用车车系,包括五征、时风、巨力等对应的农用车系。车辆类型包括轿车、运动型多用途汽车(Sport/Suburban Utility Vehicle,简称为SUV)、面包车、货车、客车、农用车,其中农用车车系对应的车型为农用车。
步骤S206,基于融合特征向量确定待测车辆的车辆类型。
其中,上述步骤的执行主体可以为终端等,但不限于此。
通过上述步骤,通过获取待测车辆的图像信息,得到目标图像;将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量,其中,融合特征向量包括待测车辆的关键点特征向量、车系特征向量以及车型特征向量;基于融合特征向量确定待测车辆的车辆类型。实现了确定出车辆类型的目的。因此,可以解决相关技术中对车辆类型的确定过程复杂,并且不准确的问题,达到准确并高效的确定出车辆的类型的效果。
在一个示例性实施例中,将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量,包括:
S1,将目标图像输入至多任务目标模型中的主干网络中,得到主干网络输出的目标图像的N个主特征图;
S2,将N个主特征图中的M个特征图输入至关键点分支网络中,得到关键点分支网络输出的关键点特征向量;
S3,将N个主特征图中的K个特征图输入至车系分支网络中,得到车系分支网络输出的车系特征向量;
S4,将N个主特征图中的K个特征图输入至车型分支网络中,得到车型分支网络输出的车型特征向量;
其中,N、M以及K均是大于或等于1的自然数,M和K均小于N。
可选地,在本实施例中,在多任务目标模型中输入目标图像,经过多任务目标模型中的主干网络,得到不同大小的N个特征图,例如,倒数第二层的第P层的M个特征图为Fm1∈RDⅹH2ⅹW2,其中,D表示通道数,H2表示特征图的高,W2表示图的宽。倒数第一层第Q层的K个特征图大小为Fm2∈RCⅹHⅹW。
在一个示例性实施例中,在所述主干网络中包括多个卷积层的情况下,所述M个特征图位于所述多个卷积层中的第P层,所述K个特征图位于所述多个卷积层中的第Q层,其中,所述P和所述Q均是小于1的自然数,且所述P大于所述Q。
可选地,在本实施例中,可以将目标模型中的末端分三个子任务,分别是车型任务、关键点任务、车系任务,每个分支任务,对应不同的车辆标注信息。并对应于不同的网络层。例如,在车系网络在倒数第一层Fm2后面加入两个全连接层,分别为fy1和fy2。车型网络在网络层Fm2后面加入另外两个全连接层,分别为ft1和ft2。关键点网络在Fm1后面接入两个卷积神经网络层,分别为Fp1∈REⅹH2ⅹW2和Fp2∈R3ⅹHⅹW。
可选地,例如,Fp2的输出采用sigmoid函数对特征中的对应通道的每个位置进行预测,作为关键点预测的最终结果(对应于第一关键点结果)。将车辆关键点结果Fp2和Fm2进行跨通道、逐像素相乘,得到新的特征向量fp3(对应于第一特征向量)∈RC*3。计算方法包括:将Fp2中第i个通道中的每一个pi(h,w)∈R像素值与Fm2对应的F(h,w)∈RC向量进行相乘,并除以中pi(h,w)所有值的和,得到向量fi,三个关键点生成三个向量,得到合并后的向量fp3,具体公式如下:
fp3=[f1,f2,f3];其中,ε=10-6,i=1,2,3。
在一个示例性实施例中,将N个主特征图中的M个特征图输入至关键点分支网络中,得到关键点分支网络中的卷积层输出的关键点特征向量,包括:
S1,利用关键点分支网络中的卷积层对M个特征图的位置进行预测,得到关键点位置预测信息;
S2,基于关键点位置预测信息和K个特征图确定关键点特征向量。
在一个示例性实施例中,车系分支网络中至少包括一个全连接层,其中,车系分支网络中的全连接层用于输出车系特征向量。
在一个示例性实施例中,车型分支网络中至少包括一个全连接层,其中,车型分支网络中的全连接层用于输出车型特征向量。
在一个示例性实施例中,基于融合特征向量确定待测车辆的车辆类型,包括:
S1,在融合特征向量对应的车系是目标车辆的车系,且车型特征向量对应的车辆类型是目标车辆的车辆类型的情况下,确定待测车辆的车辆类型是目标车辆的车辆类型。
可选地,在本实施例中,当该车辆对应的车系结果是农用车车系,车型结果是农用车车型,才判定该辆车为农用车。
在一个示例性实施例中,将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量之前,方法还包括:
S1,确定待测车辆的车型损失函数Ltype;
S2,确定待测车辆的车系损失函数Lmodel;
S3,确定待测车辆的关键点损失函数Lpoint;
S4,利用Ltype、Lmodel以及Lpoint确定目标损失函数Lfinal,其中,Lfinal=Lmod el+αLtype+βLpo int,α和β均用于表示多任务原始模型的权重系数;
S5,基于目标损失函数对多任务原始模型进行训练,得到多任务目标模型。
在一个示例性实施例中,确定待测车辆的关键点损失函数Lpoint,包括:
其中,p* i(h,w)用于表示样本图像对应的真实标注信息,所述pi(h,w)用于表示所述样本图像对应的预测标注信息,所述(h,w)用于表示所述样本图像中的像素点坐标,所述H用于表示所述样本图像的高度,所述W用于表示所述样本图像的宽度,所述样本图像用于训练所述多任务原始模型。
可选地,车辆的标注信息,例如,车系、车型、车标关键点、左车灯关键点、右车灯关键点等进行的标注。
下面结合具体实施例对本发明进行说明:
本实施例中的待测车辆以农用车辆为例进行说明。在本实施例中,获取城市道路、农村道路场景下的图片,对图片中的机动车车辆进行检测,获取机动车车辆图片。对机动车车辆图片进行标注,分别标注车系、车型种类,以及车标关键点、左车灯关键点、右车灯关键点信息。利用车辆图片和对应的标注信息,采用多任务训练方法,训练农用车识别的网络模型,得到目标模型。目标模型中的主干网络采用RegnetY,在网络模型的末端接入车型、车系、车辆局部关键点分支网络。
例如,车辆图片经过训练好的卷积神经网络模型,输出车辆的车系、车型种类信息,当车系是农用车品牌、车型是农用车类型,判断该车辆为农用车。
具体如下:
对城市道路、农村道路场景中的车辆进行标注,标注结果包含每一个车辆的位置信息。利用标注结果,训练一个目标检测模型,目标检测模型包括但不限于SSD、Yolo、FasterRCNN、CenterNet、FCOS等,主干网络可以是ResNet,Inception,DenseNet,MobileNet等网络。
获取到车辆目标后,对车辆的车系、车型、车标关键点、左车灯关键点、右车灯关键点进行标注,关键点位置如图3所示,点A表示车标关键点,点B表示左车灯关键点,点C表示右车灯关键点。车系种类除了常见的奥迪、宝马、奔驰车系外,还包括农用车车系,包括五征、时风、巨力等对应的农用车系。车辆类型包括轿车、SUV、面包车、货车、客车、农用车,其中农用车车系对应的车型为农用车。
例如,采用RegNetY网络作为主干网络,输入图片经过一系列卷积操作,在网络的末端分成三个子任务,分别是车型任务、关键点任务、车系任务,每个分支任务,对应不同的车辆标注信息,如图4所示。
输入的车辆图片,先经过主干网络RegNetY,得到不同大小的特征图,其中倒数第二层的特征图为Fm1∈RDⅹH2ⅹW2,D表示通道数,H2表示特征图的高,W2表示图的宽。倒数第一层的特征图大小为Fm2∈RCⅹHⅹW,车系网络在倒数第一层Fm2后面加入两个全连接层,分别为fy1和fy2。车型网络在网络层Fm2后面加入另外两个全连接层,分别为ft1和ft2。关键点网络在Fm1后面接入两个卷积神经网络层,分别为Fp1∈REⅹH2ⅹW2和Fp2∈R3ⅹHⅹW。Fp2的输出采用sigmoid函数对特征中的对应通道的每个位置进行预测,作为关键点预测的最终结果。将车辆关键点结果Fp2和Fm2进行跨通道、逐像素相乘,得到新的特征向量fp3∈RC*3。相乘方法是:将层Fp2中第i个通道中的每一个pi(h,w)∈R像素值与Fm2对应的F(h,w)∈RC向量进行相乘,并除以中pi(h,w)所有值的和,得到向量fi,三个关键点生成三个向量,得到合并后的向量fp3,具体公式如下所示,其中,ε=10-6,i=1,2,3。
fp3=[f1,f2,f3];
得到ft2、fp3、fy2三个特征向量后,通过concat操作,合并成一个特征向量fall,作为车系的特征向量。
车型和车系使用交叉熵损失函数,分别表示为Ltype和Lmodel。车辆关键点的损失函数Lpoint具体如下,其中p* i(h,w)代表真实标注信息。
最终的损失函数是车系、车型、车辆关键点对应的损失函数,按权重相加,α和β为权重系数。
Lfinal=Lmod el+αLtype+βLpo int;
车辆图片经过训练好的网络模型,得到车辆的车型信息和车系信息,当该车辆对应的车系结果是农用车车系,车型结果是农用车车型,才判定该辆车为农用车。
综上所述,本实施例采用深度卷积神经网络,直接端到端训练,不需要额外的局部输入图片和其它前处理信息,直接输入车辆图片,输出对应的车标、车型、车辆关键点信息。采用多任务训练模式,将车辆关键点与卷积神经网络特征图进行相乘,融合了车辆车灯、车标区域的局部语义特征,同时加入车辆类型的全局特征,作为车系分类的特征向量,提高车系分类的准确度。结合农用车车系结果和车型分类结果来判定是否是农用车,避免单一属性结果的不稳定性。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种车辆类型的确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的车辆类型的确定装置的结构框图,如图5所示,该装置包括:
第一获取模块52,用于获取待测车辆的图像信息,得到目标图像;
第一输入模块54,用于将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量,其中,融合特征向量包括待测车辆的关键点特征向量、车系特征向量以及车型特征向量;
第一确定模块56,用于基于融合特征向量确定待测车辆的车辆类型。
在一个示例性实施例中,上述第一输入模块,包括:第一输入单元,用于将上述目标图像输入至上述多任务目标模型中的主干网络中,得到上述主干网络输出的上述目标图像的N个主特征图;第二输入单元,用于将上述N个主特征图中的M个特征图输入至关键点分支网络中,得到上述关键点分支网络输出的关键点特征向量;第三输入单元,用于将上述N个主特征图中的K个特征图输入至车系分支网络中,得到上述车系分支网络输出的车系特征向量;第四输入单元,用于将上述N个主特征图中的K个特征图输入至车型分支网络中,得到上述车型分支网络输出的车型特征向量;其中,上述N、上述M以及上述K均是大于或等于1的自然数,上述M和上述K均小于上述N。
在一个示例性实施例中,在上述主干网络中包括多个卷积层的情况下,上述M个特征图位于上述多个卷积层中的第P层,上述K个特征图位于上述多个卷积层中的第Q层,其中,上述P和上述Q均是小于1的自然数,且上述P大于上述Q。
在一个示例性实施例中,上述第二输入单元,包括:第一预测子单元,用于利用上述关键点分支网络中的卷积层对上述M个特征图的位置进行预测,得到关键点位置预测信息;第一确定子单元,用于基于上述关键点位置预测信息和上述K个特征图确定上述关键点特征向量。
在一个示例性实施例中,上述车系分支网络中至少包括一个全连接层,其中,上述车系分支网络中的全连接层用于输出上述车系特征向量。
在一个示例性实施例中,上述车型分支网络中至少包括一个全连接层,其中,上述车型分支网络中的全连接层用于输出上述车型特征向量。
在一个示例性实施例中,上述第一确定模块,包括:第一确定单元,用于在上述融合特征向量对应的车系是目标车辆的车系,且上述车型特征向量对应的车辆类型是上述目标车辆的车辆类型的情况下,确定上述待测车辆的车辆类型是上述目标车辆的车辆类型。
在一个示例性实施例中,上述装置还包括:第二确定模块,用于将上述目标图像输入至多任务目标模型中,得到上述多任务目标模型输出的融合特征向量之前,确定上述待测车辆的车型损失函数Ltype;第三确定模块,用于确定上述待测车辆的车系损失函数Lmodel;第四确定模块,用于确定上述待测车辆的关键点损失函数Lpoint;第五确定模块,用于利用上述Ltype、上述Lmodel以及上述Lpoint确定目标损失函数Lfinal,其中,Lfinal=Lmod el+αLtype+βLpo int,上述α和上述β均用于表示多任务原始模型的权重系数;第六确定模块,用于基于上述目标损失函数对上述多任务原始模型进行训练,得到上述多任务目标模型。
在一个示例性实施例中,上述第四确定模块包括:其中,上述p* i(h,w)用于表示样本图像对应的真实标注信息,上述pi(h,w)用于表示上述样本图像对应的预测标注信息,上述(h,w)用于表示上述样本图像中的像素点坐标,上述H用于表示上述样本图像的高度,上述W用于表示上述样本图像的宽度,上述样本图像用于训练上述多任务原始模型。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本实施例中,上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取待测车辆的图像信息,得到目标图像;
S2,将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量,其中,融合特征向量包括待测车辆的关键点特征向量、车系特征向量以及车型特征向量;
S3,基于融合特征向量确定待测车辆的车辆类型。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
在一个示例性实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待测车辆的图像信息,得到目标图像;
S2,将目标图像输入至多任务目标模型中,得到多任务目标模型输出的融合特征向量,其中,融合特征向量包括待测车辆的关键点特征向量、车系特征向量以及车型特征向量;
S3,基于融合特征向量确定待测车辆的车辆类型。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种车辆类型的确定方法,其特征在于,包括:
获取待测车辆的图像信息,得到目标图像;
将所述目标图像输入至多任务目标模型中,得到所述多任务目标模型输出的融合特征向量,其中,所述融合特征向量包括所述待测车辆的关键点特征向量、车系特征向量以及车型特征向量;
基于所述融合特征向量确定所述待测车辆的车辆类型。
2.根据权利要求1所述的方法,其特征在于,将所述目标图像输入至多任务目标模型中,得到所述多任务目标模型输出的融合特征向量,包括:
将所述目标图像输入至所述多任务目标模型中的主干网络中,得到所述主干网络输出的所述目标图像的N个主特征图;
将所述N个主特征图中的M个特征图输入至关键点分支网络中,得到所述关键点分支网络输出的关键点特征向量;
将所述N个主特征图中的K个特征图输入至车系分支网络中,得到所述车系分支网络输出的车系特征向量;
将所述N个主特征图中的K个特征图输入至车型分支网络中,得到所述车型分支网络输出的车型特征向量;
其中,所述N、所述M以及所述K均是大于或等于1的自然数,所述M和所述K均小于所述N。
3.根据权利要求2所述的方法,其特征在于,包括:
在所述主干网络中包括多个卷积层的情况下,所述M个特征图位于所述多个卷积层中的第P层,所述K个特征图位于所述多个卷积层中的第Q层,其中,所述P和所述Q均是小于1的自然数,且所述P大于所述Q。
4.根据权利要求2所述的方法,其特征在于,将所述N个主特征图中的M个特征图输入至关键点分支网络中,得到所述关键点分支网络中的卷积层输出的所述关键点特征向量,包括:
利用所述关键点分支网络中的卷积层对所述M个特征图的位置进行预测,得到关键点位置预测信息;
基于所述关键点位置预测信息和所述K个特征图确定所述关键点特征向量。
5.根据权利要求2所述的方法,其特征在于,包括:
所述车系分支网络中至少包括一个全连接层,其中,所述车系分支网络中的全连接层用于输出所述车系特征向量。
6.根据权利要求2所述的方法,其特征在于,包括:
所述车型分支网络中至少包括一个全连接层,其中,所述车型分支网络中的全连接层用于输出所述车型特征向量。
7.根据权利要求1所述的方法,其特征在于,基于所述融合特征向量确定所述待测车辆的车辆类型,包括:
在所述融合特征向量对应的车系是目标车辆的车系,且所述车型特征向量对应的车辆类型是所述目标车辆的车辆类型的情况下,确定所述待测车辆的车辆类型是所述目标车辆的车辆类型。
8.根据权利要求1所述的方法,其特征在于,将所述目标图像输入至多任务目标模型中,得到所述多任务目标模型输出的融合特征向量之前,所述方法还包括:
确定所述待测车辆的车型损失函数Ltype;
确定所述待测车辆的车系损失函数Lmodel;
确定所述待测车辆的关键点损失函数Lpoint;
利用所述Ltype、所述Lmodel以及所述Lpoint确定目标损失函数Lfinal,其中,Lfinal=Lmodel+αLtype+βLpoint,所述α和所述β均用于表示多任务原始模型的权重系数;
基于所述目标损失函数对所述多任务原始模型进行训练,得到所述多任务目标模型。
10.一种车辆类型的确定装置,其特征在于,包括:
第一获取模块,用于获取待测车辆的图像信息,得到目标图像;
第一输入模块,用于将所述目标图像输入至多任务目标模型中,得到所述多任务目标模型输出的融合特征向量,其中,所述融合特征向量包括所述待测车辆的关键点特征向量、车系特征向量以及车型特征向量;
第一确定模块,用于基于所述融合特征向量确定所述待测车辆的车辆类型。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。
12.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011567540.XA CN112686125A (zh) | 2020-12-25 | 2020-12-25 | 车辆类型的确定方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011567540.XA CN112686125A (zh) | 2020-12-25 | 2020-12-25 | 车辆类型的确定方法及装置、存储介质、电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112686125A true CN112686125A (zh) | 2021-04-20 |
Family
ID=75451815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011567540.XA Pending CN112686125A (zh) | 2020-12-25 | 2020-12-25 | 车辆类型的确定方法及装置、存储介质、电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112686125A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139608A (zh) * | 2021-04-28 | 2021-07-20 | 北京百度网讯科技有限公司 | 基于多任务学习的特征融合方法及装置 |
CN115294537A (zh) * | 2022-08-10 | 2022-11-04 | 青岛文达通科技股份有限公司 | 一种基于特征关联的车辆属性识别方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016145547A1 (en) * | 2015-03-13 | 2016-09-22 | Xiaoou Tang | Apparatus and system for vehicle classification and verification |
CN108108657A (zh) * | 2017-11-16 | 2018-06-01 | 浙江工业大学 | 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法 |
CN108197326A (zh) * | 2018-02-06 | 2018-06-22 | 腾讯科技(深圳)有限公司 | 一种车辆检索方法及装置、电子设备、存储介质 |
CN109948643A (zh) * | 2019-01-21 | 2019-06-28 | 东南大学 | 一种基于深层网络融合模型的车辆类型分类方法 |
CN111666898A (zh) * | 2020-06-09 | 2020-09-15 | 北京字节跳动网络技术有限公司 | 用于识别车辆所属类别的方法和装置 |
-
2020
- 2020-12-25 CN CN202011567540.XA patent/CN112686125A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016145547A1 (en) * | 2015-03-13 | 2016-09-22 | Xiaoou Tang | Apparatus and system for vehicle classification and verification |
CN108108657A (zh) * | 2017-11-16 | 2018-06-01 | 浙江工业大学 | 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法 |
CN108197326A (zh) * | 2018-02-06 | 2018-06-22 | 腾讯科技(深圳)有限公司 | 一种车辆检索方法及装置、电子设备、存储介质 |
CN109948643A (zh) * | 2019-01-21 | 2019-06-28 | 东南大学 | 一种基于深层网络融合模型的车辆类型分类方法 |
CN111666898A (zh) * | 2020-06-09 | 2020-09-15 | 北京字节跳动网络技术有限公司 | 用于识别车辆所属类别的方法和装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139608A (zh) * | 2021-04-28 | 2021-07-20 | 北京百度网讯科技有限公司 | 基于多任务学习的特征融合方法及装置 |
CN113139608B (zh) * | 2021-04-28 | 2023-09-29 | 北京百度网讯科技有限公司 | 基于多任务学习的特征融合方法及装置 |
CN115294537A (zh) * | 2022-08-10 | 2022-11-04 | 青岛文达通科技股份有限公司 | 一种基于特征关联的车辆属性识别方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340131B (zh) | 图像的标注方法、装置、可读介质和电子设备 | |
Pasupa et al. | Evaluation of deep learning algorithms for semantic segmentation of car parts | |
CN107944450B (zh) | 一种车牌识别方法及装置 | |
CN111291812B (zh) | 属性类别的获取方法及装置、存储介质、电子装置 | |
CN113343461A (zh) | 自动驾驶车辆的仿真方法、装置、电子设备及存储介质 | |
CN113554643B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
KC | Enhanced pothole detection system using YOLOX algorithm | |
CN112528477A (zh) | 道路场景仿真方法、设备、存储介质及装置 | |
CN112686125A (zh) | 车辆类型的确定方法及装置、存储介质、电子装置 | |
CN111199087A (zh) | 场景识别方法和装置 | |
CN115082752A (zh) | 基于弱监督的目标检测模型训练方法、装置、设备及介质 | |
CN111860219B (zh) | 一种高速占道判断方法、装置及电子设备 | |
Uzar et al. | Performance analysis of YOLO versions for automatic vehicle detection from UAV images | |
CN114495060B (zh) | 一种道路交通标线识别方法及装置 | |
CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
CN112654999B (zh) | 标注信息的确定方法及装置 | |
US20240233325A9 (en) | Method for classifying images and electronic device | |
CN111126493A (zh) | 深度学习模型的训练方法、装置、电子设备及存储介质 | |
CN116881807A (zh) | 自动驾驶系统的评价方法、相关模型的训练方法和设备 | |
Thinh et al. | An edge-AI heterogeneous solution for real-time parking occupancy detection | |
CN116580230A (zh) | 一种目标检测方法及一种分类模型的训练方法 | |
CN115761699A (zh) | 交通信号灯的分类方法、装置及电子设备 | |
CN111143424A (zh) | 特征场景数据挖掘方法、装置和终端 | |
CN116107902A (zh) | 测试数据的回灌方法和装置、测试数据的回灌系统 | |
Hamzah et al. | Parking Violation Detection on The Roadside of Toll Roads with Intelligent Transportation System Using Faster R-CNN Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |