CN115457492A - 目标检测方法、装置、计算机设备及存储介质 - Google Patents
目标检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115457492A CN115457492A CN202211206016.9A CN202211206016A CN115457492A CN 115457492 A CN115457492 A CN 115457492A CN 202211206016 A CN202211206016 A CN 202211206016A CN 115457492 A CN115457492 A CN 115457492A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- cloud data
- sample
- sample target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请涉及一种目标检测方法、装置、计算机设备及存储介质。该方法包括:获取目标场景的当前帧点云数据,并将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果,且点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。采用该方法避免了通过与目标的特征信息不具有贴合性的信息来训练点云目标检测模型的问题,可以直接通过与目标的特征信息更具有贴合性的特征信息,即样本目标的检测框自身的特征信息来训练点云目标检测模型,从而能够使得点云目标检测模型检测目标的结果准确性并且精度更高。
Description
技术领域
本申请涉及目标检测技术领域,特别是涉及一种目标检测方法、装置、计算机设备及存储介质。
背景技术
随着智能交通技术的发展,点云目标检测技术体现着愈发重要的价值。利用激光雷达采集点云数据,并通过深度神经网络模型进行点云目标检测是当前智能交通领域目标检测的主流方法。在该方法中,深度神经网络模型的质量会直接影响检测结果的准确性。
在深度神经网络模型训练过程中,相关技术主要通过光滑(Smooth)L损失函数计算损失,并通过损失值对点云目标检测网络进行监督优化,然而,相关技术中会使得点云检测中回归的目标不够准确,导致通过点云目标检测网络检测目标的准确性较差。
发明内容
基于此,有必要针对上述技术问题,提供一种目标检测方法、装置、计算机设备及存储介质。
第一方面,本申请提供了一种目标检测方法,该方法包括:
获取目标场景的当前帧点云数据;
将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果;
其中,点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。
在其中一个实施例中,点云目标检测模型的构建过程包括:
根据多种目标场景下的原始点云数据,确定点云数据训练集;点云数据训练集中包括多个样本目标;
根据点云数据训练集,获取初始点云目标检测模型的样本目标损失信息;
通过样本目标损失信息,对初始点云目标检测模型进行训练,直至初始点云目标检测模型训练完成,得到点云目标检测模型。
在其中一个实施例中,根据多种目标场景下的原始点云数据,确定点云数据训练集,包括:
对原始点云数据进行预处理,得到样本点云数据集;
对样本点云数据集进行划分处理,得到点云数据训练集。
在其中一个实施例中,对原始点云数据进行格式转换处理,得到标准格式点云数据集;标准格式点云数据集为与训练点云目标检测模型所需格式相匹配格式的点云数据集;
对标准格式点云数据集中的各样本目标进行标注,得到标注后的标准格式点云数据集;标注后的标准格式点云数据集包括各样本目标的标准标注数据;标准标注数据包括标准检测框;
将标注后的标准格式点云数据集确定为样本点云数据集。
在其中一个实施例中,在对原始点云数据进行格式转换处理之前,方法还包括:
对原始点云数据中的无效点云数据进行剔除;无效点云数据表示不存在样本目标的原始点云数据。
在其中一个实施例中,上述方法还包括:
将点云数据验证集输入至点云目标检测模型中,得到测试目标检测结果;
若测试目标检测结果与样本目标的标准检测结果之间的相似度大于预设值,确定点云目标检测模型验证通过。
在其中一个实施例中,根据点云数据训练集,获取初始点云目标检测模型的样本目标损失信息,包括:
根据预设的体素网格规格,对点云数据训练集进行体素网格划分处理,得到多个体素网格点云数据;各体素网格点云数据均包括体素网格内各点云的坐标信息;
根据各体素网格点云数据,获取初始点云目标检测模型的样本目标损失信息。
在其中一个实施例中,初始点云目标检测模型包括初始稀疏网络模型和初始检测网络模型;
根据各体素网格点云数据,获取初始点云目标检测模型的样本目标损失信息,包括:
将各体素网格点云数据输入至初始稀疏网络模型中,得到各体素网格点云数据对应的二维特征图;
将二维特征图输入至初始检测网络模型中,得到初始点云目标检测模型的样本目标张量;
根据样本目标张量,获取初始点云目标检测模型的样本目标损失信息。
在其中一个实施例中,样本目标张量包括样本目标类别张量、样本目标回归张量和样本目标方向张量;样本目标损失信息包括样本目标类别损失信息、样本目标方向损失信息和样本目标回归损失信息;
根据样本目标张量,获取初始点云目标检测模型的样本目标损失信息,包括:
根据样本目标类别张量生成样本目标类别损失信息;根据样本目标方向张量生成样本目标方向损失信息;以及,对样本目标回归张量进行解码处理,获取样本目标水平损失信息和样本目标垂直损失信息,并根据样本目标水平损失信息和样本目标垂直损失信息,生成样本目标回归损失信息。
在其中一个实施例中,对样本目标回归张量进行解码处理,获取样本目标水平损失信息和样本目标垂直损失信息,包括:
对样本目标回归张量进行解码处理,得到样本目标水平张量和样本目标垂直张量;
通过预设损失函数和样本目标垂直张量获取样本目标垂直损失信息;以及,根据样本目标水平张量和样本目标标准水平张量,获取样本目标水平损失信息。
在其中一个实施例中,样本目标水平张量包括样本目标预测检测框的属性信息,样本目标标准水平张量包括样本目标标准检测框的属性信息;
根据样本目标水平张量和样本目标标准水平张量,获取样本目标水平损失信息,包括:
对样本目标水平张量进行拟合处理,得到预测检测框分布数据,对样本目标标准水平张量进行拟合处理,得到标准检测框分布数据;
根据预测检测框分布数据和标准检测框分布数据之间的相似度,确定样本目标水平损失信息。
第二方面,本申请提供了一种目标检测装置,该装置包括:
点云数据获取模块,用于获取目标场景的当前帧点云数据;
目标检测模块,用于将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果;
其中,点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。
第三方面,本申请提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,该处理器执行计算机程序时实现上述第一方面任一实施例中的方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面任一实施例中的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述第一方面的任一项的方法的步骤。
本申请实施例提供的目标检测方法、装置、计算机设备及存储介质,计算机设备可以获取目标场景的当前帧点云数据,并将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果,且点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的;该方法避免了通过与目标的特征信息不具有贴合性的信息(样本目标的检测框的相关偏移信息),即样本目标的检测框相对于锚框的偏移量来训练点云目标检测模型的问题,可以直接通过与目标的特征信息更具有贴合性的特征信息,即样本目标的检测框自身的特征信息来训练点云目标检测模型,从而能够使得点云目标检测模型检测目标的结果准确性并且精度更高。
附图说明
图1为一个实施例中计算机设备的内部结构图;
图2为一个实施例中目标检测方法的流程示意图;
图3为一个实施例中一个目标在三维坐标系中与激光雷达之间的航向角的示意图;
图4为另一个实施例中点云目标检测模型的构建过程的方法流程示意图;
图5为另一个实施例中根据多种目标场景下的原始点云数据确定点云数据训练集的方法流程示意图;
图6为另一个实施例中对原始点云数据进行预处理的方法流程示意图;
图7为另一个实施例中根据点云数据训练集获取初始点云目标检测模型的样本目标损失信息的方法流程示意图;
图8为另一个实施例中根据各体素网格点云数据获取初始点云目标检测模型的样本目标损失信息的方法流程示意图;
图9为另一个实施例中根据样本目标张量获取初始点云目标检测模型的样本目标损失信息的方法流程示意图;
图10为另一个实施例中根据样本目标水平张量和样本目标标准水平张量获取样本目标水平损失信息的方法流程示意图;
图11为一个实施例中目标检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的目标检测方法,可以适用于图1所示的计算机设备。可选地,计算机设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,还可以用独立的服务器或者是多个服务器组成的服务器集群来实现,本实施例对计算机设备的具体形式不做限定。下述实施例中将具体介绍目标检测方法的具体过程。
为了提高目标检测结果的准确性,可以采集具有深度信息的样本数据,并通过目标检测算法对三维样本数据进行目标检测,同时还可以提高目标检测算法的精度进一步提高目标检测结果的准确性。基于此,本申请实施例提供了一种目标检测方法,如图2所示为目标检测方法的流程示意图,以该方法应用于图1中的计算机设备为例进行说明,该方法包括以下步骤:
S100、获取目标场景的当前帧点云数据。
具体地,激光雷达可以采集待检测空间范围内目标场景的一帧点云数据,即当前帧点云数据。可选地,上述激光雷达可以为单线激光雷达或多线激光雷达等等。其中,待检测空间范围内包括待检测的一个或多个目标。可选地,目标可以为行人、车辆、障碍物、机械设备等等。可选地,上述当前帧点云数据可以为三维点云数据。
进一步,激光雷法可以将采集到的待检测空间范围内目标场景的当前帧点云数据发送给计算机设备,然后计算机设备获取到待检测空间范围内目标场景的当前帧点云数据。
S200、将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果。其中,点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。
具体地,计算机设备可以将获取到的当前帧点云数据输入至点云目标检测模型中,以通过点云目标检测模型对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果。
需要说明的是,上述目标检测结果可以为目标在当前帧点云数据中的尺寸信息、位置信息、目标对应的点云数据的总数量、目标距离激光雷达之间的距离、目标与激光雷达之间的航向角等等。可选地,目标与激光雷达之间的航向角可以表示目标的运动方向与三维坐标系中y轴方向的夹角,该夹角可以随着顺时针增大,取值范围为0~360度。可选地,三维坐标系可以为激光雷达所在的空间坐标系。如图3所示为一个目标在三维坐标系xyz中与激光雷达之间航向角r的示意图。
可以理解的是,上述点云目标检测模型可以为预先训练好的检测模型。可选地,计算机设备可以通过点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。可选地,上述点云数据训练集可以包括激光雷达采集到的多帧三维点云数据。
在本申请实施例中,点云目标检测模型训练过程中,可以使用样本目标的预测检测框的特征信息和样本目标的标准检测框的特征信息。可选地,检测框的特征信息可以包括检测框的尺寸信息、位置信息、检测框中包含点云数据的总数量、检测框距离激光雷达之间的距离、检测框与激光雷达之间的航向角等信息。可选地,标准检测框可以为通过点云数据训练集中的多帧点云数据标注的样本目标标准框。
本申请实施例提供的目标检测方法可以直接通过点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框的特征信息训练得到点云目标检测模型,然后获取目标场景的当前帧点云数据,并将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测得到当前帧点云数据中的目标检测结果;该方法可以通过三维点云数据实现目标检测,可以提高目标检测的准确性;同时,该方法避免了通过与目标的特征信息不具有贴合性的信息(样本目标的检测框的相关偏移信息),即样本目标的检测框相对于锚框的偏移量来训练点云目标检测模型的问题,可以直接通过与目标的特征信息更具有贴合性的特征信息,即样本目标的检测框自身的特征信息来训练点云目标检测模型,从而能够使得点云目标检测模型检测目标的结果准确性并且精度更高,另外该方法还可以直接通过预测检测框和标准检测框的特征信息对网络模型进行训练,使得网络模型的训练速度更快。
下面将介绍点云目标检测模型的构建过程。在一实施例中,如图4所示,上述点云目标检测模型的构建过程包括:
S300、根据多种目标场景下的原始点云数据,确定点云数据训练集;点云数据训练集中包括多个样本目标。
具体地,为了提高点云目标检测模型的泛化能力,使得训练好的点云目标检测模型能够适用于任何场景下的目标点云检测,可以通过激光雷达采集不同预设空间范围内多种不同目标场景下的多帧原始点云数据。其中,激光雷达可以实时采集原始点云数据,或者可以将采集到的多帧原始点云数据存储至本地、硬盘、云端等位置,在点云目标检测模型构建时,计算机设备从本地、硬盘、云端等位置获取多种目标场景下的多帧原始点云数据。
其中,激光雷达采集原始点云数据时,在同一目标场景下可以采集多帧原始点云数据。需要说明的是,计算机设备可以获取激光雷达采集多种不同目标场景下的多帧原始点云数据,并将获取到多种不同目标场景下的多帧原始点云数据组合形成点云数据训练集。
可选地,每帧原始点云数据可以不包括样本目标,或者可以包括一个或多个样本目标,但是,点云数据训练集中的所有原始点云数据中可以包括多个样本目标。可选地,上述样本目标可以为行人、车辆、障碍物、机械设备等等;其中,样本目标的种类越多,训练后得到的点云目标检测模型的泛化能力越好。
S400、根据点云数据训练集,获取初始点云目标检测模型的样本目标损失信息。其中,样本目标损失信息包括基于各样本目标的预测检测框和各样本目标的标准检测框构建的目标回归损失信息。
具体地,计算机设备可以通过点云数据训练集中多帧原始点云数据进行算术运算、数据转换处理、比较处理和/或分析处理等等,得到处理结果,然后将处理结果输入至初始点云目标检测模型,得到初始点云目标检测模型的样本目标损失信息。
其中,上述算术运算可以为加法运算、减法运算、乘法运算、除法运算、求导运算、对数运算和/或指数运算等等。在本申请实施例中,各算术运算可以相同,也可以不相同。上述数据转换处理可以为数据格式转换处理和/或数据移位处理等等。可选地,数据格式转换处理可以理解为将原始点云数据从一种格式转换为另一种格式的过程。可选地,数据移位处理可以理解为将原始点云数据中的各数据从预设空间范围内的一个位置移动到另一个位置的过程。
另外,计算机设备还可以将点云数据训练集中多帧原始点云数据直接输入至初始点云目标检测模型,得到初始点云目标检测模型的样本目标损失信息。可选地,上述初始点云目标检测模型可以通过由长短期记忆神经网络模型、循环神经网络模型、对抗神经网络模型等等中的至少一种实现。可选地,上述初始点云目标检测模型可以对原始点云数据进行卷积运算、下采样、上采样和/或算术运算等处理。
需要说明的是,样本目标损失信息可以理解为通过初始点云目标检测模型训练过程中采用的损失函数、初始点云目标检测模型输出的预测检测框的特征信息和通过点云数据训练集预先标注的对应标准检测框的特征信息,计算得到的样本目标损失值。其中,上述样本目标损失信息也可以理解为空间损失信息,即X方向的损失信息、Y方向的损失信息和Z方向的损失信息。
在本申请实施例中,针对Z方向的损失信息计算时,可以采用绝对值损失函数、log对数损失函数、指数损失函数或感知损失函数等等。
S500、通过样本目标损失信息,对初始点云目标检测模型进行训练,直至初始点云目标检测模型训练完成,得到点云目标检测模型。
具体地,计算机设备可以将样本目标损失信息进行反向传播更新初始点云目标检测模型中的网络参数得到更新后的初始点云目标检测模型,然后继续采用梯度优化算法不断迭代上述步骤,根据点云数据训练集,获取更新后的初始点云目标检测模型样本目标损失信息,直到样本目标损失信息满足预设误差信息或者迭代次数达到预设迭代次数阈值为止,表明初始点云目标检测模型训练完成,并将当前更新后的初始点云目标检测模型确定为预先训练好的点云目标检测模型。
本申请实施例提供的目标检测方法可以根据多种目标场景下的原始点云数据确定点云数据训练集,根据点云数据训练集获取基于各样本目标的预测检测框和各样本目标的标准检测框构建的样本目标损失信息,并通过样本目标损失信息,对初始点云目标检测模型进行训练,直至初始点云目标检测模型训练完成,得到点云目标检测模型;该方法可以直接通过与目标的特征信息更具有贴合性的特征信息,即样本目标的检测框自身的特征信息,对初始点云目标检测模型进行训练,从而能够使得训练得到的点云目标检测模型在应用时输出的检测框与待检测目标的标准框相贴合,以保证检测结果的准确性。
在一些场景中,在网络模型训练过程中,不仅需要训练集对网络模型进行训练,并且还需要结合验证集确定最优的网络模型,下面将介绍如何获取点云数据训练集和点云数据测试集的过程。在一实施例中,如图5所示,上述S300中根据多种目标场景下的原始点云数据,确定点云数据训练集的步骤,可以包括以下步骤:
S310、对原始点云数据进行预处理,得到样本点云数据集。
具体地,计算机设备可以对激光雷达采集到的不同预设空间范围内多种不同目标场景下不同时刻的多帧原始点云数据进行预处理,得到样本点云数据集。其中,上述预处理可以为去噪处理、格式转换处理、随机筛选处理和/或分割处理等等。
在本申请实施例中,样本点云数据集与不同预设空间范围内多种不同目标场景下的多帧原始点云数据不同。
下面将介绍如何对原始点云数据进行预处理的过程。在另一实施例中,如图6所示,上述S310中的步骤,可以包括:
S311、对原始点云数据进行格式转换处理,得到标准格式点云数据集;标准格式点云数据集为与训练点云目标检测模型所需格式相匹配格式的点云数据集。
具体地,激光雷达采集到的原始点云数据为pcd格式的点云数据,该格式的点云数据并不能直接作为训练集使用。在实际网络模型训练前,需要将pcd格式的点云数据转换为与训练点云目标检测模型所需格式相匹配的格式,即标准格式。
需要说明的是,计算机设备可以对激光雷达采集到的不同预设空间范围内多种不同目标场景下的多帧原始点云数据进行格式转换处理,将多帧pcd格式的原始点云数据转换为多帧标准格式的点云数据,即标准格式点云数据集。
可选地,标准格式可以为txt、xyz等等格式。但在本申请实施例中,上述标准格式可以为bin格式。
另外,在一些场景中,激光雷达采集到的是不同预设空间范围内多种不同目标场景下不同时刻的多帧原始点云数据,所以难免会出现一部分原始点云数据中不出现样本目标的情况。基于此,为了避免在网络模型训练过程中对无效点云数据进行处理而增大数据处理量,在则一实施例中,在执行上述S311中的步骤之前,上述目标检测方法还可以包括:对原始点云数据中的无效点云数据进行剔除;无效点云数据表示不存在样本目标的原始点云数据。
可以理解的是,激光雷达采集到的原始点云数据是携带各位置点云数据的反射强度的,有样本目标与无样本目标的情况下同一位置点云数据的反射强度是不同的,因此,基于这一原理,计算机设备可以对所有帧原始点云数据中的无效点云数据进行剔除,以将不存在样本目标的所有帧原始点云数据去掉,从而进一步对存在样本目标的所有帧原始点云数据进行格式转换处理以及后续其它处理。
同时,为了提高训练得到的点云目标检测模型的泛化能力,在剔除所有帧原始点云数据中的无效点云数据后,可以对剔除后的点云数据进行数据增强处理,以增大点云数据训练集中的数据量。可选地,上述数据增强处理可以包括样本目标尺寸变换处理和样本目标旋转处理等等。可选地,样本目标尺寸变换处理可以为对每帧点云数据中的样本目标的尺寸信息进行变换的过程。可选地,上述样本目标旋转处理可以为对每帧点云数据中的样本目标进行旋转的过程。
在实际应用中,为了让数据增强处理后的点云数据贴合实际场景,样本目标的尺寸信息不能太大,且样本目标的旋转角度也不能太大或太小,因此,在本申请实施例中,样本目标的尺寸信息变换范围可以设为[0.9,1.1],但是,该范围与样本目标自身的尺寸信息有关,所以不固定;样本目标的旋转角度范围可以设为[-π/2,π/2]。
S312、对标准格式点云数据集中的各样本目标进行标注,得到标注后的标准格式点云数据集;标注后的标准格式点云数据集包括各样本目标的标准标注数据;标准标注数据包括标准检测框。
具体地,计算机设备可以对标准格式点云数据集中每帧点云数据中的各样本目标进行标注,得到每帧点云数据中各样本目标的标准标注数据。
其中,每帧点云数据可以为一个三维坐标系统中的一组向量的集合,所以可以对各帧点云数据中各样本目标的点云数据标注立体矩形框,然后根据各样本目标的点云数据标注的立体矩形框计算各样本目标的标准标注数据,之后将各帧点云数据对应的所有样本目标的标准标注数据组合,得到标注后的标准格式点云数据集。可选地,立体矩形框可以为标注的标准检测框。可选地,上述各样本目标的标准标注数据可以包括各样本目标所在的标准检测框的中心点的位置信息、尺寸信息、对应的样本目标的类型以及与激光雷达之间的航向角。其中,位置信息是以激光雷达所在的三维坐标系确定。
S313、将标注后的标准格式点云数据集确定为样本点云数据集。
具体地,计算机设备可以对标注后的标准格式点云数据集进行再次数据转换处理得到样本点云数据集。但在本申请实施例中,直接将获取到的标注后的标准格式点云数据集确定为样本点云数据集。
S320、对样本点云数据集进行划分处理,得到点云数据训练集。
可以理解是,计算机设备可以按照预设比例,对得到的样本点云数据集进行划分处理,得到点云数据验证集和点云数据训练集。在网络模型训练过程中,通常验证集的数据量小于训练集的数据量,因此,若预设比例为A:B,则A小于B。可选地,上述预设比例可以为网络模型训练时,自定义的验证集和训练集中数据量的比例。
可选地,计算机设备获取到的点云数据验证集和点云数据训练集可以直接使用,对初始点云目标检测模型进行训练和验证。或者,计算机设备获取到的点云数据验证集和点云数据训练集可以先保存至本地、硬盘、云端等位置,在需要对初始点云目标检测模型进行训练和验证时,可以从本地、硬盘、云端等位置获取。可选地,可以在本地、硬盘、云端等位置创建训练集存储文件和验证集存储文件。可选地,练集存储文件和验证集存储文件的格式可以为pkl格式。其中,通过训练集存储文件(train.pkl)可以存储点云数据训练集,通过验证集存储文件(val.pkl)可以存储点云数据验证集。
进一步,在网络模型训练的过程中,为了获取最优的点云目标检测模型,需要通过点云数据验证集对获取到的点云目标检测模型进行验证,下面将介绍如何通过点云数据验证集对点云目标检测模型进行验证的过程。在一实施例中,在上述S500的步骤之后,上述目标检测方法还可以包括:将点云数据验证集输入至点云目标检测模型中得到测试目标检测结果;若测试目标检测结果与样本目标的标准检测结果之间的相似度大于预设值,确定点云目标检测模型验证通过。
需要说明的是,计算机设备可以采用欧几里得距离、皮尔逊相关系数、余弦相似度和/或广义Jaccard相似度等等相似度算法,计算测试目标检测结果与样本目标的标准检测结果之间的相似度,当确定相似度大于预设值时,可以确定点云目标检测模型验证通过,并将当前的点云目标检测模型确定为训练过程中得到的最优点云目标检测模型。
本申请实施例提供的目标检测方法可以对激光雷达采集到的原始点云数据进行一系列处理,以得到点云目标检测模型所需格式相匹配格式的点云数据集,从而能够保证点云目标检测模型训练顺序执行,避免出现点云目标检测模型训练失败的问题。
为了提高每帧点云数据中所有样本目标检测的准确度,可以将每帧点云数据划分成多组小数据,然后通过每组小数据完成网络模型训练处理。在一实施例中,如图7所示,上述S400中根据点云数据训练集,获取初始点云目标检测模型的样本目标损失信息的步骤,可以通过以下步骤实现:
S410、根据预设的体素网格规格,对点云数据训练集进行体素网格划分处理,得到多个体素网格点云数据;各体素网格点云数据均包括体素网格内各点云的坐标信息。
具体地,上述预设的体素网格规格可以为自定义设置的体素网格的大小,即体素网格的长度、宽度和高度。其中,计算机设备可以按照预设的体素网格规格,对点云数据训练集中的各帧点云数据进行体素网格划分处理,得到多个体素网格点云数据。
可选地,各帧点云数据对应的每个体素网格的大小可以相等,也可以不相等。若各帧点云数据对应的每个体素网格的大小相等,则预设的体素网格规格可以为一个;若各帧点云数据对应的每个体素网格的大小不相等,则预设的体素网格规格可以为多个。
S420、根据各体素网格点云数据,获取初始点云目标检测模型的样本目标损失信息。
在本申请实施例中,计算机设备可以将各帧点云数据对应的各体素网格点云数据输入至初始点云目标检测模型进行卷积运算、下采样、上采样和/或算术运算等处理,得到初始点云目标检测模型的样本目标损失信息。
本申请实施例提供的目标检测方法可以将大样本的点云数据训练集进行体素网格划分处理得到小样本的多个体素网格点云数据,然后通过分组后的点云数据进行处理获取初始点云目标检测模型的样本目标损失信息,从而能够提高每帧点云数据中所有样本目标检测的准确度。
下面将介绍如何根据各体素网格点云数据获取初始点云目标检测模型的样本目标损失信息的过程。在一实施例中,如图8所示,上述初始点云目标检测模型包括初始稀疏网络模型和初始检测网络模型;上述S420中的步骤可以通过以下步骤实现:
S421、将各体素网格点云数据输入至初始稀疏网络模型中,得到各体素网格点云数据对应的二维特征图。
在本申请实施例中,初始点云目标检测模型通过初始稀疏网络模型和初始检测网络模型组成。可选地,初始稀疏网络模型可以为稀疏卷积神经网络模型;初始检测网络模型可以为卷积神经网络模型。可选地,稀疏卷积神经网络模型和卷积神经网络模型均可以通过卷积层、池化层和/或全连接层等等组成,但是,稀疏卷积神经网络模型和卷积神经网络模型的组成结构不同。
需要说明的是,计算机设备可以将各帧点云数据对应的各体素网格点云数据输入至初始稀疏网络模型中,得到各体素网格点云数据对应的二维特征图。
但在本申请实施例中,计算机设备可以先对各帧点云数据对应的各体素网格点云数据进行特征提取,得到各体素网格点云数据对应的体素特征,然后各体素网格点云数据对应的体素特征输入至初始稀疏网络模型中,对体素特征和预设的卷积核进行稀疏卷积运算处理得到稀疏卷积结果,然后对稀疏卷积结果依次进行下采样处理和特征压缩处理得到各体素网格点云数据对应的二维特征图。
可选地,上述体素特征可以包括体素网格的中心点坐标和体素网格的中心点与激光雷达之间距离的开平方值。其中,上述特征压缩处理实现的是降维的作用。可选地,上述卷积核的大小可以根据实际需求设置。
S422、将二维特征图输入至初始检测网络模型中,得到初始点云目标检测模型的样本目标张量。
进一步,计算机设备可以将获取到的各体素网格点云数据对应的二维特征图输入至初始检测网络模型中,得到初始点云目标检测模型的样本目标张量。可选地,初始检测网络模型可以对二维特征图进行卷积运算、下采样、上采样和/或池化等处理。
需要说明的是,样本目标张量可以包括样本目标的空间位置信息、尺寸信息和样本目标与激光雷达之间的航向角等信息。
S423、根据样本目标张量,获取初始点云目标检测模型的样本目标损失信息。
具体地,计算机设备可以对样本目标张量进行算术运算、解析处理和/或比较处理等等,初始点云目标检测模型的样本目标损失信息。
本申请实施例提供的目标检测方法可以在网络模型训练过程中,获取样本目标损失信息,以通过样本目标损失信息来准确调整网络模型的网络参数,从而能够快速使得网络模型达到收敛,缩短网络模型的训练时长。
在网络模型训练过程中,为了能够直接通过与目标的特征信息更具有贴合性的样本目标的检测框自身的特征信息来训练点云目标检测模型,可以通过中水平方向损失信息和垂直方向损失信息更新网络模型的网络参数,以提高网络参数调整的准确性,下面将介绍如何根据样本目标张量获取初始点云目标检测模型的样本目标损失信息的过程。在一实施例中,上述样本目标张量包括样本目标类别张量、样本目标回归张量和样本目标方向张量;上述样本目标损失信息包括样本目标类别损失信息、样本目标方向损失信息和样本目标回归损失信息;则如图9所示,上述S423中的步骤可以通过以下过程实现:
S4231、根据样本目标类别张量生成样本目标类别损失信息;根据样本目标方向张量生成样本目标方向损失信息。
具体地,计算机设备可以采用第一损失函数,对样本目标类别张量和点云数据训练集中各样本目标的标准检测框的属性信息中的类型信息进行预测损失值计算,得到样本目标类别损失信息。同时,计算机设备还可以采用第二损失函数对样本目标方向张量和点云数据训练集中各样本目标的标准检测框的属性信息中的航向角信息进行预测损失值计算,得到样本目标方向损失信息。
在本申请实施例中,第一损失函数和第二损失函数均为交叉熵损失函数。
S4232、对样本目标回归张量进行解码处理,获取样本目标水平损失信息和样本目标垂直损失信息,并根据样本目标水平损失信息和样本目标垂直损失信息,生成样本目标回归损失信息。
具体地,上述样本目标回归张量可以包括样本目标的预测检测框对应的中心点预测坐标以及预测检测框对应的预测尺寸信息。
其中,计算机设备可以对样本目标回归张量进行解码处理,得到解码结果,然后对解码结果进行第一算术运算得到样本目标水平损失信息和样本目标垂直损失信息,之后对样本目标水平损失信息和样本目标垂直损失信息进行第二算术运算得到样本目标回归损失信息。
可选地,上述解码处理可以理解为对样本目标的预测检测框的预测尺寸信息和预测位置信息、样本目标的标准检测框的标准尺寸信息和标准位置信息进行第三算术运算,得到样本目标的检测框的真实尺寸信息和真实位置信息的过程。
在本申请实施例中,计算机设备可以对样本目标水平损失信息和样本目标垂直损失信息进行加权求和得到样本目标回归损失信息。其中,样本目标水平损失信息和样本目标垂直损失信息对应的权值系数可以根据实际请求确定,可以相同,也可以不同。
本申请实施例提供的目标检测方法在网络模型训练过程中,可以将样本目标信息分解为水平信息和垂直信息,并根据实际需求分别采用不同的损失函数准确计算水平信息对应的样本目标水平损失信息和垂直信息对应的样本目标垂直损失信息,进一步将样本目标水平损失信息和样本目标垂直损失信息融合处理得到网络模型的整体损失信息,从而使得获取到的网络模型的预测损失值的准确性更高,并且通过该种损失信息更新网络模型的网络参数,可以使网络模型的收敛速度更快,所需的迭代次数更少。
下面将介绍如何对样本目标回归张量进行解码处理获取样本目标水平损失信息和样本目标垂直损失信息的步骤。在一实施例中,上述S4232中的步骤可以通过以下过程实现:对样本目标回归张量进行解码处理,得到样本目标水平张量和样本目标垂直张量;并通过预设损失函数和样本目标垂直张量获取样本目标垂直损失信息;以及,根据样本目标水平张量和样本目标标准水平张量,获取样本目标水平损失信息。
在本申请实施例中,上述解码过程为对样本目标的预测检测框对应的中心点预测坐标与样本目标的标准检测框的中心点坐标信息进行第四算术运算得到预测检测框的真实中心点坐标(x,y,z),以及对样本目标的预测检测框对应的预测尺寸信息与样本目标的标准检测框的尺寸信息进行第五算术运算得到预测检测框的真实尺寸信息(即真实长度w、真实宽度l和真实高度h),然后将预测检测框的真实中心点坐标和预测检测框的真实尺寸信息分别按照水平信息和垂直信息进行拆分,得到样本目标水平张量和样本目标垂直张量的过程。其中,上述第四算术运算和第五算术运算不同。
可选地,上述样本目标水平张量可以包括样本目标的预测检测框的二维平面信息。可选地,上述样本目标垂直张量可以包括样本目标的预测检测框的深度信息。可选地,上述二维平面信息可以包括三维坐标系xyz中x轴的相关信息和y轴的相关信息;上述深度信息可以包括三维坐标系xyz中z轴的相关信息。
进一步,计算机设备可以通过预设损失函数,对样本目标垂直张量和样本目标垂直张量进行预测损失值计算,得到样本目标垂直损失信息。在本申请实施例中,预设损失函数为Smooth L1损失函数。
同时,计算机设备还可以对样本目标水平张量和样本目标标准水平张量进行算术运算,得到样本目标水平损失信息。可选地,上述样本目标标准水平张量可以包括样本目标的标准检测框的二维平面信息、标准检测框的长度和宽度。
本申请实施例提供的目标检测方法在网络模型训练过程中,可以将样本目标信息分解为水平信息和垂直信息,并根据实际需求分别计算水平信息对应的样本目标水平损失信息和垂直信息对应的样本目标垂直损失信息,进一步将样本目标水平损失信息和样本目标垂直损失信息融合处理得到网络模型的整体损失信息,从而使得获取到的网络模型的预测损失值的准确性更高,并且通过该种损失信息更新网络模型的网络参数,可以使网络模型的收敛速度更快,所需的迭代次数更少。
在一实施例中,如图10所示,上述根据样本目标水平张量和样本目标标准水平张量,获取样本目标水平损失信息的步骤,可以通过以下过程实现:
S4232a、对样本目标水平张量进行拟合处理,得到预测检测框分布数据,对样本目标标准水平张量进行拟合处理,得到标准检测框分布数据。
在本申请实施例中,上述样本目标水平张量包括样本目标的预测检测框的二维平面真实信息(x,y)、预测检测框的真实长度w和真实宽度l,即x,y,w和l;上述样本目标垂直张量包括样本目标的预测检测框的垂直方向真实信息z和预测检测框的真实高度h。
需要说明的是,计算机设备可以采用拟合算法,对样本目标的预测检测框的二维平面真实信息(x,y)、预测检测框的真实长度w和真实宽度l进行拟合处理,得到预测检测框分布数据。同时,计算机设备还可以采用拟合算法,对样本目标的预测检测框的垂直方向真实信息z和预测检测框的真实高度h进行拟合处理,得到标准检测框分布数据。
可选地,上述拟合算法可以为最小二乘拟合法、随机采样一致拟合法和/或最近点迭代拟合法等等。但在本申请实施例中,上述拟合算法为高斯分布拟合法。
S4232b、根据预测检测框分布数据和标准检测框分布数据之间的相似度,确定样本目标水平损失信息。
具体地,计算机设备可以采用欧几里得距离、皮尔逊相关系数、余弦相似度和/或广义Jaccard相似度等等相似度算法,计算预测检测框分布数据和标准检测框分布数据之间的相似度,得到样本目标水平损失信息。在本申请实施例中,上述相似度算法为沃瑟斯坦距离。
其中,在网络模型训练过程中,可以通过样本目标水平损失信息和样本目标垂直损失信息对初始点云目标检测模型中的网络参数进行更新。
本申请实施例提供的目标检测方法可以对样本目标水平张量进行拟合处理得到预测检测框分布数据,对样本目标标准水平张量进行拟合处理得到标准检测框分布数据,然后根据预测检测框分布数据和标准检测框分布数据之间的相似度确定样本目标水平损失信息,进一步将样本目标在水平方向上的损失信息和垂直方向上的损失信息进行综合考虑,以更新网络模型的网络参数,可以使网络模型的检测结果更准确。
为了便于本领域技术人员的理解,以执行主体为计算机设备为例介绍本申请提供的目标检测方法,具体的,该方法包括:
(1)对原始点云数据中的无效点云数据进行剔除;无效点云数据表示不存在样本目标的原始点云数据。
(2)对原始点云数据进行格式转换处理,得到标准格式点云数据集;标准格式点云数据集为与训练点云目标检测模型所需格式相匹配格式的点云数据集。
(3)对标准格式点云数据集中的各样本目标进行标注,得到标注后的标准格式点云数据集;标注后的标准格式点云数据集包括各样本目标的标准标注数据;标准标注数据包括标准检测框。
(4)将标注后的标准格式点云数据集确定为样本点云数据集。
(5)对样本点云数据集进行划分处理,得到点云数据训练集;点云数据训练集中包括多个样本目标。
(6)根据预设的体素网格规格,对点云数据训练集进行体素网格划分处理,得到多个体素网格点云数据;各体素网格点云数据均包括体素网格内各点云的坐标信息。
(7)将各体素网格点云数据输入至初始点云目标检测模型中的初始稀疏网络模型中,得到各体素网格点云数据对应的二维特征图。
(8)将二维特征图输入至初始点云目标检测模型中的初始检测网络模型中,得到初始点云目标检测模型的样本目标张量。
(9)根据样本目标张量中的样本目标类别张量生成样本目标损失信息中的样本目标类别损失信息;根据样本目标张量中的样本目标方向张量生成样本目标损失信息中的样本目标方向损失信息。
(10)对样本目标张量中的样本目标回归张量进行解码处理,得到样本目标水平张量和样本目标垂直张量。
(11)通过预设损失函数和样本目标垂直张量获取样本目标损失信息中的样本目标垂直损失信息。
(12)对样本目标水平张量进行拟合处理,得到预测检测框分布数据,对样本目标标准水平张量进行拟合处理,得到标准检测框分布数据。
(13)根据预测检测框分布数据和标准检测框分布数据之间的相似度,确定样本目标损失信息中的样本目标水平损失信息。
(14)根据样本目标水平损失信息和样本目标垂直损失信息,生成样本目标损失信息中的样本目标回归损失信息。
(15)通过样本目标损失信息,对初始点云目标检测模型进行训练,直至初始点云目标检测模型训练完成,得到点云目标检测模型。
(16)将点云数据验证集输入至点云目标检测模型中,得到测试目标检测结果。
(17)若测试目标检测结果与样本目标的标准检测结果之间的相似度大于预设值,确定点云目标检测模型验证通过。
(18)获取目标场景的当前帧点云数据。
(19)将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果。
以上(1)至(19)中的执行过程具体可以参见上述实施例的描述,其实现原理和技术效果类似,在此不再赘述。
应该理解的是,虽然图2和图4-10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和图4-10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图11所示,提供了一种目标检测装置,包括:点云数据获取模块11和目标检测模块12,其中:
点云数据获取模块11,用于获取目标场景的当前帧点云数据;
目标检测模块12,用于将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果;
其中,点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,目标检测装置还包括:训练集确定模块、损失信息获取模块和模型训练模块,其中:
训练集确定模块,用于根据多种目标场景下的原始点云数据,确定点云数据训练集;点云数据训练集中包括多个样本目标;
损失信息获取模块,用于根据点云数据训练集,获取初始点云目标检测模型的样本目标损失信息;
模型训练模块,用于通过样本目标损失信息,对初始点云目标检测模型进行训练,直至初始点云目标检测模型训练完成,得到点云目标检测模型。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,训练集确定模块包括:预处理单元和数据集划分单元,其中:
预处理单元,用于对原始点云数据进行预处理,得到样本点云数据集;
数据集划分单元,用于对样本点云数据集进行划分处理,得到点云数据训练集。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,预处理单元包括:格式转换处理子单元、标注子单元和数据集确定子单元,其中:
格式转换处理子单元,用于对原始点云数据进行格式转换处理,得到标准格式点云数据集;标准格式点云数据集为与训练点云目标检测模型所需格式相匹配格式的点云数据集;
标注子单元,用于对标准格式点云数据集中的各样本目标进行标注,得到标注后的标准格式点云数据集;标注后的标准格式点云数据集包括各样本目标的标准标注数据;标准标注数据包括标准检测框;
数据集确定子单元,用于将标注后的标准格式点云数据集确定为样本点云数据集。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,目标检测装置还包括:数据剔除模块,其中:
数据剔除模块,用于对原始点云数据中的无效点云数据进行剔除;无效点云数据表示不存在样本目标的原始点云数据。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,目标检测装置还包括:验证模块和验证结果确定模块,其中:
验证模块,用于将点云数据验证集输入至点云目标检测模型中,得到测试目标检测结果;
验证结果确定模块,用于在测试目标检测结果与样本目标的标准检测结果之间的相似度大于预设值时,确定点云目标检测模型验证通过。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,损失信息获取模块包括:体素划分单元和损失信息获取单元,其中:
体素划分单元,用于根据预设的体素网格规格,对点云数据训练集进行体素网格划分处理,得到多个体素网格点云数据;各体素网格点云数据均包括体素网格内各点云的坐标信息;
损失信息获取单元,用于根据各体素网格点云数据,获取初始点云目标检测模型的样本目标损失信息。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,初始点云目标检测模型包括初始稀疏网络模型和初始检测网络模型;损失信息获取单元包括:稀疏网络模型处理子单元、检测网络模型处理子单元和损失信息获取子单元,其中:
稀疏网络模型处理子单元,用于将各体素网格点云数据输入至初始稀疏网络模型中,得到各体素网格点云数据对应的二维特征图;
检测网络模型处理子单元,用于将二维特征图输入至初始检测网络模型中,得到初始点云目标检测模型的样本目标张量;
损失信息获取子单元,用于根据样本目标张量,获取初始点云目标检测模型的样本目标损失信息。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,样本目标张量包括样本目标类别张量、样本目标回归张量和样本目标方向张量;样本目标损失信息包括样本目标类别损失信息、样本目标方向损失信息和样本目标回归损失信息;损失信息获取子单元包括:第一损失信息生成子单元和第二损失信息生成子单元,其中:
第一损失信息生成子单元,用于根据样本目标类别张量生成样本目标类别损失信息;根据样本目标方向张量生成样本目标方向损失信息;以及,
第二损失信息生成子单元,用于对样本目标回归张量进行解码处理,获取样本目标水平损失信息和样本目标垂直损失信息,并根据样本目标水平损失信息和样本目标垂直损失信息,生成样本目标回归损失信息
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在其中一个实施例中,第二损失信息生成子单元具体用于对样本目标水平张量进行拟合处理,得到预测检测框分布数据,对样本目标标准水平张量进行拟合处理,得到标准检测框分布数据,并根据预测检测框分布数据和标准检测框分布数据之间的相似度,确定样本目标水平损失信息。
本实施例提供的目标检测装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定,在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储采集到的所有帧原始点云数据和当前帧点云数据。该计算机设备的网络接口用于与外部的终点通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取目标场景的当前帧点云数据;
将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果;
其中,点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取目标场景的当前帧点云数据;
将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果;
其中,点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取目标场景的当前帧点云数据;
将当前帧点云数据输入至点云目标检测模型中,对当前帧点云数据中的目标进行检测,得到当前帧点云数据中的目标检测结果;
其中,点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各样本目标的标准检测框进行训练得到的。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种目标检测方法,其特征在于,所述方法包括:
获取目标场景的当前帧点云数据;
将所述当前帧点云数据输入至点云目标检测模型中,对所述当前帧点云数据中的目标进行检测,得到所述当前帧点云数据中的目标检测结果;
其中,所述点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各所述样本目标的标准检测框进行训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述点云目标检测模型的构建过程包括:
根据多种目标场景下的原始点云数据,确定所述点云数据训练集;所述点云数据训练集中包括多个样本目标;
根据所述点云数据训练集,获取初始点云目标检测模型的样本目标损失信息;
通过所述样本目标损失信息,对所述初始点云目标检测模型进行训练,直至所述初始点云目标检测模型训练完成,得到所述点云目标检测模型。
3.根据权利要求2所述的方法,其特征在于,所述根据多种目标场景下的原始点云数据,确定所述点云数据训练集,包括:
对所述原始点云数据进行预处理,得到样本点云数据集;
对所述样本点云数据集进行划分处理,得到所述点云数据训练集。
4.根据权利要求3所述的方法,其特征在于,所述对所述原始点云数据进行预处理,得到样本点云数据集,包括:
对所述原始点云数据进行格式转换处理,得到标准格式点云数据集;所述标准格式点云数据集为与训练所述点云目标检测模型所需格式相匹配格式的点云数据集;
对所述标准格式点云数据集中的各所述样本目标进行标注,得到标注后的标准格式点云数据集;所述标注后的标准格式点云数据集包括各所述样本目标的标准标注数据;所述标准标注数据包括标准检测框;
将所述标注后的标准格式点云数据集确定为所述样本点云数据集。
5.根据权利要求3所述的方法,其特征在于,在所述对所述原始点云数据进行格式转换处理之前,所述方法还包括:
对所述原始点云数据中的无效点云数据进行剔除;所述无效点云数据表示不存在样本目标的原始点云数据。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
将所述点云数据验证集输入至所述点云目标检测模型中,得到测试目标检测结果;
若所述测试目标检测结果与样本目标的标准检测结果之间的相似度大于预设值,则确定所述点云目标检测模型验证通过。
7.根据权利要求2-6中任一项所述的方法,其特征在于,所述根据所述点云数据训练集,获取初始点云目标检测模型的样本目标损失信息,包括:
根据预设的体素网格规格,对所述点云数据训练集进行体素网格划分处理,得到多个体素网格点云数据;各所述体素网格点云数据均包括体素网格内各点云的坐标信息;
根据各所述体素网格点云数据,获取初始点云目标检测模型的样本目标损失信息。
8.根据权利要求7所述的方法,其特征在于,所述初始点云目标检测模型包括初始稀疏网络模型和初始检测网络模型;
所述根据各所述体素网格点云数据,获取初始点云目标检测模型的样本目标损失信息,包括:
将各所述体素网格点云数据输入至所述初始稀疏网络模型中,得到各所述体素网格点云数据对应的二维特征图;
将所述二维特征图输入至所述初始检测网络模型中,得到所述初始点云目标检测模型的样本目标张量;
根据所述样本目标张量,获取所述初始点云目标检测模型的样本目标损失信息。
9.根据权利要求8所述的方法,其特征在于,所述样本目标张量包括样本目标类别张量、样本目标回归张量和样本目标方向张量;所述样本目标损失信息包括样本目标类别损失信息、样本目标方向损失信息和所述样本目标回归损失信息;
所述根据所述样本目标张量,获取所述初始点云目标检测模型的样本目标损失信息,包括:
根据所述样本目标类别张量生成所述样本目标类别损失信息;根据所述样本目标方向张量生成所述样本目标方向损失信息;以及,
对所述样本目标回归张量进行解码处理,获取样本目标水平损失信息和样本目标垂直损失信息,并根据所述样本目标水平损失信息和所述样本目标垂直损失信息,生成所述样本目标回归损失信息。
10.根据权利要求9所述的方法,其特征在于,所述对所述样本目标回归张量进行解码处理,获取样本目标水平损失信息和样本目标垂直损失信息,包括:
对所述样本目标回归张量进行解码处理,得到样本目标水平张量和样本目标垂直张量;
通过预设损失函数和所述样本目标垂直张量获取所述样本目标垂直损失信息;以及,根据样本目标水平张量和样本目标标准水平张量,获取所述样本目标水平损失信息。
11.根据权利要求10所述的方法,其特征在于,所述根据样本目标水平张量和样本目标标准水平张量,获取所述样本目标水平损失信息,包括:
对所述样本目标水平张量进行拟合处理,得到预测检测框分布数据,对所述样本目标标准水平张量进行拟合处理,得到标准检测框分布数据;
根据所述预测检测框分布数据和所述标准检测框分布数据之间的相似度,确定所述样本目标水平损失信息。
12.一种目标检测装置,其特征在于,所述装置包括:
点云数据获取模块,用于获取目标场景的当前帧点云数据;
目标检测模块,用于将所述当前帧点云数据输入至点云目标检测模型中,对所述当前帧点云数据中的目标进行检测,得到所述当前帧点云数据中的目标检测结果;
其中,所述点云目标检测模型是基于点云数据训练集中各样本目标的预测检测框和各所述样本目标的标准检测框进行训练得到的。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-11中任一项所述的目标检测方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-11中任一项所述的目标检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206016.9A CN115457492A (zh) | 2022-09-30 | 2022-09-30 | 目标检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206016.9A CN115457492A (zh) | 2022-09-30 | 2022-09-30 | 目标检测方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115457492A true CN115457492A (zh) | 2022-12-09 |
Family
ID=84308124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211206016.9A Pending CN115457492A (zh) | 2022-09-30 | 2022-09-30 | 目标检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115457492A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984583A (zh) * | 2022-12-30 | 2023-04-18 | 广州沃芽科技有限公司 | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
CN116413740A (zh) * | 2023-06-09 | 2023-07-11 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
CN116778458A (zh) * | 2023-08-23 | 2023-09-19 | 苏州魔视智能科技有限公司 | 车位检测模型构建方法、车位检测方法、设备及存储介质 |
WO2024183391A1 (zh) * | 2023-03-03 | 2024-09-12 | 安徽蔚来智驾科技有限公司 | 点云目标检测方法、计算机设备、存储介质及车辆 |
-
2022
- 2022-09-30 CN CN202211206016.9A patent/CN115457492A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984583A (zh) * | 2022-12-30 | 2023-04-18 | 广州沃芽科技有限公司 | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
CN115984583B (zh) * | 2022-12-30 | 2024-02-02 | 广州沃芽科技有限公司 | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
WO2024183391A1 (zh) * | 2023-03-03 | 2024-09-12 | 安徽蔚来智驾科技有限公司 | 点云目标检测方法、计算机设备、存储介质及车辆 |
CN116413740A (zh) * | 2023-06-09 | 2023-07-11 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
CN116413740B (zh) * | 2023-06-09 | 2023-09-05 | 广汽埃安新能源汽车股份有限公司 | 一种激光雷达点云地面检测方法及装置 |
CN116778458A (zh) * | 2023-08-23 | 2023-09-19 | 苏州魔视智能科技有限公司 | 车位检测模型构建方法、车位检测方法、设备及存储介质 |
CN116778458B (zh) * | 2023-08-23 | 2023-12-08 | 苏州魔视智能科技有限公司 | 车位检测模型构建方法、车位检测方法、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | Data‐driven flood emulation: Speeding up urban flood predictions by deep convolutional neural networks | |
KR102126724B1 (ko) | 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 | |
CN111523414B (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
CN111161349B (zh) | 物体姿态估计方法、装置与设备 | |
CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN112862874B (zh) | 点云数据匹配方法、装置、电子设备及计算机存储介质 | |
CN107784288B (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
CN109272543B (zh) | 用于生成模型的方法和装置 | |
CN115601511B (zh) | 三维重建方法、装置、计算机设备及计算机可读存储介质 | |
CN116246119A (zh) | 3d目标检测方法、电子设备及存储介质 | |
CN113326851A (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
CN116051699B (zh) | 动捕数据的处理方法、装置、设备及存储介质 | |
CN116152334A (zh) | 图像处理方法及相关设备 | |
CN112884820A (zh) | 一种影像初始配准及神经网络的训练方法、装置和设备 | |
CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN113537180A (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
CN114863201A (zh) | 三维检测模型的训练方法、装置、计算机设备和存储介质 | |
CN114663598A (zh) | 三维建模方法、装置和存储介质 | |
CN111914809B (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
Barba-Guaman et al. | Object detection in rural roads using Tensorflow API | |
CN117274992A (zh) | 植物三维分割模型构建方法、装置、设备及存储介质 | |
CN113610971B (zh) | 一种细粒度三维模型构建方法、装置及电子设备 | |
CN116758214A (zh) | 遥感图像的三维建模方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |