CN110889858A - 一种基于点回归的汽车部件分割方法及装置 - Google Patents
一种基于点回归的汽车部件分割方法及装置 Download PDFInfo
- Publication number
- CN110889858A CN110889858A CN201911221210.2A CN201911221210A CN110889858A CN 110889858 A CN110889858 A CN 110889858A CN 201911221210 A CN201911221210 A CN 201911221210A CN 110889858 A CN110889858 A CN 110889858A
- Authority
- CN
- China
- Prior art keywords
- automobile
- data
- heat map
- batch
- point detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000011218 segmentation Effects 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 239000000306 component Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000004091 panning Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000010923 batch production Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于点回归的汽车部件分割方法，包括：a.训练汽车关键点检测模型；b.基于汽车关键点检测模型从待检测图片中提取区域图片数据；c.基于汽车关键点检测引擎对区域图片数据进行处理，并得到热图数据；d.根据热图数据计算对应的汽车关键点坐标；e.连接相关联的汽车关键点，从而分割汽车的具体部件；在a步骤中，包括：i.将所有训练数据分为若干batch，每个batch大小为16；ii.对每一个batch内的数据进行数据增强操作，并将被增强操作后的数据输入到人工智能网络模型中，计算输出热图；iii.根据输出热图与真实标签计算每一个batch的损失值；iv.根据损失值进行反向传播，更新人工智能网络模型的网络权重。本发明操作简单、使用方便，具有极高的商业价值。
Description
技术领域
本发明属于计算机应用领域，特别涉及一种基于点回归的汽车部件分割方法及装置。
背景技术
SPPE为单人姿态估计英文首字母缩写，具体网络结构名称为PyraNet，人体姿态估计是计算机视觉领域中的一个关键问题,可以应用于人体活动分析,人机交互以及视频监视等方面。人体姿态估计主要是指从图像中检测出人体各部位位置,方向以及尺度信息。人体姿态估计常常被人们在视频跟踪环境中提起，由于基于单目图像的人体姿态估计的基础性和方便性，近年来国内外学着将人体姿态估计的研究重点开始转到静态图片人体姿态估计。
2015年flow convnet将姿态估计看作是检测问题,输出是heatmap。其创新点在于从卷积神经网络的3和7层提取出来,再经过卷积操作,称之为空间融合模型,用来提取关节点之间的内在联系；同时使用光流信息,用来对准相邻帧的heatmap预测。最后使用参数池化方法,将对其的heatmap合并成一个scoremap。原文链接：https://blog.csdn.net/qq_36165459/article/details/78320535。
如何将应用在人体中的单人姿态估计应用在汽车上，即通过对汽车的整体进行SPPE分析，从而分割出汽车各部分的部件，能更好的对计算机相应地领域发展作出巨大贡献，而如何分析、分割汽车，进而形成汽车各部件成为了目前亟待解决的技术问题，但目前并没有一种能够解决上述技术问题的技术方案，具体地，缺少一种基于点回归的汽车部件分割方法及装置。
发明内容
针对现有技术存在的技术缺陷，本发明的目的是提供一种基于点回归的汽车部件分割方法，包括如下步骤：
a.训练汽车关键点检测模型；
b.基于所述汽车关键点检测模型从待检测图片中提取区域图片数据，其中所述待检测图片内容中包括汽车；
c.基于汽车关键点检测引擎对所述区域图片数据进行处理，并得到热图数据；
d.根据所述热图数据计算对应的汽车关键点坐标；
e.连接相关联的所述汽车关键点，从而分割所述汽车的具体部件；
在所述a步骤中，包括如下步骤：
v.将所有训练数据分为若干个batch，每个batch大小为16；
vi.对每一个batch内的数据进行数据增强操作，并将被增强操作后的数据输入到人工智能网络模型中，计算输出热图；
vii.根据所述输出热图与真实标签计算每一个batch的损失值；
viii.根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重。
优选地，在所述步骤iv中，通过如下步骤实现：
iv1.根据预测的热图统计所有像素点的损失；
iv2.将所有像素点损失值降序排列，并按照1：4的比例筛选正负样本；
Iv3.对筛选出来的正负样本损失求和。
优选地，在所述步骤i中，使用少于8个hourglass进行堆叠处理。
优选地，在所述步骤i中，使用不多于6个hourglass进行堆叠处理。
优选地，在所述步骤i中，使用5个hourglass进行堆叠处理。
优选地，在所述步骤i中，所述第一个卷积层conv1的卷积核个数为3个3*3的卷积核。
优选地，所述人工智能网络模型为基于人体关键点检测网络结构PyraNet。
根据本发明的另一个方面，提供了一种基于点回归的汽车部件分割装置，包括：
第一处理装置:训练汽车关键点检测模型；
第一获取装置:基于所述汽车关键点检测模型从待检测图片中提取区域图片数据；
第二获取装置:基于汽车关键点检测引擎对所述区域图片数据进行处理，并得到热图数据；
第一计算装置：根据所述热图数据计算对应的汽车关键点坐标；
第二处理装置：连接相关联的所述汽车关键点，从而分割所述汽车的具体部件；
所述第一处理装置包括：
第三处理装置：将所有训练数据分为若干个batch，每个batch大小为16；
第二计算装置：对每一个batch内的数据进行数据增强操作，并将被增强操作后的数据输入到人工智能网络模型中，计算输出热图；
第三计算装置：根据所述输出热图与真实标签计算每一个batch的损失值；
第四处理装置：根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重。
优选地，所述第四处理装置包括：
第五处理装置：根据预测的热图统计所有像素点的损失；
第六处理装置：将所有像素点损失值降序排列，并按照1：4的比例筛选正负样本；
第四计算装置：对筛选出来的正负样本损失求和。
本发明公开了一种一种基于点回归的汽车部件分割方法，包括如下步骤：a.训练汽车关键点检测模型；b.基于所述汽车关键点检测模型从待检测图片中提取区域图片数据，其中所述待检测图片内容中包括汽车；c.基于汽车关键点检测引擎对所述区域图片数据进行处理，并得到热图数据；d.根据所述热图数据计算对应的汽车关键点坐标；e.连接相关联的所述汽车关键点，从而分割所述汽车的具体部件；在所述a步骤中，包括如下步骤：i.将所有训练数据分为若干个batch，每个batch大小为16；ii.对每一个batch内的数据进行数据增强操作，并将被增强操作后的数据输入到人工智能网络模型中，计算输出热图；iii.根据所述输出热图与真实标签计算每一个batch的损失值；iv.根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重。本发明能够通过单人姿态估计来实现对于汽车图片的分析，通过建立模型分析，实现对于汽车各部件的分割，本发明操作简单、使用方便，具有极高的商业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出了本发明的具体实施方式的，一种基于点回归的汽车部件分割方法的具体流程示意图；
图2示出了本发明的第一实施例的，训练汽车关键点检测模型的具体流程示意图；
图3示出了本发明的第二实施例的，根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重的具体流程示意图；以及
图4示出了本发明的另一具体实施方式的，一种基于点回归的汽车部件分割装置。
具体实施方式
为了更好的使本发明的技术方案清晰的表示出来，下面结合附图对本发明作进一步说明。
图1示出了本发明的具体实施方式的，一种基于点回归的汽车部件分割方法的具体流程示意图，即本发明通过SPPE，即单人姿态估计完成对于汽车部件的分割，其通过在单人姿态估计的模型上进行创新，减小模型规模、降低计算量，进而提高运算效率，具体地，作为本发明的主要步骤，提供了一种基于点回归的汽车部件分割方法，其主要基于训练的汽车模型来实现其汽车的具体部件的分割，包括如下步骤：
首先，进入步骤S101，训练汽车关键点检测模型，本领域技术人员理解，本发明可以通过使用开源数据集来训练汽车关键点检测模型，在一个优选地实施例中，可以使用百度Apollo开源数据集，进一步地，所述汽车关键点即为汽车各部件之间连接的连接部位，类似于单人姿态估计，所述汽车关键点可以理解为组成、分析、构建汽车各部位结构的整体框架，进一步地，所述汽车关键点检测模型可以通过大数据中多个包含有汽车的图片经过分析、增强、计算进而得出模型，此为本发明的技术核心，我们将在后述的具体实施例中作进一步的描述，在此不予赘述。
然后，进入步骤S102，基于所述汽车关键点检测模型从待检测图片中提取区域图片数据，其中所述待检测图片内容中包括汽车，所述待检测图片为需要被分割的图片，所述待检测图片中至少包含一辆汽车，可以为轿车、SUV等等，而在其他的实施例中，所述待检测图片中还可以包含多辆汽车，进一步地，所述图片的宽、高至少大于512，所述待检测图片在输入所述汽车关键点检测模型之前，优选地需要对其进行归一化的预处理，所述区域图片数据为所述待检测图片的一部分，其优选地为待检测图片中所述汽车所存在的区域，其可以通过将待检测图片进行裁剪，获取矩形的区域图片数据，进一步地，通过汽车检测模型检测图片中所有汽车的位置坐标(xmin、ymin、width、height)，并提取相关区域图片数据。
再然后，进入步骤S103，基于汽车关键点检测引擎对所述区域图片数据进行处理，并得到热图数据，所述热图数据为heatmap，heatmap可以用颜色变化来反映二维矩阵或表格中的数据信息，它可以直观地将数据值的大小以定义的颜色深浅表示出来。常根据需要将数据进行物种或样品间丰度相似性聚类，将聚类后数据表示在heatmap图上，可将高丰度和低丰度的物种分块聚集，通过颜色梯度及相似程度来反映多个样品在各分类水平上群落组成的相似性和差异性。结果可有彩虹色和黑红色两种选择，进一步地，在一个优选地实施例中，所述待检测图片中包含多个区域图片数据，即包含多个汽车数据，则将所有汽车数据分别输入汽车关键点检测模型，分别得到各汽车对应heatmap。
在执行完步骤S103之后，执行步骤S104，根据所述热图数据计算对应的汽车关键点坐标，在这样的实施例中，优选地将所述汽车进行坐标化处理，通过热图数据中相应热图所对应的汽车关键点确定汽车关键点在所述坐标轴中的位置，进而根据所述热图数据计算对应的汽车关键点坐标。
最后，执行步骤S105，连接相关联的所述汽车关键点，从而分割所述汽车的具体部件，在这样的实施例中，所述汽车关键点即为汽车每个具体部件相连接位置的点数据，在确定了所有汽车关键点之后，只需要将所述汽车关键点按照一定的方式进行连接，即形成分割线，进而基于分割线确定汽车中的具体部件。
图2示出了本发明的第一实施例的，训练汽车关键点检测模型的具体流程示意图，本领域技术人员理解，所述图2为本发明的一个重要技术方案，是本发明较为核心的部分，即如何实现汽车关键点模型的建立，具体地，包括如下步骤：
首先，进入步骤S1011，将所有训练数据分为若干个batch，每个batch大小为16，批处理(Batch)，也称为批处理脚本。顾名思义，批处理就是对某对象进行批量的处理，通常被认为是一种简化的脚本语言，它应用于DOS和Windows系统中。批处理文件的扩展名为bat。目前比较常见的批处理包含两类：DOS批处理和PS批处理。PS批处理是基于强大的图片编辑软件Photoshop的，用来批量处理图片的脚本；而DOS批处理则是基于DOS命令的，用来自动地批量地执行DOS命令以实现特定操作的脚本。更复杂的情况，需要使用if、for、goto等命令控制程式的运行过程，如同C、Basic等高级语言一样。如果需要实现更复杂的应用，利用外部程式是必要的，这包括系统本身提供的外部命令和第三方提供的工具或者软件。批处理程序虽然是在命令行环境中运行，但不仅仅能使用命令行软件，任何当前系统下可运行的程序都可以放在批处理文件中运行。
进一步地，所述训练数据为用于建立模型的数据，可以为多个汽车，进一步地，将所有训练数据分为若干个batch，每个batch大小为16，而在其他的实施例中，所述batch的数量可以为4个、8个、16个或者更多，进一步地，每个batch的大小可以为16、32、64甚至更高，在此不予赘述。
然后，进入步骤S1012，对每一个batch内的数据进行数据增强操作，并将被增强操作后的数据输入到人工智能网络模型中，计算输出热图，在这样的实施例中，数据增强在学习模型中是一种比较常见的处理模式，比较成功的神经网络需要大量的参数，许许多多的神经网路的参数都是数以百万计，而使得这些参数可以正确工作则需要大量的数据进行训练，而实际情况中数据并没有我们想象中的那么多，数据增强能够增加训练的数据量，提高模型的泛化能力，增加噪声数据，提升模型的鲁棒性。如何获得大量的数据：一种方法是获得新的数据，这种方法比较麻烦，需要大量的成本，而第二种方法则是对数据进行增强，即利用已有的数据比如翻转、平移或旋转，创造出更多的数据，来使得神经网络具有更好的泛化效果。
进一步地，数据增强的分类：数据增强可以分为两类，一类是离线增强，一类是在线增强。离线增强：直接对数据集进行处理，数据的数目会变成增强因子x原数据集的数目，这种方法常常用于数据集很小的时候在线增强：这种增强的方法用于，获得batch数据之后，然后对这个batch的数据进行增强，如旋转、平移、翻折等相应的变化，由于有些数据集不能接受线性级别的增长，这种方法长用于大的数据集，很多机器学习框架已经支持了这种数据增强方式，并且可以使用GPU优化计算。
进一步地，常用的数据增强技术：首先定义增强因子：指的是数据做离线增强之后增长的倍数。1、翻转：增强因子2或3，数据翻转是一种常用的数据增强方法，这种方法不同于旋转180这种方法是做一种类似于镜面的翻折。2、旋转：增强因子2到4旋转就是顺时针或者逆时针的旋转，注意在旋转的时候，最好旋转90－180度否则会出现尺度的问题，3、缩放：增强因子任意图像可以被放大或缩小。放大时，放大后的图像尺寸会大于原始尺寸。大多数图像处理架构会按照原始尺寸对放大后的图像进行裁切。4、裁剪：增强因子任意这种方法更流行的叫法是随机裁剪，我们随机从图像中选择一部分，然后降这部分图像裁剪出来，然后调整为原图像的大小5、平移：增强因子任意平移是将图像沿着x或者y方向(或者两个方向)移动。我们在平移的时候需对背景进行假设，比如说假设为黑色等等，因为平移的时候有一部分图像是空的，由于图片中的物体可能出现在任意的位置，所以说平移增强方法十分有用，6、添加噪声：增强因子任意看噪声的类型过拟合通常发生在神经网络学习高频特征的时候而这些特征对于神经网络所做的任务可能没有帮助，而且会对低频特征产生影响，为了消除高频特征我们随机加入噪声数据来消除这些特征，上述对于数据增强的描述属于目前现有的技术，在此不予赘述。
再然后，进入步骤S1013，根据所述输出热图与真实标签计算每一个batch的损失值，所述真实标签即为未经过人工智能网络模型计算的在先数据，进一步地，通过将所述输出热图与真实标签进行对比，进而获取每一个batch的损失值。
最后，执行步骤S1014，根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重，本领域技术人员理解，本步骤根据预测的热图统计所有像素点的损失；将所有像素点损失值降序排列，并按照1：4的比例筛选正负样本；对筛选出来的正负样本损失求和，进而更新所述人工智能网络模型的网络权重，这些将在后述的具体实施方式中做更进一步地描述，在此不予赘述。
进一步地，在所述步骤S1011中，使用少于8个hourglass进行堆叠处理，所述hourglass为卷积神经网络的网络结构，Hourglass是本申请的核心部件，由Residual模块组成，根据阶数不同，有不同的复杂程度，而在另一个实施例中，使用不多于6个hourglass进行堆叠处理，而在其他的实施例中，还可以使用5个hourglass进行堆叠处理。本领域技术人员理解，原始的网络结构，即在单人姿态估计中使用8个hourglass进行堆叠，但通过实验发现，在汽车姿态估计中，使用6个就可以获得比较接近的精度，且计算量会减少25％，进而提高了计算效率。
进一步地，在所述步骤S1011中，所述第一个卷积层conv1的卷积核个数为3个3*3的卷积核。本领域技术人员理解，在原始的网格结构中，第一个卷积层conv1的卷积核个数为7*7，将第一个卷积层conv1的7*7卷积核替换为3个3*3的卷积核，具有相同的感受野，而参数和计算量都减少接近一半。
进一步地，所述人工智能网络模型为基于人体关键点检测网络结构PyraNet。本发明公开了一种基于深度学习的全自动汽车部件智能分割方法，该方法通过估计汽车部件关键点，并通过连接关联关键点，实现准确的汽车部件分割，而SPPE为单人姿态估计英文首字母缩写，具体网络结构名称为PyraNet，人体姿态估计是计算机视觉领域中的一个关键问题。
图3示出了本发明的第二实施例的，根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重的具体流程示意图，所述步骤S1014包括如下步骤：
首先，进入步骤S10141，根据预测的热图统计所有像素点的损失，然后在步骤S10142中，将所有像素点损失值降序排列，并按照1：4的比例筛选正负样本，最后在步骤S10413中对筛选出来的正负样本损失求和。根据预测的热图计算所有像素点对应的损失值，并将所有损失值进行降序排列，按照1：4的比例筛选正负样本，对筛选出来的正负样本损失值求和。其目的在于：原算法直接对所有像素点损失进行累加，但是存在正负样本不均衡问题(比例小于1：100)，网络会把大部分精力花费在拟合负样本信息上，而改进之后，网络更多地会去降低正样本以及一些困难样本的损失值。
图4示出了本发明的另一具体实施方式的，一种基于点回归的汽车部件分割装置。根据本发明的另一个方面，提供了一种基于点回归的汽车部件分割装置，包括第一处理装置:训练汽车关键点检测模型，所述第一处理装置的基本工作原理可以参考前述步骤S101，在此不予赘述。
进一步地，所述分割装置还包括第一获取装置:基于所述汽车关键点检测模型从待检测图片中提取区域图片数据，所述第一获取装置的基本工作原理可以参考前述步骤S102，在此不予赘述。
进一步地，所述分割装置还包括第二获取装置:基于汽车关键点检测引擎对所述区域图片数据进行处理，并得到热图数据，所述第二获取装置的基本工作原理可以参考前述步骤S103，在此不予赘述。
进一步地，所述分割装置还包括第一计算装置：根据所述热图数据计算对应的汽车关键点坐标，所述第一计算装置的基本工作原理可以参考前述步骤S104，在此不予赘述。
进一步地，所述分割装置还包括第二处理装置：连接相关联的所述汽车关键点，从而分割所述汽车的具体部件，所述第二处理装置的基本工作原理可以参考前述步骤S105，在此不予赘述。
进一步地，所述第一处理装置包括第三处理装置：将所有训练数据分为若干个batch，每个batch大小为16，所述第三处理装置的基本工作原理可以参考前述步骤S1011，在此不予赘述。
进一步地，所述第一处理装置还包括第二计算装置：对每一个batch内的数据进行数据增强操作，并将被增强操作后的数据输入到人工智能网络模型中，计算输出热图，所述第二计算装置的基本工作原理可以参考前述步骤S1012，在此不予赘述。
进一步地，所述第一处理装置还包括第三计算装置：根据所述输出热图与真实标签计算每一个batch的损失值，所述第三计算装置的基本工作原理可以参考前述步骤S1013，在此不予赘述。
进一步地，所述第一处理装置还包括第四处理装置：根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重，所述第四处理装置的基本工作原理可以参考前述步骤S1014，在此不予赘述。
进一步地，所述第四处理装置包括第五处理装置：根据预测的热图统计所有像素点的损失，所述第五处理装置的基本工作原理可以参考前述步骤S10141，在此不予赘述。
进一步地，所述第四处理装置还包括第六处理装置：将所有像素点损失值降序排列，并按照1：4的比例筛选正负样本，所述第六处理装置的基本工作原理可以参考前述步骤S10142，在此不予赘述。
进一步地，所述第四处理装置还包括第四计算装置：对筛选出来的正负样本损失求和，所述第四计算装置的基本工作原理可以参考前述步骤S10143，在此不予赘述。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (9)
1.一种基于点回归的汽车部件分割方法，包括如下步骤：
a.训练汽车关键点检测模型；
b.基于所述汽车关键点检测模型从待检测图片中提取区域图片数据，其中所述待检测图片内容中包括汽车；
c.基于汽车关键点检测引擎对所述区域图片数据进行处理，并得到热图数据；
d.根据所述热图数据计算对应的汽车关键点坐标；
e.连接相关联的所述汽车关键点，从而分割所述汽车的具体部件；
其特征在于，在所述a步骤中，包括如下步骤：
i.将所有训练数据分为若干个batch，每个batch大小为16；
ii.对每一个batch内的数据进行数据增强操作，并将被增强操作后的数据输入到人工智能网络模型中，计算输出热图；
iii.根据所述输出热图与真实标签计算每一个batch的损失值；
iv.根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重。
2.根据权利要求1所述的方法，其特征在于，在所述步骤iv中，通过如下步骤实现：
iv1.根据预测的热图统计所有像素点的损失；
iv2.将所有像素点损失值降序排列，并按照1：4的比例筛选正负样本；
Iv3.对筛选出来的正负样本损失求和。
3.根据权利要求1或2所述的方法，其特征在于，在所述步骤i中，使用少于8个hourglass进行堆叠处理。
4.根据权利要求3所述的方法，其特征在于，在所述步骤i中，使用不多于6个hourglass进行堆叠处理。
5.根据权利要求4所述的方法，其特征在于，在所述步骤i中，使用5个hourglass进行堆叠处理。
6.根据权利要求1至4中任一项所述的方法，其特征在于，在所述步骤i中，所述第一个卷积层conv1的卷积核个数为3个3*3的卷积核。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述人工智能网络模型为基于人体关键点检测网络结构PyraNet。
8.一种基于点回归的汽车部件分割装置，包括：
第一处理装置(1):训练汽车关键点检测模型；
第一获取装置(2):基于所述汽车关键点检测模型从待检测图片中提取区域图片数据；
第二获取装置(3):基于汽车关键点检测引擎对所述区域图片数据进行处理，并得到热图数据；
第一计算装置(4)：根据所述热图数据计算对应的汽车关键点坐标；
第二处理装置(5)：连接相关联的所述汽车关键点，从而分割所述汽车的具体部件；
所述第一处理装置(1)包括：
第三处理装置(11)：将所有训练数据分为若干个batch，每个batch大小为16；
第二计算装置(12)：对每一个batch内的数据进行数据增强操作，并将被增强操作后的数据输入到人工智能网络模型中，计算输出热图；
第三计算装置(13)：根据所述输出热图与真实标签计算每一个batch的损失值；
第四处理装置(14)：根据所述损失值进行反向传播，更新所述人工智能网络模型的网络权重。
9.根据权利要求8所述的装置，其特征在于，所述第四处理装置包括：
第五处理装置(141)：根据预测的热图统计所有像素点的损失；
第六处理装置(142)：将所有像素点损失值降序排列，并按照1：4的比例筛选正负样本；
第四计算装置(143)：对筛选出来的正负样本损失求和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911221210.2A CN110889858A (zh) | 2019-12-03 | 2019-12-03 | 一种基于点回归的汽车部件分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911221210.2A CN110889858A (zh) | 2019-12-03 | 2019-12-03 | 一种基于点回归的汽车部件分割方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110889858A true CN110889858A (zh) | 2020-03-17 |
Family
ID=69750150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911221210.2A Pending CN110889858A (zh) | 2019-12-03 | 2019-12-03 | 一种基于点回归的汽车部件分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110889858A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709884A (zh) * | 2020-04-29 | 2020-09-25 | 高新兴科技集团股份有限公司 | 车牌关键点矫正方法、系统、设备和存储介质 |
| CN114416335A (zh) * | 2021-12-07 | 2022-04-29 | 浙江大华技术股份有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| CN116894844A (zh) * | 2023-07-06 | 2023-10-17 | 北京长木谷医疗科技股份有限公司 | 一种髋关节图像分割与关键点联动识别方法及装置 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| US20180130229A1 (en) * | 2016-11-08 | 2018-05-10 | Nec Laboratories America, Inc. | Surveillance system with landmark localization on objects in images using convolutional neural networks |
| CN108229445A (zh) * | 2018-02-09 | 2018-06-29 | 深圳市唯特视科技有限公司 | 一种基于级联金字塔网络的多人姿态估计方法 |
| CN108256431A (zh) * | 2017-12-20 | 2018-07-06 | 中车工业研究院有限公司 | 一种手部位置标识方法及装置 |
| CN108764048A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
| CN109214282A (zh) * | 2018-08-01 | 2019-01-15 | 中南民族大学 | 一种基于神经网络的三维手势关键点检测方法和系统 |
| CN109376659A (zh) * | 2018-10-26 | 2019-02-22 | 北京陌上花科技有限公司 | 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置 |
| CN109657595A (zh) * | 2018-12-12 | 2019-04-19 | 中山大学 | 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 |
| CN109711320A (zh) * | 2018-12-24 | 2019-05-03 | 兴唐通信科技有限公司 | 一种值班人员违规行为检测方法及系统 |
| CN109766887A (zh) * | 2019-01-16 | 2019-05-17 | 中国科学院光电技术研究所 | 一种基于级联沙漏神经网络的多目标检测方法 |
| CN109919097A (zh) * | 2019-03-08 | 2019-06-21 | 中国科学院自动化研究所 | 基于多任务学习的人脸和关键点联合检测系统、方法 |
| CN110084221A (zh) * | 2019-05-08 | 2019-08-02 | 南京云智控产业技术研究院有限公司 | 一种基于深度学习的带中继监督的序列化人脸关键点检测方法 |
| CN110175575A (zh) * | 2019-05-29 | 2019-08-27 | 南京邮电大学 | 一种基于新型高分辨率网络模型的单人姿态估计方法 |
| CN110175544A (zh) * | 2019-05-14 | 2019-08-27 | 广州虎牙信息科技有限公司 | 目标模型的构建方法、装置、电子设备及存储介质 |
| CN110232696A (zh) * | 2019-06-20 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
| CN110276316A (zh) * | 2019-06-26 | 2019-09-24 | 电子科技大学 | 一种基于深度学习的人体关键点检测方法 |
| US10475182B1 (en) * | 2018-11-14 | 2019-11-12 | Qure.Ai Technologies Private Limited | Application of deep learning for medical imaging evaluation |
| CN110443222A (zh) * | 2019-08-14 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于训练脸部关键点检测模型的方法和装置 |
| WO2019222383A1 (en) * | 2018-05-15 | 2019-11-21 | Northeastern University | Multi-person pose estimation using skeleton prediction |
| CN110490256A (zh) * | 2019-08-20 | 2019-11-22 | 中国计量大学 | 一种基于关键点热图的车辆检测方法 |
| CN110503083A (zh) * | 2019-08-30 | 2019-11-26 | 北京妙医佳健康科技集团有限公司 | 一种关键点检测方法、装置及电子设备 |
-
2019
- 2019-12-03 CN CN201911221210.2A patent/CN110889858A/zh active Pending
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| US20180130229A1 (en) * | 2016-11-08 | 2018-05-10 | Nec Laboratories America, Inc. | Surveillance system with landmark localization on objects in images using convolutional neural networks |
| CN108256431A (zh) * | 2017-12-20 | 2018-07-06 | 中车工业研究院有限公司 | 一种手部位置标识方法及装置 |
| CN108229445A (zh) * | 2018-02-09 | 2018-06-29 | 深圳市唯特视科技有限公司 | 一种基于级联金字塔网络的多人姿态估计方法 |
| CN108764048A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
| WO2019222383A1 (en) * | 2018-05-15 | 2019-11-21 | Northeastern University | Multi-person pose estimation using skeleton prediction |
| CN109214282A (zh) * | 2018-08-01 | 2019-01-15 | 中南民族大学 | 一种基于神经网络的三维手势关键点检测方法和系统 |
| CN109376659A (zh) * | 2018-10-26 | 2019-02-22 | 北京陌上花科技有限公司 | 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置 |
| US10475182B1 (en) * | 2018-11-14 | 2019-11-12 | Qure.Ai Technologies Private Limited | Application of deep learning for medical imaging evaluation |
| CN109657595A (zh) * | 2018-12-12 | 2019-04-19 | 中山大学 | 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 |
| CN109711320A (zh) * | 2018-12-24 | 2019-05-03 | 兴唐通信科技有限公司 | 一种值班人员违规行为检测方法及系统 |
| CN109766887A (zh) * | 2019-01-16 | 2019-05-17 | 中国科学院光电技术研究所 | 一种基于级联沙漏神经网络的多目标检测方法 |
| CN109919097A (zh) * | 2019-03-08 | 2019-06-21 | 中国科学院自动化研究所 | 基于多任务学习的人脸和关键点联合检测系统、方法 |
| CN110084221A (zh) * | 2019-05-08 | 2019-08-02 | 南京云智控产业技术研究院有限公司 | 一种基于深度学习的带中继监督的序列化人脸关键点检测方法 |
| CN110175544A (zh) * | 2019-05-14 | 2019-08-27 | 广州虎牙信息科技有限公司 | 目标模型的构建方法、装置、电子设备及存储介质 |
| CN110175575A (zh) * | 2019-05-29 | 2019-08-27 | 南京邮电大学 | 一种基于新型高分辨率网络模型的单人姿态估计方法 |
| CN110232696A (zh) * | 2019-06-20 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
| CN110276316A (zh) * | 2019-06-26 | 2019-09-24 | 电子科技大学 | 一种基于深度学习的人体关键点检测方法 |
| CN110443222A (zh) * | 2019-08-14 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于训练脸部关键点检测模型的方法和装置 |
| CN110490256A (zh) * | 2019-08-20 | 2019-11-22 | 中国计量大学 | 一种基于关键点热图的车辆检测方法 |
| CN110503083A (zh) * | 2019-08-30 | 2019-11-26 | 北京妙医佳健康科技集团有限公司 | 一种关键点检测方法、装置及电子设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709884A (zh) * | 2020-04-29 | 2020-09-25 | 高新兴科技集团股份有限公司 | 车牌关键点矫正方法、系统、设备和存储介质 |
| CN114416335A (zh) * | 2021-12-07 | 2022-04-29 | 浙江大华技术股份有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| CN114416335B (zh) * | 2021-12-07 | 2024-11-08 | 浙江大华技术股份有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| CN116894844A (zh) * | 2023-07-06 | 2023-10-17 | 北京长木谷医疗科技股份有限公司 | 一种髋关节图像分割与关键点联动识别方法及装置 |
| CN116894844B (zh) * | 2023-07-06 | 2024-04-02 | 北京长木谷医疗科技股份有限公司 | 一种髋关节图像分割与关键点联动识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yu et al. | Fully convolutional networks for surface defect inspection in industrial environment | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN113807355A (zh) | 一种基于编解码结构的图像语义分割方法 | |
| CN111696110B (zh) | 场景分割方法及系统 | |
| CN111914698B (zh) | 图像中人体的分割方法、分割系统、电子设备及存储介质 | |
| WO2021129181A1 (en) | Portrait segmentation method, model training method and electronic device | |
| CN110956126A (zh) | 一种联合超分辨率重建的小目标检测方法 | |
| CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
| CN110889858A (zh) | 一种基于点回归的汽车部件分割方法及装置 | |
| CN112001399B (zh) | 基于局部特征显著化的图像场景分类方法和装置 | |
| CN113052755A (zh) | 一种基于深度学习的高分辨率图像智能化抠图方法 | |
| CN109299305A (zh) | 一种基于多特征融合的空间图像检索系统及检索方法 | |
| CN111401293A (zh) | 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法 | |
| Geng et al. | An improved helmet detection method for YOLOv3 on an unbalanced dataset | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN111462184B (zh) | 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法 | |
| CN113177956A (zh) | 一种面向无人机遥感影像的语义分割方法 | |
| CN113496148A (zh) | 一种多源数据融合方法及系统 | |
| CN115457296A (zh) | 一种面向非平稳纹理结构属性的结构提取方法 | |
| CN114565964B (zh) | 情绪识别模型的生成方法、识别方法、装置、介质和设备 | |
| CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
| CN115578721A (zh) | 一种基于注意力特征融合的街景文本实时检测方法 | |
| CN114494284A (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN112434710A (zh) | 一种基于目标检测技术的智能货架商品识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200317 |