CN107247960A - 图像提取分类区域的方法、物体识别方法及汽车 - Google Patents

Abstract

本发明涉及一种图像提取分类区域的方法，包括：获取感兴趣区域对应的点云数据和图像数据；将点云数据坐标系中的点投影到图像数据坐标系；将所述点云数据聚类，对每个聚类中的点云数据计算外接长方体；将所述外接长方体投影到所述图像数据坐标系，并计算外接矩形；所述外接矩形作为分类区域。还涉及物体识别方法和汽车。上述图像提取分类区域的方法、物体识别方法及汽车，利用点云数据提供场景的空间信息，图像数据结合点云数据后加速分类区域提取，有效提升深度学习的实时性。

Description

图像提取分类区域的方法、物体识别方法及汽车

技术领域

本发明涉及图像识别领域，特别是涉及图像提取分类区域的方法、应用该图像提取分类区域的方法的物体识别方法及应用该物体识别方法的汽车。

背景技术

基于深度学习的物体分类算法越来越多，但是算法的速度很难达到实时程度，这样限制了算法应用性推广。算法的瓶颈在于，深度学习经过卷积层卷积之后，需要全局搜索查找需要分类区域(region proposal)，这样就拖慢算法的计算速度。例如在无人驾驶领域，分类的实时性是至关重要的性能，提前快速的对物体进行分类能给后续的决策提供关键的决策依据及时间。

发明内容

基于此，有必要针对传统深度学习需要对全图像查找分类区域耗费大量时间的缺陷问题，提供一种图像提取分类区域的方法。

一种图像提取分类区域的方法，包括：获取感兴趣区域对应的点云数据和图像数据；将点云数据坐标系中的点投影到图像数据坐标系；将所述点云数据聚类，对每个聚类中的点云数据计算外接长方体；将所述外接长方体投影到所述图像数据坐标系，并计算外接矩形；所述外接矩形作为分类区域。

在其中一个实施例中，获取点云数据的设备为非光学式三维测量设备。

在其中一个实施例中，所述非光学式三维测量设备是利用物体对X射线具有吸收特性的计算机断层成像设备或基于磁学原理的核磁共振成像设备或利用声波信号的声呐设备。

在其中一个实施例中，获取点云数据的设备为光学式三维测量设备。

在其中一个实施例中，所述光学式三维测量设备为激光雷达。

在其中一个实施例中，所述计算外接长方体包括：提取所述每个聚类中的点云数据中的所有点的X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值、Y轴坐标的最小值、Z轴坐标的最大值和Z轴坐标的最小值；以所述X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值、Y轴坐标的最小值、Z轴坐标的最大值和Z轴坐标的最小值作为边界获得所述外接长方体。

在其中一个实施例中，所述计算外接矩形包括：提取所述长方体投影到所述图像数据坐标系中的所有点的X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值和Y轴坐标的最小值；以所述X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值和Y轴坐标的最小值作为边界获得所述外接矩形。

一种物体识别方法，包括：

通过上述的图像提取分类区域的方法得到外接矩形；根据图像与图像卷积层的映射关系公式映射到深度学习的特征图，提取区域物体的特征值；将提取到的特征值放入到深度学习的SoftMax分类器计算分类；即

其中，P(i)表示该类别的概率，表示权重系数的转置为横向量，x表示物体的特征值为列向量。

在其中一个实施例中，所述映射关系公式为：

其中，x'、y'表示映射之后的坐标，x、y表示原图像坐标，f表示降采样次数。

一种汽车，包括：物体识别系统，所述物体识别系统应用上述的物体识别方法。

上述图像提取分类区域的方法、物体识别方法及汽车，利用点云数据提供场景的空间信息，图像数据结合点云数据后加速分类区域提取，有效提升深度学习的实时性。

附图说明

图1为一实施例中的图像提取分类区域的方法的流程图。

图2为一实施例中说明4邻接的示意图。

图3为一实施例中说明8邻接的示意图。

图4为一实施例中具有两连通域的图形的示意图。

图5为一实施例中的物体识别方法的流程图。

具体实施方式

如图1所示，是一种图像提取分类区域的方法的流程图，该方法包括以下步骤S110～步骤S150。

步骤S110、获取感兴趣区域对应的点云数据和图像数据。

感兴趣区域ROI(region ofinterest)是需要图像处理的区域。可以利用多种途径获取感兴趣区域的点云数据，例如利用非光学式三维测量设备，具体可以是利用物体对X射线具有吸收特性的计算机断层成像设备或基于磁学原理的核磁共振成像设备或利用声波信号的声呐设备；例如利用光学式三维测量设备，具体可以是激光雷达。可以理解，本实施例不对获取点云数据的途径进行限制。

可以通过数码相机对感兴趣区域进行拍摄获取图像数据。可以理解除了数码相机也可以利用其它设备来获取图像数据，本实施例不对获取图像数据的途径进行限制。

步骤S120、将点云数据坐标系中的点投影到图像数据坐标系。

此时，点云数据坐标系和图像数据坐标系完成了配准，配准就是将不同数据通过数学模型变换，实现空间坐标的统一和同名像点坐标的统一。

具体地，可以通过求解投影矩阵的方法完成投影。找到点云数据和图像数据一一对应的四个点，通过以下公式，计算出投影矩阵。

x＝PX

其中，x表示图像上的点，X表示点云的点，P是3x4投影矩阵。

求解出投影矩阵后，再通过以上公式，把点云数据坐标系中的点投影到图像数据坐标系。

步骤S130、将所述点云数据聚类，对每个聚类中的点云数据计算外接长方体。

聚类是指将物理或者抽象的对象集合分成由类似的对象组成的多个类的过程，同一个类中的对象有较大的相似性，而不同类间的对象有较明显的差异。目前关于点云聚类的算法主要有K均值聚类算法、基于投影的聚类算法、层次聚类算法、谱聚类算法和密度聚类算法等。可以理解，本实施例中不对点云数据聚类的具体算法进行限制。

具体地，本实施例采用找连通域的方法进行聚类。

把点云数据坐标系上的三维点投影到点云数据坐标系的x轴y轴确定的xy平面上。接着在xy平面上找投影点的连通域(常见的邻接关系有2种：4邻接与8邻接。4邻接一共4个点，即上下左右，如图2所示。8邻接的点一共有8个，包括了对角线位置的点，如图3所示。

如果像素点A与B邻接，我们称A与B连通，于是我们不加证明的有如下的结论：如果A与B连通，B与C连通，则A与C连通。在视觉上看来，彼此连通的点形成了一个区域，而不连通的点形成了不同的区域。这样的一个所有的点彼此连通点构成的集合，我们称为一个连通区域，如图4有两个连通域。本文采用8邻域方法确定连通域，只要连通域中的投影点数超过设定的阈值，则认为该连通域中包含了一个物体。所有点云的点与连通域中的点有相同的x和y坐标，都认为是同一个物体。

对每个物体即每个聚类中的点云数据计算外接长方体。

具体地，先提取所述每个聚类中的点云数据中的所有点的X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值、Y轴坐标的最小值、Z轴坐标的最大值和Z轴坐标的最小值。以所述X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值、Y轴坐标的最小值、Z轴坐标的最大值和Z轴坐标的最小值作为边界获得所述外接长方体。

步骤S140、将所述外接长方体投影到所述图像数据坐标系，并计算外接矩形。

具体地，可以同样利用上述将点云数据坐标系中的点投影到图像数据坐标系的方法将所述外接长方体投影到所述图像数据坐标系，即利用投影矩阵的方法，在此不再重复。

将外接长方体投影到所述图像数据坐标系后，计算外接矩形。

具体地，先提取所述长方体投影到所述图像数据坐标系中的所有点的X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值和Y轴坐标的最小值。以所述X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值和Y轴坐标的最小值作为边界获得所述外接矩形。

步骤S150、所述外接矩形作为分类区域。

通过点云数据坐标系中的点投影到图像数据坐标系，点云数据坐标系和图像数据坐标系完成了配准，将所述点云数据聚类，对每个聚类中的点云数据计算外接长方体，将所述外接长方体投影到所述图像数据坐标系，并计算外接矩形，这样的话就把点云数据和图像数据结合起来，在图像提取分类区域时利用点云数据提供的空间信息，加速分类区域提取，有效提升深度学习的实时性。

如图5所示，是一种物体识别方法的流程图，该方法包括以下步骤S210～步骤S230。

步骤S210、通过上述的图像提取分类区域的方法得到外接矩形。

此时，外接矩形作为分类区域。

步骤S220、根据图像与图像卷积层的映射关系公式映射到深度学习的特征图，提取区域物体的特征值。

具体地，映射关系公式为：

其中，x'、y'表示映射之后的坐标，x、y表示原图像坐标，f表示降采样次数。

本实施例采用的卷积神经网络模型依次为输入层、卷积层、降采样层、卷积层、降采样层、卷积层、降采样层……和输出层，采用卷积层和降采样层依次交替的模型结构，卷积层使原始信号得到增强，提高信噪比，降采样层利用图像局部相关性原理，对图像进行邻域间采样，在减少数据量的同时提取有用信息。

步骤S230、将提取到的特征值放入到深度学习的SoftMax分类器计算分类；即

其中，P(i)表示该类别的概率，表示权重系数的转置为横向量，x表示物体的特征值为列向量。

目前机器学习领域最常用的分类器可大致归类为：朴素贝叶斯(Naive Bayesian，NB)，逻辑回归(Logistic Regression，LR)模，决策树(DecisionTree，DT)，支持向量机(SupportVectorMachine，SVM)。针对分类的应用场景和复杂度，可选择不同的分类器去解决问题。

Logistics回归是一种广义的线性回归分析模型，Softmax回归是对logistics的一种推广，可用来解决分类问题中类型标签多于两种的情况。Softmax是一种监督式学习算法，以多项式分布(Multinomial Distribution)为模型建模的，本实施例采用Softmax分类器来对提取到的特征进行分类。

一种汽车，包括：物体识别系统，所述物体识别系统应用上述的物体识别方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像提取分类区域的方法，包括：

获取感兴趣区域对应的点云数据和图像数据；

将点云数据坐标系中的点投影到图像数据坐标系；

将所述点云数据聚类，对每个聚类中的点云数据计算外接长方体；

将所述外接长方体投影到所述图像数据坐标系，并计算外接矩形；

所述外接矩形作为分类区域。

2.根据权利要求1所述的图像提取分类区域的方法，其特征在于，获取点云数据的设备为非光学式三维测量设备。

3.根据权利要求2所述的图像提取分类区域的方法，其特征在于，所述非光学式三维测量设备是利用物体对X射线具有吸收特性的计算机断层成像设备或基于磁学原理的核磁共振成像设备或利用声波信号的声呐设备。

4.根据权利要求1所述的图像提取分类区域的方法，其特征在于，获取点云数据的设备为光学式三维测量设备。

5.根据权利要求4所述的图像提取分类区域的方法，其特征在于，所述光学式三维测量设备为激光雷达。

6.根据权利要求1所述的图像提取分类区域的方法，其特征在于，所述计算外接长方体包括：

提取所述每个聚类中的点云数据中的所有点的X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值、Y轴坐标的最小值、Z轴坐标的最大值和Z轴坐标的最小值；

以所述X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值、Y轴坐标的最小值、Z轴坐标的最大值和Z轴坐标的最小值作为边界获得所述外接长方体。

7.根据权利要求1所述的图像提取分类区域的方法，其特征在于，所述计算外接矩形包括：

提取所述长方体投影到所述图像数据坐标系中的所有点的X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值和Y轴坐标的最小值；

以所述X轴坐标的最大值、X轴坐标的最小值、Y轴坐标的最大值和Y轴坐标的最小值作为边界获得所述外接矩形。

8.一种物体识别方法，其特征在于，包括：

通过权利要求1至7任一种所述的图像提取分类区域的方法得到外接矩形；

根据图像与图像卷积层的映射关系公式映射到深度学习的特征图，提取区域物体的特征值；

将提取到的特征值放入到深度学习的SoftMax分类器计算分类；即

<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;theta;</mi> <mi>i</mi> <mi>T</mi> </msubsup> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </msubsup> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;theta;</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，P(i)表示该类别的概率，表示权重系数的转置为横向量，x表示物体的特征值为列向量。

9.根据权利要求8所述的物体识别方法，其特征在于，所述映射关系公式为：

<mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mi>x</mi> <mi>f</mi> </mfrac> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mi>y</mi> <mi>f</mi> </mfrac> </mrow>

其中，x'、y'表示映射之后的坐标，x、y表示原图像坐标，f表示降采样次数。

10.一种汽车，其特征在于，包括：物体识别系统，所述物体识别系统应用权利要求8或9所述的物体识别方法。