CN109840471B - 一种基于改进Unet网络模型的可行道路分割方法 - Google Patents

Abstract

本发明公开了一种基于改进Unet网络模型的可行道路分割方法，所述方法包括：将Unet训练模型中的卷积层修改为ResNet残差模块，分别采用交叉熵损失函数和Lovász hinge损失函数进行反向传播训练；采用训练后模型对不带分割标签的道路场景进行可行区域分割；将训练图片和对应的分割掩膜标注进行尺度、对比度、归一化处理，并对训练样本进行增强处理，以训练数据的平均直方图为模板，对测试数据进行直方图匹配处理后进行测试，输出道路分割后的结果。本发明在不增加模型复杂度的基础上，使得道路分割精度得到较大提高，基本可实现道路可行区域的实时精准分割。

Description

一种基于改进Unet网络模型的可行道路分割方法

技术领域

本发明涉及无人驾驶领域领域，尤其涉及一种基于改进Unet网络模型^[1]、结合ResNet^[2]的残差模块，改进Unet网络模型的可行道路分割方法。

背景技术

全球无人驾驶技术的发展正迎来新一轮热潮，主要发达国家都已采取多种措施支持企业开展无人驾驶汽车的研发和测试。无人驾驶技术的研究具有极大的现实意义，其中最为突出的是可以提高人们出行的安全性。道路可行区域识别是无人驾驶研究的一个重要组成部分，道路可行区域的准确快速识别与分割，对无人驾驶中车辆自主巡航控制和路径规划起到至关重要的作用。

目前对道路可行区域的检测技术主要分为基于传统的计算机视觉技术和基于深度学习的目标分割技术。传统的计算机视觉技术方法将道路区域看作多个像素点集成的模块，通过模板匹配、聚类、均值漂移算法等特征提取方法，将道路区域逐像素分为可行区域和非可行区域。传统的机器视觉方法针对特定的驾驶环境，通过设定模型参数，可达到不错的分割效果。但模型往往需要消耗大量的时间和空间资源，无法满足无人驾驶中实时检测的需求。

此外，当驾驶环境如光照、气候等环境因素发生较大改变时，会严重削弱模型的检测性能。传统的模式识别方法泛化应用能力有限，而深度学习在很多学术领域比传统算法可提高20-30％的性能。2016年，Marvin Teichmann采用VGG16^[3]网络模型进行道路分类、车辆检测和道路分割多任务检测，通过多任务学习(Multi-task)卷积网络模型，可实现道路可行区域分割。但由于VGG16模型的参数量有140M之多，需要较大的存储空间，同时在测试环节，受限于硬件平台的存储运算能力，无法达到实时的精准检测。

发明内容

本发明提供了一种基于改进Unet网络模型的可行道路分割方法，本发明在特征提取和反卷积阶段引入ResNet的残差模块，解决了模型训练过程中梯度消失问题，同时模型在交叉熵损失函数训练的基础上，再通过Lovász hinge^[4]损失函数进行进一步训练，通过级联的训练模式，在不增加模型预测复杂度的基础上，极大地提高了道路分割的精度，详见下文描述：

一种基于改进Unet网络模型的可行道路分割方法，所述方法包括：

将Unet训练模型中的卷积层修改为ResNet残差模块，分别采用交叉熵损失函数和Lovász hinge损失函数进行反向传播训练；

采用训练后模型对不带分割标签的道路场景进行可行区域分割；

将训练图片和对应的分割掩膜标注进行尺度、对比度、归一化处理，并对训练样本进行增强处理，以训练数据的平均直方图为模板，对测试数据进行直方图匹配处理后进行测试，输出道路分割后的结果。

进一步地，所述将Unet训练模型中的卷积层修改为ResNet残差模块，分别采用交叉熵损失函数和Lovász hinge损失函数进行反向传播训练具体为：

1)将KITTI原始道路图片和对应的分割的掩膜标注进行转换，灰度化原始图片后将灰度像素转化为0-1之间；

2)构建基础的Unet网络结构，其中特征提取阶段和反卷积阶段按照池化、上次样分为4个阶段的特征层，每个阶段的特征层包含3个卷积结构，将后面的两个卷积结构替换为两个残差模块，其中第二个残差模块的输出添加归一化层；

3)采用交叉熵损失函数进行第一阶段模型选择，通过5折交叉验证进行模型训练，求取掩膜标签中ground truth和预测值的交叉熵均值，采用adam优化进行反向传播，设定梯度衰减率，通过early stopping加快模型训练过程；训练至模型收敛后，采用Lovászhinge损失函数进行收敛训练，进一步提高模型测试精度。

具体实现时，所述方法还包括：

在模型应用阶段，对输出结果进行小空洞填补、小分割区域剔除处理。

进一步地，所述方法还包括：

在模型应用阶段，对输入数据对图片进行尺度转换、灰度化和归一化，以训练数据的平均直方图为模板，对测试数据进行直方图匹配处理后进行预测。

本发明提供的技术方案的有益效果是：

1、本发明对最新的语义分割算法进行改进，在卷积模块引入残差结构，采用交叉熵损失函数和Lovász hinge损失函数进行模型的级联训练，用于可行道路的分割；

2、本发明一方面解决深度学习模型训练中梯度消失问题，另一方面通过交叉熵损失函数训练模型，避开Lovász hinge中的局部收敛点，使得模型处于优良的初始化阶段，再通过Lovász hinge损失函数直接对平均IOU进行优化；

3、本发明在不增加模型复杂度的基础上，使得道路分割精度得到较大提高，基本可实现道路可行区域的实时精准分割。

附图说明

图1为现有技术提供的Unet基础网络结构的示意图；

图2本发明提供的改进的Unet网络结构的示意图；

图3为训练第一阶段的示意图；

其中，a)为交叉熵损失函数变化的示意图；b)为准确率变化的示意图。

图4为训练第二阶段的示意图；

其中，a)为Lovász hinge损失函数变化的示意图；b)为准确率变化的示意图。

图4b)和图3b)中准确率的纵向对比可以看出，第二阶段准确率在第一阶段的基础上有了明显提高。

图5为原始测试图；

图6为通过尺度转换、对比度调整预处理后的测试图片；

图7为模型预测的分割结果的示意图；

图8为经过膨胀、腐蚀等形态学方法处理后的最终分割结果的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一种基于改进Unet网络模型的可行道路分割方法，参见图1和图2，该方法包括以下步骤：

101：将Unet训练模型中的卷积层修改为ResNet残差模块，分别采用交叉熵损失函数和Lovász hinge损失函数进行反向传播训练；

102：采用训练后模型对不带分割标签的道路场景进行可行区域分割；

103：将训练图片和对应的分割掩膜标注进行尺度、对比度、归一化处理，并对训练样本进行增强处理，以训练数据的平均直方图为模板，对测试数据进行直方图匹配处理后进行测试，输出道路分割后的结果。

进一步地，步骤101中的将Unet训练模型中的卷积层修改为ResNet残差模块，分别采用交叉熵损失函数和Lovász hinge损失函数进行反向传播训练具体为：

1)将KITTI原始道路图片和对应的分割的掩膜标注进行转换，灰度化原始图片后将灰度像素转化为0-1之间；

2)构建基础的Unet网络结构，其中特征提取阶段和反卷积阶段按照池化、上次样分为4个阶段的特征层，每个阶段的特征层包含3个卷积结构，将后面的两个卷积结构替换为两个残差模块，其中第二个残差模块的输出添加归一化层；

3)采用交叉熵损失函数进行第一阶段模型选择，通过5折交叉验证进行模型训练，求取掩膜标签中ground truth和预测值的交叉熵均值，采用adam优化进行反向传播，设定梯度衰减率，通过early stopping加快模型训练过程；训练至模型收敛后，采用Lovászhinge损失函数进行收敛训练，进一步提高模型测试精度。

综上所述，本发明实施例通过上述步骤实现了对最新的语义分割算法进行改进，在卷积模块引入残差结构，采用交叉熵损失函数和Lovász hinge损失函数进行模型的级联训练，用于可行道路的分割。

实施例2

下面结合图1-图4对实施例1中的方案进行进一步地介绍，详见下文描述：

第一步：训练数据预处理

原始道路图片和对应的分割掩膜标注转换为101*101大小尺寸，并进行增强对比度处理，灰度化彩色图片后将灰度像素转化为0-1之间，减小输入特征的尺度。然后通过水平、垂直、旋转90度增强处理增加训练的样本量。

其中，该步骤的具体操作为本领域技术人员所公知，本发明实施例对此不做赘述。

第二步：模型构建

构建基本的Unet网络模型(参见图1)，其中特征提取阶段和反卷积阶段按照池化、上次样分为4个阶段的特征层，每个阶段的特征层包含3个卷积结构，将后面的两个卷积结构替换为两个残差模块，其中第二个残差模块的输出添加归一化层(参见图2)，在基础Unet网络结构中，引入ResNet残差模块，除了解决梯度消失问题，还有效地提高了模型特征提取能力。每个反卷积阶段的输入均与编码过程中对应阶段输出裁剪后的结果进行融合，通过不同分辨率、不同语义强度特征的融合，在不额外增加时间和计算量的基础上，提高道路分割的精度。

第三步：模型训练和融合

第一阶段模型训练的损失函数采用交叉熵，模型输出与标注分割掩膜对应像素按式(1)计算交叉熵，然后求取平均值作为反向传播的基础。

其中，y^*为掩膜的像素值，

为模型输出结果。

在第一阶段模型训练的基础上，修改第一阶段模型的部分结构，进行模型的融合训练。锁定第一阶段的基础网络架构，剔除最后全连阶输出的激活层，将全连接层输出直接输入式(2)，采用Lovász hinge损失函数进行第二阶段的模型训练。

具体为：

其中，y^*为掩膜的像素值，

为模型输出结果。

两个阶段模型训练阶段，相关参数的设计为：优化器选择Adam,通过梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习速率，在具体应用过程中，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。在改进的网络结构中添加dropout层，通过每次迭代训练随机丢失部分信息，减少神经元之间复杂的共适应关系。同时，引入clip机制以防止模型训练时出现梯度爆炸。

第四步：模型测试及后处理

模型应用阶段主要是对输入测试数据的预处理，首先对图片进行尺度转换、灰度化和归一化，由于实际使用过程中测试数据与训练阶段采用的KITTI数据存在一定差异，以训练数据的平均直方图为模板，对测试数据进行直方图匹配处理后进行测试，并对测试结果进行形态学处理，输出道路分割后的结果。

综上所述，本发明实施例通过上述步骤实现了对最新的语义分割算法进行改进，在卷积模块引入残差结构，采用交叉熵损失函数和Lovász hinge损失函数进行模型的级联训练，用于可行道路的分割。

实施例3

下面结合图6-8实施例1和2中的方案进行进一步地介绍，详见下文描述：

第一步：训练数据预处理

首先将训练数据转换为101*101大小尺寸，并进行增强对比度处理，灰度化彩色图片后将灰度像素转化为0-1之间，减小输入特征的尺度。然后通过水平、垂直、旋转90度增强处理增加训练的样本量。

第二步：模型构建

构建基本的Unet网络模型，其中特征提取阶段和反卷积阶段按照池化、上次样分为4个阶段的特征层，每个阶段的特征层包含3个卷积结构，将后面的两个卷积结构替换为两个残差模块，其中第二个残差模块的输出添加归一化层。

第三步：模型训练和融合

初始阶段采用交叉熵来训练模型。模型输出与标注分割掩膜逐像素计算交叉熵，然后求取平均值，作为第一阶段模型的损失函数。剔除第一阶段网络结构最后的激活层，选用Lovász hinge作为第二阶段模型的损失函数，在第一阶段的基础上进行模型的迁移训练，以进一步提高分割结果的准确率。

第四步：模型测试

对实际采集的道路图片(见图5)进行尺度转换，依据训练数据进行直方图匹配(见图6)。再经过灰度化和归一化处理后，输入第三步第二阶段训练好的模型中，进行可行道路区域分割测试，模型初步测试结果见图7。根据初步测试结果中存在部分可行区域空洞、非可行区域小块误分，采用形态学的膨胀、腐蚀操作，结合联通区域分析筛选处理，得到最终的分割结果参见图8，验证了本方法的可行性。

参考文献

[1]O.Ronneberger,P.Fischer,and T.Brox,“U-net:Convolutional networksfor biomedical image segmentation,”in MICCAI,2015.

[2]K.He,X.Zhang,S.Ren,and J.Sun.Deep residual learning for imagerecognition.In CVPR,2016.1,2,3,4,5,6.

[3]K.Simonyan and A.Zisserman,“Very deep convolutional networks forlarge-scale image recognition,”International Conference on LearningRepresentations,2014.

[4]Berman,Maxim,Amal Rannen Triki,and Matthew B.Blaschko.2016."TheLovasz-Softmax loss:A tractable surrogate for the optimization of theintersection-over-union measure in neural networks."The 19th InternationalConference on Artificial Intelligence and Statistics.Cádiz.1-14.

[5]Geiger,A,Lenz,P,Urtasun,R(2012a)Are we ready for autonomousdriving？The KITTI vision benchmark suite.In:Conference on computer vision andpattern recognition.

[6]Kingma,Diederik P.and Ba,Jimmy.Adam:A Method for StochasticOptimization.arXiv:1412.6980[cs.LG],December 2014.

[7]YAO,Y.,ROSASCO,L.and CAPONNETTO,A.(2007).On early stopping ingradient descent learning.Constr.Approx.26289–315.MR2327601.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于改进Unet网络模型的可行道路分割方法，其特征在于，所述方法包括：

将Unet训练模型中的卷积层修改为ResNet残差模块，分别采用交叉熵损失函数和Lovász hinge损失函数进行反向传播训练；

采用训练后模型对不带分割标签的道路场景进行可行区域分割；将训练图片和对应的分割掩膜标注进行尺度、对比度、归一化处理，并对训练样本进行增强处理，以训练数据的平均直方图为模板，对测试数据进行直方图匹配处理后进行测试，输出道路分割后的结果；

其中，所述将Unet训练模型中的卷积层修改为ResNet残差模块，分别采用交叉熵损失函数和Lovász hinge损失函数进行反向传播训练具体为：

1）将KITTI原始道路图片和对应的分割的掩膜标注进行转换，灰度化原始图片后将灰度像素转化为0-1之间；

2）构建基础的Unet网络结构，其中特征提取阶段和反卷积阶段按照池化、上次样分为4个阶段的特征层，每个阶段的特征层包含3个卷积结构，将后面的两个卷积结构替换为两个残差模块，其中第二个残差模块的输出添加归一化层；

3）采用交叉熵损失函数进行第一阶段模型选择，通过5折交叉验证进行模型训练，求取掩膜标签中ground truth和预测值的交叉熵均值，采用adam优化进行反向传播，设定梯度衰减率，通过early stopping加快模型训练过程；训练至模型收敛后，采用Lovász hinge损失函数进行收敛训练，进一步提高模型测试精度。

2.根据权利要求1所述的一种基于改进Unet网络模型的可行道路分割方法，其特征在于，所述方法还包括：

在模型应用阶段，对输出结果采用形态学的膨胀、腐蚀操作，结合联通区域分析筛选，进行小空洞填补、小分割区域剔除处理。

3.根据权利要求1所述的一种基于改进Unet网络模型的可行道路分割方法，其特征在于，所述方法还包括：

在模型应用阶段，对输入数据对图片进行尺度转换、灰度化和归一化，以训练数据的平均直方图为模板，对测试数据进行直方图匹配处理后进行预测。

Images