CN108009548A - 一种智能路牌识别方法及系统 - Google Patents

Abstract

本发明公开了一种智能路牌识别方法及系统，该方法是通过图像采集模块采集路牌图像，由3G通信模块将采集的图像传输至云服务器，云服务器对采集的图像进行预处理、文字区域提取、文字分割处理和文字识别，并将识别结果通过3G通信模块发送到中央控制模块，最后通过语音播报模块将识别结果的文本信息转化成语音信息，通过耳机或者扬声器告知使用者；智能路牌识别系统，包括中央控制模块，中央控制模块分别连接有语音播报模块和3G通信模块，3G通信模块与云服务器连接，中央控制模块还连接有图像采集模块。本发明可对路牌进行智能识别，并将将文字信息通过语音播报，避免驾驶员驾驶时分心而造成交通堵塞和交通安全，推动了智能交通的发展。

Description

一种智能路牌识别方法及系统

技术领域

本发明涉及智能交通领域，特别是一种智能路牌识别方法及系统。

背景技术

在如今的生活中，汽车作为主力的交通工具，方便人们的出行，提高人民的生活质量。但随着汽车数量的日益增长，道路的需求亦不断增加，道路的更新与修建使得交通网络日益复杂多样。当人们在陌生的环境中驾驶汽车时，纷至沓来的路况、标识牌等信息易让驾驶者增加心里压力进而增加驾驶的不确定性，由此易导致各种违规行为甚至事故的发生，让交通状况变得更加恶劣。中国每年由于交通拥堵问题所导致的资源损耗达到数百亿元，并且由于缺乏快速有效的解决措施，这种损耗仍在不断上升。

智能交通系统(Intelligent Transport System, ITS)，作为一种新型交通系统结合了多种先进技术，将人、车、路等多种信息进行集约处理，能够在大范围、全方位发挥作用，并且能够缓解交通拥挤状况，保障行车安全，提高交通效率。其最初由美国智能交通学会(CITS America)提出，早期被称为智能道路车辆系统(IVHS，Intelligent Vehicle-Highway System)。如今使用的导航系统基于GPS(Global Positioning System, 全球定位系统)与内置地图，当GPS失效或地图未能及时更新易导致导航出错。基于智能识别的交通导航系统是未来导航的发展方向，路牌识别是其中的一个组成部分。路牌是常用的交通导向标志，其特征容易识别，能够为驾驶者提供必要的信息，指导驾驶者到达目的地。路牌一般置于道路的上方或两侧，由于驾驶者在驾驶过程中阅读路牌信息需要一心二用，并且由于车速、天气、路况等原因，驾驶者可获取信息的时间较短，在不熟悉道路的情况下往往需要将车辆减速以阅读信息，由此带来安全隐患。因此基于智能系统有效获取路牌信息并将信息传达至驾驶者是智能汽车的一个研究方向。这些信息也能够用于如今研究得到广泛关注的无人驾驶汽车邻域。

在路牌文字识别系统中，系统工作流程主要是，系统接收前端采集设备采集到的图片，进行预处理。然后进行路牌文字区域的分割，将带有汉字的图像进行汉字字符的定位和识别。最后通过阅读模块将己识别文字以声音的形式播放出来。从而达到让使用者也能“听”到图片的效果。系统的主要组成部分是文字识别算法，其主要对象是汉字。汉字是中华文化的代表与结晶，经历由甲骨文至现代汉字数千年历史的发展，是四大文明古国中唯一能够使用至今的文字符号。相对于拉丁语系的字符，汉字的一大特征就是其字符的多样性。并且由于汉字是结构化的象形文字，即使将一个汉字进行拆分，其局部形态的数量仍然很多。在如今这个知识爆炸的时代，如何将现实世界中的文字有效导入计算机并进行精确的识别处理，是一个值得研究的问题。

发明内容

本发明的目的在于，提供一种智能路牌识别方法及系统。本发明可对路牌进行智能识别，并将将文字信息通过语音播报，避免驾驶员驾驶时分心而造成交通堵塞和交通安全，推动了智能交通的发展。

本发明的技术方案：一种智能路牌识别方法，通过图像采集模块采集路牌图像，由3G通信模块将采集的自然场景文字图像传输至云服务器，云服务器对采集的图像进行预处理、文字区域的提取得到去背景的文字图像，最后进行文字分割处理和文字识别，并将识别结果以文本格式通过3G通信模块发送到中央控制模块，最后通过语音播报模块将识别结果的文本信息转化成语音信息，通过耳机或者扬声器告知使用者。

前述的一种智能路牌识别方法中，所述云服务器是通过图像分析处理系统，运用传统的图像处理方法完成对自然场景文字图像的预处理和图像的区域分割，利用深度学习神经网络算法，识别分割区域中的文字信息。

前述的一种智能路牌识别方法中，所述的文字识别，是采用深度学习神经网络作为文字训练的模型完成，使用计算机编程产生汉字图像训练数据集，使用产生的数据集在服务器上训练设计的网络模型。

前述的一种智能路牌识别方法所用的智能路牌识别系统，包括中央控制模块，中央控制模块分别连接有语音播报模块和3G通信模块，3G通信模块与云服务器连接，中央控制模块还连接有图像采集模块。

前述的智能路牌识别系统中，所述语音播报模块包括语音合成单元和与语音合成单元连接的语音播报单元。

本发明的图像采集模块，采集树立在公路旁边路牌的图像，并对采集的图像进行MJPEG格式压缩（MJPEG是指Motion JPRG，即动态JPEG）。

语音处理模块，与中央控制模块相连，用于将路牌上文字识别结果播报给驾驶者。

3G通信模块，为前端路牌图像采集和云服务器建立实时相互通信；

中央控制模块，对各功能单元所采集到的数据和信息进行汇总分析，并根据数据所反映的场景，对各个功能模块发出相应的控制指令；利用3G通信模块将采集到的路牌图像发送至云服务器；

云服务器，通过在云服务器上搭建软件平台建立图像分析系统，搭建深度学习卷积神经网络，并完成训练，将分割的汉字图片送入训练好的网络模型进行识别，并将文字识别结果反馈回前端中央控制模块；

本发明的文汉字识别方法，是通过智能路牌识别系统在云服务器上利用深度学习神经网络作为文字训练的模型，使用计算机编程产生汉字图像训练数据集，使用产生的数据集在服务器上训练设计的网络模型。通过3G通信模块将图像采集模块采集到的文本图像上传至云服务器，利用数字图形处理技术对采集的图像进行预处理、文字分割等处理，再由已训练好的模型完成文字识别功能，并将识别结果以文本格式发送回前端中央控制模块，最后通过语音播报模块将识别结果的文本信息转化成语音信息，通过耳机或者扬声器告知使用者。

与现有技术相比，本发明结合了机器视觉、数字图像处理、场景文字识别、深度学习、计算机网络等前沿技术，实现了对复杂背景的图像分割，对汉字的识别。设计卷积神经网络，识别汉字，很大提高了汉字识别的准确率，能实时有效的将路牌信息反馈给使用者。这在将来智能交通和无人驾驶的应用中具有十分广阔的应用前景和应用价值。综上所述，本发明可对路牌进行智能识别，并将将文字信息通过语音播报，避免驾驶员驾驶时分心而造成交通堵塞和交通安全，推动了智能交通的发展。

附图说明

图1是智能路牌识别系统的总体结构框图；

图2是智能路牌识别系统前端的运行流程图；

图3是智能路牌识别系统服务器的运行流程图；

图4是前端采集和区域路牌提取的图；

图5是路牌图像水平方向投影实验结果图；

图6是路牌图像竖直方向投影实验结果图；

图7是路牌图像文字分割结果图；

图8是训练集和测试集部分图；

图9是CNN实现模型简化图；

图10是文字模型训练网络模型图；

图11是SoftmaxWithLoss层示意图；

图12是正确率与迭代次数的关系。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例。一种智能路牌识别方法，如图1至图12所示：通过图像采集模块采集路牌图像，此时为自然场景下的图像，由3G通信模块将采集的图像传输至云服务器，云服务器对采集的图像进行预处理、文字区域的提取得到存文本图像，进行文字分割处理和文字识别，并将识别结果以文本格式通过3G通信模块发送到中央控制模块，最后通过语音播报模块将识别结果的文本信息转化成语音信息，通过耳机或者扬声器告知使用者。

所述云服务器是通过图像分析处理系统，运用传统的图像处理方法完成对图像的预处理和图像的区域分割，利用深度学习神经网络算法，识别分割区域中的文字信息；所述的文字识别，是采用深度学习神经网络作为文字训练的模型完成，使用计算机编程产生汉字图像训练数据集，使用产生的数据集在服务器上训练设计的网络模型。

上述智能路牌识别方法所用的智能路牌识别系统，包括中央控制模块，中央控制模块分别连接有语音播报模块和3G通信模块，3G通信模块与云服务器连接，中央控制模块还连接有图像采集模块。

所述语音播报模块包括语音合成单元和与语音合成单元连接的语音播报单元。

工作原理：本系统的软件设计部分主要包括云服务器上的程序设计和智能路牌识别系统前端的程序设计。云服务器上的软件设计主要是对前端采集的图像进行预处理、区域提取和文本分割，最后利用已训练好的模型完成文字的识别功能，最后将识别结果再发送至前端主控单元。智能路牌识别系统前端的程序设计主要包括摄像头的路牌图像采集、3G通信模块对前端和服务器的通信连接、语音播报模块对识别结果的播报和按键中断配置等功能模块的程序的编写。本系统的总体结构框图如图1所示、具体工作流程如图2和图3所示。

1自然场景文字识别算法设计

智能路牌识别系统的核心在于对图像采集模块采集到的文字图像进行识别。因为采集的图像属于自然场景下的图像，首先进行预处理、路牌文字区域提取，得到文字图像进行文字分割和文字识别等环节，每一个环节处理的好坏对整个识别系统都有很重要的影响。

由于现在路牌场景种类繁多，本设计针对典型的场景-即绿底白字和和蓝底白字，文字方向从左自右的路牌场景。前端采集的图像如图4中(a)所示，对前端发送到服务器的图像，先通过Canny算子边缘检测粗定位和MSER算法细定位，使用SVM算法来判断是否含有路牌，判断出路牌标识后对图像进行路牌区域提取。

1.1倾斜校正

在拍照或者其它获取图片的过程中，或多或少会造成图片文字的部分倾斜，为了提高文字按行分割的准确度，进行倾斜矫正，经过研究以及测试发现对于OCR识别的这类只含有文字、数字、字母等字符的图像使用Hough变换的方法效果比较好。

Hough通过生成图像金字塔取最上层图像然后提取图像边缘等一系列的处理步骤能比较精确的检测出图像的倾斜角度和方向然后进行旋转校正，测试结果显示这种算法精确度比较高。

1.2对比增强

采用对比增强处理的目的就是要增强文字行和行间距的灰度值的差异而减小其自身的灰度差异，从而提高识别效果。

对于灰度值分布比较平均的图像，其视觉效果要比其它分布的图像要好，灰度值不平均的体现是在背景色可能灰度值在一个很大的范围之间，而字符色同样也有很大的范围，对于这种现象我们可以通过直方图均衡的办法来进行处理从而凸显字符和背景的对比度。

1.3路牌文字区域提取

采用基于HSI颜色空间的方法。鉴于生活中大多采用绿底和蓝底作为路牌背景，采用HSI空间中的H分量将路牌区域提取出来。将H参数设定在绿底和蓝底能够被识别的区间，得出实验结果如图4中(b)所示。

1.4边缘检测

边缘检测，是用来标记数字图像中亮度变化明显的点，提取出文字的边缘，这也是图像处理和计算机视觉中的基本问题，因此边缘检测在文字识别中也起着很重要的作用。

本设计采用Canny算子进行边缘检测，图像边缘检测剔除了与识别不相关的信息，通过大幅度地减少了数据量来节约识别时间，并保留了图像重要的结构属性，提升了系统导入文字图片时进行按行分割的效率。

2文字分割

2.1读取灰度图并将其二值化

图片在计算机中主要是以矩阵的形式存储。二灰度图是单通道矩阵他保存图片的颜色信息，数值在0-255.用二值化方法将像素值变为0和255，分别代表背景和字体的颜色值，为后面分割做准备。

2.2文字分割

采用投影法，根据像素值的特征进行分割。在经过二值化处理后，先进行水平投影像素值相加，进行行分割。分割效果如图5所示。然后将竖直方向投影进行像素值相加，进行竖直方向分割，分割效果如图6所示。最后整体分割效果如图7所示。

3文字识别

在完成上述图形预处理、文字分割操作后，接下来需要对分割的文字进行识别。

3.1训练数据的获取

在智能路牌识别系统中，我们挑选日常常用的3000个汉字进行了训练，基于国家标准规定——道路路牌采用方正黑体格式汉字，实验中通过计算机生成了相应图像数据。利用C#语言，生成40*40像素的汉字图片作为测试集和训练集，如图8所示。

考虑到前端采集模块在实际采集图片时会出现各种干扰，如硬件发热，外界环境干扰，光线的亮暗等等因素，会使得图像带有噪声点，图片模糊、字迹不清或者产生旋转和扭曲等状况。因此，需将生成的每个汉字图像进行图像处理，分别对其进行各种随机的噪声点生成、腐蚀膨胀以及不同角度的旋转和扭曲，这样对每一个汉字图片产生30张不同的图片，获得了更多的数据量，这样测试集和训练集一共有90000个数据。通过图7所示的卷积神经网络进行训练。

3.2训练模型的选择

卷积神经网络（CNN）是深度学习领域的一个重要算法，在很多应用上表现出卓越的效果。目前字符识别算法有很多种，但对汉字的识别，特别是自然场景的文字识别都有一定的局限。将多种文档字符识别算法与CNN比较，会发现卷积神经网络算法比其他算法的效果都好。在本文的智能路牌识别系统中，主要利用CNN（图9）对日常生活中常见的3000个汉字进行训练然后识别。CNN是在BP神经网络的结构上改进得到，他们都是采用了向前传播计算网络的输出值，通过误差计算公式，向后传播修正权重和偏置的值。CNN与传统的特征提取方法最大的改进就是卷积神经网络是利用卷积核进行特征提取，相邻层之间不是全连接，而只是部分进行连接，从而得到局部特征。在一个特征平面采用权值共享机制，很大的减少了权值的数量。另一方面CNN模型具有更好的泛化能力，即使当图像发生变形或者存在噪声时也不会对识别结果造成明显的影响；再一方面其通过局部感知野和共享权值的方法降低网络模型和参数的复杂度，并且比传统模型的精确度更高。

训练网络模型借鉴MNIST手写数字识别的网络，但是汉字具有更为复杂和精细的结构，因此在此基础上进行参数设置、网络模型配置等网络参数的调整，使其更适合于汉字训练和识别。训练网络结构如图10所示。

本识别系统使用ReLU激活函数，其属于非饱和激活函数，在卷积神经网络进行误差反向传播时，要进行求导，在求导的过程中存在梯度消失问题，即每层都要与激活函数的一阶导数相乘，当网络层数增多时，梯度G就会不断衰减直至消失。激活函数为，

与传统的sigmoid、tanh函数相比，ReLu函数在本实验中表现效果最理想。

网络结构中的pooling层采用max的模式进行池化，选取2*2的区域中选取该区域中的最大值做为结果。记录下最大值在每个小区域中的位置，反向传播时，将残差传递到该最大值位置，其他位置置零。

当网络过深时，网络可能过拟合。所以在卷积层迭代后，为了防止过拟合，在后几层的pooling层和ReLU层加入dropout层，dropout层随机的让节点权值置零，使得输出结果也为0，从而避免网络某些特征只在固定的组合下才产生对的结果，从而让网络去学习一些普遍的共性，而不是某些训练样本的一些特性。

最后的输出层选用SoftmaxWithLoss分类器，如图11所示。SoftmaxWithLoss 实际是Multinomial Logistic Loss Layer（交叉熵代价函数）和Softmax Layer的组合。假设样本数量有m个，每个样本特征数量为b，计算这m个样本在n个类上的概率，计算公式为：

将k维的实向量映射为，然后根据的大小来进行多分类任务（取权重最大的一维）。

经过文字分割之后，将待识别汉字图像送入训练好的模型，通过卷积神经网络进行前向传播，前向传播基本原理如下：

从输入单元到第一个隐层H1计算为：，其中k取值遍历所有输入层节点，是对前一层所有节点的加权和，为非线性函数，后层以此类推。

输入信息从输入层经隐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态，利用非线性函数作用，计算出网络输出和期望输出的误差。对于输入层到隐层的权值则依然采用BP算法更新权重。输入信息从输入层经隐层处理，处理方式为：设置初始权值及门限，将它们都设为较小的随机数。

在前向传播阶段，数据源起于数据读取层，经过若干处理层，到达最后一层（损失层或者是特征层），在此阶段，网络中的权值不发生变化，网路路径是一个有向无环图（DAG），从最开始的节点出发，经过若干处理层，不存在循环结构，因此数据流会一直向前推进直至终点。

以数据流分析方法对前向传播过程进行研究，即：从输入数据集中取一个样本（X,Y），其中X为数据，Y为标签。将X送入网络，逐层计算，得到相应的网络处理输出O，网络执行的计算用公式表示为：

其中，表示非线性变换，表示各个权值层权值。为网络输出，可以用（Y,O）评估网络质量，理想的网络满足Y==O。

在汉字数据集的训练过程中，先经过前向传播将输入信息传递至输出层，对网络输出和误差进行修正，最后一层与目标函数比较得到损失函数，计算误差更新值，调整隐层至输出层的连接权值为：，为学习率。

调整输入层至隐层的连接权值，其中

由于图像特征信息较多，数据繁杂，因此训练过程需要反复迭代训练，直到loss收敛，在训练样本的过程中，保持均匀输入，最终能实现较理想的识别率。

在文本分类任务中，要将其分为3000个常用汉字，进过充分训练后，网络结构模型在迭代次数达到1000次时，准确率可以达到99%以上的精确度（如图12所示），说明这网络模型结构是符合本设计需要的。

Claims (5)

1.一种智能路牌识别方法，其特征在于：通过图像采集模块采集路牌图像，由3G通信模块将采集的图像传输至云服务器，云服务器对采集的图像进行预处理、文字区域的提取得到去背景的文字然后进行文字分割处理和文字识别，并将识别结果以文本格式通过3G通信模块发送到中央控制模块，最后通过语音播报模块将识别结果的文本信息转化成语音信息，通过耳机或者扬声器告知使用者。

2.根据权利要求1所述的一种智能路牌识别方法，其特征在于：所述云服务器是通过图像分析处理系统，运用传统的图像处理方法完成对自然场景文字图像的预处理和图像的区域分割，利用深度学习神经网络算法，识别分割区域中的文字信息。

3.根据权利要求1所述的一种智能路牌识别方法，其特征在于：所述的文字识别，是采用深度学习神经网络作为文字训练的模型完成，使用计算机编程产生汉字图像训练数据集，使用产生的数据集在服务器上训练设计的网络模型。

4.按照权利要求1-3任一权利要求所述的一种智能路牌识别方法所用的智能路牌识别系统，其特征在于：包括中央控制模块，中央控制模块分别连接有语音播报模块和3G通信模块，3G通信模块与云服务器连接，中央控制模块还连接有图像采集模块。

5.根据权利要求1所述的智能路牌识别系统，其特征在于：所述语音播报模块包括语音合成单元和与语音合成单元连接的语音播报单元。