CN112101302B - 非法张贴物检测方法、系统和电子设备 - Google Patents

Abstract

本申请公开了一种结合文本信息和图像内边缘信息的非法张贴物检测方法、系统和电子设备。所述方法，包括：获取包含待检测对象的街景图像；将所述街景图像通过第一卷积神经网络以获得第一特征图；从所述第一卷积神经网络的第N层获得所述街景的第二特征图；融合所述第一特征图和所述第二特征图以获得第三特征图；将所述街景图像通过第二卷积神经网络以获得第四特征图；以及，基于所述第三特征图和所述第四特征图以分类函数获得分类结果。这样，以深度神经网络通过结合文本信息和图像内边缘信息来识别是否有非法张贴物。

Description

非法张贴物检测方法、系统和电子设备

技术领域

本申请涉及人工智能技术领域，且更为具体地，涉及一种结合文本信息和图像内边缘信息的非法张贴物检测方法、系统和电子设备。

背景技术

“智慧城市”将信息技术与先进的城市经营服务理念进行有效融合，通过对城市的地理、资源、环境、经济等进行数字网络化管理，为城市提供更便捷、高效、灵活的公共管理的创新服务模式。

在城市管理中，很多非法张贴物(例如，非法张贴广告)张贴在街道上的一些公共设施上，比如，电线杆、路旁树等。这些非法张贴物影响市容，需要清理。目前对于非法张贴物的清理由环卫人员执行，人工成本高且效率低下，并且，在清理完后，又会反复出现，难以根除。

近年来，深度学习尤其是神经网络的发展为非法张贴物的监管提供了新的解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种结合文本信息和图像内边缘信息的非法张贴物检测方法、系统和电子设备，其以深度神经网络通过结合文本信息和图像内边缘信息来识别是否有非法张贴物。

根据本申请的一个方面，提供了一种结合文本信息和图像内边缘信息的非法张贴物检测方法，其包括：

获取包含待检测对象的街景图像，所述待检测对象在所述街景图像中具有非多边形边缘；

将所述街景图像通过第一卷积神经网络以获得第一特征图；

从所述第一卷积神经网络的第N层获得所述街景的第二特征图，其中，N大于等于2小于等于4；

融合所述第一特征图和所述第二特征图以获得第三特征图；

将所述街景图像通过第二卷积神经网络以获得第四特征图；以及

基于所述第三特征图和所述第四特征图以分类函数获得分类结果，所述分类结果用于表示所述街景图像是否包含文本信息和非多边形边缘信息。

在上述结合文本信息和图像内边缘信息的非法张贴物检测方法中，获取包含待检测对象的街景图像，包括：获取街景视频；以及，从所述街景视频截取包含所述待检测对象的图像帧以获得所述街景图像。

在上述结合文本信息和图像内边缘信息的非法张贴物检测方法中，从所述卷积神经网络的第N层获得所述街景图像的第二特征图，包括：确定所述卷积神经网络的层数；基于所述卷积神经网络的层数确定N的数目；以及，从所述卷积神经网络的所确定的第N层获得所述街景图像的第二特征图。

在上述结合文本信息和图像内边缘信息的非法张贴物检测方法中，融合所述第一特征图和所述第二特征图以获得第三特征图，包括：计算所述第一特征图和所述第二特征图的加权和以获得所述第三特征图。

在上述结合文本信息和图像内边缘信息的非法张贴物检测方法中，融合所述第一特征图和所述第二特征图以获得第三特征图，包括：计算所述第一特征图和所述第二特征图之间的按位置差值；确定所述按位置差值是否大于预定阈值；通过响应于所述按位置差值大于预定阈值，将所述位置的值设置为一，和所述按位置差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及，将所述掩码图像乘以所述第二特征图以获得所述第三特征图。

在上述结合文本信息和图像内边缘信息的非法张贴物检测方法中，融合所述第一特征图和所述第二特征图以获得分类特征图，包括：计算所述第一特征图和所述第二特征图之间的按位置差值；将所述按位置差值基于所述按位置差值的全局平均值进行归一化以获得按位置归一化差值；确定所述按位置归一化差值是否大于预定阈值；通过响应于所述按位置归一化差值大于预定阈值，将所述位置的值设置为一，和所述按位置归一化差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及，将所述掩码图像乘以所述第二特征图以获得所述分类特征图。

在上述结合文本信息和图像内边缘信息的非法张贴物检测方法中，基于所述第三特征图和所述第四特征图以分类函数获得分类结果，包括：将所述第三特征图输入第一分类函数以获得第一分类结果，所述第一分类结果用于表示所述街景图像是否包含非多边形边缘信息；将所述第四特征图输入第二分类函数以获得第二分类结果，所述第二分类结果用于表示所述街景图像是否包含文本信息；以及，基于所述第一分类结果和所述第二分类结果确定是否检测到非法张贴物。

在上述结合文本信息和图像内边缘信息的非法张贴物检测方法中，基于所述第三特征图和所述第四特征图以分类函数获得分类结果，包括：将所述第三特征图和所述第四特征图输入Softmax分类函数以获得分类结果，所述Softmax函数包括用于表示所述街景图像包含非多边形边缘信息的第一标签，用于表示所述街景图像不包含非多边形边缘信息的第二标签，所述街景图像包含文本信息的第三标签和所述街景图像不包含文本信息的第四标签。

根据本申请的另一方面，提供了一种结合文本信息和图像内边缘信息的非法张贴物检测系统，其包括：

图像获取单元，用于获取包含待检测对象的街景图像，所述待检测对象在所述街景图像中具有非多边形边缘；

第一特征图生成单元，将所述图像获取单元获得的所述街景图像通过第一卷积神经网络以获得第一特征图；

第二特征图生成单元，用于从所述第一卷积神经网络的第N层获得所述街景的第二特征图，其中，N大于等于2小于等于4；

融合单元，用于融合所述第一特征图生成单元获得的所述第一特征图和所述第二特征图生成单元获得的所述第二特征图以获得第三特征图；

第四特征图生成单元，用于将所述图像获取单元获得的所述街景图像通过第二卷积神经网络以获得第四特征图；以及

分类单元，用于基于所述融合单元获得的所述第三特征图和所述第四特征图生成单元获得的所述第四特征图以分类函数获得分类结果，所述分类结果用于表示所述街景图像是否包含文本信息和非多边形边缘信息。

在上述结合文本信息和图像内边缘信息的非法张贴物检测系统中，所述图像获取单元，进一步用于：获取街景视频；以及，从所述街景视频截取包含所述待检测对象的图像帧以获得所述街景图像。

在上述结合背景形状特征识别的非法张贴广告的检测系统中，所述第二特征图生成单元，进一步用于：确定所述卷积神经网络的层数；基于所述卷积神经网络的层数确定N的数目；以及，从所述卷积神经网络的所确定的第N层获得所述街景图像的第二特征图。

在上述结合文本信息和图像内边缘信息的非法张贴物检测系统中，所述融合单元，进一步用于：计算所述第一特征图和所述第二特征图的加权和以获得所述第三特征图。

在上述结合文本信息和图像内边缘信息的非法张贴物检测系统中，所述融合单元，包括：

按位置差值计算子单元，用于计算所述第一特征图和所述第二特征图之间的按位置差值；

阈值比较子单元，用于确定所述按位置差值是否大于预定阈值；

掩码图像生成子单元，用于通过响应于所述按位置差值大于预定阈值，将所述位置的值设置为一，和所述按位置差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及

点乘子单元，用于将所述掩码图像乘以所述第二特征图以获得所述第三特征图。

在上述结合文本信息和图像内边缘信息的非法张贴物检测系统中，所述融合单元，包括：

按位置差值计算子单元，用于计算所述第一特征图和所述第二特征图之间的按位置差值；

归一化子单元，用于将所述按位置差值基于所述按位置差值的全局平均值进行归一化以获得按位置归一化差值；

阈值比较子单元，用于确定所述按位置归一化差值是否大于预定阈值；

掩码图像生成子单元，用于通过响应于所述按位置归一化差值大于预定阈值，将所述位置的值设置为一，和所述按位置归一化差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及

点乘子单元，用于将所述掩码图像乘以所述第二特征图以获得所述分类特征图。

在上述结合文本信息和图像内边缘信息的非法张贴物检测系统中，所述分类单元，包括：

第一分类子单元，用于将所述第三特征图输入第一分类函数以获得第一分类结果，所述第一分类结果用于表示所述街景图像是否包含非多边形边缘信息；

第二分类子单元，用于将所述第四特征图输入第二分类函数以获得第二分类结果，所述第二分类结果用于表示所述街景图像是否包含文本信息；以及

判定子单元，用于基于所述第一分类结果和所述第二分类结果确定是否检测到非法张贴物。

在上述结合文本信息和图像内边缘信息的非法张贴物检测系统中，所述分类单元，所述分类单元，进一步用于：将所述第三特征图和所述第四特征图输入Softmax分类函数以获得分类结果，所述Softmax函数包括用于表示所述街景图像包含非多边形边缘信息的第一标签，用于表示所述街景图像不包含非多边形边缘信息的第二标签，所述街景图像包含文本信息的第三标签和所述街景图像不包含文本信息的第四标签。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的结合文本信息和图像内边缘信息的非法张贴物检测方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的结合文本信息和图像内边缘信息的非法张贴物检测方法。

与现有技术相比，本申请提供的结合背景形状特征识别的非法张贴广告的检测方法、系统和电子设备，其以深度神经网络通过结合文本信息和图像内边缘信息来识别是否有非法张贴物。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法的应用场景图。

图2图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法的流程图。

图3图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中融合所述第一特征图和所述第二特征图以获得第三特征图。

图4图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中融合所述第一特征图和所述第二特征图以获得第三特征图的示意图。

图5图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中融合所述第一特征图和所述第二特征图以获得分类特征图的另一流程图。

图6图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中基于所述第三特征图和所述第四特征图以分类函数获得分类结果的流程图。

图7图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测系统的框图。

图8图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测系统中融合单元的框图。

图9图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测系统中融合单元的另一框图。

图10图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测系统中分类单元的框图。

图11图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，在城市管理中，很多非法张贴物(例如，非法张贴广告)张贴在街道上的一些公共设施上，比如，电线杆、路旁树等。因此，非法张贴物可以从街景图像中识别出来。

但是，由于识别街景图像中的上述类型的非法张贴广告需要考虑效率的问题，因此需要选取最能够体现上述类型的非法张贴广告的语义特征并通过适当的深度神经网络架构来进行识别。

经研究分析，本申请人发现：在电线杆、路旁树等之上的非法张贴物在其图像特征方面具有两个特点：第一特征点为包含文本特征，第二特征点为由于粘附在电线杆、路旁树等之上，因此在街景图像中，这些粘附在电线杆、路旁树等之上的非法张贴物具有非多边形的边缘特征。具有第二个特征点的原因为：因为通常街景是从道路一侧取景拍摄，电线杆、路旁树等在图像中呈现为圆柱形，相应地，粘附于其上的非法张贴广告也随着这种圆柱形呈现出非多边形的形状，而不是本来的矩形或者正方形形状。

相应地，可以考虑通过卷积神经网络的浅层，例如，前三到四层提取非多边形的边缘形状特征，其中，卷积神经网络的第一层通常提取的是图像本身的形状特征，比如图像的边缘、边角等特征。因此，在本申请实施例中，可以通过卷积神经网络的浅层，在本申请中，是二到四层来提取图像中的对象的非多边形形状特征。

但是，这些非多边形形状特征在通过卷积神经网络进一步传递的过程中，其鲁棒性并不足以保证分类的精确性。尤其是，本申请的申请人发现，在通过分类函数进行梯度下降的反向传播的更新过程中，这种形状特征的鲁棒性更加脆弱，从而无法在分类过程中得到良好的应用。

另一方面，如果仅通过几层卷积层提取图像的浅层的非多边形形状特征，由于没有高维特征，根本无法分辨图像中的具体对象，也即是，仅能够识别出图像中的一些非多边形的形状，而完全无法判定这是否属于本申请中所要检测的非法张贴广告的情况。

因此，在本申请中，通过融合表示浅层的非多边形形状特征的第二特征图与包含图像中的高维特征的第一特征图并进行分类，可以获得具有高准确度的包含非多边形边缘信息的图像的分类结果，并进一步结合通过第二卷积神经网络检测到的图像中的文本特征，就可以有效地检测出上述类型的非法张贴广告。

基于此，本申请提出了一种结合文本信息和图像内边缘信息的非法张贴物检测方法，其包括：获取包含待检测对象的街景图像，所述待检测对象在所述街景图像中具有非多边形边缘；将所述街景图像通过第一卷积神经网络以获得第一特征图；从所述第一卷积神经网络的第N层获得所述街景的第二特征图，其中，N大于等于2小于等于4；融合所述第一特征图和所述第二特征图以获得第三特征图；将所述街景图像通过第二卷积神经网络以获得第四特征图；以及，基于所述第三特征图和所述第四特征图以分类函数获得分类结果，所述分类结果用于表示所述街景图像是否包含文本信息和非多边形边缘信息。

图1图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法的应用场景图。

如图1所示，在该应用场景中，在街道的电线杆和路旁树上张贴有非法张贴物(图中以非法张贴物为非法张贴广告为示例)。相应地，在该应用场景中，布设于预设位置的摄像头(例如，如图1所示意的C)采集包含待检测对象的街景图像，并将该街景图像输入至部署有结合文本信息和图像内边缘信息的非法张贴物检测算法的服务器中(例如，如图1所示意的S)，其中，所述服务器能够基于结合文本信息和图像内边缘信息的非法张贴物检测算法对所述街景图像进行检测，以检测出是否包含非法张贴物。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法的流程图。如图2所示，根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法，包括：S110，获取包含待检测对象的街景图像，所述待检测对象在所述街景图像中具有非多边形边缘；S120，将所述街景图像通过第一卷积神经网络以获得第一特征图；S130，从所述第一卷积神经网络的第N层获得所述街景的第二特征图，其中，N大于等于2小于等于4；S140，融合所述第一特征图和所述第二特征图以获得第三特征图；S150，将所述街景图像通过第二卷积神经网络以获得第四特征图；以及,S160,基于所述第三特征图和所述第四特征图以分类函数获得分类结果，所述分类结果用于表示所述街景图像是否包含文本信息和非多边形边缘信息。

在步骤S110中，获取包含待检测对象的街景图像，所述待检测对象在所述街景图像中具有非多边形边缘。这里，所述待检测图像为张贴于街道的公共设施上的非法张贴物，其中，公共设备包括电线杆、路旁树等，非法张贴物包括非法张贴广告、非法张贴通知等。通常街景图像是从道路一侧取景拍摄，电线杆等在街景图像中呈现为圆柱形，相应地，粘附于其上的非法张贴广告也随着这种圆柱形呈现出非多边形的形状，而不是本来的矩形或者正方形形状。

值得一提的是，目前几乎在所有的城市街道上都设置有监控摄像头，因此，可以利用现有的设置于街道旁的监控摄像头便能够采集到包含待检测对象的街景图像，无需额外的设备，也不需要人员巡查。

相应地，在本申请一具体示例中，获取包含待检测对象的街景图像，包括：获取街景视频；以及，从所述街景视频截取包含所述待检测对象的图像帧以获得所述街景图像，通过这样的方式，可提高检测效率。具体地，可通过简单的对象识别技术从所述街景视频中截取包含待检测对象的图像帧以获得所述街景图像。

在步骤S120中，将所述街景图像通过第一卷积神经网络以获得第一特征图。这里，所述第一特征图具有所述街景图像的高维特征，以表征所述街景图像中的具体对象，即，非法张贴物、电线杆、路旁树等。

在步骤S130中，从所述第一卷积神经网络的第N层获得所述街景的第二特征图，其中，N大于等于2小于等于4。如前所述，由于非法张贴物粘附在电线杆、路旁树等之上，因此在街景图像中，这些粘附在电线杆、路旁树等之上的非法张贴物具有非多边形的边缘特征。也就是，可以从所述街景图像是否包含非多边形的边缘形状特征，来辅助判断所述街景图像中是否包含非法张贴物。

相应地，在本申请实施例中，通过卷积神经网络的浅层，例如，前三到四层可以提取到图像中的形状特征。

更具体地，在本申请实施例中，从所述第一卷积神经网络的第N层获得所述街景的第二特征图的过程，包括：首先，确定所述卷积神经网络的层数；接着，基于所述卷积神经网络的层数确定N的数目；然后，从所述卷积神经网络的所确定的第N层获得所述待检测图像的第二特征图。例如，当所述卷积神经网络的层数有30层时，N的数值确定为2；当所述卷积神经网络的层数为50层时，N的数值设定为3；当所述卷积神经网络的层数超过50，例如，70层时，N的数值被设定为4。

当然，在具体实施中，N的数值与卷积神经网络的层数之间的关系可作为调整，对此，并不为本申请所局限。

在步骤S140中，融合所述第一特征图和所述第二特征图以获得第三特征图。通过步骤S130可获得所述街景图像的非多边形边缘特征，然而，这些非多边形形状特征在通过卷积神经网络进一步传递的过程中，其鲁棒性并不足以保证分类的精确性。尤其是，本申请的申请人发现，在通过分类函数进行梯度下降的反向传播的更新过程中，这种形状特征的鲁棒性更加脆弱，从而无法在分类过程中得到良好的应用。

另一方面，如果仅通过几层卷积层提取图像的浅层的非多边形形状特征，由于没有高维特征，根本无法分辨图像中的具体对象，也即是，仅能够识别出图像中的一些非多边形的形状，而完全无法判定这是否属于本申请中所要检测的非法张贴物的情况。

因此，在本申请实施例中，本申请发明人通过融合表示浅层的非多边形形状特征的第二特征图与包含图像中的高维特征的第一特征图并进行分类，可以获得具有高准确度的包含非多边形边缘信息的图像的分类结果，并进一步结合通过第二卷积神经网络检测到的图像中的文本特征，就可以有效地检测出上述类型的非法张贴物。

在本申请一示例中，融合所述第一特征图和所述第二特征图以获得第三特征图，包括：计算所述第一特征图和所述第二特征图的加权和以获得所述第三特征图。也就是，融合所述待检测图像的能够表征其中对象的高维特征和表征背景形状特征的低维特征，以获得所述第三特征图。

值得一提的是，在所述卷积神经网络的训练过程中，所述第一特征图相对于所述第二特征图的权重作为超参数，通过这样的方式，所述卷积神经网络的训练过程的计算量能够降低，并且，可通过调整所述超参数，来直接地调整所述第一特征图相对于所述第二特征图的权重，效率更高。

在本申情另一示例中，融合所述第一特征图和所述第二特征图以获得第三特征图的过程，包括如下步骤。

图4图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中融合所述第一特征图和所述第二特征图以获得第三特征图的示意图。

如图4所示，融合所述第一特征图和所述第二特征图以获得第三特征图的过程，首先包括计算所述第一特征图(例如，如图4中所示意的F1)和所述第二特征图(例如，如图4中所示意的F2)之间的按位置差值，以按位置差值特征图(例如，如图4中所示意的Fd)。也就是，计算所述第一特征图和所述第二特征图按像素位置的差值，即，将所述第一特征图中的像素点与所述第二特征图中对应的像素点进行作差，以获得按位置差值。

然后，确定所述按位置差值是否大于预定阈值。当所述按位置差值大于预定阈值，将所述位置的值设置为一，和所述按位置差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像。也就是，利用二值化模板对所述按位置差值进行处理，以获得掩码图像(例如，如图4中所示意的Fm)。

接着，将所述掩码图像乘以所述第二特征图以获得所述第三特征图(例如，如图4中所示意的F3)。

特别地，在该示例中，通过计算所述第一特征图和所述第二特征图之间的按位置差值，确定所述第一特征图中的非多边形形状特征在沿卷积神经网络传递时的鲁棒性，通过基于掩码图像保留鲁棒性较强的特征，而去除鲁棒性较弱的特征，所述第三特征图可以在一定程度上保留所述街景图像内的非多边形形状特征，同时有效地实现非多边形的边缘形状特征与图像中的高维特征的融合，能够有利于提高分类精度。

图3图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中融合所述第一特征图和所述第二特征图以获得第三特征图的流程图。如图3所示，融合所述第一特征图和所述第二特征图以获得分类特征图，包括：S210，计算所述第一特征图和所述第二特征图之间的按位置差值；S220，确定所述按位置差值是否大于预定阈值；S230，通过响应于所述按位置差值大于预定阈值，将所述位置的值设置为一，和所述按位置差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及，S240,将所述掩码图像乘以所述第二特征图以获得所述第三特征图。

在本申请另一示例中，融合所述第一特征图和所述第二特征图以获得第三特征图的过程，包括如下步骤：

首先，计算所述第一特征图和所述第二特征图之间的按位置差值；

然后，将所述按位置差值基于所述按位置差值的全局平均值进行归一化以获得按位置归一化差值；

接着，确定所述按位置归一化差值是否大于预定阈值；

继而，通过响应于所述按位置归一化差值大于预定阈值，将所述位置的值设置为一，和所述按位置归一化差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；

然后，将所述掩码图像乘以所述第二特征图以获得所述第三特征图。

通过上述步骤应可以看出，该示例为上述图3和图4所示意的示例的变形实施，具体地，在该示例中，结合图3和图4所示意的思想与归一化的思想。

应可以理解，通过计算所述第一特征图和所述第二特征图之间的按位置差值，确定所述第一特征图中的非多边形的边缘形状特征在沿卷积神经网络传递时的鲁棒性，然后，对按位置差值进行归一化处理，可以更加考虑特征的全局性，有助于特征分布的收敛。并且，通过基于掩码图像保留鲁棒性较强的特征，而去除鲁棒性较弱的特征，所述第三特征图可以在一定程度上保留所述待检测图像内的非多边形的边缘形状特征，同时有效地实现非多边形的边缘形状特征与图像中的高维特征的融合，能够有利于提高分类精度。

图5图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中融合所述第一特征图和所述第二特征图以获得第三特征图的另一流程图。如图5所示，融合所述第一特征图和所述第二特征图以获得第三特征图，包括：S310，计算所述第一特征图和所述第二特征图之间的按位置差值；S320，将所述按位置差值基于所述按位置差值的全局平均值进行归一化以获得按位置归一化差值；S330，确定所述按位置归一化差值是否大于预定阈值；S340，通过响应于所述按位置归一化差值大于预定阈值，将所述位置的值设置为一，和所述按位置归一化差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及，S350，将所述掩码图像乘以所述第二特征图以获得所述第三特征图。

值得一提的是，在图3和图4所示意的示例与该示例中，在所述卷积神经网络的训练过程中，所述预定阈值作为超参数。这样，所述卷积神经网络的训练过程的计算量能够降低，并且，可通过调整所述超参数，来筛选鲁棒性较强的特征和鲁棒性较弱的特征，确定鲁棒性强弱的边界。

在步骤S150中，将所述街景图像通过第二卷积神经网络以获得第四特征图。这里，所述第二卷积神经网络用于检测所述街景图像的文本特征，即，所述街景图像中是否包含文本信息。

在步骤S160中，基于所述第三特征图和所述第四特征图以分类函数获得分类结果，所述分类结果用于表示所述街景图像是否包含文本信息和非多边形边缘信息。

在本申请一具体示例中，基于所述第三特征图和所述第四特征图以分类函数获得分类结果的过程，包括：首先，将所述第三特征图输入第一分类函数以获得第一分类结果，所述第一分类结果用于表示所述街景图像是否包含非多边形边缘信息；然后，将所述第四特征图输入第二分类函数以获得第二分类结果，所述第二分类结果用于表示所述街景图像是否包含文本信息；接着，基于所述第一分类结果和所述第二分类结果确定是否检测到非法张贴物。

也就是，在该示例中，通过两个不同的分类函数分别对第三特征图和第四特征图进行分类，其中，第一分类函数用于确定所述街景图像是否包含非多边形边缘信息；第二分类函数用于确定所述街景图像是否包含文本信息。这样的处理方式，判定逻辑清晰。

图6图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中基于所述第三特征图和所述第四特征图以分类函数获得分类结果的流程图。如图6所示，基于所述第三特征图和所述第四特征图以分类函数获得分类结果，包括：S410，将所述第三特征图输入第一分类函数以获得第一分类结果，所述第一分类结果用于表示所述街景图像是否包含非多边形边缘信息；S420，将所述第四特征图输入第二分类函数以获得第二分类结果，所述第二分类结果用于表示所述街景图像是否包含文本信息；以及，S430，基于所述第一分类结果和所述第二分类结果确定是否检测到非法张贴物。

在本申请另一具体的示例中，基于所述第三特征图和所述第四特征图以分类函数获得分类结果，包括：将所述第三特征图和所述第四特征图输入Softmax分类函数以获得分类结果，所述Softmax函数包括用于表示所述街景图像包含非多边形边缘信息的第一标签，用于表示所述街景图像不包含非多边形边缘信息的第二标签，所述街景图像包含文本信息的第三标签和所述街景图像不包含文本信息的第四标签。

也就是说，在该示例中，使用统一的分类器来进行分类，使得在进行分类时不至于割裂文本信息和非多边形边缘信息，而是可以通过关联地使用两种信息来进行分类，提高了分类的准确性。

综上，基于本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法被阐明，其以深度神经网络通过结合文本信息和图像内边缘信息来识别是否有非法张贴物。

示例性系统

图7图示了根据本申请实施例的结合文本信息和图像内边缘信息的非法张贴物检测系统的框图。

如图7所示，根据本申请实施例的非法张贴物检测系统700，包括：图像获取单元710，用于获取包含待检测对象的街景图像，所述待检测对象在所述街景图像中具有非多边形边缘；第一特征图生成单元720，将所述图像获取单元710获得的所述街景图像通过第一卷积神经网络以获得第一特征图；第二特征图生成单元730，用于从所述第一卷积神经网络的第N层获得所述街景的第二特征图，其中，N大于等于2小于等于4；融合单元740，用于融合所述第一特征图生成单元720获得的所述第一特征图和所述第二特征图生成单元730获得的所述第二特征图以获得第三特征图；第四特征图生成单元750，用于将所述图像获取单元710获得的所述街景图像通过第二卷积神经网络以获得第四特征图；以及，分类单元760，用于基于所述融合单元740获得的所述第三特征图和所述第四特征图生成单元750获得的所述第四特征图以分类函数获得分类结果，所述分类结果用于表示所述街景图像是否包含文本信息和非多边形边缘信息。

在一个示例中，在上述非法张贴物检测系统700中，所述图像获取单元710，进一步用于：获取街景视频；以及，从所述街景视频截取包含所述待检测对象的图像帧以获得所述街景图像。

在一个示例中，在上述非法张贴物检测系统700中，所述第二特征图生成单元730，进一步用于：确定所述卷积神经网络的层数；基于所述卷积神经网络的层数确定N的数目；以及，从所述卷积神经网络的所确定的第N层获得所述街景图像的第二特征图。

在一个示例中，在上述非法张贴物检测系统700中，所述融合单元740，进一步用于：计算所述第一特征图和所述第二特征图的加权和以获得所述第三特征图。

在一个示例中，在上述非法张贴物检测系统700中，如图8所示，所述融合单元740，包括：按位置差值计算子单元741A，用于计算所述第一特征图和所述第二特征图之间的按位置差值；阈值比较子单元742A，用于确定所述按位置差值是否大于预定阈值；掩码图像生成子单元743A，用于通过响应于所述按位置差值大于预定阈值，将所述位置的值设置为一，和所述按位置差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及，点乘子单元744A，用于将所述掩码图像乘以所述第二特征图以获得所述第三特征图。

在一个示例中，在上述非法张贴物检测系统700中，如图9所示，所述融合单元740，包括：按位置差值计算子单元741B，用于计算所述第一特征图和所述第二特征图之间的按位置差值；归一化子单元742B，用于将所述按位置差值基于所述按位置差值的全局平均值进行归一化以获得按位置归一化差值；阈值比较子单元743B，用于确定所述按位置归一化差值是否大于预定阈值；掩码图像生成子单元744B，用于通过响应于所述按位置归一化差值大于预定阈值，将所述位置的值设置为一，和所述按位置归一化差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及，点乘子单元745B，用于将所述掩码图像乘以所述第二特征图以获得所述分类特征图。

在一个示例中，在上述非法张贴物检测系统700中，如图10所示，所述分类单元760，包括：第一分类子单元761，用于将所述第三特征图输入第一分类函数以获得第一分类结果，所述第一分类结果用于表示所述街景图像是否包含非多边形边缘信息；第二分类子单元762，用于将所述第四特征图输入第二分类函数以获得第二分类结果，所述第二分类结果用于表示所述街景图像是否包含文本信息；以及，判定子单元763，用于基于所述第一分类结果和所述第二分类结果确定是否检测到非法张贴物。

在一个示例中，在上述非法张贴物检测系统700中，所述分类单元760，所述分类单元760，进一步用于：将所述第三特征图和所述第四特征图输入Softmax分类函数以获得分类结果，所述Softmax函数包括用于表示所述街景图像包含非多边形边缘信息的第一标签，用于表示所述街景图像不包含非多边形边缘信息的第二标签，所述街景图像包含文本信息的第三标签和所述街景图像不包含文本信息的第四标签。

这里，本领域技术人员可以理解，上述非法张贴物检测系统700中的各个单元和模块的具体功能和操作已经在上面参考图1到图6的结合文本信息和图像内边缘信息的非法张贴物检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的非法张贴物检测系统700可以实现在各种终端设备中，例如用于监控非法张贴物的服务器等。在一个示例中，根据本申请实施例的非法张贴物检测系统700可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该非法张贴物检测系统700可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该非法张贴物检测系统700同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该非法张贴物检测系统700与该终端设备也可以是分立的设备，并且该非法张贴物检测系统700可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图11来描述根据本申请实施例的电子设备。

图11图示了根据本申请实施例的电子设备的框图。

如图11所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如街景图像、分类结果等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的结合文本信息和图像内边缘信息的非法张贴物检测方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (6)

1.一种结合文本信息和图像内边缘信息的非法张贴物检测方法，其特征在于，包括：

获取包含待检测对象的街景图像，所述待检测对象在所述街景图像中具有非多边形边缘；

将所述街景图像通过第一卷积神经网络以获得第一特征图；

从所述第一卷积神经网络的第N层获得所述街景的第二特征图，其中，N大于等于2小于等于4；

融合所述第一特征图和所述第二特征图以获得第三特征图；

将所述街景图像通过第二卷积神经网络以获得第四特征图；以及

基于所述第三特征图和所述第四特征图以分类函数获得分类结果，所述分类结果用于表示所述街景图像是否包含文本信息和非多边形边缘信息；

其中，获取包含待检测对象的街景图像，包括：获取街景视频；以及从所述街景视频截取包含所述待检测对象的图像帧以获得所述街景图像；

其中，从所述卷积神经网络的第N层获得所述街景图像的第二特征图，包括：确定所述卷积神经网络的层数；基于所述卷积神经网络的层数确定N的数目；以及从所述卷积神经网络的所确定的第N层获得所述街景图像的第二特征图；

其中，融合所述第一特征图和所述第二特征图以获得第三特征图，包括：计算所述第一特征图和所述第二特征图的加权和以获得所述第三特征图；

其中，融合所述第一特征图和所述第二特征图以获得第三特征图，包括：计算所述第一特征图和所述第二特征图之间的按位置差值；确定所述按位置差值是否大于预定阈值；通过响应于所述按位置差值大于预定阈值，将所述位置的值设置为一，和所述按位置差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及将所述掩码图像乘以所述第二特征图以获得所述第三特征图。

2.根据权利要求1所述的结合文本信息和图像内边缘信息的非法张贴物检测方法，其中，融合所述第一特征图和所述第二特征图以获得第三特征图，包括：

将所述按位置差值基于所述按位置差值的全局平均值进行归一化以获得按位置归一化差值；

确定所述按位置归一化差值是否大于预定阈值；

通过响应于所述按位置归一化差值大于预定阈值，将所述位置的值设置为一，和所述按位置归一化差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及

将所述掩码图像乘以所述第二特征图以获得所述分类特征图。

3.根据权利要求1所述的结合文本信息和图像内边缘信息的非法张贴物检测方法，其中，基于所述第三特征图和所述第四特征图以分类函数获得分类结果，包括：

将所述第三特征图输入第一分类函数以获得第一分类结果，所述第一分类结果用于表示所述街景图像是否包含非多边形边缘信息；

将所述第四特征图输入第二分类函数以获得第二分类结果，所述第二分类结果用于表示所述街景图像是否包含文本信息；以及

基于所述第一分类结果和所述第二分类结果确定是否检测到非法张贴物。

4.根据权利要求1所述的结合文本信息和图像内边缘信息的非法张贴物检测方法，其中，基于所述第三特征图和所述第四特征图以分类函数获得分类结果，包括：

将所述第三特征图和所述第四特征图输入Softmax分类函数以获得分类结果，所述Softmax分类函数包括用于表示所述街景图像包含非多边形边缘信息的第一标签，用于表示所述街景图像不包含非多边形边缘信息的第二标签，所述街景图像包含文本信息的第三标签和所述街景图像不包含文本信息的第四标签。

5.一种结合文本信息和图像内边缘信息的非法张贴物检测系统，其特征在于，包括：

图像获取单元，用于获取包含待检测对象的街景图像，所述待检测对象在所述街景图像中具有非多边形边缘；

第一特征图生成单元，将所述图像获取单元获得的所述街景图像通过第一卷积神经网络以获得第一特征图；

第二特征图生成单元，用于从所述第一卷积神经网络的第N层获得所述街景的第二特征图，其中，N大于等于2小于等于4；

融合单元，用于融合所述第一特征图生成单元获得的所述第一特征图和所述第二特征图生成单元获得的所述第二特征图以获得第三特征图；

第四特征图生成单元，用于将所述图像获取单元获得的所述街景图像通过第二卷积神经网络以获得第四特征图；以及分类单元，用于基于所述融合单元获得的所述第三特征图和所述第四特征图生成单元获得的所述第四特征图以分类函数获得分类结果，所述分类结果用于表示所述街景图像是否包含文本信息和非多边形边缘信息；

所述图像获取单元进一步用于：获取街景视频；以及，从所述街景视频截取包含所述待检测对象的图像帧以获得所述街景图像；

所述第二特征图生成单元进一步用于：确定所述卷积神经网络的层数；基于所述卷积神经网络的层数确定N的数目；以及，从所述卷积神经网络的所确定的第N层获得所述街景图像的第二特征图；

所述融合单元进一步用于：计算所述第一特征图和所述第二特征图的加权和以获得所述第三特征图；

所述融合单元，包括：按位置差值计算子单元，用于计算所述第一特征图和所述第二特征图之间的按位置差值；阈值比较子单元，用于确定所述按位置差值是否大于预定阈值；掩码图像生成子单元，用于通过响应于所述按位置差值大于预定阈值，将所述位置的值设置为一，和所述按位置差值小于或等于预定阈值，将所述位置的值设置为零而获得掩码图像；以及点乘子单元，用于将所述掩码图像乘以所述第二特征图以获得所述第三特征图；

所述分类单元，包括：第一分类子单元，用于将所述第三特征图输入第一分类函数以获得第一分类结果，所述第一分类结果用于表示所述街景图像是否包含非多边形边缘信息；第二分类子单元，用于将所述第四特征图输入第二分类函数以获得第二分类结果，所述第二分类结果用于表示所述街景图像是否包含文本信息；以及判定子单元，用于基于所述第一分类结果和所述第二分类结果确定是否检测到非法张贴物；

所述分类单元进一步用于：将所述第三特征图和所述第四特征图输入Softmax分类函数以获得分类结果，所述Softmax分类函数包括用于表示所述街景图像包含非多边形边缘信息的第一标签，用于表示所述街景图像不包含非多边形边缘信息的第二标签，所述街景图像包含文本信息的第三标签和所述街景图像不包含文本信息的第四标签。

6.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-4中任一项所述的结合文本信息和图像内边缘信息的非法张贴物检测方法。

Images