CN110473211B

CN110473211B - 一种弹簧片的数量的检测方法及设备

Info

Publication number: CN110473211B
Application number: CN201910745672.8A
Authority: CN
Inventors: 周康明
Original assignee: Shanghai Eye Control Technology Co Ltd
Current assignee: Shanghai Eye Control Technology Co Ltd
Priority date: 2019-08-13
Filing date: 2019-08-13
Publication date: 2021-11-12
Anticipated expiration: 2039-08-13
Also published as: CN110473211A

Abstract

本申请的目的是提供一种弹簧片的数量的检测方法及设备，本申请通过对弹簧片图像进行语义分割处理得到弹簧片区域图像，并且分别对所述弹簧片区域图像进行实例分割处理和图像处理，分别对应得到第一候选位置和第二候选位置，最后，将所述第一候选位置和所述第二候选位置进行匹配得到弹簧片的数量的检测结果，实现了对弹簧片的检测过程的全自动化，无需人员参与，不仅省去了人工检测的成本，还避免了由于检测人员在检测过程中可能存在的因疲劳和疏忽错误所导致的弊端，从而节约了人力资源，进一步提高了对弹簧片的数量进行检测的准确率和效率。

Description

一种弹簧片的数量的检测方法及设备

技术领域

本申请涉及计算机领域，尤其涉及一种弹簧片的数量的检测方法及设备。

背景技术

现有技术中，随着社会经济的不断发展和人民生活水平的不断提高，城市机动车保有量迅猛增长，机动车车辆年检的工作量也随之迅速增大。传统的车辆年检中车辆弹簧片数量的检测主要是通过人工检测，该方法人工成本较高，效率较低，且长时间重复性检测操作容易使得检测人员产生疲劳、注意力不集中从而易忽略错误等不良状态，影响检测准确率。因此，如何准确、快速地对车辆中的弹簧片进行有效检测，同时避免人工检测成本高成为业界当前急需解决的问题。

发明内容

本申请的一个目的是提供一种弹簧片的数量的检测方法及设备，以解决现有技术中如何准确、快速地对弹簧片进行有效检测的同时避免人工检测成本高的问题。

根据本申请的一个方面，提供了一种弹簧片的数量的检测方法包括：

对获取的弹簧片图像进行语义分割处理，得到所述弹簧片图像对应的弹簧片区域图像；

对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置，同时对所述弹簧片区域图像进行图像处理，得到所述弹簧片图像中的每个弹簧片的第二候选位置；

将所述弹簧片图像中的每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到所述弹簧片图像中匹配到的弹簧片的数量。

进一步地，上述弹簧片的数量的检测方法中，将所述弹簧片图像中的每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到所述弹簧片图像中匹配到的弹簧片的数量，包括：

分别将每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到每个所述弹簧片的位置匹配度；

基于每个所述弹簧片的所述位置匹配度确定所述弹簧片图像中匹配到的弹簧片的数量。

分别判断每个所述弹簧片的所述位置匹配度是否大于预设的位置匹配度阈值，

若是，则将所述弹簧片确定为所述弹簧片图像中匹配到的弹簧片，并统计所述弹簧片图像中匹配到的弹簧片的数量；

若否，则确定所述弹簧片在所述弹簧片图像中匹配不到对应的弹簧片。

进一步地，上述弹簧片的数量的检测方法中，对获取的弹簧片图像进行语义分割处理，得到所述弹簧片图像对应的弹簧片区域图像，包括：

获取基于深度学习的语义分割模型；

基于所述基于深度学习的语义分割模型，对获取的所述弹簧片图像进行语义分割处理，得到所述弹簧片图像对应的弹簧片区域图像。

进一步地，上述弹簧片的数量的检测方法中，获取基于深度学习的语义分割模型，包括：

获取至少一幅弹簧片训练图像；

分别对每幅所述弹簧片训练图像中的弹簧片区域的最外边缘进行逐像素标注，对应得到所述弹簧片区域的标签图；

分别将每幅所述弹簧片训练图像及其中的弹簧片区域的标签图作为一组第一训练样本，得到语义分割训练集，其中，所述语义分割训练集包括至少一组所述第一训练样本；

采用语义分割网络和所述语义分割网络对应的参数相关信息，对所述语义分割数据集进行训练，得到所述基于深度学习的语义分割模型，

其中，所述基于深度学习的语义分割模型中包含有两个类别，分别为弹簧片和背景。

进一步地，上述弹簧片的数量的检测方法中，对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置，同时对所述弹簧片区域图像进行图像处理，得到所述弹簧片图像中的每个弹簧片的第二候选位置，包括：

获取基于深度学习的实例分割模型，并基于所述深度学习的实例分割模型，对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置；

同时，对所述弹簧片区域图像依序进行灰度化、直方图均衡化、滤波操作、二值化、直线检测及查找轮廓处理，得到所述弹簧片图像中的每个弹簧片的第二候选位置。

进一步地，上述弹簧片的数量的检测方法中，所述获取基于深度学习的实例分割模型，并基于所述基于深度学习的实例分割模型，对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置中的获取基于深度学习的实例分割模型，包括：

获取至少一幅弹簧片区域训练图像；

分别对每幅所述弹簧片区域训练图像进行实例标注，得到每幅所述弹簧片区域训练图像对应的实例标签并进行存储；

分别将每幅所述弹簧片区域训练图像及其对应的所述实例标签作为一组第二训练样本，得到实例分割数据集，其中，所述实例分割数据集包括至少一组所述第二训练样本；

采用实例分割模型Mask RCNN(掩膜区域卷积神经网络，MaskRegionConvolutional Neural Networks)对所述实例分割数据集进行训练，得到所述基于深度学习的实例分割模型。

进一步地，上述弹簧片的数量的检测方法中还包括：

获取所述弹簧片图像对应的弹簧片的实际数量；

将所述弹簧片图像对应的弹簧片的实际数量和所述弹簧片图像中匹配到的弹簧片的数量进行比对，得到弹簧片检测结果。

根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述任一项所述的方法。

根据本申请的另一方面，还提供了一种用于弹簧片的数量的检测设备，该检测设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述中任一项所述的方法。

与现有技术相比，本申请通过对获取的弹簧片图像进行语义分割处理，得到所述弹簧片图像对应的弹簧片区域图像；对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置，同时对所述弹簧片区域图像进行图像处理，得到所述弹簧片图像中的每个弹簧片的第二候选位置；将所述弹簧片图像中的每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到所述弹簧片图像中匹配到的弹簧片的数量。使得通过对弹簧片图像进行语义分割处理得到弹簧片区域图像，并且分别对所述弹簧片区域图像进行实例分割处理和图像处理，分别对应得到第一候选位置和第二候选位置，最后，将所述第一候选位置和所述第二候选位置进行匹配得到弹簧片的数量的检测结果，实现了对弹簧片的检测过程的全自动化，无需人员参与，不仅省去了人工检测的成本，还避免了由于检测人员在检测过程中可能存在的因疲劳和疏忽错误所导致的弊端，从而节约了人力资源，进一步提高了对弹簧片的数量进行检测的准确率和效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种弹簧片的数量的检测方法流程示意图；

图2示出根据本申请一个方面的一种弹簧片的数量的检测方法的实际应用场景流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

图1示出根据本申请一个方面的一种弹簧片的数量的检测方法的流程示意图，该方法适用于机动车车辆的弹簧片的数量的检测过程中，该方法包括步骤S11、步骤S12及步骤S13，其中，具体包括：

步骤S11，对获取的弹簧片图像进行语义分割处理，得到所述弹簧片图像对应的弹簧片区域图像。当然，在所述步骤S11对所述弹簧片图像进行语义分割处理之前，还包括获取所述弹簧片图像，所述弹簧片图像的获取方式可以是直接通过拍摄相机进行拍摄的方式获取，还可以是通过从第三方设备处获取得到的，比如网络设备等第三方设备。在此，所述弹簧片图像可以是包括但不限于不同光照条件、不同拍摄角度的弹簧片图像。

步骤S12，对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置，同时对所述弹簧片区域图像进行图像处理，得到所述弹簧片图像中的每个弹簧片的第二候选位置。

步骤S13，将所述弹簧片图像中的每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到所述弹簧片图像中匹配到的弹簧片的数量，使得通过对弹簧片的第一侯选位置和第二候选位置的匹配，提高了弹簧片图像中匹配到的弹簧片的数量的准确率。

上述步骤S11至步骤S13，使得通过对弹簧片图像进行语义分割处理得到弹簧片区域图像，并且分别对所述弹簧片区域图像进行实例分割处理和图像处理，分别对应得到第一候选位置和第二候选位置，最后，将所述第一候选位置和所述第二候选位置进行匹配得到弹簧片的数量的检测结果，实现了对弹簧片的检测过程的全自动化，无需人员参与，不仅省去了人工检测的成本，还避免了由于检测人员在检测过程中可能存在的因疲劳和疏忽错误所导致的弊端，从而节约了人力资源，进一步提高了对弹簧片的数量进行检测的准确率和效率。

例如，若需要对获取的弹簧片图像P进行弹簧片的数量的检测，在步骤S11中，对获取的弹簧片图像P进行语义分割处理，得到该弹簧片图像P对应的弹簧片区域图像Q；在步骤S12中，对该弹簧片区域图像Q进行实例分割处理，得到弹簧片图像P中的每个弹簧片的第一候选位置，同时对所述弹簧片区域图像Q进行图像处理，得到所述弹簧片图像P中的每个弹簧片的第二候选位置；本申请一优选实施例中，若弹簧片图像P中检测到的弹簧片包括20个，分别为弹簧片1、弹簧片2、弹簧片3、……、弹簧片19及弹簧片20，其中，所述弹簧片图像中的20个弹簧片：弹簧片1、弹簧片2、弹簧片3、……、弹簧片19及弹簧片20的第一候选位置依序分别为：A1、A2、A3、......、A19及A20，对应的，所述20个弹簧片：弹簧片1、弹簧片2、弹簧片3、……、弹簧片19及弹簧片20的第二候选位置依序分别为：B1、B2、B3、......、B19及B20；在所述步骤S13中，分别每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到所述弹簧片图像中匹配到的弹簧片的数量，比如，将弹簧片1的第一候选位置A1与该弹簧片1的第二候选位置B1进行位置匹配，将弹簧片2的第一候选位置A2与该弹簧片2的第二候选位置B2进行位置匹配，……，将弹簧片19的第一候选位置A19与该弹簧片19的第二候选位置B19进行位置匹配，及将弹簧片20的第一候选位置A20与该弹簧片20的第二候选位置B20进行位置匹配，以通过对所有的弹簧片的第一候选位置和第二候选位置的位置匹配的方式来得到所述弹簧片图像P中能够匹配到的弹簧片的数量，从而实现对弹簧片图像P中的能够匹配的弹簧片的数量的计算和检测。

接着本申请的上述实施例，所述步骤S13将所述弹簧片图像中的每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到所述弹簧片图像中匹配到的弹簧片的数量，具体包括：

分别将每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到每个所述弹簧片的位置匹配度；在此，所述弹簧片的位置匹配度用于指示所述弹簧片的第一侯选位置和第二候选位置进行位置匹配时的重叠度。

例如，若检测到的弹簧片图像P中的20个弹簧片：弹簧片1、弹簧片2、弹簧片3、……、弹簧片19及弹簧片20的第一侯选位置依序分别为A1、A2、A3、......、A19、A20，第二侯选位置依序分别为B1、B2、B3、......、B19及B20，分别将弹簧片图像P中的每个弹簧片的第一候选位置与第二侯选位置进行位置匹配，得到所述弹簧片图像中匹配到的弹簧片的数量，即将弹簧片1的第一候选位置A1与该弹簧片1的第二候选位置B1进行位置匹配得到弹簧片1的位置匹配度V1，将弹簧片2的第一候选位置A2与该弹簧片2的第二候选位置B2进行位置匹配得到弹簧片1的位置匹配度V2，……，将弹簧片19的第一候选位置A19与该弹簧片19的第二候选位置B19进行位置匹配得到弹簧片1的位置匹配度V19，及将弹簧片20的第一候选位置A20与该弹簧片20的第二候选位置B20进行位置匹配得到弹簧片1的位置匹配度V20，以实现对弹簧片图像P中的所有弹簧片的第一候选位置和第二候选位置的位置匹配；之后，对每个所述弹簧片的位置匹配度进行判断以确定该弹簧片是否为所述弹簧片图像P中能够匹配到的弹簧片，从而统计出该弹簧片图像P中能够匹配到的弹簧片的数量。…

进一步地，所述步骤S13中的基于每个所述弹簧片的所述位置匹配度确定所述弹簧片图像中匹配到的弹簧片的数量，包括：

例如，若弹簧片图像P中的20个弹簧片：弹簧片1、弹簧片2、弹簧片3、……、弹簧片19及弹簧片20中的每个弹簧片的第一候选位置与第二候选位置之前的位置匹配度依序分别为V1＝60％、V2＝70％、V3＝50％、V4＝80％、V5＝86％、V6＝90％、V7＝95％、V8＝89％、V9＝87％、V10＝90％、V11＝95％、V12＝87％、V13＝90％、V14＝80％、V15＝98％、V16＝97％、V17＝93％、V18＝89％、V19＝90％及V20＝99％，且若位置匹配度阈值为85％，即一弹簧片的第一侯选位置与第二侯选位置之间的重叠度大于85％时，则认为对应的该弹簧片为实际存在弹簧片，弹簧片的数量统计加1，反之则认为该弹簧片不属于该弹簧片图像P中实际存在的弹簧片。……由于位置匹配度V1＜85％、位置匹配度V2＜85％、位置匹配度V3＜85％、位置匹配度V4＜85％、位置匹配度V5＝85％、位置匹配度V6＞85％、位置匹配度V7＞85％、位置匹配度V8＞85％、位置匹配度V9＞85％、位置匹配度V10＞85％、位置匹配度V11＞85％、位置匹配度V12＞85％、位置匹配度V13＞85％、位置匹配度V14＜85％、位置匹配度V15＞85％、位置匹配度V16＞85％、位置匹配度V17＞85％、位置匹配度V18＞85％、位置匹配度V1990％＞85％及位置匹配度V20＞85％，可以得到位置匹配度V6、位置匹配度V7、位置匹配度V8、位置匹配度V9、位置匹配度V10、位置匹配度V11、位置匹配度V12、位置匹配度V13、位置匹配度V15、位置匹配度V16、位置匹配度V17、位置匹配度V18、位置匹配度V19及位置匹配度V20分别对应的弹簧片为弹簧片图像中能够匹配到的弹簧片，并统计所述弹簧片图像P中匹配到的弹簧片的数量为14；进一步地，判断后确定位置匹配度V1、位置匹配度V2、位置匹配度V3、位置匹配度V4、位置匹配度V5、位置匹配度V7分别对应的弹簧片在所述弹簧片图像P中匹配不到对应的弹簧片，则不计入弹簧片的数量的统计中，实现了通过对弹簧片的第一候选位置与第二候选位置之间的位置匹配度来确定并统计弹簧片图像P中匹配到的弹簧片的数量，进一步实现了对弹簧片的检测过程的全自动化，无需人员参与，不仅避免了人工检测的成本，还避免了由于检测人员在检测过程中可能存在的因疲劳和疏忽错误所导致的弊端，从而节约了人力资源，进一步提高了对弹簧片的数量进行检测的准确率和效率。

接着本申请的上述实施例，所述步骤S11对获取的弹簧片图像进行语义分割处理，得到所述弹簧片图像对应的弹簧片区域图像，具体包括：

获取基于深度学习的语义分割模型；在此，该基于深度学习的语义分割模型M1用于对获取的弹簧片图像进行语义分割处理，来得到该弹簧片图像P对应的弹簧片区域图像，以找出该弹簧片图像中的弹簧片区域。

例如，获取基于深度学习的语义分割模型M1后，基于所述深度学习的语义分割模型M1对获取的弹簧片图像P进行语义分割处理，来找出该弹簧片图像P中的弹簧片区域，从而得到该弹簧片图像P对应的弹簧片区域图像Q，使得通过基于深度学习的语义分割模型M1来实现对弹簧片图像P中的弹簧片区域的查找。

进一步地，所述步骤S11中的获取基于深度学习的语义分割模型，包括：

获取至少一幅弹簧片训练图像。在此，弹簧片训练图像的光照、拍摄角度等信息可以不同，也可以相同。

分别对每幅所述弹簧片训练图像中的弹簧片区域的最外边缘进行逐像素标注，对应得到所述弹簧片区域的标签图；在此，所述弹簧片区域的标签图用于指示所述弹簧片区域内的所有像素点的像素值标记为1，所述弹簧片训练图像中的除所述弹簧片区域的其他区域的所有像素点的像素值标记为0。

采用语义分割网络和所述语义分割网络对应的参数相关信息，对所述语义分割数据集进行训练，得到所述基于深度学习的语义分割模型；在此，所述参数相关信息包括但不限于学习率、冲量、权重衰减等信息。

其中，所述基于深度学习的语义分割模型中包含有两个类别，分别为弹簧片和背景。在此，所述语义分割模型在网络训练过程中，通过调整这两个类别的权重，使语义分割网络能更好地学习弹簧片的特征，在本申请一优选的实施例中，优选所述语义分割网络的参数相关信息中的学习率lr为0.001，冲量为0.95，权重衰减为0.00005，上述所述语义分割网络的参数相关信息的取值仅为优选实施例，其他的取值范围仍包含在本申请的保护范围内。

例如，获取至少一幅弹簧片训练图像N1、N2、N3、N4、N5......N100，其中弹簧片训练图像N1、N2、N3、N4、N5......N100中有光照、拍摄角度等信息不同的弹簧片训练图像和光照、拍摄角度等信息相同的弹簧片训练图像。分别对每幅弹簧片训练图像中的弹簧片区域的最外边缘进行逐像素标注，使得弹簧片区域内的所有像素点的像素值标记为1，弹簧片训练图像中的除所述弹簧片区域的其他区域的所有像素点的像素值标记为0，对应得到每个弹簧片训练图像中的所有弹簧片区域的标签图。接着，将弹簧片训练图像N1和与其对应的弹簧片区域的标签图n1作为一组第一训练样本，将弹簧片训练图像N2和与其对应的弹簧片区域的标签图n2作为一组第一训练样本，将弹簧片训练图像N3和与其对应的所有弹簧片区域的标签图n3作为一组第一训练样本，依此类推，分别将每个弹簧片训练图像和与其对应的弹簧片区域的标签图分别作为一组第一训练样本，得到100组第一训练样本，并将得到的这100组第一训练样本组成语义分割训练集。之后，采用语义分割网络和所述语义分割网络对应的参数相关信息，对所述语义分割数据集进行训练得到基于深度学习的语义分割模型M1，实现对基于深度学习的语义分割模型M1的训练和确定。

接着本申请的上述实施例，步骤S12对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置，同时对所述弹簧片区域图像进行图像处理，得到所述弹簧片图像中的每个弹簧片的第二候选位置，具体包括：

获取基于深度学习的实例分割模型，并基于所述基于深度学习的实例分割模型，对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置；

例如，获取基于深度学习的实例分割模型M2后，并基于所述深度学习的实例分割模型M2对获取的弹簧片区域图像Q进行实例分割处理，得到弹簧片图像P中的每个弹簧片的第一候选位置，以实现对弹簧片图像中的每个弹簧片的第一候选位置的确定。

同时，先对得到的每个弹簧片区域图像Q进行灰度化处理，得到每个弹簧片区域图像Q对应的灰度图；然后，对每个弹簧片区域图像Q对应的灰度图依序进行直方图均衡化、滤波操作和二值化处理，得到每个弹簧片区域图像Q对应的二值化图像；接着，在每个弹簧片区域图像Q对应的二值化图像上进行直线检测，将两条直线之间的区域设为弹簧片所在的候选位置；最后，对经过直线检测后的每个弹簧片区域图像Q对应的二值化图像进行查找轮廓处理，以删除面积小于一定的预设区域面积阈值s的位置信息，得到每个弹簧片所在的第二候选位置，比如，经过直线检测后得到的弹簧片图像Q中所包含的弹簧片的候选位置区域有S1、S2、S3、......、S24、S25。对直线检测到的弹簧片的候选位置区域：S1、S2、S3、......、S24、S25进行查找轮廓处理，在此，预设查找轮廓是的区域面积范围的阈值为s，若弹簧片的候选位置区域s1＜s，则说明弹簧片图像P中不存在此弹簧片的面积区域，删除弹簧片区域图像Q中的弹簧片的候选位置区域，若s2＞＝s，则说明弹簧片图像P中存在此弹簧片的面积区域，并获取该弹簧片的候选位置区域S2所在的位置信息B，即第二侯选位置，依此类推，得到所述弹簧片图像P中的所有弹簧片中的每个弹簧片的第二候选位置，以实现对弹簧片图像P中的每个弹簧片的第二候选位置的确定。

进一步地，所述步骤S12中的获取基于深度学习的实例分割模型，包括：

获取至少一幅弹簧片区域训练图像；

分别对每幅所述弹簧片区域训练图像进行实例标注，得到每幅所述弹簧片区域训练图像对应的实例标签并进行存储；在此，所述弹簧片区域训练图像对应的实例标签用于指示每个弹簧片的类别、个例、位置信息等信息。

采用实例分割模型Mask RCNN(掩膜区域卷积神经网络，Mask RegionConvolutional Neural Networks)对所述实例分割数据集进行训练，得到所述基于深度学习的实例分割模型。

例如，获取至少一幅弹簧片区域训练图像M1、M2、M3、M4、M5......M100。其中弹簧片区域训练图像N1、N2、N3、N4、N5......N100中有光照、拍摄角度等信息不同的弹簧片区域训练图像和光照、拍摄角度等信息相同的弹簧片训练图像。分别对每个所述弹簧片区域训练图像进行实例标注，得到每个弹簧片区域训练图像对应的实例标签m1、m2、m3、m4、m5......m100并进行存储，实例标签包括每个弹簧片的类别、个例、位置信息等信息。接着，将弹簧片训练图像M1和与其对应的实例标签m1作为一组第训二练样本，将弹簧片训练图像M2和与其对应的实例标签m2作为一组第二训练样本，将弹簧片训练图像M3和与其对应的实例标签m3作为一组第一训练样本，依此类推，分别将每个弹簧片训练图像和与其对应的弹簧片区域的标签图分别作为一组第二训练样本，得到100组第二训练样本，并将得到的这100组第二训练样本组成实例分割数据集。之后，采用实例分割模型Mask RCNN对所述实例分割数据集进行训练，得到基于深度学习的实例分割模型M2，实现对基于深度学习的实例分割模型M2的训练和确定。

接着本申请的上述实施例，本申请的一实施例中的一种弹簧片的数量的检测方法还包括：

获取所述弹簧片图像对应的弹簧片的实际数量；

例如，若获取所述弹簧片图像对应的弹簧片的实际数量14，统计所述弹簧片图像中匹配到的弹簧片的数量为14。此时，弹簧片的实际数量与匹配到的弹簧片的数量相等，则弹簧片的数量检测符合弹簧片图像中实际包含的弹簧片的实际数量。

又例如，若获取所述弹簧片图像对应的弹簧片的实际数量12，统计所述弹簧片图像中匹配到的弹簧片的数量为14。此时，弹簧片的实际数量与匹配到的弹簧片的数量不相等，则弹簧片的数量检测不符合弹簧片图像中实际包含的弹簧片的实际数量。即若获取所述弹簧片图像对应的弹簧片的实际数量S＞14或S＜14，当弹簧片图像中匹配到的弹簧片的数量为14时，弹簧片的实际数量S与匹配到的弹簧片的数量不相等，则弹簧片的数量检测不符合弹簧片的实际数量。

根据本申请的另一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述控制用户对垒方法。

根据本申请的另一个方面，还提供了一种用于弹簧片的数量的检测设备，该设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述在设备上控制用户对垒方法。

在此，所述设备的各实施例的详细内容，具体可参见上述设备端的控制用户对垒方法实施例的对应部分，在此，不再赘述。

本申请提供的一种弹簧片的数量的检测方法的实际应用场景，如图2所示。

步骤S101，获取弹簧片图像和数量。弹簧片图像可以但不限于是从其他数据库中获取，也可以从摄影仪拍摄后直接获取。同时，获取的弹簧片的数量为弹簧片的实际数量为14。

步骤S102，使用语义分割模型对弹簧片图像进行语义分割。创建基于深度学习的语义分割模型，具体过程如下：获取至少一幅弹簧片训练图像N1、N2、N3、N4、N5......N100，其中弹簧片训练图像N1、N2、N3、N4、N5......N100中有光照、拍摄角度等信息不同的弹簧片训练图像和光照、拍摄角度等信息相同的弹簧片训练图像。分别对每幅弹簧片训练图像中的弹簧片区域的最外边缘进行逐像素标注，使得弹簧片区域内的所有像素点的像素值标记为1，弹簧片训练图像中的除所述弹簧片区域的其他区域的所有像素点的像素值标记为0，对应得到每个弹簧片训练图像中的所有弹簧片区域的标签图。接着，将弹簧片训练图像N1和与其对应的弹簧片区域的标签图n1作为一组第一训练样本，将弹簧片训练图像N2和与其对应的弹簧片区域的标签图n2作为一组第一训练样本，将弹簧片训练图像N3和与其对应的所有弹簧片区域的标签图作为一组第一训练样本，依此类推，分别将每个弹簧片训练图像和与其对应的所有弹簧片区域的标签图分别作为一组第一训练样本，得到100组第一训练样本，并将得到的这100组第一训练样本组成语义分割训练集。之后，采用语义分割网络和所述语义分割网络对应的参数相关信息(语义分割网络的参数相关信息中的学习率lr为0.001，冲量为0.95，权重衰减为0.00005)，对所述语义分割数据集进行训练得到基于深度学习的语义分割模型M1，实现对基于深度学习的语义分割模型M1的训练和确定。

步骤S103，判断弹簧片图像中是否存在弹簧片区域？在通过语义分割模型对弹簧片图像进行处理的过程中，若弹簧片图像中存在弹簧片区域，则进入步骤S104；若弹簧片图像中不存在弹簧片区域，则弹簧片图像不合格，用于指示该弹簧片图像中并不存在需要查找的弹簧片区域，从而不进行弹簧片区域的进一步检测。获取基于深度学习的语义分割模型M1后，基于所述深度学习的语义分割模型M1对获取的弹簧片图像P进行语义分割处理，来找出该弹簧片图像P中的弹簧片区域，从而得到该弹簧片图像P对应的弹簧片区域图像Q，使得通过基于深度学习的语义分割模型M1来实现对弹簧片图像P中的弹簧片区域的查找。

步骤S104，获取弹簧片区域图像。通过语义分割模型M1对弹簧片图像P进行处理得到弹簧片区域图像Q。

步骤S105，对弹簧片区域图像进行灰度处理，得到灰度图。对得到的每个弹簧片区域图像Q进行灰度化处理，得到每个弹簧片区域图像Q对应的灰度图。

步骤S106，直方图均衡化、滤波操作和二值化处理，得到二值化图像。对每个弹簧片区域图像Q对应的灰度图依序进行直方图均衡化、滤波操作和二值化处理，得到每个弹簧片区域图像Q对应的二值化图像。

步骤S107，对二值化图像进行直线检测，将两条直线之间的区域设为弹簧片所在的候选位置。对经过直线检测后的每个弹簧片区域图像Q对应的二值化图像进行查找轮廓处理，将两条直线之间的区域设为弹簧片所在的候选位置。

步骤S108，使用轮廓查找的方法，删除面积小于一定阈值的位置信息。对经过直线检测后的每个弹簧片区域图像Q对应的二值化图像进行查找轮廓处理，以删除面积小于一定的预设区域面积阈值s的位置信息，得到每个弹簧片所在的第二候选位置，比如，经过直线检测后得到的弹簧片图像Q中所包含的弹簧片的候选位置区域有S1、S2、S3、......、S24、S25。对直线检测到的弹簧片的候选位置区域：S1、S2、S3、......、S24、S25进行查找轮廓处理，在此，预设查找轮廓是的区域面积范围的阈值为s，若弹簧片的候选位置区域s1＜s，则说明弹簧片图像P中不存在此弹簧片的面积区域，删除弹簧片区域图像Q中的弹簧片的候选位置区域，若s2＞＝s，则说明弹簧片图像P中存在此弹簧片的面积区域，并获取该弹簧片的候选位置区域S2所在的位置信息B，即第二侯选位置，依此类推，得到所述弹簧片图像P中的所有弹簧片中的每个弹簧片的第二候选位置，以实现对弹簧片图像P中的每个弹簧片的第二候选位置的确定。

步骤S109，获取每个弹簧片所在的第二候选位置。即基于图像算法通过上述步骤S105-步骤S109对每个弹簧片区域图像Q进行处理得到侯选位置即为第二候选位置A1、A2、A3、A4、A5......A19、A20。

步骤S110，使用实例分割模型对弹簧片区域图像进行实力分割。使用实例分割模型M2对弹簧片区域图像Q进行实力分割处理。创建基于深度学习的实例分割模型，具体步骤如下：获取至少一幅弹簧片区域训练图像M1、M2、M3、M4、M5......M100。其中弹簧片区域训练图像N1、N2、N3、N4、N5......N100中有光照、拍摄角度等信息不同的弹簧片区域训练图像和光照、拍摄角度等信息相同的弹簧片训练图像。分别对每个所述弹簧片区域训练图像进行实例标注，得到每个弹簧片区域训练图像对应的实例标签m1、m2、m3、m4、m5......m100并进行存储，实例标签包括每个弹簧片的类别、个例、位置信息等信息。接着，将弹簧片训练图像M1和与其对应的实例标签m1作为一组第训二练样本，将弹簧片训练图像M2和与其对应的实例标签m2作为一组第二训练样本，将弹簧片训练图像M3和与其对应的实例标签m3作为一组第一训练样本，依此类推，分别将每个弹簧片训练图像和与其对应的弹簧片区域的标签图分别作为一组第二训练样本，得到100组第二训练样本，并将得到的这100组第二训练样本组成实例分割数据集。之后，采用实例分割模型Mask RCNN对所述实例分割数据集进行训练，得到基于深度学习的实例分割模型M2，实现对基于深度学习的实例分割模型M2的训练和确定。

步骤S111，获取每个弹簧片所在的候选位置。使用实例分割模型M2对弹簧片区域图像Q进行处理得到每个弹簧片所在的候选位置为第二候选位置B1、B2、B3、B4、B5......B19、B20。

步骤S112，将候选位置信息进行两两匹配比较。检测到的弹簧片图像P中有的20个弹簧片：弹簧片1、弹簧片2、弹簧片3、……、弹簧片19及弹簧片20的第一侯选位置依序分别为A1、A2、A3、......、A19、A20，第二侯选位置依序分别为B1、B2、B3、B4、B5......、B19及B20，分别将弹簧片图像P中的每个弹簧片的第一候选位置与第二侯选位置进行位置匹配，得到所述弹簧片图像中匹配到的弹簧片的数量，即将弹簧片1的第一候选位置A1与该弹簧片1的第二候选位置B1进行位置匹配得到弹簧片1的位置匹配度V1，将弹簧片2的第一候选位置A2与该弹簧片2的第二候选位置B2进行位置匹配得到弹簧片1的位置匹配度V2，……，将弹簧片19的第一候选位置A19与该弹簧片19的第二候选位置B19进行位置匹配得到弹簧片1的位置匹配度V19，及将弹簧片20的第一候选位置A20与该弹簧片20的第二候选位置B20进行位置匹配得到弹簧片1的位置匹配度V20，以实现对弹簧片图像P中的所有弹簧片的第一候选位置和第二候选位置的位置匹配；之后，对每个所述弹簧片的位置匹配度进行判断以确定该弹簧片是否为所述弹簧片图像P中能够匹配到的弹簧片，从而统计出该弹簧片图像P中能够匹配到的弹簧片的数量，提高了弹簧片的数量的检测的准确率。

步骤S113，判断重叠度是否大于一定阈值？位置匹配度阈值为85％，若第一侯选位置与第二侯选位置的从重叠度大于85％时，认为对应的弹簧片为实际存在弹簧片，则进入步骤S114；反之则认为该弹簧片不属于该弹簧片图像P中实际存在的弹簧片。弹簧片图像P中的20个弹簧片：弹簧片1、弹簧片2、弹簧片3、……、弹簧片19及弹簧片20中的每个弹簧片的第一候选位置与第二候选位置之前的位置匹配度(重叠度)依序分别为V1＝60％、V2＝70％、V3＝50％、V4＝80％、V5＝86％、V6＝90％、V7＝95％、V8＝89％、V9＝87％、V10＝90％、V11＝95％、V12＝87％、V13＝90％、V14＝80％、V15＝98％、V16＝97％、V17＝93％、V18＝89％、V19＝90％及V20＝99％。

步骤S114，弹簧片数加一。若位置匹配度(重叠度)阈值为85％，即一弹簧片的第一侯选位置与第二侯选位置之间的重叠度大于85％时，则认为对应的该弹簧片为实际存在弹簧片，弹簧片的数量统计加1，反之则认为该弹簧片不属于该弹簧片图像P中实际存在的弹簧片。由于位置匹配度V1＜85％、位置匹配度V2＜85％、位置匹配度V3＜85％、位置匹配度V4＜85％、位置匹配度V5＝85％、位置匹配度V6＞85％、位置匹配度V7＞85％、位置匹配度V8＞85％、位置匹配度V9＞85％、位置匹配度V10＞85％、位置匹配度V11＞85％、位置匹配度V12＞85％、位置匹配度V13＞85％、位置匹配度V14＜85％、位置匹配度V15＞85％、位置匹配度V16＞85％、位置匹配度V17＞85％、位置匹配度V18＞85％、位置匹配度V1990％＞85％及位置匹配度V20＞85％，可以得到位置匹配度V6、位置匹配度V7、位置匹配度V8、位置匹配度V9、位置匹配度V10、位置匹配度V11、位置匹配度V12、位置匹配度V13、位置匹配度V15、位置匹配度V16、位置匹配度V17、位置匹配度V18、位置匹配度V19及位置匹配度V20分别对应的弹簧片为弹簧片图像中能够匹配到的弹簧片；进一步地，判断后确定位置匹配度V1、位置匹配度V2、位置匹配度V3、位置匹配度V4、位置匹配度V5、位置匹配度V7分别对应的弹簧片在所述弹簧片图像P中匹配不到对应的弹簧片，则不计入弹簧片的数量的统计中，实现了通过对弹簧片的第一候选位置与第二候选位置之间的位置匹配度来确定并统计弹簧片图像P中匹配到的弹簧片的数量，进一步实现了对弹簧片的检测过程的全自动化，无需人员参与，不仅避免了人工检测的成本，还避免了由于检测人员在检测过程中可能存在的因疲劳和疏忽错误所导致的弊端，从而节约了人力资源，进一步提高了对弹簧片的数量进行检测的准确率和效率。

步骤S115，匹配完成，得到最终的弹簧片数量。统计所述弹簧片图像P中匹配到的弹簧片的数量为14。

步骤S116，判断匹配到的弹簧片的数量与实际数量是否一致？若是，则弹簧片的数量的检测合格；若否，则弹簧片的数量的检测不合格。若获取所述弹簧片图像对应的弹簧片的实际数量为14。此时弹簧片的实际数量与匹配到的弹簧片的数量相等，则弹簧片的数量的检测符合实际弹簧片的数量。

根据本申请的另一个方面，还提供了一种弹簧片的数量的检测设备，其特征在于，该设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

综上所述，本申请通过对获取的弹簧片图像进行语义分割处理，得到所述弹簧片图像对应的弹簧片区域图像；对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置，同时对所述弹簧片区域图像进行图像处理，得到所述弹簧片图像中的每个弹簧片的第二候选位置；将所述弹簧片图像中的每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到所述弹簧片图像中匹配到的弹簧片的数量，使得通过对弹簧片图像进行语义分割处理得到弹簧片区域图像，并且分别对所述弹簧片区域图像进行实例分割处理和图像处理，分别对应得到第一候选位置和第二候选位置，最后，将所述第一候选位置和所述第二候选位置进行匹配得到弹簧片的数量的检测结果，实现了对弹簧片的检测过程的全自动化，无需人员参与，不仅省去了人工检测的成本，还避免了由于检测人员在检测过程中可能存在的因疲劳和疏忽错误所导致的弊端，从而节约了人力资源，进一步提高了对弹簧片的数量进行检测的准确率和效率

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种弹簧片的数量的检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述弹簧片图像中的每个所述弹簧片的所述第一侯选位置和所述第二候选位置进行匹配，得到所述弹簧片图像中匹配到的弹簧片的数量，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于每个所述弹簧片的所述位置匹配度确定所述弹簧片图像中匹配到的弹簧片的数量，包括：

4.根据权利要求1所述的方法，其特征在于，所述对获取的弹簧片图像进行语义分割处理，得到所述弹簧片图像对应的弹簧片区域图像，包括：

获取基于深度学习的语义分割模型；

5.根据权利要求4所述的方法，其特征在于，所述获取基于深度学习的语义分割模型，包括：

获取至少一幅弹簧片训练图像；

6.根据权利要求1所述的方法，其特征在于，所述对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置，同时对所述弹簧片区域图像进行图像处理，得到所述弹簧片图像中的每个弹簧片的第二候选位置，包括：

7.根据权利要求6所述的方法，其特征在于，所述获取基于深度学习的实例分割模型，并基于所述深度学习的实例分割模型，对所述弹簧片区域图像进行实例分割处理，得到所述弹簧片图像中的每个弹簧片的第一候选位置中的获取基于深度学习的实例分割模型，包括：

获取至少一幅弹簧片区域训练图像；

采用实例分割模型Mask RCNN对所述实例分割数据集进行训练，得到所述基于深度学习的实例分割模型。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

获取所述弹簧片图像对应的弹簧片的实际数量；

9.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至8中任一项所述的方法。

10.一种用于弹簧片的数量的检测设备，其特征在于，该检测设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的方法。