CN117252851B - 一种基于图像检测识别的标准质量检测管理平台 - Google Patents

Abstract

本发明公开了一种基于图像检测识别的标准质量检测管理平台，涉及质量检测技术领域，本发明通过机器学习、深度学习和图像处理技术，自动执行质量检测和问题识别任务，无需大量的人工干预，自动标记模块采用Mask R‑CNN训练图像分割模型，实现了对图像中缺陷和问题区域的自动标记，使得质量检测变得更加高效、准确，减轻了操作人员的负担，图计算引擎模块在云计算中心和边缘计算节点上进行实时分析，识别质量问题和异常情况，减少了生产中断和资源浪费，同时通过长短时记忆网络LSTM，根据历史数据和当前状态进行质量问题的预测，生产线上的潜在问题可以被提前识别和解决，避免了质量问题扩大化和生产中断。

Description

一种基于图像检测识别的标准质量检测管理平台

技术领域

本发明涉及质量检测技术领域，具体为一种基于图像检测识别的标准质量检测管理平台。

背景技术

质量检测管理平台旨在帮助组织有效地管理和监控产品或服务的质量检测过程，确保其生产的产品或提供的服务符合预定的质量标准和规范。

而图像检测识别是利用图像处理和识别技术来检测和识别产品或服务的质量特征，以确保它们符合预定的标准和规范，通常通过摄像头或其他图像采集设备，然后使用图像处理算法来处理图像以提取关键的质量特征和信息，使用计算机视觉和深度学习，来检测和识别产品或服务上的特定质量特征，基于图像检测识别的质量检测管理平台在制造业、质量控制实验室、医疗保健、食品加工等领域都有广泛的应用。

然而传统的质量检测管理平台依赖大量的人工操作，包括质检员的视觉判断和手动测量，这种质量检测方式容易受到主观性和人为误差的影响，可能导致不公平的质量评估和不一致的判定结果，特别对于高频率和大规模生产的情况，人工质量检测往往难以跟上生产速度，更容易出现判定结果误差，此外，传统的质量检测管理平台通常采用周期性的质量检测方式，问题可能在两次检测之间持续存在而未被发现，这就会导致质量问题在生产过程中继续积累、产品的不良率增加，因此亟需一种减少人工干预可以进行实时分析的基于图像检测识别的标准质量检测管理平台来解决此类问题。

发明内容

针对现有技术的不足，本发明提供了一种基于图像检测识别的标准质量检测管理平台，解决现有技术中存在的视觉判断和手动测量，容易受到主观性和人为误差的影响，周期性质量检测会导致质量问题在生产过程中继续积累的问题。

为实现以上目的，本发明通过以下技术方案予以实现，本发明提供了一种基于图像检测识别的标准质量检测管理平台，包括：

数据采集模块，用于从生产线上获取图像数据流，执行图像预处理操作，包括去噪、裁剪和调整大小，数据采集模块部署在生产线边缘节点上，数据采集模块包括摄像头和传感器，采用实时图像处理技术，进行数据采集；

数据传输模块，将采集的图像数据传输到云计算中心以及分布式图数据库，数据传输使用安全协议和加密方法传输数据；

图数据库模块，对数据采集模块所采集图像数据流进行存储，同时存储设备、工件和质量数据之间的关系信息，对图计算算法执行提供支持，图数据库模块中部署分布式图数据库JanusGraph，并定期更新图数据库反映生产线上的变化；

图计算引擎模块，用于分析图数据库中的数据关系，执行图计算卷积网络GCN算法，识别质量问题和异常情况，图计算引擎模块使用NetworkX图计算框架处理数据，图计算引擎模块部署在云和边缘计算节点上，进行实现离线和实时分析；

自动标记模块，使用机器学习和图神经网络，自动标记图像中的缺陷和问题区域，自动标记模块采用MaskR-CNN训练图像分割模型，用于自动标记；

质量问题预测模块，用于分析生产线数据和图数据库，预测潜在的质量问题和生产中断，质量问题预测模块基于深度学习模型进行预测；

决策支持系统模块，集成机器学习和决策支持，用于提供实时建议和决策，决策支持系统模块使用规则引擎和优化算法，生成决策建议，提供直观的用户界面显示建议和决策；

区块链数据安全模块，采用使用区块链技术提供质量检测数据的安全性和可追溯性，区块链数据安全模块中部署私有区块链网络，用于数据存储和验证，采用智能合约实现数据访问控制；

所述图计算引擎模块中进行图数据分析步骤具体包括：

从图数据库模块获取图数据，包括设备、工件、质量数据节点和节点间的关系边，用于构建分析图；

基于NetworkX框架，从图数据库中获取的数据构建成一个图，其中节点表示实体，边表示实间关系，图构建公式为：

G＝(V,E)，其中G表示构建的图，V表示节点集合，E表示边集合；

图计算引擎模块使用图卷积网络GCN算法分析图数据，GCN的分析公式：

H^(l+1)＝f(H^(l),A)＝σ(A*H^(l)*W^(l))，其中H^(l)表示第l层的节点表示，A表示邻接矩阵，W^(l)表示权重矩阵，σ表示激活函数；

在GCN的输出中设置阈值来检测异常节点和边；

所述物体检测损失，即分类和边界框回归式具体为：

L_det＝L_cls+L_bbox，其中L_cls表示目标分类损失，L_bbox表示边界框回归损失，将两项损失合并，用于训练模型同时进行目标检测和分类；

在训练后，将训练好的图像分割模型用于推断，自动标记图像中的缺陷和问题区域，推断过程包括前向传播，得到图像中每个像素的分割结果；

分割损失公式为：

其中L_mask表示分割掩码损失，y_i,p表示第i个对象的p个像素值，表示模型中生成的对应像素预测值；

对模型推断的结果进行后处理，去除小区域的分割标记、合并相邻的标记区域；

将自动标记的结果生成标记图，其中标记图像中缺陷和问题区域；

所述质量问题预测模块中，收集的生产线数据包括设备状态、工件信息、质量数据、时间戳；

采用长短时记忆网络LSTM进行质量问题预测；

使用准备好的数据，对选择的深度学习模型进行训练：

隐藏状态更新：h_t＝Lstm(x_t，h_t-1)；

输出预测：y_t＝Dense(h_t)，其中x_t表示在时间步t时的输入数据，h_t-1表示在时间步t-1时的隐藏状态，h_t表示通过LSTM单元对输入x_t和前一个时间步的隐藏状态h_t-1进行处理，所生成新的隐藏状态；Dense(h_t)表示通过全连接层DenseLayer对隐藏状态h_t进行处理，所生成的最终的输出预测。

本发明进一步地设置为：所述图数据库模块中，基于图数据模型表示生产线中的各个元素和元素间的关系，生产线关键元素包括：设备、工件、质量数据、工作状态、性能指标、权重和关联强度，其中设备、工件、质量数据、工作状态、性能指标作为模型节点，权重和关联强度作为模型边；

图数据库模块中设置查询接口，导入过程采用ETL管道；

本发明进一步地设置为：所述图计算引擎模块部署在云计算中心和边缘计算节点上；

图计算引擎模块中的离线分析使用批处理方式，实时分析使用ApacheKafka流式处理方式；

本发明进一步地设置为：所述自动标记模块采用MaskR-CNN训练图像分割模型步骤具体包括：

对包含缺陷和问题的图像数据集进行标注，标注包括标记图像中缺陷的位置和类别用于训练图像分割模型；

采用MaskR-CNN同时检测和分割对象；

使用准备好的图像数据集对选择的图像分割模型进行训练，包括前向传播和反向传播，MaskR-CNN的损失函数包括物体检测损失和掩码分割损失；

本发明进一步地设置为：所述决策支持系统模块中决策建议生成步骤具体包括：

从质量问题预测模块获取实时数据和预测结果作为输入；

采用规则引擎，根据预定义的规则和条件来生成决策建议，规则基于历史数据制定；

规则引擎中的决策规则具体为：

如果质量问题预测为严重，则进行停机检修；

如果设备性能下降到一定阈值以下，则进行维护；

优化算法采用线性规划表示目标函数和约束条件，具体为：

Z＝c₁x₁+c₂x₂+...+c_nx_n，其中A*x≤b，式中c₁表示与决策变量x₁相关联的权重，x₁为决策变量，A表示约束条件的系数矩阵，b为约束条件右侧的向量。

本发明提供了一种基于图像检测识别的标准质量检测管理平台。具备以下有益效果：

本申请所提供的基于图像检测识别的标准质量检测管理平台通过机器学习、深度学习和图像处理技术，自动执行质量检测和问题识别任务，无需大量的人工干预，自动标记模块采用Mask R-CNN训练图像分割模型，实现了对图像中缺陷和问题区域的自动标记，使得质量检测变得更加高效、准确，减轻了操作人员的负担。

图计算引擎模块在云计算中心和边缘计算节点上进行实时分析，识别质量问题和异常情况，相较于周期性质检及时响应生产线上的问题，减少了生产中断和资源浪费，同时通过长短时记忆网络LSTM，根据历史数据和当前状态进行质量问题的预测，生产线上的潜在问题可以被提前识别和解决，避免了质量问题扩大化和生产中断，整合了数据采集、传输、存储、分析和决策，提供了全面的质量管理解决方案。

解决了现有技术中存在的视觉判断和手动测量，容易受到主观性和人为误差的影响，周期性质量检测会导致质量问题在生产过程中继续积累的问题。

附图说明

图1为本发明的基于图像检测识别的标准质量检测管理平台框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

请参阅图1，本发明提供一种基于图像检测识别的标准质量检测管理平台，包括：

数据采集模块，用于从生产线上获取图像数据流，执行图像预处理操作，包括去噪、裁剪和调整大小，数据采集模块部署在生产线边缘节点上，数据采集模块包括摄像头和传感器，采用实时图像处理技术，进行数据采集。

数据传输模块，将采集的图像数据传输到云计算中心以及分布式图数据库，数据传输使用安全协议和加密方法传输数据；

图数据库模块，对数据采集模块所采集图像数据流进行存储，同时存储设备、工件和质量数据之间的关系信息，对图计算算法执行提供支持，图数据库模块中部署分布式图数据库JanusGraph，并定期更新图数据库反映生产线上的变化；

图数据库模块中，基于图数据模型表示生产线中的各个元素和元素间的关系，生产线关键元素包括：设备、工件、质量数据、工作状态、性能指标、权重和关联强度，其中设备、工件、质量数据、工作状态、性能指标作为模型节点，权重和关联强度作为模型边；

图数据库模块中设置查询接口，导入过程采用ETL管道；

图计算引擎模块，用于分析图数据库中的数据关系，执行图计算卷积网络GCN算法，识别质量问题和异常情况，图计算引擎模块使用NetworkX图计算框架处理数据，图计算引擎模块部署在云和边缘计算节点上，进行实现离线和实时分析。

图计算引擎模块中进行图数据分析步骤具体包括：

从图数据库模块获取图数据，包括设备、工件、质量数据节点和节点间的关系边，用于构建分析图；

基于NetworkX框架，从图数据库中获取的数据构建成一个图，其中节点表示实体，边表示实间关系，图构建公式为：

G＝(V,E)，其中G表示构建的图，V表示节点集合，E表示边集合；

图计算引擎模块使用图卷积网络GCN算法分析图数据，GCN的分析公式：

H^(l+1)＝f(H^(l),A)＝σ(A*H^(l)*W^(l))，其中H^(l)表示第l层的节点表示，A表示邻接矩阵，W^(l)表示权重矩阵，σ表示激活函数；

在GCN的输出中设置阈值来检测异常节点和边；

图计算引擎模块部署在云计算中心和边缘计算节点上；

图计算引擎模块中的离线分析使用批处理方式，实时分析使用ApacheKafka流式处理方式；

自动标记模块，使用机器学习和图神经网络，自动标记图像中的缺陷和问题区域，自动标记模块采用MaskR-CNN训练图像分割模型，用于自动标记；

自动标记模块采用MaskR-CNN训练图像分割模型步骤具体包括：

对包含缺陷和问题的图像数据集进行标注，标注包括标记图像中缺陷的位置和类别用于训练图像分割模型；

采用MaskR-CNN同时检测和分割对象；

使用准备好的图像数据集对选择的图像分割模型进行训练，包括前向传播和反向传播，MaskR-CNN的损失函数包括物体检测损失和掩码分割损失；

物体检测损失，即分类和边界框回归式具体为：

L_det＝L_cls+L_bbox，其中L_cls表示目标分类损失，L_bbox表示边界框回归损失，将两项损失合并，用于训练模型同时进行目标检测和分类；

在训练后，将训练好的图像分割模型用于推断，自动标记图像中的缺陷和问题区域，推断过程包括前向传播，得到图像中每个像素的分割结果；

分割损失公式为：

其中L_mask表示分割掩码损失，y_i,p表示第i个对象的p个像素值，表示模型中生成的对应像素预测值；

对模型推断的结果进行后处理，去除小区域的分割标记、合并相邻的标记区域；

将自动标记的结果生成标记图，其中标记图像中缺陷和问题区域；

质量问题预测模块，用于分析生产线数据和图数据库，预测潜在的质量问题和生产中断，质量问题预测模块基于深度学习模型进行预测；

质量问题预测模块中，收集的生产线数据包括设备状态、工件信息、质量数据、时间戳；

采用长短时记忆网络LSTM进行质量问题预测；

使用准备好的数据，对选择的深度学习模型进行训练：

隐藏状态更新：h_t＝Lstm(x_t,h_t-1)；

输出预测：y_t＝Dense(h_t)，其中x_t表示在时间步t时的输入数据，h_t-1表示在时间步t-1时的隐藏状态，h_t表示通过LSTM单元对输入x_t和前一个时间步的隐藏状态h_t-1进行处理，所生成新的隐藏状态；Dense(h_t)表示通过全连接层DenseLayer对隐藏状态h_t进行处理，所生成的最终的输出预测；

决策支持系统模块，集成机器学习和决策支持，用于提供实时建议和决策，决策支持系统模块使用规则引擎和优化算法，生成决策建议，提供直观的用户界面显示建议和决策；

决策支持系统模块中决策建议生成步骤具体包括：

从质量问题预测模块获取实时数据和预测结果作为输入；

采用规则引擎，根据预定义的规则和条件来生成决策建议，规则基于历史数据制定；

规则引擎中的决策规则具体为：

如果质量问题预测为严重，则进行停机检修；

如果设备性能下降到一定阈值以下，则进行维护；

优化算法采用线性规划表示目标函数和约束条件，具体为：

Z＝c₁x₁+c₂x₂+...+c_nx_n，其中A*x≤b，式中c₁表示与决策变量x₁相关联的权重，x₁为决策变量，A表示约束条件的系数矩阵，b为约束条件右侧的向量；

区块链数据安全模块，采用使用区块链技术提供质量检测数据的安全性和可追溯性，区块链数据安全模块中部署私有区块链网络，用于数据存储和验证，采用智能合约实现数据访问控制。

综合以上内容，在本申请中：

本申请所提供的基于图像检测识别的标准质量检测管理平台通过机器学习、深度学习和图像处理技术，自动执行质量检测和问题识别任务，无需大量的人工干预，自动标记模块采用Mask R-CNN训练图像分割模型，实现了对图像中缺陷和问题区域的自动标记，使得质量检测变得更加高效、准确，减轻了操作人员的负担。

图计算引擎模块在云计算中心和边缘计算节点上进行实时分析，识别质量问题和异常情况，相较于周期性质检及时响应生产线上的问题，减少了生产中断和资源浪费，同时通过长短时记忆网络LSTM，根据历史数据和当前状态进行质量问题的预测，生产线上的潜在问题可以被提前识别和解决，避免了质量问题扩大化和生产中断，整合了数据采集、传输、存储、分析和决策，提供了全面的质量管理解决方案。

解决了现有技术中存在的视觉判断和手动测量，容易受到主观性和人为误差的影响，周期性质量检测会导致质量问题在生产过程中继续积累的问题。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于图像检测识别的标准质量检测管理平台，其特征在于，包括：

数据采集模块，用于从生产线上获取图像数据流，执行图像预处理操作，包括去噪、裁剪和调整大小，数据采集模块部署在生产线边缘节点上，数据采集模块包括摄像头和传感器，采用实时图像处理技术，进行数据采集；

数据传输模块，将采集的图像数据传输到云计算中心以及分布式图数据库，数据传输使用安全协议和加密方法传输数据；

图数据库模块，对数据采集模块所采集图像数据流进行存储，同时存储设备、工件和质量数据之间的关系信息，对图计算算法执行提供支持，图数据库模块中部署分布式图数据库JanusGraph，并定期更新图数据库反映生产线上的变化；

图计算引擎模块，用于分析图数据库中的数据关系，执行图计算卷积网络GCN算法，识别质量问题和异常情况，图计算引擎模块使用NetworkX图计算框架处理数据，图计算引擎模块部署在云和边缘计算节点上，进行实现离线和实时分析；

自动标记模块，使用机器学习和图神经网络，自动标记图像中的缺陷和问题区域，自动标记模块采用MaskR-CNN训练图像分割模型，用于自动标记；

质量问题预测模块，用于分析生产线数据和图数据库，预测潜在的质量问题和生产中断，质量问题预测模块基于深度学习模型进行预测；

决策支持系统模块，集成机器学习和决策支持，用于提供实时建议和决策，决策支持系统模块使用规则引擎和优化算法，生成决策建议，提供直观的用户界面显示建议和决策；

区块链数据安全模块，采用使用区块链技术提供质量检测数据的安全性和可追溯性，区块链数据安全模块中部署私有区块链网络，用于数据存储和验证，采用智能合约实现数据访问控制；

所述图计算引擎模块中进行图数据分析步骤具体包括：

从图数据库模块获取图数据，包括设备、工件、质量数据节点和节点间的关系边，用于构建分析图；

基于NetworkX框架，从图数据库中获取的数据构建成一个图，其中节点表示实体，边表示实间关系，图构建公式为：

G＝(V,E)，其中G表示构建的图，V表示节点集合，E表示边集合；

图计算引擎模块使用图卷积网络GCN算法分析图数据，GCN的分析公式：

H^(l+1)＝f(H^(l),A)＝σ(A*H^(l)*W^(l))，其中H^(l)表示第l层的节点表示，A表示邻接矩阵，W^(l)表示权重矩阵，σ表示激活函数；

在GCN的输出中设置阈值来检测异常节点和边；

所述自动标记模块采用MaskR-CNN训练图像分割模型步骤具体包括：

对包含缺陷和问题的图像数据集进行标注，标注包括标记图像中缺陷的位置和类别用于训练图像分割模型；

采用MaskR-CNN同时检测和分割对象；

使用准备好的图像数据集对选择的图像分割模型进行训练，包括前向传播和反向传播，MaskR-CNN的损失函数包括物体检测损失和掩码分割损失；

所述物体检测损失，即分类和边界框回归式具体为：

L_det＝L_cls+L_bbox，其中L_cls表示目标分类损失，L_bbox表示边界框回归损失，将两项损失合并，用于训练模型同时进行目标检测和分类；

在训练后，将训练好的图像分割模型用于推断，自动标记图像中的缺陷和问题区域，推断过程包括前向传播，得到图像中每个像素的分割结果；

分割损失公式为：

其中L_mask表示分割掩码损失，y_i,p表示第i个对象的p个像素值，表示模型中生成的对应像素预测值；

对模型推断的结果进行后处理，去除小区域的分割标记、合并相邻的标记区域；

将自动标记的结果生成标记图，其中标记图像中缺陷和问题区域；

所述质量问题预测模块中，收集的生产线数据包括设备状态、工件信息、质量数据、时间戳；

采用长短时记忆网络LSTM进行质量问题预测；

使用准备好的数据，对选择的深度学习模型进行训练：

隐藏状态更新：h_t＝Lstm(x_t,h_t-1)；

输出预测：y_t＝Dense(h_t)，其中x_t表示在时间步t时的输入数据，h_t-1表示在时间步t-1时的隐藏状态，h_t表示通过LSTM单元对输入x_t和前一个时间步的隐藏状态h_t-1进行处理，所生成新的隐藏状态；Dense(h_t)表示通过全连接层DenseLayer对隐藏状态h_t进行处理，所生成的最终的输出预测。

2.根据权利要求1所述的一种基于图像检测识别的标准质量检测管理平台，其特征在于，所述图数据库模块中，基于图数据模型表示生产线中的各个元素和元素间的关系，生产线关键元素包括：设备、工件、质量数据、工作状态、性能指标、权重和关联强度，其中设备、工件、质量数据、工作状态、性能指标作为模型节点，权重和关联强度作为模型边；

图数据库模块中设置查询接口，导入过程采用ETL管道。

3.根据权利要求2所述的一种基于图像检测识别的标准质量检测管理平台，其特征在于，所述图计算引擎模块部署在云计算中心和边缘计算节点上；

图计算引擎模块中的离线分析使用批处理方式，实时分析使用ApacheKafka流式处理方式。

4.根据权利要求3所述的一种基于图像检测识别的标准质量检测管理平台，其特征在于，所述决策支持系统模块中决策建议生成步骤具体包括：

从质量问题预测模块获取实时数据和预测结果作为输入；

采用规则引擎，根据预定义的规则和条件来生成决策建议，规则基于历史数据制定；

规则引擎中的决策规则具体为：

如果质量问题预测为严重，则进行停机检修；

如果设备性能下降到一定阈值以下，则进行维护；

优化算法采用线性规划表示目标函数和约束条件，具体为：

Z＝c₁x₁+c₂x₂+...+c_nx_n，其中A*x≤b，式中c₁表示与决策变量x₁相关联的权重，x₁为决策变量，A表示约束条件的系数矩阵，b为约束条件右侧的向量。