[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111507976B - 基于多角度成像的缺陷检测方法及系统 - Google Patents

基于多角度成像的缺陷检测方法及系统 Download PDF

Info

Publication number
CN111507976B
CN111507976B CN202010350606.3A CN202010350606A CN111507976B CN 111507976 B CN111507976 B CN 111507976B CN 202010350606 A CN202010350606 A CN 202010350606A CN 111507976 B CN111507976 B CN 111507976B
Authority
CN
China
Prior art keywords
angle
product
detected
imaging
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010350606.3A
Other languages
English (en)
Other versions
CN111507976A (zh
Inventor
王福伟
李小飞
王建凯
陈曦
麻志毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN202010350606.3A priority Critical patent/CN111507976B/zh
Publication of CN111507976A publication Critical patent/CN111507976A/zh
Application granted granted Critical
Publication of CN111507976B publication Critical patent/CN111507976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例中提供了一种基于多角度成像的缺陷检测方法及系统，首先，获取待检产品的原始图像；然后，根据原始图像获取待检产品的品类信息、根据原始图像获取待检产品的实际位置坐标以及建立用于多角度拍照的多角度参数库；然后，根据品类信息、实际位置坐标以及多角度参数库得到待检产品的多角度图像；最后，根据待检产品的多角度图像得到待检产品的缺陷检测结果。实现了实现产品“小批量、多批次”生产模式下产品的自适应智能质检，实现了产品三维的多面结构的多角度成像并基于此进行更为准确的缺陷检测，解决了现有技术中不能实现多批次产品基于多角度图像进行缺陷检测的问题。

Description

基于多角度成像的缺陷检测方法及系统
技术领域
本申请属于图像识别技术领域，具体地，涉及一种基于多角度成像的缺陷检测方法及系统。
背景技术
工厂在生产产品时由于材料、环境等原因往往会出现一些不可避免的缺陷，如裂缝、划痕以及污点等产品缺陷，这些缺陷会影响产品的安全性以及美观性，甚至造成一定程度的安全隐患。因此工厂一般都需要对产品进行质检来识别产品的缺陷。
目前，大部分工业厂商是通过人工观察的方式对产品进行表面缺陷检测，但人工观察的方式存在很多的问题，例如：培养成熟练的人工质检员，需要的周期长且劳务成本高；人工质检员在长时间的高强度质检工作下很容易出现身体和视觉上的疲劳，很容易误判一些细小或不太清晰的缺陷。这些人工观察存在的问题大大影响了产品缺陷检测的准确率，从而影响工业厂商的经济效益。
因此，有些厂商开始使用机器视觉的方式进行缺陷检测，包括使用图像增强、图像重构和图像二值化等算法进行图像预处理，然后使用分类网络进行产品表面缺陷识别。例如：专利公布号为CN110632086A的一种基于机器视觉的注塑件表面缺陷的检测方法及系统，通过设置上位机单元及检测装置，实现了对产品的自动检测。但是只能实现固定待测物件的固定单元，且只能实现垂直于待检物件的固定拍摄，不能实现对待检产品的多批次分类和多角度自适应拍摄的缺陷检测；专利公布号为CN107328781A的一种基于机器视觉的柱状产品表面缺陷检测方法及装置，通过获取柱形产品表面图像，对柱形图像进行去噪，建立ROI区域，进行缺陷检测。该专利只能实现对柱状产品表面的两种缺陷进行检测，检测产品单一，且检测缺陷种类也单一，同样也不能实现对待检产品的多批次分类和自适应多角度拍摄的缺陷检测；专利公布号为CN110335272A的一种基于机器视觉的金属器件智能质检设备控制系统、方法及电子设备，通过第一控制器将待检工件送到指定位置并发送信号给第二控制器，第二控制器驱动摄像单元进行拍摄并对获得的照片进行分析以判定所述待检工件是正品还是次品，该方案的视觉处理系统是一种静态的方案且只能判断待检工件是正品还是次品，不能判断出缺陷的种类；专利公布号为CN108681905A的多功能智能质检系统，通过外界质检装置实现多个之间参数的获取，实现了多样化质检，但该专利仍不能实现自适应的多角度成像。
然而，待检产品本身往往具有三维的多面结构，实际检测中需要多角度成像；同时，随着“小批量、多批次”的生产模式越来越普遍，待检产品的规格、大小、形状也会呈现出多样性和复杂性；另外，产品表面缺陷形态各异、参差不齐，仅仅是同一种缺陷就存在很多形态，在缺陷种类比较多的情况下，在检测中使用简单的分类网络已经不能满足目前复杂的缺陷检测需求。因此，这些问题都给质检机的设计开发及在线部署工作带来了严峻挑战，如何设计软件驱动的缺陷检测系统来实现多批次产品的检测已成为急需解决的问题。
发明内容
本发明提出了一种基于多角度成像的缺陷检测方法及系统，旨在解决现有技术中不能基于产品多角度图像进行缺陷检测的问题。
根据本申请实施例的第一个方面，提供了一种基于多角度成像的缺陷检测方法，包括以下步骤：
获取待检产品的原始图像；
根据原始图像获取待检产品的品类信息；根据原始图像获取待检产品的实际位置坐标；建立用于多角度拍照的多角度参数库；
根据品类信息、实际位置坐标以及多角度参数库得到待检产品的多角度图像；
根据多角度图像得到待检产品的缺陷检测结果。
可选地，根据原始图像获取原始图像的品类信息，具体包括：
构建分类网络模型；
以待检产品的人工标注数据作为训练样本训练分类网络模型得到训练后的分类网络模型；
输入待检产品的原始图像至训练后的分类网络模型得到待检产品的品类信息。
可选地，根据原始图像获取待检产品的实际位置坐标，具体包括：
构建基于目标检测的定位网络模型；
以待检产品的人工标注数据作为训练样本训练定位网络模型得到训练后的定位网络模型；
输入待检产品的原始图像至训练后的定位网络模型得到待检产品的中心点坐标以及方向角信息；
根据待检产品的中心点坐标以及方向角信息基于相机标定原理得到待检产品的实际位置坐标。
可选地，多角度参数库包括不同种类待检产品的多角度参数，多角度参数包括一一对应的原始图像的初始角度、正面拍摄角度、左面拍摄角度以及右面拍摄角度。
可选地，根据原始图像的品类信息、待检产品的实际位置坐标以及多角度参数库得到待检产品的多角度图像，具体包括：
根据待检产品的品类信息调取多角度参数库对应品类下多角度拍照成像所需的多角度坐标；
根据待检产品的实际位置坐标以及多角度拍照成像所需的多角度坐标，计算手眼标定机器人进行拍照成像的多个角度位移；
手眼标定机器人根据拍照成像的多个角度位移进行自适应多角度成像拍摄，得到待检产品的多角度图像。
可选地，根据待检产品的多角度图像得到待检产品的缺陷检测结果，具体包括：
构建缺陷分割网络模型；
以待检产品的人工标注数据作为训练样本训练缺陷分割网络模型得到训练后的缺陷分割网络模型；
输入待检产品的多角度图像至训练后的缺陷分割网络模型得到待检产品的缺陷分割结果，进而得到待检产品的缺陷检测结果。
可选地，缺陷分割网络为PSPNet语义分割网络、SegNet语义分割网络、FullyConvolutional DenseNet语义分割网络或者U-Net语义分割网络。
根据本申请实施例的第二个方面，提供了基于多角度成像的缺陷检测系统，具体包括：
原始图像获取模块：用于获取待检产品的原始图像；
原始图像分析模块：用于根据原始图像获取待检产品的品类信息；用于根据原始图像获取待检产品的实际位置坐标；
多角度参数库模块：用于建立用于多角度拍照的多角度参数库；
多角度图像模块：用于根据品类信息、实际位置坐标以及多角度参数库得到待检产品的多角度图像；
缺陷检测模块：用于根据多角度图像得到待检产品的缺陷检测结果。
根据本申请实施例的第三个方面，提供了一种缺陷检测终端，包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行基于多角度成像的缺陷检测方法。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于多角度成像的缺陷检测方法。
采用本申请实施例中的基于多角度成像的缺陷检测方法及系统，首先获取待检产品的原始图像；然后，根据原始图像获取待检产品的品类信息、根据原始图像获取待检产品的实际位置坐标以及建立用于多角度拍照的多角度参数库；然后，根据原始图像的品类信息、待检产品的实际位置坐标以及多角度参数库得到待检产品的多角度图像；最后，根据待检产品的多角度图像得到待检产品的缺陷检测结果。实现了实现产品“小批量、多批次”生产模式下产品的自适应智能质检，实现了产品三维的多面结构的多角度成像并基于此进行更为准确的缺陷检测，解决了现有技术中不能实现多批次产品基于多角度图像进行缺陷检测的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请的图像分类网络应用示例图；
图2中示出了根据本申请的图像分割应用示例图；
图3中示出了根据本申请另一实施例的一种基于多角度成像的缺陷检测方法的步骤流程图；
图4中示出了根据本申请实施例的分类网络的结构示意图；
图5中示出了根据本申请实施例的目标检测网络的结构示意图；
图6中示出了根据本申请实施例的缺陷分割网络的结构示意图；
图7中示出了根据本申请实施例的基于多角度成像的缺陷检测方法的流程示意图；
图8示出了根据本申请实施例的一种基于多角度成像的缺陷检测系统的结构示意图；
图9示出了根据本申请实施例的缺陷检测终端的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现随着产品“小批量、多批次”的生产模式越来越普遍，待检产品的规格、大小、形状也会呈现出多样性和复杂性，且产品表面缺陷形态各异、参差不齐。现有的缺陷检测方式已经不能满足目前复杂的缺陷检测需求。同时，待检产品本身往往具有三维的多面结构，实际检测中需要多角度成像才能更准确的进行质检。
针对上述问题，本申请公开了一种基于目标检测定位和多角度成像的自适应智能质检方法和系统。可以实现多批次待检产品的智能成像，主要通过基于分类网络、目标检测网络等深度学习方法对具有多角度结构的三维工业产品进行识别以及坐标定位，然后基于预先设计的自适应成像角度参数库驱动手眼标定机器人自适应调整角度对检测台上的待检产品进行多角度成像拍摄。同时，本申请也公开了一种基于语义分割网络的方法，实现了对待检产品表面缺陷进行细粒度分割进而实现缺陷检测。本申请的技术方案可在软件驱动模式下实现“小批量、多批次”生产模式下产品的自适应智能质检，而无需频繁对质检机硬件部分进行人工架设和调试，极大地减少在线部署和调试的人力成本。还实现了对产品三维的多面结构的多角度成像并基于此进行更为准确的缺陷检测。
相比现有技术，针对现有技术不能处理待检产品进行偏移、旋转，对多批次需要手动调整的缺陷，本发明实现了对待检产品的偏移、旋转、多批次都能实现自适应成像拍摄。具体采用分类网络实现多批次待检产品的分类；采用目标检测网络实现对待检产品的实际位置坐标定位；采用语义分割网络实现对待检产品表面缺陷区域进行检测。
相比现有技术，针对现有质检方法采用的分类方法精度差，且检测的缺陷种类单一的缺陷，本发明提出的基于语义分割方法可以检测不同类型的缺陷，尤其是对小缺陷和复杂缺陷，可以获得更好的检测精度和更详细的缺陷检测信息。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
为了更好的说明本申请实施例的基于多角度成像的缺陷检测方法，首先对本申请实施例采用的卷积神经网络、图像分类网络、目标检测以及图像分割进行描述。
关于卷积神经网络，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有特征学习的能力，能够按着其阶层结构对输入信息进行平移不变分类。它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现，它包括卷积层和池化层，卷积层是在原始输入图像上一个小区域一个小区域的进行特征提取，得到特征图；池化层是对特征图做进一步的特征压缩。卷积神经网络常用于图像分类、目标检测、语义分割等视觉任务中，这些任务大都是利用卷积神经网络提取不同的特征，随后构建不同任务，然后利用大量标注的训练样本进行学习，在学习的过程不断地调整网络中的参数以达到最小化预测错误的目的。
关于图像分类网络，图像分类网络是计算机视觉领域比较广泛的研究方向，图像分类的核心是从给定的分类集合中针对给定的图像分配一个标签的任务。
图1中示出了根据本申请的图像分类网络应用示例图。参见图1，图像分类模型读取图片特征信息，并生成该图片属于图像集合{cat,dog,hat,mug}中的标签概率。对于计算机来说，图像是由一个数字组成的庞大三维数组，在这个例子中猫的图像大小是宽248像素，高400像素，存在3个通道的颜色，分别是红、绿和蓝(即RGB)。如此，该图像就包含了248X400X3＝297600个数字，每个数字的范围在0-255之间的整数，其中0表示全黑，255表示全白。图像分类的任务是把这些数字变成一个简单的图像标签“猫”。
关于目标检测，目标检测是计算机视觉中用于识别图像中具体有哪些物体，以及物体位置的技术，不仅需要算法判断图片中物体的类别，还要确定出物体在图像中的位置坐标。目标检测的位置信息一般由两种格式：以图片左上角为原点(0,0)，一种是极坐标表示，极坐标为(xmin,ymin,xmax,ymax)。其中，xmin,ymin分别表示x,y坐标的最小值，xmax,ymax分别表示x,y坐标的最大值；另一种使中心点坐标，中心点坐标为(x_center,y_center,w,h)。其中，x_center,y_center表示目标检测框的中心点坐标，w,h表示目标检测框的宽、高。然而，传统的目标检测方法对现实场景中的待检产品表面缺陷检测来说存在着不足，因为现实场景中待检产品不是水平放置的，并且待检产品表面本身是一种不规则的曲面，这样拍摄出来的待检产品往往存在一些角度偏差或者其他侧面的干扰区域。针对现有技术的问题，本申请实施例采用了基于文本检测的旋转目标检测网络RRPN，通过设置不同比例大小的旋转候选框，产生带角度的候选区域，并利用产生的候选区域角度计算待检产品的实际偏转角度，以更好地适应现实中待检产品表面缺陷区域和实现手眼标定机器人的自适应拍摄。
关于图像分割，图像分割是把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣目标的技术和过程。图像分割是为图像中的每个像素分配语义标签的任务，使得同一个子区域内的特征具有一定的相似性，不同子区域的特征呈现较为明显的差异。从数学角度来看，图像分割是将图像划分成互不相交的区域过程。
图2中示出了根据本申请的图像分割应用示例图。如图2所示，图片中的物体，马和人被从中分割出来且以不同颜色作为标识。经过图像分割，图像中的对象可以被简单且清晰地标识出来，它可以大大简化图像，有利于凸显主要关注对象。
基于以上技术理解，图3中示出了根据本申请实施例的一种基于多角度成像的缺陷检测方法的步骤流程图。
如图3所示，本实施例的基于多角度成像的缺陷检测方法，具体包括以下步骤：
S101：获取待检产品的原始图像。
S102：根据原始图像获取待检产品的品类信息；根据原始图像获取待检产品的实际位置坐标；建立用于多角度拍照的多角度参数库。
S103：根据品类信息、实际位置坐标以及多角度参数库得到待检产品的多角度图像。
S104：根据多角度图像得到待检产品的缺陷检测结果。
详细说明的，S101中，获取待检产品的原始图像。首先，将多批次待检产品分别放到待检产品检测台上，并利用手眼标定机器人进行一次初始拍照，初始拍照即得到的原始图像。
步骤S102中，根据原始图像获取原始图像的品类信息，具体包括以下步骤：
首先，构建分类网络模型。
本申请实施例采用了基于深度学习的分类网络的方法从多批次待检产品照片中获取不同批次的品类信息。
图4中示出了根据本申请实施例的分类网络的结构示意图。如图4所示，其结构特点为：
(1)输入一张尺寸为448*448像素的3通道RGB原始图像。
(2)输入的图像会分别经过3次卷积操作和降采样操作，然后得到压缩后的图像特征图。
其中，利用卷积层对图片进行处理，可以学习到鲁棒性较高的特征；降采样的方式是采用最大池化的方式对邻域内特征点取最大值，最大池化可以减少参数规模，降低参数复杂度，最后会得到尺寸变小而通道数量增加的特征图。
(3)经过卷积层之后的特征图被送入全连接层，全连接层将学习的特征映射到样本空间，然后利用softmax激活函数计算出一个类别的概率。因1x1的卷积核不改变图像的大小，这里采用1x1的卷积层代替全连接层。
(4)在卷积层之前可以通过Batch Normalization来加速训练速度，提高网络的泛化能力，在卷积层之后使用ReLU激活函数来提高卷积层之间的非线性关系，防止训练过拟合。
其次，以待检产品的人工标注数据作为训练样本，训练以上构建的分类网络模型，最后得到训练后的分类网络模型。
具体包括：
使用卷积神经网络作为分类网络，而卷积神经网络的一个特点是需要大量的人工标注数据作为训练样本。
分类网络的训练数据获取与标注，首先，利用手眼标定机器人拍摄大量缺陷样本照片；之后，再对这些缺陷照片进行人工标注：针对每张不同品类的图像命名为相应品类下的不同ID；然后，将这些标注数据按照5:1:1的比例划分成训练集、测试集和验证集，为分类网络训练使用。对每张图像中的待检产品区域用矩形框标注出来并记录矩形框的坐标，为目标检测网络使用。
在获取训练样本以及得到分类网络后，开始输入训练样本训练上述分类网络，训练过程中相关操作如下：
首先，使用transforms的Resize方法将训练数据重新设置成长600，宽600的大小；然后将图像进行随机水平翻转，再从图像中随机裁剪出448*448大小的图像，并加载训练数据；
训练过程中，使用batchsize的大小设置为16，初始学习率为0.001；
训练过程中，使用带动量的随机梯度下降的方法。其它方法的，也可以采用Adagrad、RMSprop和Adam等优化方法，本训练方法中使用带动量的随机梯度下降方法可以取得相对更好的训练效果；
训练过程中，使用NLLLoss损失函数；
在训练过程中，每训练5个epoch进行一次测试，直至模型训练到收敛为止。
最后，基于训练好的分类网络，使用基于深度学习的分类网络对待检产品进行品类预测。输入待检产品的原始图像至训练后的分类网络模型得到待检产品的品类信息。
具体的，在训练好分类网络之后，使用训练好的分类网络对待检产品进行预测，只需加载训练好的分类网络模型，不用再使用优化器和损失函数，将手眼标定机器人拍摄到的图像送入训练好的分类模型中进行预测。
在经过分类网络得到多批次待检产品类别信息之后，还需要获取待检产品在检测台上的位置坐标以便实现自适应多角度成像，因此需要进一步引入基于目标检测的定位网络获取待检产品的实际位置坐标。
步骤S102中，根据原始图像获取待检产品的实际位置坐标，具体包括以下步骤：
首先，构建基于目标检测的定位网络模型。
本申请实施例的基于目标检测的定位网络采用基于文本检测的RRPN目标检测网络,图5中示出了根据本申请实施例的目标检测网络的结构示意图。
如图5所示，其网络结构特点为：
(1)输入一张尺寸为448*448像素的3通道RGB图像。
(2)输入图像经过5个卷积层和2个降采样层，2个降采样层分别在第一个和第二个卷积层后面，然后形成图像特征图。
(3)接下来经过RRPN模块，其中包含设计了不同大小的锚点(anchors)，它们具有不同大小的尺寸、宽高比和-0，/>六种不同的旋转角，最后生成带倾斜角的候选区域，使得候选框更准确地适应待检产品区域的方向。
(4)然后经过RROIPooling层，其输入层是conv5的输出和region proposal，region proposal的个数大约为2000个，RoI Pooling Layer在特征图上摘取每一个RoI对应的特征。
(5)最后经过两个输出(output)都为4096维的全连接层，一个是分类输出，另一个是回归输出。
其次，以待检产品的人工标注数据作为训练样本，训练以上构建的目标检测定位网络模型得到训练后的目标检测网络模型。
具体包括：
使用卷积神经网络作为目标检测网络，而卷积神经网络的一个特点是需要大量的人工标注数据作为训练样本。
目标检测网络的训练数据获取与标注，首先，利用手眼标定机器人拍摄大量缺陷样本照片；之后，再对这些缺陷照片进行人工标注：针对每张不同品类的图像命名为相应品类下的不同ID；然后，将这些标注数据按照5:1:1的比例划分成训练集、测试集和验证集，为目标检测网络训练使用。
在获取训练样本以及得到目标检测网络后，开始输入训练样本训练上述目标检测网络，训练过程中相关操作如下：
首先，使用Resize方法将训练数据重新设置成长600，宽600的大小，然后将图像进行随机水平翻转，再从图像中随机裁剪出448*448大小的图像，并加载训练数据。
训练过程中，选取多种损失函数用于测试待检产品位置的回归输出，多种损失函数包括focal损失、skrinkage损失、lossless Triplet loss损失以及Repulsion loss损失，最后从以上损失函数中选取测试结果最好的focal损失函数作为最终损失函数。
训练过程中，对于任意一个RoI，计算它属于背景区域的softmax损失值和不属于背景的回归值。
训练过程中，训练策略采用4-step alternating training进行训练，直到损失函数收敛。
然后，基于训练好的目标检测网络，使用基于目标检测的网络对待检产品进行定位。输入待检产品的原始图像至训练后的基于目标检测的定位网络模型得到待检产品的中心点坐标以及方向角信息。
最后，根据待检产品的中心点坐标以及方向角信息基于相机标定原理得到待检产品的实际位置坐标。
具体流程如下：
1)将用于目标检测的训练样本输入到训练好的目标检测网络中，输出回归后的待检产品中心点坐标以及生成具有待检产品方向角信息的倾斜角度
2)根据相机标定原理从空间点及其对应的像素点获得待检产品在检测台上的实际位置坐标。
相机标定原理如下：
以一点O为原点建立相机坐标系。其中点Q(X,Y,Z)是相机坐标系空间中的一点，它被光线投影到图像平面上的点为q(x,y,f)。图像平面与光轴z轴垂直，和投影中心点的距离为f(f是相机的焦距)。按照三角比例关系可以得出：x/f＝X/Z y/f＝Y/Z，即x＝fX/Z y＝fY/Z，将坐标为(X,Y,Z)的Q点映射到投影平面上坐标为(x,y)的q点的过程叫作投影变换。
上述Q点到q点的变换关系用3*3的矩阵可表示为：q＝MQ，其中，
然后，可以计算出透视投影变换矩阵：
上述矩阵M称为相机的内参数矩阵，单位均为物理尺寸。
通过上述方法，可以把相机坐标系转换到像图像坐标系的物理单位[即(X,Y,Z)→(x,y)]。
传统的目标检测方法对现实场景中的待检产品表面缺陷检测来说存在着不足，因为现实场景中待检产品不是水平放置的，并且待检产品表面本身是一种不规则的曲面，这样拍摄出来的待检产品往往存在一些角度偏差或者其他侧面的干扰区域。本申请实施例采用了基于文本检测的旋转目标检测网络RRPN，通过设置不同比例大小的旋转候选框，产生带角度的候选区域，并利用产生的候选区域角度计算待检产品的实际偏转角度，以更好地适应现实中待检产品表面缺陷区域和实现手眼标定机器人的自适应拍摄。
步骤S102中，建立用于多角度拍照的多角度参数库。多角度参数库包括不同种类待检产品的多角度参数，多角度参数包括一一对应的原始图像的初始角度、正面拍摄角度、左面拍摄角度以及右面拍摄角度。
步骤S103中，根据原始图像的品类信息、待检产品的实际位置坐标以及多角度参数库得到待检产品的多角度图像。具体包括以下步骤：
首先，根据待检产品的品类信息调取多角度参数库对应品类下多角度拍照成像所需的多角度坐标。
然后，根据待检产品的实际位置坐标以及多角度拍照成像所需的多角度坐标，计算手眼标定机器人进行拍照成像的多个角度位移。
最后，手眼标定机器人根据拍照成像的多个角度位移进行自适应多角度成像拍摄，得到待检产品的多角度图像。
在实现自适应多角度成像之前，我们通过步骤S102完成了如下三个工作，总结为：
(1)利用分类网络预测出多批次下的不同品类信息，即首先让计算机确定当前手眼标定机器人拍摄的照片属于哪一种待检产品；
(2)在确定当前待检产品的类别之后，利用基于目标检测的定位神经网络回归出当前待检产品在图片上的中心点坐标，然后利用相机标定原理计算出待检产品在检测台上的实际位置。
(3)建立包括多种类别待检产品的多角度参数库。针对不同的待检产品我们以检测台左下角为原点(单位cm)预设了初始的拍摄角度和多角度参数，从而构成了待检产品多角度参数库。
其中，初始的拍摄角度用以拍摄初始的照片给分类网络使用；多角度参数是针对不同的待检产品具有不同的三维结构而预设的一些多角度参数。表1为多角度参数库示例。
待检产品类别 初始拍摄角度 正面拍摄角度 左面拍摄角度 右面拍摄角度
待检产品1 (25,25,45°) (25,25,45°) (-25,18,-135°) (38,24,25°)
待检产品2 (30,20,45°) (32,22,45°) (-28,23,-140°) (35,22,30°)
… … … … …
待检产品n (28,26,45°) (30,26,45°) (-20,25,-145°) (39,20,20°)
表1多角度参数库示例
S103中，根据原始图像的品类信息、待检产品的实际位置坐标以及多角度参数库得到待检产品的多角度图像，具体实施的计算过程为：
假设待检产品在检测台上预设固定摆放位置坐标为(a,b,θ),待检产品某一面上需要成像的一个角度坐标为,经目标检测网络定位出的实际位置坐标为(x,y,θ')；
计算出待检产品当前摆放的位置与预设的位置偏差为(a-x,b-y,θ-θ')；
已知同一待检产品按指定面摆放(即待检产品只有一种水平摆放方式，不会立着摆放，只是摆放的时候在水平方向有些偏差)，因此手眼标定机器人需要移动m,n的坐标和旋转角度
同理可得，手眼标定机器人需要移动到的坐标偏差值和计算出的待检产品与实际预设摆放位置的偏差值(a-x,b-y,θ-θ')等同；
因目标检测网络返回的待检产品方向角的倾斜角度即/>
最后，得到手眼标定机器人移动的坐标位置为进而可以驱动手眼标定机器人多角度图像。
步骤S104中，根据待检产品的多角度图像得到待检产品的缺陷检测结果。经自适应多角度成像拍摄之后，获得了待检产品的多个角度下的缺陷图像，本实施例采用基于语义分割的缺陷分割网络，基于多个角度下的缺陷图像进行缺陷分割和检测。
根据缺陷分割网络进行缺陷检测过程具体包括以下步骤：
首先，构建缺陷分割网络模型。
本申请实施例采用了多层卷积分割网络PSPNet从照片中分割出目标缺陷。图6中示出了根据本申请实施例的缺陷分割网络的结构示意图。
如图6所示，其结构特点为：
(1)图中6(a)是图像尺寸为448*448像素的3通道RGB的输入图片。
(2)图中6(b)是通过施加膨胀卷积且预训练的残差网络，其中包含一些列的卷积和池化操作，卷积操作可提取图像的特征，池化操作可以压缩图像特征，最后输出特征图为输入原图的1/8大小。
(3)图中6(c)是金字塔池化模块用来聚合上下文信息，金字塔层级为4级，对于四个层级的特征图分别经过卷积层、Batch Normalization批标准化和ReLU激活函数可以防止过拟合，提升网络泛化能力。
(4)对于四个层级的特征图，分别通过上采样(线性插值)，将各特征图的空间尺寸还原至金字塔池化模块的输入的空间尺寸。
(5)将四个层级的特征图以及金字塔池化模块的输入相串联，然后将之前的金字塔特征映射与原始特征映射concat起来，最后通过卷积层，得到最终预测的特征图。
其次，以待检产品的人工标注数据作为训练样本，训练以上构建的缺陷分割网络模型，得到训练后的缺陷分割网络模型。
具体包括：
在缺陷分割网络中，我们使用卷积神经网络，而卷积神经网络的一个特点是需要大量的人工标注数据作为训练样本。首先，利用手眼标定机器人拍摄大量缺陷样本照片；之后，再对这些缺陷照片进行人工标注：针对每张不同品类的图像命名为相应品类下的不同ID；然后，将这些标注数据按照5:1:1的比例划分成训练集、测试集和验证集。其中，人工观察照片中的每一处缺陷，并将缺陷区域按像素级别标识出来，标注的最后形式是和原照片同样大小的掩码图像，为缺陷分割网络使用。
在获取训练样本以及构建缺陷分割网络后，开始输入训练样本训练上述缺陷分割网络，训练过程中相关操作如下：
首先，加载并随机打乱训练数据，将训练集照片和标注的缺陷掩码图缩放到长448，宽448的尺寸。
训练过程中，选取focal损失函数用于测试分割损失，并添加辅助损失函数，辅助损失函数的权重为0.4，用以平衡最终损失和辅助损失。
训练过程中，使用Adam优化器，初始学习速率为0.01，在每一个epoch之后使用类交并比对模型进行一次评估，直至模型收敛。
最后，输入待检产品的多角度图像至训练后的缺陷分割网络模型得到待检产品的缺陷分割结果，进而得到待检产品的缺陷检测结果。
具体的，为了完成对待检产品表面缺陷的检测，需要使用如下操作进行：
1)加载训练好的语义分割网络，将手眼标定机器人拍摄的待检产品多个表面角度原始图像缩放到长448、宽448的尺寸。
2)将原始的图像送入基于语义分割的缺陷分割网络中，最后得到预测出的概率分布图。
其它实施例中，缺陷分割网络除了PSPNet语义分割网络，还可以是SegNet语义分割网络、Fully Convolutional DenseNet语义分割网络或者U-Net语义分割网络。
进一步描述的，图7中示出了根据本申请另一实施例的基于多角度成像的缺陷检测方法的流程示意图。
参见图7的质检流程图，首先，将多批次待检产品分别放到待检产品检测台上，并利用手眼标定机器人进行一次初始拍照；其次，利用基于深度学习的分类网络对当前待检产品进行品类判定，利用基于目标检测的定位网络定位出当前待检产品的实际位置坐标；然后，利用自适应多角度成像系统进行多角度成像拍照；最后，利用基于语义分割的缺陷分割网络进行缺陷分割。最终实现对待检产品表面进行多角度自适应缺陷检测。
本申请中的分类网络、目标检测网络和语义分割网络，本申请实施例均采用卷积神经网络，其它实施例中也可以使用胶囊网络(Capsule Network)等。
本申请实施例中的目标检测网络采用的是RRPN网络，其它实施例中也可以使用其他主流的目标检测网络，例如：R3Det网络，Gliding Vertex网络以及RSDet网络等。
本申请实施例中的缺陷分割网络采用PSPNet语义分割网络，其它实施例中也可以采用其他主流的语义分割网络，例如：SegNet、Fully Convolutional DenseNet以及U-Net等网络结构。
本申请的待检产品不局限于某一待检产品，同样也适用于具有三维结构需要进行多角度成像的多种产品，例如：木板、插排以及包装盒等等。
采用本申请实施例的缺陷检测方法：首先，将多批次的待检产品放到检测台上，利用手眼标定机器人进行一次初始拍照，利用基于深度学习的分类网络对多批次待检产品进行品类识别，确定当前产品的品类信息；然后调取不同品类待检产品下的多个成像角度参数，并利用目标检测网络对当前待检产品进行位置坐标估计，确定当前待检产品的实际位置坐标；然后利用相机标定算法，结合已估计出的待检产品实际位置坐标和调取的不同品类待检产品下的多个角度参数计算出手眼标定机器人的位置值。最终，实现待检产品表面缺陷的多角度自适应成像。最后利用基于语义分割的缺陷分割网络对获得的多角度成像图像进行缺陷分割预测。
本申请实施例中的基于多角度成像的缺陷检测方法产生的有益效果可总结如下：
1、使用基于深度学习的分类网络方法，实现多批次待检产品的分类任务。
2、通过目标检测的定位方法，根据待检产品图像确定待检产品在检测台上的位置坐标。
3、基于深度学习的自适应多角度成像系统，根据分类网络得到多批次待检产品的品类信息，然后调取多角度参数中不同品类下的多个自适应拍摄角度；再根据目标检测网络得到待检产品的实际位置坐标，最终可以使手眼标定机器人实现自适应多角度拍摄成像。
4、通过基于语义分割的缺陷分割方法，从拍摄的多角度照片中分割出缺陷区域，使待检产品的质检结果更准确。
实施例2
本实施例提供了一种基于多角度成像的缺陷检测系统，对于本实施例的缺陷检测系统中未披露的细节，请参照其它实施例中的基于多角度成像的缺陷检测方法。
图8示出了根据本申请实施例的一种基于多角度成像的缺陷检测系统的结构示意图。如图8所示，本实施例提供的基于多角度成像的缺陷检测系统包括：原始图像获取模块10、原始图像分析模块20、多角度参数库模块30、多角度图像模块40以及缺陷检测模块50。
如图8所示，基于多角度成像的缺陷检测系统具体结构如下：
原始图像获取模块10：用于获取待检产品的原始图像。
原始图像分析模块20：用于根据原始图像获取待检产品的品类信息；用于根据原始图像获取待检产品的实际位置坐标。
多角度参数库模块30：用于建立用于多角度拍照的多角度参数库。
多角度图像模块40：用于根据品类信息、实际位置坐标以及多角度参数库得到待检产品的多角度图像。
缺陷检测模块50：用于根据待检产品的多角度图像得到待检产品的缺陷检测结果。
采用本申请实施例中的基于多角度成像的缺陷检测系统，首先获取待检产品的原始图像；然后，根据原始图像获取待检产品的品类信息、根据原始图像获取待检产品的实际位置坐标以及建立用于多角度拍照的多角度参数库；然后，根据原始图像的品类信息、待检产品的实际位置坐标以及多角度参数库得到待检产品的多角度图像；最后，根据待检产品的多角度图像得到待检产品的缺陷检测结果。实现了实现产品“小批量、多批次”生产模式下产品的自适应智能质检，实现了产品三维的多面结构的多角度成像并基于此进行更为准确的缺陷检测，解决了现有技术中不能实现多批次产品基于多角度图像进行缺陷检测的问题。
实施例3
图9为本申请实施例提供的缺陷检测终端的结构示意图。如图9所示，本实施例提供的终端包括：存储器301、处理器302、以及计算机程序，其中，该计算机程序存储在存储器301中，并被配置为由处理器302执行以实现任一实施例提供的基于多角度成像的缺陷检测方法。
实施例4
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行以实现任一实施例提供的基于多角度成像的缺陷检测方法。
采用本申请实施例中的基于多角度成像的缺陷检测终端以及计算机介质，首先获取待检产品的原始图像；然后，根据原始图像获取待检产品的品类信息、根据原始图像获取待检产品的实际位置坐标以及建立用于多角度拍照的多角度参数库；然后，根据原始图像的品类信息、待检产品的实际位置坐标以及多角度参数库得到待检产品的多角度图像；最后，根据待检产品的多角度图像得到待检产品的缺陷检测结果。实现了实现产品“小批量、多批次”生产模式下产品的自适应智能质检，实现了产品三维的多面结构的多角度成像并基于此进行更为准确的缺陷检测，解决了现有技术中不能实现多批次产品基于多角度图像进行缺陷检测的问题。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于多角度成像的缺陷检测方法，其特征在于，包括以下步骤：
获取待检产品的原始图像；
根据所述原始图像获取待检产品的品类信息；根据所述原始图像获取所述待检产品的实际位置坐标；
建立用于多角度拍照的多角度参数库；
根据所述品类信息、所述实际位置坐标以及所述多角度参数库得到待检产品的多角度图像；所述根据所述品类信息、所述实际位置坐标以及所述多角度参数库得到待检产品的多角度图像，具体包括：根据所述待检产品的品类信息调取多角度参数库对应品类下多角度拍照成像所需的多角度坐标；根据所述待检产品的实际位置坐标以及多角度拍照成像所需的多角度坐标，计算手眼标定机器人进行拍照成像的多个角度位移；手眼标定机器人根据所述拍照成像的多个角度位移进行自适应多角度成像拍摄，得到待检产品的多角度图像；
根据所述多角度图像得到待检产品的缺陷检测结果。
2.根据权利要求1所述的基于多角度成像的缺陷检测方法，其特征在于，所述根据所述原始图像获取所述原始图像的品类信息，具体包括：
构建分类网络模型；
以待检产品的人工标注数据作为训练样本训练所述分类网络模型得到训练后的分类网络模型；
输入所述待检产品的原始图像至所述训练后的分类网络模型得到待检产品的品类信息。
3.根据权利要求1所述的基于多角度成像的缺陷检测方法，其特征在于，所述根据所述原始图像获取所述待检产品的实际位置坐标，具体包括：
构建基于目标检测的定位网络模型；
以待检产品的人工标注数据作为训练样本训练所述定位网络模型得到训练后的定位网络模型；
输入所述待检产品的原始图像至所述训练后的定位网络模型得到待检产品的中心点坐标以及方向角信息；
根据所述待检产品的中心点坐标以及方向角信息基于相机标定原理得到待检产品的实际位置坐标。
4.根据权利要求1所述的基于多角度成像的缺陷检测方法，其特征在于，所述多角度参数库包括不同种类待检产品的多角度参数，所述多角度参数包括一一对应的原始图像的初始角度、正面拍摄角度、左面拍摄角度以及右面拍摄角度。
5.根据权利要求1所述的基于多角度成像的缺陷检测方法，其特征在于，所述根据所述待检产品的多角度图像得到待检产品的缺陷检测结果，具体包括：
构建缺陷分割网络模型；
以待检产品的人工标注数据作为训练样本训练所述缺陷分割网络模型得到训练后的缺陷分割网络模型；
输入所述待检产品的多角度图像至所述训练后的缺陷分割网络模型得到待检产品的缺陷分割结果，进而得到待检产品的缺陷检测结果。
6.根据权利要求5所述的基于多角度成像的缺陷检测方法，其特征在于，所述缺陷分割网络为PSPNet语义分割网络、SegNet语义分割网络、Fully Convolutional DenseNet语义分割网络或者U-Net语义分割网络。
7.一种基于多角度成像的缺陷检测系统，其特征在于，具体包括：
原始图像获取模块：用于获取待检产品的原始图像；
原始图像分析模块：用于根据所述原始图像获取待检产品的品类信息；用于根据所述原始图像获取所述待检产品的实际位置坐标；
多角度参数库模块：用于建立用于多角度拍照的多角度参数库；
多角度图像模块：用于根据所述品类信息、所述实际位置坐标以及所述多角度参数库得到待检产品的多角度图像；所述多角度图像模块具体用于：根据所述待检产品的品类信息调取多角度参数库对应品类下多角度拍照成像所需的多角度坐标；根据所述待检产品的实际位置坐标以及多角度拍照成像所需的多角度坐标，计算手眼标定机器人进行拍照成像的多个角度位移；手眼标定机器人根据所述拍照成像的多个角度位移进行自适应多角度成像拍摄，得到待检产品的多角度图像；
缺陷检测模块：用于根据所述多角度图像得到待检产品的缺陷检测结果。
8.一种缺陷检测终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-6任意一项的基于多角度成像的缺陷检测方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的基于多角度成像的缺陷检测方法。
CN202010350606.3A 2020-04-28 2020-04-28 基于多角度成像的缺陷检测方法及系统 Active CN111507976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010350606.3A CN111507976B (zh) 2020-04-28 2020-04-28 基于多角度成像的缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010350606.3A CN111507976B (zh) 2020-04-28 2020-04-28 基于多角度成像的缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN111507976A CN111507976A (zh) 2020-08-07
CN111507976B true CN111507976B (zh) 2023-08-18

Family

ID=71876496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010350606.3A Active CN111507976B (zh) 2020-04-28 2020-04-28 基于多角度成像的缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN111507976B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112986260A (zh) * 2021-02-08 2021-06-18 菲特(珠海横琴)智能科技有限公司 基于相机矩阵的检测系统、控制系统、终端、介质及应用
CN112700446A (zh) * 2021-03-23 2021-04-23 常州微亿智造科技有限公司 用于工业质检的算法模型训练方法和装置
CN113160204B (zh) * 2021-04-30 2024-07-26 聚时科技(上海)有限公司 基于目标检测信息生成缺陷区域的语义分割网络训练方法
CN113362288B (zh) * 2021-05-24 2024-03-08 深圳明锐理想科技股份有限公司 一种金手指划伤检测方法、装置以及电子设备
CN113716146B (zh) * 2021-07-23 2023-04-07 武汉纺织大学 基于深度学习的纸巾产品包装检测方法
CN113538417A (zh) * 2021-08-24 2021-10-22 安徽顺鼎阿泰克科技有限公司 基于多角度和目标检测的透明容器缺陷检测方法及装置
CN113920075A (zh) * 2021-09-29 2022-01-11 广州鲁邦通物联网科技股份有限公司 一种基于物体识别的简易缺陷检测方法和系统
CN115532620B (zh) * 2022-12-01 2023-05-16 杭州未名信科科技有限公司 一种纸浆模塑制品质检装置和方法
CN116818664B (zh) * 2023-06-16 2024-03-12 山东福特尔地毯有限公司 一种基于视觉检测的地毯缺陷检测方法及系统
CN118429352B (zh) * 2024-07-05 2024-09-24 南京航空航天大学 一种大型预制体编织成形的表面缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657603A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法
CN109816644A (zh) * 2019-01-16 2019-05-28 大连理工大学 一种基于多角度光源影像的轴承缺陷自动检测系统
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109978870A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110243826A (zh) * 2019-07-10 2019-09-17 上海微现检测设备有限公司 一种产品在线检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095860B2 (ja) * 2002-08-12 2008-06-04 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
US20170206658A1 (en) * 2016-01-15 2017-07-20 Abl Ip Holding Llc Image detection of mapped features and identification of uniquely identifiable objects for position estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657603A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109816644A (zh) * 2019-01-16 2019-05-28 大连理工大学 一种基于多角度光源影像的轴承缺陷自动检测系统
CN109978870A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110243826A (zh) * 2019-07-10 2019-09-17 上海微现检测设备有限公司 一种产品在线检测方法及装置

Also Published As

Publication number Publication date
CN111507976A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN110288612B (zh) 铭牌定位与校正方法及设备
CN110763700A (zh) 一种半导体元器件缺陷检测方法和设备
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN115937203A (zh) 一种基于模板匹配的视觉检测方法、装置、设备及介质
CN115713476A (zh) 基于激光焊接的视觉检测方法、装置及可读存储介质
CN111915485A (zh) 一种特征点稀疏工件图像的快速拼接方法及系统
Avola et al. Real-time deep learning method for automated detection and localization of structural defects in manufactured products
CN117576029A (zh) 基于双目视觉的零部件缺陷检测和评价方法以及装置
CN117214178A (zh) 一种用于包装生产线上包装件外观缺陷智能识别方法
CN116543247A (zh) 基于光度立体表面重建的数据集制作方法及验证系统
CN117635603B (zh) 基于目标检测的中空遮阳产品在线质量检测系统及方法
Kumar et al. Edge detection based shape identification
Evstafev et al. Surface Defect Detection and Recognition Based on CNN
CN117132540A (zh) 一种基于分割模型的pcb电路板缺陷后处理方法
Zhou et al. A customised ConvNeXt-SCC network: Integrating improved principal component analysis with ConvNeXt to enhance tire crown defect detection
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN118506338A (zh) 一种基于深度学习的电子器件印刷字符识别检测方法
CN115717865A (zh) 环形结构全场变形测量方法
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
Lugo et al. Semi-supervised learning approach for localization and pose estimation of texture-less objects in cluttered scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Weiming Information Technology Co.,Ltd.

Applicant after: Institute of Information Technology, Zhejiang Peking University

Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant before: Institute of Information Technology, Zhejiang Peking University

Applicant before: Hangzhou Weiming Information Technology Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant