CN113192061A - Led封装外观检测图像的提取方法、装置、电子设备和存储介质 - Google Patents
Led封装外观检测图像的提取方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113192061A CN113192061A CN202110571748.7A CN202110571748A CN113192061A CN 113192061 A CN113192061 A CN 113192061A CN 202110571748 A CN202110571748 A CN 202110571748A CN 113192061 A CN113192061 A CN 113192061A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- material sheet
- single material
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000000605 extraction Methods 0.000 title claims description 12
- 239000000463 material Substances 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 16
- 230000005856 abnormality Effects 0.000 claims abstract description 13
- 238000004806 packaging method and process Methods 0.000 claims abstract description 9
- 238000005520 cutting process Methods 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 239000002245 particle Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 15
- 238000007689 inspection Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000003292 glue Substances 0.000 description 4
- 238000012858 packaging process Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002989 correction material Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像检测技术领域，具体涉及一种LED封装外观检测图像的提取方法、装置、电子设备和存储介质；所述的方法包括采用目标检测方法初步检测出图像数据中单颗料片的位置，并通过检出的单颗料片的位置对图像进行旋转矫正；通过目标检测方法再次检测出旋转矫正后的单颗料片位置；然后通过异常检测筛掉异常点位和偏离较多的点位；通过点集匹配的方法将空位或破损严重料片中心补齐；最后计算单颗料片的全局坐标，并将单颗料片图片通过固定切割尺寸提取出来；本发明避免了现有方法在缺陷存在的情况下，对于单颗料片中心位置的检测变得不够稳定，存在偏离中心位置较多，甚至检测不出的情况；提高了LED封装外观检测图像提取的准确性和稳定性。
Description
技术领域
本发明涉及图像检测技术领域，具体涉及一种LED封装外观检测图像的提取方法、装置、电子设备和存储介质。
背景技术
LED(Light-emitting diode)由于寿命长、能耗低等优点被广泛地应用于指示、显示等领域。可靠性、稳定性及高出光率是LED取代现有照明光源必须考虑的因素。封装工艺是影响LED功能作用的主要因素之一，封装工艺关键工序有装架、压焊、封装。由于封装工艺本身的原因，导致LED封装过程中存在诸多缺陷。其中外观表面缺陷通常通过视觉检测和人工检测完成。传统的视觉对复杂纹路的情况难以解决，并且漏检误报率高，检测不稳定；人工检测往往都是主观判断瑕疵缺陷，一旦检测时间过长就会产生疲劳、误检及漏检等情况发生，从而导致工作效率和准确率下降。深度学习在特征提取和定位上取得了非常好的效果，对于缺陷检测领域能够更加准确，并且稳定性较好。其中对于单颗料片的提取是深度学习在缺陷检测应用的重要一步，能够准确的找到所有单颗小料的位置并提取出来对缺陷检测有着重要的意义。
目前，通过阈值分割和模板匹配能够找到料片的中心位置，但是准确率和稳定性都存在固有缺陷。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种LED封装外观检测图像的提取方法，该方法能够稳定、准确的提取LED封装外观检测图像中单颗料片的图片。
为了实现上述目的，本发明采用以下技术方案予以实现：
一种LED封装外观检测图像的提取方法，所述的方法包括：
采用目标检测方法初步检测出图像数据中单颗料片的位置，并通过检出的单颗料片的位置对图像进行旋转矫正；
通过目标检测方法再次检测出旋转矫正后的单颗料片位置；
然后通过异常检测筛掉异常点位和偏离较多的点位；
通过点集匹配的方法将空位或破损严重料片中心补齐；
最后计算单颗料片的全局坐标，并将单颗料片图片通过固定切割尺寸提取出来。
在进一步的技术方案中，初步检测单颗料片位置前，对图像数据进行缩放处理，以加快图像处理速度。
在进一步的技术方案中，所述的目标检测方法包括使用深度学习网络训练出能够识别料片模型，对缩放处理后的图像进行检测以识别出单颗料片的中心位置；
具体的，先收集一定原始数据，接着对目标数据进行图像增强、滤波处理；然后使用软件图片中的料片进行数据标注，同时标注易混淆的目标，在标注时，对图像进行剪裁缩放，标注处理过的图片；最后进行数据训练，得到可以稳定检测出目标外接矩形的模型，模型使用YoloV5网络结构，训练时所使用的损失函数为回归框误差和类别误差之和，其中损失函数OD_loss、回归框误差IOU_loss、类别误差CLS_loss对应公式为公式(1)(2)(3)所示：
OD_loss＝IOU_loss+CLS_loss (1)
CLS_loss＝-αt(1-pt)γlog(pt)-(1-αt)(pt)γlog(1-pt) (2)
在进一步的技术方案中，所述的旋转矫正是使用目标检测方法检测出的单颗料片的中心点坐标，通过计算相邻近点位置与水平呈现的角度计算整张图片的偏转角度，并通过仿射变换对图像进行旋转矫正。
在进一步的技术方案中，所述的异常检测步骤中，先将图像中ROI区域外的点筛选掉，接着，将ROI以内的所有点位根据横坐标和纵坐标分别进行排序，当两点之间的纵坐标小于1/4行间距则认为在同一行，两点之间的横坐标小于1/4列间距则认为在同一列，分别将同一行、同一列中的坐标取均值，将同一行中偏离1/10单颗料片宽度的点位去除。
在进一步的技术方案中，所述点集匹配的方法包括点集的制作和根据点集进行匹配和补位；
其中，点集的制作包括寻找完整的图片保证全部能够通过目标检测出所有中心点，将料片所有点位按照先行后列的排序方式进行排列，并将所有中心点记录在点集文件中；
根据点集进行匹配和补位时，首先加载点集文件中的点集，通过对比点集模板与检测出的中心点的首行首列坐标，将点集模板移动到与检出中心点同样的位置，其移动公式如下所示，其中(xtemplate,ytemplate)为点集模板的坐标，(xpos,ypos)为检测图片中所有已经检出坐标；Dx为模板与检出中心点的横坐标距离，Dy为模板与检出中心点的纵坐标距离。
将检出的点集与点集模板同样先行后列的方式进行排序，遍历点集模板和检出的点集，对比点集模板和检出的点集，如果点集模板上的点和检出的点距离小于两颗料片的就筛除，则认为此点位存在漏检，将点集模板中漏检的料片中心填补上；
最后通过已检出的料片中心点位置对补位的中心点进行矫正，(xi,yi)为未检出料片的中心坐标，(xi-1,yi),(xi+1,yi),(xi,yi-1),(xi,yi+1)为未检出料片中心附近的料片中心坐标，其矫正公式为：
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述计算机程序时实现上述的LED封装外观检测图像的提取方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的LED封装外观检测图像的提取方法。
与现有技术相比，本发明具有以下技术效果：
本发明提供的LED封装外观检测图像的提取方法，通过采用目标检测的方法来识别出单颗料片的位置，避免了现有技术中采用阈值分割方法、边缘检测分隔方法或模板匹配方法，在缺陷存在的情况下，如LED封装时存在的多胶、溢胶或严重破损等不良时，对于单颗料片中心位置的检测变得不够稳定，存在偏离中心位置较多，甚至检测不出的情况，最终导致单颗料片缺陷检测漏检的问题；提高了LED封装外观检测图像提取的准确性和稳定性。
本发明的其他特征和优点将在随后的具体实施方式中予以详细说明。
附图说明
图1示出为根据本发明具体实施方式提供的一种LED封装外观检测图像的提取方法的流程图；
图2示出为目标检测图像训练尺寸的剪裁缩放示意图；
图3示出为本发明中YoloV5的网络结构图；
图4示出为某LED封装外观检测原始图像；
图5示出为通过目标检测方法检测的图4中单颗料片的中心位置示意图；
图6示出为图5中的中心点位通过旋转矫正后的图像；
图7示出为图4中LED封装外观检测原始图像最终提取得到单颗料片的位置示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体附图，进一步阐明本发明。
现有技术对于图像分割的具体应用提出了很多方法，通过阈值分割、边缘检测分割和模板匹配都能找到料片的中心位置，但是准确率和稳定性都存在固有缺陷。其中，1)传统阈值分割方法的基本原理为通过阈值将灰度图像的背景和前景分离，从而找到目标，在以及应用中，在料片存在缺陷的情况下如多胶、溢胶、严重破损等不良时，容易收到噪声和光亮的影响，对于单颗料片中心的检测变得不稳定，存在偏离中心较多，甚至检不出的情况，最终导致单颗芯片缺陷检测漏检；2)边缘检测分割方法的基本原理为根据像素值的剧烈变化来确定不同区域检的界限，同一区域的图像往往具有相同的色彩、纹理分布，因此能够检测到料片边缘，但是实际料片中存在大量的边缘信息，并不能很好分辨料片和背景的边缘，因此也无法准确定位料片位置信息。同时，传统算法由于需要多次检测，图像预处理复杂，耗时较长。3)模板匹配方法的基本原理为通过将模板图片在目标图片上进行滑窗，对比模板图片和目标图片上的像素特征点，如果相似度在一定范围内，则认定此滑窗区域为目标区域，输出目标区域的外接矩形和中心，本方法对于不同亮度和存在大量噪声的不良料片无法正确检出，存在大量漏检、误检的情况，所以这种方法很难以广泛适用。
鉴于此，传统的图像分割方法并不能很好的适用于LED的图像分割，本发明的技术构思在于通过使用深度学习目标检测方法尽可能多检出点，并配合对图像进行适当的矫正，并通过异常检测将检出的异常中心点进行筛选，通过点集匹配将未检出的点进行补位，最终能够准确，稳定的提取出全部的小料片图片。
具体的，如图1所示，本发明提供了一种LED封装外观检测图像的提取方法，所述的方法包括以下步骤：
S1：对获取的LED封装外观检测图像进行缩放处理，以加快图像处理速度；
本领域技术人员知晓，通常工业相机拍摄出的图片具有很高的清晰度和分辨率，如果直接处理原图会非常耗时，并且占用大量计算资源，为此，本发明提供的方法中，优选对获取的LED封装外观检测图像进行缩放处理，减少图像大小，以减少计算资源的占用，加快图像处理速度；
S2：采用目标检测方法初步检测出图像数据中单颗料片的位置，并通过检出的单颗料片的位置对图像进行旋转矫正；
S3：通过目标检测方法再次检测出旋转矫正后的单颗料片位置；
S4：通过异常检测筛掉异常点位和偏离较多的点位；
S5：通过点集匹配的方法将空位或破损严重料片中心补齐；
S6：最后计算单颗料片的全局坐标，并将单颗料片图片通过固定切割尺寸提取出来。
根据本发明提供的方法，本发明中，所述的目标检测方法包括使用深度学习网络训练出能够识别料片模型，对缩放处理后的图像进行检测以识别出单颗料片的中心位置；
具体的，先收集一定原始数据，接着对目标数据进行图像增强、滤波处理；然后使用软件图片中的料片进行数据标注，同时标注易混淆的目标，在标注时，对图像进行剪裁缩放，标注处理过的图片；
具体如图2所示为目标检测图像训练尺寸的剪裁缩放示意图，通过对图像进行剪裁缩放处理，有效的减少了标注成本和训练时间。
最后进行数据训练，得到可以稳定检测出目标外接矩形的模型，模型使用YoloV5网络结构，具体如图3所示为本发明中YoloV5的网络结构图，训练时所使用的损失函数为回归框误差和类别误差之和，其中损失函数OD_loss、回归框误差IOU_loss、类别误差CLS_loss对应公式为公式(1)(2)(3)所示：
OD_loss＝IOU_loss+CLS_loss (1)
CLS_loss＝-αt(1-pt)γlog(pt)-(1-αt)(pt)γlog(1-pt) (2)
基于本发明提供的目标检测方法对单颗料片的中心位置进行检测，确保了单颗料片中心位置的检测更加准确，且检测的稳定性更好。在使用目标检测模型时，可使用不同的网络，具体如YoloV3、PP-Yolo等网络达到相同的效果，都可以找到在不同场景下的单颗料片的位置。
根据本发明提供的方法，本发明中，所述的旋转矫正是使用目标检测方法检测出的单颗料片的中心点坐标，通过计算相邻近点位置与水平呈现的角度计算整张图片的偏转角度，并通过仿射变换对图像进行旋转矫正。
具体的，(x1,y1),(x2,y2)...(xn,yn)为通过目标检测方法检出的料片中心点坐标，其旋转矫正角度计算公式为：
其中，θ为旋转矫正角度，n为检出小料的个数。
本发明提供的获取偏转角度的方法，使用了所有料片中心的位置间关系，将各个中心点与本中心点相距3个料片以外的坐标信息计算出相对于坐标轴的角度并储存下下来，3σ准则对这些数据筛选后取均值，得到相对准确的旋转矫正角度。本发明中，通过旋转矫正料片使得所有检测输入图片拥有相同的角度和视觉效果。
根据本发明提供的方法，本发明所述的异常检测步骤中，先将图像中ROI区域外的点筛选掉，接着，将ROI以内的所有点位根据横坐标和纵坐标分别进行排序，当两点之间的纵坐标小于1/4行间距则认为在同一行，两点之间的横坐标小于1/4列间距则认为在同一列，分别将同一行、同一列中的坐标取均值，将同一行中偏离1/10单颗料片宽度的点位去除。本发明中，通过异常检测筛选出所需点位，并且排除检测异常的点位，提升后续点集匹配的精度和稳定性。
根据本发明提供的方法，本发明中，所述点集匹配的方法包括点集的制作和根据点集进行匹配和补位；
其中，点集的制作包括寻找完整的图片保证全部能够通过目标检测出所有中心点，将料片所有点位按照先行后列的排序方式进行排列，并将所有中心点记录在点集文件中；
根据点集进行匹配和补位时，首先加载点集文件中的点集，通过对比点集模板与检测出的中心点的首行首列坐标，将点集模板移动到与检出中心点同样的位置，其移动公式如下所示，其中(xtemplate,ytemplate)为点集模板的坐标，(xpos,ypos)为检测图片中所有已经检出坐标；Dx为模板与检出中心点的横坐标距离，Dy为模板与检出中心点的纵坐标距离。
将检出的点集与点集模板同样先行后列的方式进行排序，遍历点集模板和检出的点集，对比点集模板和检出的点集，如果点集模板上的点和检出的点距离小于两颗料片的就筛除，则认为此点位存在漏检，将点集模板中漏检的料片中心填补上；
最后通过已检出的料片中心点位置对补位的中心点进行矫正，(xi,yi)为未检出料片的中心坐标，(xi-1,yi),(xi+1,yi),(xi,yi-1),(xi,yi+1)为未检出料片中心附近的料片中心坐标，其矫正公式为：
为了进一步展示本发明提供的LED封装外观检测图像的提取方法，以下选取了某LED芯片部分图片进行展示。其中图4示出为原始图片，通过目标检测方法初步检测出的料片中心位置如图5所示，可以看到，通过目标检测方法检出的中心点比较准确、稳定，图6示出为通过旋转矫正后的图像再次检测的结果，保证了单颗料片呈像的统一。最终，通过点集匹配得到的最终结果如图7所示，能够对单张图片上多个料片位置进行图像提取。
本发明还提供了一种LED封装外观检测图像的提取装置，包括图像数据获取模块，图像检测模块，异常检测模块，补位矫正模块和输出模块；其中，所述的图像数据获取模块用于获取LED封装外观检测图像，并对图像进行缩放以加快图像处理速度；所述的图像检测模块用于初步检测出单颗料片的位置，获得单颗料片的中心点坐标；所述的异常检测模块用于对获取的单颗料片的中心点坐标进行异常检测，并排除异常的单颗料片位置；所述的补位矫正模块用于将LED封装外观检测图像上所有单颗料片补齐并矫正坐标；所述的输出模块用于计算单颗料片的全局坐标并通过剪裁提取出所有单颗料片图片。
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述计算机程序时实现上述的LED封装外观检测图像的提取方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的LED封装外观检测图像的提取方法。
以上显示和描述了本发明的基本原理、主要特征和本发明的特点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种LED封装外观检测图像的提取方法，其特征在于，所述的方法包括：
采用目标检测方法初步检测出图像数据中单颗料片的位置，并通过检出的单颗料片的位置对图像进行旋转矫正；
通过目标检测方法再次检测出旋转矫正后的单颗料片位置；
然后通过异常检测筛掉异常点位和偏离较多的点位；
通过点集匹配的方法将空位或破损严重料片中心补齐；
最后计算单颗料片的全局坐标，并将单颗料片图片通过固定切割尺寸提取出来。
2.根据权利要求1所述的方法，其特征在于，初步检测单颗料片位置前，对图像数据进行缩放处理，以加快图像处理速度。
3.根据权利要求1所述的方法，其特征在于，所述的目标检测方法包括使用深度学习网络训练出能够识别料片模型，对缩放处理后的图像进行检测以识别出单颗料片的中心位置；
具体的，先收集一定原始数据，接着对目标数据进行图像增强、滤波处理；然后使用软件将图片中的料片进行数据标注，同时标注易混淆的目标，在标注时，对图像进行剪裁缩放，标注处理过的图片；最后进行数据训练，得到可以稳定检测出目标外接矩形的模型，模型使用YoloV5网络结构，训练时所使用的损失函数为回归框误差和类别误差之和，其中损失函数OD_loss、回归框误差IOU_loss、类别误差CLS_loss对应公式为公式(1)(2)(3)所示：
OD_loss＝IOU_loss+CLS_loss (1)
CLS_loss＝-αt(1-pt)γlog(pt)-(1-αt)(pt)γlog(1-pt) (2)
4.根据权利要求1所述的方法，其特征在于，所述的旋转矫正是使用目标检测方法检测出的单颗料片的中心点坐标，通过计算相邻近点位置与水平呈现的角度计算整张图片的偏转角度，并通过仿射变换对图像进行旋转矫正。
5.根据权利要求1所述的方法，其特征在于，所述的异常检测步骤中，先将图像中ROI区域外的点筛选掉，接着，将ROI以内的所有点位根据横坐标和纵坐标分别进行排序，当两点之间的纵坐标小于1/4行间距则认为在同一行，两点之间的横坐标小于1/4列间距则认为在同一列，分别将同一行、同一列中的坐标取均值，将同一行中偏离1/10单颗料片宽度的点位去除。
6.根据权利要求1所述的方法，其特征在于，所述点集匹配的方法包括点集的制作和根据点集进行匹配和补位；
其中，点集的制作包括寻找完整的图片保证全部能够通过目标检测出所有中心点，将料片所有点位按照先行后列的排序方式进行排列，并将所有中心点记录在点集文件中；
根据点集进行匹配和补位时，首先加载点集文件中的点集，通过对比点集模板与检测出的中心点的首行首列坐标，将点集模板移动到与检出中心点同样的位置，其移动公式如下所示，其中(xtemplate,ytemplate)为点集模板的坐标，(xpos,ypos)为检测图片中所有已经检出坐标；Dx为模板与检出中心点的横坐标距离，Dy为模板与检出中心点的纵坐标距离；
将检出的点集与点集模板同样先行后列的方式进行排序，遍历点集模板和检出的点集，对比点集模板和检出的点集，如果点集模板上的点和检出的点距离小于两颗料片的就筛除，则认为此点位存在漏检，将点集模板中漏检的料片中心填补上；
最后通过已检出的料片中心点位置对补位的中心点进行矫正，(xi,yi)为未检出料片的中心坐标，(xi-1,yi),(xi+1,yi),(xi,yi-1),(xi,yi+1)为未检出料片中心附近的料片中心坐标，其矫正公式为：
7.一种LED封装外观检测图像的提取装置，其特征在于，包括：
图像数据获取模块，用于获取LED封装外观检测图像，并对图像进行缩放以加快图像处理速度；
图像检测模块，用于初步检测出单颗料片的位置，获得单颗料片的中心点坐标；
异常检测模块，用于对获取的单颗料片的中心点坐标进行异常检测，并排除异常的单颗料片位置；
补位矫正模块，用于将LED封装外观检测图像上所有单颗料片补齐并矫正坐标；
输出模块，用于计算单颗料片的全局坐标并通过剪裁提取出所有单颗料片图片。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述的处理器执行所述计算机程序时实现权利要求1-6任意一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110571748.7A CN113192061B (zh) | 2021-05-25 | 2021-05-25 | Led封装外观检测图像的提取方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110571748.7A CN113192061B (zh) | 2021-05-25 | 2021-05-25 | Led封装外观检测图像的提取方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113192061A true CN113192061A (zh) | 2021-07-30 |
| CN113192061B CN113192061B (zh) | 2023-08-29 |
Family
ID=76984927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110571748.7A Active CN113192061B (zh) | 2021-05-25 | 2021-05-25 | Led封装外观检测图像的提取方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192061B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463272A (zh) * | 2021-12-31 | 2022-05-10 | 江西省通讯终端产业技术研究院有限公司 | 一种基于机器视觉与高光谱成像技术的led巨量分选方法、系统及设备 |
| CN116777906A (zh) * | 2023-08-17 | 2023-09-19 | 常州微亿智造科技有限公司 | 工业检测中的异常检测方法、异常检测装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN108776140A (zh) * | 2018-06-08 | 2018-11-09 | 福建新大陆电脑股份有限公司 | 一种基于机器视觉的印刷品瑕疵检测方法及系统 |
| CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
| CN112053318A (zh) * | 2020-07-20 | 2020-12-08 | 清华大学 | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 |
-
2021
- 2021-05-25 CN CN202110571748.7A patent/CN113192061B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN108776140A (zh) * | 2018-06-08 | 2018-11-09 | 福建新大陆电脑股份有限公司 | 一种基于机器视觉的印刷品瑕疵检测方法及系统 |
| CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
| CN112053318A (zh) * | 2020-07-20 | 2020-12-08 | 清华大学 | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463272A (zh) * | 2021-12-31 | 2022-05-10 | 江西省通讯终端产业技术研究院有限公司 | 一种基于机器视觉与高光谱成像技术的led巨量分选方法、系统及设备 |
| CN116777906A (zh) * | 2023-08-17 | 2023-09-19 | 常州微亿智造科技有限公司 | 工业检测中的异常检测方法、异常检测装置 |
| CN116777906B (zh) * | 2023-08-17 | 2023-11-14 | 常州微亿智造科技有限公司 | 工业检测中的异常检测方法、异常检测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113192061B (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179225B (zh) | 一种基于灰度梯度聚类的试纸表面纹理缺陷检测方法 | |
| CN111161243B (zh) | 基于样本增强的工业产品表面缺陷检测方法 | |
| WO2021168733A1 (zh) | 缺陷图像的缺陷检测方法、装置及计算机可读存储介质 | |
| CN109472271B (zh) | 印刷电路板图像轮廓提取方法及装置 | |
| CN109767445B (zh) | 一种高精度的pcb缺陷智能检测方法 | |
| JP2018522293A (ja) | 線形クラスタリングに基づくマルチタイプのｂｇａチップの視覚識別方法 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| WO2021109697A1 (zh) | 字符分割方法、装置以及计算机可读存储介质 | |
| CN115131348B (zh) | 一种纺织品表面缺陷的检测方法及系统 | |
| CN113298769B (zh) | Fpc软排线外观缺陷检测方法、系统和介质 | |
| CN110047063B (zh) | 一种物料掉落的检测方法、装置、设备及存储介质 | |
| CN113034464A (zh) | 一种多背景下的液晶显示器缺陷视觉实时检测方法 | |
| CN112308854A (zh) | 一种芯片表面瑕疵的自动检测方法、系统及电子设备 | |
| CN110570422A (zh) | 一种基于矩阵分析的胶囊缺陷视觉检测方法 | |
| CN113192061A (zh) | Led封装外观检测图像的提取方法、装置、电子设备和存储介质 | |
| CN110781913A (zh) | 一种拉链布带缺陷检测方法 | |
| CN113112396B (zh) | 导电粒子的检测方法 | |
| CN114708234A (zh) | 一种识别自动卡口编码一体机上雷管数量的方法及装置 | |
| CN112419225B (zh) | 一种基于引脚分割的sop型芯片检测方法及系统 | |
| CN110516725B (zh) | 基于机器视觉的木板条纹间距和颜色的检测方法 | |
| CN117237747B (zh) | 基于人工智能的五金件缺陷分类识别方法 | |
| CN108898584B (zh) | 一种基于图像分析的全自动贴面电容装焊极性判别方法 | |
| CN114581447B (zh) | 一种基于机器视觉的运输皮带跑偏识别方法和装置 | |
| CN112069974A (zh) | 一种识别元器件缺损的图像识别方法及其系统 | |
| CN112837285A (zh) | 一种板面图像的边缘检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |