[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110796646A - 一种电子设备屏幕区域瑕疵检测方法与设备 - Google Patents

一种电子设备屏幕区域瑕疵检测方法与设备 Download PDF

Info

Publication number
CN110796646A
CN110796646A CN201911032879.7A CN201911032879A CN110796646A CN 110796646 A CN110796646 A CN 110796646A CN 201911032879 A CN201911032879 A CN 201911032879A CN 110796646 A CN110796646 A CN 110796646A
Authority
CN
China
Prior art keywords
screen area
electronic device
network
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911032879.7A
Other languages
English (en)
Inventor
徐鹏
沈圣远
常树林
姚巨虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yueyi Network Information Technology Co Ltd
Original Assignee
Shanghai Yueyi Network Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yueyi Network Information Technology Co Ltd filed Critical Shanghai Yueyi Network Information Technology Co Ltd
Priority to CN201911032879.7A priority Critical patent/CN110796646A/zh
Publication of CN110796646A publication Critical patent/CN110796646A/zh
Priority to PCT/CN2020/120881 priority patent/WO2021082923A1/zh
Priority to JP2022502026A priority patent/JP2022539910A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请的目的是提供一种电子设备屏幕区域瑕疵检测方法与设备。与现有技术相比，本申请通过获取电子设备的包含屏幕区域的外观图像；提取所述外观图像中的屏幕区域图像；将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度，能够准确地识别二手电子设备如手机的屏幕区域的瑕疵差异。

Description

一种电子设备屏幕区域瑕疵检测方法与设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种电子设备屏幕区域瑕疵检测方法与设备。
背景技术
由于基于传统图像处理方式在很大程度上依赖于阈值的选取，而二手电子设备如手机等的屏幕区域由于在成色、外观、老化程度等各个方面都有不同程度的差异，故很难给出确定的阈值，因此基于传统图像处理方式的在本屏幕区域瑕疵检测中不适用。
发明内容
本申请的目的是提供一种电子设备屏幕区域瑕疵检测方法与设备。
根据本申请的一个方面，提供了一种电子设备屏幕区域瑕疵检测方法，所述方法包括：
获取电子设备的包含屏幕区域的外观图像；
提取所述外观图像中的屏幕区域图像；
将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；
从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。
进一步地，其特征在于，所述提取所述外观图像中的屏幕区域图像包括：
统计所述外观图像的图片颜色直方图；
基于所述图片颜色直方图对图像上的所有像素值做聚类，确定多个聚类区域；
判断每个聚类区域的邻域，统计最大的连通域作为所述电子设备的屏幕区域；
提取所述电子设备的屏幕区域。
进一步地，所述提取所述电子设备的屏幕区域包括：
基于opencv实现的方式，计算所述屏幕区域的最小外接矩形，以提取所述屏幕区域。
进一步地，其特征在于，所述基于所述图片颜色直方图对图像上的所有像素值做聚类，确定多个聚类区域包括：
基于所述图片颜色直方图确定聚类中心；
基于图像上的所有像素值与所述聚类中心的关系，确定聚类区域。
进一步地，所述聚类中心通过颜色直方图中所有像素的中位数来确定。
进一步地，其特征在于，所述判断每个聚类区域的邻域，统计最大的连通域作为所述电子设备的屏幕区域包括：
判断每个区域的8邻域，将小于像素阈值的邻域确定为同一连通域；
将具有最大连通域的区域确定为所述电子设备的屏幕区域。
进一步地，其中，所述backbone网络的前2层采用res结构，网络的后2层采用inception结构。
进一步地，其中，从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域的瑕疵检测结果之后，还包括：
识别所述瑕疵检测结果的置信度是否大于第一预设阈值，
若大于所述第一预设阈值，则输出包括电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置的结果信息。
进一步地，其中，将所述电子设备的屏幕区域图像输入FPN网络结合backbone网络的模型之前，还包括：
步骤一，预设FPN网络结合backbone网络的模型及其初始的模型参数；
步骤二，将样本电子设备的屏幕区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型，得到样本电子设备的屏幕区域的瑕疵预测结果，所述瑕疵预测结果包括：样本电子设备的屏幕区域的瑕疵种类、瑕疵在样本电子设备的屏幕区域中的位置和瑕疵检测结果的置信度；
步骤三，基于预设目标函数计算所述瑕疵预测结果与样本电子设备的屏幕区域的真实瑕疵结果之间的差值，识别所述差值是否大于第二预设阈，
若所述差值大于第二预设阈值，则步骤四，基于所述差值更新所述FPN网络结合backbone网络的模型参数后，重新从步骤二开始执行；
若所述差值小于等于第二预设阈值，则步骤五，将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
进一步地，其中，所述FPN网络结合backbone网络的模型中每一次卷积计算完成后迭代更新归一化的参数。
根据本申请的另一方面，还提供了一种电子设备屏幕区域瑕疵检测设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取电子设备的包含屏幕区域的外观图像；提取所述外观图像中的屏幕区域图像；将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。
根据本申请的再一方面，还提供了一种计算机可读介质，其中，
其上存储有计算机可读指令，其中，该计算机可执行指令被处理器执行时使得该处理器：获取电子设备的包含屏幕区域的外观图像；提取所述外观图像中的屏幕区域图像；将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。
与现有技术相比，本申请通过获取电子设备的包含屏幕区域的外观图像；提取所述外观图像中的屏幕区域图像；将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度，能够准确地识别二手电子设备如手机的屏幕区域的瑕疵差异。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种电子设备屏幕区域瑕疵检测的方法流程图；
图2示出本发明一实施例的屏幕区域瑕疵检测结果的示意图；
图3示出本发明一实施例的FPN网络结合backbone网络的模型的示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，系统各模块和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
为更进一步阐述本申请所采取的技术手段及取得的效果，下面结合附图及优选实施例，对本申请的技术方案，进行清楚和完整的描述。
图1示出本申请一个方面提供的一种用于电子设备屏幕区域瑕疵检测方法，其中，该方法包括：
S11获取电子设备的包含屏幕区域的外观图像；
S12提取所述外观图像中的屏幕区域图像；
S13将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；
S14从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。
在本申请中，所述方法通过设备1执行，所述设备1为计算机设备和/或云，所述计算机设备包括但不限于个人计算机、笔记本电脑、工业计算机、网络主机、单个网络服务器、多个网络服务器集；所述云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。
在此，所述计算机设备和/或云仅为举例，其他现有的或者今后可能出现的设备和/或资源共享平台如适用于本申请也应包含在本申请的保护范围内，在此，以引用的方式包含于此。
在该实施例中，在所述步骤S11中，设备1获取电子设备的包含屏幕区域的外观图像，在此，所述电子设备包括但不限于手机、PAD、智能手表等等终端设备，其中，屏幕区域是指电子设备的显示屏所在区域。例如，本申请的方法可以用于二手手机的屏幕区域的识别。
具体地，设备1可通过拍摄电子设备的正面的图像来获取电子设备的包含屏幕区域的外观图像，或者，设备1可以接收用户设备发送的电子设备的正面图像来实现对屏幕区域的识别。
继续在该实施例中，在所述步骤S12中，提取所述外观图像中的屏幕区域图像。具体地，由于获取到的外观图像包含屏幕区域及非屏幕区域，需要对屏幕区域进行识别并提取，以对屏幕区域的瑕疵做进一步检测。
优选地，其中，所述步骤S12包括：
S121(未示出)统计所述外观图像的图片颜色直方图；
S122(未示出)基于所述图片颜色直方图对图像上的所有像素值做聚类，确定多个聚类区域；
S123(未示出)判断每个聚类区域的邻域，统计最大的连通域作为所述电子设备的屏幕区域；
S124(未示出)提取所述电子设备的屏幕区域。
在该实施例中，在所述步骤S121中，统计所述外观图像的图片颜色直方图，具体地，可以基于现有的统计方式，来实现对包含屏幕区域的外观图像的图片颜色直方图的统计。
继续在该实施例中，在所述步骤S122中，基于所述图片颜色直方图对图像上的所有像素值做聚类，确定聚类区域。在此，由于电子设备的正面外观图像通常包含屏幕区域及非屏幕区域，因此，通常会确定出两个聚类区域。
优选地，其中，所述步骤S122包括：S1221(未示出)基于所述图片颜色直方图确定聚类中心；S1222(未示出)基于图像上的所有像素值与所述聚类中心的关系，确定聚类区域。
具体地，在所述步骤S1221中，设备1基于所述图片颜色直方图确定聚类中心，具体地，例如，可以通过图片颜色直方图确定出所有像素的均值，并将该均值作为聚类中心，进一步地，在所述步骤S1222中，通过聚类算法来确定聚类区域，例如，包括但不限于通过Kmeans聚类来实现。优选地，其中，所述聚类中心通过颜色直方图中所有像素的中位数来确定。
继续在该实施例中，在所述步骤S123中，判断每个聚类区域的邻域，统计最大的连通域作为所述电子设备的屏幕区域。在此，每个聚类区域的邻域包括但不限于4邻域或者8领域等等。
优选地，其中，所述步骤S123包括：判断每个区域的8邻域，将小于像素阈值的邻域确定为同一连通域；将具有最大连通域的区域确定为所述电子设备的屏幕区域。在此，所述像素阈值可以提前设定好，或者经过统计得出，在此，不做限定。
继续在该实施例中，在所述步骤S124中，提取所述电子设备的屏幕区域。当识别出电子设备的屏幕区域后，可以对该屏幕区域进行提取，例如，截取出该屏幕区域部分。
优选地，其中，所述步骤S124包括：基于opencv实现的方式，计算所述屏幕区域的最小外接矩形，以提取所述屏幕区域。
在该实施例中，可以通过最小外接矩形的方式提取屏幕区域，以用于针对屏幕区域做相应处理。在此，最小外接矩形对应的区域为屏幕区域。
继续在该实施例中，在所述步骤S13中，将电子设备的屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型。
在所述步骤S14中，从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。其中，瑕疵种类包括但不限于分层、透字、漏液、断线、亮点(亮斑)、色斑(发黄发青)等等。
所述FPN网络结合backbone网络的模型可如图3所示。其中，所述FPN网络结合backbone网络的模型中每一次卷积计算完成后迭代更新归一化的参数，其中，归一化参数包括均值和方差，通过归一化确保每次输入都在合理的范围内变化，在此，所述归一化的参数随着输入数据的更新不断更新。
在此，从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域的瑕疵检测结果，如图2所示，每个瑕疵检测结果包含cls，x1，y1，x2，y2，score，其中，cls是缺陷类型，x1，y1，x2，y2是屏幕区域区域图像中瑕疵所在位置的4个坐标，score为这个瑕疵的置信度。
本发明主要利用改进的特征金字塔(FPN)网络结合backbone网络的深度学习模型，能够准确地识别二手电子设备如手机的屏幕区域的瑕疵差异。
本发明的屏幕区域瑕疵检测方法一实施例中，所述backbone网络的前2层采用res结构，网络的后2层采用inception结构。
本发明的屏幕区域瑕疵检测方法一实施例中，步骤S14，从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域的瑕疵检测结果之后，还包括：
识别所述瑕疵检测结果的置信度是否大于第一预设阈值，
若大于所述第一预设阈值，则输出包括电子设备的屏幕的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置的结果信息。
本实施例通过识别所述瑕疵检测结果的置信度，可以从瑕疵检测结果中筛选出可靠的结果进行输出。
本发明的屏幕区域瑕疵检测方法一实施例中，将所述屏幕区域图像输入FPN网络结合backbone网络的模型之前，还包括：
步骤一，预设FPN网络结合backbone网络的模型及其初始的模型参数；
步骤二，将样本电子设备的屏幕区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型，得到样本电子设备的屏幕区域的瑕疵预测结果，所述瑕疵预测结果包括：样本电子设备的屏幕区域的瑕疵种类、瑕疵在样本电子设备的屏幕区域中的位置和瑕疵检测结果的置信度；
步骤三，基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值，识别所述差值是否大于第二预设阈，
若所述差值大于第二预设阈值，则步骤四，基于所述差值更新所述FPN网络结合backbone网络的模型参数后，重新从步骤二开始执行；
若所述差值小于等于第二预设阈值，则步骤五，将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
在此，通过识别所述差值是否大于第二预设阈，来循环训练FPN网络结合backbone网络的模型，能够得到可靠的模型。
根据本申请的另一方面，还提供了一种电子设备屏幕区域瑕疵检测设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取电子设备的包含屏幕区域的外观图像；提取所述外观图像中的屏幕区域图像；将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。
根据本申请的再一方面，还提供了一种计算机可读介质，其中，
其上存储有计算机可读指令，其中，该计算机可执行指令被处理器执行时使得该处理器：获取电子设备的包含屏幕区域的外观图像；提取所述外观图像中的屏幕区域图像；将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。
与现有技术相比，本申请通过获取电子设备的包含屏幕区域的外观图像；提取所述外观图像中的屏幕区域图像；将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度，能够准确地识别二手电子设备如手机的屏幕区域的瑕疵差异。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (12)

1.一种电子设备屏幕区域瑕疵检测方法，所述方法包括：
获取电子设备的包含屏幕区域的外观图像；
提取所述外观图像中的屏幕区域图像；
将屏幕区域图像输入训练结束后的FPN网络结合backbone网络的模型；
从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域图像的瑕疵检测结果，所述瑕疵检测结果包括：电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置和瑕疵检测结果的置信度。
2.根据权利要求1所述的方法，其特征在于，所述提取所述外观图像中的屏幕区域图像包括：
统计所述外观图像的图片颜色直方图；
基于所述图片颜色直方图对图像上的所有像素值做聚类，确定多个聚类区域；
判断每个聚类区域的邻域，统计最大的连通域作为所述电子设备的屏幕区域；
提取所述电子设备的屏幕区域。
3.根据权利要求2所述的方法，其特征在于，所述提取所述电子设备的屏幕区域包括：
基于opencv实现的方式，计算所述屏幕区域的最小外接矩形，以提取所述屏幕区域。
4.根据权利要求2所述的方法，其特征在于，所述基于所述图片颜色直方图对图像上的所有像素值做聚类，确定多个聚类区域包括：
基于所述图片颜色直方图确定聚类中心；
基于图像上的所有像素值与所述聚类中心的关系，确定聚类区域。
5.根据权利要求4所述的方法，其特征在于，所述聚类中心通过颜色直方图中所有像素的中位数来确定。
6.根据权利要求2所述的方法，其特征在于，所述判断每个聚类区域的邻域，统计最大的连通域作为所述电子设备的屏幕区域包括：
判断每个区域的8邻域，将小于像素阈值的邻域确定为同一连通域；
将具有最大连通域的区域确定为所述电子设备的屏幕区域。
7.根据权利要求1所述的方法，其中，所述backbone网络的前2层采用res结构，网络的后2层采用inception结构。
8.根据权利要求1所述的方法，其中，从所述FPN网络结合backbone网络的模型接收输出的电子设备的屏幕区域的瑕疵检测结果之后，还包括：
识别所述瑕疵检测结果的置信度是否大于第一预设阈值，
若大于所述第一预设阈值，则输出包括电子设备的屏幕区域的瑕疵种类、瑕疵在电子设备的屏幕区域中的位置的结果信息。
9.根据权利要求1所述的方法，其中，将所述电子设备的屏幕区域图像输入FPN网络结合backbone网络的模型之前，还包括：
步骤一，预设FPN网络结合backbone网络的模型及其初始的模型参数；
步骤二，将样本电子设备的屏幕区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型，得到样本电子设备的屏幕区域的瑕疵预测结果，所述瑕疵预测结果包括：样本电子设备的屏幕区域的瑕疵种类、瑕疵在样本电子设备的屏幕区域中的位置和瑕疵检测结果的置信度；
步骤三，基于预设目标函数计算所述瑕疵预测结果与样本电子设备的屏幕区域的真实瑕疵结果之间的差值，识别所述差值是否大于第二预设阈，
若所述差值大于第二预设阈值，则步骤四，基于所述差值更新所述FPN网络结合backbone网络的模型参数后，重新从步骤二开始执行；
若所述差值小于等于第二预设阈值，则步骤五，将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
10.根据权利要求1所述的方法，其中，所述FPN网络结合backbone网络的模型中每一次卷积计算完成后迭代更新归一化的参数。
11.一种计算机可读介质，其中，
其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至10任一项所述的方法。
12.一种用于电子设备屏幕区域识别的设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至10中任一项所述方法的操作。
CN201911032879.7A 2019-10-28 2019-10-28 一种电子设备屏幕区域瑕疵检测方法与设备 Pending CN110796646A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911032879.7A CN110796646A (zh) 2019-10-28 2019-10-28 一种电子设备屏幕区域瑕疵检测方法与设备
PCT/CN2020/120881 WO2021082923A1 (zh) 2019-10-28 2020-10-14 一种电子设备屏幕区域瑕疵检测方法与设备
JP2022502026A JP2022539910A (ja) 2019-10-28 2020-10-14 電子デバイススクリーンエリア瑕疵検査方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911032879.7A CN110796646A (zh) 2019-10-28 2019-10-28 一种电子设备屏幕区域瑕疵检测方法与设备

Publications (1)

Publication Number Publication Date
CN110796646A true CN110796646A (zh) 2020-02-14

Family

ID=69441639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911032879.7A Pending CN110796646A (zh) 2019-10-28 2019-10-28 一种电子设备屏幕区域瑕疵检测方法与设备

Country Status (3)

Country Link
JP (1) JP2022539910A (zh)
CN (1) CN110796646A (zh)
WO (1) WO2021082923A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680750A (zh) * 2020-06-09 2020-09-18 创新奇智(合肥)科技有限公司 图像识别方法、装置和设备
WO2021082918A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 屏幕外观瑕疵检测方法及设备
WO2021082921A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 电子设备背板外观瑕疵检测方法及设备
WO2021082923A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备
US11798250B2 (en) 2019-02-18 2023-10-24 Ecoatm, Llc Neural network based physical condition evaluation of electronic devices, and associated systems and methods
US11843206B2 (en) 2019-02-12 2023-12-12 Ecoatm, Llc Connector carrier for electronic device kiosk
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
US11989710B2 (en) 2018-12-19 2024-05-21 Ecoatm, Llc Systems and methods for vending and/or purchasing mobile phones and other electronic devices
US12033454B2 (en) 2020-08-17 2024-07-09 Ecoatm, Llc Kiosk for evaluating and purchasing used electronic devices

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445708B2 (en) 2014-10-03 2019-10-15 Ecoatm, Llc System for electrically testing mobile devices at a consumer-operated kiosk, and associated devices and methods
CA2966348C (en) 2014-10-31 2019-11-12 ecoATM, Inc. Systems and methods for recycling consumer electronic devices
AU2020221211A1 (en) 2019-02-12 2021-09-23 Ecoatm, Llc Kiosk for evaluating and purchasing used electronic devices
CN113569737B (zh) * 2021-07-28 2024-11-05 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN117036354B (zh) * 2023-10-09 2024-02-02 深圳市魔样科技有限公司 一种智能戒指显示屏幕检测方法
CN117058411B (zh) * 2023-10-13 2024-04-09 东声(苏州)智能科技有限公司 电池棱边外形瑕疵识别方法、装置、介质和设备
CN117890389B (zh) * 2024-03-14 2024-05-24 上海强华实业股份有限公司 精烧制品表面质量在线检测方法、设备及其存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894036A (zh) * 2016-04-19 2016-08-24 武汉大学 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005383A (ja) * 2002-04-19 2004-01-08 Sony Corp 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置
GB201511334D0 (en) * 2015-06-29 2015-08-12 Nokia Technologies Oy A method, apparatus, computer and system for image analysis
US11210777B2 (en) * 2016-04-28 2021-12-28 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions
CN107123111B (zh) * 2017-04-14 2020-01-24 惠州旭鑫智能技术有限公司 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN109711474B (zh) * 2018-12-24 2023-01-17 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109978875A (zh) * 2019-04-03 2019-07-05 无锡立赫智能科技有限公司 一种电容器外观缺陷识别方法及识别装置
CN110349135A (zh) * 2019-06-27 2019-10-18 歌尔股份有限公司 目标检测方法和装置
CN110796646A (zh) * 2019-10-28 2020-02-14 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备
CN110796647A (zh) * 2019-10-28 2020-02-14 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894036A (zh) * 2016-04-19 2016-08-24 武汉大学 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法
CN109859163A (zh) * 2018-12-19 2019-06-07 重庆邮电大学 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周文一 等: "复杂场景下在建建筑区域识别方法", 《计算机系统应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989710B2 (en) 2018-12-19 2024-05-21 Ecoatm, Llc Systems and methods for vending and/or purchasing mobile phones and other electronic devices
US11843206B2 (en) 2019-02-12 2023-12-12 Ecoatm, Llc Connector carrier for electronic device kiosk
US11798250B2 (en) 2019-02-18 2023-10-24 Ecoatm, Llc Neural network based physical condition evaluation of electronic devices, and associated systems and methods
WO2021082918A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 屏幕外观瑕疵检测方法及设备
WO2021082921A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 电子设备背板外观瑕疵检测方法及设备
WO2021082923A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备
CN111680750A (zh) * 2020-06-09 2020-09-18 创新奇智(合肥)科技有限公司 图像识别方法、装置和设备
CN111680750B (zh) * 2020-06-09 2022-12-06 创新奇智(合肥)科技有限公司 图像识别方法、装置和设备
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
US12033454B2 (en) 2020-08-17 2024-07-09 Ecoatm, Llc Kiosk for evaluating and purchasing used electronic devices

Also Published As

Publication number Publication date
JP2022539910A (ja) 2022-09-13
WO2021082923A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN110796646A (zh) 一种电子设备屏幕区域瑕疵检测方法与设备
US12051258B2 (en) Image processing to detect a rectangular object
CN110827244A (zh) 一种用于电子设备外观瑕疵检测的方法与设备
CN110675399A (zh) 屏幕外观瑕疵检测方法及设备
CN110827249A (zh) 电子设备背板外观瑕疵检测方法及设备
US8725490B2 (en) Virtual universal translator for a mobile device with a camera
CN110827248A (zh) 一种电子设备屏幕区域识别方法与设备
US8374454B2 (en) Detection of objects using range information
CN110796647A (zh) 一种电子设备屏幕区域瑕疵检测方法与设备
US20140286542A1 (en) Methods and systems for determining image processing operations relevant to particular imagery
CN110827246A (zh) 电子设备边框外观瑕疵检测方法及设备
CN111175318A (zh) 屏幕划痕碎裂检测方法及设备
US20090103814A1 (en) Information Processing Apparatus, Information Processing Method, and Program
CN111028276A (zh) 图像对齐方法、装置、存储介质及电子设备
CN111401238A (zh) 一种视频中人物特写片段的检测方法及装置
CN110895811A (zh) 一种图像篡改检测方法和装置
CN113129298A (zh) 文本图像的清晰度识别方法
US11087121B2 (en) High accuracy and volume facial recognition on mobile platforms
CN108776959B (zh) 图像处理方法、装置及终端设备
CN114140427B (zh) 一种物体检测方法及装置
CN111784607B (zh) 图像色调映射方法、装置、终端设备及存储介质
CN111178346B (zh) 文字区域的定位方法、装置、设备及存储介质
WO2022125127A1 (en) Detection of image space suitable for overlaying media content
CN111292374A (zh) 一种自动插拔usb接口的方法及设备
CN113807145A (zh) 一种人脸识别的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1101-1103, No. 433, Songhu Road, Yangpu District, Shanghai

Applicant after: Shanghai wanwansheng Environmental Protection Technology Group Co.,Ltd.

Address before: Room 1101-1103, No. 433, Songhu Road, Yangpu District, Shanghai

Applicant before: SHANGHAI YUEYI NETWORK INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214

RJ01 Rejection of invention patent application after publication