CN117274251B - 基于图像数据的药品生产过程中药片质量检测方法 - Google Patents
基于图像数据的药品生产过程中药片质量检测方法 Download PDFInfo
- Publication number
- CN117274251B CN117274251B CN202311542082.8A CN202311542082A CN117274251B CN 117274251 B CN117274251 B CN 117274251B CN 202311542082 A CN202311542082 A CN 202311542082A CN 117274251 B CN117274251 B CN 117274251B
- Authority
- CN
- China
- Prior art keywords
- tablet
- gradient
- image
- edge
- tablets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 239000003814 drug Substances 0.000 title claims abstract description 24
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 18
- 230000002950 deficient Effects 0.000 claims abstract description 27
- 230000005856 abnormality Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 61
- 230000007547 defect Effects 0.000 claims description 48
- 238000003708 edge detection Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 27
- 229940079593 drug Drugs 0.000 claims description 11
- 230000005484 gravity Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 239000000825 pharmaceutical preparation Substances 0.000 claims 1
- 229940127557 pharmaceutical product Drugs 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 238000003672 processing method Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000843 powder Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007905 drug manufacturing Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010171 animal model Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009475 tablet pressing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域,具体涉及基于图像数据的药品生产过程中药片质量检测方法,包括:采集药片图像并得到灰度图像;获取每个药片的连通域面积并得到差异率,根据差异率得到缺陷药片;获取缺陷药片的边缘像素点并得到拐点和插值点;根据插值点与相邻边缘像素点的斜率差异得到最优窗口尺寸;根据最优窗口尺寸得到放大后的灰度图像;获取梯度像素点;根据相邻梯度像素点的斜率差异进行分类得到斜率差异的分类结果并得到信息特征;根据信息特征得到残缺药片;根据残缺药片的信息特征得到所有药片的异常程度,根据异常程度得到质量检测结果。本发明图像处理的方法,提高了残缺药片的判断的准确性。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及基于图像数据的药品生产过程中药片质量检测方法。
背景技术
药片的质量检测是制药过程中的关键环节,它直接影响到药品的安全性和有效性。目前,药片质量检测的主要方法包括物理检测、化学检测和生物检测。物理检测主要包括外观检查、重量测定、尺寸测量等,可以初步了解药片的形状、大小、重量等情况。化学检测则可以通过色谱仪、质谱仪等仪器对药物成分进行分析,已确定药物的纯度和含量。生物检测是利用动物模型或细胞系来评估药物的毒性和安全性。在生产加工过程中,不可避免会产生各种各样的缺陷,例如断裂、漏印、异色及长短不一等。
药片的缺陷检测的结果的好坏直接影响着药片的质量,在机器视觉的检测过程中因为药片的体积较小,再加上图像质量问题,药片缺失或者药片上的污渍等缺陷在图像中可能会出现在一个区域,导致无法清楚的去辨别药片的具体类型,会导致对药片的物理检测的结果不准确,不能达到对药片表面质量的检测准确度,导致对药片的后续加工出现问题。
发明内容
本发明提供基于图像数据的药品生产过程中药片质量检测方法,以解决现有的问题。
本发明的基于图像数据的药品生产过程中药片质量检测方法采用如下技术方案:
本发明一个实施例提供了基于图像数据的药品生产过程中药片质量检测方法,该方法包括以下步骤:
采集药片图像,对药片图像进行灰度化和高斯滤波平滑预处理,得到灰度图像;
对灰度图像使用阈值分割得到每个药片的连通域面积,根据每个药片的连通域面积得到每个药片的差异率,根据每个药片的差异率得到缺陷药片;
对缺陷药片的灰度图像进行边缘检测得到药片边缘检测图像,获取药片边缘检测图像中的若干边缘像素点,根据药片的边缘像素点得到拐点;对药片边缘检测图像进行插值得到待填充梯度图像,根据待填充梯度图像得到插值点和标记插值点,对缺陷药片的灰度图像进行插值得到待填充灰度图像;
根据标记插值点与相邻边缘像素点之间的斜率差异、标记插值点对应的窗口内左右相邻边缘像素点之间梯度幅值的差异以及标记插值点与相离最近的一个拐点之间的距离得到最优窗口尺寸;
根据最优窗口尺寸和待填充灰度图像得到放大后的灰度图像;对放大后的灰度图像进行边缘检测得到所有梯度像素点,根据相邻梯度像素点的斜率差异进行分类得到斜率差异的分类结果;根据斜率差异的分类结果得到药片边缘梯度像素点的斜率差异的信息特征;获取药片边缘梯度像素点的斜率差异的信息特征大于等于预设阈值q所对应的药片,记为残缺药片;
根据残缺药片的信息特征得到所有药片的异常程度,根据异常程度得到质量检测结果。
进一步地,所述对灰度图像使用阈值分割得到每个药片的连通域面积,包括的具体步骤如下:
对灰度图像使用大津阈值分割,得到每个药片的连通域面积。
进一步地,所述每个药片的差异率的具体获取步骤如下:
通过每个药片的连通域面积与完整药片的连通域面积的比值得到每个药片的差异率;其中,完整药片是没有缺陷没有残缺的药片。
进一步地,所述缺陷药片具体获取步骤如下:
当每个药片的差异率大于预设差异率阈值H,则药片存在缺陷;反之,当每个药片的差异率小于等于预设差异率阈值H,则药片不存在缺陷。
进一步地,所述对缺陷药片的灰度图像进行边缘检测得到药片边缘检测图像,获取药片边缘检测图像中的若干边缘像素点,根据药片的边缘像素点得到拐点;对药片边缘检测图像进行插值得到待填充梯度图像,根据待填充梯度图像得到插值点和标记插值点,对缺陷药片的灰度图像进行插值得到待填充灰度图像,包括的具体步骤如下:
对缺陷药片的灰度图像进行sobel边缘检测,得到药片边缘检测图像;对药片边缘检测图像中的任意相邻行插入空白行、任意相邻列插入空白列,得到待填充梯度图像;其中,将插入的像素点记为插值点;获取药片边缘检测图像中的边缘像素点,将待填充梯度图像中相邻边缘像素点之间的直线连线上的插值点记为标记插值点,依次,获取待填充梯度图像中所有的标记插值点;
获取药片边缘检测图像中的边缘和边缘像素点,从离药片边缘检测图像左上角像素点最近的边缘上的一个边缘像素点开始依次遍历边缘上的所有边缘像素点,遍历到的所有边缘像素点梯度幅值构成一个序列,记为拟合序列,对拟合序列中所有数据的梯度幅值使用最小二乘法通过多项式函数进行拟合,将拟合后的函数曲线记为,x表示函数曲线的自变量,对拟合曲线/>进行曲线的二阶求导,使得/>时的边缘像素点作为曲线的拐点,即得到所有的拐点。
进一步地,所述最优窗口尺寸具体获取步骤如下:
最优窗口尺寸的目标函数如下:
式中,表示第i个标记插值点与相邻两个边缘像素点之间斜率的差异,/>表示以第i个标记插值点为窗口中心的窗口内所有标记插值点与相邻两个边缘像素点之间斜率的差异的平均值,差异表示斜率差值的绝对值,N表示灰度图像中标记插值点的个数,/>表示以第i个标记插值点为窗口中心的窗口内所有中心点左侧相邻边缘像素点之间梯度幅值的差异的均值,/>表示以第i个标记插值点为窗口中心的窗口内所有中心点右侧相邻边缘像素点之间梯度幅值的差异的均值,/>表示以自然常数为底的指数函数,/>表示第i个标记插值点与相离最近拐点之间的距离,/>表示预设迭代的初始的窗口尺寸;/>表示选取最优窗口尺寸的目标函数;
选取E为最小时所对应的窗口尺寸为最优窗口尺寸。
进一步地,所述根据最优窗口尺寸和待填充灰度图像得到放大后的灰度图像,包括的具体步骤如下:
记最优卷积窗口的尺寸为L1,获取以每个插值点为窗口中心点,以L1为窗口尺寸的窗口,将窗口内除了插值点之外所有像素点的灰度均值作为中心点的灰度值,依次获取所有插值点的灰度值,将插值点的灰度值填充到待填充灰度图像中得到放大后的灰度图像。
进一步地,所述对放大后的灰度图像进行边缘检测得到所有梯度像素点,根据相邻梯度像素点的斜率差异进行分类得到斜率差异的分类结果,包括的具体步骤如下:
采用sobel算子对放大后的灰度图像进行边缘检测,将边缘检测后边缘线上的边缘像素点记为梯度像素点;计算相邻梯度像素点之间斜率差异,对相邻梯度像素点之间斜率差异进行分类,斜率差异相同则为同一类别。
进一步地,所述药片边缘梯度像素点的斜率差异的信息特征具体获取步骤如下:
式中,表示相邻梯度像素点之间的斜率差异,/>表示第j类相邻梯度像素点之间的斜率差异的数量,/>表示相邻梯度像素点之间的斜率差异的类别个数,/>表示梯度像素点数量,/>表示药片边缘梯度像素点的斜率差异的信息特征,/>表示以自然常数为底的对数函数,/>表示双曲线正切函数。
进一步地,所述根据残缺药片的信息特征得到所有药片的异常程度,根据异常程度得到质量检测结果,包括的具体步骤如下:
异常程度的公式为:
式中,表示第t个残缺药片的边缘梯度像素点的斜率差值的信息特征,/>表示第t个残缺药片的药片区域像素点个数在灰度图像中所有像素点中的比重,/>表示所有残缺药片的数量,/>表示所有残缺药片的异常程度;
当药片的异常程度Z大于等于预设阈值时,则药片质量检测结果不合格;当所有药片的异常程度Z小于预设阈值/>时,则药片质量检测结果合格。
本发明的技术方案的有益效果是:由于药片在生产传送的过程中,药片的表面可能会粘黏一些粉末或者其他的东西形成药片表面的污渍缺陷,污渍缺陷和药片的碎片缺陷混合在一起,又因为图片质量问题无法精准对药片表面缺陷进行识别,用图像金字塔中的插值,将原图像进行放大,但是要去保留药片边缘的细节纹理,在插值的过程中尽量避开药片边缘的拐点位置,因为拐点信息在一定程度上表示着药片的边缘纹理信息,保证这部分信息不会在插值后失真。通过去迭代卷积窗口尺寸,使不同的插值点去自适应卷积窗口,插值点越靠近拐点位置,使得卷积窗口的尺寸越小,通过目标函数获取插值点的自适应最优卷积窗口,然后对图像进行插值,插值后的图像进行边缘检测,通过对异常像素点代表的纹理信息分析判别药片表面的缺陷类型。插值过程中通过插值点的自适应窗口的卷积结果去填充插值的空白格,在一定程度上保证了药片的边缘纹理信息在放大的过程中不会失真,有效的边缘纹理信息可以保证对药片的边缘检测更加准确,更多的边缘纹理信息有利于对药片表面破损或者污渍的缺陷的识别,达到对药片表面缺陷的检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于图像数据的药品生产过程中药片质量检测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于图像数据的药品生产过程中药片质量检测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于图像数据的药品生产过程中药片质量检测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于图像数据的药品生产过程中药片质量检测方法的步骤流程图,该方法包括以下步骤:
步骤S001:采集生产的药片图像,对图像进行预处理。
需要说明的是,药片在生产的过程中一般都是生产线上的流程,尽可能的避免认为的接触生产,药物属于化学制品,人为的接触在一定程度上也会影响药片的质量。在流水线方式的工作中,药片需要在流水线中不断的进行传输,在这个过程中运输板的振动次数比较多,圆形药片一般都是面积较大的一面停留在流水线中,对已经压片完成的流水线上的药片进行图像采集。由于图像收到拍摄环境的影响,图像中可能会出现一些随机的噪声,为了使得后续的操作能够更加准确,需要对图像中的噪声进行处理,这里用高斯滤波器对图像中的噪声的进行去除,减少后续的计算量,为后续的操作提供较好的数据支持。
具体地,在药片生产的装置流水线的上方安装一个相机,使得药片在流到相机的正下方时候进行对药片图像的采集,得到药片图像;然后对药片图像进行灰度化和高斯滤波平滑预处理,得到处理后的灰度图像。
至此,得到灰度图像。
步骤S002:先筛选出缺陷药片,对存在缺陷药片的灰度图像进行插值得到待填充梯度图像,根据存在缺陷药片的灰度图像得到拐点,根据拐点和待填充梯度图像中的梯度数据得到最优窗口尺寸。
(1)筛选出缺陷药片。
在灰度图像中,检测物体只会表现出明暗的变化,为了使得采集到的图像较少受到拍摄环境的影响,应该将待测物体的背景图像剥离出来,这也为后续的处理计算提供较好的支持,因此将采集到的图像利用经验阈值对生产线上的药片进行分割,并获取当前视角下的药片边缘。公知技术不展开描述。
需要说明的是,因为相机在装置台上的位置固定,并且与传输板的高度也已经固定,此时传输板上会有正常的药片或者和存在缺陷的药片,因为药片的体积较小,缺陷的可视化程度较低,对所有的药片都进行操作,就会使得计算冗余。首先就要区分正常药片和存在缺陷的药片,主要针对传输板上的异常药片进行分析。由于固定相机高度下的药片的大小是确定的,可以用阈值进行筛选:选取正常药片大小的模板,与采集到的图像中的药片进行对比。
具体地,在实际中药片也有多种形状,因此本实施例以形状为圆形的药片为例进行叙述,本实施例不进行具体限定。使用大津阈值分割,得到每个药片的连通域面积,即得到所有药片的连通域面积大小,分别与完整药片的连通域面积大小进行比值计算,得到用相机采集的每个药片的连通域面积与完整药片的连通域面积的差异率。预设一个差异率阈值为H,其中本实施例以H=2%为例进行叙述,本实施例不进行具体限定,其中H可根据具体实施情况而定。当每个药片的连通域面积与完整药片的连通域面积的差异率大于差异率阈值H,认为药片存在缺陷;反之,当每个药片的连通域面积与完整药片的连通域面积的差异率小于等于差异率阈值H,认为药片不存在缺陷。
至此,得到缺陷药片。
(2)对缺陷药片的灰度图像进行插值得到待填充梯度图像,根据存在缺陷药片的灰度图像得到拐点。
需要说明的是,正常药片的边缘应该是连续的,并且边缘像素点之间的变化程度很小,缺陷形成的区域会使得原本的边缘特征破坏,即缺陷区域的边缘像素点之间的变化较为剧烈。药片较小,像素点表达较少,为了更好的观测药片边缘究竟是破损缺陷导致的齿边,还是污渍污染导致分割不完整的包边,我们利用图像金字塔对缺陷区域的边缘像素点进行上采样放大。
进一步需要说明的是,为了更加方便对药片边缘中缺陷的检测,使用一种简单而直观的插值方法,需要选取双线性插值进行插值。
具体地,对缺陷药片的灰度图像中的任意相邻行中插入空白行、相邻列中插入空白列,得到待填充灰度图像;其中,将插入的像素点记为插值点。
对缺陷药片的灰度图像进行sobel边缘检测,得到药片边缘检测图像;对药片边缘检测图像中的任意相邻行插入空白行、任意相邻列插入空白列,得到待填充梯度图像;其中,将插入的像素点记为插值点;获取药片边缘检测图像中的边缘像素点,将待填充梯度图像中相邻边缘像素点之间的直线连线上的插值点记为标记插值点,依次,获取待填充梯度图像中所有的标记插值点。
获取药片边缘检测图像中的边缘和边缘像素点,从离药片边缘检测图像左上角像素点最近的边缘上的一个边缘像素点开始依次遍历边缘上的所有边缘像素点,遍历到的所有边缘像素点梯度幅值构成一个序列,记为拟合序列,对拟合序列中所有数据的梯度幅值使用最小二乘法通过五次多项式函数进行拟合,将拟合后的函数曲线记为,x表示函数曲线的自变量,对拟合曲线/>进行曲线的二阶求导,使得/>时的边缘像素点作为曲线的拐点,即得到所有的拐点。
(3)根据拐点和待填充梯度图像中的梯度数据得到最优窗口尺寸。
需要说明的是,未放大前的药片边缘拐点处信息表达更少,因此在用图像金字塔对图像进行放大的时候,需要尽可能的保留边缘拐点的信息完整。获取药片所检测边缘与拐点位置,然后在原图像中对应标记边缘线上所有像素点与拐点位置。
进一步需要说明的是,在原图像上进行上采样时,先在任意相邻行中插入空白行、相邻列中插入空白列,通过邻域差值的方式填充空白格,在此过程中插值用的卷积窗口尺寸对插值结果至关重要,对非药片边缘区域的插值采用任意尺寸的插值窗口即可,而药片边缘部分靠近拐点与远离拐点的边缘点,其插值窗口尺寸则需要特别设置,因为该处的像素表达较少,窗口尺寸不当会导致插值后拐点被平滑甚至消失。我们通过对插值点窗口尺寸的迭代,进而来分析边缘相邻空白格要插值的结果,通过分析卷积窗口的目标函数获取最优窗口的尺寸。
具体地,将空白格记为待处理的像素点。对每一个插值点卷积核的尺寸进行迭代,预设窗口的尺寸为L,窗口尺寸L从3开始向上奇数迭代,如5*5,7*7…,而在构建目标函数时并非对个体收敛,而是对边缘点相邻的所有插值点所设置的最优卷积窗口方案进行收敛。其中,在本实施例中,差异表示梯度幅值差值的绝对值。
则具体的最优窗口尺寸的目标函数如下:
式中,表示第i个标记插值点与相邻两个边缘像素点之间斜率的差异,/>表示以第i个标记插值点为窗口中心的窗口内所有标记插值点与相邻两个边缘像素点之间斜率的差异的平均值,差异表示斜率差值的绝对值,N表示灰度图像中标记插值点的个数,/>表示以第i个标记插值点为窗口中心的窗口内所有中心点左侧相邻边缘像素点之间梯度幅值的差异的均值,/>表示以第i个标记插值点为窗口中心的窗口内所有中心点右侧相邻边缘像素点之间梯度幅值的差异的均值,/>表示以自然常数为底的指数函数,/>表示第i个标记插值点与相离最近拐点之间的距离,/>表示预设迭代的初始的窗口尺寸;/>表示选取最优窗口尺寸的目标函数。
其中,表示所有标记插值点与之相邻两个元素的斜率差异的方差,差异表示斜率差值的绝对值,方差越小表示所有的标记插值点与之相邻两个边缘像素点的斜率差值越小,标记插值点与相邻边缘像素点的连续性较好并且在符合拐点之间所有点的延续方向,即表示该标记插值点与相邻边缘像素点的误差越小。/>表示第i个标记插值点窗口内左右相邻的边缘像素点的梯度幅值的差值绝对值的乘积,记为第一乘积;/>表示所有标记插值点与相邻边缘像素点第一乘积的平均值,平均值越大,说明乘积越大,即第i个标记插值点与相邻两个边缘像素点相比,标记插值点的梯度较大,标记插值点的灰度值与卷积核的尺寸相关,对标记插值点的梯度有一定的影响,对标记插值点与相邻像素点的误差也会产生影响。
标记插值点与拐点的距离越近,需要卷积核的尺寸越小,因为在插值的过程中我们需要保证拐点部分的信息不会失真,在药片的边缘上,拐点信息代表着图像中边缘纹理信息,在一定程度上表示着缺陷区域的纹理信息,因此插值卷积核的窗口应该随着标记插值点与拐点的距离变小而变小,当标记插值点与拐点的距离越远,那么此时标记插值点卷积核窗口应该越大,尽可能的去保留边缘部分的信息。
为了保证卷积核的窗口不会太大,因此在上述目标函数中加入惩罚项,其中/>表示标记插值点与拐点的距离和窗口尺寸的比值,/>在无特殊限定时比值接近1时最为合适,符合标记插值点窗口尺寸随着与拐点的距离变化而变化的逻辑。当标记插值点远离拐点时,代表标记插值点所在边缘处较长,信息完整,因此卷积窗口尺寸影响不大,但当标记插值点靠近拐点时,窗口尺寸不可以太大,因此惩罚项主要针对此类情况。N表示标记插值点的个数,存在N个标记插值点,即存在N个标记插值点与拐点之间的距离D,对应的窗口尺寸也存在N个,/>表示标记插值点卷积窗口的平均值;用/>作为目标函数的惩罚项来保证标记插值点距离拐点距离近的时候,卷积窗口不会太大而导致结果出现误差。当窗口F越大,则惩罚项越大。
当E的输出值为最小时,代表目标函数收敛,也代表此时边缘上标记插值点的窗口尺寸方案最优。
至此,得到最优窗口尺寸。
步骤S003:根据待填充灰度图像和最优窗口尺寸得到放大后的灰度图像,根据放大后的灰度图像进行分析处理得到药片边缘梯度像素点的斜率差值的信息特征。
在得到插值点的最优窗口尺寸之后,对灰度图像进行放大,具体过程为:
记最优卷积窗口的尺寸为L1,获取以每个插值点为窗口中心点,以L1为窗口尺寸的窗口,将窗口内除了插值点之外所有像素点的灰度均值作为中心点的灰度值,依次获取所有插值点的灰度值,将插值点的灰度值填充到待填充灰度图像中得到放大后的灰度图像。
需要说明的是,经过插值操作之后,原本的灰度图像在一定程度上放大了,并且上述操作保证了边缘信息没有失真,可以更好的观察边缘信息并且对缺陷区域进行分析,首先对图像进行阈值分割,将背景与图像进行分割,然后对放大后的灰度图像进行边缘检测,然后进行分析。
具体地,采用sobel算子对放大后的灰度图像进行边缘检测,将边缘检测后边缘线上的边缘像素点记为梯度像素点。计算相邻梯度像素点之间斜率差异,对相邻梯度像素点之间斜率差异进行分类,斜率差异相同则为同一类别,将最终分的类别个数记为p。则根据相邻梯度像素点之间斜率差异的类别得到药片边缘梯度像素点的斜率差值的信息特征,药片边缘梯度像素点的斜率差异的信息特征的公式可表示为:
式中,表示相邻梯度像素点之间的斜率差异,/>表示第j类相邻梯度像素点之间的斜率差异的数量,/>表示相邻梯度像素点之间的斜率差异的类别个数,/>表示梯度像素点数量,/>表示药片边缘梯度像素点的斜率差异的信息特征,/>表示以自然常数为底的对数函数,/>表示双曲线正切函数。
其中,表示第j类斜率差异的数量在所有斜率差异总数中的概率,表示药片梯度像素点的斜率差值的信息特征,表示的是药片梯度像素点的的变化混乱度。熵值越大,表示梯度像素点的变化越混乱,熵值越大,越能代表属于碎片缺陷,药片边缘发生缺失,边缘处会存在明显的毛刺状边缘;熵值越小,越能代表属于污渍缺陷,药片在传送板上粘黏粉末或者其他东西,在药片的边缘处会存在类似于油污状的缺陷,但是药片整体是比较完整的,因此边缘的变化混乱度会较小,即熵值会越小。利用th函数将/>进行归一化处理,得到一个在0到1之间的结果。
预设一个判定阈值q,其中本实施例以q=0.4为例进行叙述,本实施例不进行具体限定,其中q可根据具体实施情况而定。当时,则认为药片的缺陷区域是碎片缺陷造成的,记为残缺药片;当/>时,则认为药片的缺陷区域是污渍缺陷造成的,记为污渍药片。
至此,得到所有的残缺药片。
步骤S004:对所有药片进行质量检测。
需要说明的是,药片在生产过程中质量检测也是较为重要的一个环节,由于药片长时间在传送板上运输,会粘黏上药品粉末或者其他东西形成污渍,污渍在图像中可能会与药片的碎片缺陷重叠在一起难以分辨,我们需要将图像在保留边缘信息的前提下进行放大,使得我们对图像的边缘检测更加准确,通过对药片边缘的分析来判断具体的缺陷类型,然后根据不同的缺陷类型对生产中的药片剔除并且进行后续处理。在本实施例中从药品的安全性和有效性,则和上述得到缺陷区域的造成原因结合考虑,可以得到相对缺陷区域造成的影响,药片污渍缺陷造成的影响相对说较大,原因是药片污渍缺陷中可能参杂其他药的成分,当一个药片中掺杂上其他药的成分时,该药的安全性和有效性上不敢保证,因此,将通过分析药片缺陷是由于那种曲线造成后,对不同的缺陷使用不同的权重,最后得到最终所有缺陷药片的质量检测结果。
具体地,获取不同缺陷区域药片的边缘梯度像素点的斜率差值的信息特征,在计算得到残缺药片像素点个数在灰度图像中所有像素点中的比重,记为G,根据边缘梯度像素点的斜率差值的信息特征和缺陷区域像素点个数在灰度图像中所有像素点中的比重得到检测的一批药片的异常程度,具体可用公式表示为:
式中,表示第t个残缺药片的边缘梯度像素点的斜率差值的信息特征,/>表示第t个残缺药片的药片区域像素点个数在灰度图像中所有像素点中的数量占比,/>表示所有残缺药片的数量,/>表示所有残缺药片的异常程度。
其中,当越小,即缺陷区域越是污渍缺陷造成的,则/>就越大,表明这一批药品的质量检测结果越是异常;且一批药片中污渍缺陷造成的越多,则这一批药片的异常程度越高。预设一个异常检测阈值A,其中本实施例以A=0.8为例进行叙述,本实施例不进行具体限定,其中A可根据具体实施情况而定。当/>时,认为这一批药片质量检测结果不合格,需要进行处理,不得人使用;当/>时,认为这一批药片质量检测结果合格,不需要进行处理。
至此,本实施例完成。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.基于图像数据的药品生产过程中药片质量检测方法,其特征在于,该方法包括以下步骤:
采集药片图像,对药片图像进行灰度化和高斯滤波平滑预处理,得到灰度图像;
对灰度图像使用阈值分割得到每个药片的连通域面积,根据每个药片的连通域面积得到每个药片的差异率,根据每个药片的差异率得到缺陷药片;
对缺陷药片的灰度图像进行边缘检测得到药片边缘检测图像,获取药片边缘检测图像中的若干边缘像素点,根据药片的边缘像素点得到拐点;对药片边缘检测图像进行插值得到待填充梯度图像,根据待填充梯度图像得到插值点和标记插值点,对缺陷药片的灰度图像进行插值得到待填充灰度图像;
根据标记插值点与相邻边缘像素点之间的斜率差异、标记插值点对应的窗口内左右相邻边缘像素点之间梯度幅值的差异以及标记插值点与相离最近的一个拐点之间的距离得到最优窗口尺寸;
根据最优窗口尺寸和待填充灰度图像得到放大后的灰度图像;对放大后的灰度图像进行边缘检测得到所有梯度像素点,根据相邻梯度像素点的斜率差异进行分类得到斜率差异的分类结果;根据斜率差异的分类结果得到药片边缘梯度像素点的斜率差异的信息特征;获取药片边缘梯度像素点的斜率差异的信息特征大于等于预设阈值q所对应的药片,记为残缺药片;
根据残缺药片的信息特征得到所有药片的异常程度,根据异常程度得到质量检测结果;
所述最优窗口尺寸具体获取步骤如下:
最优窗口尺寸的目标函数如下:
式中,表示第i个标记插值点与相邻两个边缘像素点之间斜率的差异,/>表示以第i个标记插值点为窗口中心的窗口内所有标记插值点与相邻两个边缘像素点之间斜率的差异的平均值,差异表示斜率差值的绝对值,N表示灰度图像中标记插值点的个数,/>表示以第i个标记插值点为窗口中心的窗口内所有中心点左侧相邻边缘像素点之间梯度幅值的差异的均值,/>表示以第i个标记插值点为窗口中心的窗口内所有中心点右侧相邻边缘像素点之间梯度幅值的差异的均值,/>表示以自然常数为底的指数函数,/>表示第i个标记插值点与相离最近拐点之间的距离,/>表示预设迭代的初始的窗口尺寸;/>表示选取最优窗口尺寸的目标函数;
选取E为最小时所对应的窗口尺寸为最优窗口尺寸;
所述根据残缺药片的信息特征得到所有药片的异常程度,根据异常程度得到质量检测结果,包括的具体步骤如下:
异常程度的公式为:
式中,表示第t个残缺药片的边缘梯度像素点的斜率差值的信息特征,/>表示第t个残缺药片的药片区域像素点个数在灰度图像中所有像素点中的比重,/>表示所有残缺药片的数量,/>表示所有残缺药片的异常程度;
当药片的异常程度Z大于等于预设阈值时,则药片质量检测结果不合格;当所有药片的异常程度Z小于预设阈值/>时,则药片质量检测结果合格。
2.根据权利要求1所述基于图像数据的药品生产过程中药片质量检测方法,其特征在于,所述对灰度图像使用阈值分割得到每个药片的连通域面积,包括的具体步骤如下:
对灰度图像使用大津阈值分割,得到每个药片的连通域面积。
3.根据权利要求1所述基于图像数据的药品生产过程中药片质量检测方法,其特征在于,所述每个药片的差异率的具体获取步骤如下:
通过每个药片的连通域面积与完整药片的连通域面积的比值得到每个药片的差异率;其中,完整药片是没有缺陷没有残缺的药片。
4.根据权利要求1所述基于图像数据的药品生产过程中药片质量检测方法,其特征在于,所述缺陷药片具体获取步骤如下:
当每个药片的差异率大于预设差异率阈值H,则药片存在缺陷;反之,当每个药片的差异率小于等于预设差异率阈值H,则药片不存在缺陷。
5.根据权利要求1所述基于图像数据的药品生产过程中药片质量检测方法,其特征在于,所述对缺陷药片的灰度图像进行边缘检测得到药片边缘检测图像,获取药片边缘检测图像中的若干边缘像素点,根据药片的边缘像素点得到拐点;对药片边缘检测图像进行插值得到待填充梯度图像,根据待填充梯度图像得到插值点和标记插值点,对缺陷药片的灰度图像进行插值得到待填充灰度图像,包括的具体步骤如下:
对缺陷药片的灰度图像进行sobel边缘检测,得到药片边缘检测图像;对药片边缘检测图像中的任意相邻行插入空白行、任意相邻列插入空白列,得到待填充梯度图像;其中,将插入的像素点记为插值点;获取药片边缘检测图像中的边缘像素点,将待填充梯度图像中相邻边缘像素点之间的直线连线上的插值点记为标记插值点,依次,获取待填充梯度图像中所有的标记插值点;
获取药片边缘检测图像中的边缘和边缘像素点,从离药片边缘检测图像左上角像素点最近的边缘上的一个边缘像素点开始依次遍历边缘上的所有边缘像素点,遍历到的所有边缘像素点梯度幅值构成一个序列,记为拟合序列,对拟合序列中所有数据的梯度幅值使用最小二乘法通过多项式函数进行拟合,将拟合后的函数曲线记为,x表示函数曲线的自变量,对拟合曲线/>进行曲线的二阶求导,使得/>时的边缘像素点作为曲线的拐点,即得到所有的拐点。
6.根据权利要求5所述基于图像数据的药品生产过程中药片质量检测方法,其特征在于,所述根据最优窗口尺寸和待填充灰度图像得到放大后的灰度图像,包括的具体步骤如下:
记最优卷积窗口的尺寸为L1,获取以每个插值点为窗口中心点,以L1为窗口尺寸的窗口,将窗口内除了插值点之外所有像素点的灰度均值作为中心点的灰度值,依次获取所有插值点的灰度值,将插值点的灰度值填充到待填充灰度图像中得到放大后的灰度图像。
7.根据权利要求1所述基于图像数据的药品生产过程中药片质量检测方法,其特征在于,所述对放大后的灰度图像进行边缘检测得到所有梯度像素点,根据相邻梯度像素点的斜率差异进行分类得到斜率差异的分类结果,包括的具体步骤如下:
采用sobel算子对放大后的灰度图像进行边缘检测,将边缘检测后边缘线上的边缘像素点记为梯度像素点;计算相邻梯度像素点之间斜率差异,对相邻梯度像素点之间斜率差异进行分类,斜率差异相同则为同一类别。
8.根据权利要求1所述基于图像数据的药品生产过程中药片质量检测方法,其特征在于,所述药片边缘梯度像素点的斜率差异的信息特征具体获取步骤如下:
式中,表示相邻梯度像素点之间的斜率差异,/>表示第j类相邻梯度像素点之间的斜率差异的数量,/>表示相邻梯度像素点之间的斜率差异的类别个数,/>表示梯度像素点数量,/>表示药片边缘梯度像素点的斜率差异的信息特征,/>表示以自然常数为底的对数函数,/>表示双曲线正切函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311542082.8A CN117274251B (zh) | 2023-11-20 | 2023-11-20 | 基于图像数据的药品生产过程中药片质量检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311542082.8A CN117274251B (zh) | 2023-11-20 | 2023-11-20 | 基于图像数据的药品生产过程中药片质量检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117274251A CN117274251A (zh) | 2023-12-22 |
CN117274251B true CN117274251B (zh) | 2024-02-06 |
Family
ID=89204742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311542082.8A Active CN117274251B (zh) | 2023-11-20 | 2023-11-20 | 基于图像数据的药品生产过程中药片质量检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117274251B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117853932B (zh) * | 2024-03-05 | 2024-05-14 | 华中科技大学 | 一种基于光电吊舱的海面目标检测方法、检测平台及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101150754B1 (ko) * | 2011-04-08 | 2012-06-14 | (주)제이브이엠 | 영상처리를 이용한 약품상자 영역 검출 시스템 및 방법 |
CN109884070A (zh) * | 2019-03-08 | 2019-06-14 | 武汉大学 | 一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法 |
JP2019124519A (ja) * | 2018-01-15 | 2019-07-25 | 株式会社Screenホールディングス | 錠剤検査方法および錠剤検査装置 |
JP2019124518A (ja) * | 2018-01-15 | 2019-07-25 | 株式会社Screenホールディングス | 錠剤検査方法および錠剤検査装置 |
CN114708253A (zh) * | 2022-04-25 | 2022-07-05 | 广州大学 | 一种药片包装铝箔缺陷的视觉检测方法及系统 |
CN115294158A (zh) * | 2022-09-26 | 2022-11-04 | 江苏万森绿建装配式建筑有限公司 | 一种基于机器视觉的热连轧带钢图像分割方法 |
CN115330783A (zh) * | 2022-10-13 | 2022-11-11 | 启东谷诚不锈钢制品有限公司 | 一种钢丝绳缺陷检测方法 |
CN115439454A (zh) * | 2022-09-15 | 2022-12-06 | 武汉联影医疗科技有限公司 | 泡罩药品质量检测方法、装置、计算机设备、介质和产品 |
CN115631128A (zh) * | 2022-08-18 | 2023-01-20 | 郑州轻工业大学 | 基于圆幂定理的圆形药品数量检测方法 |
CN116309570A (zh) * | 2023-05-18 | 2023-06-23 | 山东亮马新材料科技有限公司 | 一种钛合金棒材质量检测方法及系统 |
CN116934763A (zh) * | 2023-09-19 | 2023-10-24 | 阿普塔恒煜(威海)医疗器材有限公司 | 一种基于视觉特征的医用橡胶胶塞缺陷检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8326079B2 (en) * | 2009-09-24 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | Image defect detection |
-
2023
- 2023-11-20 CN CN202311542082.8A patent/CN117274251B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101150754B1 (ko) * | 2011-04-08 | 2012-06-14 | (주)제이브이엠 | 영상처리를 이용한 약품상자 영역 검출 시스템 및 방법 |
JP2019124519A (ja) * | 2018-01-15 | 2019-07-25 | 株式会社Screenホールディングス | 錠剤検査方法および錠剤検査装置 |
JP2019124518A (ja) * | 2018-01-15 | 2019-07-25 | 株式会社Screenホールディングス | 錠剤検査方法および錠剤検査装置 |
CN109884070A (zh) * | 2019-03-08 | 2019-06-14 | 武汉大学 | 一种基于机器视觉的铝铝泡罩包装药片缺陷检测方法 |
CN114708253A (zh) * | 2022-04-25 | 2022-07-05 | 广州大学 | 一种药片包装铝箔缺陷的视觉检测方法及系统 |
CN115631128A (zh) * | 2022-08-18 | 2023-01-20 | 郑州轻工业大学 | 基于圆幂定理的圆形药品数量检测方法 |
CN115439454A (zh) * | 2022-09-15 | 2022-12-06 | 武汉联影医疗科技有限公司 | 泡罩药品质量检测方法、装置、计算机设备、介质和产品 |
CN115294158A (zh) * | 2022-09-26 | 2022-11-04 | 江苏万森绿建装配式建筑有限公司 | 一种基于机器视觉的热连轧带钢图像分割方法 |
CN115330783A (zh) * | 2022-10-13 | 2022-11-11 | 启东谷诚不锈钢制品有限公司 | 一种钢丝绳缺陷检测方法 |
CN116309570A (zh) * | 2023-05-18 | 2023-06-23 | 山东亮马新材料科技有限公司 | 一种钛合金棒材质量检测方法及系统 |
CN116934763A (zh) * | 2023-09-19 | 2023-10-24 | 阿普塔恒煜(威海)医疗器材有限公司 | 一种基于视觉特征的医用橡胶胶塞缺陷检测方法 |
Non-Patent Citations (2)
Title |
---|
图像处理在药片视觉检测系统中的应用;朱铭煜;周武能;;仪表技术与传感器(05);全文 * |
基于机器视觉的药品铝塑包装检测及应用;郑龙;袁俊;;科技通报(07);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117274251A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798672B (zh) | 烟丝或梗丝的宽度测定方法、系统及具有该系统的服务器 | |
CN110047073B (zh) | 一种x射线焊缝图像缺陷定级方法及系统 | |
CN108629775B (zh) | 一种热态高速线材表面图像处理方法 | |
CN115082418B (zh) | 一种汽车零部件精密识别方法 | |
CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
CN116664559B (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
CN109580630A (zh) | 一种机械零部件缺陷的视觉检测方法 | |
CN115063430B (zh) | 基于图像处理的电气管道裂纹检测方法 | |
CN115457037A (zh) | 一种用于阿胶制品生产的原材料质检方法 | |
CN115035113B (zh) | 基于x射线的手机数据线生产缺陷无损检测方法 | |
CN113689415A (zh) | 一种基于机器视觉的钢管壁厚在线检测方法 | |
CN115082472B (zh) | 一种轮毂模具浇注成型产品的质量检测方法及系统 | |
CN117274251B (zh) | 基于图像数据的药品生产过程中药片质量检测方法 | |
CN113838054A (zh) | 基于人工智能的机械零件表面损伤检测方法 | |
CN111160451A (zh) | 一种柔性材料检测方法及其储存介质 | |
CN116993742B (zh) | 基于机器视觉的镍合金轧制缺陷检测方法 | |
CN112991287A (zh) | 一种基于全卷积神经网络的自动压痕测量方法 | |
CN109239073A (zh) | 一种用于汽车车身的表面缺陷检测方法 | |
CN110619619A (zh) | 一种缺陷检测方法、装置及电子设备 | |
CN116721391A (zh) | 一种基于计算机视觉的原料油分离效果检测方法 | |
CN108335310B (zh) | 一种便携式粒形粒度检测方法及系统 | |
CN110544243B (zh) | 一种ct图像小缺陷自动检出、定量及可靠性评价方法 | |
CN111815625A (zh) | 基于深度学习的早期肺癌预测方法 | |
CN116385440B (zh) | 一种弧形刀片视觉检测方法 | |
CN113554688B (zh) | 一种基于单目视觉的o型密封圈尺寸测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |