CN110570422B - 一种基于矩阵分析的胶囊缺陷视觉检测方法 - Google Patents

Abstract

本发明公开了一种基于矩阵分析的胶囊缺陷视觉检测方法，基本过程包括图像预处理、胶囊存在矩阵的构建和胶囊缺陷的识别。首先，图像预处理主要包括胶囊板区域的提取、图像的颜色校正和图像颜色空间的转换三个步骤；然后，对胶囊帽感兴趣区域图像进行块划分，获取横向和纵向的分割坐标，构建出胶囊存在矩阵；最后，处理和分析胶囊存在矩阵判断胶囊缺陷，根据块划分的坐标标记出存在缺陷的胶囊位置。本发明相较于传统人工检测方式的优势在于，解放了人工劳动力，提高了检测效率，检测结果具有更高的稳定性和可靠性；相较于现有的机器视觉检测方式，优势在于将图像操作转换为矩阵操作，简化了操作过程，减少了检测时的数据处理量，提高了检测速度。

Description

一种基于矩阵分析的胶囊缺陷视觉检测方法

技术领域

本发明涉及一种在药品生产加工领域内使用的机器视觉缺陷检测方法，尤其涉及一种胶囊缺失、药帽异位以及同色等缺陷的机器视觉检测方法。

背景技术

胶囊具有保护粉末状药物不在口腔中被分解、避免药物对消化器官和呼吸道的损伤以及便利易用等优点，是市场中药品的主要封装方式之一。但是在药品生产过程中无法避免各种缺陷的产生，为了提高药品的出厂质量，需要进行缺陷检测。胶囊缺陷的检测目前以人工方式为主，而人工检测存在效率低下、检测结果可靠性低等缺点，无法满足工业生产的需求。

机器视觉技术提供了一种胶囊缺陷检测的自动化解决方案，基于图像处理技术检测胶囊缺陷，相较于人工检测方式，消除了检测人员的繁琐工作，降低了生产中的人工成本，而且具有长时间稳定可靠工作、检测效率高、速度快等优点，能够适用于工业大规模生产。

国内相关研究以理论研究居多，而国外的有关成熟产品大多价格昂贵，如英国的SADE胶囊分类检测机器、美国MOCOM公司的胶囊称重和缺陷检测机器等。目前胶囊缺陷的机器视觉检测仍存在很多问题，缺陷检测种类单一，对配套硬件要求高，很多方法要求多个不同种类的相机配合实现缺陷检测，或是需要专门设计配套硬件，一些基于机器学习的检测方法则需要大量的样本训练学习和识别分类。

因此，本发明提出了一种基于矩阵分析的胶囊缺陷视觉检测方法。

发明内容

本发明针对待解决的技术问题提供了一种基于机器视觉技术和矩阵分析思想对胶囊缺陷进行快速检测的方法。

为达到上述目的，本发明采用如下技术方案：

一种基于矩阵分析的胶囊缺陷视觉检测方法，其特征在于：该方法包括胶囊原始图像的获取、胶囊板区域图像的提取、胶囊板区域图像的预处理、胶囊帽感兴趣区域的提取、胶囊存在矩阵的构建、胶囊缺陷的识别等步骤。

胶囊原始图像的获取方法是：待检测的原始胶囊图像是从胶囊缺陷检测系统中利用工业相机实时采集到的胶囊图像或读取事先采集并保存的胶囊图像数据。

胶囊板区域图像的提取方法是：遍历胶囊原始图像中的所有轮廓，其中面积最大的轮廓区域即为胶囊板，由于胶囊板区域可能存在一定的角度偏转，使用仿射变换旋转摆正该区域，得到胶囊板区域图像。

胶囊板区域图像的预处理方法是：采用灰度世界方法对胶囊板区域图像进行颜色校正；由于HSV颜色空间相较于RGB颜色空间更适合于彩色图像分割，因此将胶囊板区域图像从RGB颜色空间转换到HSV颜色空间。

胶囊帽感兴趣区域的提取方法是：在HSV颜色空间，采用固定阈值的彩色图像分割方法从预处理后的胶囊板区域图像中提取出胶囊中一种颜色的药帽，得到该种颜色的胶囊帽感兴趣区域图像。

感兴趣区域图像的块划分的方法是：根据每个胶囊帽的位置，基于投影法对感兴趣区域图像进行块划分，即获取感兴趣区域图像横、纵分割线的坐标；分别进行横向或纵向投影，即统计感兴趣区域图像中每列或每行的黑色像素数目，由于黑色像素在横向或纵向离散分布在不同区域，容易获取到图像块划分的横、纵坐标。

胶囊存在矩阵的构建方法是：基于块划分后的感兴趣区域图像构建出胶囊存在矩阵，感兴趣区域图像中每块胶囊帽区域与胶囊存在矩阵存在一一对应关系；其基本思想是：在每列胶囊帽的横向中心处，计算该胶囊帽纵向分割间隔内的黑色像素数目，如果超过设定的阈值，胶囊存在矩阵的对应位置置1，否则置0，从左至右，依次处理每一列，构建出胶囊存在矩阵。

胶囊缺陷的识别方法是：首先，根据胶囊存在矩阵构建出不含缺陷的模板胶囊存在矩阵；然后，将模板矩阵与胶囊存在矩阵进行“异或”操作，得到缺陷判断矩阵；最后，分析缺陷判断矩阵识别缺陷，以两行一列为一个单元划分缺陷判断矩阵，计算每个单元中所有元素的和，如果和为0，则不存在缺陷；如果和为1，则存在缺陷胶囊同色或胶囊缺失；如果和为2，则存在缺陷胶囊帽异位。

本发明的有益效果是：本发明所公开的一种基于矩阵分析的胶囊缺陷视觉检测方法，通过工业彩色相机实时获取待测胶囊图像，基于图像处理技术对获取的图像进行缺陷检测，避免了人工检测的繁琐工作，解决了人工检测效率低、检测结果可靠性差等问题。适用于工业生产中胶囊类药品的合格性检测，将耗时长的图像操作转换成耗时短的特征矩阵操作，在检测效率方面具有较大优势。

附图说明

图1是本发明的胶囊缺陷检测整体流程图。

图2是本发明获取的胶囊原始图像。

图3是本发明提取的胶囊板区域图像。

图4是本发明颜色校正后的胶囊板区域图像。

图5是本发明提取的胶囊帽感兴趣区域图像。

图6是本发明感兴趣区域图像的横向投影散点图。

图7是本发明感兴趣区域图像的纵向投影散点图。

图8是本发明胶囊存在矩阵的构建示意图。

图9是本发明胶囊缺陷检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，实施例对黄绿胶囊(其两个胶囊帽为黄色和绿色)进行缺陷检测。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例，请参照图1至图9：图1示意性地给出了本发明所公开基于图像处理的胶囊缺陷检测整体流程；图2示意性给出了本发明获取的胶囊原始图像；图3示意性给出了本发明提取出的胶囊板区域图像；图4示意性给出了本发明颜色校正后的胶囊板区域图像；图5示意性给出了本发明提取的胶囊帽感兴趣区域图像；图6示意性给出了本发明感兴趣区域图像的横向投影散点图；图7示意性给出了本发明感兴趣区域图像的纵向投影散点图；图8示意性给出了本发明胶囊存在矩阵的构建示意图；图9示意性给出了本发明胶囊缺陷检测结果。

依据图1所示流程，对胶囊缺陷依据以下步骤进行检测：

(1)通过工业相机实时采集胶囊图像或读取事先采集并保存的胶囊图像数据，得到胶囊原始图像I_src，如图2所示。图像I_src是基于RGB颜色空间的彩色图像，包括待测胶囊板区域和无效的背景区域两部分图像。

(2)为了提取出待测的胶囊板区域图像，使用轮廓标记算法探测出图像中的所有轮廓，计算所有轮廓包含区域的面积，其中面积最大值对应的轮廓区域即为胶囊板区域，计算该区域的偏转角度θ，基于偏转角θ使用仿射变换旋转摆正图像后得到胶囊板区域图像I_cap，如图3所示。

(3)受光照以及相机参数设置的影响，在胶囊板区域图像I_cap中可能存在一定程度的色彩偏差，采用灰度世界颜色平衡算法校正色差，消除环境光对颜色显示的影响，处理后图像如图4所示。灰度世界方法基于假设：对于有大量色彩变化的RGB图像，三个颜色分量的平均值趋向于同一灰度值，基本思路是首先计算R、G、B三个分量的灰度平均值R_av、G_av、B_av，再分别计算分量的增益G_R、G_G、G_B，最后通过灰度变换公式计算出平衡后的颜色分量，具体计算如公式(1)所示。

相较于RGB颜色空间，HSV颜色空间更加符合人的视觉感官，也更加适用于图像分割，而RGB颜色空间则更适用于图像的电子显示，因此，在图像分割之前，将色彩平衡后图像从RGB颜色空间转换到HSV颜色空间，得到图像I_HSV。

其中，X代表R、G、B三个分量，M和N分别表示图像横向和纵向的像素数目。

(4)为了分离目标检测区域与背景区域，对预处理后的图像I_HSV进行图像分割。本实现中，基于HSV颜色空间采用固定阈值的彩色图像分割方法，根据待提取的胶囊帽颜色查找HSV色彩空间表设定目标区域的上下限阈值，提取出绿色胶囊帽的感兴趣区域图像，由于感兴趣区域图像中可能存在的一些杂点或孔洞，使用形态学开运算圆整图像，最后得到的胶囊帽感兴趣区域图像I_roi，如图5所示。

(5)图像I_roi中胶囊帽以表格规律分布存在，可以一一对应在矩阵中，为此需要根据胶囊帽位置对图像I_roi进行横向和纵向的划分，即获取图像横、纵分割线的坐标，基于投影法实现上述操作。以横向投影为例，统计图像中每一列黑色像素点数目，以散点图表示如图6所示，显然，图像I_roi中黑色像素均匀分布在不同的区间，据此获取并记录图像的横向分割坐标数组L_X。其中存在一种特殊情况需要单独处理，当某列胶囊帽全部缺失时，横向分割坐标数组会缺失数据，该情况的判断条件为分割坐标间距D_i大于标准间隔D_c，标准间隔计算如公式(2)，解决方式是缺失位置坐标以0填充，填充的数目纵向投影同理，散点图如图7所示，纵向分割坐标数组为L_Y。

其中，Width为图像横向像素数目，Cols为胶囊的列数。

(6)胶囊帽划分完成后，基于图像I_roi构建胶囊存在矩阵，矩阵构建示意图如图8所示。其基本思想是：在每列胶囊帽横向中心处计算该胶囊帽纵向分割间隔内的黑色像素数目，如果超过设定的阈值，胶囊存在矩阵对应位置置1，否则置0，依次处理每一列，即可构建出胶囊存在矩阵。

具体实施，计算每列胶囊帽的横向中心坐标XC_i，如公式(3)所示，如果XC_i等于0，胶囊存在矩阵对应列全部置0。在坐标XC_i处，分别计算纵向分割间隔L_Y[j]到与/>到L_Y[j+1]之间黑色像素数目，其中j＝0,2,…,(Rows-2)，Rows为胶囊的行数。

将黑色像素数目值与阈值比较，如果大于或等于threshold，胶囊存在矩阵对应位置置1，否则置0。最后得到的胶囊存在矩阵A如式(4)所示。

(7)对胶囊存在矩阵进行处理分析，识别可能存在的胶囊缺陷。根据矩阵A，构建无缺陷的模板胶囊存在矩阵C，其基本思想是少数服从多数原则，较多数胶囊的朝向为正朝向。具体来说，计算矩阵A中一行的元素和，如果和值大于或等于胶囊列数的一半，则模板存在矩阵C中对应一行全置1，否则全置0。实施例的模板胶囊存在矩阵C如式(5)所示。

将矩阵C与矩阵A进行“异或”操作，可以得到胶囊缺陷判断矩阵F，如式(6)所示。

分析缺陷判断矩阵F识别可能存在的胶囊缺陷。以两行一列为单元划分矩阵F，每个单元代表一个胶囊，计算每个单元中所有元素的和，如果和为0，不存在缺陷；如果和为1，存在胶囊缺失或药帽同色的缺陷；如果和为2，存在胶囊帽异位的缺陷。最后，根据胶囊帽分割坐标用矩形框标记出存在缺陷的胶囊位置，实施例胶囊缺陷视觉检测结果如图9所示。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (2)

1.一种基于矩阵分析的胶囊缺陷视觉检测方法，其特征在于：该方法包括胶囊原始图像的获取、胶囊板区域图像的提取、胶囊板区域图像的预处理、胶囊帽感兴趣区域的提取、感兴趣区域的块划分、胶囊存在矩阵的构建、胶囊缺陷的识别步骤；

所述的胶囊原始图像的获取，包括：待检测的胶囊原始图像是从胶囊缺陷视觉检测系统中利用工业相机实时采集到的胶囊图像或读取事先采集并保存的胶囊图像数据；

所述的胶囊板区域图像的提取，包括：遍历胶囊原始图像中的所有轮廓，其中面积最大的轮廓区域即为胶囊板，由于胶囊板区域可能存在一定的角度偏转，使用仿射变换旋转摆正该区域，得到胶囊板区域图像；

所述的胶囊帽感兴趣区域的提取，包括：在HSV颜色空间，采用固定阈值的彩色图像分割方法从预处理后的胶囊板区域图像中提取出胶囊中一种颜色的药帽，得到该种颜色的胶囊帽感兴趣区域图像；

所述的感兴趣区域的块划分，包括：根据每个胶囊帽的位置，基于投影法对感兴趣区域图像进行块划分，即获取感兴趣区域图像横、纵分割线的坐标；分别进行横向或纵向投影，即统计感兴趣区域图像中每列或每行的黑色像素数目，由于黑色像素在横向或纵向离散分布在不同区域，容易获取到图像块划分的横、纵坐标；

所述的胶囊存在矩阵的构建，包括：基于块划分后的感兴趣区域图像构建出胶囊存在矩阵，感兴趣区域图像中每块胶囊帽区域与胶囊存在矩阵中的元素存在一一对应关系；其基本思想是：在每列胶囊帽的横向中心处，计算该胶囊帽纵向分割间隔内的黑色像素数目，如果超过设定的阈值，胶囊存在矩阵的对应位置置1，否则置0，从左至右，依次处理每一列，构建出胶囊存在矩阵；

所述的胶囊缺陷的识别，包括：首先，根据胶囊存在矩阵构建出无缺陷的模板胶囊存在矩阵，通过计算胶囊存在矩阵中一行的和，如果和值大于或等于胶囊列数的一半，则将模板胶囊存在矩阵中对应的一行全置为1，否则全置为0；其次，将模板存在矩阵与胶囊存在矩阵进行“异或”操作，得到缺陷判断矩阵；然后，分析缺陷判断矩阵识别缺陷，以两行一列为一个单元划分缺陷判断矩阵，计算每个单元中所有元素的和，如果和为0，则不存在缺陷；如果和为1，则存在缺陷胶囊同色或胶囊缺失；如果和为2，则存在缺陷胶囊帽异位；最后，对存在缺陷的胶囊进行标记，完成胶囊缺陷的视觉检测。

2.根据权利要求1所述的基于矩阵分析的胶囊缺陷视觉检测方法，其特征在于：采用灰度世界方法对胶囊板区域图像进行颜色校正；由于HSV颜色空间相较于RGB颜色空间更适合于彩色图像分割，因此将胶囊板区域图像从RGB颜色空间转换到HSV颜色空间。