CN111353432B - 一种基于卷积神经网络的金银花药材快速净选方法及系统 - Google Patents
一种基于卷积神经网络的金银花药材快速净选方法及系统 Download PDFInfo
- Publication number
- CN111353432B CN111353432B CN202010129410.1A CN202010129410A CN111353432B CN 111353432 B CN111353432 B CN 111353432B CN 202010129410 A CN202010129410 A CN 202010129410A CN 111353432 B CN111353432 B CN 111353432B
- Authority
- CN
- China
- Prior art keywords
- image
- honeysuckle
- layer
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 90
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 51
- 241000205585 Aquilegia canadensis Species 0.000 title claims abstract 26
- 238000010187 selection method Methods 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 38
- 239000012535 impurity Substances 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000005571 horizontal transmission Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000007664 blowing Methods 0.000 claims abstract description 11
- 239000003814 drug Substances 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 20
- 238000004140 cleaning Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000005284 excitation Effects 0.000 claims description 15
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 4
- 229910052737 gold Inorganic materials 0.000 claims description 4
- 239000010931 gold Substances 0.000 claims description 4
- 229910052709 silver Inorganic materials 0.000 claims description 4
- 239000004332 silver Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 3
- 239000000428 dust Substances 0.000 abstract description 7
- 239000006185 dispersion Substances 0.000 abstract description 4
- 241001570521 Lonicera periclymenum Species 0.000 description 81
- 230000006870 function Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 239000002994 raw material Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 244000167230 Lonicera japonica Species 0.000 description 2
- 235000017617 Lonicera japonica Nutrition 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 241000245240 Lonicera Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000012567 medical material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于卷积神经网络的金银花药材快速净选方法及系统,在水平传输带上进行图像拍摄,通过使金银花药材进行一段高度的自由落体,风机辅助分散、吹散灰尘等一系列设置,提高金银花药材的分散程度、降低灰尘对图像的影响,使得相机获得的图像中金银花药材的边缘更容易被识别。工业摄像相机拍摄得到图像后经过图像预处理和卷积神经网络进行识别。最终在前处理挑选工序现场的显示终端上,将不合格品药材、杂质等图像标注出来,辅助现场操作人员快速挑选杂质。
Description
技术领域
本申请属于中药材净选技术领域,尤其是涉及一种基于卷积神经网络的金银花药材快速净选方法及系统。
背景技术
金银花为多年生半常绿缠绕及匍匐茎的灌木,是制药企业生产中成药的常用原材料。由于金银花药材的采购价格比山银花药材高出数倍,在利益面前,不少药商在金银花药材中掺山银花、杂花草、树枝等杂质,以次充好,增加了制药企业在收货检验环节的工作量,也同时对制药企业所生产产品的质量稳定性造成影响。
目前通行的检测方法,即在制药企业来料收货时,人工对原药材进行小部分取样抽检,通过人工辨别、化验室离线成分检测分析的方式对原料质量进行鉴定。检验合格的原药材运输至前处理车间,车间工人对药材中的不合格品及杂质进行挑选剔除。由于原药材单批次来料量巨大,往往为上百包,同时抽检取样送检数量较小,并不能真实的代表整批次药材的质量;对产品质量的二次把控都集中在前处理环节的挑选工序,人工挑选易产生视觉疲劳,并不能完全将杂质挑选出来。
鉴于此,需要一种能有效辅助净选操作工人快速准确识别金银花药材中的不合格品及杂质的方法和技术。
发明内容
本发明要解决的技术问题是:为解决现有技术中的不足,从而提供一种能有效辅助净选操作工快速准确识别金银花药材中的不合格品及杂质的基于卷积神经网络的金银花快速净选方法及系统。
本发明解决其技术问题所采用的技术方案是:
一种基于卷积神经网络的金银花快速净选方法,包括以下步骤:
S1:将金银花药材运输至高处,以40-60cm的高度落到水平传输带,金银花药材下落过程中由第一风机进行吹风,风速为2.0-3.0m/s;
S2:通过水平传输带上方设置的工业摄像相机拍摄形成图像或者影像;
S3:将拍摄的图像或者影像传输到处理器内,对拍摄的图像或者从影像内截取图像进行处理并按照图像坐标分割成图像块并标记图像块的坐标信息;
S4:将图像块输入到训练好的卷积神经网络中,对图像中的金银花药材是否合格进行识别并标识出包括杂质的图像块,之后根据标记的坐标信息,将杂质的位置显示在图像上,便于挑选工将杂质挑出。
优选地,本发明的基于卷积神经网络的金银花快速净选方法,所述水平传输带为黑色或者紫色。
优选地,本发明的基于卷积神经网络的金银花快速净选方法,水平传输带两旁还设置有第二风机,所述第二风机能吹出4.0-5.0m/s的风。
优选地,本发明的基于卷积神经网络的金银花快速净选方法,所述风机为两个,分别位于水平传输带的两侧且沿水平传输带的传输方向前后布置。
优选地,本发明的基于卷积神经网络的金银花快速净选方法,所述工业摄像相机与水平传输带呈40-60°的角度。
优选地,本发明的基于卷积神经网络的金银花快速净选方法,金银花药材由倾斜传输带运输至高处。
本发明还提供一种基于卷积神经网络的金银花快速净选系统,包括:
LED光源、工业摄像相机、第一风机、图像预处理模块、生产电子看板、图像识别模块;
LED光源:用于提供工业摄像相机所需的光照;
第一风机:用于向正在下落过程中的金银花进行吹风,风速为2.0-3.0m/s;
工业摄像相机,设置水平传输带上方,用于拍摄水平传输带上的金银花药材形成图像或者影像;
图像预处理模块,用于对拍摄的图像或者从影像内截取图像进行处理并按照图像坐标分割成图像块并标记图像块的坐标信息,再将数据发至图像识别模块;
图像识别模块:用于运行训练好的卷积神经网络,对采集来的图像进行卷积神经网络识别,以识别出不合格品和杂质;
生产电子看板,用于显示工业摄像相机所拍到药材挑选处理实时画面,显示被标记的不合格品和杂质图像。
优选地,本发明的基于卷积神经网络的金银花快速净选系统,还包括第二风机,所述第二风机设置在水平传输带两旁,用于向金银花药材吹出4.0-5.0m/s的风。
优选地,本发明的基于卷积神经网络的金银花快速净选系统,卷积神经网络包括:
4个卷积层、激励层、池化层和输出层;
第一层卷积层,采用3*3的卷积核进行池化计算,用于提取金银花的边缘尺寸特征;
第二层卷积层,继续采用3*3的卷积核进行池化计算,用于提取金银花纹理特征;
第三层和第四层卷积层采用1*1的卷积核进行强化池化计算,用于强化前两次卷积的特征;
激励层,用于接收每层卷积层导出的数据,使用非线性函数ReLU作为激励函数,输出到0和1之间的数值;
池化层,用于接收激励层导出的数据,压缩数据和参数的数量,减少过拟合;
输出层,输出0或者1这两个数值以表示合格品以及不合格品与杂质。
优选地,本发明的基于卷积神经网络的金银花快速净选系统,还包括人工图像语义识别前台软件系统,所述人工图像语义识别前台软件系统用于接收图像预处理模块处理后的金银花药材图像,对金银花药材图像进行人工语义标识。
本发明的有益效果是:
本发明的基于卷积神经网络的金银花药材快速净选方法及系统,在水平传输带上进行图像拍摄,通过使金银花药材进行一段高度的自由落体,风机辅助分散、吹散灰尘等一系列设置,提高金银花药材的分散程度、降低灰尘对图像的影响,使得相机获得的图像中金银花药材的边缘更容易被识别。工业摄像相机拍摄得到图像后经过图像预处理和卷积神经网络进行识别。最终在前处理挑选工序现场的显示终端上,将不合格品药材、杂质等图像标注出来,辅助现场操作人员快速挑选杂质。
附图说明
下面结合附图和实施例对本申请的技术方案进一步说明。
图1是本申请实施例的传输带及相关设备的结构示意图;
图2是本申请实施例的传输带及相关设备的侧视图;
图3为本申请实施例的基于卷积神经网络的金银花药材快速净选系统的业务流程图;
图4为本申请实施例的基于卷积神经网络的金银花药材快速净选系统的系统架构图。
图中的附图标记为:
1-倾斜传输带;2-水平传送带;3-工业摄像相机;4-风机。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本申请的技术方案。
实施例1
本实施例提供一种基于卷积神经网络的金银花药材快速净选方法,如图1所示,包括:
S1:将金银花药材运输至高处,以40-60cm(图1中H的值)的高度落到水平传输带;
先由操作人员从仓库将金银花药材运输至倾斜传输带上,金银花药材经过倾斜传输带传输到距离水平传输带高40-60cm的位置,然后金银花药材进过自由落体后落至位于倾斜传输带下方的水平传输带上;为了将除去金银花药材中的灰尘,本实施利中设置有两种风机-第一风机5和第二风机4,第一风机5用于向正在下落过程中的金银花进行吹风,风速为2.0-3.0m/s,第二风机4设置在水平传输带两旁,第二风机能吹出4.0-5.0m/s的风(金银花药材在输送带上能够承受更大的风力),风应避免吹向工业摄像相机方向,能够吹去灰尘的同时能够使金银花药材能够在风的作用下能够更加分散,降低金银花药材的重叠概率,第二风机的吹风方向与水平传输带的传输方向呈20-30°夹角;所述水平传输带优选为黑色或者红色,以提高拍摄图像时水平传输带背景与金银花药材的对比度,便于在下文的边缘识别时能够更顺利地识别出金银花药材的边缘。
S2:图像获取,通过水平传输带上方设置的工业摄像相机拍摄形成图像或者影像(视频流),所述工业摄像相机与水平传输带呈40-60°的角度,工业摄像相机倾斜设置,也是为了更好地拍摄得到金银花药材的轮廓,提高边缘识别的准确性,金银花药材在被风机以及高度落下后能够尽可能地分散,此时,大量金银花药材都是杆状,倾斜工业摄像相机的拍摄方式能够让金银花药材更具有立体感,加上水平传送带的高对比颜色,使最终得到的图像更容易分开轮廓;
S3:将拍摄的图像或者影像传输到处理器内,对拍摄的图像或者从影像内截取图像进行处理并按照图像坐标分割成图像块并标记图像块的坐标信息;
S4:将图像块输入到训练好的卷积神经网络中,对图像中的金银花药材是否合格进行识别并标识出包括杂质的图像块,之后根据标记的坐标信息,将杂质的位置显示在图像上,便于挑选工将杂质挑出。
卷积神经网络的训练和识别金银花药材采用以下步骤:
S41:图像采集及处理步骤S411:图像预处理,通过S1-S3步骤不断采集金银花药材的图像,为进一步避免粉尘对所拍摄的图片产生干扰,使得图像因噪声而形成破损,图像预处理系统需通过摄取被损坏区域边缘的色彩和纹理,然后传播混合至损坏区域的内部,进行图像修复。先对预处理目标的RGB彩色图像进行三原色拆解,拆解成红绿蓝单色图层,并分别对单图层进行降噪处理。在处理时基于以像素p和大小s为中心的窗口B,进行类似像素的识别,在点的周围给定一个希望更新的窗口,将这个窗口与其他像素q周围的窗口进行比较,计算2个窗口之间的平方距离,可以将权重分配给相对于当前正在更新的像素的每隔一个像素,从而来达到噪点图像修复的目的。单色图层修复完毕后,再将结果转换回新的降噪后的RGB彩色图像,并将图像更新存回流媒体数据文件中。
S412、直方图均衡化:金银花药材与杂质混合在一起,图像边缘往往由于光照环境影响不够清晰,即所获取的原始图像的灰度直方图比较集中在某个灰度区间,对比度不高。为了使图像画面对比度更高,提升图像的局部显示,图像预处理系统把图像比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸,重新分配图像像素值,该系统模块利用累计分布函数将原始分布重新映射到均匀分布,使一定灰度范围内的像素数量大致相同。
S413、图像边缘检测:在实例中需要将单株金银花药材的边缘进行检测并标记出来用于后续的图像画面分割,图像预处理系统分三个阶段对图片进行边缘检测并标识出来。第一步利用高斯平滑滤波器进行图像卷积降噪,用于消除噪声;其次计算梯度幅值和方向,可以得到金银花药材图像的边缘,由于边缘也是灰度变化明显的地方,使用Sobel滤波器可以将边缘探测出来。进而运用非极大值抑制,在灰度变化比较集中的地方,将局部范围内梯度方向上灰度变化最大的保留下来,其它的不保留,这样处理可以剔除掉很多不是边缘的点,将宽边缘(多个像素)变成一个单(单像素)边缘。最后通过非极大值抑制后,仍然有很多的可能边缘点,进一步的设置一个双阈值,如果某一像素的灰度值在两个阈值之间,该像素仅仅在连接到一个高于高阈值的像素时被保留,通过以上步骤将金银花药材的边缘像素点给标记出来,输出的二值化图像存储至数据库中。
S414、图像分割:金银花药材在水平传输带上有可能有部分金银花重叠,因此所拍摄的图像边缘像素点也会照成粘连,图像预处理系统需将单个金银花的图像分割出来并着色标记,将边缘检测后的二值化图像通过threshold阈值,通过距离变换计算不同金银花之间的边缘像素点距离关系,并对距离变换的结果进行归一化到[0-1]之间,并继续使用阈值进行二次二值化,得到标记点。使用连线工具腐蚀得到每个像素点,并对发现的轮廓进行绘制,通过分水岭变换算法对每个分隔区域外的背景进行着色(这个实例中我们把背景着色成黑色)并把分隔好的图像进行数据存储。
S415、图像分发:与传统预建图像数据库的方式不同,本发明中采用多人分布式图像识别的方法,快速建立较大训练样本量的图像数据库,使得计算机识别的训练效率得到提升。需将预处理好的图像编码后进行二次图像分发,这里需将同样的数据分发至两个系统。一条路径将分割好的图像通过数据接口,在本次实例中可通过以太网有线的传输方式,也可以通过WIFI无线的传输方式,将数据导入卷积神经网络图像识别软件系统进行图形卷积运算,并找出图像关键识别点进行语义识别。另一条路径将图像数据(分割好的图像和所关联的原图)传输至人工图像语义识别前台软件系统,该系统通过人工识别的方式,对所分割的图像进行语义标注,确认所分割的图像是金银花还是其他杂质。
S42:卷积神经网络图像运算处理过程:
S421、单药材图像切割:从图像预处理系统中获得单个大幅需卷积运算处理的金银花图像,由于在图像预处理系统中已经将金银花药材图像进行图像分割填充处理。因此自动对整个充满金银花药材的大幅图像中切割出易于提取特征数据的小幅单药材图像,所切割的图像保持大小像素一致,并与整幅金银花药材图像形成有序列顺序的父子关联关系(即标记有坐标位置信息),该关系用于后续对图像识别后的画面拼接恢复。
S422、卷积特征提取:将切割后单药材图像导入卷积神经网络的卷积输入层,利用卷积核(滤波器)对画面中像素值进行特征提取,卷积层做的就是对图像进行卷积计算,卷积核按设定深度、步长和填充值与原始图像的像素做卷积计算,得到新的特征映射矩阵。本发明实例中采用方向滤波(Sobel),强调图像中的高频分量,使用高通滤波器进行边缘检测及图像的拉普拉斯变换,基于图像导数的高通线性滤波器,计算二阶倒数已衡量图像的弯曲度,对金银花药材的图像进一步边缘检测确定,描绘出金银花药材表面的纹理特征。这里会设置多个卷积层进行卷积计算。
第一层卷积层,采用3*3的卷积核进行池化计算,用于提取金银花的边缘尺寸特征。
第二层卷积层,继续采用3*3的卷积核进行池化计算,用于提取金银花纹理特征。
第三层和第四层卷积层采用1*1的卷积核进行强化池化计算,用于强化前两次卷积的特征。
在图像像素特征进行卷积层计算后,将图像数据导入激励层,通过非线性函数ReLU作为激励函数,能够把输入的连续像素实值“压缩”到0和1之间,特别的,如果是非常大的负数,那么输出就是0;如果是非常大的正数,输出就是1,运用这层进一步强化图像画面核心特征。
激励层导出的数据进一步进入池化层,用于压缩数据和参数的数量,减少过拟合,用于压缩图像体积。图像压缩时去掉的信息只是一些无关紧要的信息,而留下的信息则是具有尺度不变性的特征,我们可以把这类冗余信息去除,把最重要的特征抽取出来。
最终将处理压缩完的数据导入卷积神经网络的全连接层(输出层),输出0或者1这两个数值以表示合格品以及不合格品与杂质。
S423、人工图像语义识别:该前台系统部署在台式电脑中,识别人员登录该系统对所分发的识别任务进行图像识别分类,通过人工标注的方式将预处理过的图片进行数据标识,区分出金银花药材、山银花药材及石块、树枝等其他杂质。标注的语义会与图像形成数据关联关系,并将该数据返回卷积神经网络图像识别软件系统数据库中,利用该分布式的图像语义标注方式,可在一批次生产过程中快速积累药材标准图片数据库,降低预建图像语义对比数据库的时间。
S424、图像语义判断训练:在卷积神经网络的全连接层对单药材图片进行特征分类后与人工图像语义识别后的图像做数据关联,准确的告诉卷积神经网络所识别归类后的特征点关联语义的含义。在此,全连接输出层后导入特征分类数据损失函数,采用交叉熵代价函数计算模型样本准确率和损失度,并开启会话对下一个单药材图像进行卷积池化计算,并对新的归类后的特征数据进行模型训练,最终将验证通过后的模型保存进金银花识别模型库中,预计进行3000次迭代训练,模型的准确度超过94%。
S425、图像标识显示:卷积神经网络图像识别软件系统将识别出的图像语义标识模型数据返回给图像预处理软件系统,图像预处理软件系统并将图像重新整合成流媒体文件并通过多目标追踪器在每一帧图像中标记追踪出目标识别物体,并对被识别的金银花进行语义标注,最终所有显示效果在前处理生产线(水平传输带工业摄像相机的后端)边的显示终端上展示出来。
实施例2
本实施例提供一种基于卷积神经网络的金银花药材快速净选系统,包括:
LED光源、工业摄像相机、第一风机、第二风机、图像预处理模块、生产电子看板、图像识别模块、人工图像语义识别前台软件系统和卷积神经网络图像识别软件系统;
其中:
LED光源:用于提供工业摄像相机所需的光照,由于金银花药材体积尺寸较小,相较于山银花,干花颜色较浅头部饱满且密布绒毛,采用电流激发的单色半导体发光光源,通过直接暗场正面照明的方式将光源布置在水平传输带两侧,易于成像出金银花药材的表面纹理细节;
工业摄像相机:使用CCD式感光芯片为图象传感器的工业相机,500W广角无畸变镜头,支持彩色及高速数据传输,减少位置色像差与倍率色像差的畸变发生;
第一风机5:用于向正在下落过程中的金银花进行吹风,风速为2.0-3.0m/s;
第二风机4:设置在水平传输带两旁,用于向金银花药材吹出4.0-5.0m/s的风;
图像预处理模块:用于对拍摄的图像或者从影像内截取图像进行处理并按照图像坐标分割成图像块并标记图像块的坐标信息,再通过有线或无线WIFI的方式将数据发至图像识别服务器;
图像识别服务器:用于运行卷积神经网络图像识别软件系统,对采集来的图像进行卷积神经网络识别,并对金银花药材标准图像数据进行长期保存;
生产电子看板:带数据传输接口的OLED大屏显示终端,用于显示工业摄像相机所拍到药材挑选处理实时画面,显示被标记的不合格品和杂质图像;
图像识别模块:用于对采集来的图像进行预处理,由一系列C函数和少量C++类构成,提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的多种通用算法,用于执行S41步骤;
人工图像语义识别前台软件系统:用于接收图像预处理模块处理后的金银花药材图像,对金银花药材图像进行人工语义标识,人工图片语义的标识有助计算机准确识别判断图片含义,提高自我训练识别效率。该系统有不同的操作端,制药企业众多专业识别人员在该系统内,通过人工识别的方式对图片进行快速分类,可快速形成标准金银花药材图片数据库。
以上述依据本申请的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项申请技术思想的范围内,进行多样的变更以及修改。本项申请的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (9)
1.一种基于卷积神经网络的金银花快速净选方法,其特征在于,包括以下步骤:
S1:将金银花药材运输至高处,以40-60cm的高度落到水平传输带,金银花药材下落过程中由第一风机进行吹风,风速为2.0-3.0m/s;
S2:通过水平传输带上方设置的工业摄像相机拍摄形成图像或者影像;
S3:将拍摄的图像或者影像传输到处理器内,对拍摄的图像或者从影像内截取图像进行处理并按照图像坐标分割成图像块并标记图像块的坐标信息;
S4:将图像块输入到训练好的卷积神经网络中,对图像中的金银花药材是否合格进行识别并标识出包括杂质的图像块,之后根据标记的坐标信息,将杂质的位置显示在图像上,便于挑选工将杂质挑出;
卷积神经网络包括:
4个卷积层、激励层、池化层和输出层;
第一层卷积层,采用3*3的卷积核进行池化计算,用于提取金银花的边缘尺寸特征;
第二层卷积层,继续采用3*3的卷积核进行池化计算,用于提取金银花纹理特征;
第三层和第四层卷积层采用1*1的卷积核进行强化池化计算,用于强化前两次卷积的特征;
激励层,用于接收每层卷积层导出的数据,使用非线性函数ReLU作为激励函数,输出到0和1之间的数值;
池化层,用于接收激励层导出的数据,压缩数据和参数的数量,减少过拟合;
输出层,输出0或者1这两个数值以表示合格品以及不合格品与杂质。
2.根据权利要求1所述的基于卷积神经网络的金银花快速净选方法,其特征在于,所述水平传输带为黑色或者紫色。
3.根据权利要求1或2所述的基于卷积神经网络的金银花快速净选方法,其特征在于,水平传输带两旁还设置有第二风机,所述第二风机能吹出4.0-5.0m/s的风。
4.根据权利要求3所述的基于卷积神经网络的金银花快速净选方法,其特征在于,所述风机为两个,分别位于水平传输带的两侧且沿水平传输带的传输方向前后布置。
5.根据权利要求1或2所述的基于卷积神经网络的金银花快速净选方法,其特征在于,所述工业摄像相机与水平传输带呈40-60°的角度。
6.根据权利要求1或2所述的基于卷积神经网络的金银花快速净选方法,其特征在于,金银花药材由倾斜传输带运输至高处。
7.一种基于卷积神经网络的金银花快速净选系统,其特征在于,包括:
LED光源、工业摄像相机、第一风机、图像预处理模块、生产电子看板、图像识别模块;
LED光源:用于提供工业摄像相机所需的光照;
第一风机:用于向正在下落过程中的金银花进行吹风,风速为2.0-3.0m/s;
工业摄像相机,设置水平传输带上方,用于拍摄水平传输带上的金银花药材形成图像或者影像;
图像预处理模块,用于对拍摄的图像或者从影像内截取图像进行处理并按照图像坐标分割成图像块并标记图像块的坐标信息,再将数据发至图像识别模块;
图像识别模块:用于运行训练好的卷积神经网络,对采集来的图像进行卷积神经网络识别,以识别出不合格品和杂质;
生产电子看板,用于显示工业摄像相机所拍到药材挑选处理实时画面,显示被标记的不合格品和杂质图像;
卷积神经网络包括:
4个卷积层、激励层、池化层和输出层;
第一层卷积层,采用3*3的卷积核进行池化计算,用于提取金银花的边缘尺寸特征;
第二层卷积层,继续采用3*3的卷积核进行池化计算,用于提取金银花纹理特征;
第三层和第四层卷积层采用1*1的卷积核进行强化池化计算,用于强化前两次卷积的特征;
激励层,用于接收每层卷积层导出的数据,使用非线性函数ReLU作为激励函数,输出到0和1之间的数值;
池化层,用于接收激励层导出的数据,压缩数据和参数的数量,减少过拟合;
输出层,输出0或者1这两个数值以表示合格品以及不合格品与杂质。
8.根据权利要求7所述的基于卷积神经网络的金银花快速净选系统,其特征在于,还包括第二风机,所述第二风机设置在水平传输带两旁,用于向金银花药材吹出4.0-5.0m/s的风。
9.根据权利要求7所述的基于卷积神经网络的金银花快速净选系统,其特征在于,还包括人工图像语义识别前台软件系统,所述人工图像语义识别前台软件系统用于接收图像预处理模块处理后的金银花药材图像,对金银花药材图像进行人工语义标识。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129410.1A CN111353432B (zh) | 2020-02-28 | 2020-02-28 | 一种基于卷积神经网络的金银花药材快速净选方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129410.1A CN111353432B (zh) | 2020-02-28 | 2020-02-28 | 一种基于卷积神经网络的金银花药材快速净选方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111353432A CN111353432A (zh) | 2020-06-30 |
CN111353432B true CN111353432B (zh) | 2023-08-01 |
Family
ID=71195946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010129410.1A Active CN111353432B (zh) | 2020-02-28 | 2020-02-28 | 一种基于卷积神经网络的金银花药材快速净选方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111353432B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112163514A (zh) * | 2020-09-26 | 2021-01-01 | 上海大学 | 中文繁体字识别方法及装置、可读存储介质 |
CN114152617A (zh) * | 2021-10-14 | 2022-03-08 | 攀钢集团研究院有限公司 | 一种精确测定和降低先共析渗碳体比例和分布的方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104646315A (zh) * | 2015-03-02 | 2015-05-27 | 青岛农业大学 | 一种具有黄曲霉素检测功能的农产品智能分选机 |
CN107974735A (zh) * | 2017-12-25 | 2018-05-01 | 南宁致侨农业有限公司 | 用于处理棉纤维废料的收集分离系统 |
US9996890B1 (en) * | 2017-07-14 | 2018-06-12 | Synapse Technology Corporation | Detection of items |
WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
CN109615010A (zh) * | 2018-12-13 | 2019-04-12 | 济南大学 | 基于双尺度卷积神经网络的中药材识别方法及系统 |
CN109615574A (zh) * | 2018-12-13 | 2019-04-12 | 济南大学 | 基于gpu和双尺度图像特征比对的中药识别方法及系统 |
WO2019109771A1 (zh) * | 2017-12-05 | 2019-06-13 | 南京南瑞信息通信科技有限公司 | 基于多核异构并行计算的电力人工智能视觉分析系统 |
CN110544261A (zh) * | 2019-09-04 | 2019-12-06 | 东北大学 | 一种基于图像处理的高炉风口喷煤状态检测方法 |
-
2020
- 2020-02-28 CN CN202010129410.1A patent/CN111353432B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104646315A (zh) * | 2015-03-02 | 2015-05-27 | 青岛农业大学 | 一种具有黄曲霉素检测功能的农产品智能分选机 |
WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
US9996890B1 (en) * | 2017-07-14 | 2018-06-12 | Synapse Technology Corporation | Detection of items |
WO2019109771A1 (zh) * | 2017-12-05 | 2019-06-13 | 南京南瑞信息通信科技有限公司 | 基于多核异构并行计算的电力人工智能视觉分析系统 |
CN107974735A (zh) * | 2017-12-25 | 2018-05-01 | 南宁致侨农业有限公司 | 用于处理棉纤维废料的收集分离系统 |
CN109615010A (zh) * | 2018-12-13 | 2019-04-12 | 济南大学 | 基于双尺度卷积神经网络的中药材识别方法及系统 |
CN109615574A (zh) * | 2018-12-13 | 2019-04-12 | 济南大学 | 基于gpu和双尺度图像特征比对的中药识别方法及系统 |
CN110544261A (zh) * | 2019-09-04 | 2019-12-06 | 东北大学 | 一种基于图像处理的高炉风口喷煤状态检测方法 |
Non-Patent Citations (1)
Title |
---|
龙法宁 ; 朱晓姝 ; 甘井中 ; .基于卷积神经网络的臂丛神经超声图像分割方法.合肥工业大学学报(自然科学版).2018,(09),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111353432A (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108982508B (zh) | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 | |
CN108686978B (zh) | 基于arm的水果类别和色泽的分拣方法及系统 | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN104361314B (zh) | 基于红外与可见光图像融合的变电设备定位方法及装置 | |
CN106770332B (zh) | 一种基于机器视觉的电子模切料缺陷检测实现方法 | |
WO2021073370A1 (zh) | 物品检测方法、装置、系统和计算机可读存储介质 | |
CN104881665B (zh) | 一种芯片字符识别与校验方法及装置 | |
CN110148122A (zh) | 基于深度学习的苹果外观质量分级方法 | |
CN105251707B (zh) | 基于医药大输液可见异物检测系统的次品剔除分拣装置 | |
CN111353432B (zh) | 一种基于卷积神经网络的金银花药材快速净选方法及系统 | |
CN110570422B (zh) | 一种基于矩阵分析的胶囊缺陷视觉检测方法 | |
CN116363505A (zh) | 一种基于采摘机器人视觉系统的目标采摘方法 | |
CN111161295A (zh) | 一种菜品图像背景剥离方法 | |
CN116978834A (zh) | 一种用于晶圆生产的智能监测预警系统 | |
CN117214178A (zh) | 一种用于包装生产线上包装件外观缺陷智能识别方法 | |
CN113487538A (zh) | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 | |
CN111091122B (zh) | 一种多尺度特征卷积神经网络的训练和检测方法、装置 | |
CN109615610B (zh) | 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法 | |
CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
CN113610185B (zh) | 基于主色调识别的木材色选方法 | |
CN102519971A (zh) | 食用菌杂质在线识别装置及方法 | |
CN109596620A (zh) | 基于机器视觉的产品表面形状缺陷检测方法和系统 | |
CN114708234A (zh) | 一种识别自动卡口编码一体机上雷管数量的方法及装置 | |
CN114359155A (zh) | 一种覆膜方法及系统 | |
CN113145473A (zh) | 一种水果智能分拣系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |