[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114965346B - 基于深度学习和高光谱成像技术的猕猴桃品质检测方法 - Google Patents

基于深度学习和高光谱成像技术的猕猴桃品质检测方法 Download PDF

Info

Publication number
CN114965346B
CN114965346B CN202210636956.5A CN202210636956A CN114965346B CN 114965346 B CN114965346 B CN 114965346B CN 202210636956 A CN202210636956 A CN 202210636956A CN 114965346 B CN114965346 B CN 114965346B
Authority
CN
China
Prior art keywords
image
data
pixel
kiwifruit
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210636956.5A
Other languages
English (en)
Other versions
CN114965346A (zh
Inventor
康志龙
赵雨晨
王申艺
柴元非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202210636956.5A priority Critical patent/CN114965346B/zh
Publication of CN114965346A publication Critical patent/CN114965346A/zh
Application granted granted Critical
Publication of CN114965346B publication Critical patent/CN114965346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3554—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for determining moisture content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于深度学习和高光谱成像技术的猕猴桃品质检测方法，属于水果质量检测技术领域，该方法首先，准备N个形状良好、颜色正常并且无腐烂的猕猴桃并进行存储条件编号，分别放入低温试验箱和室温模拟不同的存储环境，在两个存储环境中存储不同时间后进行近红外高光谱成像。其次，采用ENVI5.3软件提取不同存储条件下果实感兴趣区域中所有像素点的光谱反射率，对其进行黑白校正后用于建立像素级分类模型，实现对不同存储条件下果实的快速识别。本发明检测方法高效、无损且节省人力资源，适用于猕猴桃果实的实时监测和工业化管理。

Description

基于深度学习和高光谱成像技术的猕猴桃品质检测方法
技术领域
本发明涉及基于空间-光谱信息的食品品质无损检测技术领域，尤其涉及基于深度学习和高光谱成像技术对不同存储条件下猕猴桃果实品质变化的快速识别。
背景技术
猕猴桃质地柔软、口感酸甜，富含人体所需的多种维生素、氨基酸和微量元素，被誉为“水果之王”，因此深受消费者的喜爱。猕猴桃属于呼吸跃变型果实，成熟后会迅速软化腐烂，采摘后的果实的存储时间极其有限。目前主要采取低温冷藏的方式对果实进行存储和运输，低温环境可抑制果实的乙烯合成，降低采摘后的成熟软化速度。由于猕猴桃果实表面不均匀、颜色变化不明显，因此很难从表面判断猕猴桃的成熟程度和果实品质，未经受训的检察人员不可避免会做出错误判断。据统计，中国丢弃的腐烂食品造成的浪费约占食品生产总值的20％，特别是水果、蔬菜和海鲜类等生鲜食品，大多在存储运输过程中无法保证存储条件，并且检察人员无法准确判断其果实成熟度而腐烂。因此，研究人员采用了多种方法对果实的质量和存储环境进行监测和控制。传统的检测方法需要对水果样品进行侵入式处理以提取可溶性固形物、水分含量和pH等理化参数，具有主观性、破坏性，并且耗费人工。因此，提取一种可以快速准确地区分果实的存储温度和时间的技术，将对水果产业有重要意义。
高光谱成像(Hyperspectral Imaging,HSI)技术作为替代传统检测方法的新型手段，兼具光谱成像和基于红绿蓝颜色模型的计算机视觉的技术优势，可获取被检测物体在可见近红外(Visible and Near Infrared,VNIR)和近红外(Near Infrared,NIR)光谱区域上样本的光谱和空间特征，因此广泛应用于蔬菜水果类食品的成熟度评估、化学成分定量与定性分析以及机械损伤检测等领域。然而，高光谱图像通常具有上百维光谱，光谱数据间具有高度连续性，过多的冗余数据会使模型的性能大大降低，给后续数据分析处理带来极大的挑战。为降低数据处理量，现行的食品无损检测研究中通常提取图像感兴趣区域(Region Of Interest,ROI)内的平均光谱反射率(也即对象级数据)作为训练样本。然而，与基于像素级数据建立的模型相比，基于对象级数据建立模型虽然降低了模型训练参数、缩短训练时间，但是破坏了固体食品样本的空间特征，使模型的稳定性和泛化能力仍有待提高。
目前，已有文献对猕猴桃的早期隐性损伤、冻伤和采摘后成熟度进行质量检测，但仅在与叶绿素和花青素等化合物相关的VNIR范围(400-1000nm)进行果实品质的研究，并且基于对象级数据集建立传统机器学习模型，使其建立光谱与猕猴桃品质参数(如硬度、可溶性固形物、pH等)之间的联系，最后进行果实品质的预测与分类，这种传统机器学习算法通常牺牲样本数据中的空间特征以降低模型训练参数，使模型的性能仍有待提高，此外，由于食品在高光谱成像过程中会受到来自背景环境和成像样品表面的散射影响，可能会使光谱数据出现基线偏移、曲线变形等现象，提高了传统机器学习算法对数据的分析难度。因此，本发明提出一种基于深度学习的扩展形态-非局域胶囊网络(EMP-NLCapsNet)算法，选择NIR光谱区域(900-1700nm)在不同温度下存储不同时间的猕猴桃的品质变化，提取果实的像素级数据特征，以对不同存储条件下的猕猴桃果实品质进行分类。
发明内容
本发明的目的是，克服现有食品无损研究中的缺陷，以像素级数据代替会破坏样本空间特征的对象级数据，以空间-光谱特征代替现有研究中的光谱特征构建分类模型。本发明在NIR(900-1700nm)光谱区域，采用HSI技术研究不同存储条件下猕猴桃的品质变化，利用基于深度学习的扩展形态-非局域胶囊网络(EMP-NLCapsNet)算法，对不同温度(低温(4℃，75％相对湿度)和室温(18±2℃))下存储不同时间(0、2、4、6天)的果实进行分类，分析不同存储条件(温度和时间)下空间-光谱特征对应的果实品质变化。
为实现上述目的，本发明采用的技术方案包括以下步骤：
一种基于深度学习和高光谱成像技术的猕猴桃品质检测方法，利用深度学习和近红外高光谱成像技术实现对猕猴桃品质的快速检测，该方法的步骤是：
S1:准备N个形状良好、颜色正常并且无腐烂的猕猴桃，将猕猴桃分别放置在不同的存储条件下进行存储。不同的存储条件包括不同的环境温度和不同环境温度下的不同存储天数，每种存储条件下有多个猕猴桃。
S2:使用NIR-HSI采集系统对S1中不同存储条件下的猕猴桃进行图像采集，最终获取不同存储条件下的猕猴桃的包含256个光谱波段的高光谱图像数据；
S3:对步骤S2获取的高光谱图像进行黑白校正，获得校正后的反射图像，再通过ENVI 5.3软件从校正后的反射图像中手动选取不同存储条件下猕猴桃的ROI数据；由于不同存储条件下的猕猴桃有多个，在相同存储条件下的所有猕猴桃获得的ROI数据中随机选取E×E个像素点作为该条件下的全光谱数据，所有全光谱数据形成像素级数据集；其中，对像素级数据集按照35:35:30的比例划分训练集、验证集和测试集。
S4:构建EMP-NLCapsNet分类算法；
EMP-NLCapsNet算法包括EMP算法、PCA算法和非局部胶囊网络NLCapsNet，使用PCA算法对全光谱数据进行降维，获得PC图像，将累计方差超过99％的PC图像作为创建EMP的基础图像。其次，使用结构元素(Structuring Element，SE)获取PC图像的形状、边界和结构特征，继而对PC图像进行四次开关操作，形成具有空间结构特征的EMP数据块，将EMP数据块与PC图像进行堆叠，形成空间－光谱特征融合数据块输入非局部胶囊网络NLCapsNet。非局部胶囊网络NLCapsNet包括卷积层、主胶囊层Primarycaps、数字胶囊Digitcaps；所述卷积层由两个二维卷积操作(Conv2D)和一个非局部模块构成，可提取输入图像中的全局深层空间-光谱特征，将具有空间结构的高光谱特征有机连接起来，非局部模块位于两个二维卷积操作之间，三者依次串联；所述非局部模块由三个卷积核为和一个卷积核为1×1×C的卷积操作(Conv2D)构成，计算由第一个二维卷积操作生成的特征图中所有像素之间的相关性，并调整特征图中所有位置的权重模拟远距离像素点之间的关系；
训练集用来建立EMP-NLCapsNet模型，验证集用于调整控制模型复杂度的参数，并监控模型是否出现过拟合现象，而测试集则检验模型的泛化能力，获得训练好的像素级分类模型；
S5:将在未知环境下存储的猕猴桃经过步骤S2-S3的处理后获得果实完整ROI数据，将ROI数据送入训练好的像素级分类模型中，实现对不同存储条件下(输出为该果实为存储温度和存储时间)的猕猴桃果实的快速分类，以存储条件反映果实的不同品质。
进一步地，所述步骤S3中不同存储条件下猕猴桃的ROI数据获取方式为：从校正后的反射图像中选择果实中间区域的像素范围为30×30～60×60个像素点为ROI数据；优选地ROI数据的大小为50×50个像素点；步骤S4中所述结构元素SE为一个半径为2像素的圆形。
所述NIR-HSI采集系统的近红外波长为900-1700nm，不同存储条件为包括低温(4℃，75％相对湿度)和室温(18±2℃)下存储不同时间(0、2、4、6天)。
所述步骤S3中黑白校正的过程是：通过标准漫反射表面的99％反射率的白色校正板和无光源并完全覆盖镜头的黑暗环境分别获取白校正图像和黑校正图像；将高光谱图像中的每个像素点按照公式(1)与获取的黑、白校正图像进行对比校正，获得校正后的反射图像：
其中，IR是校正后的反射图像，Iraw是高光谱图像，Idark和Iwhite分别为黑、白校正图像的光强，a和b是图像的空间坐标。
所述非局部模块的过程是：特征图中像素点表示为xin＝{x1,x2,…xz}，每个像素点xi均表示一个C维向量，其中z为特征图中像素点的个数，i的取值为1-z的整数，C为特征图的通道数；非局部模块的输出为yout＝{y1,y2,…,yz}，每两个像素点之间的相似度s由式(2)获得，因此，非局部模块能计算由第一个二维卷积操作生成的特征图中所有像素之间的相关性，并调整所有位置的权重模拟远距离像素点之间的关系；
其中，x为输入数据，i为输出数据的位置索引，j为枚举所有可能位置的索引；θ(·)、和g(·)都表示一个二维卷积层，卷积核均为因此通过两次点乘运算和一次softmax正则运算，得到的特征图为其次，用1×1×C的卷积核对特征图做空间卷积运算，得到特征图为H×W×C；最后，将获取的特征图与输入图像xin做加法运算得到输出yout。
NLCapsNet网络中的第一层是标准的二维卷积操作(Conv1)，卷积核为5×5，通过对输入数据块进行卷积获取深层特征，并将特征送入非局部模块；在非局部模块后设置卷积核为3×3的二维卷积操作(Conv2)，基于全局信息进一步提取深层特征，降低初级胶囊的数量，提高动态路由的运行速度；PrimaryCaps层中总输出32个胶囊，每个胶囊输出一个由3×3卷积核生成的8维向量；其次，将输出的胶囊馈入Digitcaps层，用于编码数据信息和通过动态路由算法进行最终分类；Digitcaps层中设置l个代表类别的胶囊，每个胶囊有一个表示实体类的16维向量，该向量长度表示当前输入目标实体的存在概率；最后，将胶囊网络中输出的向量馈入解码器，将胶囊学到的特征向量重构为输入图像；所述EMP-NLCapsNet算法的输出节点为4，动态路由和网络的迭代次数分别设置为3次和100次(epoch)，网络的学习速率和衰减分别为0.001和0.9，相邻数据块像素点区域均设为11×11，采用Adam优化器更新参数；EMP-NLCapsNet的性能由总体精度OA和Kappa系数进行评估，其中，OA为总体测试集中正确分类的像素点数量，Kappa系数是一个通过加权分类精度的度量标准，数学表达如式(3)和(4)所示；
其中,T为测试集总像素点个数；l为总类别个数；u代表各类别；cuu为分类正确的像素点；cu+与c+u为误分类像素点之和，其中u+代表在第u行划分在其他列的像素，+u代表在第u列划分在其他行的像素，都属于错误划分。
与现有技术相比，本发明的有益效果是：
(1)本发明检测方法利用EMP-NLCapsNet算法建立像素级分类模型，进行检测时无需对猕猴桃进行侵入式检测来提取内部化学成分含量，并且在NIR-HSI系统采集图像的过程中不会对样本造成损伤，是一种无损检测的方式。
(2)本发明检测方法选择NIR-HSI系统的成像光谱范围。该光谱范围集中在可体现食品中水分、脂肪和氨基酸等有机物含量的900-1700nm波段，可直观的体现不同存储条件下果实有机物含量的变化。此外，NIR-HSI系统操作时仅需将被测样本置于移动平台中央，设置成像参数后便可进行高光谱数据采集，具有操作简洁的特点。
(3)本发明所提出的EMP-NLCapsNet算法由扩展形态剖面(ExtendedMorphological Profile，EMP)算法、主成分分析(Principal Component Analysis,PCA)算法和非局部胶囊网络(NLCapsNet)构成，EMP和PCA分别用于猕猴桃高光谱图像的空间结构和光谱特征提取，并将提取后的特征数据块堆叠输入非局部胶囊网络(NLCapsNet)实现品质分类。与现行的食品无损检测技术相比，EMP-NLCapsNet算法基于像素级数据集构建网络，保留了高光谱图像的原始空间结构，此外解决了传统卷积神经网络中的池化操作丢失图像空间特征和数据不足情况下会出现过拟合现象等问题，并增添了非局部模块模拟高光谱图像中的远距离依赖关系，使该模型即使在具有复杂背景环境、小样本和目标重叠部分的数据集中也具有强大的鲁棒性。
附图说明
图1是本发明中搭建的NIR-HSI系统。
图2是本发明中新鲜猕猴桃(对照组存储D0中随机取100个像素点)在NIR(900-1700nm)光谱范围内的光谱特征。
图3(a)是本发明中猕猴桃在室温下不同存储时间的平均光谱曲线变化图；
图3(b)为本发明中猕猴桃在低温(4℃)下存储不同时间的平均光谱曲线变化图。
图4是本发明中EMP-NLCapsNet算法的结构流程图，图中数据以对照组存储D0的猕猴桃为例。
图5是随机选取的对照组完整果实，在室温下存储D0-D6后基于前四张PC图像建立的EMP(从上至下分别为对照组在室温下存储D0、D2、D4和D6)。
图6是本发明中非局部模块的结构示意图。
图7是本发明中EMP-NLCapsNet算法的训练集和验证集(Training和Validation)的精度和损失(Accuracy和Loss)曲线。
图8是本发明中在室温环境存储D6与低温环境存储D2-D6果实内部的假彩色和PC1-PC4图像。
图9是本发明将低温下存储不同时间的果实完整ROI馈入EMP-NLCapsNet模型后得到的时间变化分类图。
具体实施方式
下面结合实施例及附图进一步解释本发明，但并不以此作为对本申请保护范围的限定。
本发明基于深度学习和高光谱成像技术的猕猴桃品质检测方法，包括以下步骤：
S1:准备N个形状良好、颜色正常并且无腐烂的猕猴桃，将样本分别放置在不同的存储环境。不同的存储条件包括不同的环境温度和不同环境温度下的不同存储天数，每种存储条件下的猕猴桃数量为多个；
准备80个形状大小均匀、无腐烂、无疤痕并且颜色正常的陕西周至翠香猕猴桃，将所有果实共分为4组，每组20个果实，并对其进行存储条件类别编号。随机选取20个新鲜水果作为对照组放置在室温(18±2℃)环境存储，其余水果均放置低温试验箱。试验箱中低温环境的温度和相对湿度分别设置为4℃和75％，每隔两天从试验箱中移出一组样品(即存储第0、2、4、6天，D0、D2、D4和D6)，并与室温下存储相同时间的对照组果实一同进行高光谱成像。
S2:使用NIR-HSI(近红外-高光谱成像)采集系统对猕猴桃样本进行高光谱图像采集，最终获取包含256个光谱波段的高光谱图像；
高光谱图像采集在黑暗环境下进行，避免数据采集环境中光的干扰。NIR-HSI采集系统如图1所示，选择光谱范围为近红外区域，图1中(a)为现有高光谱成像设备的组成，包括移动平台、镜头、光源、固定架，(b)为高光谱图像的信息构成，(c)为样本ROI的平均光谱曲线。本实施例中将猕猴桃样品放置在移动平台中间，镜头与样本之间距离设置为100mm，移动平台的移动速率设置为8mm/s，曝光时间设置为20ms，光谱范围为900-1700nm，以5nm的光谱分辨率采集图像，最终得到256个波段的高光谱图像。由于高光谱图像整体呈现为包含二维空间信息和一维光谱信息的三维数据立方体，其光谱维中的每个维度都是单一波长的二维灰度图像，因此NIR-HSI获取的高光谱图像共有256个维度。
S3:为消除成像过程中环境因素引起的光照不均和随机噪声的影响，需对获取的高光谱图像进行黑白校正，最终获取校正后的反射图像。对步骤S2获取的高光谱图像进行黑白校正，获得校正后的反射图像，再通过ENVI 5.3软件从校正后的反射图像中手动选取不同存储条件下猕猴桃的ROI数据，优选果实中间区域的像素范围为30×30～60×60个像素点；由于不同存储条件下的猕猴桃有多个，在相同存储条件下的所有猕猴桃获得的ROI数据中随机选取E×E个像素点作为该条件下的全光谱数据并形成像素级数据集。其中，像素级数据集按照35:35:30的比例划分训练集、验证集和测试集。
黑白校正图像通过标准漫反射表面的99％反射率的白色校正板(Labsphere,North Sutton,NH)和无光源并完全覆盖镜头的黑暗环境分别获取。接着，将果实图像中的每个像素点与获取的黑白校正图像进行对比校正，如式(1)所示：
其中，IR是校正后的反射图像，Iraw是被测样本的原始光强图像，Idark和Iwhite分别为黑白校正图像的光强，a和b是图像的空间坐标。
由于含皮水果的ROI提取位置将会影响分类模型性能，为同时获取猕猴桃内部的桃芯、种子与果肉的空间和光谱信息，本实施例中采用ENVI 5.3软件在整体果实的中心部分提取包含50×50个像素点的ROI。因此，本实施例中一组有20个果实，每组果实的ROI中共有1000×50个像素点。为降低数据量，使训练数据具有普适性，从每组果实ROI中的1000×50个像素点中任意选取50×50个像素点作为全光谱数据，并形成像素级数据集。因此，本发明中不同存储温度分别有200×50个像素点数据(一个存储温度有四种存储时间的数据)，将数据集中35％作为训练集调整模型参数，35％作为验证集调整控制模型复杂度的参数，30％作为测试集观测模型泛化能力。
在对照组存储D0中随机选取100个像素点的光谱曲线，如图2所示，在图2中水分的O-H二级吸收倍频和碳水化合物相关的物质使光谱在970nm附近和1100nm、1450nm处出现主要吸收峰，花青素化合物中的C-H拉伸也使光谱在1300nm处出现峰值，可以观察到新鲜猕猴桃的光谱特征。
图3呈现了新鲜果实在室温和低温(4℃)下不同贮藏天数的平均反射光谱，图中D0、D2、D4、D6分别对应的是贮藏天数为0、2、4、6。从图3中(a)中的平均光谱得出，在室温下存储时间越长，果实反射率越低。此外，果实存储D4后，曲线在1200-1300nm的吸收峰变得平缓，1300-1500nm范围内的吸收峰消失，并与D0、D2的曲线相交。这种现象可能与O-H拉伸振动、与水的第二和第三泛音以及酚类的降解有关，导致果实中的某些有机物含量发生变化。此外，图3中(b)在低温下存储果实的光谱曲线变化与室温环境下相似，由于色素损伤和组织萎缩，样本在低温下存储时间越长，果实反射率越低。然而，低温下存储样本的平均光谱曲线没有很大的差异，可从光谱反射角度证明果实在1200-1500nm范围内的内部物质没有消失。
S4:构建EMP-NLCapsNet分类算法；
所述EMP-NLCapsNet算法：由EMP算法、PCA算法和非局部胶囊网络(NLCapsNet)构成，首先，采用PCA对全光谱数据H×W×B在光谱维度(256)进行降维，生成包含最多输入图像信息的主成分(Principal Component,PC)图像H×W×P，并使PC图像的累计解释方差超过99％。其次，对生成的PC图像分别进行形态学操作，提取图像中的空间结构生成EMP数据块H×W×M，并将EMP数据块与PC图像进行堆叠，堆叠后的数据H×W×C作为高光谱图像的空间-光谱特征送入NLCapsNet，用于在不同存储环境下的果实品质分类。其中，H、W和B分别为全光谱数据的高、宽和波段，P为全光谱数据降维后的维度，M为生成EMP数据块的维度，C为融合空间-光谱特征数据块的维度。
EMP算法中涉及的形态学运算需要利用一个已知大小和形状的结构元素(Structuring Element，SE)获取图像的形状、边界和结构特征，其基础运算为腐蚀、膨胀、开运算与闭运算，数学定义如式(2)-(5)所示。其中，腐蚀与膨胀分别为SE中的最小值与最大值；开运算为先腐蚀、后膨胀的过程，可扩大图像的侵蚀范围；闭运算为先膨胀、后腐蚀的过程，可腐蚀膨胀的图像，以恢复已膨胀的图像结构。为降低光谱之间的关联性，Fauwel等[1]对全光谱数据进行降维处理，将低维立方体作为创建形态剖面(MorphologicalProfile,MP)的基础图像，使用开和闭运算放大或减少图像中的明暗结构，使创建的MP亮度均匀，并且降低外界引入的形状噪声，生成的数据块即为EMP数据块，数学表达如式(6)和(7)所示。
本实施例中使用PCA算法对预处理数据进行降维，将累计方差超过99％的PC图像(也即前4张PC图像)作为创建EMP的基础图像。其次，基于半径为2的圆形SE对PC图像进行四次开关操作，形成36个(每张主成分图像对应9个，前四张主成分图像共有36个)具有空间结构特征的EMP。为凸显果实品质变化，此处采用果实的完整图像代替训练集中的数据ROI进行阐述，图5为随机选取的对照组完整果实，在室温下存储D0-D6后基于前四张PC图像建立的EMP。从图中可以看出随着存储时间的延长，果实的形态由圆润变得干瘪，含水量明显降低，与光谱曲线中988、1032、1136和1164nm中的果实含水量密切相关，表明EMP可以有效提取高光谱图像的空间结构特征。最后，将EMP数据块与PC图像进行堆叠，形成融合空间－光谱特征数据块，本实施例中形成了40个空间-光谱特征馈入NLCapsNet进行深度特征学习和分类。
其中，I为被处理图像，B为SE，BX为SE在像元x处的中心值，k为输入位置索引，n为开、闭运算的次数，β为闭运算，γ为开运算，P为图像降维后的维度。
胶囊网络(CapsNet)主要由传统卷积层、主胶囊层(Primarycaps)、数字胶囊(Digitcaps)构成，主胶囊层(Primarycaps)和数字胶囊(Digitcaps)中具有若干数量的胶囊基础单元。与传统CNN对比，CapsNet的输入和输出数据均用代表特定实体类型的向量形式表征，并且用动态路由算法取代传统架构中的池化层以弥补丢失空间信息的缺陷。此外，输入与输出数据的向量方向代表实体的目标属性，长度代表实体存在概率。CapsNet中同层胶囊通过某个变换矩阵对下层胶囊的实例化参数进行预测，动态路由算法会使该层的多个胶囊预测结果保持一致，并使下层胶囊变得活跃。动态路由算法为CapsNet的核心，在Digitcaps层中进行工作，其动态性为网络算法带来强大的解释能力，并提高网络在含噪音数据集中的抗干扰能力。该算法的本质为聚类算法，可通过迭代调整子胶囊与父胶囊之间的权重系数，并允许它们进行动态连接，使子胶囊更倾向于将信息传送至与其耦合系数较大的父胶囊中。
此外，NLCapsNet中基于CapsNet添加非局部模块，该模块可将输入特征映射中所有位置的特征加权和作为某一位置的响应，因此可模拟高光谱图像中的远距离依赖关系，使模型即使在具有复杂背景环境、小样本和目标重叠部分的数据集中也具有强大的鲁棒性。NLCapsNet中的非局部模块工作原理如图6所示，主要用于强调由Conv1生成的融合空间－光谱特征图中各像素点的相关信息。特征图中像素点表示为xin＝{x1,x2,…xz}，每个像素点xi均表示一个C维向量，其中z为特征图中像素点的个数，C为特征图的通道数。非局部模块的输出为yout＝{y1,y2,…,yz}，每两个像素点之间的相似度s由式(8)所示。因此，非局部模块可计算由Conv1生成的特征图中所有像素之间的相关性，并调整所有位置的权重模拟远距离像素点之间的关系。
其中，x为输入数据，i为输出数据的位置索引，j为枚举所有可能位置的索引；θ(·)、和g(·)都表示图6中的一个传统二维卷积层(Conv2D)，卷积核均为因此通过两次点乘运算和一次softmax正则运算，得到的特征图为其次，用1×1×C的卷积核对特征图做空间卷积运算，得到特征图为H×W×C。最后，将获取的特征图与输入图像xin做加法运算得到输出yout。
EMP-NLCapsNet的网络架构如表1所示，其中网络部分采用两个二维卷积操作和一个非局部模块进行特征学习，可提取输入图像中的全局深层空间-光谱特征，将具有空间结构的高光谱特征有机连接起来。首先，堆叠数据H×W×C转换为S×S×C的三维数据块作为输入数据馈入NLCapsNet网络进行分类，其中S表示为卷积核的大小。NLCapsNet网络中的第一层是标准的二维卷积操作(Conv1)，卷积核为5×5，可通过对输入数据块进行卷积获取深层特征，并将特征送入非局部模块。此外，在非局部模块后设置卷积核为3×3的二维卷积操作(Conv2)，基于全局信息进一步提取深层特征，降低初级胶囊的数量，提高动态路由的运行速度。PrimaryCaps层中总输出32个胶囊，每个胶囊输出一个由3×3卷积核生成的8维向量。其次，将输出的胶囊馈入Digitcaps层，用于编码数据信息和通过动态路由算法进行最终分类。Digitcaps层中设置l个代表类别的胶囊，每个胶囊有一个表示实体类的16维向量，该向量长度表示当前输入目标实体的存在概率。最后，将胶囊网络中输出的向量馈入解码器，将胶囊学到的特征向量重构为输入图像。此外，EMP-NLCapsNet网络输出节点为4，动态路由和网络的迭代次数分别设置为3和100次(epoch)，网络的学习速率和衰减分别为0.001和0.9，相邻数据块像素点区域均设为11×11，采用Adam优化器更新参数。图7是本发明中EMP-NLCapsNet算法的训练集和验证集(Training和Validation)的精度和损失(Accuracy和Loss)曲线。此外，EMP-NLCapsNet的性能由总体精度(Overall Accuracy，OA)和Kappa系数进行评估。其中，OA为总体测试集中正确分类的像素点数量，Kappa系数是一个通过加权分类精度的度量标准，数学表达如式(9)和(10)所示。最后，EMP-NLCapsNet的整体分类性能如表2所示。
其中,T为测试集总像素点个数；l为总类别个数；u代表各类别；cuu为分类正确的像素点；cu+与c+u为误分类像素点之和，其中u+代表在第u行划分在其他列的像素，+u代表在第u列划分在其他行的像素，都属于错误划分。
训练集用来建立EMP-NLCapsNet模型，验证集用于调整控制模型复杂度的参数，并监控模型是否出现过拟合现象，而测试集则检验模型的泛化能力，获得训练好的像素级分类模型；
表1 EMP-NLCapsNet算法中各层的卷积类型、输出映射的维数
表2 EMP-NLCapsNet算法对不同存储条件下果实整体分类结果
S5:获得像素级数据集后的果实，根据中国国家标准GB/T 40743-2021和NY/T1794-2009，对不同存储条件下的果实样本进行感官评估以验证分类模型的准确性；验证结果表明存储天数和存储环境确实影响果实的品质，通过存储条件的分类能够反映出果实品质的变化。
根据国家标准《GB/T 40743-2021猕猴桃质量等级》和《NY/T 1794-2009猕猴桃等级规格》对猕猴桃的品质感官特征评估，如表3所示。新鲜的猕猴桃果形端正，外表洁净完好，无腐烂、皱缩和柔软区域，无异味，无虫害。变质症状包括表面出现斑块，呈现为不完整的环状颗粒或木质形态、外皮绵软、有腐烂部分，内部出现木质化和水质化果肉，有发酵酒味、酸涩。存储后的果实品质大致分为三种类型：果实外皮软硬适中，散发清香，认为是水果的最佳食用时间；外皮变软，出现发酵酒味，虽然品质下降，但仍可以食用；外皮腐烂甚至出现酸涩酒味，完全失去食用价值。
S5中将室温环境存储D6和低温环境下存储D2-D6的猕猴桃果实轴向切割，并对其内部果肉进行感官分析，其基于光谱第29、42和89波段的信息建立假彩色图像与经PCA降维后的前四张PC图像如图8所示。室温环境下存储D6的果实内部出现木质化果肉，散发发酵后的酒味，果皮整体变软，开始腐烂。低温存储D2的果实果皮变软，散发清香，为果实的最佳食用时间；存储D4和D6的果实虽然丧失部分水分，果皮依旧坚硬，无法看出明显差异。图8中呈现前四张PC图像累计解释方差为0.9972，低温环境存储果实含水量没有明显降低，导致PC3中出现不同程度的重叠现象，因此果实从假彩色图像呈现的外部特征和内部果肉上均不能发现明显的变化。相反，在室温下存储的果实已出现腐烂，基本没有出现反光现象，在PC1中颜色也变得暗淡。因此，前四张PC图像中均可反应在不同温度下存储不同时间果实内部的品质变化，也进一步验证了HSI技术可通过光谱信息对猕猴桃内在理化性质进行评估。
表3猕猴桃果实品质评估的感官特征标准
S6:将在不同环境下存储的猕猴桃经过步骤S2-S3的处理后获得果实完整ROI数据，将ROI数据送入训练好的像素级分类模型中，实现对不同存储条件下的猕猴桃果实的快速分类。
由于低温下存储不同时间的果实在感官特征中没有明显的差异，因此采用EMP-NLCapsNet模型建立深度高光谱特征(全光谱数据)与低温存储不同时间的果实之间的关系。本发明中随机选取低温下存储不同时间果实的完整ROI数据，依旧采用40个空间-光谱特征建立的EMP-NLCapsNet模型预测ROI中各像素点的存储时间，每个像素点因其光谱反射值和空间结构的不同会呈现分类结果，从而在生成的分布图中表现为不同的颜色，如图9所示。其中，标签中从1到4的颜色刻度，表示从低到高的存储天数(D0、D2、D4和D6)。为将ROI数据与日常生活中果实进行对比，采用光谱第29、42和89波段的信息建立猕猴桃ROI的假彩色图像。尽管人们无法用肉眼看出在低温下存储不同时间果实的内部品质，但根据果实的分类图可清晰地观察到低温下存储不同时间的果实之间差异。
本发明未述及之处适用于现有技术。

Claims (7)

1.一种基于深度学习和高光谱成像技术的猕猴桃品质检测方法，该方法的步骤是：
S1:准备N个形状良好、颜色正常并且无腐烂的猕猴桃，将猕猴桃分别放置在不同的存储条件下进行存储；不同的存储条件包括不同的环境温度和不同环境温度下的不同存储天数，每种存储条件下的猕猴桃数量为多个；
S2:使用NIR-HSI采集系统对S1中不同存储条件下的猕猴桃进行图像采集，最终获取不同存储条件下的猕猴桃的包含256个光谱波段的高光谱图像数据；
S3:对步骤S2获取的高光谱图像进行黑白校正，获得校正后的反射图像，再通过ENVI5.3软件从校正后的反射图像中手动选取不同存储条件下猕猴桃的ROI数据，由于不同存储条件下的猕猴桃有多个，在相同存储条件下的所有猕猴桃获得的ROI数据中随机选取E×E个像素点作为该存储条件下的全光谱数据，所有存储条件下的全光谱数据形成像素级数据集；其中，对像素级数据集划分训练集、验证集和测试集；
S4:构建EMP-NLCapsNet分类算法；
所述EMP-NLCapsNet算法包括EMP算法、PCA算法和非局部胶囊网络NLCapsNet，使用PCA算法对全光谱数据进行降维，获得PC图像，将累计方差超过99％的PC图像作为创建EMP的基础图像；使用一个结构元素SE获取PC图像的形状、边界和结构特征，继而对PC图像进行四次开关操作，形成具有空间结构特征的EMP数据块，将EMP数据块与PC图像进行堆叠，形成空间－光谱特征融合数据块，输入非局部胶囊网络NLCapsNet；
所述非局部胶囊网络NLCapsNet包括卷积层、主胶囊层Primarycaps和数字胶囊Digitcaps；所述卷积层由两个二维卷积操作和一个非局部模块构成，能提取输入图像中的全局深层空间-光谱特征，将具有空间结构的高光谱特征有机连接起来，非局部模块位于两个二维卷积操作之间，三者依次串联；所述非局部模块包括三个卷积核为的二维卷积层和一个卷积核为1×1×C的二维卷积层，计算由第一个二维卷积操作生成的特征图中所有像素之间的相关性，并调整特征图中所有位置的权重模拟远距离像素点之间的关系；
训练集用来建立EMP-NLCapsNet模型，验证集用于调整控制模型复杂度的参数，并监控模型是否出现过拟合现象，而测试集则检验模型的泛化能力，获得训练好的像素级分类模型；
S5:将在未知环境下存储的猕猴桃经过步骤S2-S3的处理后获得果实完整ROI数据，将ROI数据送入训练好的像素级分类模型中，实现对不同存储条件下的猕猴桃果实的快速分类。
2.根据权利要求1所述的基于深度学习和高光谱成像技术的猕猴桃品质检测方法，其特征在于，步骤S3中不同存储条件下猕猴桃的ROI数据获取方式为：从校正后的反射图像中选择果实中间区域的像素范围为30×30～60×60个像素点为ROI数据；步骤S4中所述结构元素SE为一个半径为2像素的圆形。
3.根据权利要求2所述的基于深度学习和高光谱成像技术的猕猴桃品质检测方法，其特征在于，步骤3中，ROI数据的大小为50×50个像素点。
4.根据权利要求1所述的基于深度学习和高光谱成像技术的猕猴桃品质检测方法，其特征在于，所述NIR-HSI采集系统的近红外波长为900-1700nm，不同存储条件为包括低温和室温下存储不同时间。
5.根据权利要求1所述的基于深度学习和高光谱成像技术的猕猴桃品质检测方法，其特征在于，所述步骤S3中黑白校正的过程是：通过标准漫反射表面的99％反射率的白色校正板和无光源并完全覆盖镜头的黑暗环境分别获取白校正图像和黑校正图像；将高光谱图像中的每个像素点按照公式(1)与获取的黑、白校正图像进行对比校正，获得校正后的反射图像：
其中，IR是校正后的反射图像，Iraw是高光谱图像，Idark和Iwhite分别为黑、白校正图像的光强，a和b是图像的空间坐标。
6.根据权利要求1所述的基于深度学习和高光谱成像技术的猕猴桃品质检测方法，其特征在于，所述非局部模块的过程是：特征图中像素点表示为xin＝{x1,x2,…xz}，每个像素点xi均表示一个C维向量，其中z为特征图中像素点的个数，i的取值为1-z的整数，C为特征图的通道数；非局部模块的输出为yout＝{y1,y2,…,yz}，每两个像素点之间的相似度s由式(2)获得，因此，非局部模块能计算由第一个二维卷积操作生成的特征图中所有像素之间的相关性，并调整所有位置的权重模拟远距离像素点之间的关系；
其中，x为输入数据，i为输出数据的位置索引，j为枚举所有可能位置的索引；θ(·)、和g(·)都表示一个二维卷积层，卷积核均为因此通过两次点乘运算和一次softmax正则运算，得到的特征图为其次，用1×1×C的卷积核对特征图做空间卷积运算，得到特征图为H×W×C；最后，将获取的特征图与输入图像xin做加法运算得到输出yout。
7.根据权利要求1所述的基于深度学习和高光谱成像技术的猕猴桃品质检测方法，其特征在于，NLCapsNet网络中的第一层是标准的二维卷积操作，卷积核为5×5，通过对输入数据块进行卷积获取深层特征，并将特征送入非局部模块；在非局部模块后设置卷积核为3×3的二维卷积操作，基于全局信息进一步提取深层特征，降低初级胶囊的数量，提高动态路由的运行速度；PrimaryCaps层中总输出32个胶囊，每个胶囊输出一个由3×3卷积核生成的8维向量；其次，将输出的胶囊馈入Digitcaps层，用于编码数据信息和通过动态路由算法进行最终分类；Digitcaps层中设置l个代表类别的胶囊，每个胶囊有一个表示实体类的16维向量，该向量长度表示当前输入目标实体的存在概率；最后，将胶囊网络中输出的向量馈入解码器，将胶囊学到的特征向量重构为输入图像；所述EMP-NLCapsNet算法的输出节点为4，动态路由和网络的迭代次数分别设置为3次和100次，网络的学习速率和衰减分别为0.001和0.9，相邻数据块像素点区域均设为11×11，采用Adam优化器更新参数；EMP-NLCapsNet的性能由总体精度OA和Kappa系数进行评估，其中，OA为总体测试集中正确分类的像素点数量，Kappa系数是一个通过加权分类精度的度量标准，数学表达如式(3)和(4)所示；
其中,T为测试集总像素点个数；l为总类别个数；u代表各类别；cuu为分类正确的像素点；cu+与c+u为误分类像素点之和，其中u+代表在第u行划分在其他列的像素，+u代表在第u列划分在其他行的像素，都属于错误划分。
CN202210636956.5A 2022-06-07 2022-06-07 基于深度学习和高光谱成像技术的猕猴桃品质检测方法 Active CN114965346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210636956.5A CN114965346B (zh) 2022-06-07 2022-06-07 基于深度学习和高光谱成像技术的猕猴桃品质检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210636956.5A CN114965346B (zh) 2022-06-07 2022-06-07 基于深度学习和高光谱成像技术的猕猴桃品质检测方法

Publications (2)

Publication Number Publication Date
CN114965346A CN114965346A (zh) 2022-08-30
CN114965346B true CN114965346B (zh) 2024-11-29

Family

ID=82959270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210636956.5A Active CN114965346B (zh) 2022-06-07 2022-06-07 基于深度学习和高光谱成像技术的猕猴桃品质检测方法

Country Status (1)

Country Link
CN (1) CN114965346B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012379B (zh) * 2023-03-27 2023-09-08 皑高森德医疗器械(北京)有限责任公司 一种基于黑色素体积含量分布形态的白斑分级方法
CN116559119B (zh) * 2023-05-11 2024-01-26 东北林业大学 一种基于深度学习的木材染色色差检测方法、系统及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109187378A (zh) * 2018-10-17 2019-01-11 四川农业大学 基于高光谱图像的猕猴桃可溶性固形物含量无损检测方法
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414045B1 (ko) * 2013-06-24 2014-07-02 인하대학교 산학협력단 분광라이브러리 데이터와 입력된 초분광영상을 이용한 표적탐지방법
US11645835B2 (en) * 2017-08-30 2023-05-09 Board Of Regents, The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN110569797B (zh) * 2019-09-10 2023-05-26 云南电网有限责任公司带电作业分公司 地球静止轨道卫星影像山火检测方法、系统及其存储介质
CN110599430A (zh) * 2019-09-29 2019-12-20 河北工业大学 基于交叉双粒子群优化的高光谱图像解混方法
CN111443043B (zh) * 2020-01-03 2023-04-18 新疆农业科学院农业机械化研究所 一种基于高光谱图像的核桃仁品质检测方法
CN111968080B (zh) * 2020-07-21 2023-06-23 山东农业大学 一种基于高光谱和深度学习的肥城桃内外品质检测方法
CN112697718A (zh) * 2020-09-30 2021-04-23 江苏大学 一种基于高光谱成像技术结合波长选择算法串联策略的调理牛排新鲜度快速检测的方法
US11615603B2 (en) * 2020-10-30 2023-03-28 Tata Consultancy Services Limited Method and system for learning spectral features of hyperspectral data using DCNN
CN114112932B (zh) * 2021-11-08 2024-09-20 南京林业大学 基于深度学习的油茶果成熟度高光谱检测方法及分选设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109187378A (zh) * 2018-10-17 2019-01-11 四川农业大学 基于高光谱图像的猕猴桃可溶性固形物含量无损检测方法
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法

Also Published As

Publication number Publication date
CN114965346A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Ashtiani et al. Detection of mulberry ripeness stages using deep learning models
Fan et al. Real-time defects detection for apple sorting using NIR cameras with pruning-based YOLOV4 network
Fernandes et al. Determination of anthocyanin concentration in whole grape skins using hyperspectral imaging and adaptive boosting neural networks
Lorente et al. Recent advances and applications of hyperspectral imaging for fruit and vegetable quality assessment
Tian et al. Detection of early decay on citrus using LW-NIR hyperspectral reflectance imaging coupled with two-band ratio and improved watershed segmentation algorithm
Sun et al. Hyperspectral imaging detection of decayed honey peaches based on their chlorophyll content
Mahendran et al. Application of computer vision technique on sorting and grading of fruits and vegetables
Soltani Firouz et al. Defect detection in fruit and vegetables by using machine vision systems and image processing
Feng et al. Detection of subtle bruises on winter jujube using hyperspectral imaging with pixel-wise deep learning method
Gao et al. Soluble solid content and firmness index assessment and maturity discrimination of Malus micromalus Makino based on near-infrared hyperspectral imaging
Chen et al. Real-time defect inspection of green coffee beans using NIR snapshot hyperspectral imaging
CN106525732B (zh) 基于高光谱成像技术的苹果内外品质快速无损检测方法
CN114965346B (zh) 基于深度学习和高光谱成像技术的猕猴桃品质检测方法
Srivastava et al. Data processing approaches and strategies for non-destructive fruits quality inspection and authentication: a review
Sharma et al. Rapid ripening stage classification and dry matter prediction of durian pulp using a pushbroom near infrared hyperspectral imaging system
CN105931223A (zh) 基于波段比方法的高光谱反射图像中玉米胚部的分割方法
Pang et al. Detection of early bruises on apples using hyperspectral imaging combining with YOLOv3 deep learning algorithm
CN112903602A (zh) 基于机器学习和高光谱成像的多种类柑橘病叶识别方法及系统
Akter et al. A comprehensive review of external quality measurements of fruits and vegetables using nondestructive sensing technologies
Mu et al. Non‐destructive detection of blueberry skin pigments and intrinsic fruit qualities based on deep learning
Huang et al. Predicting soluble solids content in “Fuji” apples of different ripening stages based on multiple information fusion
Zhang et al. A hyperspectral band selection method based on sparse band attention network for maize seed variety identification
Bu et al. ResNet incorporating the fusion data of RGB & hyperspectral images improves classification accuracy of vegetable soybean freshness
Xie et al. Modeling for mung bean variety classification using visible and near-infrared hyperspectral imaging
Huang et al. Detection of early bruises in Gongcheng persimmon using hyperspectral imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant