CN115908257A - 缺陷识别模型训练方法及果蔬缺陷识别方法 - Google Patents

Abstract

本说明书实施例提供缺陷识别模型训练方法及果蔬缺陷识别方法，缺陷识别模型训练方法包括：获取样本果蔬的样本扫描图，样本扫描图携带有缺陷标签，样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征，缺陷标签基于预设果蔬生长特征设定；将样本扫描图输入至图像分类模型中，得到预测结果；根据预测结果和缺陷标签，计算损失值；基于损失值调整图像分类模型的模型参数，返回执行获取样本果蔬的样本扫描图的步骤，在达到预设训练停止条件的情况下，得到缺陷识别模型。使用具有内部信息的样本扫描图，缺陷识别模型可以学习样本果蔬的内部真实情况，缺陷识别更加直接，提高了缺识别模型对果蔬进行识别的准确性和速率，以及缺陷识别模型的鲁棒性。

Description

缺陷识别模型训练方法及果蔬缺陷识别方法

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种缺陷识别模型训练方法。

背景技术

随着生活水平的提高，人们对于购买或使用的物品越来越注重品质，对于日常食用的果蔬，品质的重要性更尤为突出。因此，对于商家来说，由于果蔬的缺陷问题，经常会被消费者投诉，进而退款，导致商家的果蔬损耗量高。为了降低客户投诉量和退款量，提高果蔬销售量和商家的服务质量，亟需一种可靠、高效的果蔬缺陷识别方案。

发明内容

有鉴于此，本说明书实施例提供了一种缺陷识别模型训练方法。本说明书一个或者多个实施例同时涉及一种果蔬缺陷识别方法，一种缺陷识别模型训练装置，一种果蔬缺陷识别装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种缺陷识别模型训练方法，包括：

获取样本果蔬的样本扫描图，其中，所述样本扫描图携带有缺陷标签，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征，所述缺陷标签基于所述预设果蔬生长特征设定；

将所述样本扫描图输入至图像分类模型中，得到预测结果；

根据所述预测结果和所述缺陷标签，计算损失值；

基于所述损失值调整所述图像分类模型的模型参数，返回执行所述获取样本果蔬的样本扫描图的步骤，在达到预设训练停止条件的情况下，得到所述缺陷识别模型。

根据本说明书实施例的第二方面，提供了一种果蔬缺陷识别方法，包括：

对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图；

将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，其中，所述缺陷识别模型为基于样本扫描图对预设的图像分类模型进行训练得到，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征。

根据本说明书实施例的第三方面，提供了一种缺陷识别模型训练装置，包括：

获取模块，被配置为获取样本果蔬的样本扫描图，其中，所述样本扫描图携带有缺陷标签，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征，所述缺陷标签基于所述预设果蔬生长特征设定；

输入模块，被配置为将所述样本扫描图输入至图像分类模型中，得到预测结果；

计算模块，被配置为根据所述预测结果和所述缺陷标签，计算损失值；

调整模块，被配置为基于所述损失值调整所述图像分类模型的模型参数，返回执行所述获取样本果蔬的样本扫描图的步骤，在达到预设训练停止条件的情况下，得到所述缺陷识别模型。

根据本说明书实施例的第四方面，提供了一种果蔬缺陷识别装置，包括：

扫描模块，被配置为对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图；

识别模块，被配置为将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，其中，所述缺陷识别模型为基于样本扫描图对预设的图像分类模型进行训练得到，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征。

根据本说明书实施例的第五方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述缺陷识别模型训练方法或果蔬缺陷识别方法的步骤。

根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述缺陷识别模型训练方法或果蔬缺陷识别方法的步骤。

根据本说明书实施例的第七方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述缺陷识别模型训练方法或果蔬缺陷识别方法的步骤。

本说明书提供了一种缺陷识别模型训练方法，通过使用具有内部信息的样本扫描图，使缺陷识别模型能更真实地学习样本果蔬的内部真实情况，使缺陷识别更加直接；通过携带有缺陷标签的样本扫描图对图像分类模型进行训练，能够提高缺识别模型对果蔬进行识别的准确性和速率，提高缺陷识别模型的鲁棒性；基于可深度学习的缺陷识别模型对待识别果蔬的缺陷识别，效率更高更精准，可以识别待识别果蔬的多种缺陷现象，提高了缺陷识别的范围和广度。

附图说明

图1A是本说明书一个实施例提供的一种缺陷识别模型训练系统下缺陷识别模型训练方法的流程图；

图1B是本说明书一个实施例提供的一种果蔬缺陷识别系统下果蔬缺陷识别方法的流程图；

图2是本说明书一个实施例提供的一种缺陷识别模型训练方法的流程图；

图3A是本说明书一个实施例提供的一种果蔬缺陷识别方法的流程图；

图3B是本说明书一个实施例提供的一种果蔬缺陷识别方法中特征提取子模型的结构示意图；

图3C是本说明书一个实施例提供的一种果蔬缺陷识别方法的流程示意图；

图4A是本说明书一个实施例提供的一种果蔬缺陷识别方法的处理过程流程图；

图4B是本说明书一个实施例提供的一种果蔬缺陷识别方法中生榴莲的内部扫描示意图；

图4C是本说明书一个实施例提供的一种果蔬缺陷识别方法中熟榴莲的内部扫描示意图；

图5是本说明书一个实施例提供的一种缺陷识别模型训练装置的结构示意图；

图6是本说明书一个实施例提供的一种果蔬缺陷识别装置的结构示意图；

图7是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

X光：也叫X射线，是一种频率极高，波长极短、能量很大的电磁波。X射线具有穿透性，根据物体材质不同，被吸收的程度也不同，经过显像处理后即可得到不同的影像。X光通过电极加压产生，无辐射残留，是一种安全的检测方法，广泛用于医院、机场、地铁安检等场合。

UNET：一种图像分割、特征识别的深度学习模型框架，在医学成像、自动驾驶汽车和卫星成像方面有许多应用。

在本说明书中，提供了一种果蔬缺陷识别方法，本说明书同时涉及一种果蔬缺陷识别装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

随着生活水平的提高，人们对于购买或使用的物品越来越注重品质，对于日常食用的果蔬，品质的重要性更尤为突出。因此，对于商家来说，由于果蔬的缺陷问题，经常会被消费者投诉，进而退款，导致商家的果蔬损耗量高。

以榴莲为例进行说明，榴莲在整个生鲜商品体系中属于非常重要的单品，销售量大且销售额高。此外，在非榴莲盛产的季节，如9月到来年的5月，其实也有大量的榴莲可供销售，只是榴莲品质太不稳定，会有过生、过熟、腐烂、虫咬、死包等问题，并没有规模化的可靠方法进行榴莲品质检测，通常不会进行规模销售。一旦有了可靠的品质检测技术或果蔬缺陷识别方法，就可以把存在缺陷的榴莲筛除，榴莲销售季时间长度可以大大加长，对现有的销售模式会有显著改善。

一般来说，对于果蔬品质检测或果蔬缺陷识别主要依赖人工经验，无论是效率还是准确度都不太理想。常规的方法包括对外壳颜色的判断、类似敲西瓜的木锤敲击听声音、手捏榴莲果刺软硬度等。但是这都非常依赖人的经验，不同人的判断经验难以复制，且效率低下，不可规模化。

为了解决上述问题，本说明书提供了一种缺陷识别模型训练方法，获取样本果蔬的样本扫描图，其中，所述样本扫描图携带有缺陷标签，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征，所述缺陷标签基于所述预设果蔬生长特征设定；将所述样本扫描图输入至图像分类模型中，得到预测结果；根据所述预测结果和所述缺陷标签，计算损失值；基于所述损失值调整所述图像分类模型的模型参数，返回执行所述获取样本果蔬的样本扫描图的步骤，在达到预设训练停止条件的情况下，得到所述缺陷识别模型。通过使用具有内部信息的样本扫描图，使缺陷识别模型能更真实地学习样本果蔬的内部真实情况，使缺陷识别更加直接；通过携带有缺陷标签的样本扫描图对图像分类模型进行训练，能够提高缺识别模型对果蔬进行识别的准确性和速率，提高缺陷识别模型的鲁棒性；基于可深度学习的缺陷识别模型对待识别果蔬的缺陷识别，效率更高更精准，可以识别待识别果蔬的多种缺陷现象，提高了缺陷识别的范围和广度。

参见图1A，图1A示出了本说明书一个实施例提供的一种缺陷识别模型训练系统下缺陷识别模型训练方法的流程图。如图1A所示，该缺陷识别模型训练系统包括客户端和服务端；

客户端：将样本果蔬的样本扫描图发送至服务端，其中，所述样本扫描图携带有缺陷标签，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征，所述缺陷标签基于所述预设果蔬生长特征设定；

服务端：将所述样本扫描图输入至图像分类模型中，得到预测结果；根据所述预测结果和所述缺陷标签，计算损失值；基于所述损失值调整所述图像分类模型的模型参数，返回执行所述获取样本果蔬的样本扫描图的步骤，在达到预设训练停止条件的情况下，得到所述缺陷识别模型。

此外，服务端还可以将所述缺陷识别模型发送至所述客户端。

值得说明的是，本说明书实施例中提供的缺陷识别模型训练方法可以由服务端和客户端共同执行。但是，在本说明书其他实施例中，缺陷识别模型训练方法还可以由客户端单独执行。

应用本说明书实施例的方案，通过使用具有内部信息的样本扫描图，使缺陷识别模型能更真实地学习样本果蔬的内部真实情况，使缺陷识别更加直接；通过携带有缺陷标签的样本扫描图对图像分类模型进行训练，能够提高缺识别模型对果蔬进行识别的准确性和速率，提高缺陷识别模型的鲁棒性；基于可深度学习的缺陷识别模型对待识别果蔬的缺陷识别，效率更高更精准，可以识别待识别果蔬的多种缺陷现象，提高了缺陷识别的范围和广度。

参见图1B，图1B示出了本说明书一个实施例提供的一种果蔬缺陷识别系统下果蔬缺陷识别方法的流程图。如图1B所示，该果蔬缺陷识别系统包括客户端和服务端；

客户端：接收对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图；将所述内部扫描图发送至服务端；

服务端：将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，其中，所述缺陷识别模型为基于样本扫描图对预设的图像分类模型进行训练得到，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征。

此外，服务端还可以将所述待识别果蔬的缺陷反馈给所述客户端。

值得说明的是，本说明书实施例中提供的果蔬缺陷识别方法可以由服务端和客户端共同执行。但是，在本说明书其他实施例中，果蔬缺陷识别方法还可以由客户端单独执行。

应用本说明书实施例的方案，通过使用具有内部信息的内部扫描图，使缺陷识别模型能更真实地了解待识别果蔬的内部真实情况，使缺陷识别更加直接；基于可深度学习的缺陷识别模型对待识别果蔬的缺陷识别，效率更高更精准；此外，基于内部扫描图和可深度学习的缺陷识别模型，可以识别待识别果蔬的多种缺陷现象，提高了缺陷识别的范围和广度。

参见图2，图2示出了本说明书一个实施例提供的一种缺陷识别模型训练方法的流程图，具体包括以下步骤。

步骤202：获取样本果蔬的样本扫描图，其中，所述样本扫描图携带有缺陷标签，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征，所述缺陷标签基于所述预设果蔬生长特征设定。

具体的，样本果蔬是指样本扫描图对应的果蔬，也即缺陷识别模型的可识别的果蔬；样本扫描图是指用于训练缺陷识别模型的样本，也即用于训练模型的内部扫描图，其中内部扫描图是指物体的内部影像图，如X光片、CT成像图片、超声波成像图片、磁共振成像图片等；缺陷标签是指样本扫描图对应的真实缺陷类型，包括有缺陷和无缺陷，有缺陷包括成熟度缺陷和果肉缺失缺陷，成熟度缺陷包括过熟、未成熟(过生)、腐烂、部分未成熟(死包)等，果肉缺失缺陷包括虫蛀、空囊等；预设果蔬生长特征是指果蔬在不同生长情况的果蔬特征，如坐果期的生长特征、成熟期的生长特征、虫蛀情况下的生长特征等。

需要说明的是，样本果蔬可以为一种，也可以有多种，当样本果蔬为一种时，缺陷识别模型为该果蔬专用的缺陷识别模型，当样本果蔬有多种时，缺陷识别模型为多种果蔬通用的缺陷识别模型。

实际应用中，可以获取训练样本集，从训练样本集中抽取样本果蔬的样本扫描图；或者直接获取样本果蔬的样本扫描图。

在本说明书一个或多个可选的实施例中，可以直接从数据库或者云端获取已有的样本果蔬的样本扫描图。

在本说明书一个或多个可选的实施例中，还可以先获取样本果蔬的训练样本扫描图，在基于缺陷标签，构建样本扫描图。也即所述获取样本果蔬的样本扫描图，具体实现过程可以如下：

获取所述样本果蔬的训练样本扫描图；

接收所述样本果蔬的第一缺陷类型，其中，所述第一缺陷类型基于所述预设果蔬生长特征确定；

将所述第一缺陷类型作为缺陷标签，与所述训练样本扫描图关联，得到携带有缺陷标签的样本扫描图。

具体的，第一缺陷类型是指该样本扫描图对应的样本果蔬的真实缺陷。

可选地，可以对样本果蔬进行扫描，获得样本果蔬的样本扫描图，然后接收所述样本果蔬的第一缺陷类型，其中，所述第一缺陷类型基于所述预设果蔬生长特征确定；将所述第一缺陷类型作为缺陷标签，与所述训练样本扫描图关联，得到携带有缺陷标签的样本扫描图。

实际应用中，可以对样本果蔬进行扫描，获得样本果蔬的训练样本扫描图，然后人工打开样本果蔬，确定样本果蔬的真实缺陷，即第一缺陷类型，将第一缺陷类型上传给执行主体，即接收样本果蔬的第一缺陷类型，进而将样本扫描图与该第一缺陷类型关联，得到携带有缺陷标签的样本扫描图。如此，可以得到可信度极高的训练样本，进而提高模型训练的效率，以及缺陷识别模型的精准度和鲁棒性。

在本说明书一个可实现的实施例中，可以利用X光扫描仪对样本果蔬进行扫描，获得所述样本果蔬的训练样本扫描图。其中，X光扫描仪是指通过X光捕获影像的装置。在利用X光扫描仪进行扫描时，得到的训练样本扫描图为样本果蔬的X光片或X光影像。

在本说明书另一个可实现的实施例中，可以利用超声成像仪对样本果蔬进行扫描，获得所述样本果蔬的训练样本扫描图。

在本说明书再一个可实现的实施例中，可以利用CT成像仪或核磁共振成像仪对样本果蔬进行扫描，获得所述样本果蔬的训练样本扫描图。

需要说明的是，由于超声成像仪、CT成像仪、核磁共振成像仪，相较于X光扫描仪来说，具有成本高的特点，因此，优选使用X光扫描仪对样本果蔬进行扫描。

可选地，可以对任意摆放姿态的样本果蔬进行扫描，获得样本果蔬的训练样本扫描图。也即，不论样本果蔬处于何种摆放姿态，横着、竖着，或者斜放着，均可以对样本果蔬进行扫描。由于无需关心样本果蔬的摆放姿态，可以不对样本果蔬的摆放姿态进行识别，就可以对样本果蔬进行扫描，可以提高获取训练样本扫描的效率，进一步提高缺陷识别的效率。

可选地，还可以在样本果蔬的摆放姿态为预设姿态时，对样本果蔬进行扫描。也即所述对样本果蔬进行扫描，获得样本果蔬的训练样本扫描图，具体实现过程可以如下：

识别所述样本果蔬的摆放姿态；

在所述摆放姿态为预设姿态的情况下，对样本果蔬进行扫描，获得所述样本果蔬的训练样本扫描图。

具体的，摆放姿态是指样本果蔬当前的摆放位置、朝向等；预设姿态是指预先设置的摆放位置、朝向等，用于衡量是否可以启动扫描。

实际应用中，由于样本果蔬的摆放姿态不同，得到的训练样本扫描图也会不同，可能会导致缺陷识别的结果有误差，因此在扫描时需要样本果蔬的摆放姿态为预设摆放姿态。需要识别样本果蔬的摆放姿态，判断样本果蔬的摆放姿态是否为预设姿态，如果是，则说明样本果蔬的摆放姿态符合扫描条件，启动扫描，对样本果蔬进行扫描，得到样本果蔬的训练样本扫描图。

例如，预设姿态为竖直摆放姿态，则在样本果蔬为竖直摆放姿态的情况下，利用内部影像拍照设备对样本果蔬进行拍照，得到样本果蔬的训练样本扫描图(竖直扫描图)。其中，竖直摆放姿态是指样本果蔬的正面与竖直方向平行的姿态。

又如，预设姿态为水平摆放姿态，则在样本果蔬为水平摆放姿态的情况下，利用内部影像拍照设备对样本果蔬进行拍照，得到样本果蔬的训练样本扫描图(水平扫描图)。其中，竖直摆放姿态是指样本果蔬的正面与水平方向平行的姿态。

需要说明的是，预设姿态可以有多个，如第一摆放姿态、第二摆放姿态等等，当样本果蔬的摆放姿态为任一预设姿态时，可以对样本果蔬进行扫描，获得样本果蔬的训练样本扫描图。例如，预设姿态有竖直摆放姿态和水平摆放姿态，当样本果蔬为竖直摆放姿态或水平摆放姿态的情况下，利用内部影像拍照设备对样本果蔬进行拍照，得到样本果蔬的训练样本扫描图。

此外，在预设姿态有多个的情况下，还可以获取样本果蔬的摆放为每个预设姿态下的训练样本扫描图。也即预设姿态有多个，所述在所述摆放姿态为预设姿态的情况下，对样本果蔬进行扫描，获得所述样本果蔬的训练样本扫描图，具体实现过程可以如下：

对各所述预设姿态下的样本果蔬进行扫描，获得所述待识别果蔬的多个训练样本扫描图。

实际应用中，预设姿态可以有多个，对第一预设姿态下的样本果蔬进行扫描，获得第一预设姿态下的样本果蔬的训练样本扫描图，对第二预设姿态下的样本果蔬进行扫描，获得第二预设姿态下的样本果蔬的训练样本扫描图，以此类推，直至最后一个预设姿态。

例如，预设姿态有竖直摆放姿态和水平摆放姿态，对竖直摆放姿态下的样本果蔬进行扫描，得到训练样本扫描图(竖直扫描图)；对水平摆放姿态下的样本果蔬进行扫描，得到训练样本扫描图(水平扫描图)。

可选地，还可以根据缺陷构建或仿真训练样本扫描图，也即所述获取样本果蔬的训练样本扫描图，具体实现过程可以如下：

根据所述样本果蔬对应的预设果蔬生长特征，对所述样本果蔬进行光学图像仿真，得到所述样本果蔬的训练样本扫描图。

实际应用中，针对样本果蔬，根据其预设果蔬生长特征，进行光学图像仿真，构建样本果蔬的训练样本扫描图，然后基于预设果蔬生长特征确定训练样本扫描图对应的第一缺陷类型，然后将样本扫描图与该第一缺陷类型关联，得到携带有缺陷标签的样本扫描图。

由于要想模型要有比较好的识别效果，需要提供大量的样本扫描图，但针对果蔬，现有的内部扫描图数量很少，同时由于果蔬价值较高，对真实的果蔬进行扫描并采取人工打开核验，会造成果蔬浪费，因此可以使用光学图像仿真，产生还原度较高的训练样本扫描图，在提高模型训练效率和精准度的同时，降低训练成本。

步骤204：将所述样本扫描图输入至图像分类模型中，得到预测结果。

具体的，分类模型是指基于事物特征对事物进行分类的模型，也即训练前的缺陷识别模型；预测结果是指图像分类模型预测得到样本果蔬的缺陷。

实际应用中，在获取了样本果蔬的携带有缺陷标签的样本扫描图后，可以将样本扫描图输入至图像分类模型，由图像分类模型对样本扫描图进行处理，输出针对样本果蔬的预测缺陷，也即预测结果。

在本说明书一个或多个可选的实施例中，在获得样本扫描图之后，无需对样本扫描图进行任何处理，可以直接将样本扫描图输入图像分类模型，得到预测结果，如此，可以减少数据处理量，提高预测效率。

在本说明书一个或多个可选的实施例中，在获得样本扫描图之后，为了确保样本扫描图的可靠性，可以对样本扫描图进行预处理。也即在所述将所述样本扫描图输入图像分类模型之前，还包括：

对所述样本扫描图进行预处理，得到预处理后的所述样本扫描图，其中，所述预处理包括裁剪、对比度调节、亮度调节和锐度调节中的至少一个。

具体的，裁剪是指对样本扫描图的大小比例、尺寸进行调整的过程；对比度是指图中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，差异范围越大代表对比越大，差异范围越小代表对比越小；对比度调节是指对样本扫描图的对比度进行调整的过程；亮度(luminance)是颜色的一种性质，或与颜色多明亮有关系的色彩空间的一个维度，是指图像的明亮程度；亮度调节是指对样本扫描图的对比度进行调整的过程；锐度，也即“清晰度”，它是反映图像平面清晰度和图像边缘锐利程度的一个指标；锐度调节是指样本扫描图的锐度进行调整的过程。

实际应用中，为了使样本扫描图像更行清晰，图像特征更明显，可靠性更高，进而提高缺陷识别的准确率和效率，需要对样本扫描图进行裁剪、对比度调节、亮度调节和锐度调节中的至少一个。

对样本扫描图进行裁剪，可以去除样本扫描图中的干扰因素，如待识别果蔬附近放置有石块，样本扫描图中可能存在该石块的影像，通过裁剪可以去除该石块的影像；还可以增强待识别果蔬的特征，即图像特征，如样本扫描图中待识别果蔬的影像只占很小一部分，其他都是空白，则通过裁剪可以将空白区域去除，突出样本扫描图中待识别果蔬的影像；也可以提高模型识别效率，例如，将不同的待识别果蔬的样本扫描图进行处理，使其大小尺寸一致，使用缺陷识别模型时，避免尺寸的不同干扰模型识别的效率和准确率。

对样本扫描图进行对比度调节、亮度调节和锐度调节中的任意一种，可以增强待识别果蔬的特征，使向更清晰，便于缺陷识别模型更精准地进行缺陷识别；此外，将不同的待识别果蔬的样本扫描图进行处理，使其对比度、亮度和锐度等一致，使用缺陷识别模型时，避免对比度、亮度和锐度的不同，干扰模型识别的效率和准确率。

在本说明书一个可选的实施例中，可以获取样本果蔬的单个样本扫描图，然后将该样本扫描图输入至图像分类模型，由图像分类模型根据该样本扫描图得到预测结果。如此，使用样本果蔬的单个样本扫描图识别果蔬缺陷，可以减少数据处理量，进而提高预测效率果蔬缺陷识别。

在本说明书另一个可选的实施例中，可以获取样本果蔬的多个样本扫描图，然后将多个样本扫描图分别输入至图像分类模型，由图像分类模型根据各样本扫描图确定预测结果。如此，使用样本果蔬的多个样本扫描图确定预测结果，可以避免单个样本扫描图的局限性，导致预测结果出错的问题，进一步提高预测结果的准确性和鲁棒性。

可选地，可以对任一摆放姿态下的样本果蔬进行扫描，重复多次，得到样本果蔬的多个样本扫描图；将多个样本扫描图分别输入图像分类模型，由图像分类模型根据各样本扫描图确定预测结果。如此，可以提高获取多个样本扫描图的效率，进而提高缺陷识别效率。

可选地，还可以预先设置多个预设姿态，针对每个预设姿态下的样本果蔬进行扫描，得到样本果蔬的多个样本扫描图，然后根据将多个样本扫描图输入至图像分类模型，由图像分类模型根据各样本扫描图确定预测结果。也即所述预设姿态有多个；

所述在所述摆放姿态为预设姿态的情况下，对样本果蔬进行扫描，获得所述样本果蔬的样本扫描图，包括：

对各所述预设姿态下的样本果蔬进行扫描，获得所述样本果蔬的多个样本扫描图；

所述将所述样本扫描图输入图像分类模型，得到预测结果，包括：

将所述多个样本扫描图分别输入图像分类模型，得到各样本扫描图对应的子预测结果；

根据各所述子识别结果，确定预测结果。

实际应用中，预设姿态可以有多个，对第一预设姿态下的样本果蔬进行扫描，获得第一预设姿态下的样本果蔬的样本扫描图，对第二预设姿态下的样本果蔬进行扫描，获得第二预设姿态下的样本果蔬的样本扫描图，以此类推，直至最后一个预设姿态。然后将多个样本扫描图分别输入至图像分类模型，图像分类模型针对每个样本扫描图得到一个子预测结果。进而根据各子预测结果，确定预测结果。如此，可以从不同角度对样本果蔬的缺陷进行预测，有利于提高缺陷识别的精准度。

例如，预设姿态有竖直摆放姿态和水平摆放姿态，对竖直摆放姿态下的样本果蔬进行扫描，得到样本扫描图(竖直扫描图)；对水平摆放姿态下的样本果蔬进行扫描，得到样本扫描图(水平扫描图)。然后，将竖直扫描图和水平扫描图分别输入至图像分类模型，图像分类模型针对竖直扫描图得到第一子预测结果，根据水平扫描图得到第二子预测结果。进而基于第一子预测结果和第二子预测结果，综合得到样本果蔬缺陷的预测结果。

一般来说，样本果蔬从俯视图看，呈轴对称，此时扫描的样本扫描图能够看到完整的外轮廓；侧视图对于样本果蔬接近扫描点的部分，投影面积更大，样本果蔬的细节可以更完整地展现，但是对于后面的部分果肉会有遮挡；因此两种姿势会有互补的效果，可以更好地描述样本果蔬的特征。

步骤206：根据所述预测结果和所述缺陷标签，计算损失值。

具体的，训练停止条件可以是损失值小于或等于预设阈值，还可以是迭代训练次数达到预设迭代值，也可以是损失值收敛，即损失值随着继续训练不再减小。

实际应用中，在确定了预测结果后，可以根据预测结果、样本扫描图携带的缺陷标签和预设的损失函数，确定损失值。

步骤208：基于所述损失值调整所述图像分类模型的模型参数，返回执行所述获取样本果蔬的样本扫描图的步骤，在达到预设训练停止条件的情况下，得到所述缺陷识别模型。

具体的，缺陷识别模型是指用于识别果蔬缺陷的模型，是一种机器学习模型。

实际应用中，确定了损失值之后，在未达到预设训练停止条件的情况下，根据损失值调整图像分类模型的模型参数，然后再次从训练样本集获取样本果蔬的样本扫描图，或者再次直接获取样本果蔬的样本扫描图，进行下一轮训练；在达到预设训练停止条件的情况下，将训练好的图像分类模型确定为缺陷识别模型。

在本说明书一个或多个可选的实施例中，图像分类模型可以包括特征提取子模型和分类子模型；所述将所述样本扫描图输入图像分类模型，得到预测结果，具体实现过程可以如下：

将所述样本扫描图输入至所述特征提取子模型，得到分割图像；

将所述分割图像输入至所述分类子模型，得到预测结果。

具体的，特征提取子模型是指图像分类模型中针对图形特征进行提取的子模型，特征提取子模型可以是深度学习模型，如图像语义分割模型UNET，还可以是卷积神经网络模型，本说明书对此不做限定；分类子模型是指图像分类模型中针对图形特征进行缺陷分类识别的子模型，可以是预先训练的深度学习模型，也可以是数学公式，本说明书对此不做限定；图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程；分割图像就是进行图像分割处理后的图像。

实际应用中，获取到样本果蔬的样本扫描图之后，可以将样本扫描图输入至图像分类模型的特征提取子模型，由特征提取子模型对样本扫描图进行特征提取和图像分割处理，进而得到分割图像。进而分割图像输入分类子模型，由分类子模型基于分割图像的图像特征，进行分类，确定该分割图像指向的缺陷，也即样本果蔬的缺陷。

如此，通过特征提取子模型对样本扫描图像的特征进行提取，得到分割图像，再基于分割图像的图像特征进行缺陷识别，可以提高预测结果的准确率。

可选地，特征提取子模型包括特征提取单元和特征强化单元；将样本扫描图输入至特征提取子模型，得到分割图像还可以为：将样本扫描图输入至特征提取单元进行特征提取，得到特征图；将特征图输入至特征强化单元进行特征强化，得到分割图像。

实际应用中，特征提取子模型包括特征提取单元和特征强化单元，提取单元是指特征提取子模型中进行特征提取的部分，是一种编码器(下采样器)；特征强化单元是指特征提取子模型中对图像特征进行增强的部分，可以是解码器(上采样器)。

可选地，所述预测结果包括成熟度缺陷和果肉缺失缺陷；所述将所述分割图像输入至所述分类子模型，得到预测结果，具体实现过程可以如下：

将所述分割图像输入至所述分类子模型，识别所述样本果蔬的边缘缝隙，根据所述边缘缝隙，确定所述样本果蔬的成熟度缺陷；或者

将所述分割图像输入至所述分类子模型，识别所述样本果蔬的内部空白区域，根据所述内部空白区域的区域信息，确定所述样本果蔬的果肉缺失缺陷。

具体的，成熟度缺陷是指果蔬在成熟度上存在的缺陷；果肉缺失缺陷是指果蔬在果肉含量方面存在的缺陷，如虫蛀导致的果肉缺少、空囊导致的果肉缺少等；边缘缝隙是指果肉与果皮或果壳之间的缝隙。

实际应用中，对于包含果肉与果皮，或者果肉与外壳的果蔬来说：果蔬的成熟度不同，果蔬的果肉与果皮或果壳之间的缝隙也不同，即边缘缝隙不同，可以将分割图像输入至分类子模型中，进行成熟度缺陷的识别，即分类子模型识别分割图像中的边缘缝隙，根据边缘缝隙进行分析，确定样本果蔬是否存在成熟度缺陷，以及属于哪种成熟度缺陷；果蔬的果肉缺失不同，果蔬的内部空白区域也不同，也可以将分割图像输入至分类子模型中，进行果肉缺失缺陷的识别：分类子模型识别分割图像中的内部空白区域，根据内部空白区域进行分析，确定样本果蔬是否存在果肉缺失缺陷，以及属于哪种果肉缺失缺陷。

可选地，图像分类模型可以包含至少一个卷积层，基于损失值调整图像分类模型的模型参数，可以为：基于损失值调整卷积层的层数和/或卷积层的卷积参数。

需要说明的是，由于缺陷识别模型是对图像分类模型进行训练后得到的，因此，缺陷识别模型与图像分类模型的模型结构相同，缺陷识别模型的模型结构，可参照上述对图像分类模型的模型结构进行描述的部分，此处不再赘述。

在本说明书一个或多个可选的实施例中，在训完成之后，还可以获取对缺陷识别模型进行测试。即所述在达到预设训练停止条件的情况下，得到所述缺陷识别模型之后，还包括：

获取测试果蔬的测试扫描图；

将所述测试扫描图输入至缺陷识别模型中，得到测试结果；

获取所述测试果蔬的第二缺陷类型，其中，所述第二缺陷类型基于所述预设果蔬生长特征确定；

根据所述第二缺陷类型和所述测试结果，调整所述缺陷识别模型的模型参数。

具体的，测试扫描图是指用于测试缺陷识别模型的样本，也即用于测试模型的内部扫描图；测试结果是指缺陷识别模型预测得到测试果蔬的缺陷；第二缺陷类型，也即测试果蔬的真实缺陷类型，包括有缺陷和无缺陷，有缺陷包括成熟度缺陷和果肉缺失缺陷，成熟度缺陷包括过熟、未成熟(过生)、腐烂、部分未成熟(死包)等，果肉缺失缺陷包括虫蛀、空囊等。

实际应用中，可以获取测试集，从测试集中抽取测试果蔬的测试扫描图；或者直接获取测试果蔬的测试扫描图。然后将测试扫描图输入至缺陷识别模型，由缺陷识别模型对测试扫描图进行处理，输出针对测试果蔬的测试缺陷，也即测试结果。接着，获取所述测试果蔬的第二缺陷类型，可以是人工打开测试果蔬，确定测试果蔬的真实缺陷，即第二缺陷类型，将第二缺陷类型上传给执行主体，或者基于预设果蔬生长特征确定测试扫描图对应的第二缺陷类型。然后测试结果和第二缺陷类型，确定差异值，在未达到预设测试停止条件的情况下，根据差异值调整缺陷识别模型的模型参数，然后再次获取测试果蔬的测试扫描图，进行下一轮测试；在达到预设测试停止条件的情况下，得到最终的缺陷识别模型。如此，对训练后的缺陷识别模型进行测试或验证，可以有效地避免使用训练不合格的缺陷识别模型进行果蔬识别，可以提高果蔬识别的准确率，也可以缺陷识别模型的鲁棒性。

本说明书提供了一种缺陷识别模型训练方法，通过使用具有内部信息的样本扫描图，使缺陷识别模型能更真实地学习样本果蔬的内部真实情况，使缺陷识别更加直接；通过携带有缺陷标签的样本扫描图对图像分类模型进行训练，能够提高缺识别模型对果蔬进行识别的准确性和速率，提高缺陷识别模型的鲁棒性；基于可深度学习的缺陷识别模型对待识别果蔬的缺陷识别，效率更高更精准，可以识别待识别果蔬的多种缺陷现象，提高了缺陷识别的范围和广度。

参见图3A，图3A示出了本说明书一个实施例提供的一种果蔬缺陷识别方法的流程图，具体包括以下步骤。

步骤302：对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图。

具体的，待识别果蔬是指需要进行缺陷识别的果蔬，可以是不能直接观看的内部是否存在缺陷的水果、蔬菜、豆类、干果，如芒果、榴莲、茄子、花生、核桃等；内部扫描图是指物体的内部影像图，如X光片、CT成像图片、超声波成像图片、磁共振成像图片等。

实际应用中，在接收到果蔬识别请求或者针对待识别果蔬的扫描指令的情况下，启动扫描功能，对待识别果蔬进行扫描成像，得到待识别果蔬的内部扫描图。

例如，对待识别缺陷的榴莲进行扫描，得到榴莲的内部扫描图；又如对待识别缺陷的花生进行扫描，得到花生的内部扫描图。

在本说明书一个可实现的实施例中，可以利用X光扫描仪对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图。

具体的，X光扫描仪是指通过X光捕获影像的装置。在利用X光扫描仪进行扫描时，得到的内部扫描图为待识别果蔬的X光片或X光影像。

在本说明书另一个可实现的实施例中，可以利用超声成像仪对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图。

具体的，超声成像是指用超声波获得物体可见图像的方法；超声成像仪是指以超声成像为原理获取影像的装置。在利用超声成像仪进行扫描时，得到的内部扫描图为待识别果蔬的超声波成像图片。

在本说明书再一个可实现的实施例中，可以利用CT成像仪或核磁共振成像仪对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图。

具体的，CT(Computed Tomography)成像，即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕物体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点；CT成像仪是指以CT成像为原理获取影像的装置。在利用CT成像仪进行扫描时，得到的内部扫描图为待识别果蔬的CT成像图片。

或者，核磁共振成像仪是指利用核磁共振(nuclear magnetic resonance，简称NMR)原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。在利用核磁共振成像仪进行扫描时，得到的内部扫描图为待识别果蔬的磁共振成像图片。

需要说明的是，由于超声成像仪、CT成像仪、核磁共振成像仪，相较于X光扫描仪来说，具有成本高的特点，因此，优选使用X光扫描仪对待识别果蔬进行扫描。

可选地，可以对任意摆放姿态的待识别果蔬进行扫描，获得待识别果蔬的内部扫描图。也即，不论待识别果蔬处于何种摆放姿态，横着、竖着，或者斜放着，均可以对待识别果蔬进行扫描。由于无需关心待识别果蔬的摆放姿态，可以不对待识别果蔬的摆放姿态进行识别，就可以对待识别果蔬进行扫描，可以提高获取内部扫描的效率，进一步提高缺陷识别的效率。

可选地，还可以在待识别果蔬的摆放姿态为预设姿态时，对待识别果蔬进行扫描。也即所述对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图，具体实现过程可以如下：

识别所述待识别果蔬的摆放姿态；

在所述摆放姿态为预设姿态的情况下，对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图。

具体的，摆放姿态是指待识别果蔬当前的摆放位置、朝向等；预设姿态是指预先设置的摆放位置、朝向等，用于衡量是否可以启动扫描。

实际应用中，由于待识别果蔬的摆放姿态不同，得到的内部扫描图也会不同，可能会导致缺陷识别的结果有误差，因此在扫描时需要待识别果蔬的摆放姿态为预设摆放姿态。需要识别待识别果蔬的摆放姿态，判断待识别果蔬的摆放姿态是否为预设姿态，如果是，则说明待识别果蔬的摆放姿态符合扫描条件，启动扫描，对待识别果蔬进行扫描，得到待识别果蔬的内部扫描图。

例如，预设姿态为竖直摆放姿态，则在待识别果蔬为竖直摆放姿态的情况下，利用内部影像拍照设备对待识别果蔬进行拍照，得到待识别果蔬的内部扫描图(竖直扫描图)。其中，竖直摆放姿态是指待识别果蔬的正面与竖直方向平行的姿态。

又如，预设姿态为水平摆放姿态，则在待识别果蔬为水平摆放姿态的情况下，利用内部影像拍照设备对待识别果蔬进行拍照，得到待识别果蔬的内部扫描图(水平扫描图)。其中，竖直摆放姿态是指待识别果蔬的正面与水平方向平行的姿态。

需要说明的是，预设姿态可以有多个，如第一摆放姿态、第二摆放姿态等等，当待识别果蔬的摆放姿态为任一预设姿态时，可以对待识别果蔬进行扫描，获得待识别果蔬的内部扫描图。例如，预设姿态有竖直摆放姿态和水平摆放姿态，当待识别果蔬为竖直摆放姿态或水平摆放姿态的情况下，利用内部影像拍照设备对待识别果蔬进行拍照，得到待识别果蔬的内部扫描图。

此外，在预设姿态有多个的情况下，还可以获取待识别果蔬的摆放为每个预设姿态下的内部扫描图。也即预设姿态有多个，所述在所述摆放姿态为预设姿态的情况下，对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图，具体实现过程可以如下：

对各所述预设姿态下的待识别果蔬进行扫描，获得所述待识别果蔬的多个内部扫描图。

实际应用中，预设姿态可以有多个，对第一预设姿态下的待识别果蔬进行扫描，获得第一预设姿态下的待识别果蔬的内部扫描图，对第二预设姿态下的待识别果蔬进行扫描，获得第二预设姿态下的待识别果蔬的内部扫描图，以此类推，直至最后一个预设姿态。

例如，预设姿态有竖直摆放姿态和水平摆放姿态，对竖直摆放姿态下的待识别果蔬进行扫描，得到内部扫描图(竖直扫描图)；对水平摆放姿态下的待识别果蔬进行扫描，得到内部扫描图(水平扫描图)。

在本说明书一个或多个可选的实施例中，在获得内部扫描图之后，无需对内部扫描图进行任何处理，可以直接将内部扫描图输入缺陷识别模型，识别待识别果蔬的缺陷，如此，可以减少数据处理量，提高果蔬缺陷识别的效率。

在本说明书一个或多个可选的实施例中，在获得内部扫描图之后，为了确保内部扫描图的可靠性，可以对内部扫描图进行预处理。也即在所述将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷之前，还包括：

对所述内部扫描图进行预处理，得到预处理后的所述内部扫描图，其中，所述预处理包括裁剪、对比度调节、亮度调节和锐度调节中的至少一个。

具体的，裁剪是指对内部扫描图的大小比例、尺寸进行调整的过程；对比度是指图中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，差异范围越大代表对比越大，差异范围越小代表对比越小；对比度调节是指对内部扫描图的对比度进行调整的过程；亮度(luminance)是颜色的一种性质，或与颜色多明亮有关系的色彩空间的一个维度，是指图像的明亮程度；亮度调节是指对内部扫描图的对比度进行调整的过程；锐度，也即“清晰度”，它是反映图像平面清晰度和图像边缘锐利程度的一个指标；锐度调节是指内部扫描图的锐度进行调整的过程。

实际应用中，为了使内部扫描图像更行清晰，图像特征更明显，可靠性更高，进而提高缺陷识别的准确率和效率，需要对内部扫描图进行裁剪、对比度调节、亮度调节和锐度调节中的至少一个。

对内部扫描图进行裁剪，可以去除内部扫描图中的干扰因素，如待识别果蔬附近放置有石块，内部扫描图中可能存在该石块的影像，通过裁剪可以去除该石块的影像；还可以增强待识别果蔬的特征，即图像特征，如内部扫描图中待识别果蔬的影像只占很小一部分，其他都是空白，则通过裁剪可以将空白区域去除，突出内部扫描图中待识别果蔬的影像；也可以提高模型识别效率，例如，将不同的待识别果蔬的内部扫描图进行处理，使其大小尺寸一致，使用缺陷识别模型时，避免尺寸的不同干扰模型识别的效率和准确率。

对内部扫描图进行对比度调节、亮度调节和锐度调节中的任意一种，可以增强待识别果蔬的特征，使向更清晰，便于缺陷识别模型更精准地进行缺陷识别；此外，将不同的待识别果蔬的内部扫描图进行处理，使其对比度、亮度和锐度等一致，使用缺陷识别模型时，避免对比度、亮度和锐度的不同，干扰模型识别的效率和准确率。

步骤304：将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，其中，所述缺陷识别模型为基于样本扫描图对预设的图像分类模型进行训练得到，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征。

具体的，缺陷识别模型是指用于识别果蔬缺陷的模型，是一种机器学习模型；分类模型是指基于事物特征对事物进行分类的模型，也即训练前的缺陷识别模型；样本扫描图是指用于训练缺陷识别模型的样本，也即用于训练模型的内部扫描图；样本果蔬是指样本扫描图对应的果蔬，也即缺陷识别模型的可识别的果蔬，其中样本果蔬可以为一种，也可以有多种，当样本果蔬为一种时，缺陷识别模型为该果蔬专用的缺陷识别模型，当样本果蔬有多种时，缺陷识别模型为多种果蔬通用的缺陷识别模型；预设果蔬生长特征是指果蔬的生物学特征。

实际应用中，可以获取所包含的样本果蔬内部信息符合预设果蔬生长特征的样本扫描图，然后利用样本扫描图对分类模型进行训练得到缺陷识别模型。之后，将获取的内部扫描图输入缺陷识别模型，有缺陷识别模型根据内部扫描图的图像特征，识别待识别果蔬的缺陷。

此外，缺陷识别模型的识别结果可以返回缺陷识别模型继续更新缺陷识别模型的模型参数，具备持续的自我进化能力。

在本说明书一个可选的实施例中，可以获取待识别果蔬的单个内部扫描图，然后将该内部扫描图输入至缺陷识别模型，由缺陷识别模型根据该内部扫描图确定待识别果蔬的缺陷。如此，使用待识别果蔬的单个内部扫描图识别果蔬缺陷，可以减少数据处理量，进而提高果蔬缺陷识别效率。

在本说明书另一个可选的实施例中，可以获取待识别果蔬的多个内部扫描图，然后将多个内部扫描图分别输入至缺陷识别模型，由缺陷识别模型根据各内部扫描图识别待识别果蔬的缺陷。如此，使用待识别果蔬的多个内部扫描图，基于各内部扫描图的识别结果确定果蔬缺陷，可以避免单个内部扫描图的局限性，导致识别结果出错的问题，进一步提高缺陷识别的准确性和鲁棒性。

可选地，可以对任一摆放姿态下的待识别果蔬进行扫描，重复多次，得到待识别果蔬的多个内部扫描图；将多个内部扫描图分别输入缺陷识别模型，得到各内部扫描图对应的识别结果；根据各识别结果，确定待识别果蔬的缺陷。如此，可以提高获取多个内部扫描图的效率，进而提高缺陷识别效率。

可选地，还可以预先设置多个预设姿态，针对每个预设姿态下的待识别果蔬进行扫描，得到待识别果蔬的多个内部扫描图，然后根据将多个内部扫描图输入至缺陷识别模型，由缺陷识别模型根据各内部扫描图识别待识别果蔬的缺陷。也即所述预设姿态有多个；

所述在所述摆放姿态为预设姿态的情况下，对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图，包括：

对各所述预设姿态下的待识别果蔬进行扫描，获得所述待识别果蔬的多个内部扫描图；

所述将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，包括：

将所述多个内部扫描图分别输入缺陷识别模型，得到各内部扫描图对应的识别结果；

根据各所述识别结果，确定所述待识别果蔬的缺陷。

实际应用中，预设姿态可以有多个，对第一预设姿态下的待识别果蔬进行扫描，获得第一预设姿态下的待识别果蔬的内部扫描图，对第二预设姿态下的待识别果蔬进行扫描，获得第二预设姿态下的待识别果蔬的内部扫描图，以此类推，直至最后一个预设姿态。然后将多个内部扫描图分别输入至缺陷识别模型，缺陷识别模型针对每个内部扫描图得到一个识别结果。进而根据各识别结果和预设的识别策略，确定待识别果蔬的缺陷。如此，可以从不同角度对待识别果蔬的缺陷进行识别，有利于提高缺陷识别的精准度。

例如，预设姿态有竖直摆放姿态和水平摆放姿态，对竖直摆放姿态下的待识别果蔬进行扫描，得到内部扫描图(竖直扫描图)；对水平摆放姿态下的待识别果蔬进行扫描，得到内部扫描图(水平扫描图)。然后，将竖直扫描图和水平扫描图分别输入至缺陷识别模型，缺陷识别模型针对竖直扫描图得到第一识别结果，根据水平扫描图得到第二识别结果。进而基于第一识别结果和第二识别结果，综合得到待识别果蔬的缺陷。

一般来说，待识别果蔬从俯视图看，呈轴对称，此时扫描的内部扫描图能够看到完整的外轮廓；侧视图对于待识别果蔬接近扫描点的部分，投影面积更大，待识别果蔬的细节可以更完整地展现，但是对于后面的部分果肉会有遮挡；因此两种姿势会有互补的效果，可以更好地描述待识别果蔬的特征。

在本说明书一个或多个可选的实施例中，缺陷识别模型可以包括特征提取子模型和分类子模型；所述将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，具体实现过程可以如下：

将所述内部扫描图输入至所述特征提取子模型，得到分割图像；

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的缺陷。

具体的，特征提取子模型是指缺陷识别模型中针对图形特征进行提取的子模型，特征提取子模型可以是深度学习模型，如图像语义分割模型UNET，还可以是卷积神经网络模型，本说明书对此不做限定；分类子模型是指缺陷识别模型中针对图形特征进行缺陷分类识别的子模型，可以是预先训练的深度学习模型，也可以是数学公式，本说明书对此不做限定；图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程；分割图像就是进行图像分割处理后的图像。

实际应用中，获取到待识别果蔬的内部扫描图之后，可以将内部扫描图输入至缺陷识别模型的特征提取子模型，由特征提取子模型对内部扫描图进行特征提取和图像分割处理，进而得到分割图像。进而分割图像输入分类子模型，由分类子模型基于分割图像的图像特征，进行分类，确定该分割图像指向的缺陷，也即待识别果蔬的缺陷。

如此，通过特征提取子模型对内部扫描图像的特征进行提取，得到分割图像，再基于分割图像的图像特征进行缺陷识别，可以提高缺陷识别的准确率。

可选地，特征提取子模型包括特征提取单元和特征强化单元；将内部扫描图输入至特征提取子模型，得到分割图像还可以为：将内部扫描图输入至特征提取单元进行特征提取，得到特征图；将特征图输入至特征强化单元进行特征强化，得到分割图像。

参见图3B，图3B使出了本说明书一个实施例提供的一种果蔬缺陷识别方法中特征提取子模型的结构示意图：特征提取子模型包括特征提取单元和特征强化单元。提取单元是指特征提取子模型中进行特征提取的部分，是一种编码器(下采样器)：先对图像进行两次卷积，然后进行一次下采样，以此类推，直至第四次下采样。特征强化单元是指特征提取子模型中对图像特征进行增强的部分，可以是解码器(上采样器)：对第四次下采样得到的图像进行逆卷积和第一次上采样，将第一次上采样得到的图像与第三次下采样得到的图像进行拼接，得到第一拼接图，再对第一拼接图进行逆卷积和第二次上采样，以此类推，直至第四次上采样得到第三拼接图，即分割图像。

可选地，所述缺陷包括成熟度缺陷和果肉缺失缺陷；所述将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的缺陷，具体实现过程可以如下：

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的边缘缝隙，根据所述边缘缝隙，确定所述待识别果蔬的成熟度缺陷；或者

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的内部空白区域，根据所述内部空白区域的区域信息，确定所述待识别果蔬的果肉缺失缺陷。

具体的，成熟度缺陷是指待识别果蔬在成熟度上存在的缺陷；果肉缺失缺陷是指待识别果蔬在果肉含量方面存在的缺陷，如虫蛀导致的果肉缺少、空囊导致的果肉缺少等；边缘缝隙是指果肉与果皮或果壳之间的缝隙。

实际应用中，对于包含果肉与果皮，或者果肉与外壳的果蔬来说：果蔬的成熟度不同，果蔬的果肉与果皮或果壳之间的缝隙也不同，即边缘缝隙不同，可以将分割图像输入至分类子模型中，进行成熟度缺陷的识别，即分类子模型识别分割图像中的边缘缝隙，根据边缘缝隙进行分析，确定待识别果蔬是否存在成熟度缺陷，以及属于哪种成熟度缺陷；果蔬的果肉缺失不同，果蔬的内部空白区域也不同，也可以将分割图像输入至分类子模型中，进行果肉缺失缺陷的识别：分类子模型识别分割图像中的内部空白区域，根据内部空白区域进行分析，确定待识别果蔬是否存在果肉缺失缺陷，以及属于哪种果肉缺失缺陷。

此外，由于果蔬的缺陷与果蔬类型息息相关，因此，在识别成熟度缺陷时，可以基于待识别果蔬的果蔬类型和边缘缝隙，确定待识别果蔬的成熟度缺陷；在识别果肉缺失缺陷时，可以基于待识别果蔬的果蔬类型和区域信息，确定待识别果蔬的果肉缺失缺陷。

参见图3C，图3C示出了本说明书一个实施例提供的一种果蔬缺陷识别方法的流程示意图：将榴莲的X光图像输入缺陷识别模型的特征提取子模型，得到分割图像，通过缺陷识别模型的分类子模型，对分割图像中的边缘缝隙进行分析，确定榴莲的成熟度缺陷。

基于边缘缝隙的不同，来识别待识别果蔬的成熟度缺陷，或者基于内部空白区域的不同，来识别待识别果蔬的果肉缺失缺陷，可以提高缺陷识别的准确度。

在本说明书一种可实现的方式中，所述根据所述边缘缝隙，确定所述待识别果蔬的成熟度缺陷，具体实现过程可以如下：

在所述边缘缝隙的宽度大于第一宽度阈值的情况下，确定所述待识别果蔬的成熟度缺陷为过熟；

在所述边缘缝隙的宽度小于第二宽度阈值的情况下，确定所述待识别果蔬的成熟度缺陷为未成熟。

具体的，第一宽度阈值，也即过熟宽度阈值，用于衡量过熟是否过熟；第二宽度阈值，也即过生宽度阈值，用于衡量过熟是否未成熟；一般来说，果蔬越熟，边缘缝隙越宽，即第一宽度阈值大于第二宽度阈值。

实际应用中，果蔬越熟，边缘缝隙越宽。因此，在边缘缝隙的宽度大于第一宽度阈值的情况下，说明待识别果蔬太成熟了，即为过熟；在边缘缝隙的宽度小于第二宽度阈值的情况下，说明待识别果蔬还是生的，即为未成熟。如此，通过设置宽度阈值，识别果蔬是否为过熟或未成熟，可以提高缺陷识别效率。

此外，在边缘缝隙小于等于第一宽度阈值，且大于或等于第二宽度阈值的情况下，说明待识别过熟处于正常的成熟状态，不存在成熟度缺陷。还可以设置第三宽度阈值，且第三宽度阈值大于第一宽度阈值，在边缘缝隙的宽度大于第三宽度阈值的情况下，确定所述待识别果蔬的成熟度缺陷为腐烂。

需要说明的是，针对包含多个果肉，且包含果肉与果皮的果蔬，或者包含多个果肉，且包含果肉与外壳的果蔬来说，如橘子、榴莲、波罗蜜，可能存在部分果肉成熟，部分果肉不成熟的情况，也可以根据边缘缝隙进行识别：

针对待识别果蔬中的任一果肉，在该果肉对应的边缘缝隙的宽度小于第二宽度阈值，且存在其他果肉对应的边缘缝隙的宽度大于或等于第二宽度阈值的情况下，确定所述待识别果蔬的成熟度缺陷为部分未成熟。

例如，对于榴莲来说，有五房，其中四房的果肉与外壳的边缘缝隙的宽度均在第一宽度阈值和第二宽度阈值之间，剩下一房的果肉与外壳的边缘缝隙的宽度小于第一宽度阈值，则认为该房的果肉未成熟，即死包。

在本说明书一种可实现的方式中，根据内部空白区域的区域信息，确定待识别果蔬的果肉缺失缺陷，具体实现过程可以如下：

在内部空白区域的面积小于面积阈值，或者内部空白区域为线条状的情况下，确定待识别果蔬的果肉缺失缺陷为虫蛀；

在内部空白区域的面积大于或等于面积阈值的情况下，确定待识别果蔬的果肉缺失缺陷为空囊。

实际应用中，由于虫蛀或者空囊的缺陷会使果肉存在缺失，进而在分割图像中形成内部空白区域。因此，在内部空白区域的面积小于面积阈值的情况下，说明只有少部分果肉缺失，被虫子吃掉的可能性大，即果肉缺失缺陷为虫蛀；在内部空白区域为线条状的情况下，说明有虫子活动的轨迹，即果肉缺失缺陷为虫蛀；在内部空白区域的面积大于或等于面积阈值的情况下，说明大部分果肉缺失，即的果肉缺失缺陷为空囊。如此，通过内部空白区域的面积和形状，识别果蔬是否存在虫蛀或空囊的缺陷，可以提高缺陷识别效率。

需要说明的是，对于不同种类的待识别果蔬，缺陷识别模型采用的第一宽度阈值和/或第二宽度阈值会不同。例如，对于榴莲、波罗蜜和橘子这三种不同类型的水果，其在成熟时，边缘缝隙的大小不同，导致第一宽度阈值和/或第二宽度阈值也会不同。因此，还需要基于待识别果蔬的果蔬类型，确定第一宽度阈值和第二宽度阈值，具体实现过程可以如下：

确定所述待识别果蔬的果蔬类型；

基于所述果蔬类型，确定第一宽度阈值和第二宽度阈值。

具体的，果树类型是指果蔬的品类、种类、类目，如榴莲、波罗蜜和橘子。

实际应用中，可以基于内部扫描图识别待识别果蔬所述的果蔬类型，例如，内部扫描图显示的内容符合榴莲的生长特征，则待识别果蔬的果蔬类型为榴莲；也可以基于人工设置的参数识别待识别果蔬所述的果蔬类型，例如，人工设置缺陷识别模型用于榴莲的缺陷识别，即参数为榴莲对应的标识，即可根据该标识识别待识别果蔬的果蔬类型为榴莲。

在确定了果蔬类型之后，可以基于果蔬类型，在预设阈值库中查找该果蔬类型对应的第一宽度阈值和第二宽度阈值。

如此，基于果蔬类型确定第一宽度阈值和第二宽度阈值，可以对不同类型的待识别果蔬进行精准确定识别，提高缺陷识别的准确度。

需要说明的是，在使用缺陷识别模型进行缺陷识别之前，还需要训练图像分类模型，得到缺陷识别模型。训练过程与上述缺陷识别模型训练方法相同，此处不再赘述。

本说明书提供了一种果蔬缺陷识别方法，通过使用具有内部信息的内部扫描图，使缺陷识别模型能更真实地了解待识别果蔬的内部真实情况，使缺陷识别更加直接；基于可深度学习的缺陷识别模型对待识别果蔬的缺陷识别，效率更高更精准；此外，基于内部扫描图和可深度学习的缺陷识别模型，可以识别待识别果蔬的多种缺陷现象，提高了缺陷识别的范围和广度。

下述结合附图4A，以本说明书提供的果蔬缺陷识别方法在榴莲缺陷识别场景中的应用为例，对所述果蔬缺陷识别方法进行进一步说明。其中，图4A示出了本说明书一个实施例提供的一种果蔬缺陷识别方法的处理过程流程图，具体包括以下步骤。

步骤402：构建基于X光成像的榴莲训练集。

使用X光扫描设备对多个样本榴莲分别进行扫描，得到各样本榴莲的样本X光图像；对样本X光图像进行预处理，得到训练集。

其中，多个样本榴莲同时包括正常品质的样本榴莲和具有各种缺陷的样本榴莲。

扫描时样本榴莲采用竖直摆放姿态和水平摆放姿态两种摆放姿态，且扫描光源位于榴莲正上方。这样是因为榴莲的果肉，从俯视图看，呈轴对称，此时拍摄的X光能够看到完整的外轮廓；侧视图对于接近X射线源的部分果肉，投影面积更大，细节可以展现得更完整，但是对于后面的部分果肉会有遮挡；因此两种姿势会有互补的效果，可以更好地描述榴莲的特征。

进行预处理时，需要确保样本X光图像中可以清晰地体现榴莲果肉、果壳、果核。即对所有的样本X光图像根据样本榴莲的位置、曝光不同，统一将样本X光图像进行裁剪和对比度、亮度、锐度的处理，确保关键信息的保留。此外，对于深度学习模型而言，数据非常关键。因为训练集中有大量的样本X光图像，适当的预处理会让缺陷识别模型有更好的缺陷识别效果。

步骤404：对训练集中的样本X光图像进行打标。

集对预处理后的各个样本X光图像进行缺陷打标，即添加缺陷标签。

例如，人工打开严格不能榴莲，根据打开以后的客观情况，判断该榴莲为熟、生、死包、过熟、虫蛀等，将该样本榴莲的样本X光图像缺陷标签标注为熟、生、死包、过熟、虫蛀。

与生、熟相关的特点的生物学特征来自淀粉转糖后的体积缩小和密度增加，因此生、熟、过熟的缝隙情况依次变大，果肉表面的纹理从光滑变为褶皱。死包的情况和生类似，但是同一个榴莲内会有正常成熟的部分；虫蛀和空包，从X成像上会有明显的轨迹和空囊。

步骤406、构建模型和模型训练。

根据所用的框架不同，数据的维度不同，效果也不一样。可以使用改进的UNET模型，由一个编码器(下采样器)和解码器(上采样器)组成。为了可靠地学习到图像特征并减少可训练参数的数量，可以使用一个预训练的模型MobileNetV2作为编码器。解码器使用上采样模块。

此外，需要确定需卷积层的数量，每一层的激活函数，每一层设置多少隐藏单元，模型的超参数。使用构建好的UNET模型进行训练，并设置迭代次数，如设置迭代次数为的初始值为10。可以模型的推理表现重新回到这里进行优化。

步骤408、模型测试或评估。

按照获取样本X光图像的方式，采集新的一批榴莲，也即测试榴莲的测试X光图像；使用训练好的UNET模型，即缺陷识别模型，根据测试X光图像对测试榴莲进行缺陷识别，打开测试榴莲，确认测试榴莲的真实确定，判定缺陷识别模型的准确率。并调整缺陷识别模型的参数，即根据缺陷识别模型的测试结果，调整缺陷识别模型的参数，并重新测试。直至符合测试停止条件。

步骤410：榴莲缺陷检测。

利用训练集对UNET模型进行训练，得到缺陷识别模型；训练完成后，利用X光扫描设备对待测榴莲进行X光成像，得到待测榴莲的X光图像；使用缺陷识别模型对待测榴莲的X光图像进行缺陷检测和分拣动作，得到待测榴莲的缺陷。

参见图4B，图4B示出了本说明书一个实施例提供的一种果蔬缺陷识别方法中生榴莲的内部扫描示意图，即生榴莲的内部扫描图的示意图，可见生榴莲的内部扫描图，也即X光图像中，边缘缝隙较窄。参见图4C，图4C示出了本说明书一个实施例提供的一种果蔬缺陷识别方法中熟榴莲的内部扫描示意图，即生榴莲的内部扫描图的示意图：可见熟榴莲的内部扫描图，也即X光图像中，边缘缝隙较宽。

由于榴莲果实巨大，果皮非常厚，且带有尖刺，常规的外观检测、红外光谱检测等都无法对内在果肉状况进行检测。利用X光射线成像技术，可以透过果皮，对榴莲内部结构进行有效的图像刻画。由于这种图像刻画的人眼可读性依然不强，这时再利用UNET模型，通过对缺陷样本的打标、训练，让UNET模型对榴莲缺陷的规律进行抽象和学习，最终能够达成对榴莲的不良品进行判定、筛除，可以达成90％以上的缺陷榴莲召回率，极大地减少了缺陷榴莲流向消费者。

且，因为X光扫描设备可以为叠加皮带式的整体机械，非常适合用于流水线式的工作模式，整体的执行效率远远大于单个进行压力测试和针刺测试，可以满足规模化产线场景，以及对大量榴莲的缺陷识别，满足商家的交易诉求。

与上述方法实施例相对应，本说明书还提供了缺陷识别模型训练装置实施例，图5示出了本说明书一个实施例提供的一种缺陷识别模型训练装置的结构示意图。如图5所示，该装置包括：

获取模块502，被配置为获取样本果蔬的样本扫描图，其中，所述样本扫描图携带有缺陷标签，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征，所述缺陷标签基于所述预设果蔬生长特征设定；

输入模块504，被配置为将所述样本扫描图输入至图像分类模型中，得到预测结果；

计算模块506，被配置为根据所述预测结果和所述缺陷标签，计算损失值；

调整模块508，被配置为基于所述损失值调整所述图像分类模型的模型参数，返回执行所述获取样本果蔬的样本扫描图的步骤，在达到预设训练停止条件的情况下，得到所述缺陷识别模型。

可选地，所述获取模块502，还被配置为：

获取所述样本果蔬的训练样本扫描图；

接收所述样本果蔬的第一缺陷类型，其中，所述第一缺陷类型基于所述预设果蔬生长特征确定；

将所述第一缺陷类型作为缺陷标签，与所述训练样本扫描图关联，得到携带有缺陷标签的样本扫描图。

可选地，所述获取模块502，还被配置为：

根据所述样本果蔬对应的预设果蔬生长特征，对所述样本果蔬进行光学图像仿真，得到所述样本果蔬的训练样本扫描图。

可选地，所述装置还包括测试模块，被配置为：

获取测试果蔬的测试扫描图；

将所述测试扫描图输入至缺陷识别模型中，得到测试结果；

获取所述测试果蔬的第二缺陷类型，其中，所述第二缺陷类型基于所述预设果蔬生长特征确定；

根据所述第二缺陷类型和所述测试结果，调整所述缺陷识别模型的模型参数。

需要说明的是，该缺陷识别模型训练装置的技术方案与上述的缺陷识别模型训练方法的技术方案属于同一构思，缺陷识别模型训练装置的技术方案未详细描述的细节内容，均可以参见上述缺陷识别模型训练方法的技术方案的描述。

本说明书提供了一种缺陷识别模型训练装置，通过使用具有内部信息的样本扫描图，使缺陷识别模型能更真实地学习样本果蔬的内部真实情况，使缺陷识别更加直接；通过携带有缺陷标签的样本扫描图对图像分类模型进行训练，能够提高缺识别模型对果蔬进行识别的准确性和速率，提高缺陷识别模型的鲁棒性；基于可深度学习的缺陷识别模型对待识别果蔬的缺陷识别，效率更高更精准，可以识别待识别果蔬的多种缺陷现象，提高了缺陷识别的范围和广度。

与上述方法实施例相对应，本说明书还提供了果蔬缺陷识别装置实施例，图6示出了本说明书一个实施例提供的一种果蔬缺陷识别装置的结构示意图。如图6所示，该装置包括：

扫描模块602，被配置为对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图；

识别模块604，被配置为将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，其中，所述缺陷识别模型为基于样本扫描图对预设的图像分类模型进行训练得到，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征。

可选地，所述装置还包括预处理模块，被配置为：

对所述内部扫描图进行预处理，得到预处理后的所述内部扫描图，其中，所述预处理包括裁剪、对比度调节、亮度调节和锐度调节中的至少一个。

可选地，所述扫描模块602，还被配置为：

利用X光扫描仪对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图。

可选地，所述扫描模块602，还被配置为：

识别所述待识别果蔬的摆放姿态；

在所述摆放姿态为预设姿态的情况下，对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图。

可选地，所述预设姿态有多个；

所述扫描模块602，还被配置为：

对各所述预设姿态下的待识别果蔬进行扫描，获得所述待识别果蔬的多个内部扫描图；

所述识别模块604，还被配置为：

将所述多个内部扫描图分别输入缺陷识别模型，得到各内部扫描图对应的识别结果；

根据各所述识别结果，确定所述待识别果蔬的缺陷。

可选地，所述缺陷识别模型包括特征提取子模型和分类子模型；

所述识别模块604，还被配置为：

将所述内部扫描图输入至所述特征提取子模型，得到分割图像；

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的缺陷。

可选地，所述缺陷包括成熟度缺陷和果肉缺失缺陷；

所述识别模块604，还被配置为：

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的边缘缝隙，根据所述边缘缝隙，确定所述待识别果蔬的成熟度缺陷；或者

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的内部空白区域，根据所述内部空白区域的区域信息，确定所述待识别果蔬的果肉缺失缺陷。

可选地，所述识别模块604，还被配置为：

在所述边缘缝隙的宽度大于第一宽度阈值的情况下，确定所述待识别果蔬的成熟度缺陷为过熟；

在所述边缘缝隙的宽度小于第二宽度阈值的情况下，确定所述待识别果蔬的成熟度缺陷为未成熟。

可选地，所述装置还包括确定模块，被配置为：

确定所述待识别果蔬的果蔬类型；

基于所述果蔬类型，确定第一宽度阈值和第二宽度阈值。

本说明书提供了一种果蔬缺陷识别装置，通过使用具有内部信息的内部扫描图，使缺陷识别模型能更真实地了解样本果蔬的内部真实情况，使缺陷识别更加直接；基于可深度学习的缺陷识别模型对待识别果蔬的缺陷识别，效率更高更精准；此外，基于内部扫描图和可深度学习的缺陷识别模型，可以识别待识别果蔬的多种缺陷现象，提高了缺陷识别的范围和广度。上述为本实施例的一种果蔬缺陷识别装置的示意性方案。

需要说明的是，该果蔬缺陷识别装置的技术方案与上述的果蔬缺陷识别方法的技术方案属于同一构思，果蔬缺陷识别装置的技术方案未详细描述的细节内容，均可以参见上述果蔬缺陷识别方法的技术方案的描述。

图7示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，数据库750用于保存数据。

计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，NetworkInterface Controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)接口，等等。

在本说明书的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。

其中，处理器720用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述缺陷识别模型训练方法或果蔬缺陷识别方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的缺陷识别模型训练方法或果蔬缺陷识别方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述缺陷识别模型训练方法或果蔬缺陷识别方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述缺陷识别模型训练方法或果蔬缺陷识别方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的缺陷识别模型训练方法或果蔬缺陷识别方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述缺陷识别模型训练方法或果蔬缺陷识别方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述缺陷识别模型训练方法或果蔬缺陷识别方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的缺陷识别模型训练方法或果蔬缺陷识别方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述缺陷识别模型训练方法或果蔬缺陷识别方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种缺陷识别模型训练方法，包括：

获取样本果蔬的样本扫描图，其中，所述样本扫描图携带有缺陷标签，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征，所述缺陷标签基于所述预设果蔬生长特征设定；

将所述样本扫描图输入至图像分类模型中，得到预测结果；

根据所述预测结果和所述缺陷标签，计算损失值；

基于所述损失值调整所述图像分类模型的模型参数，返回执行所述获取样本果蔬的样本扫描图的步骤，在达到预设训练停止条件的情况下，得到所述缺陷识别模型。

2.根据权利要求1所述的方法，所述获取样本果蔬的样本扫描图，包括：

获取所述样本果蔬的训练样本扫描图；

接收所述样本果蔬的第一缺陷类型，其中，所述第一缺陷类型基于所述预设果蔬生长特征确定；

将所述第一缺陷类型作为缺陷标签，与所述训练样本扫描图关联，得到携带有缺陷标签的样本扫描图。

3.根据权利要求2所述的方法，所述获取样本果蔬的训练样本扫描图，包括：

根据所述样本果蔬对应的预设果蔬生长特征，对所述样本果蔬进行光学图像仿真，得到所述样本果蔬的训练样本扫描图。

4.根据权利要求1-3任意一项所述的方法，所述在达到预设训练停止条件的情况下，得到所述缺陷识别模型之后，还包括：

获取测试果蔬的测试扫描图；

将所述测试扫描图输入至缺陷识别模型中，得到测试结果；

获取所述测试果蔬的第二缺陷类型，其中，所述第二缺陷类型基于所述预设果蔬生长特征确定；

根据所述第二缺陷类型和所述测试结果，调整所述缺陷识别模型的模型参数。

5.一种果蔬缺陷识别方法，包括：

对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图；

将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，其中，所述缺陷识别模型为基于样本扫描图对预设的图像分类模型进行训练得到，所述样本扫描图包含的样本果蔬内部信息符合预设果蔬生长特征。

6.根据权利要求5所述的方法，在所述将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷之前，还包括：

对所述内部扫描图进行预处理，得到预处理后的所述内部扫描图，其中，所述预处理包括裁剪、对比度调节、亮度调节和锐度调节中的至少一个。

7.根据权利要求5或6所述的方法，所述对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图，包括：

识别所述待识别果蔬的摆放姿态；

在所述摆放姿态为预设姿态的情况下，对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图。

8.根据权利要求7所述的方法，所述预设姿态有多个；

所述在所述摆放姿态为预设姿态的情况下，对待识别果蔬进行扫描，获得所述待识别果蔬的内部扫描图，包括：

对各所述预设姿态下的待识别果蔬进行扫描，获得所述待识别果蔬的多个内部扫描图；

所述将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，包括：

将所述多个内部扫描图分别输入缺陷识别模型，得到各内部扫描图对应的识别结果；

根据各所述识别结果，确定所述待识别果蔬的缺陷。

9.根据权利要求5所述的方法，所述缺陷识别模型包括特征提取子模型和分类子模型；

所述将所述内部扫描图输入缺陷识别模型，识别所述待识别果蔬的缺陷，包括：

将所述内部扫描图输入至所述特征提取子模型，得到分割图像；

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的缺陷。

10.根据权利要求9所述的方法，所述缺陷包括成熟度缺陷和果肉缺失缺陷；

所述将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的缺陷，包括：

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的边缘缝隙，根据所述边缘缝隙，确定所述待识别果蔬的成熟度缺陷；或者

将所述分割图像输入至所述分类子模型，识别所述待识别果蔬的内部空白区域，根据所述内部空白区域的区域信息，确定所述待识别果蔬的果肉缺失缺陷。

11.根据权利要求10所述的方法，所述根据所述边缘缝隙，确定所述待识别果蔬的成熟度缺陷，包括：

在所述边缘缝隙的宽度大于第一宽度阈值的情况下，确定所述待识别果蔬的成熟度缺陷为过熟；

在所述边缘缝隙的宽度小于第二宽度阈值的情况下，确定所述待识别果蔬的成熟度缺陷为未成熟。

12.根据权利要求11所述的方法，还包括：

确定所述待识别果蔬的果蔬类型；

基于所述果蔬类型，确定第一宽度阈值和第二宽度阈值。

13.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至4或者5至12任意一项所述方法的步骤。

14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至4或者5至12任意一项所述方法的步骤。

Images