CN110516529A

CN110516529A - 一种基于深度学习图像处理的投喂检测方法和系统

Info

Publication number: CN110516529A
Application number: CN201910614783.5A
Authority: CN
Inventors: 章坚武; 赵朵朵; 罗欣宇
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2019-11-29

Abstract

本发明公开了一种基于深度学习图像处理的投喂检测方法和系统，包括：获取训练集和测试集；构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，利用训练集训练优化RetinaNet目标检测网络；根据训练优化后的RetinaNet目标检测网络获得模型权重文件，将模型权重文件读取至融合非极大值抑制算法的ImageAI库中，得到投喂检测模型，利用测试集验证投喂检测模型至达到收敛条件；获取待检测监控视频，采用投喂检测模型检测待检测监控视频中每一实时监控图片中是否有投喂动作，若连续M张实时监控图片的检测结果为存在投喂动作，则向管理员终端发送报警信息。本发明可靠有效地检测投喂情况，降低投喂监管的人力物力，提高了投喂监管的及时性，降低投喂行为对动物和环境的危害。

Description

一种基于深度学习图像处理的投喂检测方法和系统

技术领域

本申请属于视频图像处理技术领域，具体涉及一种基于深度学习图像处理的投喂检测方法和系统。

背景技术

近年来，随着人们物质生活水平的提高，出游人数显著增加，动物园游客量也不断增加，但不文明游园行为随之出现。不断有“别再投喂了，你们的热情可能会害了它们的”、“饲料变垃圾，污染环境”、“擅自投喂动物，不是爱心是自私”等标题文章在头条引起广泛的关注，对“投喂难禁”的问题，动物园采取了很多办法，比如北京动物园管理队同城管联合巡视执法，劝阻投喂动物等不文明游园行为，对屡劝不听、伤害动物等严重违法行为进行处罚；动物园会让保育员和保安加强对所负责场馆的巡查，节假日会引入志愿者力量进行劝导，另外在熊猫场外场、熊山、猴山、黑猩猩展区等地方也进行了重点监控，看到投喂行为发生，会立马呼叫周边工作人员，联动处理。尽管如此，仍然存在“见缝插针”、“投机取巧”等投喂行为。

国内外针对基于摄像头的动物投喂检测研究还是比较少的，基于深度学习图像处理的投喂检测方法更是没有。近年来，随着计算机视觉和数字图像处理技术的不断发展，基于视觉的行为检测演变成一类重要的方法。随着人工智能的快速发展，机器学习、深度学习技术在图像技术领域的发展逐渐深入，尤其是深度学习在智能化方面的优势越来越明显，使得投喂行为的智能检测成为可能。

发明内容

本申请提供的一种基于深度学习图像处理的投喂检测方法和系统，可靠有效地检测投喂情况，以降低目前对投喂监管付出的大量人力物力，同时提高了投喂监管的及时性，降低投喂行为对动物和环境的危害。

为实现上述目的，本申请所采取的技术方案为：

一种基于深度学习图像处理的投喂检测方法，用于实时检测是否出现投喂动作，并在出现投喂动作时向管理员终端发送报警信息，所述基于深度学习图像处理的投喂检测方法，包括以下步骤：

步骤S1、获取经过是否有投喂动作标定的若干训练图片，随机划分训练图片得到训练集和测试集；

步骤S2、构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，并利用所述训练集训练优化所述RetinaNet目标检测网络；

步骤S3、根据训练优化后的RetinaNet目标检测网络获得模型权重文件，并将所述模型权重文件读取至融合非极大值抑制算法的ImageAI库中，得到投喂检测模型，利用所述测试集验证所述投喂检测模型是否达到收敛条件，若达到收敛条件，则输出投喂检测模型；否则重新进入步骤S1；

步骤S4、获取实时的待检测监控视频，根据所述待检测监控视频得到实时监控图片，采用所述投喂检测模型检测每一实时监控图片中是否有投喂动作，若连续M张实时监控图片的检测结果为存在投喂动作，则向管理员终端发送报警信息。

作为优选，所述基于深度学习图像处理的投喂检测方法还包括：

在获取待检测监控视频时，同时获取与待检测监控视频匹配的监控位置信息，并在根据所述待检测监控视频得到实时监控图片时，为每一实时监控图片生成对应的监控位置信息；

则所述向管理员终端发送报警信息，包括：向管理员终端发送存在投喂动作的实时监控图片以及对应的监控位置信息。

作为优选，所述构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，包括：

步骤S2.1、建立CLAHE算法均衡图像，CLAHE算法如下：

若h_w(s)为窗口内的直方图均衡，h_b(s)为窗口外的直方图均衡，则CLAHE算法处理后的均衡图像h(s)为：

h(s)＝βh_w(s)+(1-β)h_b(s)

式中，0≤β≤1，β＝1表示均衡图像h(s)为局部直方图均衡，β＝0表示均衡图像h(s)为全局直方图均衡，通过调整β的大小来调整窗口外部环境对窗口内变换的影响程度；

步骤S2.2、建立深度残差网络RestNet50提取CLAHE算法处理后的均衡图像h(s)的特征，特征提取过程中利用MobileNet神经网络对深度残差网络RestNet50进行加速和压缩；

步骤S2.3、建立FPN网络对提取的特征进行重组合；

步骤S2.4、建立FCN网络识别重组合后的特征，输出是否有投喂动作的标签以及相应的置信度；

步骤S2.5、组合步骤S2.1～S2.4即可得到融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络。

作为优选，所述利用所述测试集验证所述投喂检测模型是否达到收敛条件，若达到收敛条件，则输出投喂检测模型；否则重新进入步骤S1，包括：

采用评估指标mAP作为收敛条件，当投喂检测模型的评估指标mAP大于阈值K，则达到收敛条件；否则不满足收敛条件。

本申请还提供一种基于深度学习图像处理的投喂检测系统，包括云端服务器，与所述云端服务器连接的管理员终端、若干个监控设备和若干个报警单元，且每一个所述报警单元邻近一个监控设备安装，所述云端服务器包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下操作：

获取经过是否有投喂动作标定的若干训练图片，随机划分训练图片得到训练集和测试集；

构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，并利用所述训练集训练优化所述RetinaNet目标检测网络；

根据训练优化后的RetinaNet目标检测网络获得模型权重文件，并将所述模型权重文件读取至融合非极大值抑制算法的ImageAI库中，得到投喂检测模型，利用所述测试集验证所述投喂检测模型是否达到收敛条件，若达到收敛条件，则输出投喂检测模型；否则重新获取训练图片进行模型构建；

获取若干个监控设备实时的待检测监控视频，根据所述待检测监控视频得到实时监控图片，采用所述投喂检测模型检测每一实时监控图片中是否有投喂动作，若连续M张实时监控图片的检测结果为存在投喂动作，则向所述管理员终端发送报警信息。

作为优选，所述云端服务器在获取若干个监控设备的待检测监控视频时，同时获取与待检测监控视频匹配的监控位置信息，并在根据所述待检测监控视频得到实时监控图片时，为每一实时监控图片生成对应的监控位置信息；

则云端服务器向所述管理员终端发送报警信息时，向管理员终端发送存在投喂动作的实时监控图片以及对应的监控位置信息。

作为优选，所述云端服务器在检测到连续M张实时监控图片的检测结果为存在投喂动作时，还包括根据存在投喂动作的实时监控图片对应的监控位置信息，触发邻近该监控位置信息的报警单元，以警示投喂者停止投喂动作。

作为优选，所述云端服务器构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，执行如下操作：

建立CLAHE算法均衡图像，CLAHE算法如下：

若hw(s)为窗口内的直方图均衡，hb(s)为窗口外的直方图均衡，则CLAHE算法处理后的均衡图像h(s)为：

h(s)＝βh_w(s)+(1-β)h_b(s)

建立深度残差网络RestNet50提取CLAHE算法处理后的均衡图像h(s)的特征，特征提取过程中利用MobileNet神经网络对深度残差网络RestNet50进行加速和压缩；

建立FPN网络对提取的特征进行重组合；

建立FCN网络识别重组合后的特征，输出是否有投喂动作的标签以及相应的置信度；

组合建立的CLAHE算法、深度残差网络RestNet50、FPN网络和FCN网络，得到融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络。

作为优选，所述云端服务器采用评估指标mAP作为收敛条件，当投喂检测模型的评估指标mAP大于阈值K，则达到收敛条件；否则不满足收敛条件。

本申请提供的基于深度学习图像处理的投喂检测方法和系统，运用深度学习框架，使用RetinaNet目标检测算法，加入CLAHE增强图像对比度，还融合MobileNet中的可深度分离卷积思想、宽度乘数以及分辨率因子减少网络模型的计算量，创造性地使用ImageAI库进行测试验证，最终提出了一个兼顾精度与速率的投喂检测模型，投喂检测模型的实用性强、检测准确、漏检概率低，且当检测到有投喂行为时，产生相应的报警信息提醒游客或通知管理员，以便于及时制止投喂动作，从而降低投喂行为带来的危害程度。

附图说明

图1为本申请的基于深度学习图像处理的投喂检测方法流程图；

图2为深度残差网络ResNet50的结构示意图；

图3为MobileNet神经网络对深度残差网络RestNet50加速和压缩的示意图；

图4为本申请对单张图片进行投喂检测后的一种检测效果示意图；

图5为本申请的基于深度学习图像处理的投喂检测系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

如图1所示，其中一实施例中，提供一种基于深度学习图像处理的投喂检测方法，用于实时检测是否出现投喂动作，并在出现投喂动作时向管理员终端发送报警信息，所述基于深度学习图像处理的投喂检测方法，包括以下步骤：

步骤S1、获取经过是否有投喂动作标定的若干训练图片，随机划分训练图片得到训练集和测试集。

为了得到更加全面、有效的数据集，便于后续模型训练或测试，提高模型识别准确率，在制作数据集时，首先获取若干监控视频，汇总得到包括多种类型摄像头、多种拍摄角度、多种场景和多种投喂动作的训练视频。

然后根据训练视频得到若干训练图片，对每一训练图片进行是否有投喂动作的标定。在对训练图片进行是否有投喂动作的标定时，通过libav软件将训练视频转换成数万张帧图片，再通过可视化图像标注工具labelImg进行标定，生成遵循PASCAL VOC格式的XML文件。

本实施例中，为简化人工标定以及便于后续识别，对有投喂动作的训练图片进行相应标定，对没有投喂动作的训练图片不做标定处理。并且将70％的标定后的训练图片作为训练集，剩下30％的标定后的训练图片作为测试集。

步骤S2、构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，并利用所述训练集训练优化所述RetinaNet目标检测网络。

在深度网络的构建中，以针对投喂行为的目标检测任务为基础，使用软件Anaconda，语言Python3.6，以及tensorflow深度学习框架，结合目标检测网络RetinaNet。综合考虑动物园的复杂场景，因此在训练模型中融入对比度受限的自适应直方图均衡化(CLAHE)算法处理，提高图像对比度。

对目标检测网络RetinaNet训练时采用损失函数FocalLoss，融合MobileNet的优势对模型进行加速。使用keras深度神经网络模型对数万条数据进行训练，输出模型权重文件。

融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络构建的具体实施步骤如下：

步骤S2.1、建立CLAHE算法均衡图像，CLAHE算法如下：

h(s)＝βh_w(s)+(1-β)h_b(s)

式中，0≤β≤1，β＝1表示均衡图像h(s)为局部直方图均衡，β＝0表示均衡图像h(s)为全局直方图均衡，通过调整β的大小来调整窗口外部环境对窗口内变换的影响程度。

在提高图像对比度过程中采用CLAHE算法来均衡图像。CLAHE是在局部直方图均衡的同时考虑周围区域的影响，处理后的图像既有局部直方图均衡后，适应图像不同部位灰度分布差异的特点，又有全局直方图均衡后全图灰度分布较为协调的效果，经过CLAHE算法处理后图片的对比度明显提高。

结合现有的RetinaNet模型由三个模块构成：特征提取网络、特征金字塔网络(FPN)和子网络的思路，本实施例进一步的构建操作为：

步骤S2.2、建立深度残差网络RestNet50提取CLAHE算法处理后的均衡图像h(s)的特征，特征提取过程中利用MobileNet神经网络对深度残差网络RestNet50进行加速和压缩。

在特征提取网络利用深度残差网络ResNet50规避直线型CNN的缺点，在卷积前馈网络中增加快捷连接，将网络的本身映射结果直接添加到叠加层的输出中。如图2所示，在深度残差网络ResNet50的结构中，首先将数据集输入7×7×64的卷积层，即{7×7，cony，64}，然后经过箭头虚线处的数字相加(3+4+6+3)的16个构建块(building block)，每个building block为3层，即有16×3＝48层，加上开头7×7×64的卷积层和结尾的全连接层共同构成了ResNet中的50层网络。

考虑到深层神经网络学习模型训练时间长、模型大的缺点，故而融合MobileNet神经网络对深度残差网络ResNet50进行加速和压缩。

MobileNet神经网络采用的是深度可分离卷积神经网络(CNN)，其核心思想是将原本标准的卷积操作分解成一个深度可分离卷积(Depthwise convolution)和一个1×1的卷积(Pointwise convolution)操作，减少了卷积核的冗余表达，可明显降低计算量与参数数量。本实施例中采用的是轻量化MobileNet神经网络。

在加速和压缩过程中，Mobilenet神经网络通过将深度残差网络RestNet50网络中的原本标准的卷积操作分解为Depthwise convolution与Pointwise convolution来减少卷积核的冗余表达。Deepwise卷积是指输入特征图的每个通道(channel)都对应一个卷积核，这样输出的特征的每个channel只与输入特征图对应的channel相关。这种卷积操作能够显著降低模型大小和计算量。

关于对深度残差网络ResNet50进行加速和压缩的具体过程可参照论文MobileNets：Efficient Convolutional Neural Networks for Mobile VisionApplications中的相关描述，在此不再进行赘述，但为了便于直观理解，以下以3×3卷积的加速和压缩为例稍作描述。

如图3所示，左边是深度残差网络ResNet50标准的3×3卷积，即{3×3，conv}；BN(Batch Normalization)表示批标准化，BN即通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布；ReLU表示所使用的修正线性单元激活函数，在卷积之后通过BN和ReLU来构建网络。在对3×3卷积加速和压缩的过程中，将深度残差网络ResNet50中的{3×3，conv}转化为图3右边MobileNet思想里的{3×3，Depthwise conv}和{1×1，conv}。

步骤S2.3、建立FPN网络对提取的特征进行重组合。

FPN网络是通过自底向上、自顶向下、横向的连接将不同层的特征图进行融合。自底向上就是CNN的前向传播过程，在ResNet中有五次特征提取过程，产生的特征图大小不发生变化，将其分别命名为C1、C2、C3、C4、C5。

对C5进行卷积核为3×3，步长为1的卷积运算后得到FPN的第一层网络结构P5；自顶向下的过程采用上采样进行。横向连接将上采样的结果和自底向上生成的特征图进行相加操作，即对C4进行卷积核为1×1，步长为1的卷积运算后加上P5的上采样结果，然后进行卷积核为3×3，步长为1的卷积运算得到FPN的第二层网络结构P4。以此类推，产生P3、P2、P1。

FPN的结构能够从单张图像中有效地构建多尺度的特征图，使金字塔的每一层均可被用于不同尺寸的目标检测。

RetinaNet模型借鉴了Faster R-CNN中区域候选网络(Region ProposalNetwork，RPN)的思想，将当前滑动窗口的中心在原图的映射点称为候选框(Anchor)，以此Anchor为中心，可在FPN的五个不同层级分别生成候选区域。

RetinaNet模型在生成Anchor时加入三种不同的尺度和{1∶2，1∶1，2∶1}三种不同的长宽比，即可产生9种Anchor，其面积大小在P1、P2、P3、P4、P5上分别为{512²，256²，128²，64²，32²}。

步骤S2.4、建立FCN网络识别重组合后的特征，输出是否有投喂动作的标签以及相应的置信度。

FCN网络包含了分类子网络和边框预测子网络，其中：

分类子网络为每一个Anchor预测投喂目标出现的概率。通过对FPN五层网络结果结构中的某一层与全卷积网络(FCN)相连接，卷积后使用ReLU作为激励函数，最终使用Sigmoid函数预测分类情况。

分类子网络在多分类任务中，常用的损失函数是交叉熵。假设共有N个样本，目标分类的标签有C类，y代表真实标签，第i个样本预测为第C类标签的概率为p_i，c，则定义损失函数CE如下：

在RetinaNet模型中，针对正负类别不平衡的现象，在原损失函数中引入参数α控制正负样本对总分类损失的贡献权重，新的损失函数定义为：

针对难分样本问题，在CE_α的基础上增加调节因子(1-y_i，c)^γ，其中γ是超参数，得到Focal Loss函数的定义为：

当一个样本预测错误，调节因子(1-y_i，c)^γ趋近于1，而对于错误分类的样本的惩罚不变；反之，调节因子(1-y_i，c)^γ趋近于0，对于正确样本的惩罚减小。

边框预测子网络用于定位，其可为每个Anchor生成候选区域对临近真实区域坐标的偏移量。边框预测子网络与分类子网络并行处理，两者结构相类似。

人工标注的真实区域坐标针对每张图像会有所不同，但统一的标注格式中均包括物体的宽(w)、高(h)和物体四个顶点的坐标值，设置base_size为8来初始化一个Anchor的边长，后续乘以不同的尺度与长宽比即可得到实际使用的不同大小的Anchor，预测区域的坐标以Anchor为基准针对目标不同而有所不同。在边框预测任务中，对目标真实区域的预测是一个回归问题，损失函数利用光滑L1函数。

在构建完成后，利用所述训练集优化所述RetinaNet目标检测网络时，本实例使用迁移学习来进行检测模型的训练，即使用深度残差网络ResNet50在ImageNet1K大型数据上预训练的模型对RetinaNet进行初始化。具体的，初始化时：

使用动物园场景的训练样本对网络进行微调，修改模型中input_data层中的类别数量和cls_score层中的输出数量为2；修改bbox_pred层中的输出数量为8，即总类别数2与中心点坐标(x，y)和宽高(w，h)的乘积；修改Anchor交并比为0.7，即大于0.7标记为正样本，小于0.3标记为负样本。将模型的超参数1r初始化为0.001，初始化batch_size为25，初始化epoch为25，初始化dropout为0.8。

初始化完成后，通过反向传播算法优化模型参数，继而得到优化所述RetinaNet目标检测网络。

步骤S3、根据训练优化后的RetinaNet目标检测网络获得模型权重文件，并将模型权重文件读取至融合非极大值抑制(Non-maximum suppression，NMS)算法的ImageAI库中，得到投喂检测模型，利用所述测试集验证所述投喂检测模型是否达到收敛条件，若达到收敛条件，则输出投喂检测模型；否则重新进入步骤S1。

由于优化后的RetinaNet目标检测网络会给出大量的预测结果，但是其中大多数的预测值都会有非常低的置信度(confidence score)，因此只考虑那些置信度高于某个阈值的预测结果。

故测试阶段时，为了测试RetinaNet目标检测网络的直观性和有效性，在python的ImageAI库中利用NMS算法来抑制冗余box，将重叠度高于threshold的boxes进行合并，消除多余的候选框，找到最佳的物体检测位置。

NMS的本质是搜索局部极大值，抑制非极大值元素。在对象检测中，滑动窗口经提取特征，经分类器分类识别后，每个窗口都会得到一个分类(类别)及分数(置信度)。NMS算法常用来解决由于滑动窗口会导致很多窗口与其它窗口存在包含或者大部分交叉的情况。

且为了便于设置合理的收敛条件，得到性能较佳的投喂检测模型，在一实施例中，采用评估指标mAP(指平均准确率均值)作为收敛条件，当投喂检测模型的评估指标mAP大于阈值K，则达到收敛条件；否则不满足收敛条件，继续修改数据集(扩充训练图片或剔除不好的训练图片)、修改投喂检测模型的参数或改进投喂检测模型。本实施例中阈值K设置为80％。

具体的，为了判断每个候选框的正确性，采用IoU(Intersection over Union)作为评价边界框正确性的度量指标。

且性能评估指标mAP的计算如下：

定义图片中各个类别的正确检测数值为TP(True Positives)、错误检测数值为FP(False Positives)以及漏检的物体数为FN(False Negatives)，计算查全率Recall和精度Precision如下：

进一步给定图片中类别C的精度值Precision_C为图片中类别C的真正数量N(TP)_C与图片中类别C所有目标的数量N(Total)_C之比：

目标检测中的mAP(Mean Average Precision)是所有类别的平均精度值的均值，计算如下：

式中，AP_C表示类别C的平均精度值，∑Precision_C表示所有测试图片中对于类别C的平均精度值之和，N(TotalImages)_C表示所有测试图片中含有类别C的数量，∑AP_C表示所有类别的平均精度值之和，N(classes)表示类别的数量。

在一实施例中，为了保证系统远程控制以及并发的需求，引入Ngnix服务器端，故在进行检测时：首先获取实时的待检测监控视频，上传到Ngnix服务器端以保证系统远程控制以及并发的需求，并利用FFmpeg对Ngnix服务器端的待检测监控视频进行获取并拆分成帧，得到实时监控图片；然后将实时监控图片读取到具有喂检测模型的ImageAI库中进行实时检测。

如图4所示，为一次检测后输出的检查结果，该检测结果包括目标框、是否有投喂动作的标签以及置信度。置信度大于0.5表示有投喂动作，且值越接近1表示检测到的投喂动作的准确性越高，有投喂动作时在图片中显示相应目标框、标签“Feed”和置信度的值；置信度小于0.5表示无投喂动作，本检测在置信度小于0.5的检测情况下不再对目标标注矩形框。

在一实施例中，为了及时提醒管理员处理投喂行为，所述基于深度学习图像处理的投喂检测方法还包括：在获取待检测监控视频时，同时获取与待检测监控视频匹配的监控位置信息，并在根据所述待检测监控视频得到实时监控图片时，为每一实时监控图片生成对应的监控位置信息；则向管理员终端发送报警信息，包括：向管理员终端发送存在投喂动作的实时监控图片以及对应的监控位置信息。

本实施例中，通过向管理员终端发送报警信息，以便于管理员及时得到投喂行为的存在以及投喂行为的发生地，可及时前往进行相应处理。

当然，为了进一步提高制止投喂行为的及时性，还可以在投喂者附近产生基于声频或视频的报警信息，这需要根据实际情况事先在指定区域内安装一定数量的报警单元。

本申请主要利用RetinaNet的思想，对预处理增强后的图像，在特征提取中使用深度残差网络ResNetS0来完成对图像特征的初步提取，融合MobileNet网络对ResNetS0进行加速和压缩；随后使用特征金字塔网络(FPN)完成对图像特征的精细化提取；最后进入子网络对目标进行分类和定位。该算法保证了目标的准确检测，也节省了训练时间。

本申请通过将摄像头监控拍摄的视频流实时的输入到搭建好的投喂检测练模型中进行实时的监控检测，在图像处理方面每张视频帧图片的处理速度在0.1s左右，实用性强、检测准确、漏检概率低。当检测到有投喂行为时，云端服务器端将检测结果下发给管理员，以便于管理员及时制止投喂行为。

如图5所示，其中一实施例中，还提供了一种基于深度学习图像处理的投喂检测系统，包括云端服务器，与所述云端服务器连接的管理员终端、若干个监控设备和若干个报警单元，且每一个所述报警单元邻近一个监控设备安装，所述云端服务器包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下操作：

具体的，在一实施例中，所述云端服务器在获取若干个监控设备的待检测监控视频时，同时获取与待检测监控视频匹配的监控位置信息，并在根据所述待检测监控视频得到实时监控图片时，为每一实时监控图片生成对应的监控位置信息；

具体的，在一实施例中，所述云端服务器在检测到连续M张实时监控图片的检测结果为存在投喂动作时，还包括根据存在投喂动作的实时监控图片对应的监控位置信息，触发邻近该监控位置信息的报警单元，以警示投喂者停止投喂动作。

具体的，在一实施例中，所述云端服务器构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，执行如下操作：

建立CLAHE算法均衡图像，CLAHE算法如下：

h(s)＝βh_w(s)+(1-β)h_b(s)

建立FPN网络对提取的特征进行重组合；

具体的，在一实施例中，所述云端服务器采用评估指标mAP作为收敛条件，当投喂检测模型的评估指标mAP大于阈值K，则达到收敛条件；否则不满足收敛条件。

关于基于深度学习图像处理的投喂检测系统的进一步限定可参见上述关于基于深度学习图像处理的投喂检测方法的限定，在此不再进行赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种基于深度学习图像处理的投喂检测方法，用于实时检测是否出现投喂动作，并在出现投喂动作时向管理员终端发送报警信息，其特征在于，所述基于深度学习图像处理的投喂检测方法，包括以下步骤：

2.如权利要求1所述的基于深度学习图像处理的投喂检测方法，其特征在于，所述基于深度学习图像处理的投喂检测方法还包括：

3.如权利要求1所述的基于深度学习图像处理的投喂检测方法，其特征在于，所述构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，包括：

步骤S2.1、建立CLAHE算法均衡图像，CLAHE算法如下：

h(s)＝βh_w(s)+(1-β)h_b(s)

步骤S2.3、建立FPN网络对提取的特征进行重组合；

4.如权利要求1所述的基于深度学习图像处理的投喂检测方法，其特征在于，所述利用所述测试集验证所述投喂检测模型是否达到收敛条件，若达到收敛条件，则输出投喂检测模型；否则重新进入步骤S1，包括：

5.一种基于深度学习图像处理的投喂检测系统，其特征在于，包括云端服务器，与所述云端服务器连接的管理员终端、若干个监控设备和若干个报警单元，且每一个所述报警单元邻近一个监控设备安装，所述云端服务器包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下操作：

6.如权利要求5所述的基于深度学习图像处理的投喂检测系统，其特征在于，所述云端服务器在获取若干个监控设备的待检测监控视频时，同时获取与待检测监控视频匹配的监控位置信息，并在根据所述待检测监控视频得到实时监控图片时，为每一实时监控图片生成对应的监控位置信息；

7.如权利要求6所述的基于深度学习图像处理的投喂检测系统，其特征在于，所述云端服务器在检测到连续M张实时监控图片的检测结果为存在投喂动作时，还包括根据存在投喂动作的实时监控图片对应的监控位置信息，触发邻近该监控位置信息的报警单元，以警示投喂者停止投喂动作。

8.如权利要求5所述的基于深度学习图像处理的投喂检测系统，其特征在于，所述云端服务器构建融合CLAHE算法和MobileNet神经网络的RetinaNet目标检测网络，执行如下操作：

建立CLAHE算法均衡图像，CLAHE算法如下：

h(s)＝βh_w(s)+(1-β)h_b(s)

建立FPN网络对提取的特征进行重组合；

9.如权利要求5所述的基于深度学习图像处理的投喂检测系统，其特征在于，所述云端服务器采用评估指标mAP作为收敛条件，当投喂检测模型的评估指标mAP大于阈值K，则达到收敛条件；否则不满足收敛条件。