CN115015495B - 一种生长中球形果蔬品质动态近距离微型智能感知器 - Google Patents

Abstract

一种生长中球形果蔬品质动态近距离微型智能感知器，涉及农畜产品无损检测领域，提出一种生长中球形果蔬品质动态近距离微型智能感知器，包括目标识别模块、伸缩控制模块、品质检测模块，目标识别模块包括深度相机和测距传感器，品质检测模块包括触发器，目标识别模块基于图像处理技术确定目标水果的空间位置，指导感知器的路径规划，基于目标识别结果控制伸缩控制模块的伸缩。目标识别模块通过校正算法得到果径实际大小和水果赤道位置相对于相机的实际距离。在品质信息采集模块的圆周均匀设有三个微动触发器，以压力检测判断采集时的贴合密封性。本发明用于水果检测，相较于手动检测，降低了劳动强度，相较于机械臂，减小了体积和开发成本。

Description

一种生长中球形果蔬品质动态近距离微型智能感知器

技术领域

本发明涉及农畜产品无损检测领域，具体是一种生长中球形果蔬品质动态近距离微型智能感知器。

背景技术

水果的生长是一个复杂而又耗时的过程，一般都要经历幼苗期、生长期、开花期、落果期、果实膨大期和果实成熟期。果农需要在不同的生长时期完成果园的除草、浇水施肥、打药剪枝等工作，因此果园的监管水平直接影响了水果产量与水果品质。随着人工成本的增加，果园的机械化生产显得尤为重要，农业智能装备是减少人工、降低成本的重要因素。水果生产的智能管理需要种植的规模化和标准化，规模化的种植，可以提高机器的利用率，标准化的种植，则可以发挥机器的功效。

图像技术或遥感技术从几米至几百米的高度采集地表信息，是目前常见的监测果园方法。然而这种方法存在一定局限性，受天气、光照等环境影响大，且检测距离较远，检测分辨率和精度受限，无法精准检测到水果的品质信息。精准地获取每棵果树的生长信息对于精准管理是十分有必要的，需要一种体积微小，检测精度高的感知器近距离采集特征信息，而目前尚未有此类研究和发明提出。

发明内容

因此，本发明提出了一种生长中球形果蔬品质动态近距离微型智能感知器，目的在于精准地获取每棵果树水果的品质信息。

为达到以上目的，本发明采取的技术方案是：

一种生长中球形果蔬品质动态近距离微型智能感知器，包括目标识别模块、伸缩控制模块和品质信息采集模块；

所述目标识别模块用于识别目标、获得感知器与目标的空间坐标；

所述伸缩控制模块用于调整品质信息采集模块的位置；

所述品质信息采集模块用于检测水果品质；

所述目标识别模块包括深度相机、测距传感器，所述目标识别模块基于深度学习算法远距离识别目标，控制感知器向水果靠近；所述目标识别模块基于校正算法获得感知器与水果的实际距离和水果的实际大小，控制感知器到达检测位置；所述目标识别模块基于所述测距传感器检测所述品质信息采集模块与水果的距离，控制所述伸缩控制模块使得所述品质信息采集模块与水果贴合。

进一步地，所述校正算法包括如下步骤：

S1:将图像中的果径大小校正为实际大小；

S2:计算出水果赤道位置相对于相机的仰角和实际距离；

S3:最后通过坐标平移换算出水果相对于检测模块的空间位置；其中，步骤S1校正公式如下：

R＝l₂A

其中，R为水果实际半径，l₂是相机视野所能观察到的水果截面直径，A为校正系数，A由下式计算：

其中,l₃为水果像高，l₄为水果像的下边缘至水平线的距离，f为水果像距；

其中，步骤S2的计算公式如下：

仰角：

距离：l₆

其中，l₁水果边缘与相机的水平距离。

进一步地，所述品质信息采集模块包括光谱传感器、环形光源、遮光外壳和触发器；

所述环形光源用于主动发射光；

所述光谱传感器用于采集经水果内部漫反射的光谱信息；

所述遮光外壳用于隔离外界环境杂散光；

所述触发器数量至少3个，沿品质信息采集模块圆周均匀分布，用于判断品质信息采集模块与水果贴合密封性。

进一步地，所述触发器包括探针、套筒、弹簧一、底座、感应触点、弹簧二和挡杆；所述探针直径较大一端为中空结构，内部装有所述弹簧一，所述探针开设横向通孔，所述挡杆穿过所述横向通孔，将所述弹簧一挡在所述探针内部，所述探针直径较小一端直径范围为1mm至2mm；底座为中空结构，内部装有弹簧二，底座壁上有两个对称分布的感应触点；所述探针装在所述底座孔内，被所述套筒卡在所述底座内；所述挡杆和所述感应触点由导电材料制成；所述弹簧二的刚度比所述弹簧一的刚度小。

进一步地，所述伸缩控制模块包括前支架、后支架、滑轨、滑块、套筒、推杆、连接座、齿轮、齿条和减速电机，所述减速电机带动所述齿轮，所述齿轮驱动所述齿条，所述齿条固定在所述滑块上，所述滑块一体设置有所述套筒，所述套筒为中空结构，内部活动装入所述推杆和推杆缓冲弹簧，所述推杆一端通过所述连接座连接品质信息采集模块；所述滑块通过设置通孔活动套接于所述滑轨上，所述滑轨两端分别固定于所述前支架和所述后支架。

进一步地，所述滑轨采用碳纤维材料，所述前支架、后支架、滑块、套筒、推杆、连接座采用合成树脂材料。

基于生长中球形果蔬品质动态近距离微型智能感知器的采集数据有效性的判断方法，包括如下步骤：

步骤一：等待检测；

步骤二：判断所述触发器是否触发，若未触发则返回步骤一；

步骤三：判断测得光谱是否在限定区间内，若不在限定区间内则返回步骤一；

步骤四：保存数据；

步骤五：判断是否继续检测，若是则返回步骤一；

步骤六：结束。

基于生长中球形果蔬品质动态近距离微型智能感知器的伸缩控制模块控制方法，包括如下步骤：

步骤一：等待检测；

步骤二：判断是否触发检测距离，若未触发则返回步骤一；

步骤三：PID调整减速电机转速；

步骤四：推杆伸出；

步骤五：判断是否采集到信息，若未采集到信息则返回步骤三；

步骤六：推杆缩回；

步骤七：判断是否继续检测，若是则返回步骤一；

步骤八：结束。

本发明所述的生长中球形果蔬品质动态近距离微型智能感知器，具有以下有益效果：采用触发器检测水果的贴合，保证了采集信息的可靠性；提出一种果实大小和实际检测点的校正算法，能够准确判断出水果的空间位置和检测点；本发明感知器用于水果检测，相较于人工手动检测，降低了劳动强度，可检测较高位置的水果，保证了安全性，相较于机械臂，减小了体积和开发成本。

附图说明

本发明有如下附图：

图1本发明的感知器结构图；

图2本发明感知器的应用场景示意图

图3本发明的校正算法几何原理示意图；

图4本发明的品质信息采集模块结构图；

图5本发明的触发器结构图；

图6本发明的判断采集数据有效性的流程图；

图7本发明的伸缩控制模块控制流程图。

附图标记：

1.触发器，2.遮光外壳，3.海绵，4.连接座，5.推杆，6.机架，71、72：滑块，81、82：套筒，9.后支架，10.齿条，11.减速电机，12.齿轮，13.滑轨，14.前支架，15.深度相机，16.测距传感器，17.光谱传感器，18.环形LED，101.光源探针，102.套筒，103.弹簧一，104.底座，105.感应触点，106.弹簧二，107.挡杆,108.通孔

具体实施方式

以下结合附图1-7对本发明作进一步详细说明。

图2示出了本发明感知器的应用场景示意图，本发明提出了一种生长中球形果蔬品质动态近距离微型智能感知器，所述感知器装设在微型智能无人机上，在近距离贴近树上水果的过程中，以动态悬停的姿态采集水果品质特征信息并检测其内外部品质。所述感知器包括目标识别模块、品质信息采集模块、伸缩控制模块。所述目标识别模块实时寻找并追踪水果位置，在不同距离和角度能自动校正果实大小和实际检测点坐标。所述伸缩控制模块用于控制品质信息采集模块在水平方向的移动，依据识别结果自动伸出和缩回，以较小的体积延长了信息采集距离。提出一种基于触发器和光谱校验结果串联的判断方式，感知品质信息采集模块是否与水果贴合。本发明可用于监测果实的内外部品质、营养缺失与否、成熟度状况等，通过实时监视水果生长中多个品质状态参数，建立水果成长中品质信息动态模型，实现水果生长中的数字化管理、品质检测及物联网控制，达到优质高效生产的目的，同时为无人果园的智能决策提供了重要的大数据信息，提高水果生产的信息收集、智能决策和精准作业能力，有助于推进形成面向大宗农产品生产的信息化智能化整体解决方案。

如图1所示，本发明所述的生长中球形果蔬品质动态近距离微型智能感知器的结构图，包括目标识别模块，伸缩控制模块，品质信息采集模块。目标识别模块包括深度相机和测距传感器；伸缩控制模块包括前支架14、后支架9、滑轨13、滑块71、72、套筒81、82、推杆5、连接座4、齿轮12、齿条10和减速电机11；品质信息采集模块包括柔性海绵3、遮光外壳2、触发器1。其中所述深度相机15、测距传感器16、减速电机11、触发器1以及检测的控制可以使用树莓派等微型处理器控制。

所述目标识别模块包括深度相机15和测距传感器16。其中深度相机15固定在机架上，作为远距离识别手段，测距传感器16安装在遮光外壳2内，作为近距离识别手段。

目标识别模块首先是使用深度学习算法Yolov5在远距离识别目标，得到水果在图像中的坐标信息，然后映射到深度信息当中，得到原始的识别结果X，Y，Z。然后基于Yolov5的检测结果和深度信息综合判断决策，筛选出感知器当前位置下无枝叶遮挡的水果，便于后续检测。然后针对某一个具体的水果开始检测，检测过程中感知器逐渐靠近，相机基线与感知器不在同一水平位置，在靠近过程中需要校正这一具体水果相对于感知器的位置，于是引入了果实大小和检测点的校正算法。需要说明的是，这一过程是由远到近的识别，无人机逐渐飞过去。测距传感器被安置在品质信息采集模块的中心位置处，在采集信息时可以正对水果，其目的在于，在采集信息逐渐贴近的过程中，遮光外壳遮挡或覆盖在了水果表面，从图像上看可能水果目标已经丢失了部分，此时测距传感器就可以通过距离判断水果的实时距离，从而给伸缩控制模块提供距离指引。需要说明的是这一过程是由近到贴近的过程，无人机已悬停，由推杆完成近距离的贴近直至贴上。

其中，校正算法为消除相机基线与水果不在同一水平高度时存在的畸变误差，用以准确判断出水果的空间位置和检测点。首先将图像中初步得到的果径大小校正为实际大小；然后根据仰角计算出实际检测点即赤道位置相对于相机的实际距离，最后通过坐标平移换算出水果相对于检测模块的空间位置。

如图3所示，以X轴方向投影为例，O点为水果圆心，E为深度相机位置，J为检测模块位置，F为相机成像位置。由小孔成像原理知，水果在图像上的投影位置为GI，而GI真实反映的区域为AB长度，受相机视野区域和小孔成像影响，球形水果在相机位置处只能观察到AB的长度，而AB却不能反应真实的圆形水果直径。校正过程如下：

利用深度相机获取到的信息可知水果外边缘的距离AE，BE，检测直径AB，图像中水果的投影长度GI，水果成像的下边缘至水平线的距离FG，以及像距EF，为便于描述，令AE＝BE＝l₁，AB＝l₂，GI＝l₃，FG＝l₄，EF＝f。

其中，实际半径长度为R，校正系数为A。

不同于采摘领域关注的是苹果的外接圆轮廓，本发明的品质信息采集要求将采集模块对准苹果赤道周围。品质检测模块的轴线与相机基线存在夹角时，相机采集的图像中心位置实际为水果的D处，而需要检测的位置则位于水果的赤道位置C处，因此需要进一步地校正检测果心坐标。在ΔOCE中，OC＝R，另OE＝l₅，CE＝l₆；

由此可得，检测点相对于相机的仰角为

距离为l₆。

最终需要计算出检测点与品质检测模块的空间位置关系，可由平移坐标系转换得出：

P′＝P+ΔP (10)

其中，P′为C点相对于品质检测模块的坐标，P为C点相对于深度相机的坐标，ΔP为平移转换矩阵。

本发明使用一种可伸缩传感器的检测方式，感知器可从侧方主动伸出缩回，然后以悬停的姿态对树上生长中的水果进行品质检测，该检测方式将悬停动作和采集动作分离，保证了动态检测过程的稳定性。该检测方式的具体实施是使用伸缩控制模块延长采集距离，依据上述目标识别结果控制伸缩。伸缩控制模块的控制流程如图7所示。

关于伸缩控制，本发明提供了一种可伸缩感知器的检测方式，能够近距离贴近树上水果，以动态悬停的姿态检测其内外部品质。所述伸缩控制模块用于控制品质信息采集模块在水平方向的移动，依据识别结果自动伸出和缩回，延长信息采集距离。

如图1所示，所述伸缩控制模块安装在机架6上，有四个螺纹孔与机架6固定，分别位于前支架14和后支架9的底部。该模块还包括滑轨13、套筒81、82、滑块71、72、推杆5、连接座4、齿轮12、齿条10和减速电机11。

为控制品质检测模块的伸出与收回，所述伸缩控制模块使用了齿轮齿条传动机构，由减速直流电机11提供动力，减速电机的带动齿轮12驱动齿条10运动。

齿条10被固定在滑块71、72上，为满足滑块平稳滑动，滑块71、72上有两个通孔，与滑轨13配合，从而限制了滑块了能够平稳地前后移动。所述滑轨13的两端分别与前支架14和后支架9连接固定。

套筒81、82与滑块71、72相对固定，套筒81、82用来装载推杆5，同时套筒81、82的内部装有弹簧，用来提供轴向缓冲区，一是为了遮光外壳2更好地贴合水果，二是可以采集信息时提供微量的轴向位移。

所述伸缩控制模块在感知器寻找检测目标过程中一直处于缩回状态，执行检测动作时会将推杆伸出，检测动作完成后再次缩回。其中伸出和缩回动作由减速电机的正反转控制。伸缩模块的两种工作模式，材质为碳纤维和树脂，重量不超过50g。

如图4，品质信息采集模块包括光谱传感器17，环形LED光源18，遮光外壳2和触发器1。其中，环形LED光源18用于主动发射光，光经水果内部发生漫反射，漫反射的光强携带了水果的内部信息，光谱传感器17采集漫反射光强，得到光谱信息。遮光外壳2用于隔离外界环境杂散光。该模块由单片机控制，采用IIC通信，当判断贴合紧密时，触发采集。采集的光谱信息带入预测模型，可得到检测结果。然后可将光谱信息和检测结果使用Wi-Fi发送至远程终端或上传至服务器。为感知与校验采集信息的可靠性，提出一种基于触发器和光谱校验串联的感知方式，用以判断获得数据是否有效。首先，在品质信息采集模块的圆周均匀设有三个微动触发器，以压力检测判断采集时的贴合密封性，然后，对数据校验检查采集信息是否有效。

不同于常规的检测模块，本发明在不增加额外体积的情况下，在遮光外壳内增加了触发器，遮光外壳内部三根细探针可以检测贴合，需要说明的是，较细的探针占用很少的内部体积，尽可能地避免了遮光罩内对光线折射反射的光路影响，探针伸出端直径范围1mm至2mm。

如图5所示，触发器包括探针101，套筒102，弹簧一103，底座104，感应触点105，弹簧二106，挡杆107。探针101内部开孔，安装弹簧一103，探针101开通孔108，挡杆107穿过通孔108，弹簧一103被挡杆107卡在探针内部。底座104内部开孔装弹簧二106，底座壁上有两个对称分布的感应触点105，探针101装在底座104孔内，被套筒102卡在底座104内。

所述挡杆107和感应触点105为导电铜片。弹簧二106比弹簧一103软。当受到反向作用力，探针101受到轴向力被挤压，弹簧二106先压缩，挡杆107压在感应触点105上，此时两个感应触点电流导通，判断为检测到位。若继续受到反向作用力，弹簧一103才会被压缩，此时探针101还可以继续轴向移动，移动区间为通孔108长度，该移动区间为探针提供了轴向缓冲区，防止了因为检测过程中的抖动造成触发断开。

触发器1安装在遮光外壳2的壳体上，从壳体底部穿过，并固定在遮光外壳2底部。所述探针101的顶部是一个直径为1毫米的圆柱，探针101位于遮光外壳的内部。使用最少3个触发器的组合可以有效检测球形水果与遮光外壳的贴合程度，当触发器都被触发说明贴合状态良好不存在漏光，若触发器并未全部触发说明贴合不密封，需重新采集光谱信息。

针对动态检测环境，本发明在采集光谱信息后会进行自动判断。本发明所设计的品质检测模块可以有效检测数据的有效性，只有当光谱在限定区间内，且满足3个触发器同时触发的情况下，才会判定为数据有效，保存当前数据，否则会重新采集，判断流程如图6所示。所述光谱区间是一种经验值，可针对具体使用情况设定。需要说明的是，该流程只作为采集最后判断数据有效性的流程，在采集信息的过程中也应该检查数据。如，连续采集多次，统计样本分布情况，剔除异常值然后求平均，也属于感知器动态采集的有效增益。所述剔除异常值是在重复采集多次之后的聚类分析，然后剔除小概率异常值的。

本发明使用微控制器作为实时控制系统，其硬件可以是树莓派也可以是微型主机。微控制器以多线程方式控制不同的任务，以多种通信方式融合了测距传感器、深度相机、触发器、多光谱传感器等设备，同时还兼顾了数据的无线发送与数据上传。其中数据的无线发送意义在于可以和地面站实时交互，不仅能独立工作，也可以受地面站控制，传输实时指令、图像、数据、检测结果等。其中数据上传的意义在于可以实现大数据的获取，结合图像和光谱手段检测内外品质，可有效获取整个园区的生长态势，基于物联网技术实时上传信息，有助于专家系统的决策。

本发明所针对果树的生长中状态，能够精准预测多个生长参数，如生长过程中的果形、果径、硬度、酸度、糖度、水分及淀粉含量等多个指标，依据上述参数可以综合决策指导果园的管理，精准到每棵果树的品质监测、营养监测、成熟度监测、预测最佳采摘期。相较于传统的工作方式，本发明针对具体功能，在不同的生长阶段提取有效的生长数据，能够精确地解决果园监管问题。

所述对果树的监测可以建立动态感知模型，深度挖掘大数据信息，统计果园每天的生长情况和水果营养状况。不仅可以获取当前果园的生长趋势，还能根据过去采集信息和目前信息预测下一步生长趋势，为果园的智能管理预警，为果实的成熟采摘提供预测。

此外本发明所述检测数据由控制器的上传模块上传至云服务器维护，在云服务器上管理海量数据，对产地、品种、树龄等关键信息进行标记，从而实现模型维护。针对某一特定的品种，提取相应的数据进行建模，针对不同年份的模型也可以进行模型更新。在大数据的支持下，本发明所述感知器的模型会根据数据的上传整合更新维护。

说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种生长中球形果蔬品质动态近距离微型智能感知器，其特征在于，包括：

目标识别模块、伸缩控制模块和品质信息采集模块；

所述目标识别模块用于识别目标、获得感知器与目标的空间坐标；

所述伸缩控制模块用于调整品质信息采集模块的位置；

所述品质信息采集模块用于检测水果品质；

所述目标识别模块包括深度相机、测距传感器，所述目标识别模块基于深度学习算法远距离识别目标，控制感知器向水果靠近；所述目标识别模块基于校正算法获得感知器与水果的实际距离和水果的实际大小，控制感知器到达检测位置；所述目标识别模块基于所述测距传感器检测所述品质信息采集模块与水果的距离，控制所述伸缩控制模块使得品质信息采集模块与水果贴合；

所述校正算法包括如下步骤：

S1:将图像中的果径大小校正为实际大小；

S2:计算出水果赤道位置相对于相机的仰角和实际距离；

S3:最后通过坐标平移换算出水果相对于检测模块的空间位置；

其中：

步骤S1校正公式如下：

R＝l₂A

其中，R为水果实际半径，l₂是相机视野所能观察到的水果截面直径，A为校正系数，A由下式计算：

其中,l₃为水果像高，l₄为水果像的下边缘至水平线的距离，f为水果像距；

步骤S2的计算公式如下：

仰角：

水果赤道位置相对于相机的实际距离：l₆

其中，l₁水果边缘与相机的水平距离，l₅水果中心与相机的距离。

2.如权利要求1所述的生长中球形果蔬品质动态近距离微型智能感知器，其特征在于：

所述品质信息采集模块包括光谱传感器、环形光源、遮光外壳和触发器；

所述环形光源用于主动发射光；

所述光谱传感器用于采集经水果内部漫反射的光谱信息；

所述遮光外壳用于隔离外界环境杂散光；

所述触发器数量至少3个，沿品质信息采集模块圆周均匀分布，用于判断品质信息采集模块与水果贴合密封性。

3.如权利要求2所述的生长中球形果蔬品质动态近距离微型智能感知器，其特征在于：所述触发器包括探针、套筒、弹簧一、底座、感应触点、弹簧二和挡杆；所述探针直径较大一端为中空结构，内部装有所述弹簧一，所述探针开设横向通孔，所述挡杆穿过所述横向通孔，将所述弹簧一挡在所述探针内部，所述探针直径较小一端直径范围为1mm至2mm；底座为中空结构，内部装有弹簧二，底座壁上有两个对称分布的感应触点；所述探针装在所述底座孔内，被所述套筒卡在所述底座内；所述挡杆和所述感应触点由导电材料制成；所述弹簧二的刚度比所述弹簧一的刚度小。

4.如权利要求3所述的生长中球形果蔬品质动态近距离微型智能感知器，其特征在于：所述伸缩控制模块包括前支架、后支架、滑轨、滑块、套筒、推杆、连接座、齿轮、齿条和减速电机，所述减速电机带动所述齿轮，所述齿轮驱动所述齿条，所述齿条固定在所述滑块上，所述滑块一体设置有所述套筒，所述套筒为中空结构，内部活动装入所述推杆和推杆缓冲弹簧，所述推杆一端通过所述连接座连接品质信息采集模块；所述滑块通过设置通孔活动套接于所述滑轨上，所述滑轨两端分别固定于所述前支架和所述后支架。

5.如权利要求4所述的生长中球形果蔬品质动态近距离微型智能感知器，其特征在于：所述滑轨采用碳纤维材料，所述前支架、后支架、滑块、套筒、推杆、连接座采用合成树脂材料。

6.基于权利要求3所述的生长中球形果蔬品质动态近距离微型智能感知器，包括采集数据有效性的判断方法，具体步骤如下：

步骤一：等待检测；

步骤二：判断所述触发器是否触发，若未触发则返回步骤一；

步骤三：判断测得光谱是否在限定区间内，若不在限定区间内则返回步骤一；

步骤四：保存数据；

步骤五：判断是否继续检测，若是则返回步骤一；

步骤六：结束。

7.基于权利要求4所述的生长中球形果蔬品质动态近距离微型智能感知器，包括伸缩控制模块控制方法，具体步骤如下：

步骤一：等待检测；

步骤二：判断是否触发检测距离，若未触发则返回步骤一；

步骤三：PID调整减速电机转速；

步骤四：推杆伸出；

步骤五：判断是否采集到信息，若未采集到信息则返回步骤三；

步骤六：推杆缩回；

步骤七：判断是否继续检测，若是则返回步骤一；

步骤八：结束。

Images