CN115250745B - 一种基于视觉技术的全自动水果采摘机器人及采摘方法 - Google Patents

Abstract

本发明公开了一种基于视觉技术的全自动水果采摘机器人及采摘方法，包括移动平台、升降平台、工控机、机械臂、视觉系统、仿生夹爪、收集装置；机械臂、工控机和升降平台安装在移动平台的支撑底板上，收集装置安装在升降平台上；机械臂的末端安装有仿生夹爪和视觉系统。本发明的仿章鱼夹爪设计能够增大夹爪与水果的接触面积，使夹爪更加稳固的抓取目标水果，能实现对不同目标体积的自适应性，增加了通用性。

Description

一种基于视觉技术的全自动水果采摘机器人及采摘方法

技术领域

本发明属于农业机械领域，具体涉及一种基于视觉技术的全自动水果采摘机器人及采摘方法。

背景技术

我国果园种植面积和水果产量常年稳居世界首位，水果采摘是果园种植的重要环节。现有的水果采摘机械，比如专利CN110506501A公开了一种水果自动化采摘机，通过车体上的咬合振动装置固定并摇晃果树来使果实掉落，然后利用接收装置来接收掉落的水果，从而实现水果的收获；但是该装置在采摘和摇晃过程中，目标果实和枝叶会混合掉落下来，增加了后续果叶分离的步骤，并且该装置也会对果树和果实表面造成一定的损伤。专利CN109302885A公开了一种水果采摘机器人，通过机械手对水果进行采摘，并将采摘后的水果放置到收集装置；但是该采摘机器人的机械手不能适应不同尺寸的水果，在实际采摘时会对体积较大的水果造成一定程度的损伤，同时还需要人工操作，不能完全实现全自动化。因此，如何减少水果采摘过程中对水果和果树的损伤，提高采摘效率是本领域迫切需要解决的技术问题。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种基于视觉技术的全自动水果采摘机器人及采摘方法，其仿生夹爪能够自适应水果的大小，对水果和果树的损伤小，而且采摘机器人能够通过视觉来确定采摘的位置和角度，然后自动控制升降平台的高度来扩大采摘范围，提高采摘效率。

本发明的目的通过下述技术方案实现：

一种基于视觉技术的全自动水果采摘机器人，包括移动平台、升降平台2、工控机3、机械臂4、视觉系统5、仿生夹爪6、收集装置；机械臂4、工控机3和升降平台2安装在移动平台的支撑底板8上，收集装置安装在升降平台2上；机械臂4的末端安装有仿生夹爪6和视觉系统5。

所述的移动平台包括移动小车1、支撑底板8和超声波测距传感器9；移动小车1的顶部固定有支撑底板8；移动小车1的前端安装有超声波测距传感器9。

所述视觉系统5包括第一双目相机13、第二双目相机14、相机支架15和惯导模块16，两个双目相机安装在相机支架15上，相机支架15固定安装在机械臂法兰盘17上，惯导模块16固定在相机支架15的后面。第一双目相机13与惯导模块16组成一个视觉slam系统，完成对果园地图的构建工作；第二双目相机14在移动中实时捕获相机当前帧图像，并通过深度学习对当前帧图像中存在的水果进行识别以及定位。

4个仿生夹爪6均匀分布在连接件18上，连接件18固定在机械臂的法兰盘17上，步进电机19的电机主轴与连接件18相套接。所述仿生夹爪6采用仿生章鱼设计，包括外爪25、内爪22和吸盘24；内爪22的前端与外爪25的前端铰链连接，内爪22和外爪25之间固定安装有两个弹簧21；第二连杆27的前端与外爪25的末端相铰接，第二连杆27的凸出部分有弧形槽口，内爪22的末端可以在弧形槽口内滑动；外爪25与第二连杆27的铰接处套有扭簧28，扭簧扭力调节装置26安装在外爪25和第二连杆27的连接处，通过调节其螺母的深度来控制扭簧28长度，从而控制扭簧扭力。

内爪22为弧形结构，内爪的表面设置有一个以上的吸盘24，吸盘24采用柔性材料并安装在球头螺栓上，球头螺栓的另一端固定在内爪22上。

第一连杆20的一端与步进电机19的电机座23相连接，形成一个转动副；第一连杆20的另一端与第二连杆27的凸出部分以活动铰链的方式相连接，第二连杆27的末端与连接件18以活动铰链的方式连接，并且限制外爪的转动角度为0～30°。

仿生夹爪6的工作原理是：(1)仿生夹爪6采用仿生章鱼设计，由于大多数水果的表面都是弧形，因此将内爪22设计成弧形，以拟合水果表面进行采摘工作；在内爪的表面上设计有一排吸盘24，吸盘可以根据受力情况在球头螺栓上自由转动，当抓取水果时，吸盘受力使其表面紧贴水果表面，增加了仿生夹爪和水果的接触面积，一方面保护水果表面不受损伤，另一方面也增加仿生夹爪抓取的稳定性；(2)当内爪22受到压力时，内爪22开始向外爪25转动，弹簧21产生一个反作用力增加内爪22对目标的抓取力；不改变扭簧扭力调节装置，内爪和外爪之间的弹簧压缩到最大时，此刻为仿生夹爪能抓取水果的最大体积，如果要抓取的水果体积超出了这个值，可以通过改变扭簧扭力调节装置上螺母所在的刻度来减小扭簧扭力，使得外爪可以转动一定角度，以此增大夹爪的有效抓取体积。内外爪的双重作用使得本发明不需要通过算法控制就能实现对不同目标体积的自适应性，增强了对不同大小水果采摘的通用性。

一种基于视觉技术的全自动水果采摘方法，是采用上述的全自动水果采摘机器人，包括下述步骤：

(1)前期准备：对两个双目相机进行单、双目相机标定，得到每个相机的内外参矩阵和重投影矩阵；对第二双目相机14进行手眼标定，得到相机坐标系和机械臂基坐标系的旋转平移矩阵，用于将相机坐标系下的点转换为机械臂基坐标系下的点；

(2)构建地图：利用第一双目相机13和惯导模块16组成的视觉slam系统在果园中构建地图，获得整个果园的三维点云地图，包括起始点、终点的位置信息；

(3)视觉检测：加载果园的三维点云地图，移动小车自动沿着地图轨迹行走；第二双目相机14获取并利用YOLOv5网络实时检测每帧图像，当目标水果出现后，移动小车停下，第二双目相机保存当前帧图像，否则继续行走；

(4)自主避障：移动小车在行走时，超声波测距传感器9实时检测障碍物并反馈与障碍物的距离给工控机；当距离小于1m时，移动小车停下，10s内如果这个障碍物消失了，移动小车继续行走；否则移动小车原地左转或右转，绕过障碍物之后继续行走；

(5)自动升降：当移动小车因检测到水果而停下时，先提取出步骤(3)保存图像中每个水果的轮廓，求出所有水果轮廓的质心，得到一个质心中间值，以所述质心中间值的三维空间位置作为机械臂的初始采摘姿态，即将质心中间值的位置信息输送给工控机，工控机控制升降平台高度使得机械臂末端正对质心中间数的位置。

(6)定位目标：对图像中的水果及其果梗的中心点进行计算，判断果实与水平面的倾斜角度，控制机械臂的末端姿态；然后利用SAD匹配算法将双目相机左右图像中的水果质心进行一一匹配，计算出每个水果质心的空间位置，再将水果质心的空间位置转换到机械臂基坐标下；

(7)采摘水果：机械臂依次前往每个水果的质心点；当目标水果完全进入到仿生夹爪后，仿生夹爪开始闭合，内爪上的吸盘通过水果表面的反作用力转动，直到接触到水果的吸盘都紧贴水果表面，同时内爪和外爪之间的弹簧给予作用力，使得吸盘更加牢固的抓住果实；

(8)放置水果：仿生夹爪抓取下果实后，机械臂移动到储存箱的上方，将水果放置入内，直至采摘完当前视野内的水果；储存箱上的红外线传感器会检测箱内的水果是否装满；移动小车会沿着果园的三维点云地图继续进行并采摘，直至完成整个果园采摘。

步骤(2)中，采用第一双目相机和惯导模块构建地图，惯导模块可以实时准确地将运动过程中产生的旋转和位移输送出来，增加了构建地图的精准性。

步骤(3)中，采用事先准备大量的水果样本及其果梗图片，构建水果图像库，再利用YOLOv5深度学习网络对其进行训练，使得YOLOv5深度学习网络能够对图片中的水果及果梗进行识别。

步骤(5)中，提取出保存图像后，对包含水果的检测框进行灰度处理，然后运用OTUS方法对其进行二值化操作，再对图像进行滤波处理等操作消除噪声；最后运用canny算子以及边缘检测算法函数提取轮廓信息，计算出轮廓的质心(x_i,y_i)；重复这个操作直至得到图像中所有水果轮廓的质心，将每个质心的横纵坐标相加得到其和w_i＝x_i+y_i；将其和w_i按照从大到小的顺序排列，取其中间值；当视野内总水果个数(n)为偶数时，质心中间值即为(x_n/2,y_n/2)；当视野内总水果个数为奇数时，质心中间值即为(x_(n+1)/2,y_(n+1)/2)或者是(x_(n-1)/2,y_(n-1)/2)；然后利用三角测量原理计算出质心中间值的实际空间位置，工控机控制升降平台高度使得机械臂末端正对着质心中间值所在的水果；此时机械臂的姿态就被设定为初始姿态，使得所有水果在机械臂视角下都处于一个可采摘的状态。

所述步骤(6)中，利用深度学习识别出水果以及果梗的检测框，得到水果检测框的中心点(Fx,Fy)以及相应果梗检测框的中心点(fx,fy)；求出这两点的斜率k＝(Fy-fy)/(Fx-fx),再利用反三角函数arctanα＝k求出α，即水果相对于水平面的倾斜角度；如果α>15°，则使仿生夹爪旋转相应的角度；如果α<＝15°，仿生夹爪保持初始姿态不变。

本发明的工作原理是：通过视觉slam系统对果园进行地图构建，移动小车读取地图并沿着该地图行走；当小车行走时，其搭载的超声波测距传感器能够反馈行走方向上与障碍物的距离，从而驱使小车绕过障碍物实现自主避障；同时在行走过程中，另一双目相机在进行实时检测的工作。机械臂的工作空间相对比较小，对于机械臂初始位姿来说，会存在许多水果距离较远而导致采摘失败的现象，所以本发明在检测到目标水果后，工控机发送信号使得小车停止移动，并控制升降平台高度，使得所有水果在机械臂视角下处于一个可采摘的状态，以提升采净率；采摘前，通过判断水果与水平面的倾斜角度来改变末端姿态；采摘时，水果的反作用力让安装在球头螺栓上的吸盘转动，使吸盘紧贴水果表面，增加了夹爪与水果的接触面积，内外爪的双重作用使仿生夹爪能够自适应的抓取水果。采摘后，将水果放入储存箱，通过红外线传感器判断储存箱是否已经装满了水果。

本发明与现有技术相比有如下优点和效果：

(1)本发明采用双目相机与惯导模块相结合的模式来构建果园地图，能够在移动小车剧烈移动时也提供一个精确的位姿，不会出现丢失特征点的情况，使得获取的地图点云准确性大大提高。

(2)本发明通过算法确定了每次采摘时升降平台的高度以及机械臂的初始位姿，能够增加采摘成功率和采摘范围，避免出现超出机械臂工作范围而导致采摘失败的情况。

(3)本发明采用了超声波测距传感器，可以实现移动小车在行走时的自主避障功能。

(4)本发明具有很好的仿生效果，在采摘过程中，仿章鱼夹爪设计能够增大夹爪与水果的接触面积，使夹爪更加稳固的抓取目标水果。对于体积适中的水果，内外爪之间的弹簧能够增大末端的抓取力，并且不会损伤水果表面；对于体积比较大的水果，如果内外爪间的弹簧已经压缩到最大值了，此时外爪会在水果的作用下继续往外转动来增加夹爪的有效容量，内外爪的双重作用使得末端不需要通过算法就能实现对不同目标体积的自适应性，增加了通用性。

(5)本发明通过算法计算出了水果的倾斜程度，然后控制夹爪的旋转角度。当面对生长姿态相对比较倾斜的水果时，夹爪能很好的将水果抓取下来，不会出现夹爪零件将水果推开的情况。

(6)本发明中仿生章鱼夹爪的内爪以及安装在内爪上的吸盘采用软性硅胶材料，一方面能够减轻末端重量，另一方面也能保护水果表面不对其造成损伤。

(7)本发明可以适用于多种水果的全自动采摘，具有很强的通用性。

附图说明

图1为全自动水果采摘机器人的整体结构示意图。

图2为仿生夹爪与视觉系统的结构示意图。

图3为仿生夹爪的结构示意图。

图4为全自动水果采摘机器人的采摘工作流程图。

其中：1、移动小车；2、升降平台；3、工控机；4、机械臂；5、视觉系统；6、仿生夹爪；7、储存箱；8、支撑底板；9、超声波测距传感器；10、动力装置；11机械臂的控制柜以及电源柜；12、红外线传感器；13、第一双目相机；14、第二双目相机；15、相机支架；16、惯导模块；17机械臂法兰盘；18、连接件；19、步进电机；20、第一连杆；21、弹簧；22、内爪；23、电机座；24、吸盘；25、外爪；26、扭簧扭力调节部件；27、第二连杆2；28、扭簧。

具体实施方式

为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

一种基于视觉技术的全自动水果采摘机器人，如图1所示，包括移动平台、升降平台2、工控机3、机械臂4、视觉系统5、仿生夹爪6、收集装置；机械臂4、工控机3和升降平台2安装在移动平台的支撑底板8上，收集装置安装在升降平台2上；机械臂4的末端安装有仿生夹爪6和视觉系统5。所述的移动平台包括移动小车1、支撑底板8和超声波测距传感器9；移动小车1的顶部固定有支撑底板8；移动小车1的前端安装有超声波测距传感器9。移动小车1可选履带式移动小车，可以适应多种地形，也可以驶过一些比较小的障碍物，同时移动小车1也为其它部件提供220V电源。升降平台2为液压升降平台，液压升降平台及其动力装置10固定安装在支撑底板8上，通过液压油的压力传动来实现升降的功能。所述工控机3是对整个系统进行算法处理的设备，由它来实现整体的通讯，工控机固定在支撑底板8上。所述的机械臂4为具有六自由度的机械臂，每个机械臂都有专门的电机来驱动，在实际应用中有着很大的灵活性，使其能够在水果不同的生长姿态下完成采摘动作。其控制柜和电源柜11固定在支撑底板8上。

如图2所示，所述视觉系统5包括第一双目相机13、第二双目相机14、相机支架15和惯导模块16，两个双目相机安装在相机支架15上，相机支撑架15固定安装在机械臂法兰盘17上，惯导模块16固定在相机支架15的后面。第一双目相机13与惯导模块16组成一个视觉slam系统，完成对果园地图的构建工作；第二双目相机14在移动中实时捕获相机当前帧图像，并通过深度学习对当前帧图像中存在的水果进行识别以及定位。

如图2所示，4个仿生夹爪6均匀分布在连接件18上，连接件18固定在机械臂的法兰盘17上，步进电机19的电机主轴与连接件18相套接。如图3所示，所述仿生夹爪6采用仿生章鱼设计，包括外爪25、内爪22和吸盘24；内爪22的前端与外爪25的前端铰链连接，内爪22和外爪25之间固定安装有两个弹簧21；第二连杆27的前端与外爪25的末端相铰接，第二连杆27的凸出部分有弧形槽口，内爪22的末端可以在弧形槽口内滑动；外爪25与第二连杆27的铰接处套有扭簧28，扭簧扭力调节装置26安装在外爪25和第二连杆27的连接处，通过调节其螺母的深度来控制扭簧28长度，从而控制扭簧扭力。内爪22为弧形结构，内爪的表面设置有一个以上的吸盘24，吸盘24采用柔性材料并安装在球头螺栓上，球头螺栓的另一端固定在内爪22上。第一连杆20的一端与步进电机19的电机座23相连接，形成一个转动副；第一连杆20的另一端与第二连杆27的凸出部分以活动铰链的方式相连接，第二连杆27的末端与连接件18以活动铰链的方式连接，并且限制外爪的转动角度为0～30°。所述收集装置包括储存箱7和红外线传感器12。储存箱7放置在升降平台2的上面，通过卡槽和升降平台限制储存箱五个方向的自由度，保证运动时的稳定状态。红外线传感器12安装在储存箱的顶部边缘，用于判断储存箱的内部是否已经装满水果。

如图4所示，基于视觉技术的全自动水果采摘方法，包括下述步骤：

(1)构建地图：利用第一双目相机13和惯导模块16组成的视觉slam系统在果园中构建地图，获得整个果园的三维点云地图，包括起始点、终点的位置信息；

(2)视觉检测：加载果园的三维点云地图，移动小车自动沿着地图轨迹行走；第二双目相机14获取并利用YOLOv5网络实时检测每帧图像，当目标水果出现后，移动小车停下，第二双目相机保存当前帧图像，否则继续行走；

(3)自主避障：移动小车在行走时，超声波测距传感器9实时检测障碍物并反馈与障碍物的距离给工控机；当距离小于1m时，移动小车停下，10s内如果这个障碍物消失了，移动小车继续行走；否则移动小车原地左转或右转(如果左边也有障碍物，则向右转向)，绕过障碍物之后继续行走；

(4)自动升降：当移动小车因检测到水果而停下时，先提取出步骤(3)保存图像中每个水果的轮廓，求出所有水果轮廓的质心，得到一个质心中间值，以所述质心中间值的三维空间位置作为机械臂的初始采摘姿态，即将质心中间值的位置信息输送给工控机，工控机控制升降平台高度使得机械臂末端正对质心中间数的位置。

(5)定位目标：对图像中的水果及其果梗的中心点进行计算，判断果实与水平面的倾斜角度，控制机械臂的末端姿态；然后利用SAD匹配算法将双目相机左右图像中的水果质心进行一一匹配，计算出每个水果质心的空间位置，再将水果质心的空间位置转换到机械臂基坐标下；

(6)采摘水果：机械臂依次前往每个水果的质心点；当目标水果完全进入到仿生夹爪后，仿生夹爪开始闭合，内爪上的吸盘通过水果表面的反作用力转动，直到接触到水果的吸盘都紧贴水果表面，同时内爪和外爪之间的弹簧给予作用力，使得吸盘更加牢固的抓住果实；

(8)放置水果：仿生夹爪抓取下果实后，机械臂移动到储存箱的上方，将水果放置入内，直至采摘完当前视野内的水果；储存箱上的红外线传感器会检测箱内的水果是否装满；移动小车会沿着果园的三维点云地图继续进行并采摘，直至完成整个果园采摘。

实施例2

在不改变扭簧扭力调节装置情况下，内外爪间的弹簧压缩到最大时，此时就为仿生夹爪能抓取水果的最大体积。当被抓取目标体积大于这个值，就可以通过改变扭簧扭力调节装置上螺母所在的刻度来减小扭簧扭力，使得夹爪外爪在力的作用下往外转动，就可以增大夹爪的有效抓取体积。内外爪的双重作用使得末端不需要通过算法就能实现对不同目标体积的自适应性，增强了对不同大小水果采摘的通用性。

实施例3

当被抓取水果的生长姿态不是竖直时，也就是说水果与水平面有一定的倾斜角度时，会先通过深度学习预测出水果与其果梗的位置，然后通过水果以及果梗检测框的中心点位置来计算出水果相对于水平面的一个倾斜角度；当这个角度小于15°时，夹爪以初始姿态前去抓取，当角度大于15°时，夹爪会根据计算出来的数值旋转相应的角度，避免夹爪前往采摘点时夹爪推开果梗或者水果从而导致采摘失败。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于视觉技术的全自动水果采摘机器人，其特征在于：包括移动平台、升降平台、工控机、机械臂、视觉系统、仿生夹爪、收集装置；机械臂、工控机和升降平台安装在移动平台的支撑底板上，收集装置安装在升降平台上；机械臂的末端安装有仿生夹爪和视觉系统；

4个仿生夹爪均匀分布在连接件上，连接件固定在机械臂的法兰盘上，步进电机的电机主轴与连接件相套接；所述仿生夹爪采用仿生章鱼设计，包括外爪、内爪和吸盘；内爪的前端与外爪的前端铰链连接，内爪和外爪之间固定安装有两个弹簧；第二连杆的前端与外爪的末端相铰接，第二连杆的凸出部分有弧形槽口，内爪的末端能够在弧形槽口内滑动；外爪与第二连杆的铰接处套有扭簧，扭簧扭力调节装置安装在外爪和第二连杆的连接处，通过调节其螺母的深度来控制扭簧长度，从而控制扭簧扭力；内爪为弧形结构，内爪的表面设置有一个以上的吸盘，吸盘采用柔性材料并安装在球头螺栓上，球头螺栓的另一端固定在内爪上；

第一连杆的一端与步进电机的电机座相连接，形成一个转动副；第一连杆的另一端与第二连杆的凸出部分以活动铰链的方式相连接，第二连杆的末端与连接件以活动铰链的方式连接，并且限制外爪的转动角度为0～30°。

2.根据权利要求1所述的全自动水果采摘机器人，其特征在于：所述的移动平台包括移动小车、支撑底板和超声波测距传感器；移动小车的顶部固定有支撑底板；移动小车的前端安装有超声波测距传感器。

3.根据权利要求2所述的全自动水果采摘机器人，其特征在于：所述视觉系统包括第一双目相机、第二双目相机、相机支架和惯导模块，两个双目相机安装在相机支架上，相机支架固定安装在机械臂法兰盘上，惯导模块固定在相机支架的后面。

4.一种基于视觉技术的全自动水果采摘方法，其特征在于：是采用权利要求3所述的全自动水果采摘机器人，包括下述步骤：

(1)前期准备：对两个双目相机进行单、双目相机标定，得到每个相机的内外参矩阵和重投影矩阵；对第二双目相机进行手眼标定，得到相机坐标系和机械臂基坐标系的旋转平移矩阵，用于将相机坐标系下的点转换为机械臂基坐标系下的点；

(2)构建地图：利用第一双目相机和惯导模块组成的视觉slam系统在果园中构建地图，获得整个果园的三维点云地图，包括起始点、终点的位置信息；

(3)视觉检测：加载果园的三维点云地图，移动小车自动沿着地图轨迹行走；第二双目相机获取并利用YOLOv5网络实时检测每帧图像，当目标水果出现后，移动小车停下，第二双目相机保存当前帧图像，否则继续行走；

(4)自主避障：移动小车在行走时，超声波测距传感器实时检测障碍物并反馈与障碍物的距离给工控机；当距离小于1m时，移动小车停下，10s内如果这个障碍物消失了，移动小车继续行走；否则移动小车原地左转或右转，绕过障碍物之后继续行走；

(5)自动升降：当移动小车因检测到水果而停下时，先提取出步骤(3)保存图像中每个水果的轮廓，求出所有水果轮廓的质心，得到一个质心中间值，以所述质心中间值的三维空间位置作为机械臂的初始采摘姿态，即将质心中间值的位置信息输送给工控机，工控机控制升降平台高度使得机械臂末端正对质心中间数的位置；

(6)定位目标：对图像中的水果及其果梗的中心点进行计算，判断果实与水平面的倾斜角度，控制机械臂的末端姿态；然后利用SAD匹配算法将双目相机左右图像中的水果质心进行一一匹配，计算出每个水果质心的空间位置，再将水果质心的空间位置转换到机械臂基坐标下；

(7)采摘水果：机械臂依次前往每个水果的质心点；当目标水果完全进入到仿生夹爪后，仿生夹爪开始闭合，内爪上的吸盘通过水果表面的反作用力转动，直到接触到水果的吸盘都紧贴水果表面，同时内爪和外爪之间的弹簧给予作用力，使得吸盘更加牢固的抓住果实；

(8)放置水果：仿生夹爪抓取下果实后，机械臂移动到储存箱的上方，将水果放置入内，直至采摘完当前视野内的水果；储存箱上的红外线传感器会检测箱内的水果是否装满；移动小车会沿着果园的三维点云地图继续进行并采摘，直至完成整个果园采摘。

5.根据权利要求4所述的基于视觉技术的全自动水果采摘方法，其特征在于：步骤(5)中，提取出保存图像后，对包含水果的检测框进行灰度处理，然后运用OTUS方法对其进行二值化操作，再对图像进行滤波处理操作消除噪声；最后运用canny算子以及边缘检测算法函数提取轮廓信息，计算出轮廓的质心(x_i,y_i)；重复这个操作直至得到图像中所有水果轮廓的质心，将每个质心的横纵坐标相加得到其和w_i＝x_i+y_i；将其和w_i按照从大到小的顺序排列，取其中间值；当视野内总水果个数(n)为偶数时，质心中间值即为(x_n/2,y_n/2)；当视野内总水果个数为奇数时，质心中间值即为(x_(n+1)/2,y_(n+1)/2)或者是(x_(n-1)/2,y_(n-1)/2)；然后利用三角测量原理计算出质心中间值的实际空间位置，工控机控制升降平台高度使得机械臂末端正对着质心中间值所在的水果。

6.根据权利要求4所述的基于视觉技术的全自动水果采摘方法，其特征在于：所述步骤(6)中，利用深度学习识别出水果以及果梗的检测框，得到水果检测框的中心点(Fx,Fy)以及相应果梗检测框的中心点(fx,fy)；求出这两点的斜率k＝(Fy-fy)/(Fx-fx),再利用反三角函数arctanα＝k求出α，即水果相对于水平面的倾斜角度；如果α>15°，则使仿生夹爪旋转相应的角度；如果α<＝15°，仿生夹爪保持初始姿态不变。