CN113848208B - 一种植物表型平台及其控制系统 - Google Patents
一种植物表型平台及其控制系统 Download PDFInfo
- Publication number
- CN113848208B CN113848208B CN202111169603.0A CN202111169603A CN113848208B CN 113848208 B CN113848208 B CN 113848208B CN 202111169603 A CN202111169603 A CN 202111169603A CN 113848208 B CN113848208 B CN 113848208B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- control
- information
- trolley
- controlling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 claims abstract description 25
- 238000010146 3D printing Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 3
- 238000001816 cooling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000010276 construction Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种植物表型平台及其控制系统。该平台中的移动履带小车的内部设置控制装置;移动履带小车的前部设置激光雷达;移动履带小车上设置机械臂;机械臂上设置RGB相机、多光谱相机和激光扫描仪;控制装置,控制激光雷达采集场景三维点云数据,并根据场景三维点云数据进行路径规划,以控制移动履带小车移动;根据机械臂运动指令,控制机械臂运动;控制RGB相机采集图像信息,控制多光谱相机采集光谱信息,控制激光扫描仪采集三维激光信息;将场景三维点云数据、图像信息、光谱信息和三维激光信息发送出去。本发明的植物表型平台可灵活移动、能采集较为全面的植物信息,实现了在温室或植物工厂中的自动化植物信息采集。
Description
技术领域
本发明涉及植物表型信息采集领域,特别是涉及一种植物表型平台及其控制系统。
背景技术
植物表型组学是智慧农业和现代作物育种的重要内容,高通量植物表型信息采集平台是植物表型信息自动化采集的关键。目前已经有面向不同农业场景的高通量植物表型平台,大致可以分为面向大田、果园等非可控环境的,和面向温室或实验室等可控环境的植物表型信息采集平台,根据植物表型平台的部署灵活程度和机械结构又可以分为设施型植物表型平台和自走型植物表型平台。大田中常见的自走型植物表型平台例如大田无人机低空遥感平台、田间无人车表型平台等,常见的设施型植物表型平台例如大田轨道龙门架式植物表型平台、田间分布式物联网表型采集平台等。室内由于其本身环境是受控的,设施利用率更高,相对大田环境而言也更有利于设施建设,因此主要以设施型植物表型平台为主,例如室内固定式植物表型平台,通常由传送带、采集室两部分组成,植物通过传送带进入采集室进行表型信息采集。如果室内空间较大,也有采用室内的龙门架装载设备进行表型信息采集。这类设施型植物表型平台通常需要提前进行场地建设以及装置搭建,有的传送机构需要提前铺设轨道供机器移动,这将会需要较大的固定成本投入,并且不具有跨温室的可迁移性,也即一个温室中的设施型表型平台由于固定式安装,很难移动到其它的室内环境中使用。国内的温室通常会配置栽培床架以供盆栽作物栽培,但是这些栽培床架的位置设置往往不具有统一的标准,室内空间利用情况并不相同。这也给室内设施型植物表型平台的建设增加了不小的难度,并弱化了上述平台的跨温室迁移性。
植物表型平台上搭载的传感器设备通常由所要获取的信息类型决定,通常分为获取植物三维形态的传感器(激光雷达、深度相机、三维扫描仪等)、获取植物二维纹理特征的RGB相机和获取植物二维空间光谱分布的高(多)光谱相机等。但是常规的表型平台不能完全满足这些传感器的使用要求:三维传感器可能需要多视角采集三维空间信息、RGB相机或者光谱相机需要自定义拍摄位姿、三维信息和光谱信息的融合需要提供精确的空间位姿信息等。这些要求很难在传统的设施型平台上同时被满足。
因此,现有的植物表型平台存在跨温室的可迁移性差且植物信息采集单一的问题。
发明内容
基于此,本发明实施例提供一种可移动且植物信息采集多样化的植物表型平台及其控制系统,以实现在温室或植物工厂中的自动化植物信息采集。
为实现上述目的,本发明提供了如下方案:
一种植物表型平台,包括:移动履带小车、控制装置、机械臂、激光雷达、RGB相机、多光谱相机和激光扫描仪;
所述移动履带小车的内部设置所述控制装置;所述移动履带小车的前部设置所述激光雷达;所述移动履带小车上设置所述机械臂;所述机械臂上设置所述RGB相机、所述多光谱相机和所述激光扫描仪;所述移动履带小车、所述机械臂、所述激光雷达、所述RGB相机、所述多光谱相机和所述激光扫描仪均与所述控制装置电连接;
所述控制装置,用于:
控制所述激光雷达采集场景三维点云数据,并根据所述场景三维点云数据进行路径规划,以控制所述移动履带小车移动;
根据机械臂运动指令,控制所述机械臂运动;
控制所述RGB相机采集图像信息,控制所述多光谱相机采集光谱信息,控制所述激光扫描仪采集三维激光信息;
将所述场景三维点云数据、所述图像信息、所述光谱信息和所述三维激光信息发送出去。
可选的,所述移动履带小车包括箱体、底盘和履带轮;
所述履带轮通过所述底盘与所述箱体连接。
可选的,所述控制装置包括内置工控机、外置工控机和机械臂控制柜;
所述内置工控机设置在所述底盘内部;所述外置工控机和所述机械臂控制柜均设置在所述箱体内部;所述内置工控机和所述机械臂控制柜均与所述外置工控机电连接;
所述内置工控机用于控制所述激光雷达采集所述场景三维点云数据,并根据所述场景三维点云数据进行路径规划,以控制所述移动履带小车移动;
所述机械臂控制柜用于接收所述外置工控机的机械臂运动指令,以控制所述机械臂运动;
所述外置工控机用于获取所述场景三维点云数据,控制所述RGB相机采集所述图像信息,控制所述多光谱相机采集所述光谱信息,控制所述激光扫描仪采集所述三维激光信息,并将所述场景三维点云数据、所述图像信息、所述光谱信息和所述三维激光信息发送出去。
可选的,所述植物表型平台,还包括:支架;所述激光雷达通过所述支架设置在所述移动履带小车的前部。
可选的,所述植物表型平台,还包括:3D打印连接件;所述RGB相机、所述多光谱相机和所述激光扫描仪之间通过所述3D打印连接件连接。
可选的,所述植物表型平台,还包括:散热风扇;
所述散热风扇设置在所述移动履带小车上。
可选的,所述植物表型平台,还包括:收发天线;
所述收发天线设置在所述移动履带小车上且与所述控制装置电连接。
本发明还提供了一种植物表型平台控制系统,所述控制系统用于上述所述的植物表型平台;所述控制系统包括:
小车控制模块,用于:
获取用户输入的小车操控指令,将所述小车操控指令发送至所述植物表型平台的控制装置,以控制移动履带小车按照所述小车操控指令开始移动;
获取所述控制装置发送的场景三维点云数据,根据所述场景三维点云数据构建场景地图并进行路径规划,生成路径规划后的地图;
在所述路径规划后的地图中采用避障算法进行避障,生成无碰撞路径,并将所述无碰撞路径发送至所述控制装置,以控制所述移动履带小车按照所述无碰撞路径移动;
实时显示所述无碰撞路径和小车状态信息;
机械臂控制模块,用于:
获取用户输入的机械臂操控指令,并生成机械臂运动路径,将所述机械臂运动路径发送至所述控制装置,以控制机械臂按照所述机械臂运动路径运动;
实时显示所述机械臂运动路径和机械臂状态信息;
传感器控制模块,用于:
获取用户输入的传感器操控指令,将所述传感器操控指令发送至所述控制装置,以控制RGB相机采集图像信息,控制多光谱相机采集光谱信息,控制激光扫描仪采集三维激光信息;
实时显示所述图像信息、所述光谱信息、所述三维激光信息和传感器状态信息。
可选的,所述植物表型平台控制系统,还包括:
手动控制模块,用于:
手动控制在各工作点位执行所述小车控制模块,手动控制在各工作点位的各个路点执行所述机械臂控制模块和所述传感器控制模块。
可选的,所述植物表型平台控制系统,还包括:
自动控制模块,用于:
按照预先存储的各工作点位的顺序执行所述小车控制模块,按照在每个工作点位预先存储的各个路点的顺序执行所述机械臂控制模块和所述传感器控制模块。
与现有技术相比,本发明的有益效果是:
本发明实施例提出了一种植物表型平台及其控制系统,通过设置移动履带小车(AutomatedGuidedVehicle,AGV),使得植物表型平台可灵活移动;在移动履带小车上设置机械臂,移动履带小车的前部设置激光雷达,机械臂上设置RGB相机、多光谱相机和激光扫描仪,实现了多种传感器的设置,方便传感器在不同的位置、不同的姿态对植物进行采样,能采集到较为全面的植物信息,相较于采集单一植物信息的表型平台而言,该表型平台的传感器集成性更高;控制装置的设置,实现了在温室或植物工厂中的自动化植物信息采集。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的植物表型平台的结构图;
图2为本发明实施例提供的植物表型平台的主视图;
图3为本发明实施例提供的植物表型平台的侧视图;
图4为本发明实施例提供的植物表型平台的俯视图;
图5为本发明实施例提供的移动履带小车的内部结构图;
图6为本发明实施例提供的软件界面示意图;
图7为本发明实施例提供的AGV控制页面示意图;
图8为本发明实施例提供的机械臂控制页面示意图;
图9为本发明实施例提供的传感器控制页面示意图;
图10为本发明实施例提供的自动模式页面示意图;
图11为本发明实施例提供的植物表型平台的工作流程示意图;
图12为本发明实施例提供的大循环中工作点位A、B、C、D的示意图;
图13为本发明实施例提供的中循环中路点a、b、c、d的示意图;
图14为本发明实施例提供的以外置工控机为控制中心的示意图;
图15为本发明实施例提供的以内置工控机为控制中心的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1-图4,本实施例提供的植物表型平台,包括:移动履带小车(AGV)、控制装置、机械臂1、激光雷达2、RGB相机3、多光谱相机4和激光扫描仪5。
所述移动履带小车的内部设置所述控制装置;所述移动履带小车的前部设置所述激光雷达2;所述移动履带小车上设置所述机械臂1;所述机械臂1的工具端末端设置所述RGB相机3、所述多光谱相机4和所述激光扫描仪5;所述移动履带小车、所述机械臂1、所述激光雷达2、所述RGB相机3、所述多光谱相机4和所述激光扫描仪5均与所述控制装置电连接。本实施例采用的所述RGB相机3为RGB-D相机。
所述控制装置,用于:
控制所述激光雷达2采集场景三维点云数据,并根据所述场景三维点云数据进行路径规划,以控制所述移动履带小车移动;
根据机械臂运动指令,控制所述机械臂1运动;
控制所述RGB相机3采集图像信息,控制所述多光谱相机4采集光谱信息,控制所述激光扫描仪5采集三维激光信息;
将所述场景三维点云数据、所述图像信息、所述光谱信息和所述三维激光信息发送出去。
在一个示例中,所述移动履带小车包括箱体6、底盘7和履带轮8;所述履带轮8通过所述底盘7与所述箱体6连接。所述箱体6上开设有箱体侧门9。
所述控制装置包括内置工控机15、外置工控机和机械臂控制柜16。
参见图5,所述内置工控机15设置在所述底盘7内部;所述外置工控机和所述机械臂控制柜16均设置在所述箱体6内部;所述内置工控机15和所述机械臂控制柜16均与所述外置工控机电连接。外置工控机和机械臂控制柜16,由箱内支架固定并放置减震棉。
所述内置工控机15用于控制所述激光雷达2采集所述场景三维点云数据,并根据所述场景三维点云数据进行路径规划,以控制所述移动履带小车移动。
所述机械臂控制柜16用于接收外置工控机的数据和机械臂运动指令,驱动机械臂1移动,并将数据反馈给外置工控机。
外置工控机为全局主控,负责收发平台各部分传感器(激光扫描仪5、RGB相机3、多光谱相机4)和装置(AGV的内置工控机15、机械臂控制柜16)的数据,并提供相应的指令。具体的,所述外置工控机用于获取所述场景三维点云数据,控制所述RGB相机3采集所述图像信息,控制所述多光谱相机4采集所述光谱信息,控制所述激光扫描仪5采集所述三维激光信息,并将所述场景三维点云数据、所述图像信息、所述光谱信息和所述三维激光信息发送出去。所述外置工控机包括第一工控机17和第二工控机18,第一工控机17用于向所述机械臂控制柜16发送机械臂运动指令;第二工控机18用于控制所述多光谱相机4采集所述光谱信息,控制所述激光扫描仪5采集所述三维激光信息;第一工控机17和第二工控机18电连接。
在一个示例中,所述植物表型平台,还包括:支架10;所述激光雷达2通过所述支架10安装在所述箱体6前端靠近车头的位置,采用支架10固定在高点,以提供前区视野的场景三维点云扫描建图传感,将场景三维点云数据传输给AGV的内置工控机15,实现同步定位与建图(SLAM)以及避障。
在一个示例中,所述植物表型平台,还包括:3D打印连接件11;所述RGB相机3、所述多光谱相机4和所述激光扫描仪5之间通过所述3D打印连接件11集成连接。本实施例搭载传感器种类上,主要面向植物的三维形态结构与二维多波段光谱纹理信息的获取,不同型号的传感器只要满足能够获取植物二维和三维信息,在设计合适的连接件进行集成后,都可以装配到平台上进行使用。
在一个示例中,AGV和其它组件的供电由内部锂电池提供,对于需要220V或者380V电压的设备采用逆变器21进行变压供电。其中,所述底盘7内部设置第一蓄电池19,为所述内置工控机15供电;所述箱体6内部设置第二蓄电池20,为所述外置工控机和所述机械臂控制柜16供电;逆变器21设置在箱体6内部。
在一个示例中,所述植物表型平台,还包括:散热风扇12;所述散热风扇12设置在所述移动履带小车上。
在一个示例中,所述植物表型平台,还包括:收发天线13;所述收发天线13设置在所述移动履带小车上且与所述控制装置电连接。
在一个示例中,所述植物表型平台,还包括:系统开关14,与所述控制装置电连接。
本发明还提供了一种植物表型平台控制系统,所述控制系统用于上述实施例中的植物表型平台。
本实施例的控制系统,采用基于Windows10系统的远程桌面对植物表型平台进行控制,控制端主体是AGV小车的箱体中的外置工控机,编写上位机图形界面,利用各个系统组件的软件开发工具包(SDK)实现对植物表型平台中集成所有硬件(AGV、机械臂、传感器)的配置与控制,配置信息与控制策略可修改可保存,还能实现传感器采集的信息及运行状态的获取与保存。具体需要交互的信息有:RGB-D相机的位姿信息、RGB图像、深度图像和内外参;激光扫描仪的三维点云和位姿信息;多光谱相机的位姿信息、内外参和多光谱图像;机械臂的位姿信息和运行状态信息;AGV的位姿信息和运行状态信息等。
所述控制系统包括:小车控制模块、机械臂控制模块、传感器控制模块、手动控制模块和自动控制模块。
小车控制模块,用于:
获取用户输入的小车操控指令(前进、后退、顺逆时针转向、速度调节等基本操控的操作指令),将所述小车操控指令发送至所述植物表型平台的控制装置,以控制移动履带小车按照所述小车操控指令开始移动;
获取所述控制装置发送的场景三维点云数据,根据所述场景三维点云数据构建场景地图并进行路径规划,生成路径规划后的地图;
在所述路径规划后的地图中采用避障算法(例如,快速扩展随机树(RRT)算法)进行避障,生成无碰撞路径,并将所述无碰撞路径发送至所述控制装置,以控制所述移动履带小车按照所述无碰撞路径移动;
实时显示所述无碰撞路径和小车状态信息(激光雷达、里程计、GPS等版本信息、导航状态信息以及系统状态信息)。
机械臂控制模块,用于:
获取用户输入的机械臂操控指令,并生成机械臂运动路径,将所述机械臂运动路径发送至所述控制装置,以控制机械臂按照所述机械臂运动路径运动;
实时显示所述机械臂运动路径和机械臂状态信息。
传感器控制模块,用于:
获取用户输入的传感器操控指令,将所述传感器操控指令发送至所述控制装置,以控制RGB相机采集图像信息,控制多光谱相机采集光谱信息,控制激光扫描仪采集三维激光信息;
实时显示所述图像信息、所述光谱信息、所述三维激光信息和传感器状态信息。
手动控制模块,用于:
手动控制在各工作点位执行所述小车控制模块,手动控制在各工作点位的各个路点执行所述机械臂控制模块和所述传感器控制模块。
自动控制模块,用于:
按照预先存储的各工作点位的顺序执行所述小车控制模块,按照在每个工作点位预先存储的各个路点的顺序执行所述机械臂控制模块和所述传感器控制模块。
所述控制系统(上位机)中的各个模块形成相应的软件界面,软件界面中有6个标签页,分别为AGV控制页面、机械臂控制页面、RGB-D相机控制页面、激光扫描仪控制页面、多光谱相机控制页面和自动模式页面,前5个页面分别用于手动控制植物表型平台系统的各个部分装置,最后的自动模式页面用于自动化预设的采集流程,每个界面中有控制对应装置的功能模块供使用者调用,如图6所示。
AGV控制界面提供手动方位控制按键用于控制AGV履带车的前进、后退、顺逆时针转向、速度调节等基本操控,此外提供手动构建地图功能以及路径规划(建图开始/结束、地图编辑、地图读取/保存、选取/标记点位、路径导航、地图可视化、状态信息可视化等)。地图构建方法采用手动控制AGV在场景中移动,激光雷达实时采集场景三维点云数据并可视化显示,控制AGV直至地图信息采集完全。用户可以对已有地图进行修改编辑,例如增加或减少障碍。在地图上选择路径点可以规划AGV无碰撞路径,所采用的算法为快速扩展随机树(RRT)算法。窗口实时显示无碰撞路径以及小车状态信息并可被导出,如图7所示。
机械臂控制页面提供手动控制六个具有独立自由度的关节在关节空间中移动控制按键、机械臂工具端(TCP)在三维空间坐标中的移动控制、运行速度等参数设置(可加载已保存的配置),此外可以选取/标记点位、路径生成与循迹、机械臂状态获取可视化显示与导出(机械臂位姿参数、运行状态等),如图8所示。
传感器控制页面(RGB-D相机控制页面、激光扫描仪控制页面、多光谱相机控制页面相似),设计了参数配置功能、手动点击执行数据采集功能、保存传感器状态数据图像功能,并且能够将采集到的数据或图像以及工作状态信息可视化显示,如图9所示。
自动模式页面提供按照工作流程自动完成全温室的信息采集工作功能。使用者在完成前述页面的配置后,即可启动自动模式,如图10所示。
下面对本实施例提供的植物表型平台的工作流程进行描述。
植物表型平台工作模式有两种,一种是手动模式,手动模式下,平台由使用者利用上位机软件中的各组分的控制页面,手动控制AGV移动、机械臂驱动和传感器采集数据。另一种是自动执行模式,自动模式下,完成前置设置后,平台可以自动到达温室中业已设定好的点位,机械臂沿着业已规划好的路径到达一系列路点位姿,传感器依次采集数据。自动执行前置工作为预设工作循环中各个传感器的工作模式和参数配置。在温室或植物工厂等室内环境中,需要完成三个嵌套循环的前置设置。如图11所示,具体为:
(1)大循环
①AGV手动建图或导入地图(涉及到的功能:点击上位机中的方向控制键(或手机控制)手动驱动、地图构建/导入/保存、地图可视化、地图编辑等)。
②预设AGV在温室内的工作点位A、B、C、D等(涉及到的功能:地图上点击选取点、标记当前AGV所在点位和姿态、点位排序、点位的导入/保存/可视化)。
③AGV根据选择的工作点位及顺序规划路径(涉及到的功能:无碰撞路径规划、路径规划参数设置(循环次数、速度等))。
④AGV依次通过工作点位A、B、C、D等(涉及到的功能:行驶过程中手动启动/暂停/重新执行/中止、到达工作点位的自动暂停、AGV位置在地图中的可视化、AGV运行状态信息、位姿信息获取/显示/保存)。
⑤AGV到达终点,完成前置工作中的大循环。如图12所示。
(2)中循环
中循环嵌套在大循环中的④中,在每个工作点位A/B/C/D等都嵌套一个中循环,如下:
①机械臂手动设置路点a、b、c、d、e等(涉及到的功能:点击上位机中的各个关节旋转控制(关节空间)、点击上位机中的前后左右上下控制工具端(三维空间)、手动牵引机械臂移动、路点排序/保存/导入/显示全部位姿信息)。
②机械臂路径规划(涉及到的功能:无碰撞路径规划(避免自碰撞和环境碰撞)、路径规划参数设置(循环次数、速度等))。
③机械臂依次通过路点a、b、c、d、e等(涉及到的功能:机械臂运行过程中的手动启动/暂停/重新执行/中止、到达各个路点的自动暂停、机械臂运行状态信息、位姿信息获取/显示/保存、急停提示)。
④机械臂到达终点,完成大循环中的一次中循环。机械臂采样路点的初始位姿、a、b、c、d、e各路点的状态如图13所示。
(3)小循环
小循环嵌套在中循环中的③中,在每个路点a/b/c/d等都嵌套一个小循环,如下:
①传感器参数设置(涉及到的功能:可手动设置/导入配置/保存配置、可应用于全部采集过程/部分采集、效果实时可视化)。
②传感器预采集(涉及到的功能:手动点击获取信息和数据、数据的保存和显示、缓存数据清除)。
传感器设置完成。
此外,本实施例采用的是外置工控机为控制中心,对平台中的其它部分进行控制和信息交互,如图14所示,其可以被替换成AGV的内置工控机为中心,分别控制机械臂控制柜和外置工控机并实现信息交互,如图15所示。上述两种控制架构适用于不同的调度系统的配置,多台工控机的使用可以实现跨操作系统进行控制(LinuxROS、Windows),以AGV内置工控机为中心的控制架构是单中心架构,信息收发交互基于AGV自带的系统,而非外置工控机中的上位机系统;以外置工控机为中心的控制架构是多中心架构,不同的工控机可以采用不同的操作系统,从而得以更方便地调度利用Linux或Windows中的不同种类的资源。
本发明具有如下优点:
1、相对于现有的应用于室内的采集植物表型信息的设施型平台而言,本发明所设计的基于履带式底盘AGV和机械臂的移动站式的植物表型平台具有感知未知的温室或者植物工厂等室内种植栽培环境的能力,可以在未知场景中建立地图并实现同步定位与建图(SLAM)与避障,大大提高了植物表型信息采集平台在不同室内环境的通用性。该优点源自植物表型平台所装配的激光雷达和数据处理系统,可以感知场景中的三维信息并实时处理点云数据,利用RRT算法进行路径规划,方便该平台在室内种植栽培环境中的自动化采样。
2、履带式设计的AGV底盘相比较于轮式移动平台具有更好的障碍通过性,并且可以以自身形心为旋转中心进行转向,具有最小的转弯半径,可以在空间狭小的室内实现转向。
3、平台集成了包括激光扫描仪、RGB-D相机和多光谱相机在内的传感器,可以采集植物三维形态学信息、RGB纹理信息以及光谱空间反射信息等较为全面的植物光学成像信息,相较于采集单一植物信息的表型平台而言,本发明所提出的表型平台的传感器集成性更高。
4、将传感器集成到机械臂工具端末端,使得传感器能够结合机械臂路径规划进行多视角信息采集,这对于非结构化的植物三维形态信息采集和二维纹理信息采集而言十分重要。传统的设施型植物表型平台由于固定了路径和安装姿态,只能够从单一位置以及姿态采集植物的各种信息,弱化了信息和数据的多样性。机械臂能够提供精确的位姿信息,方便传感器在不同的位置、不同的姿态对植物进行采样。室内植物种植环境并非一成不变,灵活的姿态变化也提高了跨场景的通用性。
5、机械臂提供的精确位姿信息还有助于实现平台所搭载的传感器采集的多源数据融合。基于激光扫描仪或RGB-D相机提供的三维点云在提供空间位姿信息时可以实现和光谱数据的融合,从而为植物生理生化指标提供更加准确鲁棒的预测结果。
6、结合AGV、GPS与陀螺仪提供的室内全局位姿信息和机械臂提供的局部信息位姿信息,可以构建精确的室内植物数字地图,为室内农业信息系统提供了管理上的便利。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种植物表型平台,其特征在于,包括:移动履带小车、控制装置、机械臂、激光雷达、RGB相机、多光谱相机和激光扫描仪;
所述移动履带小车的内部设置所述控制装置;所述移动履带小车的前部设置所述激光雷达;所述移动履带小车上设置所述机械臂;所述机械臂上设置所述RGB相机、所述多光谱相机和所述激光扫描仪;所述移动履带小车、所述机械臂、所述激光雷达、所述RGB相机、所述多光谱相机和所述激光扫描仪均与所述控制装置电连接;
所述控制装置,用于:
控制所述激光雷达采集室内场景三维点云数据,并根据所述室内场景三维点云数据进行路径规划,以控制所述移动履带小车按照无碰撞路径移动;所述无碰撞路径是在根据所述室内场景三维点云数据构建场景地图并进行路径规划后,在生成的路径规划后地图中采用避障算法生成的;
根据机械臂运动指令,控制所述机械臂运动;
控制所述RGB相机采集图像信息,控制所述多光谱相机采集光谱信息,控制所述激光扫描仪采集三维激光信息;
将所述场景三维点云数据、所述图像信息、所述光谱信息和所述三维激光信息发送出去。
2.根据权利要求1所述的一种植物表型平台,其特征在于,所述移动履带小车包括箱体、底盘和履带轮;
所述履带轮通过所述底盘与所述箱体连接。
3.根据权利要求2所述的一种植物表型平台,其特征在于,所述控制装置包括内置工控机、外置工控机和机械臂控制柜;
所述内置工控机设置在所述底盘内部;所述外置工控机和所述机械臂控制柜均设置在所述箱体内部;所述内置工控机和所述机械臂控制柜均与所述外置工控机电连接;
所述内置工控机用于控制所述激光雷达采集所述场景三维点云数据,并根据所述场景三维点云数据进行路径规划,以控制所述移动履带小车移动;
所述机械臂控制柜用于接收所述外置工控机的机械臂运动指令,以控制所述机械臂运动;
所述外置工控机用于获取所述场景三维点云数据,控制所述RGB相机采集所述图像信息,控制所述多光谱相机采集所述光谱信息,控制所述激光扫描仪采集所述三维激光信息,并将所述场景三维点云数据、所述图像信息、所述光谱信息和所述三维激光信息发送出去。
4.根据权利要求1所述的一种植物表型平台,其特征在于,还包括:支架;所述激光雷达通过所述支架设置在所述移动履带小车的前部。
5.根据权利要求1所述的一种植物表型平台,其特征在于,还包括:3D打印连接件;所述RGB相机、所述多光谱相机和所述激光扫描仪之间通过所述3D打印连接件连接。
6.根据权利要求1所述的一种植物表型平台,其特征在于,还包括:散热风扇;
所述散热风扇设置在所述移动履带小车上。
7.根据权利要求1所述的一种植物表型平台,其特征在于,还包括:收发天线;
所述收发天线设置在所述移动履带小车上且与所述控制装置电连接。
8.一种植物表型平台控制系统,其特征在于,所述控制系统用于控制如权利要求1-7中任意一项所述的植物表型平台;所述控制系统包括:
小车控制模块,用于:
获取用户输入的小车操控指令,将所述小车操控指令发送至所述植物表型平台的控制装置,以控制移动履带小车按照所述小车操控指令开始移动;
获取所述控制装置发送的室内场景三维点云数据,根据所述室内场景三维点云数据构建场景地图并进行路径规划,生成路径规划后的地图;
在所述路径规划后的地图中采用避障算法进行避障,生成无碰撞路径,并将所述无碰撞路径发送至所述控制装置,以控制所述移动履带小车按照所述无碰撞路径移动;
实时显示所述无碰撞路径和小车状态信息;
机械臂控制模块,用于:
获取用户输入的机械臂操控指令,并生成机械臂运动路径,将所述机械臂运动路径发送至所述控制装置,以控制机械臂按照所述机械臂运动路径运动;
实时显示所述机械臂运动路径和机械臂状态信息;
传感器控制模块,用于:
获取用户输入的传感器操控指令,将所述传感器操控指令发送至所述控制装置,以控制RGB相机采集图像信息,控制多光谱相机采集光谱信息,控制激光扫描仪采集三维激光信息;
实时显示所述图像信息、所述光谱信息、所述三维激光信息和传感器状态信息。
9.根据权利要求8所述的一种植物表型平台控制系统,其特征在于,还包括:
手动控制模块,用于:
手动控制在各工作点位执行所述小车控制模块,手动控制在各工作点位的各个路点执行所述机械臂控制模块和所述传感器控制模块。
10.根据权利要求8所述的一种植物表型平台控制系统,其特征在于,还包括:
自动控制模块,用于:
按照预先存储的各工作点位的顺序执行所述小车控制模块,按照在每个工作点位预先存储的各个路点的顺序执行所述机械臂控制模块和所述传感器控制模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111169603.0A CN113848208B (zh) | 2021-10-08 | 2021-10-08 | 一种植物表型平台及其控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111169603.0A CN113848208B (zh) | 2021-10-08 | 2021-10-08 | 一种植物表型平台及其控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113848208A CN113848208A (zh) | 2021-12-28 |
CN113848208B true CN113848208B (zh) | 2023-12-19 |
Family
ID=78977747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111169603.0A Active CN113848208B (zh) | 2021-10-08 | 2021-10-08 | 一种植物表型平台及其控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113848208B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL296946B2 (en) * | 2022-09-29 | 2024-09-01 | C Crop Ltd | Phenotype characterization for plants |
CN116147490B (zh) * | 2023-04-17 | 2023-06-30 | 慧诺瑞德(北京)科技有限公司 | 高通量植物表型信息采集测量系统及方法 |
CN116539613B (zh) * | 2023-07-07 | 2023-10-13 | 佳木斯大学 | 一种移动式农业信息化在线检测设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108981569A (zh) * | 2018-07-09 | 2018-12-11 | 南京农业大学 | 一种基于多光谱点云融合的高通量温室植物表型测量系统 |
CN209215940U (zh) * | 2018-11-08 | 2019-08-06 | 西北农林科技大学 | 一种自行走式大田作物表型信息获取装置 |
WO2020230126A1 (en) * | 2019-05-13 | 2020-11-19 | Carmel Haifa University Economic Corporation Ltd. | Systems and methods for phenotyping |
CN212965386U (zh) * | 2020-05-21 | 2021-04-13 | 南京农业大学 | 一种用于作物表型测量的履带式车载升降激光雷达平台 |
CN112702565A (zh) * | 2020-12-03 | 2021-04-23 | 浙江大学 | 一种田间植物表型信息采集系统及方法 |
CN113674402A (zh) * | 2021-08-23 | 2021-11-19 | 浙江大学 | 植物三维高光谱点云模型生成方法、校正方法及其装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10520482B2 (en) * | 2012-06-01 | 2019-12-31 | Agerpoint, Inc. | Systems and methods for monitoring agricultural products |
-
2021
- 2021-10-08 CN CN202111169603.0A patent/CN113848208B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108981569A (zh) * | 2018-07-09 | 2018-12-11 | 南京农业大学 | 一种基于多光谱点云融合的高通量温室植物表型测量系统 |
CN209215940U (zh) * | 2018-11-08 | 2019-08-06 | 西北农林科技大学 | 一种自行走式大田作物表型信息获取装置 |
WO2020230126A1 (en) * | 2019-05-13 | 2020-11-19 | Carmel Haifa University Economic Corporation Ltd. | Systems and methods for phenotyping |
CN212965386U (zh) * | 2020-05-21 | 2021-04-13 | 南京农业大学 | 一种用于作物表型测量的履带式车载升降激光雷达平台 |
CN112702565A (zh) * | 2020-12-03 | 2021-04-23 | 浙江大学 | 一种田间植物表型信息采集系统及方法 |
CN113674402A (zh) * | 2021-08-23 | 2021-11-19 | 浙江大学 | 植物三维高光谱点云模型生成方法、校正方法及其装置 |
Non-Patent Citations (2)
Title |
---|
赵杰等.<基于三维激光雷达的环境建模>.《智能机器人技术:安保、巡逻、处置类警用机器人研究实践》.机械工业出版社,2021,9-28. * |
辛斌.《运动体路径规划算法》.《面向复杂优化问题求解的智能优化方法》.北京理工大学出版社,2017,296-301. * |
Also Published As
Publication number | Publication date |
---|---|
CN113848208A (zh) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113848208B (zh) | 一种植物表型平台及其控制系统 | |
US11044842B2 (en) | Path planning for area coverage | |
US10278333B2 (en) | Pruning robot system | |
EP3686704B1 (en) | Method for generating a representation and system for teaching an autonomous device operating based on such representation | |
Xu et al. | A modular agricultural robotic system (MARS) for precision farming: Concept and implementation | |
CN112673799A (zh) | 自行走割草系统和户外行走设备 | |
CN111348161A (zh) | 一种应用于海洋牧场的资源环境监测系统及其操作方法 | |
Holz et al. | Continuous 3D sensing for navigation and SLAM in cluttered and dynamic environments | |
CN105014675A (zh) | 一种狭窄空间智能移动机器人视觉导航系统及方法 | |
Bechtsis et al. | Scheduling and Control of Unmanned Ground Vehicles for Precision Farming: A Real-time Navigation Tool. | |
Wang et al. | Intelligent robotic lawn mower design | |
CN106873602A (zh) | 一种自主实时定位的移动机器人 | |
Yue et al. | Intelligent control system of agricultural unmanned tractor tillage trajectory | |
CN116540277A (zh) | 一种田间作业机器人导航系统 | |
Barbosa et al. | Vision-based autonomous crop row navigation for wheeled mobile robots using super-twisting sliding mode control | |
CN215707042U (zh) | 一种应用于海洋牧场的资源环境监测系统 | |
Jarvis | An autonomous heavy duty outdoor robotic tracked vehicle | |
Shamshiri et al. | An overview of visual servoing for robotic manipulators in digital agriculture | |
Klaser et al. | Vision-based autonomous navigation with a probabilistic occupancy map on unstructured scenarios | |
Hameed et al. | Task and motion planning for selective weed conrol using a team of autonomous vehicles | |
Zhang et al. | Development of a Human-driven tractor following a Robot System | |
Singh et al. | AI-powered Decision Making in ‘Robotic Solutions’ | |
US20240276920A1 (en) | Agricultural cutting system and cut-point method | |
Patil et al. | AgriDoc: ROS integrated agricultural robot | |
Wang et al. | Real-time visual odometry for autonomous MAV navigation using RGB-D camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |