CN114407051A - 畜禽养殖场巡检方法及畜禽养殖场机器人 - Google Patents
畜禽养殖场巡检方法及畜禽养殖场机器人 Download PDFInfo
- Publication number
- CN114407051A CN114407051A CN202210221117.7A CN202210221117A CN114407051A CN 114407051 A CN114407051 A CN 114407051A CN 202210221117 A CN202210221117 A CN 202210221117A CN 114407051 A CN114407051 A CN 114407051A
- Authority
- CN
- China
- Prior art keywords
- livestock
- inspection
- target
- image
- poultry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 175
- 244000144972 livestock Species 0.000 title claims abstract description 118
- 244000144977 poultry Species 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000001931 thermography Methods 0.000 claims abstract description 25
- 241000271566 Aves Species 0.000 claims description 17
- 241000287828 Gallus gallus Species 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 2
- 230000004083 survival effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 208000031295 Animal disease Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 206010048282 zoonosis Diseases 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K45/00—Other aviculture appliances, e.g. devices for determining whether a bird is about to lay
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Environmental Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Biodiversity & Conservation Biology (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Animal Husbandry (AREA)
- Birds (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Biophysics (AREA)
- Radiation Pyrometers (AREA)
Abstract
本申请提供一种畜禽养殖场巡检方法及畜禽养殖场机器人，包括：通过双光摄像头在当前巡检点位同时采集包含巡检目标的可见光图像和红外热成像图像；将采集到的可见光图像和红外热成像图像进行图像融合，获得当前巡检点位上的融合图像；根据融合图像中的可见光图像信息特征判断当前巡检目标是否为畜禽目标，根据融合图像中的热源信息特征判断当前巡检目标的温度是否低于设定的温度阈值；若当前巡检目标为畜禽目标且其温度低于设定的温度阈值，则将当前巡检目标判定为嫌疑死亡畜禽目标，并记录对应的位置信息。本申请通过图像融合获取热源特征信息与可见光信息的融合图像，通过剔除非禽畜目标、设置温度阈值对畜禽的存活状态进行判定，判定准确率高。
Description
技术领域
本申请涉及巡检机器人领域，特别涉及一种畜禽养殖场巡检方法及畜禽养殖场机器人。
背景技术
近年来，随着畜禽业的快速发展与普及，养殖企业基本实现了畜禽饲养的标准化、规范化及养殖设施的自动化、机械化。随着集约化养殖发展，畜禽养殖密度逐步提高、单栋舍内养殖数目激增。在这种条件下，对动物疾病防控提出了更高的要求，一旦有畜禽出现病死，如果没有及时发现与处理，则直接导致整栋舍内畜禽的死亡、扑杀，这导致了极大的安全隐患与经济损失。因此，对畜禽动物的健康状态进行实时监控十分必要。
目前针对畜禽养殖场内的动物健康的巡检，有人工目视和巡检机器人两种方式。人工目视的人工劳动强度大、人畜共患病风险升高等因素的影响，存在一系列的问题。另一方面，现有的巡检机器人通过拍摄畜禽的高清图像，再将图像经过处理后通过其姿态等方式判断是否死亡，这种识别方式误判率极高，大大降低了准确率。
发明内容
基于此，为解决上述术问题，本申请提供一种畜禽养殖场巡检方法及畜禽养殖场机器人，能够提升畜禽存活状态判定准确率。
本申请实施例的第一方面提供一种畜禽养殖场巡检机器，包括以下步骤：
通过双光摄像头在当前巡检点位同时采集包含巡检目标的可见光图像和红外热成像图像；
将采集到的可见光图像和红外热成像图像进行图像融合，获得当前巡检点位上的融合图像；
根据融合图像中的可见光图像信息特征判断当前巡检目标是否为畜禽目标，根据融合图像中的热源信息特征判断当前巡检目标的温度是否低于设定的温度阈值；
若当前巡检目标为畜禽目标且其温度低于设定的温度阈值，则将当前巡检目标判定为嫌疑死亡畜禽目标，并记录对应的位置信息。
在一个具体的实施例中，所述温度阈值根据正常的畜禽的温度值与死亡的畜禽温度值进行设定。
在一个具体的实施例中，当巡检目标为鸡时，所述温度阈值为32～35℃。
在一个具体的实施例中，所述根据融合图像中的可见光图像信息特征判断当前巡检目标是否为畜禽目标，包括：
对可见光图像进行预处理；抽取图像特征；输入分类器；获得分类结果。
在一个具体的实施例中，所述畜禽养殖场巡检方法还包括：
将嫌疑死亡畜禽目标的相关信息在显示屏上进行显示，或者实时进行语音播报，或通过应用程序推送、短信发送至绑定的工作人员手机。
在一个具体的实施例中，每个巡检点位上设置不同的巡检高度，则所述畜禽养殖场巡检方法还包括：
判断当前巡检点位的各巡检高度是否完成巡检；
若当前巡检点位上还存在有巡检高度未完成巡检，则调整双光摄像头的高度至下一巡检高度后，返回所述通过双光摄像头在当前巡检点位同时采集包含巡检目标的可见光图像和红外热成像图像的步骤；
若当前巡检点位的各巡检高度均完成巡检，则巡检机器人移动至下一巡检点位。
在一个具体的实施例中，还包括以下步骤：
录制畜禽养殖场的地图；
根据畜禽养殖场的地图，规划巡检路径并对巡检路径上的每一巡检点位进行标注定位。
本申请实施例的第二方面提供一种畜禽养殖场巡检机器人，包括机器人本体及双光摄像头，所述机器人本体中设有工控机，所述双光摄像头具有可见光成像模组和红外热成像模组，所述工控机用于控制所述双光摄像头并完成如前文所述的畜禽养殖场巡检方法。
在一个具体的实施例中，所述畜禽养殖场巡检机器人还包括移动底盘及升降器，所述机器人本体安装在所述移动底盘上，所述升降器安装在所述机器人本体上，所述双光摄像头安装在所述升降器上，所述升降器包括固定杆及升降杆，所述升降杆沿升降方向可移动地安装在所述固定杆内，所述固定杆和所述升降杆的两侧对称均安装有所述双光摄像头。
在一个具体的实施例中，所述移动底盘包括安全雷达、导航雷达、驱动轮及电池，所述安全雷达用于检测障碍物或者行人，所述导航雷达用于识别巡检路径、巡检点位的位置信息，所述驱动轮用于执行导航指令，所述电池用于为所述驱动轮、所述升降器及所述双光摄像头供电。
本申请的畜禽养殖场巡检方法及畜禽养殖场机器人至少具有以下有益效果：本申请的畜禽养殖场巡检方法及畜禽养殖场机器人，综合考虑了热成像图像与可见光图像的物理特征，通过图像融合获取能够全面地表征畜禽的热源特征信息与可见光信息的融合图像，通过剔除非禽畜目标、设置温度阈值对畜禽的存活状态进行判定，判定准确率高。
附图说明
图1为本申请一实施例的畜禽养殖场巡检机器人的立体图；
图2为图1中的畜禽养殖场巡检机器人另一角度的立体图；
图3为图1中的畜禽养殖场巡检机器人的升降器升起后的立体图；
图4为本申请一实施例的畜禽养殖场巡检机器人的巡检方法的流程图；
图5为图4中沿既定巡检路径移动对巡检点位进行巡检的具体步骤的流程图；
图6为双光摄像头拍摄的可见光图像；
图7为双光摄像头拍摄的可见光图像与红外热成像图像的融合图像；
图8为图5中判断是否为畜禽目标的具体步骤的流程图；
图9为在图7中的融合图像中发现嫌疑死亡畜禽目标时在显示屏上显示的画面。
图中各元件标号如下：移动底盘10(其中，安全雷达11、导航雷达12、碰撞开关13、驱动轮14)；机器人本体20(其中，外壳21、检修门22、显示屏23)；升降器30(其中，固定杆31、升降杆32)；双光摄像头40。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。当一个元件被认为是“耦合”另一个元件，它可以是直接耦合到另一个元件或者可能同时存在居中元件，本文所谓的“接合”是指两个元件具有动力传输的联接。本文所使用的术语“垂直的”、“水平的”、“左”、“右”、“上方”、“下方”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式，应理解的是，这些与空间相关的术语旨在除了附图中描绘的取向之外还涵盖设备在使用中或在操作中的不同取向，例如，如果设备在附图中被翻转，则描述为在其他元件或特征“下方”或“之下”的元件或特征将被取向为在其他元件或特征“上方”。因此，示例术语“下方”可以包括上方和下方两种取向。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本文所使用的术语“及/或”和“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请结合参阅图1至图3，本申请一实施例的畜禽养殖场巡检机器人包括移动底盘10、机器人本体20、升降器30及双光摄像头30，其中，机器人本体20安装在移动底盘10上，升降器30安装在机器人本体10上，双光摄像头40安装在升降器30上。移动底盘10用于整个移动升降式巡检机器人的驱动、定向、导航；机器人本体20为巡检机器人的核心部件，其中设置有工控机，用作巡检机器人的控制和数据处理中心；升降器30根据指令进行上下移动和调节，从而使安装在升降器30上的双光摄像头40能够对准需要进行巡检的目标进行拍摄。
移动底盘10带动整个巡检机器人移动，包括安全雷达11、导航雷达12、碰撞开关13及驱动轮14。安全雷达11为巡检机器人的导航安全传感器，在自动行走过程中当安全雷达11检测到障碍物或者行人等，将停止巡检机器人移动，以保证行走安全。导航雷达12为巡检机器人的自动导航传感器，用于识别畜禽养殖场巡检路径并规划行走路线、自动识别巡检点位的位置信息(例如编号)以及充电仓位置编号。碰撞开关13用于保证巡检机器人在自动行走过程中的安全性，如出现物体意外侵入，碰撞开关13可保证异物及巡检机器人本身的安全性。驱动轮14为巡检机器人的运行执行部件，执行巡检机器人的工控机中自动导航单元发出的指令，实现巡检路线的前进、倒退、停止、转向等。
移动底盘10中还设置有电池，能够为驱动轮14、工控机、升降器30及双光摄像头40等供电。电池设置在移动底盘10中也可增加巡检机器人的底部配重，防止发生侧倾或侧翻。
机器人本体20中包含整个控制部分的所有电气、电子件，其是整个巡检机器人的控制核心。机器人本体20具有外壳21、检修门22及显示屏23，外壳21与检修门22形成容置空间，其内部用于放置工控机、稳压输出模块、Hub等。检修门22可相对外壳21开启或关闭，以方便对内部进行检修和维护。显示屏23设置在外壳21的上端并与内部的工控机信号连接，用于将工控机的相关信息、巡检结果(包括经常环境信息、死亡畜禽位置信息)等进行可视化的展示。
升降器30用于调整双光摄像头40的位置高度。以养鸡场为例，养鸡鸡笼的笼层多为3层甚至3层以上，通过升降器30可保证每层的目标都可以被检测到。升降器30包括固定杆31及升降杆32，升降杆32可沿升降方向移动地安装在固定杆31内，如图3中所示。升降杆32可采用直线驱动件进行驱动，例如电动推杆等，当电动推杆时，连接在电动推杆上的升降杆32随着推杆在固定杆31内沿升降方向移动。固定杆31、升降杆32可采用中空的管状结构，升降杆32嵌在固定杆31内，固定杆31对升降杆32具有导向作用且使升降杆32能够承受一定的侧向力，此时即使巡检机器人在急停状态下，也可保护升降器30内部的电动推杆不受侧向力的影响，保证运行的安全性，能够满足在移动式升降式机器人中的各种应用条件。
升降器30的固定杆31和升降杆32上均安装有双光摄像头40，多个双光摄像头40可同时对两侧的不同的巡检目标进行拍摄，提升巡检效率。安装在固定杆31上的双光摄像头40的位置在巡检前可在上下方一定范围内进行微调，使其更好地与巡检目标高度相匹配；安装在升降杆32上的双光摄像头40可在巡检过程中随着在工控机的控制下随着升降杆32进行升降，可实现对不同高度的巡检目标进行拍摄。
在图示实施例中，升降器30的两侧对称设有6个双光摄像头40，其中4个双光摄像头40安装在固定杆31的两侧，另2个双光摄像头40安装在升降杆32的两侧。图示实施例中，双光摄像头40按照三层进行分布，可在进行升降调节后一次性对应两侧的在不同巡检高度上的三层畜禽笼。以巡检目标为鸡、巡检点位设置三鸡笼为例，安装在固定杆31上第一层和第二层双光摄像头40对应拍摄下面巡检点位的较低的巡检高度的下两层鸡笼；第三层双光摄像头40安装在升降杆32的顶部，可在调整高度后对应拍摄较高巡检高度的第三层鸡笼。
若单一巡检点位上所需要进行巡检的不同巡检高度的数量大于单侧双光摄像头40的数量，则可再次通过升降杆32调整最上层的双光摄像头40的高度至下一巡检高度，直至单一巡检点位上的所有巡检高度均完成巡检。
双光摄像头40具有可见光成像模组和红外热成像模组，在进行巡检时，可见光成像模组、红外热成像模组同时对被巡检目标进行拍摄，可见光成像模组拍摄巡检目标的高清实景图片，红外热成像模组自动识别巡检目标的红外热成像图，可识别被巡检目标的温度。
升降器30的固定杆31和升降杆32上均安装有双光摄像头40，多个双光摄像头40可同时对两侧的不同的巡检目标进行拍摄，提升巡检效率。安装在固定杆31上的双光摄像头40的位置在巡检前可在上下方一定范围内进行微调，使其更好地与巡检目标高度相匹配；安装在升降杆32上的双光摄像头40可在巡检过程中随着在工控机的控制下随着升降杆32进行升降，可实现对不同高度的巡检目标进行拍摄。在图示实施例中，升降器30的两侧对称设有6个双光摄像头40，其中4个双光摄像头40安装在固定杆31的两侧，另2个双光摄像头40安装在升降杆32的两侧。
畜禽养殖场巡检机器人启动后按照设定的巡检路径进行巡检，移动底盘10带着巡检机器人移动至巡检点位，在移动过程中如安全雷达11检测到障碍物或者行人等，将在工控机的控制下自动停止移动以保证行走安全。待移动至检测点位，升降器30可在工控机的控制下升起安装在升降杆32上的双光摄像头40至预设高度后，此时，不同位置、不同高度的双光摄像头40分别对两侧不同高度的巡检目标进行拍摄检测。拍摄检测数据或处理后的巡检结果可在显示屏23上进行展示。待当前位置的巡检目标检测完成后，按照巡检路径继续移动至下一巡检点位，重复上述巡检过程，直至完成巡检路径上所有巡检目标。
请参阅图4，本申请一实施例的畜禽养殖场巡检机器人的巡检方法包括以下步骤：
步骤S10，录制畜禽养殖场的地图。
步骤S20，根据畜禽养殖场的地图，规划巡检路径。其中，对巡检路径上的每一巡检点位进行标注定位。
步骤S30，沿既定巡检路径移动对巡检点位进行巡检。
步骤S40，判断巡检路径上的所有巡检点位是否完成巡检。
步骤S50，若已完成所述巡检点位的巡检，则巡检机器人返回充电仓进行充电。
在巡检过程中，对畜禽的是否死亡若仅以可见光图像作为判断依据，存在误判率较高的问题。通过可见光图像判断畜禽是否死亡，一般是通过图像识别出畜禽的轮廓，从而得到畜禽的姿态，以此为依据进行判断。然而，实际畜禽死亡后的姿态复杂多样，因此导致误判率极高，准确率仅为30％左右。
仍以养鸡场为例，对于蛋鸡而言，体温是作为反映蛋鸡健康状态的重要指标。利用可见光图像所包含的丰富的有用信息，同时结合红外热成像和可见光图像相应信息的优势，能够提高数据采集的准确性，并达到对蛋鸡健康状态的准确判断。
在步骤S30中，在每个巡检点位处进行巡检的过程大致如下：
通过双光摄像头在当前巡检点位同时采集包含巡检目标的可见光图像和红外热成像图像；
将采集到的可见光图像和红外热成像图像进行图像融合，获得当前巡检点位上的融合图像；
根据融合图像中的可见光图像信息特征判断当前巡检目标是否为畜禽目标，根据融合图像中的热源信息特征判断当前巡检目标的温度是否低于设定的温度阈值；
若当前巡检目标为畜禽目标且其温度低于设定的温度阈值，则将当前巡检目标判定为嫌疑死亡畜禽目标，并记录对应的位置信息。
其中，判断当前巡检目标是否为畜禽目标，与判断当前巡检目标的温度是否低于设定的温度阈值，这两个判断过程的先后顺序并不唯一限定，在具体实施时，可先进行畜禽目标的判断再进行温度判断，也可先进行温度判断再进行畜禽目标的判断，还可同时进行并综合分析。
请结合参阅图5，步骤S30进一步包括以下步骤：
步骤S301，判断是否到达巡检点位。
步骤S302，在到达巡检点位后，工控机控制驱动轮14停止移动。此时，通过导航雷达12录入当前巡检点位的位置信息，并同时记录时间信息。
步骤S303，通过双光摄像头40采集巡检点位的巡检目标的可见光图像和红外热成像图像。
双光摄像头40的可见光成像模组的拍照与红外热成像模组的测温同时进行，可保证测温目标与图像识别目标一致。
以某一养鸡场为例，双光摄像头40拍摄得到的可见光图像如图6中所示。
步骤S304，将采集到的可见光图像和红外热成像图像进行图像融合，获得当前巡检目标的融合图像。
融合图像中包含有巡检目标的热源信息特征与可见光信息特征，可认为是融合了温度数据的可见光图像。将图6中所示的可见光图像与红外热成像图像融合后得到的融合图像如图7中所示。
步骤S305，根据融合图像中的可见光图像信息特征判断是否为畜禽目标。
利用高清可见光成像模组进行目标识别，可将巡检目标与干扰目标(如喂食装置、设备装置)进行区分，通过人工智能(AI算法)可准确筛选出禽畜目标、剔除非禽畜目标。
禽畜目标的个体识别的过程的图像识别的过程如下：
步骤S3051，图像预处理。图像预处理主要采用去噪、变换及平滑等操作对可见光图像进行处理，基于此使可见光图像的重要特征提高。
步骤S3052，抽取图像特征。识别图像具有种类多样的特征，如采用一定方式分离就要识别图像的特征，获取特征也被称为特征抽取。在以鸡为巡检目标的图像识别的过程中，主要抽取鸡头特征/鸡身体轮廓(曲线与体积)作为特征。
步骤S3053，输入分类器。其中，分类器是根据训练对识别规则进行制定，基于此识别规则能够得到特征的主要种类，进而使图像识别的辨识率不断提高。
步骤S3054，获得分类结果。通过分类器识别特殊特征，最终实现对图像的评价。
这里，通过可见光图像进行识别的目的在于识别出畜禽目标，从而可将非畜禽目标进行剔除。相较于通过可见光图像直接识别出禽畜目标的存活状态而言，只需识别是否为畜禽目标的便利性和准确性大大提高，误判率大大下降。
若可见光图像信息特征判断不是畜禽目标，则进入步骤S308，判定为非畜禽目标并进行剔除。
需要说明的是，由于可见光图像中非畜禽目标(如前文所述的干扰目标)相对较多，先将非畜禽目标剔除可减少无关、干扰的信息含量，减轻工控机的数据处理负荷、提升效率，也为后续的处理步骤奠定了良好的基础。因此，在图5对应的实施例中，识别嫌疑死亡畜禽目标时先根据可见光图像信息特征判断是否为畜禽目标，再进行温度判断，如此可有效提升识别效率。
若可见光图像信息特征判断为畜禽目标，则进入步骤S306，判断融合图像中的热源信息特征是否低于设定的温度阈值。
根据正常的畜禽的温度值与死亡的畜禽温度值进行比对后设定温度阈值T。当热源信息特征提取的当前巡检目标温度Tn低于设定的温度阈值T时，将巡检目标判定为嫌疑死亡畜禽目标。
仍以鸡为例，活鸡温度为40～41.5℃，而死鸡的温度则会逐渐降低，直至与养殖场的环境温度相同。因养鸡场的环境温度常年设置在18～20℃之间，因此将以鸡为巡检目标的温度阈值T设置在32～35℃，若巡检目标的温度低于32～35℃则可判定为嫌疑死亡目标。
步骤S307，将当前的巡检目标判定为嫌疑死亡畜禽目标后，则进入步骤S309，记录嫌疑死亡畜禽目标的位置信息。嫌疑死亡畜禽目标的位置信息包括当前巡检点位的编号、嫌疑死亡畜禽目标所处的层数等。
此时，在步骤S310中，可将嫌疑死亡畜禽目标的相关信息在显示屏23上进行显示，以方便工作人员查看。
如图9中所示，其为图7中的融合图像中发现嫌疑死亡畜禽目标时在显示屏23上显示的画面。
此外，也可在巡检到嫌疑死亡畜禽目标时，实时进行语音播报提醒。或者，若对相关的工作人员进行了手机号码绑定，则还可通过应用程序推送提醒、短信提醒等方式及时通知相关的工作人员。
每个巡检点位上设置不同的巡检高度，因此，需要确认当前巡检点位的所有巡检高度是否完成巡检。
步骤S311，判断当前巡检点位的各巡检高度是否完成巡检。如当前巡检点位的巡检目标的层级数量大于双光摄像头40的层级数量(即双光摄像头40在升降器30单侧的数量)，例如，图1中巡检机器人的升降器30单侧设有3个双光摄像头40，对应3个层级的巡检高度，而当前巡检点位的巡检层数为3层以上，即存在3个以上的巡检高度，则需要在3个双光摄像头40完成对应3层巡检后，通过升降器30的升降杆32将上层的双光摄像头40移动至还未进行巡检的巡检高度。
因此，若当前巡检点位的各巡检高度还未完成巡检，则进入步骤S312，通过升降器调整双光摄像头的高度至下一巡检高度后，返回至步骤S302。
若当前巡检点位的各巡检高度全部均完成巡检，则进入步骤S313，驱动轮14带着巡检机器人移动至下一巡检点位，重复步骤S301至步骤S313。
上述畜禽养殖场巡检机器人的巡检方法采用可见光图像与红外热成像图像进行图像融合，通过剔除非禽畜目标、设置温度阈值，对畜禽的存活状态进行判定，判定准确率高。本申请综合考虑了热成像图像与可见光图像的物理特征，通过图像融合获取能够全面地表征畜禽的热源特征信息与可见光信息的融合图像，并通过温度阈值确保了检测结果的准确性，满足了各种养殖环境下畜禽养殖场的巡检需求。
综上所述，本申请提供的畜禽养殖场巡检方法及畜禽养殖场机器人，综合考虑了热成像图像与可见光图像的物理特征，通过图像融合获取能够全面地表征畜禽的热源特征信息与可见光信息的融合图像，并通过温度阈值确保了检测结果的准确性，满足了各种养殖环境下畜禽养殖场的巡检需求。本申请提供的畜禽养殖场巡检方法及畜禽养殖场机器人，在确保巡检结果准确性的基础上，还通过设置多个双光摄像头及升降器大幅度提升了对畜禽养殖场的巡检效率，节约了养殖成本，提高了养殖的经济效益。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种畜禽养殖场巡检方法，其特征在于包括以下步骤：
通过双光摄像头在当前巡检点位同时采集包含巡检目标的可见光图像和红外热成像图像；
将采集到的可见光图像和红外热成像图像进行图像融合，获得当前巡检点位上的融合图像；
根据融合图像中的可见光图像信息特征判断当前巡检目标是否为畜禽目标，根据融合图像中的热源信息特征判断当前巡检目标的温度是否低于设定的温度阈值；
若当前巡检目标为畜禽目标且其温度低于设定的温度阈值，则将当前巡检目标判定为嫌疑死亡畜禽目标，并记录对应的位置信息。
2.根据权利要求1所述的畜禽养殖场巡检方法，其特征在于：所述温度阈值根据正常的畜禽的温度值与死亡的畜禽温度值进行设定。
3.根据权利要求2所述的畜禽养殖场巡检方法，其特征在于：当巡检目标为鸡时，所述温度阈值为32～35℃。
4.根据权利要求1所述的畜禽养殖场巡检方法，其特征在于，所述根据融合图像中的可见光图像信息特征判断当前巡检目标是否为畜禽目标，包括：
对可见光图像进行预处理；抽取图像特征；输入分类器；获得分类结果。
5.根据权利要求1所述的畜禽养殖场巡检方法，其特征在于，所述畜禽养殖场巡检方法还包括：
将嫌疑死亡畜禽目标的相关信息在显示屏上进行显示，或者实时进行语音播报，或通过应用程序推送、短信发送至绑定的工作人员手机。
6.根据权利要求1至5中任一项所述的畜禽养殖场巡检方法，其特征在于，每个巡检点位上设置不同的巡检高度，则所述畜禽养殖场巡检方法还包括：
判断当前巡检点位的各巡检高度是否完成巡检；
若当前巡检点位上还存在巡检高度未完成巡检，则调整双光摄像头的高度至下一巡检高度后，返回所述通过双光摄像头在当前巡检点位同时采集包含巡检目标的可见光图像和红外热成像图像的步骤；
若当前巡检点位的各巡检高度均完成巡检，则巡检机器人移动至下一巡检点位。
7.根据权利要求1所述的畜禽养殖场巡检方法，其特征在于，还包括以下步骤：
录制畜禽养殖场的地图；
根据畜禽养殖场的地图，规划巡检路径并对巡检路径上的每一巡检点位进行标注定位。
8.一种畜禽养殖场巡检机器人，其特征在于：包括机器人本体及双光摄像头，所述机器人本体中设有工控机，所述双光摄像头具有可见光成像模组和红外热成像模组，所述工控机用于控制所述双光摄像头并完成如权利要求1所述的畜禽养殖场巡检方法。
9.根据权利要求8所述的畜禽养殖场巡检机器人，其特征在于：所述畜禽养殖场巡检机器人还包括移动底盘及升降器，所述机器人本体安装在所述移动底盘上，所述升降器安装在所述机器人本体上，所述双光摄像头安装在所述升降器上，所述升降器包括固定杆及升降杆，所述升降杆沿升降方向可移动地安装在所述固定杆内，所述固定杆和所述升降杆的两侧对称均安装有所述双光摄像头。
10.根据权利要求8所述的畜禽养殖场巡检机器人，其特征在于：所述移动底盘包括安全雷达、导航雷达、驱动轮及电池，所述安全雷达用于检测障碍物或者行人，所述导航雷达用于识别巡检路径、巡检点位的位置信息，所述驱动轮用于执行导航指令，所述电池用于为所述驱动轮、所述升降器及所述双光摄像头供电。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210221117.7A CN114407051A (zh) | 2022-03-07 | 2022-03-07 | 畜禽养殖场巡检方法及畜禽养殖场机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210221117.7A CN114407051A (zh) | 2022-03-07 | 2022-03-07 | 畜禽养殖场巡检方法及畜禽养殖场机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114407051A true CN114407051A (zh) | 2022-04-29 |
Family
ID=81263327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210221117.7A Pending CN114407051A (zh) | 2022-03-07 | 2022-03-07 | 畜禽养殖场巡检方法及畜禽养殖场机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114407051A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147782A (zh) * | 2022-08-02 | 2022-10-04 | 广州度凌科技有限公司 | 一种死亡动物识别方法及装置 |
| CN116447457A (zh) * | 2023-04-25 | 2023-07-18 | 广东爱吉尔机器人科技有限公司 | 一种鸡舍巡检机器人 |
| CN116895127A (zh) * | 2023-09-11 | 2023-10-17 | 西安凌志航遥信息科技工程有限公司 | 一种具有人员定位功能的能源生产用安全监测报警系统 |
| WO2023221170A1 (zh) * | 2022-05-17 | 2023-11-23 | 浙江大学 | 一种适用于笼养禽舍的病禽死禽巡检装置及方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109900280A (zh) * | 2019-03-27 | 2019-06-18 | 浙江大学 | 一种基于自主导航的畜禽信息感知机器人与地图构建方法 |
| CN109997730A (zh) * | 2019-04-28 | 2019-07-12 | 山东省农业科学院家禽研究所 | 笼养鸡智能巡检系统及其巡检机器人的巡航控制方法 |
| JP2019205425A (ja) * | 2018-05-24 | 2019-12-05 | 大豊産業株式会社 | 死亡鶏検知システム、鶏生死判定プログラム、および鶏生死判定装置 |
| CN111626985A (zh) * | 2020-04-20 | 2020-09-04 | 北京农业信息技术研究中心 | 基于图像融合的家禽体温检测方法及禽舍巡检系统 |
| CN211746249U (zh) * | 2020-01-02 | 2020-10-27 | 河北农业大学 | 一种笼内鸡只识别装置 |
| CN213518003U (zh) * | 2020-12-30 | 2021-06-22 | 民航成都电子技术有限责任公司 | 用于机场道面的巡检机器人以及巡检系统 |
| CN113091667A (zh) * | 2021-03-30 | 2021-07-09 | 中国工商银行股份有限公司 | 一种巡检机器人及巡检方法 |
| EP3858142A1 (en) * | 2020-01-31 | 2021-08-04 | Farm Robotics and Automation SL | Automated removal of animal carcasses |
| CN113223035A (zh) * | 2021-06-07 | 2021-08-06 | 南京农业大学 | 笼养鸡智能巡检系统 |
| KR20210107470A (ko) * | 2020-02-24 | 2021-09-01 | 라온피플 주식회사 | Ai 기반 축사 환경 조사 방법 및 장치 |
| CN113903097A (zh) * | 2021-09-22 | 2022-01-07 | 中国农业大学 | 叠层笼养畜禽舍巡检装置 |
| CN114043493A (zh) * | 2021-11-10 | 2022-02-15 | 华南农业大学 | 笼养鸡舍巡检机器人及巡检方法 |
-
2022
- 2022-03-07 CN CN202210221117.7A patent/CN114407051A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019205425A (ja) * | 2018-05-24 | 2019-12-05 | 大豊産業株式会社 | 死亡鶏検知システム、鶏生死判定プログラム、および鶏生死判定装置 |
| CN109900280A (zh) * | 2019-03-27 | 2019-06-18 | 浙江大学 | 一种基于自主导航的畜禽信息感知机器人与地图构建方法 |
| CN109997730A (zh) * | 2019-04-28 | 2019-07-12 | 山东省农业科学院家禽研究所 | 笼养鸡智能巡检系统及其巡检机器人的巡航控制方法 |
| CN211746249U (zh) * | 2020-01-02 | 2020-10-27 | 河北农业大学 | 一种笼内鸡只识别装置 |
| EP3858142A1 (en) * | 2020-01-31 | 2021-08-04 | Farm Robotics and Automation SL | Automated removal of animal carcasses |
| KR20210107470A (ko) * | 2020-02-24 | 2021-09-01 | 라온피플 주식회사 | Ai 기반 축사 환경 조사 방법 및 장치 |
| CN111626985A (zh) * | 2020-04-20 | 2020-09-04 | 北京农业信息技术研究中心 | 基于图像融合的家禽体温检测方法及禽舍巡检系统 |
| CN213518003U (zh) * | 2020-12-30 | 2021-06-22 | 民航成都电子技术有限责任公司 | 用于机场道面的巡检机器人以及巡检系统 |
| CN113091667A (zh) * | 2021-03-30 | 2021-07-09 | 中国工商银行股份有限公司 | 一种巡检机器人及巡检方法 |
| CN113223035A (zh) * | 2021-06-07 | 2021-08-06 | 南京农业大学 | 笼养鸡智能巡检系统 |
| CN113903097A (zh) * | 2021-09-22 | 2022-01-07 | 中国农业大学 | 叠层笼养畜禽舍巡检装置 |
| CN114043493A (zh) * | 2021-11-10 | 2022-02-15 | 华南农业大学 | 笼养鸡舍巡检机器人及巡检方法 |
Non-Patent Citations (3)
| Title |
|---|
| 余祖俊等: "《高速铁路综合检测技术》", 30 June 2021, 北京：中国铁道出版社, pages: 371 - 372 * |
| 邓继忠等: "《数字图像处理技术》", 广州：广东科技出版, pages: 10 - 13 * |
| 陈雪松等: "司法行政信息化设计与实践", 31 December 2021, 武汉：华中科技大学出版社, pages: 73 - 74 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023221170A1 (zh) * | 2022-05-17 | 2023-11-23 | 浙江大学 | 一种适用于笼养禽舍的病禽死禽巡检装置及方法 |
| CN115147782A (zh) * | 2022-08-02 | 2022-10-04 | 广州度凌科技有限公司 | 一种死亡动物识别方法及装置 |
| CN116447457A (zh) * | 2023-04-25 | 2023-07-18 | 广东爱吉尔机器人科技有限公司 | 一种鸡舍巡检机器人 |
| CN116447457B (zh) * | 2023-04-25 | 2023-12-26 | 广东爱吉尔机器人科技有限公司 | 一种鸡舍巡检机器人 |
| CN116895127A (zh) * | 2023-09-11 | 2023-10-17 | 西安凌志航遥信息科技工程有限公司 | 一种具有人员定位功能的能源生产用安全监测报警系统 |
| CN116895127B (zh) * | 2023-09-11 | 2023-11-21 | 西安凌志航遥信息科技工程有限公司 | 一种具有人员定位功能的能源生产用安全监测报警系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114407051A (zh) | 畜禽养殖场巡检方法及畜禽养殖场机器人 | |
| CN113223035B (zh) | 笼养鸡智能巡检系统 | |
| JP7382899B2 (ja) | 死亡鶏検知システム | |
| CN114037552B (zh) | 一种肉鸭生理生长信息巡检方法及系统 | |
| CN109591982A (zh) | 一种无人监控水下养殖机器人 | |
| JP6678898B2 (ja) | 死鶏検出方法、及び死鶏検出システム | |
| CN109479746B (zh) | 一种机器人逗宠控制方法及芯片 | |
| CN109784200A (zh) | 基于双目视觉的奶牛行为图像获取与体况智能监测系统 | |
| CN108566538A (zh) | 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法 | |
| CN202010257U (zh) | 基于贝叶斯理论的病房巡视服务机器人系统 | |
| CN114550334A (zh) | 一种桥梁机器人巡检教培系统、方法及存储介质 | |
| CN113762113A (zh) | 一种牲畜分娩行为监控方法及装置 | |
| Mangaonkar et al. | Fruit harvesting robot using computer vision | |
| CN116277073A (zh) | 一种鸡的养殖巡检机器人设备、控制系统及方法 | |
| CN109122533B (zh) | 养殖装置及其控制方法 | |
| CN117029904A (zh) | 一种智能化笼养家禽巡检系统 | |
| CN108132099A (zh) | 一种鱼群监测系统 | |
| CN109463306B (zh) | 移动式智慧物联电动测量车 | |
| CN109699518A (zh) | 一种基于机器视觉的动物集装箱自动巡检系统及方法 | |
| CN111652084B (zh) | 一种异常蛋鸡识别方法及装置 | |
| CN115454138A (zh) | 一种基于无人机图像识别技术的施工违章判定方法和系统 | |
| CN221211696U (zh) | 一种笼养禽舍巡检机器人 | |
| CN115937791B (zh) | 一种适用于多种养殖模式的家禽计数方法及其计数装置 | |
| WO2023037397A1 (ja) | 死亡トリ検出方法 | |
| CN110765930A (zh) | 水产养殖巡检系统、巡检方法和控制器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240130 Address after: 264006 No.11 Guiyang street, Yantai Development Zone, Yantai City, Shandong Province Applicant after: Yantai Airui Photo-Electric Technology Co.,Ltd. Country or region after: China Applicant after: BIG HERDSMAN HUSBANDRY MACHINERY Co.,Ltd. Address before: 264000 No. 11, Guiyang street, Yantai Development Zone, Yantai City, Shandong Province Applicant before: Yantai Airui Photo-Electric Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right |