CN113879751B - 用于移动作业机器的货物盘点方法、装置及货物盘点系统 - Google Patents

Abstract

本发明提供一种用于移动作业机器的货物盘点方法、装置及货物盘点系统，方法包括：确定待盘点货物所在的货物区域；在货物区域包括第一盘点区域时，通过行车机器人获取第一盘点区域对应的视频流；对视频流进行截图处理；根据截图图片确定每个货位对应的货位位置坐标；采用基于卷积神经网络的YOLOv4算法对截图图片进行图片识别；根据货位位置坐标和货物位置坐标对第一盘点区域的货物进行盘点，以生成第一盘点报告，其记载每个货位的货物情况及第一盘点区域的货物总数量。由此，采用YOLOv4算法对图片进行识别得到货物坐标，根据货物坐标和货位坐标对货物进行盘点，提高了识别精度和识别效率，从而在提高了盘点效率的同时，提高了盘点准确度。

Description

用于移动作业机器的货物盘点方法、装置及货物盘点系统

技术领域

本发明涉及自动化货物管理技术领域，具体涉及一种用于移动作业机器的货物盘点方法、一种用于移动作业机器的货物盘点装置和一种货物盘点系统。

背景技术

随着生产和物流规模的扩大，物流中心和生产型自动化库的广泛使用，对库存货物盘点的要求越来越高。

相关技术中，通常通过人工的方式对货物进行盘点，由于货物通常是大批量的，因此人工盘点存在盘点效率低的不足之处。

发明内容

本发明为解决上述技术问题之一，提出了如下技术方案。

本发明第一方面实施例提出了一种用于移动作业机器的货物盘点方法，包括：确定待盘点货物所在的货物区域，其中，所述货物区域包含多个货位；在所述货物区域包括第一盘点区域时，通过行车机器人获取所述第一盘点区域对应的视频流；在所述行车机器人行驶至所述第一盘点区域后，对所述视频流进行截图处理，以得到所述第一盘点区域对应的截图图片；根据所述截图图片确定每个货位对应的货位位置坐标；采用基于卷积神经网络的YOLOv4算法对所述截图图片进行图片识别，以得到每个货位的货物对应的货物位置坐标；根据所述货位位置坐标和所述货物位置坐标对所述第一盘点区域的货物进行盘点，以生成第一盘点报告，所述第一盘点报告中记载每个货位的货物情况及所述第一盘点区域的货物总数量。

另外，根据本发明上述实施例的用于移动作业机器的货物盘点方法还可以具有如下附加的技术特征。

根据本发明的一个实施例，通过行车机器人获取所述第一盘点区域对应的视频流，包括：在所述行车机器人上安装录像设备，并固定所述录像设备的位置；根据预设规则向行车机器人下达行车盘点指令，所述行车盘点指令携带所述第一盘点区域的位置信息；在所述行车机器人响应于所述行车盘点指令行驶至所述第一盘点区域后，从行车机器人获取所述视频流，其中，所述视频流为所述行车机器人行驶过程中所述录像设备进行录像得到的。

根据本发明的一个实施例，所述每个货位对应的区域位置坐标包括：货位左上角坐标(x1,y1)及货位右下角坐标(x2,y2)，其中，每个货位的形状为方形；所述每个货位的货物对应的货物位置坐标包括：货物左上角坐标(x3,y3)及货物右下角坐标为(x4,y4)，其中，每个货物的形状为方形；根据所述区域位置坐标和所述货物位置坐标对所述货物进行盘点，以生成第一盘点报告，包括：根据货位左上角坐标(x1,y1)、货位右下角坐标(x2,y2)、货物左上角坐标(x3,y3)及货物右下角坐标为(x4,y4)，计算每个货位及对应货物间的面积交并比IOU，其中，计算公式为：

判断所述面积交并比IOU是否大于参考阈值，以得到判断结果；如果所述面积交并比IOU大于所述参考阈值，则所述判断结果为货位上存在货物；如果所述面积交并比IOU小于或者等于所述参考阈值，则所述判断结果为货位上不存在货物；根据每个货位的位置及所述判断结果生成第一盘点报告。

根据本发明的一个实施例，在生成第一盘点报告之后，还包括：获取预设盘点报告；将所述第一盘点报告和预设盘点报告进行比对，得到比对结果；根据所述比对结果更新所述预设盘点报告。

根据本发明的一个实施例，用于移动作业机器的货物盘点方法，还包括：在所述待盘点区域包括第二盘点区域时，在叉车上安装称重传感器，其中，所述第二盘点区域与所述第一盘点区域不同；根据预设规则向叉车下达叉车盘点指令，所述叉车盘点指令携带所述第二盘点区域的位置信息、每个货位处的待盘点容器、货物单件重量及待盘点容器的重量；根据所述叉车盘点指令对所述第二盘点区域的货物进行盘点，以生成第二盘点报告，所述第二盘点报告中记载所述第二盘点区域中每个货位的货物数量。

根据本发明的一个实施例，根据所述叉车盘点指令对所述第二盘点区域的货物进行盘点，以生成第二盘点报告，包括：在叉车行驶至第二盘点区域之后，控制所述叉车依次叉起多个所述待盘点容器；从所述称重传感器获取待盘点容器对应的当前重量，其中，在所述叉车叉起所述待盘点容器时，所述称重传感器响应于所述叉车盘点指令采集待盘点容器对应的当前重量；根据待盘点容器的重量、货物单件重量及待盘点容器的重量，确定所述待盘点容器中的货物数量，以得到每个货位处的货物数量；根据所述第二盘点区域中每个货位处的货物数量生成第二盘点报告。

根据本发明的一个实施例，用于移动作业机器的货物盘点方法，还包括：在所述叉车上安装RFID读取设备；通过所述RFID读取设备识别所述第二盘点区域的货物，以确定所述第二盘点区域的每个货位上是否存在货物。

根据本发明的一个实施例，所述第一盘点区域为堆场平置区和/或室外平置区，所述第二盘点区域为室内平置区。

本发明第二方面实施例提出了一种用于移动作业机器的货物盘点装置，包括：第一确定模块，用于确定待盘点货物所在的货物区域，其中，所述货物区域包含多个货位；第一获取模块，用于在所述货物区域包括第一盘点区域时，通过行车机器人获取所述第一盘点区域对应的视频流；第一处理模块，用于在所述行车机器人行驶至所述第一盘点区域后，对所述视频流进行截图处理，以得到所述第一盘点区域对应的截图图片；第二确定模块，用于根据所述截图图片确定每个货位对应的货位位置坐标；第一识别模块，用于采用基于卷积神经网络的YOLOv4算法对所述截图图片进行图片识别，以得到每个货位的货物对应的货物位置坐标；第一盘点模块，用于根据所述货位位置坐标和所述货物位置坐标对所述第一盘点区域的货物进行盘点，以生成第一盘点报告，所述第一盘点报告中记载每个货位的货物情况及所述第一盘点区域的货物总数量。

本发明第三方面实施例提出了一种货物盘点系统，包括安装有录像设备的行车机器人、安装有称重传感器的叉车及本发明第二方面实施例提出的用于移动作业机器的货物盘点装置。

本发明实施例的技术方案，采用YOLOv4算法对图片进行识别得到货物坐标，根据货物坐标和货位坐标对货物进行盘点，提高了识别精度和识别效率，从而在提高了盘点效率的同时，提高了盘点准确度。

附图说明

图1为本发明实施例的用于移动作业机器的货物盘点方法的流程图。

图2为本发明实施例提出的服务器架构示意图。

图3为本发明一个实施例的根据面积交并比进行货物盘点的示意图。

图4为本发明一个实施例的通过行车机器人进行货物盘点生成的盘点报告的示意图。

图5为本发明实施例的用于移动作业机器的货物盘点装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，按照盘点执行者的不同，可以分为人工盘点和机器人盘点，其中机器人盘点效率高，人工盘点则准确率更高，二者各有优势。行车与叉车以其走位灵活、使用方便、作业时间长等特性得到广泛应用。

基于此，本发明实施例提出了一种用于移动作业机器的货物盘点方法，该方法在提高盘点准确度的同时，可以提高盘点效率。

下面结合图示说明本发明实施例的具体实施方式。

图1为本发明实施例的用于移动作业机器的货物盘点方法的流程图。

如图1所示，该用于移动作业机器的货物盘点方法包括以下步骤S1至S6。

S1，确定待盘点货物所在的货物区域，其中，货物区域包含多个货位。

本发明实施例中，将需要盘点的货物称为待盘点货物，将该货物所在的区域称为货物区域，货物区域可以划分为多个存放货物的位置空间，将该位置空间称为货位。货物可能仅处于室外，也可能仅处于室外，还可能一部分处于室外，另一部分处于室内，所对应的货物区域不同。

S2，在货物区域包括第一盘点区域时，通过行车机器人获取第一盘点区域对应的视频流。

其中，第一盘点区域可以理解为空间足够大的区域，例如可以为堆场平置区和/或室外平置区。

具体地，在待盘点的货物位于第一盘点区域时，可以控制行车机器人在第一盘点区域行驶，在行驶过程中，行车机器人采集第一盘点区域对应的视频流，该视频流中可包含待盘点货物。

S3，在行车机器人行驶至第一盘点区域后，对视频流进行截图处理，以得到第一盘点区域对应的截图图片。

具体地，在行车机器人行驶至第一盘点区域之后，可对行车机器人获取到的视频流进行截图处理，可截图得到第一盘点区域对应的一个或者多个截图图片，可以理解，截图图片上记载第一盘点区域的所有待盘点货物及所有货位。

S4，根据截图图片确定每个货位对应的货位位置坐标。

需要说明的是，第一盘点区域包含多个货位，在得到截图图片时，确定每个货位对应的货位位置坐标，该货位位置坐标用于表征第一盘点区域中对应货位的位置。

S5，采用基于卷积神经网络的YOLOv4算法对截图图片进行图片识别，以得到每个货位的货物对应的货物位置坐标。

具体地，在得到截图图片之后，可采用目标检测算法的YOLOv4算法识别截图图片中的货物以及货物所在的位置，以得到每个货位上货物的货物位置坐标。

S6，根据货位位置坐标和货物位置坐标对第一盘点区域的货物进行盘点，以生成第一盘点报告，第一盘点报告中记载每个货位的货物情况及第一盘点区域的货物总数量。

其中，货位的货物情况可以反应包括货位上是否存在货物、货物位于对应货位的哪个位置(例如中间位置、左上角位置等)以及货物在货位上存放的时间等。

具体地，在得到每个货位对应的货位位置坐标(表征货位的位置)及货物位置坐标(表征货位处货物的位置)之后，根据这两个位置坐标对第一盘点区域的货物进行盘点，以确定每个货位上是否存在货物，进而得到第一盘点区域中货物的总数量。

举例而言，对于位于堆场平置区的货物，可通过行车机器人在堆场平置区行驶时拍摄堆场平置区的视频流，再对视频流进行截图得到包含平置区内所有货位及所有货物的截图图片，通过YOLOv4算法识别出截图图片中货物的坐标，根据货位坐标和对应的货物坐标，判断货位上是否存在货物，根据判断结果生成盘点报告，从而实现对堆场平置区货物的自动盘点。

由于采用了以卷积神经网络为基础的YOLOv4算法进行图片识别，进而提高了识别精度、加快了识别速度，进而盘点识别率达到90％，相比纯人工盘点效率提升50％。此外，由于图像识别方面采用YOLOv4算法，因此只需在行车机器人上增加摄像设备(相机或者摄像头)，无需特殊GPU(Graphics Processing Unit，图形处理器)，只需普通GPU即可满足训练和实时使用要求。

由此，本发明实施例的货物盘点方法，采用YOLOv4算法对图片进行识别得到货物坐标，根据货物坐标和货位坐标对货物进行盘点，提高了识别精度和识别效率，从而在提高了盘点效率的同时，提高了盘点准确度。

在本发明的一个实施例中，上述步骤S2中的：通过行车机器人获取第一盘点区域对应的视频流，可以包括步骤S21至S23。

S21，在行车机器人上安装录像设备，并固定录像设备的位置。

其中，录像设备可以是照相机或者摄像头，在行车机器人行驶过程中，录像设备对第一盘点区域内的货物进行拍摄，以获取第一盘区域对应的视频流。

具体地，在货物区域中包括第一盘点区域时，可在形成机器人上安装录像设备，并固定录像设备的位置，以确保第一盘点区域在摄像图像中国的位置固定。

S22，根据预设规则向行车机器人下达行车盘点指令，行车盘点指令携带第一盘点区域的位置信息。

其中，预设规则，可以理解为指示以何种方式下达行车盘点指令，例如可以是自动生成的，也可以是人工下达的。

本发明实施例中，可自动生成行车盘点指令并下达给行车机器人，也可以根据盘点管理员发出的人工盘点请求向行车机器人下达行车盘点指令。行车机器人响应于行车盘点指令，根据第一盘区域的位置信息控制自身行驶至第一盘点区域，在行驶过程中，行车机器人上的录像设备响应于行车盘点指令进行录像，以获取第一盘点区域对应的视频流。

S23，在行车机器人响应于行车盘点指令行驶至第一盘点区域后，从行车机器人获取视频流，其中，视频流为行车机器人行驶过程中录像设备进行录像得到的。

具体地，在行车机器人行驶至第一盘点区域时，可以接收行车机器人到达第一盘点区域的信息，并从行车机器人获取录像设备采集的视频流。

在获取到视频流之后，执行步骤S3、S4及S5，即对视频流进行截图处理，以得到第一盘点区域对应的截图图片，再根据截图图片确定每个货位对应的货位位置坐标，采用YOLOv4算法对截图图片进行目标检测，以得到每个货位的货物对应的货物位置坐标。最后，根据货位位置坐标和货物位置坐标对第一盘点区域的货物进行盘点，以生成第一盘点报告。

需要说明的是，如图2所示，本发明实施例中可提出一种盘点服务器、算法服务器、行车数据服务器及行车WCS(Warehouse Control System，仓储控制系统)服务器，其中，可将执行用于移动作业机器的货物盘点方法的系统搭载于盘点服务器，将盘点服务器作为盘点基础数据的载体，可将行车WCS服务器作为行车机器人的控制系统载体，将算法服务器作为目标检测服务(即图像处理功能)的载体。其中，内部局域网和外部局域网，仅仅是该货物盘点的特殊情况，在同一局域网也是可以的，行车数据服务器是因为有个网关、行车WCS服务器和盘点服务器无法直接通讯所添加的。

下面参照图2说明本发明实施例的货物盘点方法。

具体而言，执行主体(指货物盘点方法的执行主体，例如计算机设备)采集需要执行的行车盘点任务，并将这些任务按照创建时间先后进行排序，得到一个任务队列。其中，在任务队列中，创建时间越早的，排序越靠前。每一个盘点任务都包括：第一盘点区域的位置信息。

计算机设备按照任务队列开始下发行车盘点指令，若行车机器人正在进行其他任务则等待；若行车机器人目前无其他任务，则开始执行盘点任务。计算机设备根据第一个任务的盘点位置信息发送行车盘点指令给同在内部局域网的行车数据服务器，行车数据服务器收到盘点指令后解析具体地址，通过网关对外部局域网代理服务器上的行车WCS服务器发送盘点指令数据；行车WCS服务器接收指令，发送信息进行行车调度，将行车控制至盘点指定地点(即第一盘点区域)，行车到达指定地点后，回复到达盘点地点的数据信息，数据通过行车WCS服务器、网关、行车数据服务器，到达计算机设备。

计算机设备收到行车到达指定位置的信息后，经过网关下发盘点截图指令给处于外部局域网的算法服务器，算法服务器收到指令后，从行车机器人一直传输的视频流中截图保存，运用自动盘点方法进行计算分析，得出结果反馈计算机设备。

最后计算机设备通过识别、解析算法服务器回传结果及截图，进行位置分析与比对，标注货位与货物对应关系，将结果形成具体盘点报告。

其中，自动盘点方法为基于卷积神经网络的YOLOv4算法，通过输入截图图片，通过利用算法随机缩放、翻转、裁剪、旋转图像，调整截图的亮度、对比度、色相、饱和度和噪点等数据增强方法，强化训练效果，检测出最终结果，具体包括以下部分组成：

用于预训练分类网络的：CutMix和Mosaic数据增强，DropBlock正则化，类标签平滑；用于预训练分类网络的：激活函数，MiWRC；用于训练检测器的：CIoU损失函数，CmBN，DropBlock正则化；镶嵌数据增强，自我专家训练，消除栅格的敏感性，离散余弦变换，随机训练形状；用于训练检测器的：激活函数，SPP块，SAM块，PAN路径聚集块，DIoU-NMS。

也就是说，本发明实施例可以：向行车机器人下达行车盘点指令；获取行车机器人当前所在位置信息；向接收视频流的算法服务器下达盘点截图指令；获取算法服务器上图像识别盘点方法的计算结果；解析、识别计算结果中需要盘点的具体位置及盘点结果，形成最终盘点报告。

在本发明的一个实施例中，每个货位对应的区域位置坐标可包括：货位左上角坐标(x1,y1)及货位右下角坐标(x2,y2)，其中，每个货位的形状为方形；每个货位的货物对应的货物位置坐标包括：货物左上角坐标(x3,y3)及货物右下角坐标为(x4,y4)，其中，每个货物的形状为方形。

在该实施例中，上述步骤S6，即：根据货位位置坐标和货物位置坐标对第一盘点区域的货物进行盘点，以生成第一盘点报告，可包括：根据货位左上角坐标(x1,y1)、货位右下角坐标(x2,y2)、货物左上角坐标(x3,y3)及货物右下角坐标为(x4,y4)，计算每个货位及对应货物间的面积交并比IOU(Intersection-over-Union，交叉超并)，其中，计算公式为：

判断面积交并比IOU是否大于参考阈值，以得到判断结果；如果面积交并比IOU大于参考阈值，则判断结果为货位上存在货物；如果面积交并比IOU小于或者等于参考阈值，则判断结果为货位上不存在货物；根据每个货位的位置及判断结果生成第一盘点报告。

具体而言，可利用目标检测算法确定截图图片中的货位位置坐标及货物位置坐标。如图3所示，令截图图片中某个货位的矩形左上角坐标为(x1,y1)、右下角坐标为(x2,y2)，并确定每个货位对应的货位位置坐标。利用目标检测算法计算得出的某个货物左上角坐标为(x3,y3)、右下角为(x4,y4)，并确定每个货物对应的货物位置坐标。

之后，根据公式(1)计算货位与货物之间的面积交并比IOU，并将计算到的IOU与参考阈值进行比比对，如果面积交并比IOU大于参考阈值，则说明对应货位上存在货物；如果面积交并比IOU小于或者等于参考阈值，则说明货位上不存在货物。根据每个货位的位置及判断结果生成第一盘点报告，在生成盘点报告时，可以1代表存在货物，以0代表不存在货物，基于此图3中的第一盘点结果可以表示为图4所示的结果。

根据图4所示的盘点结果可以看出，第一盘点区域的第一排第三个货位上没有货物，第二排所有货位上都有货物，第三排第二个货位和第四个货物上没有货物，第四排第五个货位上没有货物，也即第一盘点区域中有四个货物上不存在货物，其余货位上均存在货物，第一盘点区域中总共有二十个货物，由此可见，本发明实施例货物盘点方法高精度高效率的有点。

在本发明的一个实施例中，在生成第一盘点报告之后，还可包括：获取预设盘点报告；将第一盘点报告和预设盘点报告进行比对，得到比对结果；根据比对结果更新预设盘点报告。

其中，预设盘点报告可以是指存储在数据库的第一盘点区域的盘点报告，为此次盘点之前的盘点报告。预设盘点报告与第一盘点报告形成账实对比，盘点的结果是实，系统存储的是帐。

具体而言，在的带第一盘点报告(实际值)之后，获取预设盘点报告，判断第一盘点报告与预设盘点报告是否一致，在不一致时，将预设盘点报告更新为第一盘点报告，实现账实统一，有利于后续盘点。

基于上述描述可知，货物盘点方法的操作步骤可包括：

步骤10、发送行车盘点指令，包括：第一盘点区域的位置信息；

步骤11、行车WCS服务器接收信息，开始执行任务，调动行车机器人前往盘点位置；

步骤12、行车机器人到达指定位置，反馈位置信息；

步骤13、接收到行车机器人到达位置的信息；

步骤14、下达截图指令给算法服务器，算法服务器对视频流进行截图；

步骤15、算法服务器利用基于卷积神经网络的YOLOv4算法对截图进行计算识别，并将结果进行反馈；

步骤16、接收反馈结果，解析、识别需要盘点的位置及盘点结果，对比系统储存的预设盘点报告，形成最终盘点报告。

本发明实施例上述描述了在堆场平置区或者室外平置区进行获取盘点时，采用了以卷积神经网络为基础的YOLOv4图像识别方法进行货物识别，从而实现货物盘点。除此之外，本发明实施例在室内平置区进行货物盘点时，通过在已启动作业机器叉车实现货物盘点。

即在本发明的一个实施例中，用于移动作业机器的货物盘点方法，其特征在于，还可包括：在待盘点区域包括第二盘点区域时，在叉车上安装称重传感器，其中，第二盘点区域与第一盘点区域不同；根据预设规则向叉车下达叉车盘点指令，叉车盘点指令携带第二盘点区域的位置信息、每个货位处的待盘点容器、货物单件重量及待盘点容器的重量；根据叉车盘点指令对第二盘点区域的货物进行盘点，以生成第二盘点报告，第二盘点报告中记载第二盘点区域中每个货位的货物数量。

进一步地，根据叉车盘点指令对第二盘点区域的货物进行盘点，以生成第二盘点报告，包括：在叉车行驶至第二盘点区域之后，控制叉车依次叉起多个待盘点容器；从称重传感器获取待盘点容器对应的当前重量，其中，在叉车叉起待盘点容器时，称重传感器响应于叉车盘点指令采集待盘点容器对应的当前重量；根据待盘点容器的重量、货物单件重量及待盘点容器的重量，确定待盘点容器中的货物数量，以得到每个货位处的货物数量；根据第二盘点区域中每个货位处的货物数量生成第二盘点报告。

其中，第二盘点区域可以为室内平置区，在第二盘点区域，每个货位上对应一个存放货物的容器。预设规则，可以理解为指示以何种方式下达叉车盘点指令，例如可以是自动生成的，也可以是人工下达的。待盘点容器可以是指第二盘点区域中每个货位上对应的存放货物的容器。

具体地，在待盘点区域包括第二盘点区域时，在叉车上安装称重传感器，采集需要执行的盘点任务，并将这些任务按照创建时间先后进行排序，得到一个任务队列。其中，在任务队列中，创建时间越早的，排序越靠前。可自动生成或者人工下达叉车盘点指令，每一个叉车盘点指令携带第二盘点区域的位置信息、每个货位处的待盘点容器、货物单件重量及待盘点容器的重量。

在人工驾驶叉车行驶至第二盘点区域之后，操控叉车依次叉起多个待盘点容器，在叉起时，称重传感器响应于叉车盘点指令采集待盘点容器对应的当前重量，进而执行主体从称重传感器获取待盘点容器对应的当前重量，之后，可计算当前重量与待盘点容器的重量间的差值，进而得到对应容器中的货物重量，如此进行多次称重后，得到每个容器对应的货物重量，将多个货物重量相加得到货物总重量，最后通过货物重量/货物单件重量＝货物数量的数学关系，计算得到第二盘点区域所包含的货物数量，记录盘点结果，从而形成第二盘点报告，其记载每个货位的货物数量。

在本发明的一个实施例中，用于移动作业机器的货物盘点方法，还可包括：在叉车上安装RFID(Radio Frequency Identification，射频识别)读取设备；通过RFID读取设备识别第二盘点区域的货物，以确定第二盘点区域的每个货位上是否存在货物。

在一个具体示例中，对于叉车的操作步骤可包括：

步骤20、盘点任务开始；

步骤21、人工驾驶叉车到达室内需盘点区域(即第二盘点区域)，叉起待盘点容器；

步骤22、操作人员在移动作业端上选择叉车所叉货物的装盘方式(仓储笼或托盘)；

步骤23、叉车上的RFID读取设备识别货物；

步骤24、系统读取称重传感器的重量显示，与系统记录货物重量对比，计算零散物资数量；

步骤25、盘点完成，人工操控叉车放回货物。

综上所述，本发明实施例采用了以卷积神经网络为基础的YOLOv4图像识别方法及高精度称重传感设备，识别精度高、速度快，盘点识别率达到90％，相比纯人工盘点效率提升50％。此外，由于图像识别方面采用YOLOv4方法，因此只需在行车机器人上增加摄像设备，无需特殊GPU，普通GPU可满足训练和实时使用要求。称重方面通过系统直连设备读取数据，只需在叉车上增加称重传感器；总体来说，本发明实施例只增加了必要的摄影和称重设备成本，几乎不增加其他成本。

对应上述实施例的用于移动作业机器的货物盘点方法，本发明还提出一种用于移动作业机器的货物盘点装置。

图5为本发明实施例的用于移动作业机器的货物盘点装置的方框示意图。

如图5所示，该用于移动作业机器的货物盘点装置100包括：第一确定模块10、第一获取模块20、第一处理模块30、第二确定模块40、第一识别模块50及第一盘点模块60。

其中，第一确定模块10，用于确定待盘点货物所在的货物区域，其中，所述货物区域包含多个货位；第一获取模块20，用于在所述货物区域包括第一盘点区域时，通过行车机器人获取所述第一盘点区域对应的视频流；第一处理模块30，用于在行车机器人行驶至所述第一盘点区域后，对所述视频流进行截图处理，以得到所述第一盘点区域对应的截图图片；第二确定模块40，用于根据所述截图图片确定每个货位对应的货位位置坐标；第一识别模块50，用于采用基于卷积神经网络的YOLOv4算法对所述截图图片进行图片识别，以得到每个货位的货物对应的货物位置坐标；第一盘点模块60，用于根据所述货位位置坐标和所述货物位置坐标对所述第一盘点区域的货物进行盘点，以生成第一盘点报告，所述第一盘点报告中记载每个货位的货物情况及所述第一盘点区域的货物总数量。

具体而言，货物盘点装置100按照任务队列开始下发行车盘点指令，若行车机器人正在进行其他任务则等待；若行车机器人目前无其他任务，则开始执行盘点任务。货物盘点装置100根据第一个任务的盘点位置信息发送行车盘点指令给同在内部局域网的行车数据服务器，行车数据服务器收到盘点指令后解析具体地址，通过网关对外部局域网代理服务器上的行车WCS服务器发送盘点指令数据；行车WCS服务器接收指令，发送信息进行行车调度，将行车控制至盘点指定地点(即第一盘点区域)，行车到达指定地点后，回复到达盘点地点的数据信息，数据通过行车WCS服务器、网关、行车数据服务器，到达货物盘点装置100。

货物盘点装置100收到行车到达指定位置的信息后，第第一处理模块30经过网关下发盘点截图指令给处于外部局域网的算法服务器，算法服务器收到指令后，从行车机器人一直传输的视频流中截图保存，运用自动盘点方法进行计算分析，得出结果反馈第一识别模块50。

货物盘点装置100收到反馈信息，传输给第一盘点模块60。第一盘点模块60通过识别、解析算法服务器回传结果及截图，进行位置分析与比对，标注货位与货物对应关系，将结果形成具体盘点报告。

需要说明的是，该用于移动作业机器的货物盘点装置的具体实施方式可参见上述用于移动作业机器的货物盘点方法的具体实施方式，为避免冗余，此处不再详细赘述。

本发明实施例的用于移动作业机器的货物盘点装置，采用YOLOv4算法对图片进行识别得到货物坐标，根据货物坐标和货位坐标对货物进行盘点，提高了识别精度和识别效率，从而在提高了盘点效率的同时，提高了盘点准确度。

对应上述实施例，本发明还提出一种货物盘点系统。

本发明实施例的货物盘点系统包括安装有录像设备的行车机器人、安装有称重传感器的叉车及本发明上述实施例提出的用于移动作业机器的货物盘点装置100。

根据本发明实施例的货物盘点系统，通过本发明实施例的货物盘点装置，采用YOLOv4算法对图片进行识别得到货物坐标，根据货物坐标和货位坐标对货物进行盘点，提高了识别精度和识别效率，从而在提高了盘点效率的同时，提高了盘点准确度。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种用于移动作业机器的货物盘点方法，其特征在于，包括：

确定待盘点货物所在的货物区域，其中，所述货物区域包含多个货位；

在所述货物区域包括第一盘点区域时，通过行车机器人获取所述第一盘点区域对应的视频流；

在所述行车机器人行驶至所述第一盘点区域后，对所述视频流进行截图处理，以得到所述第一盘点区域对应的截图图片；

根据所述截图图片确定每个货位对应的货位位置坐标；

采用基于卷积神经网络的YOLOv4算法对所述截图图片进行图片识别，以得到每个货位的货物对应的货物位置坐标；

根据所述货位位置坐标和所述货物位置坐标对所述第一盘点区域的货物进行盘点，以生成第一盘点报告，所述第一盘点报告中记载每个货位的货物情况及所述第一盘点区域的货物总数量，

所述每个货位对应的货位位置坐标包括：货位左上角坐标(x1,y1)及货位右下角坐标(x2,y2)，其中，每个货位的形状为方形；

所述每个货位的货物对应的货物位置坐标包括：货物左上角坐标(x3,y3)及货物右下角坐标为(x4,y4)，其中，每个货物的形状为方形；

根据所述货位位置坐标和所述货物位置坐标对所述货物进行盘点，以生成第一盘点报告，包括：

根据货位左上角坐标(x1,y1)、货位右下角坐标(x2,y2)、货物左上角坐标(x3,y3)及货物右下角坐标为(x4,y4)，计算每个货位及对应货物间的面积交并比IOU，其中，计算公式为：

判断所述面积交并比IOU是否大于参考阈值，以得到判断结果；

如果所述面积交并比IOU大于所述参考阈值，则所述判断结果为货位上存在货物；

如果所述面积交并比IOU小于或者等于所述参考阈值，则所述判断结果为货位上不存在货物；

根据每个货位的位置及所述判断结果生成第一盘点报告。

2.根据权利要求1所述的用于移动作业机器的货物盘点方法，其特征在于，通过行车机器人获取所述第一盘点区域对应的视频流，包括：

在所述行车机器人上安装录像设备，并固定所述录像设备的位置；

根据预设规则向行车机器人下达行车盘点指令，所述行车盘点指令携带所述第一盘点区域的位置信息；

在所述行车机器人响应于所述行车盘点指令行驶至所述第一盘点区域后，从行车机器人获取所述视频流，其中，所述视频流为所述行车机器人行驶过程中所述录像设备进行录像得到的。

3.根据权利要求1所述的用于移动作业机器的货物盘点方法，其特征在于，在生成第一盘点报告之后，还包括：

获取预设盘点报告；

将所述第一盘点报告和预设盘点报告进行比对，得到比对结果；

根据所述比对结果更新所述预设盘点报告。

4.根据权利要求1所述的用于移动作业机器的货物盘点方法，其特征在于，还包括：

在所述货物区域包括第二盘点区域时，在叉车上安装称重传感器，其中，所述第二盘点区域与所述第一盘点区域不同；

根据预设规则向叉车下达叉车盘点指令，所述叉车盘点指令携带所述第二盘点区域的位置信息、每个货位处的待盘点容器、货物单件重量及待盘点容器的重量；

根据所述叉车盘点指令对所述第二盘点区域的货物进行盘点，以生成第二盘点报告，所述第二盘点报告中记载所述第二盘点区域中每个货位的货物数量。

5.根据权利要求4所述的用于移动作业机器的货物盘点方法，其特征在于，根据所述叉车盘点指令对所述第二盘点区域的货物进行盘点，以生成第二盘点报告，包括：

在叉车行驶至第二盘点区域之后，控制所述叉车依次叉起多个所述待盘点容器；

从所述称重传感器获取待盘点容器对应的当前重量，其中，在所述叉车叉起所述待盘点容器时，所述称重传感器响应于所述叉车盘点指令采集待盘点容器对应的当前重量；

根据待盘点容器的重量、货物单件重量及待盘点容器的重量，确定所述待盘点容器中的货物数量，以得到每个货位处的货物数量；

根据所述第二盘点区域中每个货位处的货物数量生成第二盘点报告。

6.根据权利要求5所述的用于移动作业机器的货物盘点方法，其特征在于，还包括：

在所述叉车上安装RFID读取设备；

通过所述RFID读取设备识别所述第二盘点区域的货物，以确定所述第二盘点区域的每个货位上是否存在货物。

7.根据权利要求5所述的用于移动作业机器的货物盘点方法，其特征在于，所述第一盘点区域为堆场平置区和/或室外平置区，所述第二盘点区域为室内平置区。

8.一种用于移动作业机器的货物盘点装置，其特征在于，包括：

第一确定模块，用于确定待盘点货物所在的货物区域，其中，所述货物区域包含多个货位；

第一获取模块，用于在所述货物区域包括第一盘点区域时，通过行车机器人获取所述第一盘点区域对应的视频流；

第一处理模块，用于在所述行车机器人行驶至所述第一盘点区域后，对所述视频流进行截图处理，以得到所述第一盘点区域对应的截图图片；

第二确定模块，用于根据所述截图图片确定每个货位对应的货位位置坐标；

第一识别模块，用于采用基于卷积神经网络的YOLOv4算法对所述截图图片进行图片识别，以得到每个货位的货物对应的货物位置坐标；

第一盘点模块，用于根据所述货位位置坐标和所述货物位置坐标对所述第一盘点区域的货物进行盘点，以生成第一盘点报告，所述第一盘点报告中记载每个货位的货物情况及所述第一盘点区域的货物总数量，

所述每个货位对应的货位位置坐标包括：货位左上角坐标(x1,y1)及货位右下角坐标(x2,y2)，其中，每个货位的形状为方形；

所述每个货位的货物对应的货物位置坐标包括：货物左上角坐标(x3,y3)及货物右下角坐标为(x4,y4)，其中，每个货物的形状为方形；

根据所述货位位置坐标和所述货物位置坐标对所述货物进行盘点，以生成第一盘点报告，包括：

根据货位左上角坐标(x1,y1)、货位右下角坐标(x2,y2)、货物左上角坐标(x3,y3)及货物右下角坐标为(x4,y4)，计算每个货位及对应货物间的面积交并比IOU，其中，计算公式为：

判断所述面积交并比IOU是否大于参考阈值，以得到判断结果；

如果所述面积交并比IOU大于所述参考阈值，则所述判断结果为货位上存在货物；

如果所述面积交并比IOU小于或者等于所述参考阈值，则所述判断结果为货位上不存在货物；

根据每个货位的位置及所述判断结果生成第一盘点报告。

9.一种货物盘点系统，其特征在于，包括：安装有录像设备的行车机器人、安装有称重传感器的叉车及如权利要求8所述的用于移动作业机器的货物盘点装置。

Images