CN118682717A - 便于料框侧面定位的机器人 - Google Patents

Abstract

本发明提供了一种便于料框侧面定位的机器人，包括：第一相机单元，用于采集场景中的料框侧面点云；处理器模块，用于获取多个侧面点云，根据每一侧面点云聚类生成相对应的侧面平面，根据所述侧面平面的方向量确定料框相对于工作空间坐标系的旋转矩阵，根据所述旋转矩阵将所述料框的侧面点云旋转，然后确定所述料框的中心点，进而确定所述料框相对所述工作空间坐标系的偏移量，即生成所述料框的位置；机器人单元，包括末端执行器，用于获取所述料框的位置，将所述料框的物料拣选出，或将物料拣选至所述料框内。本发明能够实现在没有顶置相机，顶置相机匹配效果很差以及料框大小不确定，无法使用模版匹配来定位等多种情况下对料框进行定位。

Description

便于料框侧面定位的机器人

技术领域

本发明涉及拣选机器人，具体地，涉及一种便于料框侧面定位的机器人。

背景技术

拣选机器人，是一种具备了传感器、物镜和电子光学系统的智能设备，可以快速进行货物分拣和搬运。

越来越多的视觉传感器、力传感器会使用到拣选机器人上，拣选机器人将会变得越来越智能化。随着传感与识别系统、人工智能等技术进步，机器人从被单向控制向自己存储、自己应用数据方向发展，逐渐信息化。

当通过拣选机器人对货物进行分拣和搬运时，需要通过视觉传感器对货物进行图像采集，通对所述货物的图像进行识别确定货物的姿态，然后拣选机器人通过装载的夹具或吸盘对该货物进行拣选或搬运。

现有技术中一般先对料框进行定位，然后对料框内的货物进行图像识别，但是在一些使用场景中，没有条件设置顶置相机或来料框大小不确定，无法使用模版匹配来定位料框，因此需要提高新的解决方案。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种便于料框侧面定位的机器人。

根据本发明提供的便于料框侧面定位的机器人，包括：

第一相机单元，用于采集场景中的料框侧面点云；

处理器模块，用于获取多个所述侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面，根据所述侧面平面的方向量确定所述料框相对于工作空间坐标系的旋转矩阵，根据所述旋转矩阵将所述料框的侧面点云旋转，然后确定所述料框的中心点，进而确定所述料框相对所述工作空间坐标系的偏移量，即生成所述料框的位置；

机器人单元，包括末端执行器，用于获取所述料框的位置，将所述料框的物料拣选出，或将物料拣选至所述料框内。

优选地，所述第一相机单元包括：

投影机，用于向场景中所述料框的侧面投射结构光；

光接收传感器，用于接收经所述料框的侧面反射后的所述结构光生成结构光图案；

处理电路，用于根据所述结构光图案进行重建生成所述料框的侧面点云；

优选地，所述处理器模块包括：

点云获取部，用于获取料框的多个侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面；

侧面分组部，用于检测所述侧面平面的角度，根据所述侧面平面的角度将所述侧面平面分组，每组包括两个平行的侧面平面形成的平行面组或单个侧面平面；

旋转矩阵确定部，用于根据所述侧面平面的方向量确定所述料框相对于工作空间坐标系的旋转矩阵；

偏移量确定部，用于根据所述旋转矩阵将所述料框的侧面点云旋转，然后根据所述侧面平面确定所述料框的中心点，进而确定所述料框相对所述工作空间坐标系的偏移量，即实现所述料框的定位。

优选地，还包括第二相机单元；

所述第二相机单元，其视觉扫描区域至少涵盖所述料框内储放的物料，用于对所述物料进行视觉扫描，采集所述物料的深度图像，并根据所述深度图像生成物料的位姿信息；

所述机器人单元，与所述深度相机通信连接，用于接收所述位姿信息，并根据所述位姿信息以相应的抓取姿态控制所述末端执行器将所述物料拣选出。

优选地，所述点云获取部包括如下单元：

投影机控制单元，用于控制3D相机模组的投影机向料框的侧面投射结构光；

传感器控制单元，用于控制3D相机模组的光接收传感器接收经所述料框的侧面反射后的所述结构光生成结构光图案；

点云重建单元，用于通过所述3D相机模组的处理电路根据所述结构光图案进行重建生成所述料框的侧面点云；

点云聚类单元，用于获取料框的多个侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面。

优选地，所述侧面分组部包括如下单元：

平面数量确定单元，用于获取所述侧面平面的数量，当所述侧面平面的数量在区间[2，4]之间时触发平面夹角确定单元；

第一平面夹角确定单元，用于检测所述侧面平面与所述工作空间坐标系的Z轴的夹角，且当所述侧面平面与所述工作空间坐标系的Z轴的夹角小于预设置的第一夹角阈值时触发第二平面夹角确定单元；

第二平面夹角确定单元，用于检测两两侧面平面之间的夹角，当所述夹角小于第二夹角阈值或大于第三夹角阈值时触发平面分组单元；

平面分组单元，用于根据所述侧面平面的角度将所述侧面平面分组，每组包括两个平行的侧面平面或单个侧面平面。

优选地，所述旋转矩阵确定部包括如下单元：

法向量生成单元，用于获取所述侧面平面，生成所述侧面平面的法向量；

Z轴方向确定单元，用于根据多个所述侧面平面的法向量生成特征向量矩阵，对所述特征向量矩阵进行分解后提取特征方向确定料框的Z轴方向；

旋转矩阵生成确单元，用于根据一组平行的侧面平面确定所述料框的X轴方向，根据所述料框的X轴和Z轴方向确定所述料框的Y轴方向,进而生成所述料框相对于工作空间坐标系的旋转矩阵。

优选地，所述偏移量确定部包括如下单元：

平面旋转单元，用于根据所述旋转矩阵将所述料框的侧面平面旋转，以使所述料框的侧面平面宽度W与X轴对应，长度L与Y轴对应；

同向平面确定单元，用于获取所述侧面平面的数量，当在一方向存在一组所述平行面组时，触发第一偏移量确定单元，当在一方向存在一所述侧面平面时，触发第二偏移量确定单元；

第一偏移量确定单元，用于通过过所述料框的原点且与所述平行面组垂直相交的直线形成的两个交点作为该方向上的中心点坐标，通过在另一方向的平行面组与过所述料框的原点直线形成的两个交点作为另一方向上的中心点坐标，根据两个方向上中心点坐标确定所述料框的偏移量；

第二偏移量确定单元，用于通过过所述料框的原点且与所述X轴对应的侧面平面垂直相交的直线形成的交点沿该直线内推W/2作为该方向上的中心点坐标，通过与所述Y轴对应的侧面平面与过所述料框的原点直线形成交点沿法向向量内推L/2作为另一方向上的中心点坐标，根据两个方向上中心点坐标确定所述料框的偏移量。

优选地，所述平面旋转单元包括如下子单元：

边长确定子单元，用于根据所述侧面平确定料框的长度L，宽度W，高度H，且长度L大于宽度W，所述X轴对应长度L，所述Y轴对应宽度W；

旋转矩阵判断子单元，用于当仅存在一侧面平面，当所述侧面平面的面积更接近(W^×H)，认定旋转矩阵正确，否则触发平面转动子单元，当存在一组平行面组时，生成两平行侧面平面之间的距离，如果所述距离更接近W，认定旋转矩阵正确，否则触发平面转动子单元，当存在两组平行面组时，生成两平行侧面平面之间的距离，作为宽度w′和长度l′，如果||(W-w′,L-l′)||₂＜||(L-w′,W-l′)||₂，认定旋转矩阵正确，否则触发平面转动子单元；

平面转动子单元，用于在旋转矩阵正确认定错误时，将侧面平面转动90°。

优选地，在对所述平行面组进行检测时，具体为：

当所述侧面平面的数量为2时，所述平行面组为0时，认定所述平行面组分类正确，否则发出错误信号；

当所述侧面平面的数量为3时，所述平行面组为1时，认定所述平行面组分类正确，否则发出错误信号；

当所述侧面平面的数量为4时，所述平行面组为2时，认定所述平行面组分类正确，否则发出错误信号。

与现有技术相比，本发明具有如下的有益效果：

本发明中通过相机单元拍摄料框的不同侧面点云，然后处理器模块根据侧面的平面点云确定料框相对于工作空间坐标系的旋转矩阵和偏移量，即在工作空间坐标系中确定料框的位置，使得机器人单元能够获取所述料框的位置，将所述料框的物料拣选出，或将物料拣选至所述料框内，实现在没有顶置相机，顶置相机匹配效果很差以及料框大小不确定，无法使用模版匹配来定位等多种情况下对料框进行定位。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明第一实施例中便于料框侧面定位的机器人的结构示意图；

图2为本发明第一实施例中第一相机单元与料框的位置关系示意图；

图3为本发明第一实施例中便于料框侧面定位的机器人的模块示意图；

图4为本发明第一实施例中相机单元的模块示意图；

图5为本发明第二实施例中便于料框侧面定位的机器人的模块示意图；

图6为本发明第三实施例中便于料框侧面定位的机器人的模块示意图；

图7为本发明第四实施例中便于料框侧面定位的机器人的模块示意图；

图8为本发明第五实施例中便于料框侧面定位的机器人的模块示意图；

图9为本发明第六实施例中便于料框侧面定位的机器人的模块示意图；

图10为本发明实施例中侧面平面之间角度的示意图；

图11为本发明实施例中对侧面平面进行分组的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明第一实施例中便于料框侧面定位的机器人的模块示意图，如图1所示，本发明提供的便于料框侧面定位的机器人，包括：

第一单元、第二单元，用于储放或/和运输物料，所述第一单元可以设置为料框106；

第一相机单元102，用于采集场景中的料框侧面点云；

第二相机单元103，其视觉扫描区域至少涵盖所述物料的储放或运输的第一单元，用于对所述物料进行视觉扫描，采集所述物料的深度图像，并根据所述深度图像生成物料的位姿信息和存放位置；

处理器模块，用于获取多个所述侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面，根据所述侧面平面的方向量确定所述料框相对于工作空间坐标系的旋转矩阵，根据所述旋转矩阵将所述料框的侧面点云旋转，然后确定所述料框的中心点，进而确定所述料框相对所述工作空间坐标系的偏移量，即生成所述料框的位置；

机器人单元101，与所述第一相机单元102和第二相机单元103通信连接，包括末端执行器105，用于获取所述料框106的位置，将所述料框的物料拣选出，或将物料拣选至所述料框内。

料框106，用于储放无序放置的物料；

机器人单元101，与所述第二相机单元103通信连接，用于接收所述位姿态信息和存放位置，根据所述位姿和所述存放位置判断目标物体的放置状态，并根据所述放置状态对所述目标物体进行拣取后移送至第二单元中。

所述第二单元可以设置为对拣选后的物料进行运输或存放，如设置为便于物品整齐排列的支撑架，

所述第二单元，还可以设置运输单元，使得所述机器人单元101能够将支撑架上的目标物体移动至运输单元上。

所述第二相机单元103，设置在相机支架上。

图2为本发明第一实施例中第一相机单元与料框的位置关系示意图，如图2所示，所述第一相机单元102位于所述料框106的侧面，所述料框106的每一侧面对应第一相机单元102，因此设置有四个第一相机单元102，采集所述料框106四个侧面的点云。

图3为本发明第一实施例中便于料框侧面定位的机器人的模块示意图，如图3所示，本发明提供的便于料框侧面定位的机器人，包括

第一相机单元，用于采集场景中的料框侧面点云；

处理器模块，用于获取多个所述侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面，根据所述侧面平面的方向量确定所述料框相对于工作空间坐标系的旋转矩阵，根据所述旋转矩阵将所述料框的侧面点云旋转，然后确定所述料框的中心点，进而确定所述料框相对所述工作空间坐标系的偏移量，即生成所述料框的位置；

机器人单元，包括末端执行器，用于获取所述料框的位置，将所述料框的物料拣选出，或将物料拣选至所述料框内。

本发明实施例中，通过获取3D相机拍摄料框的不同侧面点云，根据侧面的平面点云确定料框相对于工作空间坐标系的旋转矩阵和偏移量，即在工作空间坐标系中确定料框的位置，实现在没有顶置相机，顶置相机匹配效果很差以及料框大小不确定，无法使用模版匹配来定位等多种情况下对料框进行定位。

图4为本发明第一实施例中相机单元的模块示意图，如图4所示，所述第一相机单元包括：

投影机1031，用于向场景中所述料框的侧面投射结构光；

光接收传感器1032，用于接收经所述料框的侧面反射后的所述结构光生成结构光图案；

处理电路1033，用于根据所述结构光图案进行重建生成所述料框的侧面点云。

所述处理电路，还用于控制所述投影机和所光接收传感器同时开启或关闭；所述处理电路可以是独立的专用芯片，比如专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理器，比如当该深度相机单元被集成到如手机、电脑、机器人的控制器等智能终端中去，终端中的处理器可以作为该处理电路的至少一部分。

图5为本发明第二实施例中便于料框侧面定位的机器人的模块示意图，如图5所示，本发明提供的便于料框侧面定位的机器人，所述处理器模块包括：

点云获取部，用于获取料框的多个侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面；

侧面分组部，用于检测所述侧面平面的角度，根据所述侧面平面的角度将所述侧面平面分组，每组包括两个平行的侧面平面形成的平行面组或单个侧面平面；

旋转矩阵确定部，用于根据所述侧面平面的方向量确定所述料框相对于工作空间坐标系的旋转矩阵；

偏移量确定部，用于根据所述旋转矩阵将所述料框的侧面点云旋转，然后根据所述侧面平面确定所述料框的中心点，进而确定所述料框相对所述工作空间坐标系的偏移量，即实现所述料框的定位。

在本发明实施例中，所述点云是一个数据集，数据集中的每个点代表一组X、Y、Z几何坐标和一个强度值，这个强度值根据物体表面反射率记录返回信号的强度。当这些点组合在一起时，就会形成一个点云，即空间中代表3D形状或对象的数据点集合。点云也可以自动上色，以实现更真实的可视化。

在本发明实施例中，根据所述偏移量和所述旋转矩阵确定所述料框在所述工作空间坐标系中的位置。

图6为本发明第三实施例中便于料框侧面定位的机器人的模块示意图，如图6所示，所述点云获取部包括如下单元：

投影机控制单元，用于控制3D相机模组的投影机向料框的侧面投射结构光；

传感器控制单元，用于控制3D相机模组的光接收传感器接收经所述料框的侧面反射后的所述结构光生成结构光图案；

点云重建单元，用于通过所述3D相机模组的处理电路根据所述结构光图案进行重建生成所述料框的侧面点云；

点云聚类单元，用于获取料框的多个侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面。

在本发明实施例中，所述投影机采用DLP投影机，所述光接收传感器为相机单元，用于采集所述结构光在料框上形成的结构光图案，处理器模块，用于控制所述投影机和相机单元同步开关，并根据所述结构光图案生成料框的点云图像或深度图像。

在本发明实施例中，通过ransac算法对点云进行平面聚类得到所述侧面平面。

图7为本发明第四实施例中便于料框侧面定位的机器人的模块示意图，如图7所示，所述侧面分组部包括如下单元：

平面数量确定单元，用于获取所述侧面平面的数量，当所述侧面平面的数量在区间[2，4]之间时触发平面夹角确定单元；

第一平面夹角确定单元，用于检测所述侧面平面与所述工作空间坐标系的Z轴的夹角，且当所述侧面平面与所述工作空间坐标系的Z轴的夹角小于预设置的第一夹角阈值时触发第二平面夹角确定单元；

第二平面夹角确定单元，用于检测两两侧面平面之间的夹角，当所述夹角小于第二夹角阈值或大于第三夹角阈值时触发平面分组单元；

平面分组单元，用于根据所述侧面平面的角度将所述侧面平面分组，每组包括两个平行的侧面平面或单个侧面平面。

在本发明实施例中，当检测到所述侧面平面的数量为零或所述侧面平面大于4时，发出错误信号，并返回步骤S1。

所述工作空间坐标系原点为承载所述料框的托盘底部中心，长边为X轴方向，短边为Y轴方向，竖直向上为Z轴方向。

在本发明实施例中，检测所有侧面平面和Z轴的夹角α，α>预设置的夹角阈值，则认为箱子形变过大或者过分倾斜，发出错误信号，所述第一夹角阈值可以设置为10°至20°之间的任意角度值；

当侧面平面的数量为1时，不进行侧面平面之间的夹角β；

当侧面平面的数量大于1，检测两两侧面平面之间的夹角β，当所述夹角β在第二夹角阈值与所述第三夹角阈值之间时，认定料框形变过大，发出错误信号。

所述第二夹角阈值可以设置为10°至20°之间的任意角度值，所述第三夹角阈值可以设置为70°至80°之间的任意角度值。

当所述夹角β小于所述第二夹角阈值时，则两个侧面平面平行；当所述夹角β大于所述第三夹角阈值时，则两个侧面平面垂直。

在本发明实施例中，还包括对所述平行面组进行检测的步骤：

当所述侧面平面的数量为2时，所述平行面组为0时，认定所述平行面组分类正确，否则发出错误信号；

当所述侧面平面的数量为3时，所述平行面组为1时，认定所述平行面组分类正确，否则发出错误信号；

当所述侧面平面的数量为4时，所述平行面组为2时，认定所述平行面组分类正确，否则发出错误信号；

图8为本发明第五实施例中便于料框侧面定位的机器人的模块示意图，如图8所示，所述旋转矩阵确定部包括如下单元：

法向量生成单元，用于获取所述侧面平面，生成所述侧面平面的法向量；

Z轴方向确定单元，用于根据多个所述侧面平面的法向量生成特征向量矩阵，对所述特征向量矩阵进行分解后提取特征方向确定料框的Z轴方向；

旋转矩阵生成确单元，用于根据一组平行的侧面平面确定所述料框的X轴方向，根据所述料框的X轴和Z轴方向确定所述料框的Y轴方向,进而生成所述料框相对于工作空间坐标系的旋转矩阵。

在本发明实施例中，设侧面平面的数量为k，每个侧面平面面的法向为其中，i为自然数；

提取法向的特征向量N：

其中，N为多个拟合出的侧面平面的法向量构成的矩阵；为第k个侧面平面的法向量；k为侧面平面总数。

特征向量分解，

UΣU^T＝NN^T

其中，U为特征向量分解的结果。

提取特征方向，为特征向量的第三列选取第一组平行面组，假设是序号为0和2的侧面平面，计算平均法向方向作为料框坐标系x方向，

其中，为根据料框点云拟合出侧面平面的法向量；为料框坐标系的x轴方向向量；为料框坐标系的y轴方向向量；为料框坐标系的z轴方向向量；R为料框的旋转矩阵。

图9为本发明第六实施例中便于料框侧面定位的机器人的模块示意图，如图9所示，所述偏移量确定部包括如下单元：

平面旋转单元，用于根据所述旋转矩阵将所述料框的侧面平面旋转，以使所述料框的侧面平面宽度W与X轴对应，长度L与Y轴对应；

同向平面确定单元，用于获取所述侧面平面的数量，当在一方向存在一组所述平行面组时，触发第一偏移量确定单元，当在一方向存在一所述侧面平面时，触发第二偏移量确定单元；

第一偏移量确定单元，用于通过过所述料框的原点且与所述平行面组垂直相交的直线形成的两个交点作为该方向上的中心点坐标，通过在另一方向的平行面组与过所述料框的原点直线形成的两个交点作为另一方向上的中心点坐标，根据两个方向上中心点坐标确定所述料框的偏移量；

第二偏移量确定单元，用于通过过所述料框的原点且与所述X轴对应的侧面平面垂直相交的直线形成的交点沿该直线内推W/2作为该方向上的中心点坐标，通过与所述Y轴对应的侧面平面与过所述料框的原点直线形成交点沿法向向量内推L/2作为另一方向上的中心点坐标，根据两个方向上中心点坐标确定所述料框的偏移量。

在本发明实施例中，所述平面旋转单元包括如下子单元：

边长确定子单元，用于根据所述侧面平确定料框的长度L，宽度W，高度H，且长度L大于宽度W，所述X轴对应长度L，所述Y轴对应宽度W；

旋转矩阵判断子单元，用于当仅存在一侧面平面，当所述侧面平面的面积更接近(W^×H)，认定旋转矩阵正确，否则触发平面转动子单元，当存在一组平行面组时，生成两平行侧面平面之间的距离，如果所述距离更接近W，认定旋转矩阵正确，否则触发平面转动子单元，当存在两组平行面组时，生成两平行侧面平面之间的距离，作为宽度w′和长度l′，如果||(W-w′,L-l′)||₂＜||(L-w′,W-l′)||₂，认定旋转矩阵正确，否则触发平面转动子单元；

平面转动子单元，用于在旋转矩阵正确认定错误时，将侧面平面转动90°。

在本发明实施例中，在计算所述料框坐标系的旋转矩阵时，第一平行面组对应的法向为料框坐标系的x轴方向，第二组平行面对应的法向为y轴方向。

在本发明实施例中，在计算所述偏移量时，控制料框坐标系的x轴对应方向为料框的长度L，控制料框坐标系的y轴对应方向为料框的长度W，而计算旋转矩阵时，无法保证料框坐标系的x轴对应方向为长度L，有可能出现料框坐标系的x轴对应宽度W，y轴方向对应长度L的情况，需要判断反转。

在本发明实施例中，当所述侧面平面为两个时，对比两个侧面平面的面积，x方向对应的侧面面积较小时，则认定旋转矩阵正确，否则将旋转矩阵转动90°。

在本发明实施例中，当在一方向上存在一平行面组时，确定过工作空间坐标系的原点且和平行面组垂直的直线与该平行面组形成的交点，进而确定两交点的第一中点坐标，根据该平行面组拟合出另一平行面组，进而确定第二中点坐标，根据所述第一中点坐标和第二中点坐确定所述料框的中心点，即生成所述偏移量；

当在一方向上只存在一侧面平面，确定过工作空间坐标系原点和该侧面平面垂直的直线与该侧面平面的交点，当所述侧面平面对应料框坐标系的x轴时，由此交点沿着该直线方向内推W/2，生成第一中点坐标，当所述侧面平面对应料框坐标系的Y轴时，由此交点沿着该直线方向内推L/2，生成第二中点坐标，根据所述第一中点坐标和第二中点坐确定所述料框的中心点，即生成所述偏移量。

本发明实施例中，通过获取3D相机拍摄料框的不同侧面点云，根据侧面的平面点云确定料框相对于工作空间坐标系的旋转矩阵和偏移量，即在工作空间坐标系中确定料框的位置，实现在没有顶置相机，顶置相机匹配效果很差以及料框大小不确定，无法使用模版匹配来定位等多种情况下对料框进行定位。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种便于料框侧面定位的机器人，其特征在于，包括：

第一相机单元，用于采集场景中的料框侧面点云；

处理器模块，用于获取多个所述侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面，根据所述侧面平面的方向量确定所述料框相对于工作空间坐标系的旋转矩阵，根据所述旋转矩阵将所述料框的侧面点云旋转，然后确定所述料框的中心点，进而确定所述料框相对所述工作空间坐标系的偏移量，即生成所述料框的位置；

机器人单元，包括末端执行器，用于获取所述料框的位置，将所述料框的物料拣选出，或将物料拣选至所述料框内。

2.根据权利要求1所述的便于料框侧面定位的机器人，其特征在于，所述第一相机单元包括：

投影机，用于向场景中所述料框的侧面投射结构光；

光接收传感器，用于接收经所述料框的侧面反射后的所述结构光生成结构光图案；

处理电路，用于根据所述结构光图案进行重建生成所述料框的侧面点云。

3.根据权利要求1所述的便于料框侧面定位的机器人，其特征在于，所述处理器模块包括：

点云获取部，用于获取料框的多个侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面；

侧面分组部，用于检测所述侧面平面的角度，根据所述侧面平面的角度将所述侧面平面分组，每组包括两个平行的侧面平面形成的平行面组或单个侧面平面；

旋转矩阵确定部，用于根据所述侧面平面的方向量确定所述料框相对于工作空间坐标系的旋转矩阵；

偏移量确定部，用于根据所述旋转矩阵将所述料框的侧面点云旋转，然后根据所述侧面平面确定所述料框的中心点，进而确定所述料框相对所述工作空间坐标系的偏移量，即实现所述料框的定位。

4.根据权利要求1所述的便于料框侧面定位的机器人，其特征在于，还包括第二相机单元；

所述第二相机单元，其视觉扫描区域至少涵盖所述料框内储放的物料，用于对所述物料进行视觉扫描，采集所述物料的深度图像，并根据所述深度图像生成物料的位姿信息；

所述机器人单元，与所述深度相机通信连接，用于接收所述位姿信息，并根据所述位姿信息以相应的抓取姿态控制所述末端执行器将所述物料拣选出。

5.根据权利要求3所述的便于料框侧面定位的机器人，其特征在于，所述点云获取部包括如下单元：

投影机控制单元，用于控制3D相机模组的投影机向料框的侧面投射结构光；

传感器控制单元，用于控制3D相机模组的光接收传感器接收经所述料框的侧面反射后的所述结构光生成结构光图案；

点云重建单元，用于通过所述3D相机模组的处理电路根据所述结构光图案进行重建生成所述料框的侧面点云；

点云聚类单元，用于获取料框的多个侧面点云，根据每一所述侧面点云聚类生成相对应的侧面平面。

6.根据权利要求3所述的便于料框侧面定位的机器人，其特征在于，所述侧面分组部包括如下单元：

平面数量确定单元，用于获取所述侧面平面的数量，当所述侧面平面的数量在区间[2，4]之间时触发平面夹角确定单元；

第一平面夹角确定单元，用于检测所述侧面平面与所述工作空间坐标系的Z轴的夹角，且当所述侧面平面与所述工作空间坐标系的Z轴的夹角小于预设置的第一夹角阈值时触发第二平面夹角确定单元；

第二平面夹角确定单元，用于检测两两侧面平面之间的夹角，当所述夹角小于第二夹角阈值或大于第三夹角阈值时触发平面分组单元；

平面分组单元，用于根据所述侧面平面的角度将所述侧面平面分组，每组包括两个平行的侧面平面或单个侧面平面。

7.根据权利要求3所述的便于料框侧面定位的机器人，其特征在于，所述旋转矩阵确定部包括如下单元：

法向量生成单元，用于获取所述侧面平面，生成所述侧面平面的法向量；

Z轴方向确定单元，用于根据多个所述侧面平面的法向量生成特征向量矩阵，对所述特征向量矩阵进行分解后提取特征方向确定料框的Z轴方向；

旋转矩阵生成确单元，用于根据一组平行的侧面平面确定所述料框的X轴方向，根据所述料框的X轴和Z轴方向确定所述料框的Y轴方向,进而生成所述料框相对于工作空间坐标系的旋转矩阵。

8.根据权利要求3所述的便于料框侧面定位的机器人，其特征在于，所述偏移量确定部包括如下单元：

平面旋转单元，用于根据所述旋转矩阵将所述料框的侧面平面旋转，以使所述料框的侧面平面宽度W与X轴对应，长度L与Y轴对应；

同向平面确定单元，用于获取所述侧面平面的数量，当在一方向存在一组所述平行面组时，触发第一偏移量确定单元，当在一方向存在一所述侧面平面时，触发第二偏移量确定单元；

第一偏移量确定单元，用于通过过所述料框的原点且与所述平行面组垂直相交的直线形成的两个交点作为该方向上的中心点坐标，通过在另一方向的平行面组与过所述料框的原点直线形成的两个交点作为另一方向上的中心点坐标，根据两个方向上中心点坐标确定所述料框的偏移量；

第二偏移量确定单元，用于通过过所述料框的原点且与所述X轴对应的侧面平面垂直相交的直线形成的交点沿该直线内推W/2作为该方向上的中心点坐标，通过与所述Y轴对应的侧面平面与过所述料框的原点直线形成交点沿法向向量内推L/2作为另一方向上的中心点坐标，根据两个方向上中心点坐标确定所述料框的偏移量。

9.根据权利要求8所述的便于料框侧面定位的机器人，其特征在于，所述平面旋转单元包括如下子单元：

边长确定子单元，用于根据所述侧面平确定料框的长度L，宽度W，高度H，且长度L大于宽度W，所述X轴对应长度L，所述Y轴对应宽度W；

旋转矩阵判断子单元，用于当仅存在一侧面平面，当所述侧面平面的面积更接近(W^×H)，认定旋转矩阵正确，否则触发平面转动子单元，当存在一组平行面组时，生成两平行侧面平面之间的距离，如果所述距离更接近W，认定旋转矩阵正确，否则触发平面转动子单元，当存在两组平行面组时，生成两平行侧面平面之间的距离，作为宽度w′和长度l′，如果||(W-w′,L-l′)||₂＜||(L-w′,W-l′)||₂，认定旋转矩阵正确，否则触发平面转动子单元；

平面转动子单元，用于在旋转矩阵正确认定错误时，将侧面平面转动90°。

10.根据权利要求3所述的便于料框侧面定位的机器人，其特征在于，在对所述平行面组进行检测时，具体为：

当所述侧面平面的数量为2时，所述平行面组为0时，认定所述平行面组分类正确，否则发出错误信号；

当所述侧面平面的数量为3时，所述平行面组为1时，认定所述平行面组分类正确，否则发出错误信号；

当所述侧面平面的数量为4时，所述平行面组为2时，认定所述平行面组分类正确，否则发出错误信号。