CN114012720B - 一种机器人 - Google Patents

Abstract

本公开涉及一种机器人，上述机器人包括视觉模块，用于对第一空间进行拍摄，得到第一图像，上述第一空间布设有第一物体；控制模块，用于根据上述第一图像生成控制指令序列，上述控制指令序列用于控制机械手抓取上述第一空间中的第一物体，并将上述第一物体移动至预设位置；机械手，用于获取上述控制指令序列中的指令，并根据上述指令执行相应的动作。本公开可以提升物体搬运自动化程度。

Description

一种机器人

技术领域

本公开涉及智能机械领域，尤其涉及一种机器人。

背景技术

随着科技的进步和智能设备的发展，越来越多场景中可以使用智能设备代替人工，但是智能设备的自动化程度依然不高，需要人工不同程度的干预。

发明内容

为了解决上述至少一个技术问题，本公开提出了一种机器人。

根据本公开的一些实施例中，提供了一种机器人，所述机器人包括：

视觉模块，用于对第一空间进行拍摄，得到第一图像，所述第一空间布设有第一物体；

控制模块，用于根据所述第一图像生成控制指令序列，所述控制指令序列用于控制机械手抓取所述第一空间中的第一物体，并将所述第一物体移动至预设位置；

机械手，用于获取所述控制指令序列中的指令，并根据所述指令执行相应的动作。

在一个实施例中，所述视觉模块包括竖直导轨和沿所述竖直导轨移动的摄像头，所述第一空间中的第一物体以堆叠形式布设；所述控制模块还用于执行下述操作：

控制所述摄像头沿所述竖直导轨滑动，以使得所述第一空间中位于顶层的第一物体落入所述摄像头的视野的中心区域。

在一个实施例中，所述摄像头所处的平面与所述第一空间的地面为平行平面。

在一个实施例中，，所述控制模块用于执行下述操作：

响应于第一指令，拍摄第一图像，所述第一指令为所述机器人的启动指令；

响应于拍摄到所述第一图像的情况，分析所述第一图像，得到所述第一空间中位于顶层的第一物体的分布；

响应于获取所述分布的情况，生成所述控制指令序列。

在一个实施例中，所述控制模块还用于执行下述操作：

响应于所述第一图像中拍摄到的物体均被移动至所述预设位置的情况，调整所述摄像头，拍摄第二图像；

根据所述第二图像更新所述第一图像，重复执行所述响应于拍摄到所述第一图像的情况，分析所述第一图像的步骤。

在一个实施例中，所述机器人还包括：

人机交互模块，用于接收用户对于所述预设位置的设定，并根据所述设定更新所述控制模块中的所述预设位置。

在一个实施例中，所述机器人还包括：

通信模块，与机器人控制终端通信以接收用户对于所述预设位置的设定，并根据所述设定更新所述控制模块中的所述预设位置。

在一个实施例中，所述机器人还包括：

支撑装置，所述视觉模块、所述控制模块和所述机械手都固定在所述支撑装置上。

在一个实施例中，所述机器人还包括：

滑动装置，所述滑动装置位于所述支撑装置底部，以便于所述机器人整体移动。

根据本公开的另一些实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述的一种机器人中的控制模块所执行的操作。

本公开实施例提供的一种机器人可以实现全自动的物体搬运，极大节省人力成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1示出根据本公开实施例的一种机器人示意图；

图2示出根据本公开实施例的物体分布示意图；

图3示出根据本公开实施例控制模块操作流程图；

图4示出根据本公开实施例的分级卷积网络的示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

本公开实施例提供一种机器人。如图1所示，上述机器人包括：

视觉模块01，用于对第一空间进行拍摄，得到第一图像，上述第一空间布设有第一物体。

控制模块02，用于根据上述第一图像生成控制指令序列，上述控制指令序列用于控制机械手抓取上述第一空间中的第一物体，并将上述第一物体移动至预设位置。本公开实施例中第一物体指第一空间中待搬运的物体，本公开实施例的机器人可以将第一空间中的第一物体搬运至预设位置。

机械手03，用于获取上述控制指令序列中的指令，并根据上述指令执行相应的动作。

在一个实施例中，上述视觉模块包括竖直导轨和沿上述竖直导轨移动的摄像头，上述摄像头所处的平面与上述第一空间的地面为平行平面，上述第一空间中的第一物体以堆叠形式布设；上述控制模块还用于执行下述操作：控制上述摄像头沿上述竖直导轨滑动，以使得上述第一空间中位于顶层的第一物体落入上述摄像头的视野的中心区域。如图2所示，本公开实施例中可以首先搬运标记为1的物体，这些物体位于第一空间的顶层，当标记为1的物体被搬走后，可以继续搬运标记为2的物体，直至将第一空间中的物体都搬运完毕。

具体来说，如图3所示，上述控制模块用于执行下述操作：

S101.响应于第一指令，拍摄第一图像，上述第一指令为上述机器人的启动指令。

S102.响应于拍摄到上述第一图像的情况，分析上述第一图像，得到上述第一空间中位于顶层的第一物体的分布。

S103.响应于获取上述分布的情况，生成上述控制指令序列。

S104.响应于上述第一图像中拍摄到的物体均被移动至上述预设位置的情况，调整上述摄像头，拍摄第二图像。

S105.根据上述第二图像更新上述第一图像，重复执行上述响应于拍摄到上述第一图像的情况，分析上述第一图像的步骤。

以图2为例，拍摄标记为1的第一物体得到第一图像，对第一图像进行分析可以确定标记为1的第一物体分布，进而生成控制指令序列。当标记为1的物体都被移动走之后，可以拍摄标记为2的第一物体得到第二图像，将第二图像作为新的第一图像，进而生成新的控制指令序列，直至将第一空间中的物体都移动走。

在一个实施例中，上述机器人还包括：人机交互模块，用于接收用户对于上述预设位置的设定，并根据上述设定更新上述控制模块中的上述预设位置。在一个实施例中，上述机器人还包括：通信模块，与机器人控制终端通信以接收用户对于上述预设位置的设定，并根据上述设定更新上述控制模块中的上述预设位置。通过更新预设位置可以使得机器人能够更灵活的移动第一空间中的物体。

在一个实施例中，上述机器人还包括：支撑装置和滑动装置，上述视觉模块、上述控制模块和上述机械手都固定在上述支撑装置上。滑动装置，上述滑动装置位于上述支撑装置底部，以便于上述机器人整体移动。

本公开实施例中可以基于神经网络自动分析上述第一图像，神经网络可以输出第一图像中第一物体的边界信息，从而使得控制模块可以得到第一图像中第一物体的分布。本公开实施例中神经网络包括分级卷积网络、基于注意力的编码网络、融合网络和识别网络，上述神经网络的训练方法包括：

S201.获取样本图像，上述样本图像的标签表征上述样本图像中物品的边界信息。

S202.基于上述分级卷积网络对上述样本图像进行分级卷积处理，得到第一特征信息。

本公开实施例认为传统的卷积网络的特征提取能力不足，并不能够充分挖掘到足够的细节信息，也不能够挖掘到足够的用于进行目标识别的具备辨识度的信息。因此，本公开实施例设计一种分级卷积网络，通过逐层提取充分具备辨识度的信息，增加提取到的第一特征信息中的信息的富集度。本公开实施例中分级卷积网络包括至少两个提取分支，当然，并不限制提取分支的数量，但是数量越多速度越慢，提取效果也自然越好。

请参考图4，其示出分级卷积网络的示意图，本公开实施例以三个提取分支为例进行详述。上述分级卷积网络包括第一分支、第二分支和第三分支，上述第一分支、第二分支和第三分支均用于进行特征提取操作，本公开实施例不对特征提取操作进行限定，比如，其可以是卷积操作或者多尺度卷积操作，第四分支和第五分支分别与上述第一分支和第二分支进行连接，上述第四分支和第五分支均用于进行特征过滤操作。特征过滤操作包括重要度判断操作和基于重要度的特征抹除操作，以第四分支为例对本公开实施例独创的特征过滤操作进行详述：

(1)对第一分支输出的第一特征提取结果进行区域划分，得到至少九个区域。

(2)对上述第一特征提取结果中对应于每一区域的信息进行重要度判断，得到每一区域对应的重要度；

(3)将上述第一特征提取结果中重要度大于预设阈值的区域对应的信息抹除，得到第一修正信息。

(4)将上述第一修正信息作为第二分支的输入。

本公开实施例认为较为重要的区域对应的信息在第一特征提取结果中已经被表达出来了，将这些信息抹除后，不甚重要的区域对应的信息被记录在第一修正信息中，将第一修正信息输入下一分支继续进行特征提取，可以达到挖掘隐蔽信息的作用，从而使得在相关技术中难以被提取到的信息在下一分支被提取出来，基于这一构思可以逐层挖掘出难以被提取到的信息。最后，对第一分支、第二分支和第三分支输出的第一特征提取结果、第二特征提取结果和第三特征提取结果进行融合，可以将逐层挖掘出的信息融合起来，得到具备强辨识力的第一特征信息。

S203.基于上述基于注意力的编码网络对上述样本图像进行基于注意力的编码处理，得到第二特征信息。

本公开实施例认为传统的卷积网络的特征提取能力是不足的，这一问题本公开实施例通过设计独有的分级卷积网络进行多层级挖掘，从而在一定程度弥补了这一不足。但是本公开实施例认为即使使用了分级卷积网络提取到了充分具备辨识力的信息，这些信息的质量仍然不一定能满足本公开实施例对于边界预测准确度的要求，原因在于，本公开实施例认为分级卷积网络以卷积操作作为特征提取的核心操作，而卷积操作对于全局信息的把控能力有限，较多地关注的是卷积感受野以内的局部信息，对于全局信息把控能力的不足一定程度上影响了第一特征信息的表现力，为了弥补这一问题，本公开实施例就提出对于样本图像进行基于注意力的编码处理，基于注意力的编码处理的过程可以将样本图像进行序列化，对序列化结果的编码过程关注的是全局信息，从而使得得到的第二特征信息中包含足够的全局信息，基于注意力的编码操作与卷积操作的执行过程本公开不做赘述，可以参考相关技术。

相关技术中的基于注意力的编码处理中对每个编码点一视同仁，本公开实施例认为这一处理方式会降低本公开实施例中神经网络的收敛速度，也是不甚合理的，本公开实施例提出在进行基于注意力的编码处理的过程中为每个编码点设置权值，每个权值表征该编码点的重要程度，在对每个编码点进行基于注意力的编码处理以得到该编码点对应的编码信息后，对各编码点进行基于权值的信息融合，得到上述第二特征信息。这一操作的主要目的在于，使得上述神经网络可以更快速的收敛。

本公开实施例认为权值设置的合理程度对于收敛的速度具有一定影响。本公开实施例中进一步公开对编码点PA的权值的计算方法，其中PA为上述编码点中的任一编码点，上述权值计算方法包括：计算除编码点PA之外的其它编码点对应的编码信息，与编码点A对应的编码信息的距离，基于该距离确定上述权值。基于距离确定权值可以使得权值的设置合理化，进一步提升收敛效果。

S204.基于上述融合网络对上述第一特征信息和上述第二特征信息进行融合处理，得到第三特征信息。

本公开实施例中第一特征信息包括充分的具备辨识力的信息并且对样本图像中的局部进行了充分关注，第二特征信息对样本图像的全局进行了充分关注，融合第一特征信息和第二特征信息后得到的第三特征信息兼具这些优势，是一种非常优质的信息。

S205.将上述第三特征信息输入上述识别网络，得到边界预测信息。

S206.基于上述边界预测信息和上述标签的差异，优化上述神经网络的参数。

本公开实施例中神经网络的损失包括两部分，其中一部分是基于上述边界预测信息和上述标签的差异产生的第一损失，另一部分因为重要度判断产生的第二损失，也就是说，第二损失是各个执行重要度判断操作的分支产生的损失，以图4为例，就是第四分支和第五分支产生的损失的和。具体来说，以第四分支产生的损失为例，上述第四分支产生的损失可以通过下述方法确定：

S301.针对每一区域，对上述第一特征提取结果中上述区域对应的信息进行抹除，并对抹除后的结果进行目标识别处理，基于目标识别结果与上述标签的差异确定上述区域的重要度。

本公开实施例中目标识别处理可以基于相关技术中的成熟网络，对此不做限定。因为这个目标识别处理只是用于确定各个区域的相对重要度而已，不具有绝对性意义，因此对于目标识别处理算法的质量要求不高，使用成熟的网络即可。可以理解的是，目标识别结果与上述标签的差异越小，说明上述区域越不重要。

S302.对上述第一特征提取结果中上述区域对应的信息进行自融合操作，得到上述区域对应的信息指标值。

本公开实施例中并不限定上述自融合操作的具体类型，就是对上述第一特征提取结果中上述区域对应的信息自身进行融合，最终将这些信息融合为一个值(信息指标值)

S303.对每一区域的重要度和每一区域的信息指标值均进行归一化处理，并对归一化处理的结果进行融合，得到每一区域对应的重要度参考值。

S304.将上述第一特征提取结果输入第四分支，得到每一区域对应的重要度预测值。

S305.基于上述重要度参考值和上述重要度预测值的差异，得到上述第四分支的损失。

基于上述第一损失和上述第二损失训练上述神经网络，即可使得该神经网络可以识别出第一图像中的各个物品，从而得到各个物品的边界信息。本公开实施例中提及的融合可以参考相关技术，对此不作限定，神经网络领域的融合操作都可以参考选用用于支撑本公开实施例。本公开实施例中基于上述神经网络可以得到较为准确的边界信息，从而使得本公开实施例中的机器人可以用于各种复杂场景中进行全自动的物体移动，提升场景适应能力。

本公开实施例还提出一种计算机可读存储介质，上述计算机可读存储介质中存储有至少一条指令或至少一段程序，上述至少一条指令或至少一段程序由处理器加载并执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种机器人，其特征在于，所述机器人包括：

视觉模块，用于对第一空间进行拍摄，得到第一图像，所述第一空间布设有第一物体；

控制模块，用于根据所述第一图像生成控制指令序列，所述控制指令序列用于控制机械手抓取所述第一空间中的第一物体，并将所述第一物体移动至预设位置；

机械手，用于获取所述控制指令序列中的指令，并根据所述指令执行相应的动作；

其中，所述视觉模块包括竖直导轨和沿所述竖直导轨移动的摄像头，所述第一空间中的第一物体以堆叠形式布设；

所述控制模块还用于执行下述操作：

控制所述摄像头沿所述竖直导轨滑动，以使得所述第一空间中位于顶层的第一物体落入所述摄像头的视野的中心区域；

响应于第一指令，拍摄第一图像，所述第一指令为所述机器人的启动指令；

响应于拍摄到所述第一图像的情况，分析所述第一图像，得到所述第一空间中位于顶层的第一物体的分布；

响应于获取所述分布的情况，生成所述控制指令序列；

基于神经网络自动分析所述第一图像，可以输出所述第一图像中所述第一物体的边界信息，从而使得所述控制模块可以得到所述第一图像中所述第一物体的分布；

所述神经网络包括：分级卷积网络、基于注意力的编码网络、融合网络和识别网络；

所述神经网络通过下述方法训练得到：

获取样本图像，所述样本图像的标签为所述样本图像中物体的边界信息；

基于所述分级卷积网络对所述样本图像进行分级卷积处理，得到第一特征信息；

基于所述基于注意力的编码网络对所述样本图像进行基于注意力的编码处理，得到第二特征信息；

基于所述融合网络对所述第一特征信息和所述第二特征信息进行融合处理，得到第三特征信息；

将所述第三特征信息输入所述识别网络，得到边界预测信息；

基于所述边界预测信息和所述样本图像的标签的差异，优化所述神经网络的参数。

2.根据权利要求1所述的机器人，其特征在于，所述摄像头所处的平面与所述第一空间的地面为平行平面。

3.根据权利要求2所述的机器人，其特征在于，所述控制模块还用于执行下述操作：

响应于所述第一图像中拍摄到的物体均被移动至所述预设位置的情况，调整所述摄像头，拍摄第二图像；

根据所述第二图像更新所述第一图像，重复执行所述响应于拍摄到所述第一图像的情况，分析所述第一图像的步骤。

4.根据权利要求1所述的机器人，其特征在于，所述机器人还包括：

人机交互模块，用于接收用户对于所述预设位置的设定，并根据所述设定更新所述控制模块中的所述预设位置。

5.根据权利要求1所述的机器人，其特征在于，所述机器人还包括：

通信模块，与机器人控制终端通信以接收用户对于所述预设位置的设定，并根据所述设定更新所述控制模块中的所述预设位置。

6.根据权利要求1所述的机器人，其特征在于，所述机器人还包括：

支撑装置，所述视觉模块、所述控制模块和所述机械手都固定在所述支撑装置上。

7.根据权利要求6所述的机器人，其特征在于，所述机器人还包括：

滑动装置，所述滑动装置位于所述支撑装置底部，以便于所述机器人整体移动。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7中任意一项所述的一种机器人中的控制模块所执行的操作。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至7中任意一项所述的一种机器人中的控制模块所执行的操作。

Images