CN118893635B - 一种机械臂的控制方法以及机械臂系统 - Google Patents

Abstract

本申请实施例公开了一种机械臂的控制方法以及机械臂系统；本申请在获取机械臂所在作业区的至少一个模态信息后采用任务识别模型对至少一个模态信息进行识别以确定任务场景，然后根据任务场景从预设的神经网络模型集合中筛选出目标神经网络模型，基于目标神经网络模型控制机械臂对作业区中的至少一个目标对象进行作业使得机械臂能够在不同的任务场景下选择相应的目标神经网络模型，从而实现自主地、可靠地自动作业，进而提升机械臂的作业效率和可靠性。

Description

一种机械臂的控制方法以及机械臂系统

技术领域

本发明涉及机械臂的技术领域，具体涉及一种机械臂的控制方法以及机械臂系统。

背景技术

近年来，随着大模型、AI的技术突破，通用人工智能（AGI）在机器人（或者机械臂）领域的应用也越来越广泛。通过对机器人（或者机械臂）进行大量的模型训练，可以让现实环境中的机器人（或者机械臂）具有智能，从而像人一样与环境交互感知，执行各种各样的任务。

发明内容

本申请实施例提供了一种机械臂的控制方法，包括：

获取机械臂所在作业区的至少一个模态信息，所述作业区允许放置至少一个目标对象；

采用任务识别模型对所述至少一个模态信息进行识别，以确定任务场景；

根据所述任务场景，从预设的神经网络模型集合中筛选出目标神经网络模型；

基于所述目标神经网络模型，控制所述机械臂对所述至少一个目标对象进行作业。

本申请实施例提供了一种应用机械臂控制方法的机械臂系统，包括：

机械臂，包括M个关节电机和用于安装执行器的末端， M个关节电机使得所述末端具有m个自由度，执行器用于操作目标对象；

图像采集设备，被配置为采集包含目标对象的图像信息；

控制设备，被配置为获取针对机械臂的作业指令，并通过作业指令确定任务场景，从预设的神经网络模型集合中筛选出与任务场景对应的目标神经网络模型，以基于目标神经网络模型控制机械臂对目标对象进行作业。

本申请的有益效果是：本申请在获取机械臂所在作业区的至少一个模态信息后，采用任务识别模型对至少一个模态信息进行识别以确定任务场景，然后根据任务场景从预设的神经网络模型集合中筛选出目标神经网络模型，基于目标神经网络模型控制机械臂对作业区中的至少一个目标对象进行作业，使得机械臂能够在不同的任务场景下选择相应的目标神经网络模型，从而实现自主地、可靠地自动作业，进而提升机械臂的作业效率和可靠性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的机械臂系统一实施例的结构示意图；

图2是本申请实施例提供的机械臂的控制方法一实施例的流程示意图；

图3是本申请实施例提供的机械臂的控制装置一实施例的结构示意图；

图4是本申请实施例提供的机械臂的控制装置一实施例的结构示意图；

图5是本申请实施例提供的电子设备一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，机械臂系统100可以包括机械臂110、图像采集设备120和控制设备130。其中，本申请所述的机械臂110既可以指传统的固定在某一工位执行某些功能的机械结构，例如机械臂110为协作机械臂，也可以是其他新兴的机械结构（或其一部分），例如机械臂110为人形机器人（或其手臂）。

其中，机械臂110可以包括M个关节电机和用于安装执行器的末端，该M个关节电机使得末端具有m个自由度，该执行器用于操作目标对象。

其中，本申请中，关节电机通常用于使得机器人（或者机械臂）的关节具有运动的能力。关节电机可以包括直流无刷电机、步进电机、直流电机、伺服电机、舵机等，选择取决于应用需求，如所需的扭矩、速度、精度以及功率效率等因素。进一步地，自由度是确定一个系统在空间中的位置所需要的最小坐标数。其中，m可以是大于零的自然数，比如m为4、6或其它数值。例如：机械臂的末端能在空中完全自由地运动，至少需要用六个量（例如直角坐标x, y, z与三个角度θ, φ, ρ）才能确定其位置，也即末端在空中具有6个自由度。

其中，执行器可以是夹爪、吸盘或者其他可以执行目标操作的机构。执行器的驱动或者控制类型可以包括电动、气动以及液压，等等。

其中，目标对象可以理解为机械臂系统100执行目标任务下的操作对象。比如，以目标任务为叠衣服为例，目标对象就可以包括至少一件需要叠的衣服，或者，以目标任务为洗盘子为例，目标对象就可以包括至少一个需要清洗的盘子，等等。

其中，图像采集设备120可以采集包含目标对象的图像信息。图像信息的类型可以有多种，比如，可以包括RGB图像、深度图像、红外图像、3D点云信息、或者其他颜色空间或类型的图像，等等。

其中，控制设备130可以是服务器，也可以是终端等设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、以及大数据和人工智能平台等云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

进一步地，控制设备130被配置为获取针对机械臂的作业指令，并通过作业指令确定任务场景，从预设的神经网络模型集合中筛选出与任务场景对应的目标神经网络模型，以基于目标神经网络模型控制机械臂对目标对象进行作业，详见后文中的相关描述。

其中，作业指令可以理解为触发机械臂针对目标对象进行作业的指令，作业指令可以通过图像信息生成。

在一些实施例中，机械臂系统100还可以包括语音采集设备，语音采集设备可以包括麦克风或者其他可以采集音频或语音信息的设备。该语音采集设备可以被配置为采集用户的语音信息，通过语音采集设备采集到用户的语音信息之后，还可以通过语音信息生成作业指令。

在一些实施例中，结合图1，本申请实施例可以提供一种应用于机械臂系统100的机械臂的控制方法，如图2所示，该机械臂控制方法的具体流程可以如下：

210、获取机械臂所在作业区的至少一个模态信息。

其中，作业区允许放置至少一个目标对象。目标对象可以理解为作业区内放置的拟被机械臂作业的对象。比如，作业区内放置一个苹果，机械臂可以切或者削苹果，那么该苹果就是目标对象。进一步地，模态信息可以包括各种类型的图像、视频、音频或文本等。相应地，可以通过图像采集设备采集机械臂所在区域的图像信息，从而得到至少一个图像模态下的模态信息，还可以通过音频采集设备采集机械臂所在区域的音频信息，从而得到音频模态下的模态信息，还可以各种类型的传感器采集机械臂所在区域的信息，从而得到至少一个模态信息，等等。

其中，触发获取机械臂在作业区的至少一个模态信息的方式可以包括：获取针对机械臂的作业指令，响应于作业指令，获取机械臂所在区域的至少一个模态信息。其中，作业指令可以理解为触发机械臂在作业区域开始作业的指令信息。

在一些实施例中，获取针对机械臂的作业指令的方式可以包括：显示任务列表，该任务列表包括至少一个预设任务，响应于针对任务列表的选择操作，确定任务信息，基于任务信息，生成作业指令。其中，预设任务可以为预先设定的机械臂可以执行的任务，比如，可以包括“做饭任务”、“清洁任务”、以及“搬运任务”等。进一步地，显示任务列表的方式可以有多种，比如，可以显示机械臂启动页面，该启动页面包括任务选择控件，响应于针对任务选择控件的触发操作，显示任务选择界面，任务选择界面上包括任务列表。

在显示任务列表之后，用户可以通过点击或者鼠标选择等方式对任务列表进行选择操作，然后，响应于针对任务列表的选择操作，确定任务信息。任务信息可以理解为包含选择的任务的信息，比如，可以包括任务标识、任务属性信息、任务启动时间、停止时间、任务预设结果信息或者其他与任务相关的信息。

在一些实施例中，获取针对机械臂的作业指令的方式还可以包括：接收针对机械臂的控制请求，该控制请求携带机械臂对应的任务信息，基于任务信息，生成作业指令。其中，控制请求可以理解为对机械臂进行控制的请求。

其中，机械臂系统中触发针对机械臂的控制请求的方式可以有多种，比如，可以在机械臂系统上相应的设置按钮等触发控件，譬如，可以设置“做饭任务”对应的按钮、“清洁任务”对应的按钮、以及“搬运任务”对应的按钮，然后当检测到用户按动“清洁任务”对应的按钮，就生成相应的机械臂控制请求，该控制请求中携带清洁任务对应的任务信息，等等。

在一些实施例中，获取针对机械臂的作业指令的方式还可以包括：可以获取针对机械臂的语音信息，对语音信息进行语音识别，得到任务信息，基于任务信息，生成作业指令。

其中，机械臂系统中可以安装音频采集设备，通过音频采集设备采集针对机械臂的语音信息。在获取到针对机械臂的语音信息之后，便可以通过语音识别模型等方式对语音信息进行语音识别，从而得到任务信息。

220、采用任务识别模型对至少一个模态信息进行识别，以确定任务场景。

其中，任务识别模型可以理解、识别出目标对象所对应的任务或者场景的模型，例如CNN、RNN、DNN、LSTM、transformer或者其他可以进行任务或场景识别的模型。进一步地，任务场景可以为需要对目标对象进行作业的任务或场景。比如，以目标对象为一个碗为例，任务场景就可以包括洗碗、移动碗或者其他对碗进行作业的任务或者场景。

采用任务识别模型对至少一个模态信息进行识别，以确定任务场景的方式可以有多种，具体可以如下：

例如，可以采用任务识别模型，在至少一个模态信息中识别出目标对象的对象信息。其中，对象信息可以理解为指示目标对象的对象类型、对象标识或者其他属性的信息，比如，以目标对象为碗为例，对象信息就可以包括碗的类型、碗的标识、碗的颜色、碗的尺寸、碗在作业区的位置或者其他属性信息，等等。具体而言，可以采用任务识别模型分别对每一模态信息进行识别，得到目标对象的至少一个初始对象信息，并将初始对象信息进行融合，得到目标对象的对象信息；或者，还可以在预设的任务识别模型集合中筛选出每一模态信息对应的任务识别模型，采用任务识别模型对对应的模态信息进行对象识别，从而得到每一模态信息对应的初始对象信息，将初始对象信息进行融合，从而得到目标对象的对象信息，等等。

（1）当目标对象为一个时，就可以将对象信息作为第一对象信息，根据第一对象信息，在预设的任务场景集合中筛选出任务场景。根据第一对象信息，在预设的任务场景集合中筛选出任务场景的方式可以有多种，比如，可以在预设的任务场景集合中筛选出第一对象信息对应的至少一个候选任务场景，并根据作业指令，在候选任务场景中筛选出目标对象对应的任务场景，或者，还可以在第一对象信息中提取出目标对象的对象标识或类型，在预设的任务场景集合中筛选出对象标识或类型对应的任务场景作为目标对象对应的任务场景，等等。

其中，在预设的任务场景集合中筛选出第一对象信息对应的至少一个候选任务场景的方式可以有多种，比如，以第一对象信息指示目标对象为碗为例，就可以在预设的任务场景集合中筛选出与碗相关的至少一个候选任务场景，譬如，可以包括清洁任务（洗碗）、搬运任务（将碗放置/搬运/移动至指定地点）、或者将特定的物品放置在该碗中等各种候选任务场景。

在筛选出至少一个候选任务场景之后，便可以根据任务指令，在候选任务场景中筛选出目标对象对应的任务场景。根据任务指令，在候选任务场景中筛选出目标对象对应的任务场景的方式可以有多种，比如，确定作业指令的作业类型，并在候选任务场景中筛选出作业类型对应的任务场景，譬如，还是以目标对象为碗为例，如果作业类型为清洁作业，就可以在候选任务场景中筛选出洗碗作为任务场景，如果作业类型为搬运作业，就可以在候选任务场景中筛选出搬运碗作为任务场景，等等。

（2）当目标对象为多个时，可以将对象信息作为第二对象信息，基于第二对象信息，将目标对象进行对比，并基于对比结果和作业指令，在预设的任务场景集合中筛选出任务场景。

其中，基于第二对象信息，将目标对象进行对比的方式可以有多种，比如，可以在第二对象信息中识别出每一目标对象对应的当前对象信息，将当前对象信息进行对比，得到对比结果，该对比结果指示目标对象是否为同一类对象，譬如，目标对象包括大碗、小碗和盘子，此时，大碗和小碗就可以属于同一类对象，大碗与盘子或者小碗和盘子就不属于同一类对象。

在基于第二对象信息，将目标对象进行对比之后，便可以基于对比结果和作业指令，在预设的任务场景集合中筛选出任务场景。基于对比结果和作业指令，在预设的任务场景集合中筛选出任务场景的方式可以有多种，比如，当目标对象为同一类别对象时，根据第二对象信息，在预设的任务场景集合中筛选出任务场景，当目标对象为不同类别对象时，根据第二对象信息，在预设的任务场景集合中筛选出每一目标对象对应的候选任务场景，并基于作业指令，在候选任务场景中确定出任务场景。

其中，当目标对象为同一类别对象，根据第二对象信息，在预设的任务场景集合中筛选出任意一个目标对象的候选任务场景，并将该候选任务场景作为任务场景。

其中，当目标对象为不同类别时，就可以根据第二对象信息在预设的任务场景集合中筛选出每一目标对象对应的候选任务场景。当作业指令基于任务信息生成时，基于任务信息，在候选任务场景中筛选出任务场景，当作业指令基于作业区的对象检测结果生成时，获取候选任务场景的属性信息，并基于属性信息，对候选任务场景进行排序，以得到任务场景。

其中，基于任务信息，在候选任务场景中筛选出任务场景的方式可以有多种，比如，可以在任务信息中识别出任务场景标识或类型，在候选任务场景中筛选出任务场景标识或类型对应的候选任务场景，从而得到任务场景，或者，还可以基于任务信息，确定候选任务场景的执行优先级，在候选任务场景中筛选出执行优先级最大的候选任务场景作为任务场景，或者，还可以基于任务信息，确定机械臂针对每一目标对象的作业顺序，基于作业顺序，对目标对象对应的候选任务场景进行排序，基于排序结果，在候选任务场景中筛选出任务场景，等等。

其中，执行优先级可以理解为执行任务场景下的目标任务的优先级。基于任务信息，确定候选任务场景的执行优先级的方式可以有多种，比如，以候选任务场景包括洗菜、切菜和装盘为例，当任务信息中指示需要清洗蔬菜时，洗菜的执行优先级就可以设定为最高，当任务信息中指示需要切菜时，切菜的执行优先级就可以为设定为最高，依次类推。

其中，基于任务信息，确定机械臂针对目标对象的作业顺序的方式可以有多种，比如，以目标对象包括对象A、B和C为例，任务信息中指示机械臂先对对象A进行作业，再对对象B进行作业，最后对对象C进行作业，此时，作业顺序就可以包括对象A-B-C。

在确定出机械臂针对目标对象的作业顺序之后，便可以基于作业顺序，对目标对象对应的候选任务场景进行排序，并基于排序结果，在候选任务场景中筛选出任务场景。比如，以作业顺序为对象A-B-C，排序结果就可以包括对象A对应的候选任务场景-对象B对应的候选任务场景-对象C对应的候选任务场景，此时，就可以将对象A对应的候选任务场景作为当前需要执行的任务场景。

其中，候选任务场景的属性信息可以理解为指示候选任务场景的至少一个属性的信息，比如，可以包括候选任务场景的标识、类型、执行条件、执行权限、执行优先级或者其他与属性相关的信息。基于属性信息，对候选任务场景进行排序的过程可以有多种，比如，可以在属性信息中提取出执行优先级，基于执行优先级，对候选任务场景进行排序，并基于排序结果，在候选任务场景中筛选出任务场景，或者，还可以在属性信息中确定出候选场景任务的执行条件，并基于执行条件，确定候选场景任务的执行优先级，基于执行优先级，对候选任务场景进行排序，并基于排序结果，在候选任务场景中筛选出任务场景，等等。

其中，基于执行条件，确定候选任务场景的执行优先级的方式可以有多种，比如，以候选任务场景A（炒菜）的执行条件为候选任务场景B（洗菜）完成之后开始执行为例，此时，就可以确定候选任务场景B的执行优先级大于候选任务场景A，依次类推，从而确定出每一候选任务场景的执行优先级，等等。

230、根据任务场景，从预设的神经网络模型集合中筛选出目标神经网络模型。

其中，预设的神经网络模型集合可以理解为预先设定的训练后的神经网络模型。训练后的神经网络模型可以通过上文的模型训练方法训练得到。

其中，根据任务场景，从预设的神经网络模型集合中筛选出目标神经网络模型的方式可以有多种，具体可以如下：

例如，可以根据任务场景，确定出对应的目标任务，从预设的神经网络模型集合中筛选出目标任务对应的神经网络模型，从而得到目标神经网络模型。

其中，根据任务场景，确定出对应的目标任务的方式可以有多种，比如，可以获取预设的神经网络模型集合对应的任务集合，在任务集合中筛选出任务场景对应的任务，从而得到目标任务。

其中，所谓目标任务可以理解为机械臂在该任务场景下需要执行的任务。比如，以任务场景为洗碗场景为例，该任务场景对应的目标任务就可以为洗碗，或者，以任务场景为搬运场景为例，该任务场景对应的目标任务就可以为搬运目标对象，等等。

在确定出对应的目标任务之后，便可以从预设的神经网络模型集合中筛选出目标任务对应的神经网络模型。从预设的神经网络模型集合中筛选出目标任务对应的神经网络模型的方式可以有多种，比如，可以确定出目标任务的任务标识，在预设的神经网络模型集合中筛选出任务标识对应的神经网络模型，从而得到目标神经网络模型，等等。

在一些实施例中，根据任务场景，从预设的神经网络模型中筛选出目标神经网络模型的方式还可以包括：根据任务场景，确定出对应的目标任务，从预设的神经网络模型集合中筛选出目标任务对应的神经网络模型，得到初始神经网络模型，获取目标任务对应的模型配置参数，并基于模型配置参数对初始神经网络模型进行配置，从而得到目标神经网络模型。

其中，初始神经网络模型可以理解为未训练或者预训练的用于执行至少一个任务的通用神经网络模型。

其中，模型配置参数可以理解为对神经网络模型进行训练后，得到的目标任务对应的神经网络模型的网络参数。基于模型配置参数对初始神经网络模型进行配置的方式可以有多种，比如，可以将初始神经网络模型中的网络参数替换为模型配置参数中的网络参数，从而得到目标神经网络模型。

在一些实施例中，根据任务场景，从预设的神经网络模型中筛选出目标神经网络模型之前，还可以对神经网络模型进行训练，从而得到目标神经网络。对神经网络模型进行训练的方式可以有多种，比如，可以通过主机械臂遥操作现实环境中的从机械臂执行目标任务，以训练目标任务对应的神经网络模型，从而得到目标神经网络模型，或者，还可以通过虚拟环境中的从机械臂执行目标任务，以训练目标任务对应的神经网络模型，从而得到目标神经网络模型，具体可以如下：

（1）通过主机械臂遥操作现实环境中的从机械臂执行目标任务，以训练目标任务对应的神经网络模型。

例如，可以获取主机械臂运动后的第一位姿数据后，获取从机械臂跟随主机械臂运动后的第二位姿数据和目标对象的第一图像信息，然后，返回执行获取主机械臂运动后的第一位姿数据的步骤，直至执行完目标任务时为止，得到训练数据集，然后，采用训练数据集对神经网络模型进行训练，以得到从机械臂针对目标任务的目标神经网络模型。

其中，获取主机械臂运动后的第一位姿数据的方式可以有多种，比如，可以直接读取主机械臂运动后的第一位姿数据，或者，可以接收机械臂系统对应的终端或客户端返回的主机械臂在运动后的第一位姿数据，或者，还可以接收第三方设备发送的主机械臂的手柄在笛卡尔坐标系下的第一位置，并对第一位置进行运动学逆解，得到主机械的N个关节电机的第一角位置，将第一角位置作为主机械臂运动后的第一位姿数据，等等。

在获取主机械臂运动后的第一位姿数据之后，便可以获取现实环境下的从机械臂跟随主机械臂运动后的第二位姿数据和目标对象的第一图像信息。获取第二位姿数据和目标对象的第一图像信息的方式可以有多种，比如，可以基于第一位姿数据，生成控制现实环境中的从机械臂的控制指令，基于控制指令，控制现实环境中的从机械臂跟随主机械臂进行运动，获取从机械臂在跟随主机械臂运动后的第二角位置和执行器的第二状态信息，当然也可以仅获取第二角位置，从而得到第二位姿数据，然后，还可以通过图像采集设备采集从机械臂在跟随主机械臂运动后的目标对象的至少一个尺度的图像信息，从而得到第一图像信息。

在获取现实环境中从机械臂的第二位姿数据和目标对象的第一图像信息之后，便可以返回执行获取主机械臂运动后第一位姿数据的步骤，直至执行完目标任务时为止，得到第二训练数据集。比如，可以返回执行获取主机械臂运动后的第一位姿数据的步骤，直至从机械臂执行完一次目标任务，当停止条件为执行一次目标任务时，此时，就可以停止获取主机械臂运动后的第一位姿数据，并停止获取现实环境中从机械臂跟随主机械臂运动的第二位姿数据和第一图像信息，将获取到的至少一个第一位姿数据、至少一个第二位姿数据和至少一个第一图像信息作为目标任务对应的训练数据集；当停止条件为执行预设次数的目标任务时，此时，就可以返回继续执行获取主机械臂运动后的第一位姿数据，直至执行完预设次数的目标任务时为止，将获取到的至少一个第一位姿数据、至少一个第二位姿数据和至少一个第一图像信息作为目标任务对应的训练数据集。

在获取到目标任务对应的训练数据集之后，便可以对目标任务对应的神经网络模型进行训练，从而得到训练后的目标神经网络模型。比如，训练数据集，采用神经网络模型预测每一时间步的下一时间步的位姿数据，得到预测位姿数据集合，在训练数据集中筛选出与预测位姿数据集合中的预测位姿数据对应的目标数据标签，基于目标数据标签，确定预测位姿数据对应的位姿损失，并基于位姿损失对神经网络模型进行收敛，得到目标神经网络模型。

其中，预测位姿数据集合可以包括预测得到的每一时间步下从机械臂的位姿数据。在本方案中可以将训练数据集中针对目标任务的初始训练数据集输入神经网络模型中，神经网络模型可以输出针对目标任务的预测位姿数据集合。由于初始训练数据集中包括多个时间步的位姿数据和目标对象的图像信息，因而，可以按照时间步的先后顺序，依次预测每一时间步的下一时间步从机械臂的位姿数据，从而得到预测位姿数据集合。

其中，在训练数据集中筛选出与预测位姿数据集合中的预测位姿数据对应的目标数据标签的方式可以有多种，比如，可以在训练数据集中筛选出每一分步动作对应的时间步的数据标签作为该时间步的目标数据标签，从而得到每一时间步的预测位姿数据对应的目标数据标签。

在筛选出预测位姿数据对应的目标数据标签之后，便可以基于目标数据标签，确定预测位姿数据对应的位姿损失。确定预测位姿数据对应的位姿损失的方式可以有多种，比如，可以计算预测位姿数据与对应的目标损失之间的差异，从而得到该预测位姿数据对应的位姿损失。

在确定出预测位姿数据对应的位姿损失之后，便可以基于位姿损失对神经网络模型进行收敛，从而得到目标神经网络模型。基于位姿损失对神经网络模型进行收敛的方式可以有多种，比如，可以采用梯度下降算法，基于位姿损失对神经网络模型的网络参数进行更新，从而得到更新后神经网络模型，并将更新后神经网络模型作为神经网络模型，返回执行基于目标数据标签，确定预测位姿数据对应的位姿损失的步骤，直至神经网络模型收敛时为止，从而得到目标神经网络模型，或者，还可以采用动量算法对神经网络模型的网络参数进行更新，从而得到更新后神经网络模型，并将更新后神经网络模型作为神经网络模型，返回执行基于目标数据标签，确定预测位姿数据对应的位姿损失的步骤，直至神经网络模型收敛时为止，从而得到目标神经网络模型，等等。

（2）通过虚拟环境中的从机械臂执行目标任务，以训练目标任务对应的神经网络模型。

例如，可以显示数据采集页面，数据采集页面包括虚拟环境中的从机械臂和目标对象；响应于针对从机械臂的控制指令，控制从机械臂在虚拟环境中对目标对象进行作业，以执行目标任务；再采集从机械臂在虚拟环境中的位姿数据和目标对象的图像信息，直至从机械臂完成目标任务，以得到训练数据集，训练数据集用于训练与目标任务对应的神经网络模型。

其中，显示数据采集页面的方式可以有多种，比如，可以采用虚拟现实技术将机械臂系统在现实环境下的从机械臂映射到虚拟环境中，生成虚拟的从机械臂。与此同时，还可以将机械臂系统100执行目标任务所针对的操作对象（即目标对象）映射到虚拟环境中，生成虚拟的目标对象，基于虚拟的从机械臂和虚拟的目标对象，生成数据采集页面，并显示数据采集页面。

其中，控制指令可以理解为用户在现实环境下针对虚拟环境中的从机械臂设置的交互指令，控制指令的作用对象为虚拟环境中的从机械臂。从机械臂在虚拟环境中对目标对象进行作业的过程可以理解为从机械臂在控制指令的控制下，针对目标对象作出一系列动作的过程。从机械臂的末端可以设置有执行器，控制指令可以包括运动指令和操作指令，运动指令控制从机械臂在虚拟环境中运动，操作指令控制执行器在虚拟环境中对目标对象进行操作。

在响应于针对从机械臂的控制指令，控制从机械臂在虚拟环境中对目标对象进行作业之后，便可以采集从机械臂在虚拟环境中的位姿数据和目标对象的图像信息，直至从机械臂完成目标任务，以得到训练数据集。比如，采集从机械臂在虚拟环境中每一时间步的位姿数据和目标对象的图像信息，得到初始训练数据集，获取与初始训练数据集对应的数据标签，并将数据标签添加至初始训练数据集，得到训练数据集。

在得到训练数据集之后，便可以基于训练数据集对目标任务对应的神经网络模型进行训练，从而得到目标任务对应的目标神经网络模型。基于训练数据集对神经网络模型进行训练的过程可以参见上文所述，在此就不再一一赘述。

240、基于目标神经网络模型，控制机械臂对至少一个目标对象进行作业。

例如，可以获取机械臂的位姿数据和至少一个目标对象的图像信息，基于位姿数据和图像信息，采用目标神经网络模型预测机械臂在当前时刻的下一个时间步的位姿数据，得到预测位姿数据，基于预测位姿数据，生成针对机械臂的控制指令，根据控制指令，控制机械臂针对至少一个目标对象进行作业，返回执行获取机械臂的位姿数据和至少一个目标对象的图像信息的步骤，直至达到预设停止条件时为止，以执行任务场景下的目标任务。

其中，机械臂可以包括M个关节电机和用于安装执行器的末端，该M个关节使得末端具有m个自由度，该执行器用于操作目标对象。获取机械臂的位姿数据和至少一个目标对象的图像信息的方式可以有多种，比如，可以读取M个关节电机的角位置和执行器的状态信息，从而得到机械臂的位姿数据，通过图像采集设备采集至少一个目标对象的图像信息。

在获取机械臂的位姿数据和至少一个目标对象的图像信息之后，便可以基于位姿数据和图像信息，采用目标神经网络模型预测机械臂在当前时刻的下一个时间步的位姿数据，从而得到预测位姿数据。采用目标神经网络模型预测机械臂在当前时刻的下一个时间步的位姿数据的方式可以有多种，比如，可以将当前时刻的下一个时间步作为目标时间步，基于位姿数据和图像信息，采用目标神经网络模型预测当前时刻对应的当前时间步之后的至少一个时间步的位姿数据，得到预测运动序列数据，在历史预测运动序列数据中筛选出当前时间步之前的预设数量的时间步对应的预测运动序列数据，得到历史预测运动序列数据，将预测运动序列数据和历史运动序列数据进行融合，得到目标时间步的预测位姿数据。

其中，基于位姿数据和图像信息，采用目标神经网络模型预测当前时刻对应的当前时间步之后的至少一个时间步的位姿数据的方式可以有多种，比如，可以采用目标神经网络模型对位姿数据进行特征提取，得到第二风格变量特征，对图像信息进行多维特征提取，得到至少一个维度的第二图像特征，将第二图像特征进行融合，得到第二目标图像特征，基于位姿数据、第二风格变量特征和第二目标图像特征，预测当前时间步之后的至少一个时间步的位姿数据，从而得到预测运动序列数据。

其中，将预测运动序列数据和历史运动序列数据进行融合的方式可以有多种，比如，可以在预测运动序列数据中提取出目标时间步的位姿数据，得到第一候选位姿数据，在历史预测运动序列数据中提取出目标时间步的位姿数据，得到第二候选位姿数据，将第一候选位姿数据和第二候选位姿数据进行融合，从而得到目标时间步的预测位姿数据。

其中，将第一候选位姿数据和第二候选位姿数据进行融合的方式可以有多种，比如，可以获取位姿数据融合权重，基于位姿数据融合权重，分别对第一候选位姿数据和第二候选位姿数据进行加权，得到加权后第一位姿数据和加权后第二位姿数据，将加权后第一位姿数据和加权后第二位姿数据相加，从而得到目标时间步的预测位姿数据。

在基于位姿数据和图像信息，采用目标神经网络模型预测机械臂在当前时刻的下一时间步的位姿数据之后，便可以基于预测出的预测位姿数据，生成针对机械臂的控制指令。控制指令可以包括运动指令和操作指令，运动指令控制机械臂进行运动，操作指令控制执行器对目标对象进行操作或作业。基于预测出预测位姿数据，生成针对机械臂的控制指令的方式可以有多种，比如，可以在预测位姿数据中提取出M个关节电机的预测角位置和执行器的预测状态信息，基于预测角位置和预测状态信息，分别生成针对M个关节电机的运动指令和生成针对执行器的操作指令，将运动指令和操作指令作为针对机械臂的控制指令，从而生成针对机械臂的控制指令。

在基于预测位姿数据，生成针对机械臂的控制指令之后，便可以根据控制指令，控制机械臂对至少一个目标对象进行作业。根据控制指令，控制机械臂对至少一个目标对象进行作业的方式可以有多种，比如，通过运动指令控制机械臂的M个关节电机运动，通过操作指令控制执行器对至少一个目标对象进行操作，以对至少一个目标对象进行作业。

在根据控制指令，控制机械臂对至少一个目标对象进行作业之后，便可以返回执行获取机械臂的位姿数据和至少一个目标对象的图像信息的步骤，直至达到预设停止条件时为止，以执行完任务场景下的目标任务。

其中，预设停止条件可以理解为预先设定的用于停止机械臂对至少一个目标对象进行作业的条件。预设停止条件可以有多种，比如，可以包括目标对象达到预设状态或者指定位置，或者，可以包括机械臂针对至少一个目标对象的作业次数达到预设次数，或者，还可以包括其他预先设定的停止条件，等等。

由以上可知，本申请在获取机械臂所在作业区的至少一个模态信息后，采用任务识别模型对至少一个模态信息进行识别以确定任务场景，然后根据任务场景从预设的神经网络模型集合中筛选出目标神经网络模型，基于目标神经网络模型控制机械臂对作业区中的至少一个目标对象进行作业使得机械臂能够在不同的任务场景下选择相应的目标神经网络模型，从而实现自主地、可靠地自动作业，进而提升机械臂的作业效率和可靠性。

本申请实施例还提供一种机械臂的控制装置，该机械臂的控制装置可以集成在电子设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。

例如，如图3所示，该机械臂的控制装置具有显示界面，该显示界面能够显示获取模块310、识别模块320、筛选模块330和控制模块340，具体可以如下：

（1）获取模块310，具有至少一行代码，并用于获取机械臂所在作业区的至少一个模态信息，该作业区允许放置至少一个目标对象。

（2）识别模块320，具有至少一行代码，并用于采用任务识别模型对至少一个模态信息进行识别，以确定任务场景。

（3）筛选模块330，具有至少一行代码，并用于根据任务场景，从预设的神经网络模型集合中筛选出目标神经网络模型。

（4）控制模块340，具有至少一行代码，并用于基于目标神经网络模型，控制机械臂对至少一个目标对象进行作业。

在一些实施例中，机械臂控制装置还可以包括训练单元350，具有至少一行代码，并用于对目标任务对应的神经网络模型进行训练，得到目标神经网络，可以如图4所示。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由以上可知，本申请在获取模块310获取机械臂所在作业区的至少一个模态信息后，识别模块320采用任务识别模型对至少一个模态信息进行识别以确定任务场景，然后筛选模块330根据任务场景从预设的神经网络模型集合中筛选出目标神经网络模型，控制模块340基于目标神经网络模型控制机械臂对作业区中的至少一个目标对象进行作业；使得机械臂能够在不同的任务场景下选择相应的目标神经网络模型，从而实现自主地、可靠地自动作业，进而提升机械臂的作业效率和可靠性。

本申请实施例还提供一种电子设备，如图5所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器410、一个或一个以上计算机可读存储介质的存储器420、电源430和输入单元440等部件。本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器410是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行电子设备的各种功能和处理数据。

存储器420可用于存储软件程序以及模块，处理器410通过运行存储在存储器420的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。

电源430可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

输入单元440可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器410会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器420中，并由处理器410来运行存储在存储器420中的应用程序，从而实现各种功能，如下：

获取机械臂所在作业区的至少一个模态信息后，该作业区允许放置至少一个目标对象，采用任务识别模型对至少一个模态信息进行识别，以确定任务场景，然后，根据任务场景，从预设的神经网络模型集合中筛选出目标神经网络模型，基于目标神经网络模型，控制机械臂对至少一个目标对象进行作业。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种机械臂的控制方法中的步骤。例如，该指令可以执行如下步骤：

获取机械臂所在作业区的至少一个模态信息后，该作业区允许放置至少一个目标对象，采用任务识别模型对至少一个模态信息进行识别，以确定任务场景，然后，根据任务场景，从预设的神经网络模型集合中筛选出目标神经网络模型，基于目标神经网络模型，控制机械臂对至少一个目标对象进行作业。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种机械臂的控制方法中的步骤，因此，可以实现本申请实施例所提供的任一种机械臂的控制方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述应用与机械臂系统的机械臂控制方面的各种可选实现方式中提供的方法。

以上对本申请实施例所提供的一种机械臂的控制方法以及机械臂系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种机械臂的控制方法，其特征在于，包括：

获取机械臂所在作业区的至少一个模态信息，所述作业区允许放置至少一个目标对象；

采用任务识别模型对所述至少一个模态信息进行识别，以确定任务场景，所述任务场景为需要对所述目标对象进行作业的场景；

获取预设的神经网络模型集合对应的任务集合，在所述任务集合中筛选出所述任务场景对应的任务，得到目标任务，所述目标任务为所述机械臂在所述任务场景下需要执行的任务；

从预设的神经网络模型集合中筛选出所述目标任务对应的神经网络模型，得到目标神经网络模型，所述目标神经网络模型基于所述目标任务对应的训练数据集进行训练得到；

基于所述目标神经网络模型，控制所述机械臂对所述至少一个目标对象进行作业，以执行所述目标任务。

2.根据权利要求1所述的控制方法，其特征在于，所述获取机械臂所在作业区的至少一个模态信息，包括：

获取针对所述机械臂的作业指令；

响应于所述作业指令，获取所述机械臂所在区域的至少一个模态信息。

3.根据权利要求2所述的控制方法，其特征在于，所述获取针对所述机械臂的控制指令，包括：

显示任务列表，所述任务列表包括至少一个预设任务；

响应于针对所述任务列表的选择操作，确定任务信息；

基于所述任务信息，生成所述作业指令。

4.根据权利要求2所述的控制方法，其特征在于，所述获取针对所述机械臂的作业指令，包括：

获取针对所述机械臂的语音信息；

对所述语音信息进行语音识别，得到任务信息；

基于所述任务信息，生成所述作业指令。

5.根据权利要求2所述的控制方法，其特征在于，所述采用任务识别模型对所述至少一个模态信息进行识别，以确定任务场景，包括：

采用所述任务识别模型，在所述至少一个模态信息中识别出所述目标对象的对象信息；

当所述目标对象为一个时，将所述对象信息作为第一对象信息，根据所述第一对象信息，在预设的任务场景集合中筛选出所述任务场景；

当所述目标对象为多个时，将所述对象信息作为第二对象信息，基于所述第二对象信息，将所述目标对象进行对比，并基于对比结果和所述作业指令，在预设的任务场景集合中筛选出所述任务场景。

6.根据权利要求5所述的控制方法，其特征在于，所述基于对比结果和所述作业指令，在预设的任务场景集合中筛选出所述任务场景，包括：

当所述目标对象为同一类对象时，根据所述第二对象信息，在预设的任务场景集合中筛选出所述任务场景；

当所述目标对象为不同类的对象时，根据所述第二对象信息，在预设的任务场景集合中筛选出每一目标对象对应的候选任务场景，并基于所述作业指令，在所述候选任务场景中确定出所述任务场景。

7.根据权利要求6所述的控制方法，其特征在于，所述基于所述作业指令，在所述候选任务场景中确定出所述任务场景，包括：

当所述作业指令基于任务信息生成时，基于所述任务信息，在所述候选任务场景中筛选出所述任务场景；

当所述作业指令基于作业区的对象检测结果生成时，获取所述候选任务场景的属性信息，并基于所述属性信息，对所述候选任务场景进行排序，以得到所述任务场景。

8.根据权利要求1所述的控制方法，其特征在于，所述基于所述目标神经网络模型，控制所述机械臂对所述至少一个目标对象进行作业，以执行所述目标任务，包括：

获取所述机械臂的位姿数据和所述至少一个目标对象的图像信息；

基于所述位姿数据和图像信息，采用所述目标神经网络模型预测所述机械臂在当前时刻的下一个时间步的位姿数据，得到预测位姿数据；

基于所述预测位姿数据，生成针对所述机械臂的控制指令；

根据所述控制指令，控制所述机械臂对所述至少一个目标对象进行作业；

返回执行所述获取所述机械臂的位姿数据和所述至少一个目标对象的图像信息的步骤，直至达到预设的停止条件时为止，以执行完所述任务场景下的目标任务。

9.一种机械臂系统，其特征在于，所述机械臂系统用于执行权利要求1-8任一项所述的控制方法，所述机械臂系统包括：

机械臂，包括M个关节电机和用于安装执行器的末端，所述M个关节电机使得所述末端具有m个自由度，所述执行器用于操作目标对象；

图像采集设备，被配置为采集包含所述目标对象的图像信息；

控制设备，被配置为获取针对所述机械臂的作业指令，并通过所述作业指令确定任务场景，从预设的神经网络模型集合中筛选出与所述任务场景对应的目标神经网络模型，以基于所述目标神经网络模型控制所述机械臂对所述目标对象进行作业。

10.根据权利要求9所述的机械臂系统，其特征在于，所述作业指令通过所述图像信息生成；或者，

所述机械臂系统还包括语音采集设备，所述语音采集设备被配置为采集用户的语音信息，所述作业指令通过所述语音信息生成。