CN110788858B - 一种基于图像的物体校位方法、智能机器人及校位系统 - Google Patents

Abstract

本发明涉及物体校位技术领域，提供了一种基于图像的物体校位方法、智能机器人及校位系统，该方法包括：获取物体在偏出标准位置的偏差位置处对应的原始图像；分别读取与标准位置对应的第一预设标准点坐标和第二预设标准点坐标；基于偏差位置，依据原始图像分别确定与第一预设标准点坐标对应的第一关键像素点坐标和与第二预设标准点坐标对应的第二关键像素点坐标；依据第一关键像素点坐标、第二关键像素点坐标、第一预设标准点坐标和第二预设标准点坐标求解校位参数组；依据校位参数组将物体从偏差位置驱动至标准位置，有效确保了快速地使用校位参数组将物体从偏差位置校位至标准位置，提高了物体的校位精度和校位速度，适用于不同规格的物体。

Description

一种基于图像的物体校位方法、智能机器人及校位系统

技术领域

本发明涉及物体校位技术领域，具体涉及一种基于图像的物体校位方法、智能机器人及校位系统。

背景技术

在产品与装配件组装过程中，装配件往往需要被人工定位在工业生产线上的标准位置，以便于产品被标准化装配至装配件中，例如：一组巧克力被机器人批量装入处在标准位置处的盒子，能够大幅提高装配效率。

受工业生产线和人工等因素制约，装配件会被定位在偏出标准位置的偏差位置处，当装配件处在偏差位置处时，装配件与产品装配的精确性偏低，甚至装配件无法与产品成功装配，有损于装配效率和装配成功率，从而，需要将装配件从偏差位置校位至标准位置，以确保标准化装配装配件和产品。

目前，适用于装配件的物体校位方法主要有如下两种：其一，以人工方式将装配件挪动至标准位置，面对众多装配件，需要耗费大量人力；其二，在工业生产线传送装配件过程中，持续为装配件采集图像，根据不同时刻采集的至少两幅图像计算送距离，根据该距离控制工业生产线，使装配件被工业生产线从偏差位置平移至标准位置，不同图像在被采集及处理过程中需要消耗较长时间，该时间迟滞了传送距离的计算过程，从而，有损于装配件的校位效率。

发明内容

针对现有基于图像的物体校位方法难以快速地将物体从偏差位置校位至标准位置的问题，本发明提供一种基于图像的物体校位方法、智能机器人及校位系统。

本发明第一方面提供的基于图像的物体校位方法，包括：

获取物体在偏出标准位置的偏差位置处对应的原始图像；

分别读取第一预设标准点坐标和第二预设标准点坐标；

基于所述偏差位置，依据所述原始图像分别确定与所述第一预设标准点坐标对应的第一关键像素点坐标和与所述第二预设标准点坐标对应的第二关键像素点坐标；

依据所述第一关键像素点坐标、所述第二关键像素点坐标、所述第一预设标准点坐标和所述第二预设标准点坐标求解校位参数组；

依据所述校位参数组将所述物体从所述偏差位置驱动至所述标准位置。

本发明第二方面提供的智能机器人，包括：机械手臂、驱动器、编码器和相机；

所述相机，用于采集物体在偏出标准位置的偏差位置处的原始图像，并将所述原始图像发送给所述编码器；

所述编码器，用于接收所述原始图像；分别读取第一预设标准点坐标和第二预设标准点坐标；基于所述偏差位置，依据所述原始图像分别确定与所述第一预设标准点坐标对应的第一关键像素点坐标和与所述第二预设标准点坐标对应的第二关键像素点坐标；依据所述第一关键像素点坐标、所述第二关键像素点坐标、所述第一预设标准点坐标和所述第二预设标准点坐标求解校位参数组；

所述驱动器，用于依据所述校位参数组驱动所述机械手臂，使所述物体被所述机械手臂从所述偏差位置驱动至所述标准位置。

本发明第三方面提供的基于图像的物体校位系统，包括：视觉子系统和与所述视觉子系统通信连接的校位子系统；

所述视觉子系统，用于采集物体在偏出标准位置的偏差位置处的原始图像，并将所述原始图像发送给所述校位子系统；

所述校位子系统，用于接收所述原始图像；分别读取第一预设标准点坐标和第二预设标准点坐标；基于所述偏差位置，依据所述所述原始图像分别确定与所述第一预设标准点坐标对应的第一关键像素点坐标和与所述第二预设标准点坐标对应的第二关键像素点坐标；依据所述第一关键像素点坐标、所述第二关键像素点坐标、所述第一预设标准点坐标和所述第二预设标准点坐标求解校位参数组；

依据所述校位参数组将所述物体从所述偏差位置驱动至所述标准位置。

以上基于图像的物体校位方法、智能机器人及校位系统的有益效果是：依据接收到的同一原始图像确定两个关键像素点坐标，有助于简化图像的处理过程，缩短了图像的处理时间，有助于快速地获得两个关键像素点坐标，相比于依据至少两幅图像计算一个作为校位参数的距离，将两个关键像素点与两个预设标准点坐标共同作为校位参数组的计算参数，实现了依据四个点坐标计算至少两个校位参数，避免了依据另一幅原始图像计算两个标准点坐标，缩短了两个标准点坐标的计算时间，既有助于提升四个点坐标的使用率和至少两个校位参数的准确率，也有助于降低校位参数组的迟滞性，进而，有效确保了快速地使用校位参数组将物体从偏差位置校位至标准位置，提高了物体的校位精度和校位速度，适用于不同规格的物体。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于图像的物体校位方法的流程示意图；

图2为本发明提供的一种移动机器人的结构示意图；

图3为对应于图2中的移动机器人的电连接示意图；

图4为本发明提供的一种基于图像的物体校位系统的架构示意图；

图5为对应于图4中的基于图像的物体校位系统的架构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

如图1所示，一种基于图像的物体校位方法，包括以下步骤操作：

步骤100、获取物体在偏出标准位置的偏差位置处对应的原始图像；

步骤200、分别读取与标准位置对应的第一预设标准点坐标和第二预设标准点坐标；

步骤300、基于偏差位置，依据原始图像分别确定与第一预设标准点坐标对应的第一关键像素点坐标和与第二预设标准点坐标对应的第二关键像素点坐标；

步骤400、依据第一关键像素点坐标、第二关键像素点坐标、第一预设标准点坐标和第二预设标准点坐标求解校位参数组；

步骤500、依据校位参数组将物体从偏差位置驱动至标准位置。

第一预设标准点坐标和第二预设标准点坐标用以标识物体在标准位置处的两个离散点，第一关键像素点坐标和第二关键像素点坐标用以标识物体在偏差位置处的两个离散点，两个离散点可以是物体的两个上顶点。

在一些具体方式中，基于图像的物体校位方法可以应用于智能机器人，该智能机器人包括存储器、相机、编码器、驱动器和机械手臂，存储器预存有第一预设标准点坐标、第二预设标准点坐标、预先训练的深度学习模型和校位参数求解程序；相机可以为处在偏差位置处的物体拍摄一幅原始图像，并将该原始图像传送至编码器；编码器在接收到该原始图像时从存储器中读取第一预设标准点坐标、第二预设标准点坐标、深度学习模型和校位参数计算模型，并将原始图像输入深度学习模型，通过深度学习模型对原始图像进行处理，得到第一关键像素点坐标和第二关键像素点坐标，输出第一关键像素点坐标和第二关键像素点坐标；编码器将第一关键像素点坐标、第二关键像素点坐标、第一预设标准点坐标和第二预设标准点坐标输入校位参数求解程序，通过校位参数求解程序对该四个点坐标进行求解，得到校位参数组，输出校位参数组；编码器将校位参数组输入驱动器，驱动器依据校位参数组驱动机械手臂，使物体被机械手臂从偏差位置校位至标准位置。

在一些具体方式中，物体可以是盒子，应用l abe lme工具以点标记方式可以预先标记前述两个预设标准点坐标，并将该两个预设标准点坐标预先记录在json文件；校位参数求解程序可以包括斜率计算模型、角度计算模型、距离计算模型和差值计算模型，校位参数组包括旋转角度和平移参数对。

依据同一原始图像确定两个关键像素点坐标，有助于简化图像的处理过程，缩短了图像的处理时间，有助于快速地获得两个关键像素点坐标，相比于依据至少两幅图像计算一个作为校位参数的距离，将两个关键像素点与两个预设标准点坐标共同作为校位参数组的计算参数，实现了依据四个点坐标计算至少两个校位参数，避免了依据另一幅原始图像计算两个标准点坐标，缩短了两个标准点坐标的计算时间，既有助于提升四个点坐标的使用率和至少两个校位参数的准确率，也有助于降低校位参数组的迟滞性，进而，有效确保了快速地使用校位参数组将物体从偏差位置校位至标准位置，提高了物体的校位精度和校位速度，适用于不同规格的物体。

作为可选的实施方式，步骤300具体包括：

步骤310、读取深度学习模型，深度学习模型包括输入层、隐含层和输出层；

步骤320、将原始图像输入输入层，通过输入层对原始图像进行预处理，得到待识别图像，从输入层输出待识别图像；

步骤330、将待识别图像输入隐含层，通过隐含层对待识别图像进行识别，得到第一关键像素点坐标和第二关键像素点坐标，从隐含层分别输出第一关键像素点坐标和第二关键像素点坐标；

步骤340、分别将第一关键像素点坐标和第二关键像素点坐标输入输出层，从输出层分别输出第一关键像素点坐标和第二关键像素点坐标。

在一些具体施方式中，输入层能够针对原始图像执行尺寸变换、旋转和颜色调整等预处理操作，在图像预处理之后，待识别图像的精度更高；隐含层包括至少一个多层卷积神经网络，例如：多层卷积神经网络的个数为两个，两个多层卷积神经网络为互为级联的第一多层卷积神经网络和第二多层卷积神经网络，能够从待识别图像上快速、精确地识别出两个关键像素点坐标。

作为可选的实施方式，步骤320中，通过隐含层对待识别图像进行识别，得到第一关键像素点坐标和第二关键像素点坐标，具体包括：

步骤321、将待识别图像输入第一多层卷积神经网络，通过第一多层卷积神经网络对待识别图像进行特征提取，得到第一关键特征图和第二关键特征图，输出第一关键特征图和第二关键特征图；

步骤322、将第一关键特征图输入第二多层卷积神经网络，通过第二多层卷积神经网络对第一关键特征图进行坐标提取，得到第一关键像素点坐标，输出第一关键像素点坐标；

步骤323、将第二关键特征图输入第二多层卷积神经网络，通过第二多层卷积神经网络对第二关键特征图进行坐标提取，得到第二关键像素点坐标，输出第二关键像素点坐标。

在一些具体方式中，编码器在读取深度学习模型时启动两个线程，该两个线程分别命名为第一线程和第二线程，在通过第一线程执行步骤321结束之后，通过第二线程分别执行步骤322和步骤323，以降低两个关键特征图的提取难度。

在一些具体方式中，通过第二线程以串行方式执行步骤322和步骤323，以降低两个关键点坐标的提取难度；当然，通过第二线程以并行方式执行步骤322和步骤323，以提高两个关键点坐标的提取速度。

作为可选的实施方式，步骤321具体包括：通过第一多层卷积神经网络对待识别图像进行多层特征提取，得到图像深度特征，并依据图像深度特征分别提取第一关键特征图和第二关键特征图，提高了两个关键特征图的提取精度。

作为可选的实施方式，步骤400具体包括：

步骤410、分别读取斜率计算模型、角度计算模型、距离计算模型和差值计算模型；

步骤420、通过斜率计算模型对第一关键像素点坐标和第二关键像素点坐标进行求解，得到第一斜率；

步骤430、通过斜率计算模型对第一预设标准点坐标和第二预设标准点坐标进行求解，得到第二斜率；

步骤440、通过角度计算模型对第一斜率和第二斜率进行求解，得到旋转角度；

步骤450、通过距离计算模型对第一关键像素点坐标和第二关键像素点坐标进行求解，得到第一横向平均距离和第一纵向平均距离；

步骤460、通过距离计算模型对第一预设标准点坐标和第二预设标准点坐标进行求解，得到第二横向平均距离和第二纵向平均距离；

步骤470、通过差值计算模型对第一横向平均距离和第二横向平均距离进行求解，得到横向平移量；

步骤480、通过差值计算模型对第一纵向平均距离和第二纵向平均距离进行求解，得到纵向平移量；

步骤490、将旋转角度、横向平移量和纵向平移量组合为校位参数组。

在一些具体方式中，步骤420和步骤430以串行方式执行，或/和，步骤450和步骤460以串行方式执行，或/和，步骤470和步骤480以串行方式执行。

在一些具体方式中，步骤420和步骤430能够以并行方式执行，或/和，步骤450和步骤460能够以并行方式执行，或/和，步骤470和步骤480能够以并行方式执行。

在一些具体方式中，第一关键像素点坐标、第二关键像素点坐标、第一预设标准点坐标和第二预设标准点坐标均为二维坐标，以第一关键像素点坐标和第二关键像素点坐标为例，斜率计算模型执行对第一关键像素点坐标和第二关键像素点坐标进行分布求解，具体为：计算第一关键像素点坐标中的纵坐标与第二关键像素点坐标中的纵坐标之间的差值，得到第一差值，并计算第一关键像素点坐标中的横坐标与第二关键像素点坐标中的横坐标之间的差值，得到第二差值，以及计算第一差值与第二差值的比值，以该比值作为第一斜率，通过斜率计算模型支持快速地求解出两个斜率，从而，提高了两个斜率的求解速度，有助于为快速地计算校位参数组提供保障。

在一些具体方式中，距离计算模型执行对第一关键像素点坐标和第二关键像素点坐标进行分步求解，具体为：对第一关键像素点坐标中的横坐标和第二关键像素点坐标中的横坐标进行算术平均计算，得到第一算术平均值，以该第一算术平均值作为第一横向平均值，对第一关键像素点坐标中的纵坐标和第二关键像素点坐标中的纵坐标进行算术平均计算，得到第二算术平均值，以该第二算术平均值作为第一纵向平均值，距离计算模型支持快速地计算出两个维度上的平均值，从而，提高了两个平均值的计算速度。

在一些具体方式中，差值计算模型计算第一横向平均值与第二横向平均值之间的差值，得到横向平移量，距离计算模型支持快速地计算出横向平移量，有助于为快速地计算横向平移量提供保障。

需要指出的是，第二斜率的方式与计算第一斜率的方式类似，此处不再赘述，计算第二横向平均距离和第二纵向平均距离的方式与计算第一横向平均距离和第一纵向平均距离的方式类似，计算纵向平移量的方式与计算横向平移量的方式类似，此处不再赘述。

在一些具体方式中，步骤490执行将旋转角度、横向平移量和纵向平移量分步组合为校位参数组，具体为：将横向平移量和纵向平移量配对为平移参数对，将平移参数对与旋转角度组合为校位参数组，有利于精细化组合三个校位参数。

作为可选的实施方式，角度计算模型具体表示为：

其中，Angel表示旋转角度，acrtan表示反正切函数，k1表示第一斜率，k2表示第二斜率。

角度计算模型以180/π作为调幅系数，(k1-k2)与(1+k1×k2)之间的比值作为角度的正切值，角度计算模型支持以简单方式较高精度地求解旋转角度，有助于为快速地计算校位参数组提供保障。

作为可选的实施方式，步骤500具体包括：

步骤510、分别读取预设齐次变换矩阵和预设抓取点坐标，预设抓取点坐标用以标识在物体坐标系下与偏差位置所对应的抓取点；

步骤520、依据预设齐次变换矩阵对预设抓取点坐标进行坐标变换，得到校位设备坐标系下的坐标；

步骤530、依据校位设备坐标系下的坐标驱动校位设备坐标系下的校位设备，使物体在抓取点处被校位设备抓住；

步骤54a、根据旋转角度驱动抓住物体的校位设备发生转动，使物体在偏差位置被校位设备转动旋转角度；

步骤55a、根据平移参数对驱动抓住物体的校位设备发生平移，使在转动后的物体从偏差位置被校位设备平移至标准位置。

或者，步骤54b、根据平移参数对驱动抓住物体的校位设备发生平移，使物体从偏差位置被校位设备平移至标准位置；

步骤55b、根据旋转角度驱动抓住物体的校位设备发生转动，使在平移后的物体在标准位置被校位设备转动旋转角度。

在一些具体方式中，抓取点可以是物体在偏差位置处的中心点，以该中心点作为物体坐标系的原点，或者，抓取点可以是物体在偏差位置处的顶表面上的任一点，以该点作为物体坐标系的原点，预设抓取点坐标可以是预先录入json中且用以标识原点在物体坐标系中的坐标。

在一些具体方式中，预先分别构建物体坐标系和校位设备坐标系，并预先以物体坐标系和机器人坐标系构建齐次变换矩阵，本领域技术人员依据现有技术可以获知齐次变换矩阵的具体构建方式，此处不再赘述。

在一些具体方式中，校位设备坐标系为机器人坐标系，校位设备可以是在机器人坐标系下的移动机器人或者工业机器人，移动机器人或者工业机器人中的驱动器以串行方式执行步骤510-步骤55a，或者，驱动器以串行方式执行步骤510-步骤55b，使得物体被校位设备分布校正位姿，降低了物体的校位难度，有助于提高物体的校位速度。

作为可选的实施方式，步骤55a或者步骤54b具体包括：根据横向平移量驱动抓住物体的校位设备沿着横向发生平移，使物体从偏差位置被校位设备平移横向平移量，根据纵向平移量驱动抓住物体的校位设备沿着纵向发生平移，使在平移横向平移量后的物体被校位设备平移纵向平移量，在平移纵向平移量后，物体到达标准位置，使得物体被校位设备分步平移，提高了物体的平移精度，有助于提高物体的平移速度。

作为可选的实施方式，步骤55a或者步骤54b具体包括：根据纵向平移量驱动抓住物体的校位设备沿着纵向发生平移，使物体从偏差位置被校位设备平移纵向平移量；根据横向平移量驱动抓住物体的校位设备沿着横向发生平移，使在平移纵向平移量后的物体被校位设备平移横向平移量，在平移横向平移量后，物体到达标准位置。

实施例二

一种智能机器人，包括：底座1、支架2、相机3、机械手臂4、夹爪5、存储器6、编码器7和驱动器8。

以智能机器人属于移动机器人为例，支架2的底部和机械手臂4的底部分别安装在底座1的顶部，相机3安装在支架2的顶端，夹爪5安装在机械手臂4的末端，如图2所示为移动机器人；存储器6、编码器7和驱动器8均安装在呈中空的底座1内部，如图3所示，编码器7分别与存储器6、驱动器8和相机3电连接，驱动器8与机械手臂4电连接。

相机，用于采集物体在偏出标准位置的偏差位置处的原始图像，并将原始图像发送给编码器。

编码器，用于接收原始图像；分别读取与标准位置对应的第一预设标准点坐标和第二预设标准点坐标；基于偏差位置，依据原始图像分别确定与第一预设标准点坐标对应的第一关键像素点坐标和与第二预设标准点坐标对应的第二关键像素点坐标；依据第一关键像素点坐标、第二关键像素点坐标、第一预设标准点坐标和第二预设标准点坐标求解校位参数组。

驱动器，用于依据校位参数组驱动机械手臂，使物体被机械手臂从偏差位置驱动至标准位置。

作为可选的实施方式，在执行依据原始图像分别确定与第一预设标准点坐标对应的第一关键像素点坐标和与第二预设标准点坐标对应的第二关键像素点坐标的过程中，编码器具体执行以下步骤操作：读取预先训练的深度学习模型，深度学习模型包括输入层、隐含层和输出层；将原始图像输入输入层；通过输入层对原始图像进行预处理，得到待识别图像；通过隐含层对待识别图像进行识别，得到第一关键像素点坐标和第二关键像素点坐标；从输出层分别输出第一关键像素点坐标和第二关键像素点坐标。

作为可选的实施方式，在执行通过隐含层对待识别图像进行识别，得到第一关键像素点坐标和第二关键像素点坐标的过程中，编码器具体执行以下步骤操作：通过第一多层卷积神经网络对待识别图像进行特征提取，得到第一关键特征图和第二关键特征图；通过第二多层卷积神经网络对第一关键特征图进行坐标提取，得到第一关键像素点坐标；通过第二多层卷积神经网络对第二关键特征图进行坐标提取，得到第二关键像素点坐标。

作为可选的实施方式，在执行通过第一多层卷积神经网络对待识别图像进行特征提取，得到第一关键特征图和第二关键特征图的过程中，编码器具体执行以下步骤操作：通过第一多层卷积神经网络对待识别图像进行多层特征提取，得到图像深度特征，并依据图像深度特征分别提取第一关键特征图和第二关键特征图。

作为可选的实施方式，在执行依据第一关键像素点坐标、第二关键像素点坐标、第一预设标准点坐标和第二预设标准点坐标求解校位参数组的过程中，编码器具体执行以下步骤操作：分别读取斜率计算模型、角度计算模型、距离计算模型和差值计算模型；通过斜率计算模型对第一关键像素点坐标和第二关键像素点坐标进行求解，得到第一斜率；通过斜率计算模型对第一预设标准点坐标和第二预设标准点坐标进行求解，得到第二斜率；通过角度计算模型对第一斜率和第二斜率进行求解，得到旋转角度；通过距离计算模型对第一关键像素点坐标和第二关键像素点坐标进行求解，得到第一横向平均距离和第一纵向平均距离；通过距离计算模型对第一预设标准点坐标和第二预设标准点坐标进行求解，得到第二横向平均距离和第二纵向平均距离；通过差值计算模型对第一横向平均距离和第二横向平均距离进行求解，得到横向平移量；通过差值计算模型对第一纵向平均距离和第二纵向平均距离进行求解，得到纵向平移量；将旋转角度、横向平移量和纵向平移量组合为校位参数组。

作为可选的实施方式，角度计算模型具体表示为：

其中，Angel表示旋转角度，acrtan表示反正切函数，k1表示第一斜率，k2表示第二斜率。

作为可选的实施方式，在执行依据校位参数组驱动机械手臂，使物体被机械手臂从偏差位置驱动至标准位置的过程中，编码器具体执行以下步骤操作：分别读取预设齐次变换矩阵和预设抓取点坐标，预设抓取点坐标用以标识在物体坐标系下与所述偏差位置所对应的抓取点；依据预设齐次变换矩阵对预设抓取点坐标进行坐标变换，得到机器人坐标系下的坐标；分别将机器人坐标系下的坐标和校位参数组输入驱动器，校位参数组包括旋转角度和平移参数对。

驱动器具体执行以下操作步骤：依据机器人坐标系下的坐标驱动机械手臂，使物体在抓取点处被机械手臂抓住；根据旋转角度驱动抓住物体的机械手臂发生转动，使物体在偏差位置被机械手臂转动旋转角度；根据平移参数对驱动抓住物体的机械手臂发生平移，使在转动后的物体从偏差位置被机械手臂平移至标准位置。

或者，驱动器具体执行以下操作步骤：根据平移参数对驱动抓住物体的机械手臂发生平移，使物体从偏差位置被机械手臂平移至标准位置；根据旋转角度驱动抓住物体的机械手臂发生转动，使在平移后的物体在标准位置被机械手臂转动旋转角度。

作为可选的实施方式，在执行根据平移参数对驱动抓住物体的机械手臂发生平移的过程中，驱动器具体执行以下操作步骤：根据横向平移量驱动抓住物体的机械手臂沿着横向发生平移，使物体从偏差位置被机械手臂平移横向平移量；根据纵向平移量驱动抓住物体的机械手臂沿着纵向发生平移，使在平移横向平移量后的物体被机械手臂平移纵向平移量，在平移纵向平移量后，物体到达标准位置。

或者，驱动器具体执行以下操作步骤：根据纵向平移量驱动抓住物体的机械手臂沿着纵向发生平移，使物体从偏差位置被机械手臂平移纵向平移量；根据横向平移量驱动抓住物体的机械手臂沿着横向发生平移，使在平移纵向平移量后的物体被机械手臂平移横向平移量，在平移横向平移量后，物体到达标准位置。

实施例三

如图4所示，一种基于图像的物体校位系统，包括：视觉子系统和与视觉子系统通信连接的校位子系统。

视觉子系统，用于采集物体在偏出标准位置的偏差位置处的原始图像，并将原始图像发送给校位子系统；

校位子系统，用于接收原始图像；分别读取与标准位置对应的第一预设标准点坐标和第二预设标准点坐标；基于偏差位置，依据原始图像分别确定第一关键像素点坐标和第二关键像素点坐标；依据第一关键像素点坐标、第二关键像素点坐标、第一预设标准点坐标和第二预设标准点坐标求解校位参数组；依据校位参数组将物体从偏差位置驱动至标准位置。

在一些具体方式中，如图5所示，视觉子系统包括电源输入端、光源、相机和采集卡，校位子系统包括工控机和校位设备，例如：校位设备可以为工业机器人；电源输入端用以为相机、采集卡、工控机校位设备供电，光源用以为处在偏差位置处的物体补充光线，相机用以为处在偏差位置处的拍摄原始图像并将该原始图像输入采集卡，采集卡用以将该原始图像发送给工控机，工控机用以当接收到原始图像时，读取第一预设标准点坐标和第二预设标准点坐标，并依据原始图像分别确定第一关键像素点坐标和第二关键像素点坐标，依据第一关键像素点坐标、第二关键像素点坐标、第一预设标准点坐标和第二预设标准点坐标求解校位参数组，以及依据校位参数组驱动校位设备，使物体被校位设备从偏差位置驱动至标准位置。

需要指出的是，参见实施例一中的实施方式，本领域技术人员可以获知工控机执行依据原始图像分别确定第一关键像素点坐标和第二关键像素点坐标的具体方式，并获知求解校位参数组的具体方式，以及获知依据校位参数组驱动校位设备以使物体被校位设备从偏差位置驱动至标准位置的具体方式，此处不再赘述。

读者应理解，在本说明书的描述中，参考术语“方面”、“实施例”和“实施方式”等的描述意指结合该实施例或示例描述的具体特征、步骤或者特点包含于本发明的至少一个实施例或示例中，术语“第一”和“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”和“第二”等的特征可以明示或者隐含地包括至少一个该特征。

在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例，描述的具体特征、步骤或者特点可以在一个或多个具体实例或示例中以合适的方式结合，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同具体实例或示例并不同实施例或示例的特征进行结合或/和组合。

Claims (8)

1.一种基于图像的物体校位方法，其特征在于，包括：

获取物体在偏出标准位置的偏差位置处对应的原始图像；

分别读取与所述标准位置对应的第一预设标准点坐标和第二预设标准点坐标，具体包括：

读取预先训练的深度学习模型，所述深度学习模型包括输入层、隐含层和输出层；

将所述原始图像输入所述输入层；

通过所述输入层对所述原始图像进行预处理，得到待识别图像；

通过所述隐含层对所述待识别图像进行识别，得到第一关键像素点坐标和第二关键像素点坐标；

从所述输出层分别输出所述第一关键像素点坐标和所述第二关键像素点坐标；

基于所述偏差位置，依据所述原始图像分别确定与所述第一预设标准点坐标对应的第一关键像素点坐标和与所述第二预设标准点坐标对应的第二关键像素点坐标；

依据所述第一关键像素点坐标、所述第二关键像素点坐标、所述第一预设标准点坐标和所述第二预设标准点坐标求解校位参数组，具体包括：

分别读取斜率计算模型、角度计算模型、距离计算模型和差值计算模型；

通过所述斜率计算模型对所述第一关键像素点坐标和所述第二关键像素点坐标进行求解，得到第一斜率；

通过所述斜率计算模型对所述第一预设标准点坐标和所述第二预设标准点坐标进行求解，得到第二斜率；

通过所述角度计算模型对所述第一斜率和所述第二斜率进行求解，得到旋转角度；

通过所述距离计算模型对所述第一关键像素点坐标和所述第二关键像素点坐标进行求解，得到第一横向平均距离和第一纵向平均距离；

通过所述距离计算模型对所述第一预设标准点坐标和所述第二预设标准点坐标进行求解，得到第二横向平均距离和第二纵向平均距离；

通过所述差值计算模型对所述第一横向平均距离和所述第二横向平均距离进行求解，得到所述横向平移量；

通过所述差值计算模型对所述第一纵向平均距离和所述第二纵向平均距离进行求解，得到所述纵向平移量；

将所述旋转角度、所述横向平移量和所述纵向平移量组合为所述校位参数组；

依据所述校位参数组将所述物体从所述偏差位置驱动至所述标准位置。

2.根据权利要求1所述基于图像的物体校位方法，其特征在于，所述隐含层包括第一多层卷积神经网络和第二多层卷积神经网络；通过所述隐含层对所述待识别图像进行识别，得到所述第一关键像素点坐标和所述第二关键像素点坐标，具体包括：

通过所述第一多层卷积神经网络对所述待识别图像进行特征提取，得到第一关键特征图和第二关键特征图；

通过所述第二多层卷积神经网络对所述第一关键特征图进行坐标提取，得到所述第一关键像素点坐标；

通过所述第二多层卷积神经网络对所述第二关键特征图进行坐标提取，得到所述第二关键像素点坐标。

3.根据权利要求2所述基于图像的物体校位方法，其特征在于，通过所述第一多层卷积神经网络对所述待识别图像进行特征提取，得到第一关键特征图和第二关键特征图，具体包括；

通过所述第一多层卷积神经网络对所述待识别图像进行多层特征提取，得到图像深度特征，并依据所述图像深度特征分别提取所述第一关键特征图和所述第二关键特征图。

4.根据权利要求1所述基于图像的物体校位方法，其特征在于，所述角度计算模型具体表示为：

其中，Angel表示所述旋转角度，acrtan表示反正切函数，k1表示所述第一斜率，k2表示所述第二斜率。

5.根据权利要求1-4任一项所述基于图像的物体校位方法，其特征在于，所述校位参数组包括旋转角度和平移参数对；依据所述校位参数组将所述物体从所述偏差位置驱动至所述标准位置，具体包括：

分别读取预设齐次变换矩阵和预设抓取点坐标，所述预设抓取点坐标用以标识在物体坐标系下与所述偏差位置所对应的抓取点；

依据所述预设齐次变换矩阵对所述预设抓取点坐标进行坐标变换，得到校位设备坐标系下的坐标；

依据所述校位设备坐标系下的坐标驱动所述校位设备坐标系下的校位设备，使所述物体在所述抓取点处被所述校位设备抓住；

根据所述旋转角度驱动抓住所述物体的所述校位设备发生转动，使所述物体在所述偏差位置被所述校位设备转动所述旋转角度；根据所述平移参数对驱动抓住所述物体的所述校位设备发生平移，使所述物体从所述偏差位置被所述校位设备平移至所述标准位置；

或者，

根据所述平移参数对驱动抓住所述物体的所述校位设备发生平移，使所述物体从所述偏差位置被所述校位设备平移至所述标准位置；根据所述旋转角度驱动抓住所述物体的所述校位设备发生转动，使所述物体在所述标准位置被所述校位设备转动所述旋转角度。

6.根据权利要求5所述基于图像的物体校位方法，其特征在于，所述平移参数对包括横向平移量和纵向平移量；根据所述平移参数对驱动抓住所述物体的所述校位设备发生平移，具体包括：

根据所述横向平移量驱动抓住所述物体的所述校位设备沿着横向发生平移，使所述物体从所述偏差位置被所述校位设备平移所述横向平移量；根据所述纵向平移量驱动抓住所述物体的所述校位设备沿着纵向发生平移，使在平移所述横向平移量后的所述物体被所述校位设备平移所述纵向平移量，在平移所述纵向平移量后，所述物体到达所述标准位置；

或者，

根据所述纵向平移量驱动抓住所述物体的所述校位设备沿着纵向发生平移，使所述物体从所述偏差位置被所述校位设备平移所述纵向平移量；根据所述横向平移量驱动抓住所述物体的所述校位设备沿着横向发生平移，使在平移所述纵向平移量后的所述物体被所述校位设备平移所述横向平移量，在平移所述横向平移量后，所述物体到达所述标准位置。

7.一种智能机器人，其特征在于，包括：机械手臂、驱动器、编码器和相机；

所述相机，用于采集物体在偏出标准位置的偏差位置处的原始图像，并将所述原始图像发送给所述编码器；

所述编码器，用于接收所述原始图像；分别读取与所述标准位置对应的第一预设标准点坐标和第二预设标准点坐标；基于所述偏差位置，依据所述原始图像分别确定与所述第一预设标准点坐标对应的第一关键像素点坐标和与所述第二预设标准点坐标对应的第二关键像素点坐标；依据所述第一关键像素点坐标、所述第二关键像素点坐标、所述第一预设标准点坐标和所述第二预设标准点坐标求解校位参数组；

所述驱动器，用于依据所述校位参数组驱动所述机械手臂，使所述物体被所述机械手臂从所述偏差位置驱动至所述标准位置。

8.一种基于图像的物体校位系统，其特征在于，包括：视觉子系统和与所述视觉子系统通信连接的校位子系统；

所述视觉子系统，用于采集物体在偏出标准位置的偏差位置处的原始图像，并将所述原始图像发送给所述校位子系统；

所述校位子系统，用于接收所述原始图像；分别读取与所述标准位置对应的第一预设标准点坐标和第二预设标准点坐标；基于所述偏差位置，依据所述原始图像分别确定与所述第一预设标准点坐标对应的第一关键像素点坐标和与所述第二预设标准点坐标对应的第二关键像素点坐标；依据所述第一关键像素点坐标、所述第二关键像素点坐标、所述第一预设标准点坐标和所述第二预设标准点坐标求解校位参数组；依据所述校位参数组将所述物体从所述偏差位置驱动至所述标准位置。

Images