CN113780429A - 基于图像分析的塔吊物料分类识别方法及系统 - Google Patents

Abstract

本申请提供一种基于图像分析的塔吊物料分类识别方法及系统。所述方法包括：获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像，根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息，根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息，相较于现有技术，本申请可以快速、准确地识别物料的类别，有助于智能塔吊针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展。

Description

基于图像分析的塔吊物料分类识别方法及系统

技术领域

本申请涉及智能塔吊技术领域，具体涉及一种基于图像分析的塔吊物料分类识别方法及系统。

背景技术

随着建筑业的发展，建筑施工的机械化程度逐年提高，塔式起重机(简称塔吊)作为一种能够实现垂直和水平运输物料的机械，特别是因其起升高度高、起升重量大、工作幅度大等特点，在建筑业得到了广泛的应用。

随着塔吊安全事故的频繁发生，为了保护塔吊操作人员、司索工的人身安全，以及减少人为失误导致的安全事故，无人驾驶塔吊即智能塔吊成为新的研发方向，其中，如何使智能塔吊自动识别物料以进行合理的装卸成为当前亟待解决的问题。

发明内容

本申请的目的是提供一种基于图像分析的塔吊物料分类识别方法及系统。

本申请第一方面提供一种基于图像分析的塔吊物料分类识别方法，包括：获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息；

根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

本申请第二方面提供一种基于图像分析的塔吊物料分类识别系统，包括：

图像组获取模块，用于获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

属性信息确定模块，用于根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息；

物料类别匹配模块，用于根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

本申请第三方面提供一种智能塔吊，所述智能塔吊设置有本申请第二方面提供的基于图像分析的塔吊物料分类识别系统。

相较于现有技术，本申请提供的基于图像分析的塔吊物料分类识别方法及系统，通过获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像，根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息，根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息，由于塔吊所装卸的物料类别较为明确且特点鲜明，因此，只需要针对性的提取物料的形状、尺寸和纹理等属性信息，即可通过数据库匹配快速、准确地识别物料的类别，有助于智能塔吊针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请的一些实施方式所提供的一种基于图像分析的塔吊物料分类识别方法的流程图；

图2示出了本申请的一些实施方式所提供的一种基于图像分析的塔吊物料分类识别系统的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种基于图像分析的塔吊物料分类识别方法及系统，下面结合实施例及附图进行示例性说明。

请参考图1，其示出了本申请的一些实施方式所提供的一种基于图像分析的塔吊物料分类识别方法的流程图，如图1所示，所述基于图像分析的塔吊物料分类识别方法，可以包括以下步骤：

步骤S101：获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

步骤S102：根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息；

步骤S103：根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

相较于现有技术，本申请实施例提供的基于图像分析的塔吊物料分类识别方法，通过获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像，根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息，根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息，由于塔吊所装卸的物料类别较为明确且特点鲜明，因此，只需要针对性的提取物料的形状、尺寸和纹理等属性信息，即可通过数据库匹配快速、准确地识别物料的类别，有助于智能塔吊针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展。

其中，本申请实施例提供的基于图像分析的塔吊物料分类识别方法由智能塔吊的控制器实现，由控制器实现对塔吊物料的自动分类识别，并进一步针对不同类别的物料自动选择合理的方式进行装卸，例如，选择合适的吊钩进行吊装，针对玻璃和钢材选择不同的吊装速度等，从而减少装卸事故的发生，促进塔吊无人化、智能化的发展。

在本申请实施例的一些变更实施方式中，所述根据所述物料图像组，确定所述物料的属性信息，包括：

根据采集所述物料图像的每台摄像机的姿态信息，从初始图像数据库中查询与所述姿态信息对应的初始图像，所述姿态信息包括所述摄像机的拍摄位置信息和拍摄角度信息，所述初始图像数据库中存储有每台所述摄像机对应于所述姿态信息采集的初始图像，所述初始图像是在所述物料进场前采集的；

通过将所述物料图像组中的每幅物料图像，分别与采集所述物料图像的摄像机在相同姿态下预先采集的所述初始图像进行比对，识别出每幅物料图像中的物料主体；

根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息。

在上述实施方式的基础上，对于形状信息和尺寸信息的提取，在一些变更实施方式中，所述根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息，包括：

确定每台所述摄像机对应的像素坐标系与世界坐标系的坐标转换关系；

根据所述坐标转换关系，将每幅物料图像中所述物料主体的像素坐标转换为在世界坐标系中的世界坐标；

根据所述世界坐标确定所述物料的形状信息和尺寸信息。

其中，确定摄像机的上述坐标转换关系，将像素坐标转换为世界坐标已是较为成熟的现有技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

在前述实施方式的基础上，对于纹理信息的提取，在一些变更实施方式中，所述根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息，包括：

采用纹理识别算法识别每幅所述物料图像中的物料主体的纹理信息。

上述纹理识别算法可以采用现有技术提供的任意纹理特征提取算法实现，例如局部二值模式(Local Binary Patterns，LBP)算法，基于OpenCV的纹理识别算法等，都可以实现本申请实施例的目的，由于其均为现有成熟技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

实际应用中，塔吊常用来吊装的物料主要是钢筋、木楞、混凝土、钢管、玻璃等建筑施工用原材料，其形状、尺寸、纹理存在较大的差别，因此，只需要针对性的提取物料的形状、尺寸和纹理等属性信息，即可通过数据库匹配快速、准确地识别物料的类别，有助于智能塔吊针对不同类别物料自动选择合理的方式进行装卸，减少装卸事故的发生，促进塔吊无人化、智能化的发展。

在上述的实施例中，提供了一种基于图像分析的塔吊物料分类识别方法，与之相对应的，本申请还提供一种基于图像分析的塔吊物料分类识别系统。本申请实施例提供的基于图像分析的塔吊物料分类识别系统可以实施上述基于图像分析的塔吊物料分类识别方法，该基于图像分析的塔吊物料分类识别系统可以通过软件、硬件或软硬结合的方式来实现。例如，该基于图像分析的塔吊物料分类识别系统可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。请参考图2，其示意性地示出了本申请的一些实施方式所提供的一种基于图像分析的塔吊物料分类识别系统的示意图。由于系统实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的系统实施例仅仅是示意性的。

如图2所示，本申请实施例提供一种基于图像分析的塔吊物料分类识别系统10，可以包括：

图像组获取模块101，用于获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

属性信息确定模块102，用于根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息；

物料类别匹配模块，用于根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别103，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

在本申请实施例的一些变更实施方式中，所述属性信息确定模块102，包括：

初始图像查询单元，用于根据采集所述物料图像的每台摄像机的姿态信息，从初始图像数据库中查询与所述姿态信息对应的初始图像，所述姿态信息包括所述摄像机的拍摄位置信息和拍摄角度信息，所述初始图像数据库中存储有每台所述摄像机对应于所述姿态信息采集的初始图像，所述初始图像是在所述物料进场前采集的；

图像比对单元，用于通过将所述物料图像组中的每幅物料图像，分别与采集所述物料图像的摄像机在相同姿态下预先采集的所述初始图像进行比对，识别出每幅物料图像中的物料主体；

属性信息确定单元，用于根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息。

在本申请实施例的一些变更实施方式中，所述属性信息确定单元，包括：

坐标转换关系确定子单元，用于确定每台所述摄像机对应的像素坐标系与世界坐标系的坐标转换关系；

坐标转换子单元，用于根据所述坐标转换关系，将每幅物料图像中所述物料主体的像素坐标转换为在世界坐标系中的世界坐标；

形状尺寸确定子单元，用于根据所述世界坐标确定所述物料的形状信息和尺寸信息。

在本申请实施例的一些变更实施方式中，所述属性信息确定单元，包括：

纹理确定子单元，用于采用纹理识别算法识别每幅所述物料图像中的物料主体的纹理信息。

在本申请实施例的一些变更实施方式中，所述摄像机包括双目摄像机，所述双目摄像机采集的所述物料图像携带有景深信息；

所述属性信息确定模块102，包括：

基于景深确定单元，用于根据所述物料图像组中每幅物料图像携带的景深信息，确定所述物料的属性信息。

本申请实施例提供的基于图像分析的塔吊物料分类识别系统，与本申请前述实施例提供的基于图像分析的塔吊物料分类识别方法出于相同的发明构思，具有相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的基于图像分析的塔吊物料分类识别方法及系统对应的智能塔吊，该智能塔吊配置有前述任意实施方式所提供的基于图像分析的塔吊物料分类识别系统。

本申请实施例提供的智能塔吊，与本申请前述实施例提供的基于图像分析的塔吊物料分类识别方法及系统出于相同的发明构思，具有相同的有益效果。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于塔吊吊钩自动抓取过程的传感设备，来降低塔吊吊装安全事故，下面结合示例进行说明。

在一些实施方式中，所述用于塔吊吊钩自动抓取过程的传感设备，可以包括：控制器、自动吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构；其中，

所述自动吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接；

所述控制器在通过所述吊钩驱动机构控制所述自动吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述自动吊钩运动，并控制所述视觉传感器朝向所述自动吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号控制所述自动吊钩抓取货物。

其中，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述自动吊钩可以采用现有技术提供的任意自动吊钩实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有显示屏，以便于塔吊操控人员通过显示屏查看吊钩周围的实况画面，相应的，上述根据所述视觉传感信号控制所述自动吊钩抓取货物，可以是指通过设于操控台的显示屏播放该视觉传感信号，使塔吊操控人员准确了解吊钩周围情况，并操控自动吊钩自动挂取货物。

另外，上述控制器与视觉传感器、传感器驱动机构可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将视觉传感器、传感器驱动机构与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题导致安全事故。

通过为智能塔吊配置用于塔吊吊钩自动抓取过程的传感设备，可以通过设置控制器、自动吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构，使所述自动吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接，以及所述控制器在通过所述吊钩驱动机构控制所述自动吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述自动吊钩运动，并控制所述视觉传感器朝向所述自动吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号控制所述自动吊钩抓取货物，从而能够使得视觉传感器跟随自动吊钩运动而近距离采集视觉传感信号，相较于现有技术中安装变焦摄像机的方式，可以避免手动变焦影响塔吊操控人员操作或自动变焦失准致使画面模糊的问题，无需塔吊操控人员进行额外操作即可自动采集到高清、精准的视觉传感信号，使得塔吊操控人员能够根据该视觉传感信号观察到吊钩状况、周边环境和障碍物等情况，解决“隔山吊”等盲区安全隐患，确保盲区吊装安全，基于该视觉传感信号，还可进一步利用自动吊钩自动抓取货物，减少钩吊不准等问题，且无需司索工采用人工作业方式向吊钩上吊装货物，可减少司索工、指挥等工作人员的参与工作，从而进一步减少人工被货物误伤的几率，降低安全事故发生率。

在本申请实施例的一些变更实施方式中，所述吊钩驱动机构包括第一小车，所述传感器驱动机构包括第二小车，所述第一小车和所述第二小车均设于塔吊的起重臂上并沿起重臂移动。

具体的，在一些实施方式中，所述视觉传感器通过绳索滑轮组件吊装于所述第二小车上，并根据所述第二小车沿所述起重臂的移动而沿水平方向移动，以及根据所述绳索滑轮组件的收放动作而沿垂直方向移动。

其中，所述第一小车和所述第二小车可以共用一套变幅钢丝绳牵引移动，此种情况下，第一小车和第二小车需要保持固定距离，例如3米、5米等，此外，所述第一小车和所述第二小车也可以采用两套不同的变幅钢丝绳分别牵引移动，使得第一小车和第二小车之间的距离可以调节，以便于调节视觉传感器到自动吊钩的距离，获得较好的观察视野。

另外，所述第一小车和所述第二小车需要采用两套不同的起升钢丝绳分别牵引自动吊钩和视觉传感器升降，使得视觉传感器既可以与自动吊钩持平，也可以高于自动吊钩或者低于自动吊钩进行信号采集，以应用于各种工况而获得较佳的观察视野。

通过设置第二小车单独驱动视觉传感器，可以根据实际工况灵活调整视觉传感器与自动吊钩之间的跟随关系，例如，可以调整视觉传感器与自动吊钩之间沿变幅方向保持3米间隔，沿高度方向保持米间隔，或者，调整视觉传感器与自动吊钩之间沿变幅方向保持米间隔，沿高度方向保持平行(间隔为零)等，以获得较佳的观察视野。

其中，跟随关系确定后，控制器可以在控制自动吊钩运动时，自动控制视觉传感器根据上述跟随关系进行跟随运动，以保持相同的观察视野。另外，作业人员也可以根据实际需求自行调整上述跟随关系，本申请实施例并不限定其具体数值。

需要说明的是，本申请实施例中所涉及的跟随，是指视觉传感器与自动吊钩在运动时保持一定的距离和角度，以获得相同的观察视野，提高塔吊操控人员观察体验，避免视野变换而影响塔吊操控人员观察。

本申请实施例提供的视觉传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于第二小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在另一些变更实施方式中，所述塔吊设有变幅传感器和高度传感器，所述变幅传感器用于检测所述自动吊钩的变幅位置信息，所述高度传感器用于检测所述自动吊钩的高度位置信息；

所述控制器根据所述自动吊钩的所述变幅位置信息和所述高度位置信息控制所述视觉传感器跟随所述自动吊钩运动。

其中，上述变幅传感器和高度传感器可以采用现有技术提供的传感器实现，其可以使机械式传感器，也可以是红外线传感器或者激光传感器，其均可以实现本申请实施例的目的，本申请实施例不做限定。

上述变幅位置信息可以包括自动吊钩沿变幅方向(即起重臂水平方向)到标准节之间的水平距离，上述高度位置信息可以包括自动吊钩沿垂直方向到起重臂之间的垂直距离，根据上述变幅位置信息和高度位置信息，由于视觉传感器与自动吊钩一样也是通过小车和绳索驱动的，因此，根据上述自动吊钩的变幅位置信息和高度位置信息，结合预先确定的跟随关系，即可确定视觉传感器应处位置的变幅位置信息和高度位置信息，并据此控制视觉传感器移动到上述应处位置，实现与自动吊钩的跟随运动。

在控制视觉传感器跟随自动吊钩移动时，还需要控制视觉传感器的朝向(可以通过云台控制，将视觉传感器安装于云台上，实现朝向可调)，使其能够拍摄到自动吊钩所在区域，具体的，在一些实施方式中，所述控制器还根据所述自动吊钩的所述变幅位置信息和所述高度位置信息，和所述视觉传感器的变幅位置信息和高度位置信息，确定所述视觉传感器与所述自动吊钩之间的粗略相对位置关系，并根据所述粗略相对位置关系粗调所述视觉传感器转向所述自动吊钩所在区域。由于自动吊钩和视觉传感器的变幅位置信息和高度位置信息在跟随运动时已经获得，因此，通过本实施方式，可以根据已有的数据快速地粗调所述视觉传感器转向所述自动吊钩所在区域。

考虑到粗调后自动吊钩并不一定在视觉传感器视野中的较佳位置，而且视觉传感器在高空中可能会随着空气扰动而摆动而无法准确拍摄到预期画面，因此，在上述实施方式的基础上，在一些变更实施方式中，所述控制器在将所述视觉传感器粗调向所述自动吊钩所在区域后，还通过识别所述视觉传感器采集的视觉传感信号中的自动吊钩，确定所述视觉传感器与所述自动吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号。本实施方式，可以利用现有技术提供的图像识别技术识别视觉传感信号中的自动吊钩，进而确定视觉传感器与自动吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号，该预期可以是自动吊钩位于视觉传感信号的画面中间位置，或者自动吊钩与被吊货物整体位于视觉传感信号的画面中间位置，本申请实施例不做限定。通过本实施方式，可以在粗调的基础上进一步经过微调而才记得到符合预期的视觉传感信号，提高视觉传感信号精准度，以便于利用该视觉传感信号精准地控制自动吊钩动作。

在前述任意实施方式中，上述视觉传感器可以包括云台摄像机或者激光扫描器，其均可以采集得到精准的视觉传感信号，以帮助塔吊操控人员准确了解吊钩工况，并精准控制自动吊钩吊装货物。

容易理解的是，若视觉传感器重量较轻，在高空中会随着空气扰动而摆动，影响拍摄效果，因此，在一些变更实施方式中，还可以为所述视觉传感器配置姿态稳定控制器，以帮助视觉传感器在高空中稳定姿态，减少晃动，提高拍摄效果，进而有助于帮助塔吊操控人员准确了解吊钩工况，并精准控制自动吊钩吊装货物。

其中，上述姿态稳定控制器可以采用配重、飞轮和控制力矩陀螺中的至少一者实现，其可以采用其中一个实现，也可以采用其中的多个配合实现。其中，加装配重最易于实现且实施成本最低；若加装飞轮，则飞轮应当水平放置，其产生的角动量可以有助于保持视觉传感器的姿态稳定；此外，控制力矩陀螺的原理是当给一个陀螺垂直于其旋转轴的扭矩时,会产生一个垂直于旋转轴且垂直于扭距轴的进动力矩，利用该原理，通过安装控制力矩陀螺，也可以帮助视觉传感器保持姿态的稳定，该方式稳定姿态的效果最好。

考虑到，在吊装货物时，经常因为货物绑缚不紧、勾掉不准等原因，在起升过程中发生吊钩脱落、绳索脱落等问题，导致货物散落而砸伤司索工等地面工作人员，造成安全事故，因此，需要进一步检测塔吊起升异常以降低塔吊吊装安全事故。在上述任意实施方式的基础上，在一些变更实施方式中，上述用于塔吊吊钩自动抓取过程的传感设备，还可以包括：与所述控制器通信连接的姿态传感器；

所述姿态传感器固定设置于自动吊钩上，用于实时采集所述自动吊钩的姿态数据并发送给所述控制器；

所述控制器根据所述姿态数据确定所述自动吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述自动吊钩的起升状态是否异常。

其中，上述姿态传感器可以包括但不限于三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有与控制器连接的显示屏和/或音响，用来通过影像和/或语音方式播报自动吊钩的起升状态是否异常，以便于塔吊操控人员了解自动吊钩的起升状态是否异常。

另外，上述控制器与姿态传感器可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将姿态传感器与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现自动吊钩的起升状态异常，进而导致安全事故。

相较于现有技术，上述用于塔吊吊钩自动抓取过程的传感设备，通过进一步设置与所述控制器通信连接的姿态传感器，且所述姿态传感器固定设置于自动吊钩上，用于实时采集所述自动吊钩的姿态数据并发送给所述控制器，所述控制器根据所述姿态数据确定所述自动吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述自动吊钩的起升状态是否异常。由于在吊钩脱落、绳索脱落前，吊钩往往会产生较大倾角、或者大幅抖动等异常，因此，利用自动吊钩的姿态数据可以较为准确地判断塔吊起升状态是否异常，以在检测到异常时及时进行针对性处理，避免货物散落而砸伤工人，降低塔吊起升阶段因吊装货物散落而导致的安全事故发生率。

本申请实施例提供的姿态传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于悬挂所述自动吊钩的小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在本申请实施例的一些变更实施方式中，所述控制器存储有所述自动吊钩空载时所述姿态传感器采集的空载姿态数据，并在接收到所述自动吊钩负载时所述姿态传感器采集的负载姿态数据后，通过比较所述负载姿态数据和所述空载姿态数据，确定所述自动吊钩的倾斜信息和摆动信息。

上述空载姿态数据是在自动吊钩空载、且周围无风的静止状态下采集的用作对比的基础姿态数据，在自动吊钩挂取货物即负载后，通过比对负载姿态数据和空载姿态数据，即可获得自动吊钩的倾斜信息和摆动信息。

其中，上述倾斜信息是指所述自动吊钩以自身为参考转动而产生的倾斜角度等信息，上述摆动信息是指所述自动吊钩以悬挂该自动吊钩的小车为参考摆动而产生的摆动角度等信息，其中，根据自动吊钩在摆动过程中所经过的路径(圆上的一段弧线)，可以推算出圆的半径，进而根据弧线长度推算出摆动角度，根据该倾斜信息和摆动信息，即可判断、预测自动吊钩的状态是否异常。

具体的，所述控制器可以采用滑动时间窗口法，根据所述倾斜信息和所述摆动信息确定单位时间窗口的倾斜变化信息和摆动变化信息，并根据所述倾斜变化信息和摆动变化信息判断所述自动吊钩的起升状态是否异常。

其中，所述倾斜变化信息包括倾斜变化幅度和单位时间窗口末期的倾斜角度中的至少一项，所述摆动变化信息包括摆动变化幅度和单位时间窗口末期的摆动角度中的至少一项。

其中，上述倾斜变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义自动吊钩向脱钩方向倾斜的倾斜角度为正，反方向的倾斜角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

上述摆动变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义自动吊钩向脱钩方向摆动的摆动角度为正，反方向的摆动角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

考虑到只通过比较阈值判断是否存在起升异常，会存在误判的概率，为了提高判断准确度，在一些变更实施方式中，所述控制器可以将所述倾斜变化信息和摆动变化信息输入预先训练的第一神经网络模型，并根据所述第一神经网络模型判断所述自动吊钩的起升状态是否异常。

其中，上述第一神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息和摆动变化信息，以及是否存在异常的标签，通过训练，使得该第一神经网络模型可以根据输入的倾斜变化信息和摆动变化信息，输出是否存在异常的标签，接下来即可利用该第一神经网络模型判断所述自动吊钩的起升状态是否异常。

上述第一神经网络模型的输入数据包括倾斜变化信息和摆动变化信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出都较为简单，因此，可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用神经网络模型较为准确的判断所述自动吊钩的起升状态是否异常，相较于根据阈值判断的方式，精准度更高。

考虑到环境风力也会影响货物的吊装牢固度，若风向与脱钩方向相同，会增大货物脱钩的概率，且风速越大，脱钩概率越大，相反的，若风向与脱钩方向相反，会降低货物脱钩的概率，为了更加准确的判断所述自动吊钩的起升状态是否异常，在一些变更实施方式中，上述用于塔吊吊钩自动抓取过程的传感设备，还包括：设于所述塔吊上的风向传感器和风速传感器；

所述风向传感器和所述风速传感器均与所述控制器连接，分别用于采集所述自动吊钩周围的风向信息和风速信息，并将所述风向信息和所述风速信息发送给所述控制器；

所述控制器还用于根据所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息综合判断所述自动吊钩的起升状态是否异常。

其具体判断方式如前所述可以基于预设阈值综合判断自动吊钩的起升状态是否异常，也可以采用神经网路来判断自动吊钩的起升状态是否异常，例如，在一些实施方式中，所述控制器可以将所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息输入预先训练的第二神经网络模型，并根据所述第二神经网络模型判断所述自动吊钩的起升状态是否异常。

其中，上述第二神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息、摆动变化信息、风向信息和所述风速信息，以及是否存在异常的标签，通过训练，使得该第二神经网络模型可以根据输入的倾斜变化信息、摆动变化信息、风向信息和所述风速信息，输出是否存在异常的标签，接下来即可利用该第二神经网络模型判断所述自动吊钩的起升状态是否异常。

与上述第一神经网络模型类似的，第二神经网络模型的输入数据包括倾斜变化信息、摆动变化信息、风向信息和风速信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出也较为简单，因此，也可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用第二神经网络模型较为准确的判断所述自动吊钩的起升状态是否异常，由于考虑了风力对脱钩异常的影响，且利用了神经网络模型进行判断，具有较高的精准度，可以更加精准地判断自动吊钩的起升状态是否异常。

在上述任意实施方式的基础上，在另一些变更实施方式中，所述用于塔吊吊钩自动抓取过程的传感设备，还可以包括：设于所述自动吊钩上的警报装置；

所述警报装置与所述控制器连接，所述控制器在检测到所述自动吊钩起升状态异常时，通过所述警报装置广播异常警报信息。

其中，该警报装置可以包括蜂鸣器、音箱等语音警报装置，通过向周围广播异常警报信息，可以警告周围工人进行疏散，从而避免货物脱钩而伤及附近工人，降低事故损失。

此外，在吊起货物后，上述控制器还可以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常，例如，以视觉传感信号为云台摄像机拍摄的实时画面为例，通过图像识别，可以识别出吊钩和绳索，通过先后拍摄的画面中吊钩和绳索的相对位置和绳索的运动趋势，可以判断是否存在异常，例如，若绳索移动至吊钩出口处预设范围内，且有继续朝向脱钩方向运动的趋势，则判断有脱钩风险，即判断塔吊吊钩的起升状态异常；否则，可以判断无脱钩风险，即判断塔吊吊钩的起升状态无异常。其中，图像识别技术为现有技术中的成熟技术，本领域技术人员可以直接采用现有技术应用于本申请以实现本申请实施例的目的。

需要说明的是，若根据姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，则具体判断方式可以是：若采用姿态数据和视觉传感信号中的任意一项判断塔吊吊钩的起升状态存在异常，则整体上判断塔吊吊钩的起升状态存在异常，否则判断塔吊吊钩的起升状态无异常。从而全面、准确的利用姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，提高准确性。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于智能塔吊起升异常状态感知的传感物联网系统，来降低塔吊吊装安全事故，下面结合示例进行说明。

在一些实施方式中，所述用于智能塔吊起升异常状态感知的传感物联网系统，可以包括：控制器和与所述控制器通信连接的姿态传感器；

所述姿态传感器固定设置于塔吊吊钩上，用于实时采集所述塔吊吊钩的姿态数据并发送给所述控制器；

所述控制器根据所述姿态数据确定所述塔吊吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述塔吊吊钩的起升状态是否异常。

其中，上述控制器可以采用计算机主机、微控制器、可编程逻辑控制器PLC等实现，上述姿态传感器可以包括但不限于三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器实现，本申请实施例不做限定。

需要说明的是，若上述塔吊为无人驾驶塔吊，则该控制器可以设于地面的操控台上，该操控台上设置有与控制器连接的显示屏和/或音响，用来通过影像和/或语音方式播报塔吊吊钩的起升状态是否异常，以便于塔吊操控人员了解塔吊吊钩的起升状态是否异常。

另外，上述控制器与姿态传感器可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将姿态传感器与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现塔吊吊钩的起升状态异常，进而导致安全事故。

相较于现有技术，本申请实施例提供的用于智能塔吊起升异常状态感知的传感物联网系统，通过设置控制器和与所述控制器通信连接的姿态传感器，且所述姿态传感器固定设置于塔吊吊钩上，用于实时采集所述塔吊吊钩的姿态数据并发送给所述控制器，所述控制器根据所述姿态数据确定所述塔吊吊钩的倾斜信息和摆动信息，并根据所述倾斜信息和摆动信息判断所述塔吊吊钩的起升状态是否异常。由于在吊钩脱落、绳索脱落前，吊钩往往会产生较大倾角、或者大幅抖动等异常，因此，利用塔吊吊钩的姿态数据可以较为准确地判断塔吊起升状态是否异常，以在检测到异常时及时进行针对性处理，避免货物散落而砸伤工人，降低塔吊起升阶段因吊装货物散落而导致的安全事故发生率。

本申请实施例提供的姿态传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于悬挂所述塔吊吊钩的小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在本申请实施例的一些变更实施方式中，所述控制器存储有所述塔吊吊钩空载时所述姿态传感器采集的空载姿态数据，并在接收到所述塔吊吊钩负载时所述姿态传感器采集的负载姿态数据后，通过比较所述负载姿态数据和所述空载姿态数据，确定所述塔吊吊钩的倾斜信息和摆动信息。

上述空载姿态数据是在塔吊吊钩空载、且周围无风的静止状态下采集的用作对比的基础姿态数据，在塔吊吊钩挂取货物即负载后，通过比对负载姿态数据和空载姿态数据，即可获得塔吊吊钩的倾斜信息和摆动信息。

其中，上述倾斜信息是指所述塔吊吊钩以自身为参考转动而产生的倾斜角度等信息，上述摆动信息是指所述塔吊吊钩以悬挂该塔吊吊钩的小车为参考摆动而产生的摆动角度等信息，其中，根据塔吊吊钩在摆动过程中所经过的路径(圆上的一段弧线)，可以推算出圆的半径，进而根据弧线长度推算出摆动角度，根据该倾斜信息和摆动信息，即可判断、预测塔吊吊钩的状态是否异常。

具体的，所述控制器可以采用滑动时间窗口法，根据所述倾斜信息和所述摆动信息确定单位时间窗口的倾斜变化信息和摆动变化信息，并根据所述倾斜变化信息和摆动变化信息判断所述塔吊吊钩的起升状态是否异常。

其中，所述倾斜变化信息包括倾斜变化幅度和单位时间窗口末期的倾斜角度中的至少一项，所述摆动变化信息包括摆动变化幅度和单位时间窗口末期的摆动角度中的至少一项。

其中，上述倾斜变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义塔吊吊钩向脱钩方向倾斜的倾斜角度为正，反方向的倾斜角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

上述摆动变化幅度是单位时间窗口末期的倾斜角度与初期的倾斜角度的差值，可以定义塔吊吊钩向脱钩方向摆动的摆动角度为正，反方向的摆动角度为负，若该差值为正值且大于预设阈值，则异常的几率较大，可直接判断起升异常或者进一步结合其他因素判断是否存在起升异常。

考虑到只通过比较阈值判断是否存在起升异常，会存在误判的概率，为了提高判断准确度，在一些变更实施方式中，所述控制器可以将所述倾斜变化信息和摆动变化信息输入预先训练的第一神经网络模型，并根据所述第一神经网络模型判断所述塔吊吊钩的起升状态是否异常。

其中，上述第一神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息和摆动变化信息，以及是否存在异常的标签，通过训练，使得该第一神经网络模型可以根据输入的倾斜变化信息和摆动变化信息，输出是否存在异常的标签，接下来即可利用该第一神经网络模型判断所述塔吊吊钩的起升状态是否异常。

上述第一神经网络模型的输入数据包括倾斜变化信息和摆动变化信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出都较为简单，因此，可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用神经网络模型较为准确的判断所述塔吊吊钩的起升状态是否异常，相较于根据阈值判断的方式，精准度更高。

考虑到环境风力也会影响货物的吊装牢固度，若风向与脱钩方向相同，会增大货物脱钩的概率，且风速越大，脱钩概率越大，相反的，若风向与脱钩方向相反，会降低货物脱钩的概率，为了更加准确的判断所述塔吊吊钩的起升状态是否异常，在一些变更实施方式中，上述用于智能塔吊起升异常状态感知的传感物联网系统，还包括：设于所述塔吊上的风向传感器和风速传感器；

所述风向传感器和所述风速传感器均与所述控制器连接，分别用于采集所述塔吊吊钩周围的风向信息和风速信息，并将所述风向信息和所述风速信息发送给所述控制器；

所述控制器还用于根据所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息综合判断所述塔吊吊钩的起升状态是否异常。

其具体判断方式如前所述可以基于预设阈值综合判断塔吊吊钩的起升状态是否异常，也可以采用神经网路来判断塔吊吊钩的起升状态是否异常，例如，在一些实施方式中，所述控制器可以将所述倾斜变化信息、所述摆动变化信息、所述风向信息和所述风速信息输入预先训练的第二神经网络模型，并根据所述第二神经网络模型判断所述塔吊吊钩的起升状态是否异常。

其中，上述第二神经网络模型可以采用大量的训练样本进行训练得到，上述训练样本包括实验确定的多组训练数据，每组训练数据包括倾斜变化信息、摆动变化信息、风向信息和所述风速信息，以及是否存在异常的标签，通过训练，使得该第二神经网络模型可以根据输入的倾斜变化信息、摆动变化信息、风向信息和所述风速信息，输出是否存在异常的标签，接下来即可利用该第二神经网络模型判断所述塔吊吊钩的起升状态是否异常。

与上述第一神经网络模型类似的，第二神经网络模型的输入数据包括倾斜变化信息、摆动变化信息、风向信息和风速信息，输出数据是是否存在异常的标签(二分类标签)，整体输入参数和输出也较为简单，因此，也可以采用BP神经网络、卷积神经网络CNN等结构简单的神经网络实现，其可以由输入层、隐藏层和输出层构成，无需复杂的设计即可实现本申请实施例的目的，从而降低实施难度，并获得较为准确的判断结果。其中，上述BP神经网络、卷积神经网络CNN均为较为成熟的神经网络模型，本领域技术人员可以参考现有技术结合实际需求灵活构建上述第一神经网络模型以实现本申请实施例的目的。

通过上述实施方式，可以利用第二神经网络模型较为准确的判断所述塔吊吊钩的起升状态是否异常，由于考虑了风力对脱钩异常的影响，且利用了神经网络模型进行判断，具有较高的精准度，可以更加精准地判断塔吊吊钩的起升状态是否异常。

在上述任意实施方式的基础上，在另一些变更实施方式中，所述用于智能塔吊起升异常状态感知的传感物联网系统，还可以包括：设于所述塔吊吊钩上的警报装置；

所述警报装置与所述控制器连接，所述控制器在检测到所述塔吊吊钩起升状态异常时，通过所述警报装置广播异常警报信息。

其中，该警报装置可以包括蜂鸣器、音箱等语音警报装置，通过向周围广播异常警报信息，可以警告周围工人进行疏散，从而避免货物脱钩而伤及附近工人，降低事故损失。

在上述任意实施方式的基础上，在一些变更实施方式中，上述用于智能塔吊起升异常状态感知的传感物联网系统还可以包括：吊钩、吊钩驱动机构、视觉传感器和传感器驱动机构；其中，

所述吊钩与所述吊钩驱动机构连接，所述视觉传感器与所述传感器驱动机构连接，所述吊钩驱动机构、所述传感器驱动机构和所述视觉传感器均与所述控制器连接；

所述控制器在通过所述吊钩驱动机构控制所述吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述吊钩运动，并控制所述视觉传感器朝向所述吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常。

另外，上述控制器与视觉传感器、传感器驱动机构可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，在一些实施方式中，优选的采用有线方式，利用线缆将视觉传感器、传感器驱动机构与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题导致感知错误。

相较于现有技术，本申请实施例提供的智能塔吊通过配置用于智能塔吊起升异常状态感知的传感物联网系统，可以通过进一步增设视觉传感器和传感器驱动机构，以及在通过所述吊钩驱动机构控制所述吊钩运动时，还通过所述传感器驱动机构控制所述视觉传感器跟随所述吊钩运动，并控制所述视觉传感器朝向所述吊钩所在区域采集视觉传感信号，以根据所述视觉传感信号和所述姿态传感器采集的姿态数据综合判断所述塔吊吊钩的起升状态是否异常，从而能够使得视觉传感器跟随吊钩运动而近距离采集视觉传感信号，无需塔吊操控人员进行额外操作即可自动采集到高清、精准的视觉传感信号，并根据视觉传感信号综合的、更加准确的判断塔吊吊钩的起升状态是否异常，从而进一步减少人工被货物误伤的几率，降低安全事故发生率。

在本申请实施例的一些变更实施方式中，所述吊钩驱动机构包括第一小车，所述传感器驱动机构包括第二小车，所述第一小车和所述第二小车均设于塔吊的起重臂上并沿起重臂移动。

具体的，在一些实施方式中，所述视觉传感器通过绳索滑轮组件吊装于所述第二小车上，并根据所述第二小车沿所述起重臂的移动而沿水平方向移动，以及根据所述绳索滑轮组件的收放动作而沿垂直方向移动。

其中，所述第一小车和所述第二小车可以共用一套变幅钢丝绳牵引移动，此种情况下，第一小车和第二小车需要保持固定距离，例如米、米等，此外，所述第一小车和所述第二小车也可以采用两套不同的变幅钢丝绳分别牵引移动，使得第一小车和第二小车之间的距离可以调节，以便于调节视觉传感器到吊钩的距离，获得较好的观察视野。

另外，所述第一小车和所述第二小车需要采用两套不同的起升钢丝绳分别牵引吊钩和视觉传感器升降，使得视觉传感器既可以与吊钩持平，也可以高于吊钩或者低于吊钩进行信号采集，以应用于各种工况而获得较佳的观察视野。

通过设置第二小车单独驱动视觉传感器，可以根据实际工况灵活调整视觉传感器与吊钩之间的跟随关系，例如，可以调整视觉传感器与吊钩之间沿变幅方向保持米间隔，沿高度方向保持米间隔，或者，调整视觉传感器与吊钩之间沿变幅方向保持米间隔，沿高度方向保持平行(间隔为零)等，以获得较佳的观察视野。

其中，跟随关系确定后，控制器可以在控制吊钩运动时，自动控制视觉传感器根据上述跟随关系进行跟随运动，以保持相同的观察视野。另外，作业人员也可以根据实际需求自行调整上述跟随关系，本申请实施例并不限定其具体数值。

需要说明的是，本申请实施例中所涉及的跟随，是指视觉传感器与吊钩在运动时保持一定的距离和角度，以获得相同的观察视野，便于通过图像对比和识别判断塔吊吊钩的起升状态是否异常。

例如，以视觉传感信号为云台摄像机拍摄的实时画面为例，通过图像识别，可以识别出吊钩和绳索，通过先后拍摄的画面中吊钩和绳索的相对位置和绳索的运动趋势，可以判断是否存在异常，例如，若绳索移动至吊钩出口处预设范围内，且有继续朝向脱钩方向运动的趋势，则判断有脱钩风险，即判断塔吊吊钩的起升状态异常；否则，可以判断无脱钩风险，即判断塔吊吊钩的起升状态无异常。其中，图像识别技术为现有技术中的成熟技术，本领域技术人员可以直接采用现有技术应用于本申请以实现本申请实施例的目的。

本申请实施例提供的视觉传感器可以通过线缆与控制器连接，所述线缆可以通过卷线器进行收放，所述卷线器可以设于第二小车上，所述卷线器可以保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

在另一些变更实施方式中，所述塔吊设有变幅传感器和高度传感器，所述变幅传感器用于检测所述吊钩的变幅位置信息，所述高度传感器用于检测所述吊钩的高度位置信息；

所述控制器根据所述吊钩的所述变幅位置信息和所述高度位置信息控制所述视觉传感器跟随所述吊钩运动。

其中，上述变幅传感器和高度传感器可以采用现有技术提供的传感器实现，其可以使机械式传感器，也可以是红外线传感器或者激光传感器，其均可以实现本申请实施例的目的，本申请实施例不做限定。

上述变幅位置信息可以包括吊钩沿变幅方向(即起重臂水平方向)到标准节之间的水平距离，上述高度位置信息可以包括吊钩沿垂直方向到起重臂之间的垂直距离，根据上述变幅位置信息和高度位置信息，由于视觉传感器与吊钩一样也是通过小车和绳索驱动的，因此，根据上述吊钩的变幅位置信息和高度位置信息，结合预先确定的跟随关系，即可确定视觉传感器应处位置的变幅位置信息和高度位置信息，并据此控制视觉传感器移动到上述应处位置，实现与吊钩的跟随运动。

在控制视觉传感器跟随吊钩移动时，还需要控制视觉传感器的朝向(可以通过云台控制，将视觉传感器安装于云台上，实现朝向可调)，使其能够拍摄到吊钩所在区域，具体的，在一些实施方式中，所述控制器还根据所述吊钩的所述变幅位置信息和所述高度位置信息，和所述视觉传感器的变幅位置信息和高度位置信息，确定所述视觉传感器与所述吊钩之间的粗略相对位置关系，并根据所述粗略相对位置关系粗调所述视觉传感器转向所述吊钩所在区域。由于吊钩和视觉传感器的变幅位置信息和高度位置信息在跟随运动时已经获得，因此，通过本实施方式，可以根据已有的数据快速地粗调所述视觉传感器转向所述吊钩所在区域。

考虑到粗调后吊钩并不一定在视觉传感器视野中的较佳位置，而且视觉传感器在高空中可能会随着空气扰动而摆动而无法准确拍摄到预期画面，因此，在上述实施方式的基础上，在一些变更实施方式中，所述控制器在将所述视觉传感器粗调向所述吊钩所在区域后，还通过识别所述视觉传感器采集的视觉传感信号中的吊钩，确定所述视觉传感器与所述吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号。本实施方式，可以利用现有技术提供的图像识别技术识别视觉传感信号中的吊钩，进而确定视觉传感器与吊钩之间的精细相对位置关系，并根据所述精细相对位置关系微调所述视觉传感器，以使微调后的所述视觉传感器采集到符合预期的视觉传感信号，该预期可以是吊钩位于视觉传感信号的画面中间位置，或者吊钩与被吊货物整体位于视觉传感信号的画面中间位置，本申请实施例不做限定。通过本实施方式，可以在粗调的基础上进一步经过微调而才记得到符合预期的视觉传感信号，提高视觉传感信号精准度，以便于利用该视觉传感信号精准地判断所述塔吊吊钩的起升状态是否异常。

在前述任意实施方式中，上述视觉传感器可以包括云台摄像机或者激光扫描器，其均可以采集得到精准的视觉传感信号，以结合姿态数据判断塔吊吊钩的起升状态是否异常。

具体的，若根据姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，则具体判断方式可以是：若采用姿态数据和视觉传感信号中的任意一项判断塔吊吊钩的起升状态存在异常，则整体上判断塔吊吊钩的起升状态存在异常，否则判断塔吊吊钩的起升状态无异常。从而全面、准确的利用姿态数据和视觉传感信号综合判断塔吊吊钩的起升状态是否异常，提高准确性。

容易理解的是，若视觉传感器重量较轻，在高空中会随着空气扰动而摆动，影响拍摄效果，因此，在一些变更实施方式中，还可以为所述视觉传感器配置姿态稳定控制器，以帮助视觉传感器在高空中稳定姿态，减少晃动，提高拍摄效果，进而提高塔吊吊钩起升状态异常判断的准确性。

其中，上述姿态稳定控制器可以采用配重、飞轮和控制力矩陀螺中的至少一者实现，其可以采用其中一个实现，也可以采用其中的多个配合实现。其中，加装配重最易于实现且实施成本最低；若加装飞轮，则飞轮应当水平放置，其产生的角动量可以有助于保持视觉传感器的姿态稳定；此外，控制力矩陀螺的原理是当给一个陀螺垂直于其旋转轴的扭矩时,会产生一个垂直于旋转轴且垂直于扭距轴的进动力矩，利用该原理，通过安装控制力矩陀螺，也可以帮助视觉传感器保持姿态的稳定，该方式稳定姿态的效果最好。

此外，为了进一步完善上述智能塔吊的智能化和无人化，所述智能塔吊还可以通过配置下述用于智能塔吊操控的三维增强现实视频控制装置，来实现对施工现场工况的全面监测和识别，无需塔吊司机进行高空作业就能根据该三维增强现实视频实现对智能塔吊的控制，减少工作人员参与，从而可以有效降低事故发生率和避免工作人员伤亡，下面结合示例进行说明。

在一些实施方式中，所述用于智能塔吊操控的三维增强现实视频控制装置，可以包括：控制器、全局摄像机和多个局部摄像机；

所述全局摄像机和所述局部摄像机均与所述控制器连接；

所述全局摄像机朝下设于所述智能塔吊起重臂上，用于拍摄所述智能塔吊工作场景的全局影像并发送给所述控制器；

所述多个局部摄像机均匀布设于所述智能塔吊的吊钩的周侧，用于在所述吊钩周侧从不同方向拍摄局部影像，并将所述局部影像发送给所述控制器；

所述控制器根据所述全局影像和所述局部影像生成表征所述智能塔吊实时工作场景的三维增强现实视频，并根据所述三维增强现实视频控制所述智能塔吊运行。

相较于现有技术，本申请实施例提供的用于智能塔吊操控的三维增强现实视频控制装置，通过通过设置控制器、全局摄像机和多个局部摄像机；其中，所述全局摄像机和所述局部摄像机均与所述控制器连接；所述全局摄像机朝下设于所述智能塔吊起重臂上，用于拍摄所述智能塔吊工作场景的全局影像并发送给所述控制器；所述多个局部摄像机均匀布设于所述智能塔吊的吊钩的周侧，用于在所述吊钩周侧从不同方向拍摄局部影像，并将所述局部影像发送给所述控制器；所述控制器根据所述全局影像和所述局部影像生成表征所述智能塔吊实时工作场景的三维增强现实视频，并根据所述三维增强现实视频控制所述智能塔吊运行。从而能够利用全局摄像机和局部摄像机采集塔吊工作场景的实时影像，进而生成三维增强现实视频，实现对施工现场工况的全面监测和识别，无需塔吊司机进行高空作业就能根据该三维增强现实视频实现对智能塔吊的控制，减少工作人员参与，从而可以有效降低事故发生率和避免工作人员伤亡。

关于上述局部摄像机的安装方式，在本申请实施例的一些变更实施方式中，上述用于智能塔吊操控的三维增强现实视频控制装置，还可以包括：多分支支撑架；

所述多分支支撑架安装于所述吊钩的壳体上并呈伞状打开，所述多个局部摄像机安装于所述多分支支撑架的各个分支末端。

在一些变更实施方式中，所述多分支支撑架可以包括底部固定部、套管、多个分支和可沿所述套管上下移动的可调节部；

所述底部固定部安装于所述吊钩的壳体上，所述套管套装于所述吊钩的钢丝绳上；

每个所述分支包括支撑杆和拉杆，所述支撑杆的一端与所述底部固定部连接，另一端用于安装所述局部摄像机；

所述拉杆的一端与所述可调节部连接，另一端与所述支撑杆的中部连接。

通过设置上述多分支支撑架，可以将局部摄像机安装于吊钩周围，使局部摄像机能够伴随吊钩移动，获得稳定、清晰的拍摄画面，有助于生成精准的三维增强现实视频。

需要说明的是，以上仅为多分支支撑架的简单的示意性结构，在实际应用中，可以根据实际需求对上述多分支支撑架的结构进行变更以获得更好的实施效果，其均未脱离本实施方式的发明构思，都应当在本申请的保护范围之内。

在上述实施方式的基础上，在一些变更实施方式中，所述套管外表面设有外螺纹，所述可调节部包括设有内螺纹的齿轮轴承和驱动马达，所述外螺纹与所述内螺纹相匹配；

所述驱动马达通过齿轮与所述齿轮轴承啮合连接，并与所述控制器电连接，用于在所述控制器的控制下驱动所述齿轮轴承绕所述套管旋转以上下移动。

通过上述实施方式，可以实现可调节部的电动驱动，可调节部上下移动时会带动拉杆运动，进而带动局部摄像机上下移动以及靠近或远离吊钩，从而实现局部摄像机的电控调节，有助于塔吊操控人员结合实际场景方便、灵活的调节局部摄像机的位置以获得较为理想的拍摄效果，进而生成精准的三维增强现实视频。

此外，为了提高局部摄像机的易用性，在一些变更实施方式中，所述局部摄像机通过云台安装于所述多分支支撑架的各个分支末端，通过设置云台，可以更加灵活的控制局部摄像机采集所需的影像，一方面，可以在拍摄角度出现偏差时，通过云台控制局部摄像机纠正角度偏差，从而更加精准的采集所需影像，另一方面，可以控制局部摄像机进行巡航拍摄，采集周围更大范围内的影像，以便于进一步进行全场景的三维重建，提高智能化水平。

其中，对于上述局部摄像机的数量，考虑到多个局部摄像机环绕设置带来的平衡问题和遮挡问题，一般可以设置个以上的局部摄像机，考虑到数量过多会提高生成三维增强现实视频的系统负荷和实现成本，优选的，所述局部摄像机的数量为个或个，从而兼顾实施成本和实现效果，获得较高的投入产出比。

需要说明的是，本申请实施例采用了全局摄像机与局部摄像机相结合的方式来进行影像采集，其中，全局摄像机可以拍摄得到施工场景更为全面的全局影像，但由于其安装位置较高，会存在遮挡和拍摄画面中低处物体清晰度较差的不足，因此，通过引入环绕吊钩设置的局部摄像机，可以对遮挡处的画面进行采集，减少遮挡问题，且由于局部摄像机是随吊钩移动的，可以近距离采集到清晰度更高的画面，这样，通过全局摄像机与局部摄像机的配合，将全局影像与局部影像相融合，即可得到全面、清晰、准确的影像数据，从而确保生成的三维增强现实视频能够更加精准地还原施工场地的真实情况，有助于智能塔吊基于三维增强现实视频实现精准的作业，提高智能塔吊的智能化、自动化水平和作业精准度。

上述控制器与局部摄像机可以采用无线方式连接，也可以采用有线方式连接，考虑到无线信号稳定性相对较差，有可能因信号中断、出错导致安全事故，在一些实施方式中，优选的采用有线方式，利用线缆将局部摄像机与控制器连接，具体的，线缆可以沿起重臂、标准节连接至地面的操控台，并与操控台上的控制器连接，从而提高信号质量和稳定性，避免因信号问题不能及时发现塔吊挂钩的起升状态异常，进而导致安全事故。在此基础上，上述用于智能塔吊操控的三维增强现实视频控制装置，还可以包括：设于悬挂所述吊钩的小车上的卷线器；所述多个局部摄像机通过线缆与所述控制器连接，所述线缆通过所述卷线器进行收放。通过该实施方式，可以利用卷线器保持线缆处于收紧状态，避免线缆松弛摇晃而影响其他部件运行。

上述三位增强现实视频可以采用三维重建技术实现，在一些实施方式中，所述控制器具体根据所述全局影像和所述局部影像，通过三维重建生成表征所述智能塔吊实时工作场景的三维增强现实视频。

例如，所述控制器具体根据所述全局摄像机和所述局部摄像机的相机位置信息，以及所述全局影像和所述局部影像中各个像素点的像素位置信息，采用稠密重建算法确定每个所述像素点对应于世界坐标系中的三维点的位置信息，并根据所述三维点构成的三维点云确定所述智能塔吊实时工作场景的三维增强现实视频。基于多幅图像进行三维重建已是较为成熟的现有技术，因此，其具体过程此处不再赘述，本领域技术人员可以参考现有技术灵活变更实施，本申请实施例不做限定，其均在本申请的保护范围之内。

此外，也可以采用建筑信息模型(Building Information Modeling，BIM)工具来基于上述全局影像和局部影像生成三维增强现实视频，其也可以实现本申请实施例的目的，也应在本申请的保护范围之内。

需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种基于图像分析的塔吊物料分类识别方法，其特征在于，包括：

获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息；

根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述物料图像组，确定所述物料的属性信息，包括：

根据采集所述物料图像的每台摄像机的姿态信息，从初始图像数据库中查询与所述姿态信息对应的初始图像，所述姿态信息包括所述摄像机的拍摄位置信息和拍摄角度信息，所述初始图像数据库中存储有每台所述摄像机对应于所述姿态信息采集的初始图像，所述初始图像是在所述物料进场前采集的；

通过将所述物料图像组中的每幅物料图像，分别与采集所述物料图像的摄像机在相同姿态下预先采集的所述初始图像进行比对，识别出每幅物料图像中的物料主体；

根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息。

3.根据权利要求3所述的方法，其特征在于，所述根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息，包括：

确定每台所述摄像机对应的像素坐标系与世界坐标系的坐标转换关系；

根据所述坐标转换关系，将每幅物料图像中所述物料主体的像素坐标转换为在世界坐标系中的世界坐标；

根据所述世界坐标确定所述物料的形状信息和尺寸信息。

4.根据权利要求3所述的方法，其特征在于，所述根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息，包括：

采用纹理识别算法识别每幅所述物料图像中的物料主体的纹理信息。

5.根据权利要求1所述的方法，其特征在于，所述摄像机包括双目摄像机，所述双目摄像机采集的所述物料图像携带有景深信息；

所述根据所述物料图像组，确定所述物料的属性信息，包括：

根据所述物料图像组中每幅物料图像携带的景深信息，确定所述物料的属性信息。

6.一种基于图像分析的塔吊物料分类识别系统，其特征在于，包括：

图像组获取模块，用于获取设于智能塔吊的摄像机群组采集的物料图像组，所述摄像机群组包括拍摄角度不同的多台摄像机，所述物料图像组包括每台所述摄像机针对物料采集的物料图像；

属性信息确定模块，用于根据所述物料图像组，确定所述物料的属性信息，所述属性信息包括形状信息、尺寸信息和纹理信息；

物料类别匹配模块，用于根据所述物料的属性信息，从塔吊物料数据库中匹配得到所述物料的类别，其中，所述塔吊物料数据库预先存储有不同塔吊物料的属性信息。

7.根据权利要求6所述的方法，其特征在于，所述属性信息确定模块，包括：

初始图像查询单元，用于根据采集所述物料图像的每台摄像机的姿态信息，从初始图像数据库中查询与所述姿态信息对应的初始图像，所述姿态信息包括所述摄像机的拍摄位置信息和拍摄角度信息，所述初始图像数据库中存储有每台所述摄像机对应于所述姿态信息采集的初始图像，所述初始图像是在所述物料进场前采集的；

图像比对单元，用于通过将所述物料图像组中的每幅物料图像，分别与采集所述物料图像的摄像机在相同姿态下预先采集的所述初始图像进行比对，识别出每幅物料图像中的物料主体；

属性信息确定单元，用于根据识别得到的所述每幅物料图像中的物料主体，确定所述物料的属性信息。

8.根据权利要求7所述的方法，其特征在于，所述属性信息确定单元，包括：

坐标转换关系确定子单元，用于确定每台所述摄像机对应的像素坐标系与世界坐标系的坐标转换关系；

坐标转换子单元，用于根据所述坐标转换关系，将每幅物料图像中所述物料主体的像素坐标转换为在世界坐标系中的世界坐标；

形状尺寸确定子单元，用于根据所述世界坐标确定所述物料的形状信息和尺寸信息。

9.根据权利要求7所述的方法，其特征在于，所述属性信息确定单元，包括：

纹理确定子单元，用于采用纹理识别算法识别每幅所述物料图像中的物料主体的纹理信息。

10.一种智能塔吊，其特征在于，所述智能塔吊设置有权利要求6至9任一项所述的基于图像分析的塔吊物料分类识别系统。

Images