CN117787525A - 基于井下多个目标对象的轨迹预测方法和预警方法 - Google Patents

Abstract

本公开提出了一种基于井下多个目标对象的轨迹预测方法和预警方法，涉及数据处理技术领域。该方法包括：获取多个目标对象的历史轨迹信息，对每个目标对象历史轨迹信息进行编码处理，获取第一特征表示；针对多个目标对象中的每个第一对象，根据历史轨迹信息，从多个目标对象中确定与第一对象关联的N个第二对象，N为非负整数；将第一对象的第一特征表示和第二对象的第一特征表示进行自注意力机制和特征融合，得到第二特征表示；对第二特征表示进行解码处理，得到第一对象的预测轨迹信息。本公开中，可以提升井下多人场景时地人员轨迹预测精准度，同时降低推理时间，更高效地进行轨迹预测。

Description

基于井下多个目标对象的轨迹预测方法和预警方法

技术领域

本公开涉及数据处理技术领域，尤其涉及煤矿生产安全和井下目标对象行动轨迹预测的交叉技术领域。

背景技术

相关技术中，在井下环境中，可能存在多个目标对象（如矿工、设备、采矿机器人等），它们的运动轨迹常常受到许多因素的影响，预测这些目标对象的运动轨迹可以帮助提高生产效率和安全性。通过预测目标对象的位置和轨迹，可以更好地规划和调度，优化生产过程，检测和预防潜在危险，更好地管理和控制废弃物和污染物的分布和释放。

因此，如何提升井下多人场景时地人员轨迹预测精准度，同时降低推理时间，更高效地进行轨迹预测，已经成为重要的研究方向之一。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

本公开第一方面实施例提出了一种基于井下多个目标对象的轨迹预测方法，包括：

获取多个目标对象的历史轨迹信息，对每个目标对象历史轨迹信息进行编码处理，获取第一特征表示；

针对多个目标对象中的每个第一对象，根据历史轨迹信息，从多个目标对象中确定与第一对象关联的N个第二对象，N为非负整数；

将第一对象的第一特征表示和第二对象的第一特征表示进行自注意力机制和特征融合，得到第二特征表示；

对第二特征表示进行解码处理，得到第一对象的预测轨迹信息。

本公开第二方面实施例提出了一种基于井下多个目标对象轨迹预测的预警方法，包括：

获取多个目标对象的历史轨迹信息，并基于历史轨迹信息得到每个目标对象在预设未来时间段的预测轨迹信息；

判断每个目标对象的预测轨迹信息与预设预警区域是否有交集；

若判定存在目标对象的预测轨迹信息与预设预警区域有交集，根据该目标对象的预测轨迹信息生成报警信息；

其中，目标对象的预测轨迹信息由上述第一方面实施例的轨迹预测方法得到。

本公开第三方面实施例提出了一种基于井下多个目标对象的轨迹预测装置，包括：

获取模块，用于获取多个目标对象的历史轨迹信息，对每个目标对象历史轨迹信息进行编码处理，获取第一特征表示；

确定模块，用于针对多个目标对象中的每个第一对象，根据历史轨迹信息，从多个目标对象中确定与第一对象关联的N个第二对象，N为非负整数；

第一处理模块，用于将第一对象的第一特征表示和第二对象的第一特征表示进行自注意力机制和特征融合，得到第二特征表示；

第二处理模块，用于对第二特征表示进行解码处理，得到第一对象的预测轨迹信息。

本公开第四方面实施例提出了一种基于井下多个目标对象轨迹预测的预警装置，包括：

获取模块，用于获取多个目标对象的历史轨迹信息，并基于历史轨迹信息得到每个目标对象在预设未来时间段的预测轨迹信息；

判断模块，判断每个目标对象的预测轨迹信息与预设预警区域是否有交集；

生成模块，用于若判定存在目标对象的预测轨迹信息与预设预警区域有交集，根据该目标对象的预测轨迹信息生成报警信息；

其中，目标对象的预测轨迹信息由上述第三方面实施例的轨迹预测装置得到。

本公开第五方面实施例提出了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例中提供的基于井下多个目标对象的轨迹预测方法或执行本公开第二方面实施例中提供的基于井下多个目标对象轨迹预测的预警方法。

本公开第六方面实施例提出了一种计算机可读存储介质，其上存储有计算机指令，其中，计算机指令用于使计算机执行根据本公开第一方面实施例中提供的基于井下多个目标对象的轨迹预测方法或执行根据本公开第二方面实施例中提供的基于井下多个目标对象轨迹预测的预警方法。

本公开第七方面实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一方面实施例中提供的基于井下多个目标对象的轨迹预测方法或执行时实现本公开第二方面实施例中提供的基于井下多个目标对象轨迹预测的预警方法。

附图说明

图1是本公开一个实施例的基于井下多个目标对象的轨迹预测方法的流程图；

图2是本公开一个实施例的转换器编码层的结构图；

图3是本公开一个实施例的自注意力机制的结构图；

图4是本公开一个实施例的转换器解码层的结构图；

图5是本公开一个实施例的基于井下多个目标对象的轨迹预测方法的流程图；

图6是本公开一个实施例的基于井下多个目标对象的轨迹预测方法的结构图；

图7是本公开一个实施例的基于井下多个目标对象轨迹预测的预警方法的流程图；

图8是本公开一个实施例的基于井下多个目标对象轨迹预测的预警方法的流程图；

图9是本公开一个实施例的基于井下多个目标对象的轨迹预测装置的结构框图；

图10是本公开一个实施例的基于井下多个目标对象轨迹预测的预警装置的结构框图；

图11是本公开一个实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

下面结合附图来描述本公开实施例的基于井下多个目标对象的轨迹预测方法和预警方法。

图1是本公开一个实施例的基于井下多个目标对象的轨迹预测方法的流程图，如图1所示，该方法包括以下步骤：

S101，获取多个目标对象的历史轨迹信息，对每个目标对象历史轨迹信息进行编码处理，获取第一特征表示。

在一些实施方式中，可以基于全球定位系统（GPS）获取目标对象在各个时刻的位置信息，进而根据目标对象在各个时刻的位置信息获取目标对象在预设历史时间段的历史轨迹信息。在一些实施方式中，可以基于视觉传感器，如摄像机获取目标对象的图像，进而可以使用图像处理技术来识别和跟踪目标对象的位置，得到目标对象的历史轨迹信息。本公开实施例中对此不作限制。

本公开实施例中，目标对象的历史轨迹信息为包括目标对象当前时刻的位置坐标和多个历史时刻的位置坐标的序列。

如图2所示，本公开实施例中，转换器编码层负责提取输入序列的特征，将每个目标对象的历史轨迹信息输入该目标对象对应的转换器编码层，基于转换器编码层的多个子编码层对历史轨迹信息进行编码处理，得到候选特征表示，其中，多个子编码层之间具有层级关系，上一级子编码层输出的特征表示为下一级子编码层的输入，将候选特征表示输入目标对象对应的第一全连接层，基于第一全连接层对候选特征表示进行特征提取，得到第一特征表示。

举例说明，本公开实施例中，转换器编码层包含6子编码层，每个子编码层包含三个构建块：注意力模块，前馈全连接模块以及加和归一化Add&Norm模块。首先，一组目标对象的历史轨迹信息会作为输入进入转换器Transformer中，通过位置编码为每一个输入标记时间戳后进入编码层，每一层子编码层使用上一层子编码层的输出作为输入进行特征提取，获取第一特征表示。

Transformer的核心就是引入了自注意力机制，图3是本公开一个实施例的自注意力机制的结构图，如图3所示，自注意力机制可以使模型关注需要关注的部分，从而减少因关注无需关注的部分造成的资源浪费。

进一步说明，本公开实施例中，对于场景中每一个目标对象进行独立建模，首先通过Transformer编码器作为基础算子，对目标对象的历史轨迹信息进行特征提取，通过注意力机制，计算对于目标对象i的不同时刻的位置之间的自注意力，以此提取出目标对象i的时间维度运动模式，并且完成时序建模。计算公式如下：

令，代表目标对象i的第一特征表示。这一独特的建模方式不仅能够更加深入地理解每位目标对象的运动特征，同时通过自注意力机制，能够捕捉到目标对象i在不同时间点上的关键运动信息。这有助于更精准地分析个体运动模式，为社交场景中多个目标对象的轨迹预测提供了可靠的时序基础。

对于一个目标对象的历史轨迹信息X，自注意力机制可以计算X中每个元素之间的相关程度，从而得到一个注意力矩阵。在自注意力机制中，注意力矩阵包括三个矩阵，分别为Q（提问Query）矩阵、K（键Key）矩阵以及对应的V（值Value）矩阵，Q、K、V矩阵都是由X做了不同的线性变换之后的结果，都可以独立作为X的代表。首先计算Q和K之间的点积，为了防止点积结果过大，会令结果除以，/>为K向量的维度，然后利用归一化softmax操作将其结果归一化为概率分布，再乘以矩阵V就得到权重求和的表示。其中，/>分别表示目标对象i的提问矩阵、键矩阵、和值矩阵。

S102，针对多个目标对象中的每个第一对象，根据历史轨迹信息，从多个目标对象中确定与第一对象关联的N个第二对象，N为非负整数。

本公开实施例中，根据历史轨迹信息确定第一对象和每个第三对象之间的目标距离，第三对象为多个目标对象中除第一对象之外的目标对象；将目标距离小于或等于预设的距离阈值的第三对象确定为第二对象，或将最小目标距离对应的第三对象确定为第二对象。

也就是说，第一对象的未来行动轨迹将受到其关联的第三对象运动状态的影响。可以体现目标对象的运动特征，本公开通过建立信息交互层，以目标对象i为第一对象为例进行说明，将第一对象的特征信息及其关联的第二对象的特征信息融合在一起，进而使得目标对象i能够提取其周围人员的运动特征信息，从而对于未来轨迹做出更好的判断。

对于时刻t，本公开根据目标对象的位置信息构建了一个空间图。由于在一个场景中，一个目标对象不可能与所有其他目标对象同时产生关联关系，因此引入一个距离阈值R，该阈值表示在历史一段时间内可能与目标对象i发生交互的目标对象与目标对象i之间的最大距离阈值。若两人之间的距离大于R，则表示两人之间不存在边；若距离小于等于R，则认定目标对象i将会与对方发生交互，即这两个目标对象之间存在边。这意味着目标对象i的未来行动轨迹将受到对方运动状态的影响。j代表目标对象i关联的第二对象，则有，，m为第二对象的数量（/>，/>）表示目标对象j的t时刻的位置坐标，（/>，）表示目标对象i的t时刻的位置坐标。

S103，将第一对象的第一特征表示和第二对象的第一特征表示进行自注意力机制和特征融合，得到第二特征表示。

通过一个交互层将第一对象的第一特征表示和第二对象的第一特征表示相互连接，该交互层允许空间上接近的网络彼此共享信息，计算第一对象在受到其关联的第二对象影响时对周围第二对象分配的注意力，从而提取其第二对象的运动模式，继而融合饼更新第一特征表示，得到第二特征表示。

S104，对第二特征表示进行解码处理，得到第一对象的预测轨迹信息。

将每个目标对象的第二特征表示输入该目标对象对应的转换器解码层，基于转换器解码层的多个子解码层对第二特征表示进行解码处理，得到第三特征表示，其中，多个子解码层之间具有层级关系，上一级子解码层输出的特征表示为下一级子解码层的输入，将第三特征表示输入目标对象对应的第二全连接层，基于第二全连接层对第三特征表示进行特征提取和融合，输出第一对象的预测轨迹信息。

也就是说，由一组Transformer解码层对第二特征表示进行解码，输出对于未来时刻的位置信息预测，形成井下多人场景中的目标未来行动轨迹。如图4所示，以第一对象为目标对象i，为目标对象i的第二特征表示为例进行说明，将/>输入到一组6层的Transformer解码层中。在解码每一层，使用上个时间点的预测结果、上一层子解码层的输出以及上层子解码层输出的特征向量进行解码，在预测的时候，本公开选取最后一个时刻的特征向量，与一个预设高斯噪音结合后进行预测。这样的目的是为了能够比较好地对轨迹预测中的不确定性进行建模，并目可以用于产生多种预测结果。最后得到目标对象i在当前时刻t的下一时刻的位置信息，将未来一组连续的时间，也即时刻t至时刻t+f的位置信息组合起来，就得到了目标对象i在未来一段时间f内的预测轨迹信息。

本公开实施例中，针对多个目标对象中的每个第一对象，根据历史轨迹信息，从多个目标对象中确定与第一对象关联的N个第二对象，能够提取目标对象周围邻居运动模式，考虑其运动状态从而对于多人场景中的目标对象进行精准的轨迹预测。将第一对象的第一特征表示和第二对象的第一特征表示进行自注意力机制和特征融合，得到第二特征表示，对第二特征表示进行解码处理，得到第一对象的预测轨迹信息，可以提升井下多人场景时地人员轨迹预测精准度，同时降低推理时间，更高效地进行轨迹预测。

图5是本公开一个实施例的基于井下多个目标对象的轨迹预测方法的流程图，如图5所示，第一特征表示包括提问矩阵、键矩阵和值矩阵，将第一对象的第一特征表示和第二对象的第一特征表示进行自注意力机制和特征融合，得到第二特征表示，包括以下步骤：

S501，基于第一对象的提问矩阵和每个第二对象的键矩阵确定图卷积中第一对象至每个第二对象的消息传递信息。

本公开实施例中，基于Transformer网络，研究一种井下人员行动轨迹预测方法，考虑目标周围人员运动状态，对目标周围人员信息进行交互编码，预测多人场景中的目标未来行动轨迹。能够有效地提升井下多人场景时地人员轨迹预测精准度，同时降低推理时间，更高效地进行轨迹预测，

自注意力机制可以看作是无向全连接图上的消息传递，具体而言，对于任意一个第一特征表示，提取其Q向量/>，K向量/>，以及V向量/>。那么可以定义图卷积中从第二对象（目标对象j）到第一对象（目标对象i）的消息传递/>为：

S502，对第一对象至每个第二对象的消息传递信息进行归一化处理，并结合第一对象的键矩阵的维度、每个第二对象的值矩阵，获取第一对象对于每个第二对象提取的特征信息的注意力。

基于图卷积，本公开设计的交互层可以理解为一个基于注意力的图卷积机制，目标对象间的信息通过图的边进行传递。对于任意图G，G还有m个节点（目标对象），代表场景内所有的待预测的目标对象，可得出目标对象i对于目标对象j提取的特征信息，即注意力为：

其中，表示目标对象i的K矩阵的维度。

因此，i对于所有邻居分配的注意力可以写作：

其中，为一个全连接层，通过此全连接层将第一对象的m个第二对象进行特征信息初步融合融合。

S503，基于每个第二对象的提问矩阵、值矩阵和键矩阵的维度，和第一对象的键矩阵获取第一对象对于每个第二对象的注意力权重。

本公开引入了第一对象对于第二对象的注意力权重，代表i对j分配的注意力权重，通过2个归一化层（softmax）进行计算，计算公式如下：

表示第二对象的键矩阵的维度，/>分别表示第二对象的提问矩阵、值矩阵。

S504，基于第一对象的第一特征表示、第一对象对于每个第二对象的注意力权重、第一对象对于每个第二对象提取的特征信息的注意力获取第一对象的融合特征。

模型在推理目标对象i（也即第一对象）的未来轨迹时，不仅要考虑到目标对象i周围邻居（第二对象）的运动特征，还需要将目标对象i的运动特征作为重要考量，因此，将目标对象i对自身的注意力以及目标对象i对于所有邻居的注意力进行进一步信息融合，获取第一对象的融合特征。

S505，基于预设的嵌入函数对融合特征进行编码，得到第二特征表示。

可选地，通过一个具有ReLU非线性的嵌入函数的编码器优化特征，完成信息交互编码。

目标对象i的第二特征表示可以采用如下公式获取：

其中，为嵌入函数的嵌入权重，在模型训练开始时，嵌入权重通常会被随机初始化，随着模型的训练而进行调整。在训练期间，模型通过反向传播算法和优化器来最小化损失函数，以调整权重，使模型的预测尽可能接近实际。

其中，ReLU（Rectified Linear Unit）是一种常用的非线性激活函数，表示编码处理。

本公开通过对每个目标对象独立建模，并行计算，极大程度利用计算资源，大大降低了响应时间，进一步提升煤矿井下安全的可靠性，有助于精准的预测场景中每个目标对象的行动轨迹。

图6是本公开一个实施例的基于井下多个目标对象的轨迹预测方法的结构图，如图6所示，本公开实施例中，获取多个目标对象的历史轨迹信息，将每个目标对象历史轨迹信息输入转换器编码层和第一全连接层进行特征提取，获取第一特征表示；针对多个目标对象中的每个第一对象，根据历史轨迹信息，从多个目标对象中确定与第一对象关联的N个第二对象；将第一对象的第一特征表示和第二对象的第一特征表示输入交互转换器编码层（交互层）进行自注意力机制和特征融合，得到第二特征表示；进而将第二特征表示输入转换器解码层和第二全连接层，对第二特征表示进行解码处理，得到第一对象的预测轨迹信息。本公开对于场景内每个目标对象独立建模，并行计算，提升了推理速度，降低了预测时延，做到实时预测。

电子围栏（Geofence）是一种利用地理位置技术，通过在虚拟地图上划定一个地理范围，并与移动设备进行绑定，当移动设备进入或离开这个范围时，系统会触发一系列预设的操作或事件。电子“围栏”仅能做到对已发生的危险进行判识，无法做到对未知风险进行有效预测，本公开实施例对目标对象的未来移动轨迹进行预测，可以结合电子“围栏”，达到提前预警的目的。

图7是本公开一个实施例的基于井下多个目标对象轨迹预测的预警方法的流程图，如图7所示，该方法包括以下步骤：

S701，获取多个目标对象的历史轨迹信息，并基于历史轨迹信息得到每个目标对象在预设未来时间段的预测轨迹信息。

本公开实施例中，获取预设历史时间段内的多个待检测图像，并对待检测图像进行识别，确定每个待检测图像中的多个目标对象，根据目标对象在相邻两帧待检测图像中的位置信息，对待检测图像进行筛选，根据目标对象在筛选后的多个待检测图像的位置信息，生成目标对象的历史轨迹信息。

如图8所示，举例说明，本公开实施例中，基于摄像仪采集视频，以历史时间段为2.4秒，采集的视频包括6帧待检测图像为例进行说明，对于视频中的每一帧待检测图像进行前处理，如格式转换，尺寸变换，规范图像后基于基于深度学习的目标检测算法（如YOLO模型）进行推理，识别检测待检测图像内的目标对象，得到目标对象的候选检测框，使用包括快速非极大值抑制（Fast NMS）等方法对于目标对象的候选检测框进行后处理，得到目标对象的目标检测框。可选地，得到目标检测框之后，将目标对象的目标检测框与上一帧目标对象的目标检测框进行比较，若与上一帧检测框重叠，则丢弃当前检测结果，若不一致，则将检测结果记录在信息池中，帧数加1，重复上述步骤；

对于每个识别到的目标对象，画出其最小邻接矩形，取矩形的中心点抽象为目标当前位置坐标，使用目标过去6帧（2.4s）的位置坐标作为目标对象的历史轨迹信息。

其中，Fast NMS（快速非极大值抑制）是一种目标检测中常用的算法，用于消除重叠的边界框并选择最佳的检测结果。在目标检测任务中，通常会生成多个候选边界框，并且这些边界框可能会有重叠。

本公开实施例中，以目标对象的历史轨迹信息作为输入，基于上述的轨迹预测方法得到目标对象在预设未来时间段的预测轨迹信息，例如可以预测目标对象未来7帧（2.8s）的位置坐标，作为目标对象在预设未来时间段的预测轨迹信息。

S702，判断每个目标对象的预测轨迹信息与预设预警区域是否有交集。

如图8所示，提前在摄像仪获取到的场景中画出电子“围栏”范围，也即预设预警区域，若目标未来轨迹与预设预警区域有交集，判定目标对象可能在未来时间段到达预设预警区域，也就是说，认定目标对象未来有极大可能进入“围栏”区域，触发系统报警。

S703，若存在目标对象的预测轨迹信息与预设预警区域有交集，根据该目标对象的预测轨迹信息生成报警信息。

若目标未来轨迹与预设预警区域有交集，判定目标对象在未来时间段可能到达预设预警区域，也就是说，认定目标对象未来有极大可能进入“围栏”区域，此时，可以根据该目标对象的预测轨迹信息生成报警信息，可选地，可以基于报警信息进行声音提醒或灯光提醒，也可以将报警信息发送给预设的终端设备。

本公开实施例中，获取多个目标对象的历史轨迹信息，并基于历史轨迹信息得到每个目标对象在预设未来时间段的预测轨迹信息，判断每个目标对象的预测轨迹信息与预设预警区域是否有交集，若存在目标对象的预测轨迹信息与预设预警区域有交集，根据该目标对象的预测轨迹信息生成报警信息。本公开通过预测人员的未来行动轨迹，结合电子“围栏”，能够提前预测潜在的风险，从而提高煤矿生产的安全性。

图9是根据本公开一个实施例的基于井下多个目标对象的轨迹预测装置的结构图，如图9所示，基于井下多个目标对象的轨迹预测装置900包括：

获取模块910，用于获取多个目标对象的历史轨迹信息，对每个目标对象历史轨迹信息进行编码处理，获取第一特征表示；

确定模块920，用于针对多个目标对象中的每个第一对象，根据历史轨迹信息，从多个目标对象中确定与第一对象关联的N个第二对象，N为非负整数；

第一处理模块930，用于将第一对象的第一特征表示和第二对象的第一特征表示进行自注意力机制和特征融合，得到第二特征表示；

第二处理模块940，用于对第二特征表示进行解码处理，得到第一对象的预测轨迹信息。

在一些实施方式中，获取模块910，还用于：

将每个目标对象的历史轨迹信息输入该目标对象对应的转换器编码层，基于转换器编码层的多个子编码层对历史轨迹信息进行编码处理，得到候选特征表示，其中，多个子编码层之间具有层级关系，上一级子编码层输出的特征表示为下一级子编码层的输入；

将候选特征表示输入目标对象对应的第一全连接层，基于第一全连接层对候选特征表示进行特征提取，得到第一特征表示。

在一些实施方式中，确定模块920，还用于：

根据历史轨迹信息确定第一对象和每个第三对象之间的目标距离，第三对象为多个目标对象中除第一对象之外的目标对象；

将目标距离小于或等于预设的距离阈值的第三对象确定为第二对象，或将最小目标距离对应的第三对象确定为第二对象。

在一些实施方式中，第一特征表示包括提问矩阵、键矩阵和值矩阵，第一处理模块930，还用于：

基于第一对象的提问矩阵和每个第二对象的键矩阵确定图卷积中第一对象至每个第二对象的消息传递信息；

对第一对象至每个第二对象的消息传递信息进行归一化处理，并结合第一对象的键矩阵的维度、每个第二对象的值矩阵，获取第一对象对于每个第二对象提取的特征信息的注意力；

基于每个第二对象的提问矩阵、值矩阵和键矩阵的维度，和第一对象的键矩阵获取第一对象对于每个第二对象的注意力权重；

基于第一对象的第一特征表示、第一对象对于每个第二对象的注意力权重、第一对象对于每个第二对象提取的特征信息的注意力获取第一对象的融合特征；

基于预设的嵌入函数对融合特征进行编码，得到第二特征表示。

在一些实施方式中，第二处理模块940，还用于：

将每个目标对象的第二特征表示输入该目标对象对应的转换器解码层，基于转换器解码层的多个子解码层对第二特征表示进行解码处理，得到第三特征表示，其中，多个子解码层之间具有层级关系，上一级子解码层输出的特征表示为下一级子解码层的输入；

将第三特征表示输入目标对象对应的第二全连接层，基于第二全连接层对第三特征表示进行特征提取和融合，输出第一对象的预测轨迹信息。

本公开实施例中，针对多个目标对象中的每个第一对象，根据历史轨迹信息，从多个目标对象中确定与第一对象关联的N个第二对象，能够提取目标对象周围邻居运动模式，考虑其运动状态从而对于多人场景中的目标对象进行精准的轨迹预测。将第一对象的第一特征表示和第二对象的第一特征表示进行自注意力机制和特征融合，得到第二特征表示，对第二特征表示进行解码处理，得到第一对象的预测轨迹信息，可以提升井下多人场景时地人员轨迹预测精准度，同时降低推理时间，更高效地进行轨迹预测。

图10是根据本公开一个实施例的基于井下多个目标对象轨迹预测的预警装置的结构图，如图10所示，基于井下多个目标对象轨迹预测的预警装置1000包括：

获取模块1010，用于获取多个目标对象的历史轨迹信息，并基于历史轨迹信息得到每个目标对象在预设未来时间段的预测轨迹信息；

判断模块1020，判断每个目标对象的预测轨迹信息与预设预警区域是否有交集；

生成模块1030，用于若判定存在目标对象的预测轨迹信息与预设预警区域有交集，根据该目标对象的预测轨迹信息生成报警信息；

其中，目标对象的预测轨迹信息由基于井下多个目标对象的轨迹预测装置900得到。

在一些实施方式中，获取模块1010，还用于：

获取预设历史时间段内的多个待检测图像，并对待检测图像进行识别，确定每个待检测图像中的多个目标对象；

根据目标对象在相邻两帧待检测图像中的位置信息，对待检测图像进行筛选；

根据目标对象在筛选后的多个待检测图像的位置信息，生成目标对象的历史轨迹信息。

本公开实施例中，获取多个目标对象的历史轨迹信息，并基于历史轨迹信息得到每个目标对象在预设未来时间段的预测轨迹信息，判断每个目标对象的预测轨迹信息与预设预警区域是否有交集，若存在目标对象的预测轨迹信息与预设预警区域有交集，根据该目标对象的预测轨迹信息生成报警信息。本公开通过预测人员的未来行动轨迹，结合电子“围栏”，能够提前预测潜在的风险，从而提高煤矿生产的安全性。

基于同一申请构思，本公开实施例还提供了一种电子设备。

图11为本公开实施例提供的电子设备的结构示意图。如图11所示，该电子设备1100，包括存储器1101、处理器1102及存储在存储器1101上并可在处理器1102上运行的计算机程序产品，处理器执行计算机程序时，实现前述的基于井下多个目标对象的轨迹预测方法或基于井下多个目标对象轨迹预测的预警方法方法。

为了实现上述实施例，本公开还提出一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现前述实施例所提供的基于井下多个目标对象的轨迹预测方法或基于井下多个目标对象轨迹预测的预警方法方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述实施例所提供的基于井下多个目标对象的轨迹预测方法或基于井下多个目标对象轨迹预测的预警方法方法。

本公开中所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

需要说明的是，来自用户的个人信息应当被收集用于合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享，包括但不限于在用户使用该功能前，通知用户阅读用户协议/用户通知，并签署包括授权相关用户信息的协议/授权。此外，还需采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。

本公开预期可提供用户选择性阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件和/或软件，以防止或阻止对此类个人信息数据的访问。一旦不再需要个人信息数据，通过限制数据收集和删除数据可最小化风险。此外，在适用时，对此类个人信息去除个人标识，以保护用户的隐私。

在前述各实施例描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于井下多个目标对象的轨迹预测方法，其特征在于，包括：

获取多个目标对象的历史轨迹信息，对每个目标对象所述历史轨迹信息进行编码处理，获取第一特征表示；

针对所述多个目标对象中的每个第一对象，根据所述历史轨迹信息，从所述多个目标对象中确定与所述第一对象关联的N个第二对象，所述N为非负整数；

将所述第一对象的所述第一特征表示和所述第二对象的所述第一特征表示进行自注意力机制和特征融合，得到第二特征表示；

对所述第二特征表示进行解码处理，得到所述第一对象的预测轨迹信息。

2.根据权利要求1所述的方法，其特征在于，所述对每个目标对象所述历史轨迹信息进行编码处理，获取第一特征表示，包括：

将每个所述目标对象的所述历史轨迹信息输入该目标对象对应的转换器编码层，基于所述转换器编码层的多个子编码层对所述历史轨迹信息进行编码处理，得到候选特征表示，其中，所述多个子编码层之间具有层级关系，上一级子编码层输出的特征表示为下一级子编码层的输入；

将所述候选特征表示输入所述目标对象对应的第一全连接层，基于所述第一全连接层对所述候选特征表示进行特征提取，得到所述第一特征表示。

3.根据权利要求1所述的方法，其特征在于，所述根据所述历史轨迹信息，从所述多个目标对象中确定与所述第一对象关联的N个第二对象，包括：

根据所述历史轨迹信息确定所述第一对象和每个第三对象之间的目标距离，所述第三对象为多个所述目标对象中除所述第一对象之外的目标对象；

将所述目标距离小于或等于预设的距离阈值的所述第三对象确定为所述第二对象，或将最小目标距离对应的所述第三对象确定为所述第二对象。

4.根据权利要求1所述的方法，其特征在于，所述第一特征表示包括提问矩阵、键矩阵和值矩阵，所述将所述第一对象的所述第一特征表示和所述第二对象的所述第一特征表示进行自注意力机制和特征融合，得到第二特征表示，包括：

基于所述第一对象的提问矩阵和每个所述第二对象的键矩阵确定图卷积中所述第一对象至每个所述第二对象的消息传递信息；

对所述第一对象至每个所述第二对象的消息传递信息进行归一化处理，并结合所述第一对象的键矩阵的维度、每个所述第二对象的值矩阵，获取所述第一对象对于每个所述第二对象提取的特征信息的注意力；

基于每个所述第二对象的提问矩阵、值矩阵和键矩阵的维度，和所述第一对象的键矩阵获取所述第一对象对于每个所述第二对象的注意力权重；

基于所述第一对象的所述第一特征表示、所述第一对象对于每个所述第二对象的注意力权重、所述第一对象对于每个所述第二对象提取的特征信息的注意力获取所述第一对象的融合特征；

基于预设的嵌入函数对所述融合特征进行编码，得到所述第二特征表示。

5.根据权利要求1所述的方法，其特征在于，所述对所述第二特征表示进行解码处理，得到所述第一对象的预测轨迹信息，包括：

将每个所述目标对象的所述第二特征表示输入该目标对象对应的转换器解码层，基于所述转换器解码层的多个子解码层对所述第二特征表示进行解码处理，得到第三特征表示，其中，所述多个子解码层之间具有层级关系，上一级子解码层输出的特征表示为下一级子解码层的输入；

将所述第三特征表示输入所述目标对象对应的第二全连接层，基于所述第二全连接层对所述第三特征表示进行特征提取和融合，输出所述第一对象的预测轨迹信息。

6.一种基于井下多个目标对象轨迹预测的预警方法，其特征在于，包括：

获取多个目标对象的历史轨迹信息，并基于所述历史轨迹信息得到每个所述目标对象在预设未来时间段的预测轨迹信息；

判断每个所述目标对象的预测轨迹信息与预设预警区域是否有交集；

若判定存在目标对象的预测轨迹信息与预设预警区域有交集，根据该目标对象的所述预测轨迹信息生成报警信息；

其中，所述目标对象的预测轨迹信息由权利要求1-5中任一项所述的轨迹预测方法得到。

7.根据权利要求6所述的方法，其特征在于，所述获取多个目标对象的历史轨迹信息，还包括：

获取预设历史时间段内的多个待检测图像，并对所述待检测图像进行识别，确定每个待检测图像中的多个所述目标对象；

根据所述目标对象在相邻两帧所述待检测图像中的位置信息，对所述待检测图像进行筛选；

根据所述目标对象在筛选后的多个所述待检测图像的位置信息，生成所述目标对象的历史轨迹信息。

8.一种基于井下多个目标对象的轨迹预测装置，其特征在于，包括：

获取模块，用于获取多个目标对象的历史轨迹信息，对每个目标对象所述历史轨迹信息进行编码处理，获取第一特征表示；

确定模块，用于针对所述多个目标对象中的每个第一对象，根据所述历史轨迹信息，从所述多个目标对象中确定与所述第一对象关联的N个第二对象，所述N为非负整数；

第一处理模块，用于将所述第一对象的所述第一特征表示和所述第二对象的所述第一特征表示进行自注意力机制和特征融合，得到第二特征表示；

第二处理模块，用于对所述第二特征表示进行解码处理，得到所述第一对象的预测轨迹信息。

9.一种基于井下多个目标对象轨迹预测的预警装置，其特征在于，包括：

获取模块，用于获取多个目标对象的历史轨迹信息，并基于所述历史轨迹信息得到每个所述目标对象在预设未来时间段的预测轨迹信息；

判断模块，判断每个所述目标对象的预测轨迹信息与预设预警区域是否有交集；

生成模块，用于若判定存在目标对象的预测轨迹信息与预设预警区域有交集，根据该目标对象的所述预测轨迹信息生成报警信息；

其中，所述目标对象的预测轨迹信息由权利要求8所述的轨迹预测装置得到。

10.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法，或执行权利要求6-7中任一项所述的方法。