CN113593256A - 基于城市管理的无人机智能驱离控制方法、系统及云平台 - Google Patents

Abstract

本发明实施例提供一种基于城市管理的无人机智能驱离控制方法、系统及云平台，通过获取所述无人机返回的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，并根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果。当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。如此，可以有效的、及时的精准识别出所述监控区域内目标车辆的违章行为，并通过无人机对所述目标车辆实施违章驱离。

Description

基于城市管理的无人机智能驱离控制方法、系统及云平台

技术领域

本发明涉及智慧城市管理及智能交通监控技术领域，具体而言，涉及一种基于城市管理的无人机智能驱离控制方法、系统及云平台。

背景技术

无人飞行载具（Unmanned Aerial Vehicle，UAV ）又称为无人机。随着无人飞行技术的快速发展，消费性无人机在各行各业得到的广泛的应用，用于替代人执行相应的工作。

进一步地，随着智慧城市进程的不断加速，无人机在智慧城市领域的应用（如智慧城市管理）也被广泛推广。例如，无人机用于智慧城市交通监控与指挥、自动送餐、智慧城市物流等各种领域，极大的方便了人们日常的工作与生活，同时使得城市变得越来越“智慧化”。

在基于智慧城市应用无人机进行城市管理的过程中，基于道路交通的城市管理，需要针对一些特定的交通路段进行一些特定异常交通项目（如交通拥堵、违章监控、事故监控等项目）的实时监控。在针对具有违章行为（或违法行为)的车辆进行监控时，例如针对占用应急车道、占用人行道、斑马线、特殊区域等的违章行为，这些违章行为若不能被准确的监控到或被及时处理，后续可能会造成严重的影响。例如，应急车道不能及时疏通导致安全救援车辆不能及时抵达现场，而造成事故人员不能得到及时救治等危害。

因此，如果有效的对违章行为进行监控并对具有特定的违章行为的车辆实施及时驱离是急需解决的技术问题。

发明内容

为解决上述问题，本发明实施例的目的之一在于提供一种基于城市管理的无人机智能驱离控制方法，应用于云平台，所述云平台与用于进行交通监控的多个无人机通信连接，所述方法包括：

获取所述无人机返回的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，所述连续监控画面序列中包括多个根据画面拍摄次序进行组合形成的车辆行为画面；

根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果；

当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。

基于上述目的，所述当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离，包括：

通过所述违章识别结果获取所述目标车辆的违章类型以及所述目标车辆的车辆识别信息；

根据所述违章类型获取预先设定的与所述违章类型对应的违章驱离策略，所述违章驱离策略包括声音播报；

根据所述违章类型以及所述目标车辆的车辆识别信息生成所述违章驱离策略所需的声音播报信息，并将声音播报信息发送给所述无人机，使所述无人机播报所述声音播报信息对所述目标车辆实施违章驱离。

基于上述目的，所述根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果，包括

根据所述车辆行为画面，以及所述连续监控画面序列中各所述车辆行为画面的在先车辆行为画面，获取所述目标车辆基于时序维度的离散车辆行为描述；

根据所述目标车辆所对应的监控区域的监控区域信息获取与所述监控区域信息对应的违章类型知识图谱，所述违章类型知识图谱中包括车辆违章类型项，以及与所述车辆违章类型项对应的标定监控区域；

根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆的离散车辆行为描述与所述监控区域之间的匹配描述信息；

根据所述离散车辆行为描述、所述匹配描述信息得到所述目标车辆的违章识别结果。

基于上述目的，所述根据所述车辆行为画面，以及所述连续监控画面序列中所述车辆行为画面的在先车辆行为画面，获取所述目标车辆基于时序维度的离散车辆行为描述，包括：

对各所述车辆行为画面进行画面特征提取，得到各所述车辆行为画面分别对应的车辆画面特征信息；

根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述；

对所述车辆行为描述加入预先设定的离散特征序列，得到所述目标车辆的离散车辆行为描述；

其中，所述根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述，包括：

获取车辆行为样本画面集和待训练的车辆行为识别模型，其中，所述车辆行为样本画面集包括多个车辆行为样本画面序列，每个车辆行为样本画面序列包括针对同一车辆的至少两帧连续的车辆行为画面样本及其对应的预先标注的车辆行为描述；

通过所述车辆行为样本画面集对所述待训练的车辆行为识别模型进行网络模型训练，得到训练后的车辆行为识别模型；

通过所述训练后的车辆行为识别模型根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述；

其中，所述车辆行为识别模型包括特征提取单元、特征融合单元和特征转换单元；所述通过所述车辆行为识别模型根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述，包括：

通过所述特征提取单元对所述车辆行为画面对应的车辆画面特征信息进行特征提取，得到所述车辆行为画面的车辆画面特征信息；

通过所述特征融合单元确定所述在先车辆行为画面对应的在先车辆特征信息，以及对所述车辆行为画面的车辆画面特征信息、在先车辆行为画面对应的在先车辆特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息；

通过所述特征转换单元对所述车辆行为画面对应的融合车辆特征信息进行特征转换，得到所述车辆行为画面对应的车辆行为描述。

基于上述目的，通过所述车辆行为样本画面集对所述待训练的车辆行为识别模型进行网络模型训练，得到训练后的车辆行为识别模型，包括：

a、从所述车辆行为样本画面集中依次提取所述车辆行为样本画面序列；

b、针对所述车辆行为样本画面序列中的每个车辆行为画面样本，通过所述特征提取单元对所述车辆行为画面样本对应的车辆画面特征信息进行特征提取，得到所述车辆行为画面样本的样本画面特征信息；

c、通过所述特征融合单元确定所述车辆行为画面样本的在先车辆行为画面样本对应的在先样本画面特征信息，以及对所述车辆行为画面样本的样本画面特征信息、在先车辆行为画面样本对应的在先样本画面特征信息进行特征融合处理，得到所述车辆行为画面样本对应的融合样本画面特征信息；其中，所述在先车辆行为画面样本是指所述车辆行为画面样本的前一帧车辆行为画面样本，若所述车辆行为画面样本为所述车辆行为样本画面序列的第一帧车辆行为画面样本，则所述第一帧车辆行为画面样本对应的在先车辆行为画面样本为预设的空白样本；

d、通过所述特征转换单元对所述车辆行为画面样本对应的融合样本画面特征信息进行特征转换，得到所述车辆行为样本画面对应的车辆行为描述；

e、计算上述转换得到的所述车辆行为样本画面对应的车辆行为描述与所述车辆行为样本画面对应的预先标注的车辆行为描述之间的匹配度，根据所述匹配度计算得到所述车辆行为识别模型的损失函数值；

f、根据所述损失函数值判断所述车辆行为识别模型是否满足预先设置的训练收敛条件，若满足所述训练收敛条件，则得到训练完成的车辆行为识别模型，若不满足所述训练收敛条件，返回步骤a提取下一个车辆行为样本画面序列对所述车辆行为识别模型进行迭代训练。

基于上述目的，所述通过所述特征融合单元确定所述在先车辆行为画面对应的在先车辆特征信息，以及对所述车辆行为画面的车辆画面特征信息、在先车辆行为画面对应的在先车辆特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息，包括：

确定所述在先车辆行为画面对应的在先车辆特征信息，以及所述特征融合单元的网络模型参数；

根据所述特征融合单元的网络模型参数和所述在先车辆行为画面对应的在先车辆特征信息，提取所述车辆行为画面对应的在先车辆特征信息；

对所述在先车辆行为画面对应的在先车辆特征信息、所述车辆行为画面的车辆画面特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息。

基于上述目的，所述根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆的离散车辆行为描述与所述监控区域之间的匹配描述信息，包括：

获取监控区域信息样本和预设知识图谱；

通过所述监控区域信息样本训练所述预设拓扑结构知识图谱，得到训练后的拓扑结构知识图谱；

通过所述训练后的知识图谱根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆与所述监控区域之间的匹配描述信息；

所述根据所述离散车辆行为描述、所述匹配描述信息得到所述目标车辆的违章识别结果，包括：

获取携带有违章识别结果的联合决策训练数据，以及预设违章识别模型；

通过所述携带有违章识别结果的联合决策训练数据训练所述预设违章识别模型，得到训练后的违章识别模型；

对所述离散车辆行为描述、匹配描述信息进行信息联合决策处理，得到联合决策信息；

将所述联合决策信息输入所述违章识别模型得到所述目标车辆的违章识别结果。

基于上述目的，所述根据所述车辆行为画面，以及所述连续监控画面序列中所述车辆行为画面的在先车辆行为画面，获取所述目标车辆基于时序维度的离散车辆行为描述，包括：

对所述车辆行为画面进行画面特征提取，得到所述车辆行为画面对应的车辆画面特征信息；

根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的第一车辆行为描述；

根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在后车辆行为画面，获取所述车辆行为画面对应的第二车辆行为描述；

对所述第一车辆行为描述和所述第二车辆行为描述加入预先设定的离散特征序列，得到所述目标车辆的离散车辆行为描述。

本发明实施例的目的之二在于提供一种基于城市管理的无人机智能驱离控制系统，应用于云平台，所述云平台与用于进行交通监控的多个无人机通信连接，所述系统包括：

获取模块，用于获取所述无人机反馈的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，所述连续监控画面序列中包括多个根据画面拍摄次序进行组合形成的车辆行为画面；

违章识别模块，用于根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果；

驱离控制模块，用于当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。

本发明的目的之三在于提供一种云平台，所述云平台与用于进行交通监控的多个无人机通信连接，包括处理器、机器可读存储介质，所述机器可读存储介质和所述处理器连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以实现上述的方法。

综上所述，本发明实施例提供的基于城市管理的无人机智能驱离控制方法、系统及云平台，通过获取所述无人机返回的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，并根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果。当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。

如此，通过无人机反馈的连续监控画面序列对监控区域内的目标车辆的违章行为进行识别，得到违章识别结果。当所述表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。如此，可以有效的、及时的精准识别出所述监控区域内目标车辆的违章行为，并在监控到特定的违章行为（目标违章行为）时，通过无人机对所述目标车辆实施违章驱离，进而可有效的减小或避免因车辆违章行为带来的危害，同时可进一步提升城市管理的智能化程度和水平。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，针对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的基于城市管理的无人机智能驱离控制方法的流程示意图。

图2是本发明实施例提供的基于城市管理的无人机控制系统的示意图。

图3是图1中步骤S103的子步骤流程示意图。

图4是图1中步骤S102的子步骤流程示意图。

图5是发明实施例提供的用于实现上述的基于城市管理的无人机智能驱离控制方法的云平台的架构示意图。

图6是本发明实施例提供的基于城市管理的无人机智能驱离控制系统的功能模块示意图。

具体实施方式

请参阅图1，图1是本发明实施例提供的基于城市管理的无人机智能驱离控制方法的流程示意图。本发明实施例中，结合图2所示，所述方法可以由基于城市管理的无人机控制系统实现。本实施例中，所述基于城市管理的无人机控制系统可以包括用于管理并调度无人机的云平台11以及与所述云平台11通信连接并用于进行交通监控的多个无人机12。本实施例中，所述云平台11可以是基于智慧城市而设立的用于与设定管控区域内的多个无人机12进行远程通信以对无人机12进行远程控制和调度的一个服务平台。示例性地，所述云平台11可以是，但不限于，具有通信控制能力及大数据分析能力的服务器、计算机监控区域、云服务中心、机房控制中心、云平台等监控区域。本实施例中，所述无人机12作为交通监控的实施终端对设定的监控区域中的车辆进行实时监控并反馈监控画面给云平台11，所述云平台11根据所述无人机12反馈的监控画面对所述监控区域中的违章车辆进行识别，并在识别到特定的违章类型的目标车辆时，向所述无人机12发送违章驱离指令以使所述无人机12对所述目标车辆进行违章驱离。

下面对上述方法进行详细的描述，本实施例中，所述方法包括以下所述的S101-S103的步骤。

步骤S101，获取所述无人机返回的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息。

本实施例中，所述连续监控画面序列中包括多个根据画面拍摄次序进行组合形成的车辆行为画面。 其中，所述监控区域可以是预先为所述无人机设定的需要进行重点监控的目标区域，例如具有应急车道的高速路或快速路段、重要场所的禁止停车区域、学校、医院等场所外的行人通道区域等等，具体不进行限定。

步骤S102，根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果。

步骤S103，当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。

其中，与预设的至少一种违章驱离策略对应的目标违章行为可以是预先设定的需要进行违章驱离的违章行为，例如占用应急车道、占用人行道、违规停车等。本实施例中，应当说明的是，所述的“违章行为”也可以包括交通法规所规定的违法行为，本实施例时为了方便描述统一以“违章行为”代指。

综上所述，本发明实施例中，通过无人机反馈的连续监控画面序列对监控区域内的目标车辆的违章行为进行识别，得到违章识别结果。当所述表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。如此，可以有效的、及时的精准识别出所述监控区域内目标车辆的违章行为，并在监控到特定的违章行为（目标违章行为）时，通过无人机对所述目标车辆实施违章驱离，进而可有效的减小或避免因车辆违章行为带来的危害。

下面将结合示例性的实施例对上述各步骤的具体实现方法进行详细的介绍。

在一种可替代的实施方式中，关于步骤S103，如图3所示，当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离，可以通过以下的步骤S1031-S1033实现，具体描述如下。

步骤S1031，通过所述违章识别结果获取所述目标车辆的违章类型以及所述目标车辆的车辆识别信息。

其中，所述车辆识别信息可以是预先设定的用于对所述目标车辆进行唯一识别的车辆信息，例如可以包括所述目标车辆的车型以及车牌号，但不限于此。

步骤S1032，根据所述违章类型获取预先设定的与所述违章类型对应的违章驱离策略，所述违章驱离策略包括声音播报。

本实施例中，为了方便针对所述违章驱离策略实施声音播报，所述无人机上可以包括机载扬声器以及声光报警器等装置。

步骤S1033，根据所述违章类型以及所述目标车辆的车辆识别信息生成所述违章驱离策略所需的声音播报信息，并将声音播报信息发送给所述无人机，使所述无人机播报所述声音播报信息对所述目标车辆实施违章驱离。

示例性地，步骤S1033中，可以将所述违章类型与所述车辆识别信息按照与所述违章类型对应的预设播报文本模板生成所述声音播报信息，例如可以将所述违章类型以及所述车辆识别信息嵌入所述预设播报文本模板中，生成所述声音播报信息。举例而言，预设播报文本可以是“车牌号为XXXX的车辆涉嫌XXXX的违法行为，请尽快驶离，否则三分钟后将您的违法行为上报交警支队进行违法处理”。假如所述违章类型为“占用应急车道”，车辆识别信息为车牌号“12345”，那么生成的所述声音播报信息对应的文本则为:“车牌号为12345的车辆涉嫌违法占用应急车道的违法行为，请您尽快驶离，否则三分钟后将您的违法行为上报交警支队进行违法处理”。其中，不同的违章类型或违法类型可以分别对应不同的预设播报文本模板，或者，也可以对应相同相同的预设播报文本模板，具体不进行限定。

进一步地，关于步骤S102，如图4所示，所述根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果，包括

步骤S1021，根据所述车辆行为画面，以及所述连续监控画面序列中各所述车辆行为画面的在先车辆行为画面，获取所述目标车辆基于时序维度的离散车辆行为描述。

本实施例中，所述在先车辆行为画面可以是指所述车辆行为画面的前一帧车辆行为画面，若所述车辆行为画面为所述连续监控画面序列中的第一帧或第一个车辆行为画面，则所述第一帧车辆行为画面对应的在先车辆行为画面可以为预设的空白画面。其中，基于时序维度的离散车辆行为描述可以是指按照时间的发展得到的所述连续监控画面序列中的各个所述车辆行为画面分别对应的车辆行为描述，通过离散的方式聚合到一起而形成。

在一种可能的实施方式中，举例而言，步骤S1021可以通过下述方式实现。

（1）对各所述车辆行为画面进行画面特征提取，得到各所述车辆行为画面分别对应的车辆画面特征信息。

例如，车辆画面特征可以包括车辆在对应的车辆行为画面中的车辆特征（如车辆标识）以及车辆所在环境特征（如车道线特征、车道标识、违禁信息标识（如禁止停车、禁止占用））等。

（2）根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述。

其中，车辆行为描述例如可以包括目标车辆在前后两张画面中的移动特征、当前行为持续特征（停车市场）等等。

（3）对所述车辆行为描述加入预先设定的离散特征序列，得到所述目标车辆的离散车辆行为描述。

本实施例中，举例而言，所述离散车辆行为描述可以包括所述目标车辆针对每一个车辆行为画面进行分析而得到的车辆行为描述，通过离散车辆行为描述中的多个车辆行为描述可以得到目标车辆在所述监控区域的全局车辆行为特征，例如针对违规占道，可以分析出该目标车辆在对应的监控区域的占道时长等特征，然后根据这些全局车辆行为特征，可以分析出目标车辆在对应的监控区域是否存在违章行为及其对应的违章类型等识别结果。

其中，步骤（2）中，所述根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述，可以通过人工智能模型的方式来实现。例如，可以包括以下对应的步骤。

首先，获取车辆行为样本画面集和待训练的车辆行为识别模型。其中，所述车辆行为样本画面集包括多个车辆行为样本画面序列，每个车辆行为样本画面序列包括针对同一车辆的至少两帧连续的车辆行为画面样本及其对应的预先标注的车辆行为描述。

如此，通过至少两帧连续的车辆行为画面对车辆行为识别模型进行训练后得到的网络能够更适应于实际应用场景中通过连续的不同帧的车辆行为画面对车辆行为进行识别。

其次，通过所述车辆行为样本画面集对所述待训练的车辆行为识别模型进行网络模型训练，得到训练后的车辆行为识别模型。

最后，通过所述训练后的车辆行为识别模型根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述。

详细地，本实施例中，所述车辆行为识别模型可以包括特征提取单元、特征融合单元和特征转换单元。基于此，所述通过所述车辆行为识别模型根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述，可以包括以下内容：

首先，通过所述特征提取单元对所述车辆行为画面对应的车辆画面特征信息进行特征提取，得到所述车辆行为画面的车辆画面特征信息；

其次，通过所述特征融合单元确定所述在先车辆行为画面对应的在先车辆特征信息，以及对所述车辆行为画面的车辆画面特征信息、在先车辆行为画面对应的在先车辆特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息；

然后，通过所述特征转换单元对所述车辆行为画面对应的融合车辆特征信息进行特征转换，得到所述车辆行为画面对应的车辆行为描述。

例如，所述特征转换单元可以是一种卷积网络层，通过所述卷积网络层对所述在先车辆特征信息进行特征卷积，得到对应的特征向量作为所述车辆行为描述。

可替代地，在一种可能的实现方式中，所述通过所述特征融合单元确定所述在先车辆行为画面对应的在先车辆特征信息，以及对所述车辆行为画面的车辆画面特征信息、在先车辆行为画面对应的在先车辆特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息，可以包括：

首先，确定所述在先车辆行为画面对应的在先车辆特征信息，以及所述特征融合单元的网络模型参数；

然后，根据所述特征融合单元的网络模型参数和所述在先车辆行为画面对应的在先车辆特征信息，提取所述车辆行为画面对应的在先车辆特征信息；

最后，对所述在先车辆行为画面对应的在先车辆特征信息、所述车辆行为画面的车辆画面特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息。

其中，特征融合处理可以包括根据对应的权重信息对所述在先车辆特征信息进行特征加权。

详细地，本实施例中，上述通过所述车辆行为样本画面集对所述待训练的车辆行为识别模型进行网络模型训练，得到训练后的车辆行为识别模型，可以通过以下a-f的步骤实现，举例描述如下。

a、从所述车辆行为样本画面集中依次提取所述车辆行为样本画面序列。

b、针对所述车辆行为样本画面序列中的每个车辆行为画面样本，通过所述特征提取单元对所述车辆行为画面样本对应的车辆画面特征信息进行特征提取，得到所述车辆行为画面样本的样本画面特征信息。

c、通过所述特征融合单元确定所述车辆行为画面样本的在先车辆行为画面样本对应的在先样本画面特征信息，以及对所述车辆行为画面样本的样本画面特征信息、在先车辆行为画面样本对应的在先样本画面特征信息进行特征融合处理，得到所述车辆行为画面样本对应的融合样本画面特征信息。其中，所述在先车辆行为画面样本是指所述车辆行为画面样本的前一帧车辆行为画面样本，若所述车辆行为画面样本为所述车辆行为样本画面序列的第一帧车辆行为画面样本，则所述第一帧车辆行为画面样本对应的在先车辆行为画面样本为预设的空白样本。

d、通过所述特征转换单元对所述车辆行为画面样本对应的融合样本画面特征信息进行特征转换，得到所述车辆行为样本画面对应的车辆行为描述。

e、计算上述转换得到的所述车辆行为样本画面对应的车辆行为描述与所述车辆行为样本画面对应的预先标注的车辆行为描述之间的匹配度，根据所述匹配度计算得到所述车辆行为识别模型的损失函数值。其中，所述损失函数值与所述匹配度可以负相关，当所述匹配度越高时，所述损失函数之越小，当所述损失函数值不再减小或者减小幅度大幅下降时，标识模型训练过程已收敛。

f，根据所述损失函数值判断所述车辆行为识别模型是否满足预先设置的训练收敛条件，若满足所述训练收敛条件，则得到训练完成的车辆行为识别模型，若不满足所述训练收敛条件，返回步骤a提取下一个车辆行为样本画面序列对所述车辆行为识别模型进行迭代训练。

在另一种可能的实现方式中，关于步骤S1021，所述根据所述车辆行为画面，以及所述连续监控画面序列中所述车辆行为画面的在先车辆行为画面，获取所述目标车辆基于时序维度的离散车辆行为描述，还可以包括以下内容。

首先，对所述车辆行为画面进行画面特征提取，得到所述车辆行为画面对应的车辆画面特征信息。

其次，根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的第一车辆行为描述；

然后，根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在后车辆行为画面，获取所述车辆行为画面对应的第二车辆行为描述；其中，所述在后车辆行为画面可以是所述车辆行为画面的之后一帧车辆行为画面；当所述车辆行为画面为最后一帧车辆行为画面时，所述在后车辆行为画面也可以是预先设定的画面，例如空白画面；

最后，对所述第一车辆行为描述和所述第二车辆行为描述加入预先设定的离散特征序列，得到所述目标车辆的离散车辆行为描述。其中，所述第一车辆行为描述可以是针对所述车辆行为画面进行正序特征解析而得到的特征描述信息，所述第二车辆行为描述可以是针对所述车辆行为画面进行逆序特征解析而得到的特征描述信息，具体不进行限定。

步骤S1022，根据所述目标车辆所对应的监控区域的监控区域信息获取与所述监控区域信息对应的违章类型知识图谱，所述违章类型知识图谱中包括车辆违章类型项，以及与所述车辆违章类型项对应的标定监控区域。

其中，所述车辆违章类型项以及所述标定监控区域均可以作为所述违章类型知识图谱中的一个节点，节点和节点之间的连线代表不同节点之间的对应关系。例如，针对标定监控区域对应的节点，与该节点连线的车辆违章类型项代表该对应的标定监控区域中需要进行监控的所有违章类型项。

步骤S1023，根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆的离散车辆行为描述与所述监控区域之间的匹配描述信息。

具体地，本实施例中，所述匹配描述信息可以包括将所述监控区域输入所述违章类型知识图谱中进行违章类型查询得到的与所述监控区域匹配的所有车辆违章类型项，以及所述目标车辆的离散车辆行为描述与所述监控区域的对应关系。如此，可以根据所述目标车辆的离散车辆行为描述与所述车辆违章类型项进行特征比对，确定所述离散车辆行为描述所对应的车辆违章类型。当然，如果所述离散车辆行为描述表征所述目标车辆没有违章时，那么所述离散车辆行为描述所对应的车辆违章类型可以为预设的空值，如null。如果存在违章，那么对应的车辆违章类型可以是对应的违章类型标识，例如可以为“YJCD：1”，YJCD表示违章类型为占用应急车道，“1”表示需要进行违章驱离。又例如，违章类型标识可以是“WFTC：0”，WFTC表示违法停车，0表示无需驱离。

关于步骤S1023，所述根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆的离散车辆行为描述与所述监控区域之间的匹配描述信息，可以通过以下方式实现，示例性描述如下。

首先，获取监控区域信息样本和预设知识图谱；然后，通过所述监控区域信息样本训练所述预设拓扑结构知识图谱，得到训练后的拓扑结构知识图谱；最后，通过所述训练后的知识图谱根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆与所述监控区域之间的匹配描述信息。

步骤S1024，根据所述离散车辆行为描述、所述匹配描述信息得到所述目标车辆的违章识别结果。

示例性地，在步骤S1024中，可首先，获取携带有违章识别结果的联合决策训练数据，以及预设违章识别模型；

然后，通过所述携带有违章识别结果的联合决策训练数据训练所述预设违章识别模型，得到训练后的违章识别模型；

对所述离散车辆行为描述、匹配描述信息进行信息联合决策处理，得到联合决策信息；

将所述联合决策信息输入所述违章识别模型得到所述目标车辆的违章识别结果。

其中，所述预设违章识别模型可以是一种预先设定的决策网络模型，所述联合决策训练数据可以是预先收集的携带有违章识别结果的包括离散车辆行为描述样本、匹配描述信息样本的训练数据，以用于对所述决策网络模型进行有监督训练。

本实施例中，应当说明的是，上述的车辆行为识别模型、违章类型知识图谱、以及所述决策网络模型可以整合到一个全局网络模型中，例如整合为一个完整的人工智能网络。上述各模型可以是该人工智能网络的不同网络层，可以分别通过不同的训练过程进行训练得到。

如图5所示，是本发明实施例提供的用于实现上述方法的云平台11的架构示意图。本实施例中，所述云平台11可以包括无人机智能驱离控制系统110、机器可读存储介质120和处理器130。

本实施例中，机器可读存储介质与处理器可以位于云平台11中且二者分离设置。机器可读存储介质120也可以是独立于云平台11并由处理器130访问。无人机智能驱离控制系统110可以包括存储在机器可读存储介质的多个功能模块，例如所述无人机智能驱离控制系统110包括的各软件功能模块。当处理器执行无人机智能驱离控制系统110中的软件功能模块时，以实现前述方法实施例提供的区块链大数据处理方法。

本实施例中，所述云平台11可以包括一个或多个处理器。处理器可以处理与服务请求相关的信息和/或数据以执行本发明中描述的一个或多个功能。在一些实施例中，处理器可以包括一个或多个处理引擎(例如，单核处理器或多核处理器)。仅仅举个例子，处理器可以包括一个或多个硬件处理器，例如中央处理器CPU、特定应用集成电路ASIC、专用指令集处理器ASIP、图形处理器GPU、物理运算处理单元PPU、数字信号处理器DSP、现场可以程序门阵列FPGA、可以程序逻辑装置PLD、控制器、微控制器单元、精简指令集计算机RISC、微处理器等中的一种，或类似或其任意组合。

机器可读存储介质可以存储数据和/或指令。在一些实施例中，机器可读存储介质可以存储获得的数据或资料。在一些实施例中，机器可读存储介质可以存储供所述云平台11执行或使用的数据和/或指令，所述云平台11可以通过执行或使用所述数据和/或指令以实现本申请描述的示例性方法。在一些实施例中，机器可读存储介质可以包括大容量存储器、可以移动存储器、挥发性读写内存、只读存储器ROM等或类似或上述举例的任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性的可以移动存储器可以包括快闪驱动器、软盘、光盘、存储卡、压缩磁盘、磁带等。示例性的挥发性读写内存可以包括随机存取内存RAM。示例性的随机存取内存可以包括动态RAM、双倍速率同步动态RAM、静态RAM、晶闸管RAM和零电容RAM等。示例性的ROM可以包括掩蔽型ROM、可编程ROM、可擦除可编程ROM、电子可擦除可编程ROM、压缩磁盘ROM和数字通用磁盘ROM等。

其中，所述云平台11包括的无人机智能驱离控制系统110可以包括一个或多个软件功能模块。所述软件功能模块可以存储在所述机器可读存储介质中的程序、指令，这些软件功能模块在被对应的处理器执行时，用于实现上述的方法，例如在被无人机的处理器执行时，用于实现上述无人机执行的方法步骤，或者在被所述云平台执行时，用于实现上述云平台执行的方法步骤。

如图6所示，所述无人机智能驱离控制系统110可以包括获取模块1101、违章识别模块1102以及驱离控制模块1103。

其中，所述获取模块1101，用于获取所述无人机反馈的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，所述连续监控画面序列中包括多个根据画面拍摄次序进行组合形成的车辆行为画面；

违章识别模块1102，用于根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果；

驱离控制模块1103，用于当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。

应当理解，上述的获取模块1101、违章识别模块1102以及驱离控制模块1103可分别用于执行上述方法实施例中与图1对应的步骤S101-步骤S103的对应步骤。关于所述获取模块1101、违章识别模块1102以及驱离控制模块1103的详细描述可以参照上述对应步骤的描述，此处不再一一赘述。

综上所述，本发明实施例提供的基于城市管理的无人机智能驱离控制方法、系统及云平台，通过获取所述无人机返回的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，并根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果。当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。

如此，通过无人机反馈的连续监控画面序列对监控区域内的目标车辆的违章行为进行识别，得到违章识别结果。当所述表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。如此，可以有效的、及时的精准识别出所述监控区域内目标车辆的违章行为，并在监控到特定的违章行为（目标违章行为）时，通过无人机对所述目标车辆实施违章驱离，进而可有效的减小或避免因车辆违章行为带来的危害，同时可进一步提升城市管理的智能化程度和水平。

以上所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本发明的实施例的详细描述并非旨在限制本发明的保护范围，而仅仅是表示本发明的选定实施例。因此，本发明的保护范围应以权利要求的保护范围为准。此外，基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例，都应属于本发明保护的范围。

Claims (10)

1.一种基于城市管理的无人机智能驱离控制方法，其特征在于，应用于云平台，所述云平台与用于进行交通监控的多个无人机通信连接，所述方法包括：

获取所述无人机返回的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，所述连续监控画面序列中包括多个根据画面拍摄次序进行组合形成的车辆行为画面；

根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果；

当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。

2.根据权利要求1所述的方法，其特征在于，所述当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离，包括：

通过所述违章识别结果获取所述目标车辆的违章类型以及所述目标车辆的车辆识别信息；

根据所述违章类型获取预先设定的与所述违章类型对应的违章驱离策略，所述违章驱离策略包括声音播报；

根据所述违章类型以及所述目标车辆的车辆识别信息生成所述违章驱离策略所需的声音播报信息，并将声音播报信息发送给所述无人机，使所述无人机播报所述声音播报信息对所述目标车辆实施违章驱离。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果，包括

根据所述车辆行为画面，以及所述连续监控画面序列中各所述车辆行为画面的在先车辆行为画面，获取所述目标车辆基于时序维度的离散车辆行为描述；

根据所述目标车辆所对应的监控区域的监控区域信息获取与所述监控区域信息对应的违章类型知识图谱，所述违章类型知识图谱中包括车辆违章类型项，以及与所述车辆违章类型项对应的标定监控区域；

根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆的离散车辆行为描述与所述监控区域之间的匹配描述信息；

根据所述离散车辆行为描述、所述匹配描述信息得到所述目标车辆的违章识别结果。

4.如权利要求3所述的基于城市管理的无人机智能驱离控制方法，其特征在于，所述根据所述车辆行为画面，以及所述连续监控画面序列中各所述车辆行为画面的在先车辆行为画面，获取所述目标车辆基于时序维度的离散车辆行为描述，包括：

对各所述车辆行为画面进行画面特征提取，得到各所述车辆行为画面分别对应的车辆画面特征信息；

根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述；

对所述车辆行为描述加入预先设定的离散特征序列，得到所述目标车辆的离散车辆行为描述；

其中，所述根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述，包括：

获取车辆行为样本画面集和待训练的车辆行为识别模型，其中，所述车辆行为样本画面集包括多个车辆行为样本画面序列，每个车辆行为样本画面序列包括针对同一车辆的至少两帧连续的车辆行为画面样本及其对应的预先标注的车辆行为描述；

通过所述车辆行为样本画面集对所述待训练的车辆行为识别模型进行网络模型训练，得到训练后的车辆行为识别模型；

通过所述训练后的车辆行为识别模型根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述；

其中，所述车辆行为识别模型包括特征提取单元、特征融合单元和特征转换单元；所述通过所述训练后的车辆行为识别模型根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的车辆行为描述，包括：

通过所述特征提取单元对所述车辆行为画面对应的车辆画面特征信息进行特征提取，得到所述车辆行为画面的车辆画面特征信息；

通过所述特征融合单元确定所述在先车辆行为画面对应的在先车辆特征信息，以及对所述车辆行为画面的车辆画面特征信息、在先车辆行为画面对应的在先车辆特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息；

通过所述特征转换单元对所述车辆行为画面对应的融合车辆特征信息进行特征转换，得到所述车辆行为画面对应的车辆行为描述。

5.如权利要求4所述的基于城市管理的无人机智能驱离控制方法，其特征在于，通过所述车辆行为样本画面集对所述待训练的车辆行为识别模型进行网络模型训练，得到训练后的车辆行为识别模型，包括：

a、从所述车辆行为样本画面集中依次提取所述车辆行为样本画面序列；

b、针对所述车辆行为样本画面序列中的每个车辆行为画面样本，通过所述特征提取单元对所述车辆行为画面样本对应的车辆画面特征信息进行特征提取，得到所述车辆行为画面样本的样本画面特征信息；

c、通过所述特征融合单元确定所述车辆行为画面样本的在先车辆行为画面样本对应的在先样本画面特征信息，以及对所述车辆行为画面样本的样本画面特征信息、在先车辆行为画面样本对应的在先样本画面特征信息进行特征融合处理，得到所述车辆行为画面样本对应的融合样本画面特征信息；其中，所述在先车辆行为画面样本是指所述车辆行为画面样本的前一帧车辆行为画面样本，若所述车辆行为画面样本为所述车辆行为样本画面序列的第一帧车辆行为画面样本，则所述第一帧车辆行为画面样本对应的在先车辆行为画面样本为预设的空白样本；

d、通过所述特征转换单元对所述车辆行为画面样本对应的融合样本画面特征信息进行特征转换，得到所述车辆行为样本画面对应的车辆行为描述；

e、计算上述转换得到的所述车辆行为样本画面对应的车辆行为描述与所述车辆行为样本画面对应的预先标注的车辆行为描述之间的匹配度，根据所述匹配度计算得到所述车辆行为识别模型的损失函数值；

f、根据所述损失函数值判断所述车辆行为识别模型是否满足预先设置的训练收敛条件，若满足所述训练收敛条件，则得到训练完成的车辆行为识别模型，若不满足所述训练收敛条件，返回步骤a提取下一个车辆行为样本画面序列对所述车辆行为识别模型进行迭代训练。

6.如权利要求4所述的基于城市管理的无人机智能驱离控制方法，其特征在于，所述通过所述特征融合单元确定所述在先车辆行为画面对应的在先车辆特征信息，以及对所述车辆行为画面的车辆画面特征信息、在先车辆行为画面对应的在先车辆特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息，包括：

确定所述在先车辆行为画面对应的在先车辆特征信息，以及所述特征融合单元的网络模型参数；

根据所述特征融合单元的网络模型参数和所述在先车辆行为画面对应的在先车辆特征信息，提取所述车辆行为画面对应的在先车辆特征信息；

对所述在先车辆行为画面对应的在先车辆特征信息、所述车辆行为画面的车辆画面特征信息进行特征融合处理，得到所述车辆行为画面对应的融合车辆特征信息。

7.如权利要求3所述的基于城市管理的无人机智能驱离控制方法，其特征在于，所述根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆的离散车辆行为描述与所述监控区域之间的匹配描述信息，包括：

获取监控区域信息样本和预设知识图谱；

通过所述监控区域信息样本训练所述预设拓扑结构知识图谱，得到训练后的拓扑结构知识图谱；

通过所述训练后的知识图谱根据所述违章类型知识图谱中的车辆违章类型项和标定监控区域确定所述目标车辆与所述监控区域之间的匹配描述信息；

所述根据所述离散车辆行为描述、所述匹配描述信息得到所述目标车辆的违章识别结果，包括：

获取携带有违章识别结果的联合决策训练数据，以及预设违章识别模型；

通过所述携带有违章识别结果的联合决策训练数据训练所述预设违章识别模型，得到训练后的违章识别模型；

对所述离散车辆行为描述、匹配描述信息进行信息联合决策处理，得到联合决策信息；

将所述联合决策信息输入所述违章识别模型得到所述目标车辆的违章识别结果。

8.如权利要求3所述的基于城市管理的无人机智能驱离控制方法，其特征在于，所述根据所述车辆行为画面，以及所述连续监控画面序列中各所述车辆行为画面的在先车辆行为画面，获取所述目标车辆基于时序维度的离散车辆行为描述，包括：

对所述车辆行为画面进行画面特征提取，得到所述车辆行为画面对应的车辆画面特征信息；

根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在先车辆行为画面，获取所述车辆行为画面对应的第一车辆行为描述；

根据所述车辆行为画面对应的车辆画面特征信息，以及所述车辆行为画面的在后车辆行为画面，获取所述车辆行为画面对应的第二车辆行为描述；

对所述第一车辆行为描述和所述第二车辆行为描述加入预先设定的离散特征序列，得到所述目标车辆的离散车辆行为描述。

9.一种基于城市管理的无人机智能驱离控制系统，其特征在于，应用于云平台，所述云平台与用于进行交通监控的多个无人机通信连接，所述系统包括：

获取模块，用于获取所述无人机反馈的当前被监控的目标车辆的连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，所述连续监控画面序列中包括多个根据画面拍摄次序进行组合形成的车辆行为画面；

违章识别模块，用于根据所述连续监控画面序列和所述目标车辆所对应的监控区域的监控区域信息，得到所述目标车辆的违章识别结果；

驱离控制模块，用于当所述违章识别结果表征所述目标车辆存在与预设的至少一种违章驱离策略对应的目标违章行为时，向所述无人机发送所述目标违章行为对应的违章驱离策略，使所述无人机根据所述违章驱离策略对所述目标车辆实施违章驱离。

10.一种云平台，其特征在于，所述云平台与用于进行交通监控的多个无人机通信连接，包括处理器、机器可读存储介质，所述机器可读存储介质和所述处理器连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以实现权利要求1-8任意一项所述的方法。

Images