CN113905941B - 地理控制区中的车辆控制 - Google Patents

Abstract

提供了用于地理控制区中的车辆控制的控制系统和方法。控制系统接收交通信息，该交通信息包括地理控制区中的移动物体组的多个图像帧，并基于对接收到的交通信息应用经训练的神经网络(NN)模型来生成移动物体组中的第一移动物体的图像帧的集合。生成的图像帧的集合与第一移动物体在未来时刻的可能位置的集合对应。控制系统基于生成的图像帧的集合来预测第一移动物体的不安全行为，并基于预测出的不安全行为来生成第一控制信息，该第一控制信息包括地理控制区中的用于第一车辆的替代路线。基于生成的第一控制信息来控制第一车辆。

Description

地理控制区中的车辆控制

对相关申请的交叉引用/通过引用并入

无。

技术领域

本公开的各种实施例涉及自驾驶技术。更具体而言，本公开的各种实施例涉及用于地理控制区域中的车辆控制以及实时预测未来场景的系统和方法。

背景技术

自驾驶(self-driving)技术的最新进展引导了各种技术的发展，以便为自驾驶车辆提供驾驶辅助。通常，自驾驶车辆可以依赖各种机载传感器来学习和确定周围环境，并实时或接近实时地做出驾驶决策。此类传感器(例如图像传感器、光检测和测距(LiDAR)或雷达)具有有限的视场。这可能具有相关性，尤其是当周围环境包括遮挡结构或路口时。而且，在传感器变脏或故障的情况下，自驾驶车辆可能不得不依赖或者用户输入、或者车辆上的其它运作的传感器。例如，这可能潜在地影响乘员的乘坐体验、乘员的风险安全，或者可能导致性能损失，例如与设定的预计到达时间(ETA)存在大偏差。

如本申请的其余部分和参考附图阐述的，通过将所描述的系统与本公开的一些方面进行比较，常规和传统方法的更多限制和缺点对于本领域技术人员将变得清楚。

发明内容

如在权利要求书中较为完整地阐述的，如至少一个图所示和/或结合至少一个图所描述的，充分地提供了一种用于地理控制区中的车辆控制的系统和方法。

可以通过阅读以下对本公开的详细描述以及附图来理解本公开的这些和其它特征以及优点，在附图中，相同的附图标记始终表示相同的部分。

附图说明

图1是图示根据本公开的实施例的对于地理控制区中的车辆控制的示例性环境的图。

图2是图示根据本公开的实施例的用于地理控制区中的车辆控制的示例控制系统的框图。

图3是图示根据本公开的实施例的用于地理控制区中的车辆控制的示例性操作的图。

图4是图示根据本公开的实施例的对于地理控制区中的车辆控制的示例性场景的图。

图5是图示根据本公开的实施例的对于地理控制区中的车辆控制的示例性场景的图。

图6是图示根据本公开的实施例的对于地理控制区中的车辆控制的示例性场景的图。

图7A和7B是图示根据本公开的实施例的用于地理控制区中的车辆控制的示例性操作的流程图。

图8是图示根据本公开的实施例的用于针对地理控制区中的车辆生成控制信息的示例性操作的流程图。

图9是图示根据本公开的实施例的用于控制第一车辆的示例性操作的流程图。

具体实施方式

可以在所公开的用于地理控制区中的车辆控制的系统和方法中理解以下描述的实施方式。本公开的示例性方面提供了一种控制系统。所公开的控制系统充当预测车辆移动系统，其帮助具有不同自动化水平的车辆实时或接近实时地避免某些情况，例如，碰撞、翻车、意外延误、交通堵塞、违反交通规则。由于某些移动物体的不安全行为，可能会出现此类情况。对于具有一定自动化水平的车辆，所公开的控制系统可以生成预测视频帧以指示(一个或多个)移动物体的可能位置并分析其它信息，例如，(一个或多个)移动物体的GNSS信息/定位信息、速度、运动、交通规则等。这可以帮助提前获得对(一个或多个)移动物体的不安全行为的改进的预测，尤其是对于脱离(需要辅助的)登记车辆的视场的(一个或多个)移动物体。随着预测视频帧的生成，所公开的控制系统可以通过连续的图像帧分析提供减少的时间冗余并且可以预测车辆移动(例如，不安全行为)，而无需尝试通过真实像素信息重建(一个或多个)移动物体。

所公开的控制系统可以实时测量路线上的交通状况并且将路线上的交通状况通知给车辆。此外，基于对不安全行为的预测，所公开的控制系统可以向此类车辆建议替代路线以避免某些情况，例如碰撞、翻车、不希望的延误、交通堵塞、违反交通规则等。所公开的控制系统还可以基于对(一个或多个)移动物体的不安全行为的预测、交通状况、交通违规等，针对此类车辆优先考虑此类车辆在地理控制区中的移动。

所公开的控制系统可以监视物体(诸如车辆、动物、行人、碎片、尖锐物体和武器)的移动。基于这种移动监视，所公开的控制系统可以预测此类物体的安全或不安全行为，并提前采取先发机动以确保车辆中乘员的安全。为了乘员的安全，所公开的控制系统还可以针对某些不安全行为(例如，违反交通规则)监视附近(在视场内)或远处(在交叉点或视场外)的物体的移动。所公开的控制系统还可以跟踪车辆的驾驶员或乘员的行为，并且可以在出现社会问题(大规模杀伤的恐怖意图、保险索赔的自有汽车损坏等)的情况下凌驾于(override)驾驶员的意图。所公开的控制系统还利用安装在车辆上的无人机以使此类车辆能够在对这种车辆不可见的区域/移动物体周围导航，尤其是在例如道路转弯、恶劣天气状况、低可见度或不正确轨迹或路线的情况下。

图1是图示根据本公开的实施例的对于地理控制区中的车辆控制的示例性环境的图。参考图1，示出了示例性环境100。示例性环境100可以包括地理控制区106中的移动物体组102和第一车辆104。示例性环境100还可以包括控制系统108和服务器110。控制系统108可以包括第一电子设备112。此外，在一些实施例中，控制系统108可以包括电子设备的集合114。示例性环境100还可以包括可以在第一车辆104、服务器110、第一电子设备112和电子设备的集合114之间建立的通信网络116。

移动物体组102可以是出现在电子设备的集合114中的至少一个电子设备的可检测范围内的物体。此外或可替代地，从在地理控制区106中检测到的物体中，可以选择移动物体组102作为在地理控制区106的感兴趣区域内移动的物体。感兴趣区域可以是例如路段、互连道路的网络、特定车道或道路的交叉路口。此外或可替代地，从在地理控制区106中检测到的物体中，可以选择移动物体组102作为属于物体类型的特定组中的至少一个物体类型的物体。物体类型的特定组可以包括例如车辆、行人、碎片等。移动物体组102的示例可以包括但不限于移动车辆、行人、动物、飞散物，或其组合。

第一车辆104可以被配置为根据特定的自动化水平(例如，作为由美国国家公路交通安全管理局(NHTSA)定义的不同自动化水平(例如，0、1、2、3、4和5)之一)进行操作。基于自动化水平，第一车辆104可以是半自主车辆、完全自主车辆或非自主车辆之一。第一车辆104的示例可以包括但不限于两轮车、三轮车、四轮车、混合动力车辆或具有使用一个或多个不同的可再生或不可再生能源的自主驾驶能力的车辆。第一车辆104的另外的示例可以包括但不限于基于化石燃料的车辆、基于电力推进的车辆、基于氢燃料的车辆、太阳能车辆和/或由其它形式的替代能源供能的车辆。

在某些情况下，第一车辆104可以包括基于各种车辆技术和传感器(包括自适应巡航控制、主动转向、防抱死制动系统(线控制动)、全球导航卫星系统(GNSS)导航技术、激光器、相机、雷达或(一个或多个)光检测和测距(LIDAR)系统)将自己从起始点驾驶到目的地点的功能或能力。

地理控制区106可以被建立为具有既定边界的部分土地。例如，该部分土地可以包括道路、交叉路口、人行横道、行人道、高速公路、互通式立交、桥梁、岔道口或其它形式的道路或汽车道。地理控制区106可以被建立为针对不安全行为(或潜在的不安全行为)监视移动物体组102，以向地理控制区106中的第一车辆104提供驾驶辅助。在某些情况下，当检测到第一车辆104处于电子设备组114的通信范围内时，可以建立地理控制区106。

控制系统108可以包括合适的逻辑、电路系统和接口，其可以被配置为在第一车辆104通过一个或多个地理控制区时向第一车辆104提供驾驶辅助。控制系统108可以被配置为监视地理控制区106中的移动物体组102中的至少一个移动物体的不安全行为。此外，在某些情况下，当第一车辆104处于地理控制区106中时，控制系统108可以被配置为辅助第一车辆104到达目的地点和/或确保第一车辆104、第一车辆104的(一个或多个)乘员或第一车辆104附近的其它物体的安全。控制系统108的示例可以包括但不限于车辆或车辆的网络、交通管理系统、服务器或路边计算基础设施。在某些实施例中，控制系统108可以是第一车辆104的高级驾驶员辅助系统(ADAS)的一部分。

服务器110可以包括合适的逻辑、电路系统和接口，其可以被配置为充当对于移动物体组102的交通信息的数据存储。此外，作为先发措施，服务器110可以被配置为收集在地理控制区106或第一车辆104的当前行驶路线中的任何地点可能发生或可能已经发生的事件的实时或接近实时的信息。此类事件可以潜在地影响乘坐体验或者可以对第一车辆104的乘坐者造成即将发生的伤害。此类事件的示例可以包括例如封锁、事故、恐怖袭击、自然灾害、骚乱或任何形式的暴力。

此外或可替代地，服务器110可以被配置为在测试物体组的测试图像集合上训练神经网络(NN)模型，以便生成预测测试物体组中的至少一个测试物体的不安全行为的图像。服务器110可以被实施为可以通过web应用、云应用、HTTP请求、储存库操作、文件传送等来执行操作的云服务器。服务器110的其它示例可以包括但不限于车载服务器、数据库服务器、文件服务器、web服务器、媒体服务器、应用服务器、大型机服务器、云服务器或其它类型的服务器。

在某些实施例中，服务器110可以通过使用本领域普通技术人员众所周知的几种技术被实施为多个分布式的基于云的资源。本领域普通技术人员将理解的是，本公开的范围可以不限于将服务器110和第一电子设备112实施为分离的实体。在某些实施例中，在不脱离本公开的范围的情况下，服务器110的功能可以整体或至少部分地结合到第一电子设备112中。

第一电子设备112可以包括合适的逻辑、电路系统和接口，其可以被配置为接收移动物体组102的交通信息并基于接收到的交通信息预测第一移动物体的不安全行为。此外，第一电子设备112可以被配置为基于第一移动物体的预测出的不安全行为，生成包括第一车辆104的替代路线的第一控制信息。第一电子设备112的示例可以包括但不限于车辆、车载电子控制单元(ECU)、车载相机、车辆外部相机、路边单元(RSU)、车辆到基础设施(V2I)通信设备，或航拍无人机。在某些实施例中，第一电子设备112可以是第一车辆104的ECU或ADAS的一部分。

电子设备的集合114中的每个电子设备可以包括合适的逻辑、电路系统和接口，其可以被配置为收集交通信息，该交通信息包括地理控制区106中的移动物体组102的多个图像帧。此外，在某些情况下，电子设备的集合114中的每个电子设备可以形成对等(P2P)网络并且与第一电子设备112以及在电子设备的集合114中的一个或多个电子设备之间共享收集到的交通信息。可以基于生成的第一控制信息来控制第一车辆104。在某些实施例中，电子设备的集合114中可以被主动部署为地理控制区106中的交通监视设备。在某些其它实施例中，电子设备的集合114中的至少一个可以是进入地理控制区106并充当其它车辆(例如，第一车辆104)的交通监视设备的移动车辆的一部分。在这种情况下，当移动车辆离开地理控制区106时，可以从电子设备的集合114中移除此类电子设备。

电子设备的集合114的示例可以包括但不限于车载ECU、车载相机、车辆外部相机、RSU、V2I通信设备和航拍无人机。电子设备的集合114的另外的示例可以包括但不限于交通信号、路边信标和无线接入点。

通信网络116可以包括通信介质，第一车辆104、服务器110、第一电子设备112和电子设备的集合114可以通过该通信介质彼此通信。通信网络116可以是通信介质，第一车辆104的不同的内部和外围电子组件可以通过该通信介质与服务器110、第一电子设备112以及电子设备的集合114进行通信。可以基于一种或多种通信标准/协议(诸如控制器区域网络(CAN)协议、本地互连网络(LIN)协议、面向媒体的系统传输(MOST)协议、车域网(VAN)或FlexRay标准)来建立通信网络116。通信网络116的示例可以包括但不限于互联网、基于互联网的移动自组织网络(IMANET)、蜂窝网络(诸如3G、4G或5G网络)、云网络和/或广域网(WAN)。

示例性环境100中的各种设备可以根据各种无线通信协议连接到通信网络116。此类无线通信协议的示例可以包括但不限于IEEE802.11、802.11x、802.15、802.16、1609、微波存取全球互通(Wi-MAX)、车辆环境中的无线接入(WAVE)、蜂窝通信协议、传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、LTE、文件传输协议(FTP)、ZigBee、EDGE、Li-Fi和/或其它无线通信协议。

在操作中，电子设备的集合114中的每个电子设备可以被配置为收集交通信息，该交通信息包括但不限于地理控制区106中的移动物体组102的多个图像帧。作为示例，对于两条道路的交叉路口，可能存在两个电子设备，即，第一条道路上的V2I设备和第二条道路上的车辆。在V2I设备可以收集第一条道路上移动物体的交通信息的第一部分的同时，停在第二条道路上的车辆可以收集第二条道路上移动物体的交通信息的剩余部分。

在某些实施例中，收集到的交通信息还可以包括地理控制区106中的多个地点的GNSS信息。GNSS信息可以包括例如车辆地点、特定路线、特定交叉路口、特定路线上的交通状况、特定路线上的转弯、特定路线上的事故等。此外，对于作为移动物体102组之一的移动车辆，此类移动车辆将时间、位置、速度、方向或当前行驶路线的频繁更新共享给电子设备的集合114中的一个或多个。可以由电子设备的集合114中的特定电子设备提供特定路线的交通信息。在某些情况下，可以与主节点(例如，第一电子设备112)共享收集到的交通信息。

在一些实施例中，控制系统108可以包括无人机，作为第一车辆104上的电子设备的集合114中的一个电子设备。第一电子设备112可以被配置为将无人机派遣到移动物体组102中的第一移动物体的地点。此外或可替代地，第一电子设备112可以被配置为检测对于第一车辆104的用户不适水平并且进一步基于检测到的用户不适水平派遣无人机。例如，第一移动物体可以不在第一车辆104的视场(FOV)内。无人机可以被配置为捕获第一移动物体的交通信息并经由通信网络116与第一电子设备112共享捕获到的交通信息。

在第一车辆104的当前行驶路线中的任何给定时间，第一车辆104可以进入控制系统108(例如，第一电子设备112和/或电子设备的集合114)的通信范围。第一电子设备112可以被配置为在第一车辆104处于控制系统108的通信范围内的基础上来检测第一车辆104。第一电子设备112还可以被配置为从检测到的第一车辆104接收与对设置跨越既定距离的地理控制区106的接受对应的输入。这种输入可以是例如用户输入、握手、由特有可识别的签名签署的分组、认证令牌或认证第一车辆104的用户(或乘员)的身份的访问凭证。第一电子设备112还可以被配置为基于接收到的输入在检测到的第一车辆104周围建立地理控制区106。

第一电子设备112还可以被配置为从电子设备的集合114中的一个或多个电子设备接收交通信息(例如，收集到的交通信息)。交通信息可以包括地理控制区106中的移动物体组102的多个图像帧。在某些情况下，交通信息还可以包括例如不同的移动和/或非移动物体的地点信息、一个或多个电子设备周围的环境的3D模型或3D扫描数据、与第一车辆104的当前行驶路线中的某些地点相关联的安全或事件信息等中的一个或多个。

举例来说，移动物体组102可以包括相对于第一车辆104在道路的相同或不同车道或不同道路、或道路上的不同方向上移动的车辆。在任何时刻，都可能有几个车辆在第一车辆104的直接视场内，而其它车辆可以不在第一车辆104的视场内或被其遮挡。为了收集移动物体组102的交通信息，可以部署或指派电子设备的集合114中的一个或多个电子设备来监视和收集来自地理控制区106中的一个或多个电子设备的相应地点周围的不同区域的部分交通信息。一旦收集到，一个或多个电子设备就可以彼此和/或与主节点相互共享收集到的部分交通信息。

第一电子设备112还可以被配置为基于对接收到的交通信息应用经训练的NN模型来生成移动物体组102中的第一移动物体的图像帧的集合。第一移动物体可以与车辆(自主或非自主)、行人、动物、飞行器、飞散物等之一对应。生成的图像帧的集合可以与第一移动物体在未来时刻的可能位置的集合对应。多个图像帧可以作为输入提供给经训练的NN模型的初始层，该初始层可以存储在第一电子设备112上。经训练的NN模型可以产生图像帧的集合作为经训练的NN模型的最终NN层的输出。

第一电子设备112还可以被配置为基于生成的图像帧的集合来预测第一移动物体的不安全行为。当第一移动物体不在第一车辆的视场(FOV)内时，可以预测第一移动物体的不安全行为。此外或可替代地，当第一移动物体处于第一车辆的视场(FOV)内时，可以预测第一移动物体的不安全行为。举例来说，在行人或车辆作为第一移动物体的情况下，预测出的不安全行为可以与违反交通规则(例如，行人违章横越马路，即，在交通信号灯对于行人仍为红色时穿过马路)或可能导致与第一车辆104发生损坏(例如，撞车或碰撞)的情况对应。

预测出的不安全行为可以与地理控制区106中的第一移动物体违反交通规则对应。例如，第一移动物体可能违反交通规则，因为第一移动物体可能应当在道路右侧行驶。此外或可替代地，预测出的不安全行为可以与例如突然的闪光、动物的未识别出的行为、嘈杂和分散注意力的物体等对应。应当注意的是，可以基于不同的控制区中交通规则的改变以及对于地理控制区106交通规则在适当的时候的更新，从一个地理控制区到另一个地理控制区且不时地改变对不安全行为的预测。

在某些实施例中，第一电子设备112还可以被配置为基于接收到的交通信息确定移动物体组102的运动信息。移动物体组102的运动信息可以包括例如移动方向、移动速度、驾驶模式、驾驶车道、道路的驾驶侧等中的一项或多项。在这种情况下，还可以基于确定的运动信息预测第一移动物体的不安全行为。

第一电子设备112还可以被配置为基于预测出的不安全行为来生成第一控制信息。第一控制信息可以包括第一车辆104的替代路线。替代路线可以通向第一车辆104打算到达的相同目的地点。此外，第一控制信息可以包括例如第一车辆104的不同车辆控制参数的控制信号，以允许第一车辆104切换到替代路线和/或避免与第一移动物体的碰撞。控制信号可以与例如用于第一车辆104的转向控制、制动控制、加速控制、路线改变、安全措施等对应。可以基于生成的第一控制信息来控制第一车辆104。第一电子设备112可以基于生成的第一控制信息对第一车辆104施加制动、加速、减速和/或转向，以避免例如与移动物体组102中的一个移动物体碰撞的情况。可替代地，在某些实施例中，第一电子设备112可以被配置为基于生成的第一控制信息直接控制第一车辆104。例如，在这种情况下，第一电子设备112可以是或者第一车辆104的ADAS的一部分、另一个车辆的一部分，或者地理控制区106中的路边电子基础设施。

根据实施例，第一电子设备112可以被配置为将车辆的集合登记在控制网络(例如，通信网络116)上，包括第一车辆104。经登记的车辆的集合可以存在于地理控制区106中。第一电子设备112还可以被配置为针对经登记的车辆的集合中的每个车辆生成第二控制信息并将生成的第二控制信息传送到经登记的车辆的集合中的每个车辆。可以基于预测出的第一移动物体的不安全行为来生成第二控制信息。

此外或可替代地，第一电子设备112还可以被配置为生成包括用于第一移动物体的安全措施的集合的第三控制信息，并且将生成的第三控制信息传送到第一移动物体。可以基于确定第一移动物体是在控制网络上登记的车辆来生成第三控制信息。

根据实施例，第一电子设备112可以被配置为接收与可以位于第一车辆104的当前行驶路线中的后续地理控制区相关联的安全信息。这种安全信息可以对应于例如与后续地理控制区相关联的事件。第一电子设备112还可以被配置为基于接收到的安全信息预测第一车辆104的安全路线，并生成包括预测出的安全路线的第四控制信息。还可以基于生成的第四控制信息来控制第一车辆104。

此外或可替代地，第一电子设备112可以被配置为确定第一车辆104的一个或多个安全驾驶区，并且基于确定的一个或多个安全驾驶区来预测第一车辆104的安全路线。第一电子设备112还可以被配置为生成包括预测出的安全路线的第四控制信息。可以在凌驾于对第一车辆104预设的当前行驶路线的同时，基于生成的第四控制信息来控制第一车辆104。

图2是图示根据本公开的实施例的用于地理控制区中的车辆控制的示例控制系统的框图。结合图1中的要素来说明图2。参考图2，示出了控制系统108的框图200。控制系统108可以包括第一电子设备112和电子设备的集合114。第一电子设备112可以包括电路系统202，其可以在地理控制区(诸如地理控制区106)中执行用于车辆控制的操作。第一电子设备112还可以包括存储器204和输入/输出(I/O)设备206、图像捕获设备208和网络接口210。电路系统202可以通信地耦合到存储器204、I/O设备206、图像捕获设备208和网络接口210。

电路系统202可以包括合适的逻辑、电路系统和接口，其可以被配置为执行存储在存储器204中的指令。指令可以与操作对应，这些操作可以包括但不限于接收移动物体组102的交通信息、基于对接收到的交通信息应用经训练的NN模型生成第一移动物体的图像帧的集合、基于生成的图像帧的集合预测第一移动物体的不安全行为，以及基于预测出的不安全行为生成包括第一车辆104的替代路线的第一控制信息。电路系统202可以基于本领域已知的多种处理器技术来实施。电路系统202的示例可以包括但不限于图形处理单元(GPU)、处理器、协处理器、中央处理单元(CPU)、基于x86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器及其组合。

存储器204可以包括合适的逻辑、电路系统和接口，其可以被配置为存储将由电路系统202执行的指令。存储器204还可以被配置为存储交通信息、第一车辆104的其它事件相关信息，和/或经训练的NN模型。存储器204的实施方式的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓存和/或安全数字(SD)卡。

I/O设备206可以包括合适的逻辑、电路系统和/或接口，其可以被配置为充当用户和第一电子设备112和/或电子设备的集合114之间的I/O通道/接口。I/O设备206可以被配置为接收输入并基于接收到的输入显示输出。I/O设备206可以包括各种输入和输出设备，其可以被配置为与第一电子设备112的不同操作组件进行通信。I/O设备206的示例可以包括但不限于触摸屏、键盘、鼠标、操纵杆、麦克风和显示屏。

图像捕获设备208可以包括合适的逻辑、电路系统和/或接口，其可以被配置为在图像捕获设备208的视场(FOV)区域内捕获移动物体组102的多个图像帧。图像捕获设备208可以被实施为例如有源像素传感器(诸如互补金属氧化物(CMOS)传感器)、无源像素传感器(诸如电荷耦合器件(CCD)传感器)、过采样二进制图像传感器、平面傅立叶捕获阵列(PFCA)和背照式(BSI或BI)传感器等之一。

网络接口210可以包括合适的逻辑、电路系统和/或接口，其可以被配置为促进控制系统108和服务器110之间经由通信网络116的通信。网络接口210可以被配置为促进经由通信网络116的第一电子设备112、一个或多个电子设备的集合114以及其它节点之间的通信。网络接口210可以通过使用各种已知技术来实施，以支持控制系统108与通信网络116的有线或无线通信。网络接口210可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码解码器(CODEC)芯片组、订户身份模块(SIM)卡或本地缓冲电路系统。

网络接口210可以被配置为经由无线通信与网络(诸如互联网、内联网或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和城域网(MAN)))进行通信。无线通信可以使用多种通信标准、协议和技术(诸如全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、长期演进(LTE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g或IEEE802.11n)、互联网协议语音(VoIP)、光保真(Li-Fi)、微波存取全球互通(Wi-MAX)、电子邮件协议、即时消息和短消息服务(SMS))中的一种或多种。

如图1中所述，由控制系统108执行的功能或操作可以由第一电子设备112的电路系统202执行。例如，在图3、4、5、6、7和8中详细描述由电路系统202执行的操作。

图3图示了根据本公开的实施例的用于地理控制区中的车辆控制的示例性操作。结合图1和图2中的要素来说明图3。参考图3，示出了用于地理控制区(诸如地理控制区106)中的车辆控制的示例性操作的框图300。

在阶段1，第一电子设备112可以被配置为从地理控制区106中的电子设备的集合114中的一个或多个电子设备接收交通信息。此外或可替代地，可以从第一控制区主设备(未示出)接收交通信息。第一电子设备112可以被配置为从电子设备的集合114中选择第二电子设备作为地理控制区106的第一控制区主设备。这种选择可以基于一个或多个因素，诸如但不限于第一电子设备112与第一车辆104的接近度或距离，或具有最低延迟的通信范围。

举例来说，第一控制区主设备可以与第一车辆104在相同道路、车道上或在第一车辆104周围的一定半径内，并且可以收集地理控制区106中的移动物体组302的交通信息。第一控制区主设备可以被配置为从电子设备的集合114中的一个或多个电子设备接收对收集到的交通信息的检索请求，并基于接收到的检索请求与电子设备的集合114中的一个或多个电子设备共享收集到的交通信息。

交通信息可以包括地理控制区106中的移动物体组302的多个图像帧304。可以经由图像捕获设备208或与电子设备的集合114集成的图像捕获设备来捕获多个图像帧304。此类图像捕获设备可以捕获多个图像帧304并且将捕获到的多个图像帧304直接经由通信网络116或经由控制区主设备传输到第一电子设备112。在一些实施例中，电子设备的集合114中的一个或多个电子设备还可以捕获地理控制区106中的多个地点的GNSS信息，诸如地标、交叉路口、交通状况等。捕获到的GNSS信息可以包括在交通信息中并且或者直接地或者经由控制区主设备传输到第一电子设备112。

在阶段2，第一电子设备112可以被配置为处理接收到的交通信息，该交通信息包括捕获到的多个图像帧304。多个图像帧304的处理可以基于对捕获到的多个图像帧304的应用(经训练的)NN模型来生成图像帧的集合306A…306N。生成的图像帧的集合306A…306N可以与移动物体组302中的第一移动物体308在未来时刻的可能位置的集合对应。

可以在训练数据集上预训练NN模型，该训练数据集包括移动物体的输入-输出图像对。例如，在移动物体的输入-输出图像对中，输入图像可以将初始位置表示为移动物体的初始状态，而输出图像可以将下一个位置表示为移动物体的下一个状态。NN模型可以被预训练以预测移动物体组302中的第一移动物体308的多个离散分布。NN模型可以被预训练以预测第一移动物体308的移动(例如，车辆移动)而无需尝试通过真实像素信息重建第一移动物体308。经训练的NN模型可以将预测出的多个离散分布单独应用于来自多个图像帧304的第一移动物体308的第一图像帧。经训练的NN模型可以使用卷积机制(例如，使用全连接权重)计算第一图像帧的每个像素的运动分布的预期值，并将运动分布应用于第一图像帧的每个像素，从而生成图像帧的集合306A…306N的第一预测图像帧。作为示例，可以基于如下给出的等式(1)从多个图像帧304中的第一图像帧(x-k，y-l)来生成作为预测出的图像帧的集合

其中，k可以是归一化的预测卷积核的空间大小，并且可以是可以应用于第一图像帧(x-k，y-l)以生成图像帧的集合的多个变换(或运动分布)。

在一些情况下，生成的图像帧的集合306A…306N可以包括特定数量的图像帧，其可以是在给定时间帧内经训练的NN模型的最优结果。此外或可替代地，经训练的NN还可输出预测结果作为生成的图像帧的集合306A…306N中第一移动物体308的不安全行为的指示。在某些情况下，可以基于移动物体组302的运动信息来确定第一移动物体308的不安全行为，而移动物体组302的运动信息是基于接收到的交通信息来确定的。运动信息可以包括例如移动方向、移动速度、行驶模式、行驶车道、道路的行驶侧等中的一项或多项。

预测出的不安全行为可以与第一移动物体308违反交通规则对应。此外或可替代地，预测出的不安全行为可以与例如突然的闪光、动物的未识别出的行为、嘈杂和分散注意力的物体等对应。在一些实施例中，经训练的NN模型还可以利用交通信息中的GNSS信息来预测不安全行为。作为示例，在道路的转弯和交叉路口的情况下，GNSS信息可以是有帮助的。例如，经训练的NN模型可以确定移动物体将在“2”秒后右转，因此不会将第一移动物体308的行为认作在未来时刻不安全。

经训练的NN模型可以输出与第一移动物体308在未来时刻的可能位置的集合对应的图像帧的集合306A…306N。经训练的NN模型可以针对生成的图像帧的集合306A…306N中的每个图像帧输出可能性分数。可能性分数可以确定第一移动物体308在未来时刻处于经训练的NN模型确定的位置之一的概率。在一些实施例中，经训练的NN模型可以基于生成的图像帧的集合306A…306N中的每个图像帧的可能性分数之间的比较来输出预测结果作为第一移动物体308的不安全行为的指示。

经训练的NN模型的一些示例可以包括但不限于卷积神经网络(CNN)、快速区域自适应(R)CNN、甚高速RCNN、人工神经网络(ANN)或多步CNN。在某些情况下，经训练的神经网络模型可以是CNN和其它深度NN类型(诸如循环神经网络(RNN)、基于长短期记忆(LSTM)的RNN，基于连接主义时间分类(CTC)的RNN，或生成对抗网络(GAN))的混合网络。

在一些实施例中，可以在第一电子设备112的专用神经网络电路系统上实施经训练的NN模型。在一些其它实施例中，经训练的NN模型可以作为程序代码、神经模式和/或基于人工智能(AI)的应用存储在第一电子设备112或服务器110上。此外或可替代地，经训练的NN可以被实施为程序代码和专用神经网络电路系统的组合。

第一电子设备112可以被配置为基于生成的图像帧的集合306A…306N来预测第一移动物体308的不安全行为。作为示例，可以基于经训练的NN模型的预测结果来预测不安全行为。此外，在某些情况下，如上所述，第一电子设备112可以利用运动信息来确定第一移动物体308的不安全行为。在一些实施例中，第一电子设备112还可以被配置为基于生成的图像帧的集合306A…306N确定第一车辆104与第一移动物体308碰撞的可能性，并且基于确定的碰撞的可能性来预测第一移动物体308的不安全行为。

在阶段3，可以从生成的图像帧的集合306A…306N中选择与第一移动物体308的可能位置对应的最终图像帧310。最终图像帧310可以被选择为生成的图像帧的集合306A…306N中具有最高可能性分数的图像帧。最终图像帧310可以包括例如方向箭头310A和方向箭头310B以分别指示第一移动物体308在未来时刻的安全行为和不安全行为。例如，在最终图像帧310中，两辆车可能正在发生碰撞。方向箭头310A可以指示如果第一移动物体308将其移动方向改变到左侧，那么第一移动物体308可以保持安全；并且方向箭头310B可以指示如果第一移动物体308将其移动方向改变到右侧，那么第一移动物体308可以保持不安全。方向箭头310A和方向箭头310B还可以被用于提供推荐以选择第一车辆104的移动方向。

第一电子设备112还可以被配置为生成用于第一车辆104的第一控制信息。第一控制信息可以包括地理控制区106中的第一车辆104的替代路线。此外或可替代地，第一控制信息可以包括关于替代路线的信息。这种信息可以包括例如替代路线上的交通状况和经由替代路线到达目的地的估计到达时间(ETA)。此外或可替代地，第一控制信息还可以包括用于第一车辆104的制动控制、转向控制、加速控制、离合器控制和/或档位控制的控制信号。

在一些实施例中，第一电子设备112可以被配置为基于第一移动物体308的预测出的不安全行为来预测第一移动物体308的第一行驶路线，并确定第一车辆104的当前行驶路线。第一电子设备112还可以被配置为基于预测出的第一行驶路线和确定的当前行驶路线确定第一车辆104与第一移动物体308碰撞的可能性。在这种情况下，可以基于确定的第一车辆104与第一移动物体308碰撞的可能性来生成第一控制信息(包括第一车辆104的替代路线)。

可以基于第一控制信息来控制第一车辆104。可替代地，第一电子设备112可以被配置为基于生成的第一控制信息来控制第一车辆104。第一车辆104的当前行驶路线可以根据如第一控制信息中指定的替代路线而改变。替代路线可以是第一车辆104的安全路线，并且通过沿着替代路线移动，第一车辆104可以采取先发机动以避免与第一移动物体308碰撞。

在某些场景中，可以基于第一车辆104和第一移动物体308中的任一个或两者的当前速度来确定第一车辆104与第一移动物体308的碰撞是不可避免的。在某些其它场景中，可以确定第一车辆104没有足够的时间将当前行驶路线改变为替代路线，并且第一车辆104与第一移动物体308碰撞的可能性大于阈值。此外或可替代地，第一电子设备112可以预测第一车辆104与第一移动物体308碰撞的影响。在这种场景中，作为先发机动，第一电子设备112可以被配置为控制第一车辆104的安全硬件以减轻对第一车辆104的影响的效果。例如，如果预测出的影响小，那么第一电子设备112可以被配置为在碰撞之前控制第一车辆104中的气囊的充气。可替代地，如果预测出的影响大(例如，翻车情况)，那么第一电子设备112可以被配置为控制第一车辆104在与第一移动物体308碰撞之时、之前或之后执行先发反翻车(counter rollover)机动以确保第一车辆不会翻滚。例如，这种先发反翻车机动可以包括控制第一车辆104中的轴阻尼位置以平衡重心，从而避免第一车辆104的翻车。

在一些场景中，交通信息可以包括由于地理控制区106中的龙卷风而引起的飞散物(例如，金属板)的多个图像帧。第一电子设备112可以被配置为处理多个图像帧并预测飞散物的不安全行为。第一电子设备112还可以被配置为基于飞散物的预测出的不安全行为，生成包括第一车辆104的替代路线的第一控制信息。第一车辆104可以被控制为基于第一控制信息将当前行驶路线改变为替代路线。替代路线可以是其中飞散物与第一车辆104碰撞的可能性低于阈值(例如，非常低(<0.01)或接近零)的安全路线。

图4是图示根据本公开的实施例的对于地理控制区中的车辆控制的示例性场景的图。结合图1、图2和图3中的要素来说明图4。参考图4，示出了对于地理控制区中的车辆控制的示例性场景的框图400。在图4中，示出了地理控制区404中的多条路线402A、402B、402C和402D。还示出了移动物体组406A和406B以及第一车辆408。地理控制区404还可以包括多个控制区主设备，诸如第一控制区主设备410A和第二控制区主设备410B。第一控制区主设备410A和第二控制区主设备410B可以是例如安装在路线402A上的交叉点附近的V2I设备并且可以是控制系统108的一部分。

最初，第一车辆408可以被配置为遵循当前行驶路线412，该路线可以通向第一车辆408打算到达的目的地点。在某个时刻，第一车辆408可以进入可以是控制系统108的一部分的第一控制区主设备410A的第一通信范围内。第一控制区主设备410A的第一通信范围可以与第一控制区主设备410A可以辅助第一车辆408的范围对应。

第一控制区主设备410A可以被配置为通过使用与第一控制区主设备410A相关联的图像捕获设备来检测第一通信范围内的第一车辆408。此外或可替代地，可以通过使用雷达传感器(未示出)或路边信标(未示出)或LiDAR(未示出)来检测第一车辆408。第一控制区主设备410A还可以被配置为经由通信网络116向检测到的第一车辆408传输查询以建立跨越既定距离的地理控制区404。第一车辆408可以被配置为接收查询并通过与对设置达既定距离的地理控制区404的接受对应的输入来响应查询。第一控制区主设备410A还可以被配置为在第一车辆408周围建立地理控制区404并且通知第二控制区主设备410B在第一车辆408周围建立地理控制区404。这样建立的地理控制区404还可以包括其它控制区主设备，包括但不限于第二控制区主设备410B。

第一控制区主设备410A可以被配置为从第一控制区主设备410A的第一通信范围内的一个或多个电子设备收集移动物体组406A和406B的交通信息。此后，第一控制区主设备410A可以被配置为与其它电子设备(包括但不限于第二控制区主设备410B)共享收集到的交通信息。类似地，第二控制区主设备410B可以被配置为从第二控制区主设备410B的第二通信范围内的一个或多个电子设备收集交通信息。第二控制区主设备410B还可以被配置为与其它电子设备(包括但不限于第一控制区主设备410A)共享收集到的交通信息。移动物体组406A和406B可以包括经登记的车辆和/或未登记的车辆。经登记的车辆可以包括可以使用由控制系统108提供的服务(诸如驾驶辅助)的车辆。而未登记的车辆可以包括不能使用由控制系统108提供的服务的车辆。

在一些实施例中，第一控制区主设备410A可以被配置为从第二控制区主设备410B接收交通信息。第一控制区主设备410A还可以被配置为确定移动物体组406A和406B中的第一移动物体406A属于未登记的车辆的集合。第一控制区主设备410A还可以被配置为处理接收到的交通信息并预测第一移动物体406A的不安全行为。交通信息的处理可以包括将经训练的NN模型应用于接收到的交通信息。第一移动物体406A的不安全行为可以与例如违反交通规则对应，其可能从一个地理区域到另一个地理区域不同。

第一控制区主设备410A还可以被配置为生成包括用于第一车辆408的替代路线414的第一控制信息。第一控制信息可以被传输到第一车辆408。第一车辆408可以处理第一控制信息并且基于第一控制信息将其路线从当前行驶路线412改变到替代路线414。在一些情况下，第一控制区主设备410A可以被配置为基于第一控制信息控制第一车辆408将其路线从当前行驶路线412改变到替代路线414。在一些其它情况下，如果第一控制区主设备410A确定第一车辆408和第一移动物体406A之间发生碰撞的概率非常低，那么第一车辆408的当前行驶路线412可以保持不变。

在某些实施例中，第一控制区主设备410A可以被配置为将包括但不限于第一车辆408的车辆的集合登记在控制网络上。经登记的车辆的集合可以处于地理控制区404中。第一控制区主设备410A还可以被配置为针对经登记的车辆的集合中的每个车辆生成第二控制信息并且将生成的第二控制信息传送到经登记的车辆的集合中的每个车辆。可以基于第一移动物体406A的预测出的不安全行为来生成第二控制信息。例如，第二控制信息可以包括可具有与第一移动物体406A碰撞的可能性的经登记的车辆的集合中的每个车辆的替代路径。第二控制信息可以由第一控制区主设备410A经由通信网络116直接传送到经登记的车辆的集合中的每个车辆。可替代地，第一控制区主设备410A可以被配置为与地理控制区404中的电子设备的集合中的每个电子设备共享第二控制信息。电子设备的集合中的每个电子设备还可以被配置为在它们相应的通信范围内与相应的车辆共享第二控制信息。

在某些实施例中，第一控制区主设备410A还可以被配置为基于第一移动物体是在控制网络上登记的车辆的确定来生成第三控制信息。

第三控制信息可以包括用于第一移动物体406A的安全措施的集合。安全措施的集合可以包括例如警报消息、制动控制、车道的改变、转向控制等。第一控制区主设备410A可以被配置为将第三控制信息传送到第一移动物体406A。此外，在某些情况下，第一控制区主设备410A还可以被配置为基于第三控制信息来控制第一移动物体406A。

应当注意的是，第一控制区主设备410A的上述操作可以由第二控制区主设备410B或可以是地理控制区404的一部分的电子设备的集合中的任何其它电子设备来执行。例如，第一控制区主设备410A可以与图1的第一电子设备112对应。

在某些场景中，地理控制区404中可以只有一个控制区主设备。此外或可替代地，地理控制区404中可以有一个控制区主设备和多个控制区从设备。控制区从设备可以只收集交通信息并将其传递给控制区主设备，控制区主设备可以预测第一移动物体406A的不安全行为。

在某些其它场景中，控制区主设备可以是在路线(例如，路线402A)上移动的车辆的集合。车辆的集合中的每个车辆可以收集(一个或多个)车辆相机的FOV区域内的交通信息，并在通信范围内彼此共享交通信息。车辆的集合中的每个车辆可以预测通信范围内的第二车辆的不安全行为并且将第二车辆的预测出的不安全行为通知给其它车辆。

在某些其它场景中，在路线上移动的车辆的集合中的第一车辆可以在第二车辆处于第一车辆上安装的车辆相机的FOV内时，预测第二车辆(即，第一移动物体)的不安全行为。在一些情况下，第二车辆可能不在第一车辆的车辆相机的视场(FOV)内。第一车辆可以被配置为基于来自地理控制区404中的车辆的集合中的其它车辆的交通信息来预测第二车辆的不安全行为。在某些其它场景中，第一车辆可以被配置为基于由车辆、车载ECU、车载相机、车辆外部相机、RSU、V2I通信设备、航拍无人机或其组合收集到的交通信息来预测第二车辆的不安全行为。

图5是图示根据本公开的实施例的对于地理控制区中的车辆控制的示例性场景的图。结合图1、图2、图3和图4中的要素来说明图5。参考图5，示出了对于地理控制区中的车辆控制的示例性场景的框图500。

在图5中，示出了多条路线，诸如第一路线502A和第二路线502B。还示出了第一控制区主设备504A和第二控制区主设备504B。第一控制区主设备504A或第二控制区主设备504B可以向地理控制区508中经登记的车辆的集合(其包括第一车辆506)提供驾驶辅助。还示出了移动物体组510A和510B以及第一车辆506。在一些实施例中，第一控制区主设备504A和第二控制区主设备504B两者可以基于第一控制区主设备504A或第二控制区主设备504B之一与第一车辆506的接近度，不时地向第一车辆506提供驾驶辅助。

在某个时刻，第一车辆506可以被第一控制区主设备504A检测到。第一控制区主设备504A可以被配置为基于来自第一车辆506的输入在检测到的第一车辆506周围建立地理控制区508。第一控制区主设备504A可以被配置为从第一控制区主设备504A的通信范围内的电子设备的集合中的一个或多个电子设备收集交通信息。收集到的交通信息可以包括第一路线502A(与第一车辆506的路线相同)上的移动物体组510A和510B的多个图像帧。该交通信息可以足以预测到交叉点512的替代路线(如果预测到任何移动物体的不安全行为)。此外，在某些情况下，第一控制区主设备504A可以被配置为从第二控制区主设备504B请求交通信息。第二控制区主设备504B可以收集交通信息并将其传输到第一控制区主设备504A。从第二控制区主设备504B接收到的交通信息可以与第二路线502B对应。

第一控制区主设备504A可以被配置为处理交通信息以预测移动物体组510A和510B中的第一移动物体510A的不安全行为。例如，当第一车辆506到达交叉点512时，第一移动物体510A的不安全行为可以和与第一车辆506碰撞的可能性相关。交通信息的处理可以与对交通信息应用经训练的NN模型对应。然后，第一控制区主设备504A可以生成第一控制信息，其可以包括用于第一车辆506的替代路线。

在一些实施例中，第二控制区主设备504B可以是位于第一车辆506的当前行驶路线中的后续地理控制区的一部分。第二控制区主设备504B可以从第二控制区主设备504B的通信范围内的电子设备的集合收集与第二路线502B对应的安全信息。第二控制区主设备504B可以基于安全信息确定在后续地理控制区中登记的或可能发生的事件。此类事件可以对应但不限于事故、恐怖袭击、失事路线、恶劣天气状况(如龙卷风或暴雨)等。第二控制区主设备504B可以向第一控制区主设备504A传输安全信息和/或者确定的与后续地理控制区相关联的事件。

第一控制区主设备504A可以被配置为接收和处理安全信息并基于经处理的安全信息预测第一车辆506的安全路线。安全路线可以是避免第一车辆506遇到此类事件并确保第一车辆506在旅程中保持安全的先发措施。第一控制区主设备504A可以被配置为生成第四控制信息，其可以包括第一车辆506的预测出的安全路线。还可以基于生成的第四控制信息来控制第一车辆506。在一些实施例中，第一控制区主设备504A还可以被配置为经由通信网络116与对应控制区中的所有车辆共享安全信息。

在一些实施例中，基于接收到的安全信息，可以确定第一车辆506在第一车辆506进入后续地理区的情况下可能不会保持安全，例如，交通碰撞。在这种情况下，第一控制区主设备504A可以被配置为确定第一车辆506的一个或多个安全驾驶区(未示出)。此类安全驾驶区可以将第一车辆506引导到预期的目的地点。第一控制区主设备504A还可以被配置为基于确定的一个或多个安全驾驶区来预测第一车辆506的安全路线。第一控制区主设备504A还可以被配置为生成包括第一车辆506的预测出的安全路线的第四控制信息。可以基于生成的第四控制信息来控制第一车辆506。例如，可以通过利用预测出的安全路线凌驾于对第一车辆506预设的当前行驶路线来控制第一车辆506。

在一些实施例中，第一控制区主设备504A和第二控制区主设备504B可以是存在于地理控制区508中的车辆。车辆可以是移动车辆，因此可以在一段时间后离开地理控制区。在这种场景中，可以从第一车辆506周围新建立的地理控制区508中的电子设备的集合中选择控制区主设备。在一些其它实施例中，优先级值可以与电子设备的集合中的每个电子设备相关联。在这种场景中，可以比较当前存在于新建立的地理控制区中的每个电子设备的优先级值，并且可以基于对优先级值的比较来选择控制区主设备。

图6是图示根据本公开的实施例的对于地理控制区中的车辆控制的示例性场景的图。结合图1、图2、图3、图4和图5中的要素来说明图6。参考图6，示出了对于地理控制区中的车辆控制的示例性场景的框图600。

在图6中，示出了多条路线602A和602B。还示出了移动物体组604A和604B以及第一车辆606。还示出了第一控制区主设备608A和第二控制区主设备608B。第一控制区主设备608A可以向地理控制区610中经登记的车辆(诸如第一车辆606)提供驾驶辅助。还示出了无人机612，其最初可以停靠在第一车辆606上的停靠位置(未示出)。

在某个时刻，第一车辆606可以进入第一控制区主设备608A的通信范围。第一控制区主设备608A可以被配置为检测第一车辆606，并基于来自第一车辆606的输入在检测到的第一车辆606周围建立地理控制区610。

在某些场景中，移动物体组604A和604B中的第一移动物体604A可以不在第一车辆606的FOV内。此外或可替代地，与第一车辆606相关联的用户可能会感到不适。这种不适可以是由于例如由其它车辆的驾驶模式、医疗紧急情况、道路上任何事件的消息等引起的压力。第一控制区主设备608A可以被配置为基于某些参数(例如，用户生物信号、用户移动或从第一车辆606中的各种其它传感器收集到的数据)检测对于第一车辆的用户不适水平。第一控制区主设备608A还可以被配置为将无人机612派遣到第二路线604B上的第一移动物体604A的地点。可以基于第一移动物体604A不在第一车辆606的FOV内的确定来派遣无人机612。此外或可替代地，可以基于对用户不适水平的检测来派遣无人机612。

无人机612可以被配置为捕获第一移动物体604A的交通信息并将捕获到的交通信息传输到第一控制区主设备608A。第一控制区主设备608A从无人机612接收捕获到的交通信息并针对无人机612的着陆路径生成基于动态运动的点云数据。捕获到的交通信息可以被用于预测第一移动物体604A的不安全行为，并进一步控制第一车辆606沿着替代路线以避免与第一移动物体604A发生碰撞。

在某些场景中，第一车辆606的图像捕获设备208可能会经历故障。在这种场景中，第一车辆606可以被配置为分离并派遣无人机612以捕获第一移动物体604A的交通信息，该第一移动物体604A可以存在于或不在第一车辆606的FOV内。

在某些其它场景中，无人机612可以捕获交通信息并将其传输到第一车辆606或第一控制区主设备608A，直到第一控制区主设备608A预测出第一车辆606的安全路线为止。在预测出安全路线之后，无人机612可以降落在第一车辆606上的停靠位置。在某些其它场景中，无人机612可以在有限的时间帧内捕获交通信息，然后停靠在第一车辆606上的停靠位置。

图7A和7B是图示根据本公开的实施例的用于地理控制区中的车辆控制的示例性操作的流程图。结合图1、2、3、4、5和6中的要素来说明图7A和7B。参考图7A和7B，示出了流程图700。从702到720的操作可以在系统(例如，图2的控制系统108)上实施。操作可以在702开始并前进到704。

在704处，可以发起获取移动物体组102的交通信息的操作。根据实施例，第一电子设备112可以被配置为发起获取移动物体组102的交通信息的操作。此类信息可以包括例如移动物体组102的多个图像帧、移动物体组102的GNSS信息或定位信息、其速度、加速度、物体类型或其它信息。

在706处，可以确定第一车辆104的用户是否舒适。根据实施例，第一电子设备112可以被配置为确定第一车辆104的用户是否舒适。在用户舒适的情况下，控制可以传递到708。否则，控制可以传递到710。

在708处，可以确定移动物体组102中的第一移动物体是否存在于第一车辆104的FOV内。根据实施例，第一电子设备112可以被配置为确定第一移动物体是否存在于第一车辆104的FOV内。在第一移动物体存在于FOV内的情况下，控制可以前进到714。否则，控制可以进行到710。

在710处，可以派遣无人机612。根据实施例，第一电子设备112可以被配置为派遣无人机612。

在712处，可以控制无人机612捕获交通信息。根据实施例，第一电子设备112可以控制无人机612捕获交通信息。

在714处，可以接收交通信息，该交通信息包括地理控制区106中的移动物体组102的多个图像帧。根据实施例，第一电子设备112可以被配置为接收交通信息，该交通信息包括但不限于地理控制区106中的移动物体组102的多个图像帧。可以从电子设备114的集合中的一个或多个电子设备接收交通信息。

在716处，可以基于对接收到的交通信息应用经训练的NN模型来生成移动物体组102的第一移动物体的图像帧的集合。根据实施例，第一电子设备112可以被配置为基于对接收到的交通信息应用经训练的NN模型来生成第一移动物体的图像帧的集合。

在718处，可以基于生成的图像帧的集合来预测第一移动物体的不安全行为。根据实施例，第一电子设备112可以被配置为基于生成的图像帧的集合来预测第一移动物体的不安全行为。

在720处，可以基于预测出的不安全行为生成包括用于第一车辆104的替代路线的第一控制信息。根据实施例，第一电子设备112可以被配置为基于预测出的不安全行为生成包括第一车辆104的替代路线的第一控制信息。控制可以传递到结束。

图8是图示根据本公开的实施例的用于针对地理控制区中的车辆生成控制信息的示例性操作的流程图。结合图1、2、3、4、5、6、7A和7B中的要素来说明图8。参考图8，示出了流程图800。从802到816的操作可以由系统(例如，图2的控制系统108)来实施。操作可以从802开始并前进到804。

在804处，可以接收交通信息，该交通信息包括地理控制区106中的移动物体组102的多个图像帧。根据实施例，第一电子设备112可以被配置为接收交通信息，该交通信息包括但不限于地理控制区106中的移动物体组102的多个图像帧。可以从电子设备的集合114中的一个或多个电子设备接收交通信息。

在806处，可以基于生成的图像帧的集合来预测第一移动物体的不安全行为。根据实施例，第一电子设备112可以被配置为基于生成的图像帧的集合来预测第一移动物体的不安全行为。例如，在图3、4、5和6中提供了预测不安全行为的操作的细节。

在808处，可以确定第一移动物体是否登记在地理控制区106中。根据实施例，第一电子设备112可以被配置为确定第一移动物体是否登记在地理控制区106中。在第一移动物体被登记的情况下，控制可以传递到810。否则，控制可以传递到812。

在810处，可以针对经登记的车辆的集合中的每个车辆生成第二控制信息。根据实施例，第一电子设备112可以被配置为针对经登记的车辆的集合中的每个车辆生成第二控制信息。第二控制信息可以是基于第一移动物体的预测出的不安全行为而生成的，并且例如可以包括可具有与第一移动物体碰撞的可能性的经登记的车辆的集合中的每个车辆的替代路径。

在812处，可以生成包括用于第一移动物体的安全措施的集合的第三控制信息。根据实施例，如果第一移动物体登记在地理控制区106中，那么第一电子设备112可以被配置为生成用于第一移动物体的第三控制信息。安全措施的集合可以包括例如警报消息、制动控制、车道的改变、转向控制等。

在814处，可以将第二控制信息传送到经登记的车辆的集合中的每个车辆。根据实施例，第一电子设备112可以被配置为将第二控制信息传送到在地理控制区中登记的每个车辆。经登记的车辆的集合中的每个车辆可以基于传送的第二控制信息将它们的当前行驶路线改变到它们对应的替代路线。

在816处，可以将第三控制信息传送到第一移动物体。根据实施例，第一电子设备112可以被配置为将第三控制信息传送到第一移动物体。可以基于传送的第三控制信息来控制第一移动物体。控制可以传递到结束。

图9是图示根据本公开的实施例的用于控制第一车辆的示例性操作的流程图。结合图1、2、3、4、5、6、7A、7B和8中的要素来说明图9。参考图9，示出了流程图900。从902到910的操作可以由系统(例如，图2的控制系统108)来实施。操作可以从902开始并前进到904。

在904处，可以从(一个或多个)其它控制区主设备接收安全信息。安全信息可以与可以位于第一车辆104的当前行驶路线中的(一个或多个)后续地理控制区相关联。根据实施例，第一电子设备112可以被配置为接收安全信息。安全信息可以对应于例如与后续地理控制区相关联的事件。此类事件可以对应但不限于事故、恐怖袭击、失事路线、恶劣天气状况(如龙卷风或暴雨)等。

在906处，可以基于接收到的安全信息预测用于第一车辆104的安全路线。根据实施例，第一电子设备112可以被配置为基于接收到的安全信息预测第一车辆104的安全路线。安全路线可以是避免第一车辆104遇到此类事件并确保第一车辆506在旅程中保持安全的先发措施。

在908处，可以将预测出的安全路线传送到第一车辆104。根据实施例，第一电子设备112可以被配置为将预测出的安全路线传送到第一车辆104。

在910处，可以基于预测出的安全路线控制第一车辆104。根据实施例，第一电子设备112可以被配置为基于预测出的安全路线控制第一车辆104。例如，预测出的安全路线可以凌驾于第一车辆104的当前行驶路线，并且第一车辆104可以调整其自驾驶控制以使其沿着预测出的安全路线移动。控制可以传递到结束。

本公开的各种实施例可以提供一种非暂态计算机可读介质和/或存储介质，其上存储有可由机器和/或计算机执行以操作控制系统的指令。指令可以使机器和/或计算机执行包括从电子设备的集合中的一个或多个电子设备接收交通信息的操作，该交通信息包括地理控制区中的移动物体组的多个图像帧。操作还可以包括基于对接收到的交通信息应用经训练的NN模型来生成移动物体组中的第一移动物体的图像帧的集合。生成的图像帧的集合与第一移动物体在未来时刻的可能位置的集合对应。操作还可以包括基于生成的图像帧的集合预测第一移动物体的不安全行为，以及基于预测出的不安全行为生成包括地理控制区中的用于第一车辆的替代路线的第一控制信息。可以基于生成的第一控制信息来控制第一车辆。

本公开的示例性方面可以包括控制系统(诸如图1的控制系统108)，其包括第一电子设备(诸如图1的第一电子设备112)。第一电子设备可以包括电路系统(诸如电路系统202)。该电路系统还可以被配置为接收交通信息，该交通信息包括地理控制区中的移动物体组的多个图像帧。交通信息还可以包括例如地理控制区中的多个地点的GNSS信息。电路系统还可以被配置为基于对接收到的交通信息应用经训练的NN模型来生成移动物体组中的第一移动物体的图像帧的集合。生成的图像帧的集合可以与第一移动物体在未来时刻的可能位置的集合对应。电路系统还可以被配置为基于生成的图像帧的集合来预测第一移动物体的不安全行为，并基于预测出的不安全行为生成第一控制信息，该第一控制信息包括但不限于地理控制区中的第一车辆(诸如图1的第一车辆104)的替代路线。可以基于生成的第一控制信息来控制第一车辆。

根据实施例，电路系统可以被配置为基于接收到的交通信息确定移动物体组的运动信息，诸如移动方向、移动速度、驾驶模式、驾驶车道和驾驶侧中的一项或多项。还可以基于确定的运动信息预测第一移动物体的不安全行为。预测出的不安全行为可以与例如第一移动物体违反交通规则对应。

根据实施例，电路系统可以被配置为基于生成的图像帧的集合来确定第一车辆与第一移动物体碰撞的可能性，并基于确定的碰撞的可能性预测第一移动物体的不安全行为。

根据实施例，在第一车辆处于控制系统的通信范围内的基础上，电路系统可以被配置为检测第一车辆。电路系统可以被配置为接收与对设置地理控制区的接受对应的输入，该地理控制区可以被设置为距检测到的第一车辆跨越既定距离。电路系统还可以被配置为基于接收到的输入在检测到的第一车辆周围建立地理控制区。

根据实施例，电路系统还可以被配置为登记处于地理控制区中的车辆的集合，该车辆的集合包括但不限于控制网络上的第一车辆，并基于预测出的不安全行为针对经登记的车辆的集合中的每个车辆生成第二控制信息。电路系统还可以被配置为将生成的第二控制信息传送到经登记的车辆的集合中的每个车辆。

根据实施例，电路系统还可以被配置为基于第一移动物体是在控制网络上登记的车辆的确定来生成第三控制信息，该第三控制信息包括但不限于第一移动物体的安全措施的集合。电路系统还可以被配置为将第三控制信息传送到第一移动物体。

根据实施例，控制系统可以包括通信地耦合到第一电子设备的电子设备的集合(诸如电子设备的集合114)。电路系统可以被配置为从电子设备的集合中选择第二电子设备作为地理控制区中的第一控制区主设备。第一控制区主设备可以被配置为收集地理控制区中的移动物体组的交通信息。第一控制区主设备可以被配置为收集地理控制区中的移动物体组的交通信息，并基于检索请求与该电子设备的集合中的至少一个电子设备共享收集到的交通信息。

根据实施例，电路系统可以被配置为在第一移动物体不在第一车辆的视场(FOV)内时预测第一移动物体的不安全行为。可替代地，电路系统可以被配置为在第一移动物体处于第一车辆的视场(FOV)内时预测第一移动物体的不安全行为。

根据实施例，电路系统可以被配置为基于预测出的不安全行为来预测第一移动物体的第一行驶路线。预测出的不安全行为可以与第一移动物体违反至少一个交通规则对应。电路系统还可以被配置为基于预测出的第一行驶路线和确定的当前行驶路线来确定第一车辆的当前行驶路线和第一车辆与第一移动物体碰撞的可能性。还可以基于确定的可能性生成包括用于第一车辆的替代路线的第一控制信息。

根据实施例，电路系统还可以被配置为接收与位于第一车辆的当前行驶路线中的后续地理控制区相关联的安全信息。安全信息可以对应于与后续地理控制区相关联的事件。电路系统可以被配置为基于接收到的安全信息预测第一车辆的安全路线。电路系统还可以被配置为生成包括预测出的安全路线的第四控制信息。可以基于生成的第四信息进一步控制第一车辆。

根据实施例，电路系统还可以被配置为确定第一车辆的一个或多个安全驾驶区。电路系统还可以被配置为基于确定的一个或多个安全驾驶区来预测第一车辆的安全路线。电路系统还可以被配置为生成包括预测出的安全路线的第四控制信息。可以在凌驾于对第一车辆预设的当前行驶路线的同时，基于生成的第四信息进一步控制第一车辆。

根据实施例，电子设备的集合可以包括第一车辆上的无人机。电路系统可以被配置为将无人机派遣到移动物体组中的第一移动物体的地点。第一移动物体可以不在第一车辆的视场(FOV)内，并且无人机可以被配置为捕获第一移动物体的交通信息。电路系统还可以被配置为从无人机接收捕获到的交通信息。

根据实施例，电子设备的集合可以包括第一车辆上的无人机。电路系统可以被配置为检测对于第一车辆的用户不适水平并且还基于检测到的用户不适水平派遣无人机。

本公开可以用硬件或硬件和软件的组合来实现。本公开可以在至少一个计算机系统中以集中式方式或以分布式方式来实现，其中不同的元件可以分布在若干互连的计算机系统上。适于执行本文描述的方法的计算机系统或其它装置可能是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载和执行时可以控制计算机系统，以使其执行本文所描述的方法。本公开可以用包括还执行其它功能的集成电路的一部分的硬件来实现。

本公开还可以被嵌入计算机程序产品中，该计算机程序产品包括使得能够实现本文描述的方法的所有特征，并且当其被加载到计算机系统中时，能够执行这些方法。在本文中，计算机程序是指以任何语言、代码或符号表示的指令集的任何表达，其旨在使具有信息处理能力的系统直接执行特定功能，或者在以下中的一个或两者之后执行特定功能：a)转换成另一种语言、代码或符号；b)以不同的物质形式复制。

虽然参考某些实施例描述了本公开，但是本领域技术人员将理解，在不偏离本公开的范围的情况下，可以进行各种改变并且可以替换等同物。另外，在不偏离本公开的范围的情况下，可以做出许多修改以使特定情况或材料适于本公开的教导。因此，旨在本公开不限于所公开的特定实施例，而是本公开将包括落入所附权利要求书的范围内的所有实施例。

Claims (21)

1.一种控制系统，包括：

第一电子设备，包括电路系统，所述电路系统被配置为：

接收交通信息，所述交通信息包括地理控制区中的移动物体组的多个图像帧；

基于对接收到的所述交通信息应用经训练的神经网络（NN）模型，生成所述移动物体组中的第一移动物体的图像帧的集合，

其中生成的所述图像帧的集合与所述第一移动物体在未来时刻的可能位置的集合对应；

基于生成的所述图像帧的集合来预测所述第一移动物体的不安全行为；

基于预测出的所述不安全行为来生成包括地理控制区中的用于第一车辆的替代路线的第一控制信息，

其中基于生成的所述第一控制信息来控制所述第一车辆，

在所述第一车辆处于所述控制系统的通信范围内的基础上，检测所述第一车辆；

从检测到的所述第一车辆接收与对设置跨越既定距离的地理控制区的接受对应的输入；并且

基于接收到的所述输入，在检测到的所述第一车辆周围建立地理控制区。

2.根据权利要求1所述的控制系统，其中所述第一移动物体是移动车辆。

3.根据权利要求1所述的控制系统，其中所述第一移动物体是行人、动物、飞行器、飞散物或人之一。

4.根据权利要求1所述的控制系统，还包括通信地耦合到所述第一电子设备的电子设备的集合，

其中所述电路系统被配置为从所述电子设备的集合中的一个或多个电子设备接收所述交通信息，并且

其中所述电子设备的集合包括车辆、车载电子控制单元（ECU）、车载相机、车辆外部相机、路边单元（RSU）、车辆到基础设施（V2I）通信设备和航拍无人机。

5.根据权利要求1所述的控制系统，其中所述交通信息还包括对于地理控制区中的多个地点的全球导航卫星系统（GNSS）信息。

6.根据权利要求1所述的控制系统，其中所述电路系统被配置为：

基于接收到的所述交通信息来确定所述移动物体组的运动信息；并且

还基于确定的所述运动信息来预测所述第一移动物体的不安全行为。

7.根据权利要求6所述的控制系统，其中所述运动信息包括移动方向、移动速度、驾驶模式、驾驶车道和道路的驾驶侧中的一项或多项。

8.根据权利要求1所述的控制系统，其中预测出的所述不安全行为与所述第一移动物体违反交通规则对应。

9.根据权利要求1所述的控制系统，其中所述电路系统还被配置为将包括所述第一车辆的车辆的集合登记在控制网络上，

其中经登记的所述车辆的集合处于地理控制区中。

10.根据权利要求9所述的控制系统，其中所述电路系统还被配置为：

基于预测出的所述不安全行为，针对经登记的所述车辆的集合中的每个车辆生成第二控制信息；并且

将生成的所述第二控制信息传送到经登记的所述车辆的集合中的每个车辆。

11.根据权利要求9所述的控制系统，其中所述电路系统还被配置为：

基于确定所述第一移动物体是登记在控制网络上的车辆而生成包括用于所述第一移动物体的安全措施的集合的第三控制信息；并且

将生成的所述第三控制信息传送到所述第一移动物体。

12.根据权利要求1所述的控制系统，还包括通信地耦合到所述第一电子设备的电子设备的集合，

其中所述电路系统还被配置为从所述电子设备的集合中选择第二电子设备作为地理控制区的第一区主设备，并且

其中所述第一区主设备被配置为：

收集地理控制区中的所述移动物体组的交通信息；

从所述电子设备的集合中的至少一个电子设备接收对收集到的所述交通信息的检索请求；并且

基于接收到的所述检索请求，与所述电子设备的集合中的至少一个电子设备共享收集到的所述交通信息。

13.根据权利要求1所述的控制系统，其中所述电路系统还被配置为在所述第一移动物体不在所述第一车辆的视场（FOV）内时预测所述第一移动物体的不安全行为。

14.根据权利要求1所述的控制系统，其中所述电路系统还被配置为在所述第一移动物体处于所述第一车辆的视场（FOV）内时预测所述第一移动物体的不安全行为。

15.根据权利要求1所述的控制系统，其中所述电路系统还被配置为：

基于生成的所述图像帧的集合来确定所述第一车辆与所述第一移动物体碰撞的可能性；并且

基于确定的所述可能性来预测所述第一移动物体的不安全行为。

16.根据权利要求1所述的控制系统，其中所述电路系统还被配置为：

基于预测出的所述不安全行为来预测所述第一移动物体的第一行驶路线，

其中预测出的所述不安全行为与所述第一移动物体违反至少一条交通规则对应；

确定所述第一车辆的当前行驶路线；

基于预测出的所述第一行驶路线和确定的所述当前行驶路线来确定所述第一车辆与所述第一移动物体碰撞的可能性；并且

基于确定的所述可能性来生成包括用于所述第一车辆的替代路线的所述第一控制信息。

17.根据权利要求1所述的控制系统，其中所述电路系统还被配置为：

接收与位于所述第一车辆的当前行驶路线中的后续地理控制区相关联的安全信息，

其中所述安全信息对应于与所述后续地理控制区相关联的事件；并且

基于接收到的所述安全信息来预测用于所述第一车辆的安全路线；并且

生成包括预测出的所述安全路线的第四控制信息，

其中还基于生成的所述第四控制信息来控制所述第一车辆。

18.根据权利要求1所述的控制系统，其中所述电路系统还被配置为：

确定对于所述第一车辆的一个或多个安全驾驶区；

基于确定的所述一个或多个安全驾驶区来预测用于所述第一车辆的安全路线；并且

生成包括预测出的所述安全路线的第四控制信息，

其中在凌驾于对所述第一车辆预设的当前行驶路线的同时，基于生成的所述第四控制信息来控制所述第一车辆。

19.根据权利要求1所述的控制系统，还包括所述第一车辆上的无人机，其中所述电路系统还被配置为：

将所述无人机派遣到所述移动物体组中的所述第一移动物体的地点，

其中所述第一移动物体不在所述第一车辆的视场（FOV）内，并且

其中所述无人机被配置为捕获所述第一移动物体的交通信息；并且

从所述无人机接收捕获到的所述交通信息。

20.根据权利要求19所述的控制系统，其中所述电路系统还被配置为：

检测对于所述第一车辆的用户不适水平；并且

还基于检测到的所述用户不适水平来派遣所述无人机。

21.一种用于车辆控制的方法，包括：

接收交通信息，所述交通信息包括地理控制区中的移动物体组的多个图像帧；

基于对接收到的所述交通信息应用经训练的神经网络（NN）模型，生成所述移动物体组中的第一移动物体的图像帧的集合，

其中生成的所述图像帧的集合与所述第一移动物体在未来时刻的可能位置的集合对应；

基于生成的所述图像帧的集合来预测所述第一移动物体的不安全行为；

基于预测出的所述不安全行为来生成包括地理控制区中的用于第一车辆的替代路线的第一控制信息，

其中基于生成的所述第一控制信息来控制所述第一车辆，

在所述第一车辆处于根据权利要求1所述的控制系统的通信范围内的基础上，检测所述第一车辆；

从检测到的所述第一车辆接收与对设置跨越既定距离的地理控制区的接受对应的输入；并且

基于接收到的所述输入，在检测到的所述第一车辆周围建立地理控制区。