[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110249609B - 用于自主车辆的带宽约束图像处理 - Google Patents

用于自主车辆的带宽约束图像处理 Download PDF

Info

Publication number
CN110249609B
CN110249609B CN201780074880.9A CN201780074880A CN110249609B CN 110249609 B CN110249609 B CN 110249609B CN 201780074880 A CN201780074880 A CN 201780074880A CN 110249609 B CN110249609 B CN 110249609B
Authority
CN
China
Prior art keywords
data
vehicle
image
sensor
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780074880.9A
Other languages
English (en)
Other versions
CN110249609A (zh
Inventor
L.佩德森
M.西尔休伊斯
H.乌茨
M.D.彭纳
T.方
M.阿兰
M.布拉特
E.谢弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
National Aeronautics and Space Administration NASA
Original Assignee
Nissan North America Inc
National Aeronautics and Space Administration NASA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan North America Inc, National Aeronautics and Space Administration NASA filed Critical Nissan North America Inc
Publication of CN110249609A publication Critical patent/CN110249609A/zh
Application granted granted Critical
Publication of CN110249609B publication Critical patent/CN110249609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

描述了用于提供带宽约束图像处理的方法、设备、系统和非暂时性计算机可读存储介质。所公开的技术确定从车辆接收的至少一个信号的数据传输速率，所述至少一个信号包括车辆的状态/状况数据。响应于确定数据传输速率满足数据传输速率标准，使用状态数据和与车辆相关联的外部数据确定车辆的位置和阻挡至少一个信号的多个对象中的至少一个对象的位置。所公开的技术使用状态数据和外部数据生成优化的状态数据。

Description

用于自主车辆的带宽约束图像处理
技术领域
本申请大体涉及图像处理，更具体地涉及用于车辆(包括自主车辆)的带宽约束图像处理。
背景技术
自主车辆可以在没有操作员(包括人类车辆操作员)的指导下操作。然而，在某些情况下，对自主车辆进行控制或从自主车辆接收包括图像的数据，对于操作人员来说将是有益的。当远程接收基于传输数据的图像时，所述图像的有用性通常与其质量有关，而所述质量又可以取决于传输图像的通信信道的质量。然而，当通信信道不稳定或被低带宽影响时，提供帮助可能是一项挑战。
发明内容
本文公开了用于带宽约束图像处理的各个方面、特征、元素、实施以及实现。
所公开的实现的一个方面包括一种用于带宽约束图像处理的方法，所述方法包括：
通过控制器设备的信号处理系统确定从车辆接收的多个信号的数据传输速率，所述多个信号包括车辆的状态数据；响应于确定数据传输速率满足数据传输速率标准，通过信号处理系统确定并使用状态数据和与车辆相关联的外部数据，确定车辆的位置和阻挡多个信号中的至少一个的多个对象中的至少一个的位置；并且通过信号处理系统利用状态数据和外部数据生成优化的状态数据。
所公开的实现的一个方面包括控制器设备，所述控制器设备包括：存储器和处理器，所述处理器配置为执行存储在存储器中的指令，以：确定从车辆接收的多个信号的数据传输速率，所述多个信号包括车辆的状态数据；响应于确定数据传输速率满足数据传输速率标准，使用状态数据和与车辆相关联的外部数据确定车辆的位置和阻挡多个信号中的至少一个的多个对象中的至少一个的位置；并使用状态数据和外部数据生成优化的状态数据。
所公开的实现的一个方面包括一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括可由控制器设备的一个或多个处理器执行的程序指令，所述程序指令在被执行时使得所述一个或多个处理器执行操作，所述操作包括：确定从车辆接收的多个信号的数据传输速率，所述多个信号包括车辆的状态数据；响应于确定数据传输速率满足数据传输速率标准，使用状态数据和与车辆相关联的外部数据确定车辆的位置和阻挡多个信号中的至少一个的多个对象中的至少一个的位置；并使用状态数据和外部数据生成优化的状态数据。
在以下对实施方式、所附权利要求和随附附图的详细描述中公开了本公开的这些和其他方面。
附图说明
当结合随附附图阅读时，从以下详细描述中可以最好地理解所公开的技术。要强调的是，根据惯例，附图的各种特征不是按比例的。相反，为了清楚起见，各种特征的尺寸被任意扩大或缩小。
图1是车辆的一部分的示例的图，其中可以实现本文公开的方面、特征和元素。
图2是车辆运输和通信系统的一部分的示例的图，其中可以实现本文公开的方面、特征和元素。
图3示出了根据本公开的带宽约束图像处理界面的示例的图。
图4是根据本公开的用于带宽约束图像处理的技术的流程图。
图5是根据本公开的用于带宽约束图像处理的技术的流程图。
图6是根据本公开的用于带宽约束图像处理的技术的流程图。
图7示出了根据本公开的用于带宽约束图像处理的方法。
具体实施方式
从远程位置(包括自主车辆管理中心)对自主车辆进行操作(例如，远程操作)和监控通常需要使用计算和通信资源(例如，无线或有线网络带宽)。网络带宽通常用于交换(发送或接收)信号，所述信号包括与自主车辆的状态、自主车辆操作的环境的状态(例如，周围的道路、城市、交通更新等)、或自主车辆内的乘客的状态相关的数据。
然而，带宽通常受到约束，所述约束包括在各种高峰时间对带宽的过度需求(例如，在早上通勤时间期间来自自主车辆的车队的过度需求)和包括网络中断、信号干扰或阻挡信号(例如，诸如建筑物之类的物理结构对信号的阻挡)的外部因素。因此，强烈需要一种更有效地使用可用带宽的方法，以便在带宽受约束时减少通信和其他操作的中断。此外，通过改善在带宽约束条件下处理图像数据(用于产生视觉图像)的方式，促进了车辆操作员和依赖视觉图像的其他人向车辆提供帮助的能力。
例如，当自主车辆或自主车辆内的乘客请求来自远程操作员的帮助时，可以在操作员(例如，自主车辆管理中心处的远程操作员)与自主车辆之间建立通信信道。操作员有效地辅助自主车辆的能力可以依赖于接收和/或发送准确表示自主车辆相对于其周围环境和/或关键视觉辅助装置的布置的图像。
然而，当通信信道不稳定或受低带宽影响时可能难以提供帮助。处理不稳定或受影响的通信信道的现有方式对于处理适合于操作(包括自主车辆远程操作)的带宽是无效的。
本公开和所公开技术的实现提供了更有效的带宽约束图像处理，其可以改善自主车辆的操作。所公开的技术提供了一种确定数据传输速率何时不满足数据传输速率标准(例如，数据传输速率足够低或低于预定阈值，导致基于图像数据的图像被过度降级和/或被不正确地传递/传送)的方式，以便可以执行各种带宽约束图像处理功能。例如，由所公开的技术执行的功能包括基于传感器位置和接收的指令对来自车辆的数据进行优先级排序，为所存储的图像提供储存和重复使用以生成预测图像数据，以及提供对接收到的信号(包括包含图像和与被监控车辆相关联的状态数据的信号)的过滤，以提高图像质量。
如本文所使用的，术语“驾驶员”或“操作员”可以互换使用。如本文所使用的，术语“制动”或“减速”可以互换使用。如本文所使用的，术语“计算机”或“计算装置”包括能够执行本文所公开的任何方法或方法的任何一个或多个部分的任何单元或多个单元的组合。
如本文所使用的，术语“处理器”指示一个或多个处理器，诸如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个应用处理器、一个或多个专用集成电路、一个或多个专用标准产品；一个或多个现场可编程门阵列、任何其他类型的集成电路或集成电路的组合、一个或多个状态机或它们的任何组合。
如本文所使用的，术语“存储器”指示任何计算机可用或计算机可读介质，或者可以有形地包含、存储、通信或传输可以由任何处理器使用或与任何处理器结合使用的任何信号或信息的装置。例如，存储器可以是一个或多个只读存储器(ROM)、一个或多个随机存取存储器(RAM)、一个或多个寄存器、低功率双倍数据速率(LPDDR)存储器、一个或多个高速缓冲存储器、一个或多个半导体存储器装置、一个或多个磁介质、一个或多个光学介质、一个或多个磁光介质或它们的任何组合。
如本文所使用的，术语“指令”可以包括用于执行本文公开的任何方法或方法的任何一个或多个部分的指示或表达，并且可以以硬件、软件、或它们的任何组合来实现。例如，指令可以实现为存储在存储器中的诸如计算机程序之类的信息，所述信息可以由处理器实行以执行如本文所述的相应的方法、算法、方面中的任一者或它们的组合。在一些实现中，指令或指令的一部分可以实现为专用处理器或电路，所述专用处理器或电路可以包括用于实施本文所述的方法、算法、方面中的任一者或它们的组合的专用硬件。在一些实现中，指令中的部分可以分布于单个装置上的多个处理器、多个装置上的多个处理器上，所述多个处理器直接通信或跨诸如局域网、广域网、因特网或它们的组合之类的网络通信。
如本文所使用的，术语“示例”、“实施方式”、“实现”、“方面”、“特征”或“元素”指示用作示例、实例或说明。除非明确指出，否则任何示例、实施方式、实现、方面、特征或元素与其他示例、实施方式、实现、方面、特征或元素彼此独立，并且可以与任何其他示例、实施方式、实现、方面、特征或元素组合使用。
如本文所使用的，术语“确定”和“识别”或它们的任何变型包括选择、确认、计算、查找、接收、确定、建立、获得，或使用本文示出和描述的装置中的一个或多个以任何方式的另外的识别或确定。
如本文所使用的，术语“或”用于表示包含性的“或”而非排他性的“或”。即，除非另有说明或从上下文中清楚得知，否则术语“X包括A或B”旨在表示自然的包容性排列中的任何一种。如果X包括A；X包括B；或者X包括A和B二者，则在任何一种前述情况下均满足“X包括A或B”。另外，除非另有说明或根据上下文清楚地指向单数形式，否则本申请和所附权利要求中使用的冠词“a(一)”和“an(一)”通常应理解为表示“一个或多个”。
此外，为了简化说明，尽管本文中的附图和描述可以包括步骤或阶段的序列或系列，但是本文公开的方法的元素可以以各种顺序发生或同时发生。另外，本文公开的方法的元素可以与本文未明确呈现和描述的其他元素一起发生。此外，并非需要本文描述的方法的所有元素来实现根据本公开的方法。虽然本文以特定组合描述了各个方面、特征和元素，但是每个方面、特征或元素都可以独立使用或者与其他方面、特征和元素以各种组合使用或不与其他方面、特征和元素以各种组合使用。
本公开的实现提供了特别针对计算机网络和自主车辆管理的技术改进，例如，那些涉及对用于带宽约束图像处理的计算机网络组件的扩展以及自主车辆和远程操作员之间的数据通信的技术改进。开发执行带宽约束图像处理的新方式，例如，确定信号的数据传输速率，并基于传感器位置和带宽可用性对发送来自车辆传感器的传感器数据进行优先级排序，指示在车辆和通信系统之间的指令或数据的通信，这些在根本上涉及改进与自主车辆的图像处理相关的技术。
本公开的实现至少提供用于带宽约束图像以及与自主车辆相关联的数据的数据处理的系统和方法。所述系统包括信号处理系统，所述信号处理系统确定至少一个信号或多个信号的数据传输速率，所述数据可以包括状态数据(例如，指示包括自主车辆的车辆的状态或状况的数据)。状态数据也可以称为情形数据。响应于确定数据传输速率满足数据传输速率标准(例如，速率降到低于预定或期望的阈值水平或比特率)，阻挡信号中的至少一个信号的车辆和外部对象(例如，建筑物)的位置可以基于状态数据和与外部对象相关联的外部数据来确定，所述外部对象包括但不限于以下中的任一者：其他车辆、行人和诸如建筑物之类的物理结构(即，外部数据与正被监控车辆的环境中或周围的外部对象相关联)。系统可以使用状态数据和/或外部数据来生成优化的状态数据(例如，已经过滤的具有降低的噪声的状态数据，或者包括预测数据和其他类型的数据的状态数据)，所述优化的状态数据可以用于改善图像质量和通信，并且当信号带宽由于来自外部对象或其他来源的信号的干扰和阻挡(例如，电力线故障、内部系统问题、车辆问题等)中的任一者而受到约束时，生成更流畅的视频。
为了更详细地描述一些实现，参考以下附图。
图1是车辆1000的示例的图，其中可以实现本文公开的各个方面、特征和元素。车辆1000包括底盘1100、动力系1200、控制器1300、车轮1400/1410/1420/1430或车辆的任何其他元件或多个元件的组合。尽管为了简单起见，车辆1000示出为包括四个车轮1400/1410/1420/1430，但是也可以使用任何其他一个或多个推进装置，诸如推进器或胎面。在图1中，线路互连元件，诸如动力系1200、控制器1300和车轮1400/1410/1420/1430，指示可以在各个单元之间传递诸如数据或控制信号之类的信息、诸如电力或扭矩之类的动力，或者传递信息和动力两者。例如，控制器1300可以从动力系1200接收动力，并且与动力系1200、车轮1400/1410/1420/1430或这两者通信以控制车辆1000，所述控制可以包括加速、减速、转向或以其他方式控制车辆1000。
动力系1200包括动力源1210、变速器1220、转向单元1230、车辆致动器1240，或动力系的任何其他元件或多个元件的组合，诸如悬架、驱动轴、车轴或排气系统。尽管单独地示出，但是车轮1400/1410/1420/1430可以包括在动力系1200中。
动力源1210可以是可操作以提供能量(诸如电能、热能或动能之类)的任何装置或多个装置的组合。例如，动力源1210包括发动机，诸如内燃机、电动机，或内燃机和电动机的组合，并且可操作以向车轮1400/1410/1420/1430中的一个或多个提供动能作为动力。在一些实施方式中，动力源1210包括势能单元，诸如一个或多个干电池，例如镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li离子)；太阳能电池；燃料电池或能够提供能量的任何其他装置。
变速器1220从动力源1210接收诸如动能之类的能量，并将所述能量传递到车轮1400/1410/1420/1430以提供动力。变速器1220可以由控制器1300、车辆致动器1240或这两者控制。转向单元1230可以由控制器1300、车辆致动器1240或两者控制，并且所述转向单元控制车轮1400/1410/1420/1430以使车辆转向。车辆致动器1240可以从控制器1300接收信号，并且可以致动或控制动力源1210、变速器1220、转向单元1230或它们的任何组合以操作车辆1000。
在一些实施方式中，控制器1300包括定位单元1310、电子通信单元1320、处理器1330、存储器1340、用户接口1350、传感器1360、电子通信接口1370或它们的任何组合。尽管示出为单个单元，但是控制器1300的任何一个或多个元件都可以集成到任何数量的单独物理单元中。例如，用户接口1350和处理器1330可以集成在第一物理单元中，并且存储器1340可以集成在第二物理单元中。尽管未在图1中示出，但是控制器1300可以包括动力源，诸如电池。尽管示出为单独元件，但是定位单元1310、电子通信单元1320、处理器1330、存储器1340、用户接口1350、传感器1360、电子通信接口1370或它们的任何组合都可以集成在一个或多个电子单元、电路或芯片中。
在一些实施方式中，处理器1330包括能够操纵或处理现有或以后发生的信号或其他信息的任何装置或多个装置的组合，包括光学处理器、量子处理器、分子处理器或其组合。例如，处理器1330可以包括一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个集成电路、一个或多个专用集成电路电路、一个或多个现场可编程门阵列、一个或多个可编程逻辑阵列、一个或多个可编程逻辑控制器、一个或多个状态机，或其任何组合。处理器1330可以与定位单元1310、存储器1340、电子通信接口1370、电子通信单元1320、用户接口1350、传感器1360、动力系1200或其任何组合可操作地耦合。例如，处理器可以经由通信总线1380与存储器1340可操作地耦合。
在一些实施方式中，处理器1330可以配置为执行包括用于远程操作的指令，所述用于远程操作的指令可以用于从包括操作中心的远程位置操作车辆1000。用于远程操作的指令可以存储在车辆1000中，或者从诸如交通管理中心之类的外部源或服务器计算装置接收，所述服务器计算装置可以包括基于云的服务器计算装置。
存储器1340可以包括能够例如包含、存储、传送或传输机器可读指令或与其相关联的任何信息的任何有形的非暂时性计算机可用或计算机可读介质，以供处理器1330使用或与处理器1330结合使用。存储器1340是例如一个或多个固态驱动器、一个或多个存储器卡、一个或多个可移动介质、一个或多个只读存储器、一个或多个随机存取存储器、一个或多个盘，包括硬盘、软盘、光盘、磁卡或光卡，或适用于存储电子信息的任何类型的非暂时性介质，或它们的任何组合。
电子通信接口1370可以是如图所示的无线天线、有线通信端口、光通信端口，或能够与有线或无线电子通信介质1500接口的任何其他有线或无线单元。
电子通信单元1320可以配置为经由有线或无线电子通信介质1500(诸如经由电子通信接口1370)发送或接收信号，。尽管未在图1中明确示出，但是电子通信单元1320配置为经由诸如射频(RF)、紫外线(UV)、可见光、光纤、线路或它们的组合之类的任何有线或无线通信介质发送、接收或者既发送也接收。虽然图1示出了单个的电子通信单元1320和单个的电子通信接口1370，但是可以使用任何数量的通信单元和任何数量的通信接口。在一些实施方式中，电子通信单元1320可包括专用短程通信(DSRC)单元、无线安全单元(WSU)、IEEE802.11p(Wifi-P)或它们的组合。
定位单元1310可以确定地理位置信息，包括但不限于车辆1000的经度、纬度、海拔、行进方向或速度。例如，定位单元包括全球定位系统(GPS)单元，诸如广域增强系统(WAAS)启用的国家海洋电子协会(NMEA)单元、无线电三角测量单元或它们的组合。定位单元1310可用于获得表示例如车辆1000的当前行进方向、车辆1000的二维或三维的当前位置、车辆1000的当前角度定向或它们的组合的信息。
用户接口1350可以包括能够被人用作接口的任何单元，包括虚拟键盘、物理键盘、触摸板、显示器、触摸屏、扬声器、麦克风、摄影机、传感器和打印机中的任一者。如图所示，用户接口1350可以与处理器1330可操作地耦接，或者与控制器1300的任何其他元件耦接。尽管示出为单个单元，但是用户接口1350可以包括一个或多个物理单元。例如，用户接口1350包括用于与人进行音频通信的音频接口，以及用于与人进行基于视觉和触摸的通信的触摸显示器。
传感器1360可包括一个或多个传感器，诸如传感器阵列，其可操作以提供可用于控制车辆的信息。传感器1360可以提供关于车辆或其周围的当前操作特性的信息。传感器1360包括例如速度传感器、加速度传感器、转向角传感器、牵引相关传感器、制动相关传感器或任何传感器或多个传感器的组合，这些传感器可操作以报告关于车辆1000的当前动态情况的某些方面的信息。
在一些实施方式中，传感器1360可包括可操作以获得关于车辆1000周围的物理环境的信息的传感器。例如，一个或多个传感器检测道路几何形状和障碍物，诸如固定障碍物、车辆、骑车者以及行人。在一些实施方式中，传感器1360可以是或可以包括现在已知或以后开发的一个或多个摄像机、激光传感系统、红外传感系统、声学传感系统或任何其他合适类型的车载环境传感装置或多个装置的组合。在一些实施方式中，组合传感器1360和定位单元1310。
虽然未单独示出，但是车辆1000可包括轨迹控制器。例如，控制器1300可以包括轨迹控制器。轨迹控制器可操作以获得描述车辆1000的当前状态的信息和为车辆1000计划的路线的信息，并且基于该信息确定并优化车辆1000的轨迹。在一些实施方式中，轨迹控制器输出可操作以控制车辆1000的信号，使得车辆1000遵循由轨迹控制器确定的轨迹。例如，轨迹控制器的输出可以是优化的轨迹，其可以被提供给动力系1200、车轮1400/1410/1420/1430或这两者。在一些实施方式中，优化的轨迹可以是控制输入，诸如一组转向角，其中每个转向角对应于时间点或位置。在一些实施方式中，优化的轨迹可以是一个或多个路径、线、曲线或其组合。
车轮1400/1410/1420/1430中的一个或多个可以是转向轮、推进轮或转向和推进轮，所述转向轮在转向单元1230的控制下枢转到转向角；所述推进轮在变速器1220的控制下被扭转以推进车辆1000；所述转向和推进轮转向和推进车辆1000。
车辆可包括图1中未示出的单元或元件，诸如外壳、
Figure BDA0002082366040000111
模块、调频(FM)无线电单元、近场通信(NFC)模块、液晶显示器(LCD)显示单元、有机发光二极管(OLED)显示器单元、扬声器或它们的任何组合。
图2是车辆运输和通信系统2000的一部分的示例的图，其中可以实现本文公开的各个方面、特征和元件。车辆运输和通信系统2000包括车辆2100，诸如图1中所示的车辆1000，和一个或多个外部对象，诸如外部对象2110，所述外部对象可包括任何形式的运输，诸如图1中所示的车辆1000、行人、骑车者以及诸如建筑物之类的任何形式的结构。车辆2100可以经由运输网络2200的一个或多个部分行进，并且可以经由电子通信网络2300中的一个或多个与外部对象2110进行通信。尽管未在图2中明确示出，车辆可以行驶通过未明确或完全包括在运输网络中的区域，诸如越野区域。在一些实施方式中，运输网络2200可以包括车辆检测传感器2202中的一个或多个，诸如感应回路传感器，其可以用于检测运输网络2200上的车辆的运动。
电子通信网络2300可以是多址系统，其在车辆2100、外部对象2110以及操作中心2400之间提供通信，诸如语音通信、数据通信、视频通信、消息通信或它们的组合。例如，车辆2100或外部对象2110可以经由电子通信网络2300从操作中心2400接收信息，诸如表示运输网络2200的信息。
操作中心2400包括控制器设备2410，所述控制器设备包括图1中所示的控制器1300的特征中一些或全部特征。控制器设备2410可以监控并协调车辆(包括自主车辆)的运动。控制器设备2410可以监控车辆(诸如车辆2100)和外部对象(诸如外部对象2110)的状态或状况。控制器设备2410可以接收包括以下任何一种的车辆数据和基础设施数据：车辆速度；车辆位置；车辆操作状态；车辆目的地；车辆路线；车辆传感器数据；外部对象速度；外部对象位置；外部对象操作状态；外部对象目的地；外部对象路线；和外部对象传感器数据。
此外，控制器设备2410可以建立对诸如车辆2100之类的一个或多个车辆或诸如外部对象2110之类的外部对象的远程控制。以这种方式，控制器设备2410可以从远程位置远程操作车辆或外部对象。控制器设备2410可以经由诸如无线通信链路2380之类的无线通信链路或诸如有线通信链路2390之类的有线通信链路，而与诸如车辆2100、外部对象2110或服务器计算装置2500之类的车辆、外部对象或计算装置交换(发送或接收)状态数据。
服务器计算装置2500可以包括一个或多个服务器计算装置，所述一个或多个服务器计算装置可以经由电子通信网络2300与包括车辆2100、外部对象2110或操作中心2400的一个或多个车辆或计算装置交换(发送或接收)状态信号数据。
在一些实施方式中，车辆2100或外部对象2110经由有线通信链路2390、无线通信链路2310/2320/2370或任何数量或类型的有线或无线通信链路的组合进行通信。例如，如图所示，车辆2100或外部对象2110经由地面无线通信链路2310、经由非地面无线通信链路2320或经由其组合进行通信。在一些实现中，地面无线通信链路2310包括以太网链路、串行链路、蓝牙链路、红外(IR)链路、紫外(UV)链路或能够提供电子通信的任何链路。
诸如车辆2100之类的车辆或诸如外部对象2110之类的外部对象可以与另一车辆、外部对象或操作中心2400进行通信。例如，主机或主体、车辆2100可以从操作中心2400，经由直接通信链路2370或经由电子通信网络2300接收一个或多个自主车辆间消息，诸如基本安全消息(BSM)。例如，操作中心2400可以将消息广播到定义的广播范围(诸如300米)内的主车辆，或者广播到定义的地理区域。在一些实施方式中，车辆2100经由诸如信号复示器(未示出)或另一远程车辆(未示出)之类的第三方接收消息。在一些实施方式中，车辆2100或外部对象2110基于限定的间隔，诸如一百毫秒，周期性地发送一个或多个自主车辆间消息。
自主车辆间消息可包括车辆识别信息，地理空间状态信息，诸如经度、纬度或海拔信息、地理空间位置精度信息，运动状态信息，诸如车辆加速度信息、偏航率信息、速度信息、车辆行进方向信息、制动系统状态数据、油门信息、方向盘角度信息，或车辆路线信息，或车辆操作状态信息，诸如车辆大小信息、前灯状态信息、转向信号信息、雨刷状态数据、变速器信息或与发送车辆状态相关的任何其他信息或或信息的组合。例如，变速器状态信息指示变速车辆的变速器是处于空档状态、停车状态、前进状态还是倒车状态。
在一些实施方式中，车辆2100经由接入点2330与电子通信网络2300通信。可以包括计算装置的接入点2330可以配置为经由有线或无线通信链路2310/2340与车辆2100、与电子通信网络2300、与操作中心2400或与它们的组合通信。例如，接入点2330是基站、基站收发信台(BTS)、Node-B、增强型Node-B(eNode-B)、Home Node-B(HNode-B)、无线路由器、有线路由器、集线器、中继器、交换机或任何类似的有线或无线装置。尽管显示为单个单元，但是接入点可以包括任何数量的互连元件。
车辆2100可以经由卫星2350或其他非地面通信装置与电子通信网络2300通信。可以包括计算装置的卫星2350可以配置为经由一个或多个通信链路2320/2360与车辆2100、与电子通信网络2300、与操作中心2400或与它们的组合通信。尽管显示为单个单元，但是卫星可包括任何数量的互连元件。
电子通信网络2300可以是配置为提供语音、数据或任何其他类型的电子通信的任何类型的网络。例如，电子通信网络2300包括局域网(LAN)、广域网(WAN)、虚拟专用网(VPN)、移动或蜂窝电话网、因特网或任何其他电子通信系统。电子通信网络2300可以使用通信协议，诸如传输控制协议(TCP)、用户数据报协议(UDP)、互联网协议(IP)、实时传输协议(RTP)、超文本传输协议(HTTP)或其组合。尽管示出为单个单元，但是电子通信网络可以包括任何数量的互连元件。
在一些实施方式中，车辆2100经由电子通信网络2300、接入点2330或卫星2350与操作中心2400进行通信。操作中心2400可以包括一个或多个计算装置，所述一个或多个计算装置能够从诸如车辆2100之类的车辆、包括外部对象2110的外部对象；或者诸如服务器计算装置2500之类的计算装置交换(发送或接收)数据。
在一些实施方式中，车辆2100识别运输网络2200的一部分或状况。例如，车辆2100可包括一个或多个车载传感器2102，诸如图1中所示的传感器1360，所述车载传感器包括速度传感器、轮速传感器、摄像头、陀螺仪、光学传感器、激光传感器、雷达传感器、声波传感器，或能够确定或识别运输网络2200的一部分或状况的任何其他传感器或装置或它们的组合。
车辆2100可以使用经由电子通信网络2300传送的信息来行驶通过运输网络2200的一个或多个部分，所述信息诸如表示运输网络2200的信息、由一个或多个车载传感器2102识别的信息或它们的组合。外部对象2110能够进行上面关于车辆2100描述的通信和行为中的所有或一些通信和行为。
为简单起见，图2示出了作为主车辆的车辆2100、外部对象2110、运输网络2200、电子通信网络2300和操作中心2400。然而，可以使用任何数量的车辆、网络或计算装置。在一些实施方式中，车辆运输和通信系统2000包括图2中未示出的装置、单元或元件。尽管车辆2100或外部对象2110被示出为单个单元，但是车辆可包括任何数量的互连元件。
尽管示出车辆2100经由电子通信网络2300与操作中心2400进行通信，但是车辆2100(和外部对象2110)可以经由任何数量的直接或间接通信链路与操作中心2400进行通信。例如，车辆2100或外部对象2110可以经由诸如蓝牙通信链路之类的直接通信链路与操作中心2400进行通信。然而，为了简单起见，图2示出了运输网络2200中的一个运输网络以及电子通信网络2300中的一个电子通信网络，但是可以使用任何数量的网络或通信装置。
图3是示出根据本公开的带宽约束图像处理界面3000的示例的图。带宽约束图像处理界面3000可以基于可在计算设备上执行的一个或多个指令生成，所述计算设备包括图2中所示的控制器设备2410，并且所述指令可以存储在包括控制器设备2410的计算设备的存储器中。例如，带宽约束图像处理界面3000可以由控制器设备2410基于客户端计算装置解释的指令生成，所述客户端计算装置通过计算机网络访问控制器设备2410。然后，客户端计算装置可以在显示装置上生成带宽约束图像处理界面3000的表示。
控制器设备2410可以包括多个组件或模块，包括但不限于信号处理系统、图像处理系统、过滤模块(也称为过滤器)、机器学习模块以及电子通信单元(例如，图1的电子通信单元1320)中的任何一个。图像处理系统可以包括多个组件，包括但不限于图像处理模块、图形用户界面(GUI)和数据存储(即数据库)。图像处理模块可以生成带宽约束图像处理界面3000，然后可以使用GUI来显示所述带宽约束图像处理界面以由操作员进行交互。
带宽约束图像处理界面3000包括左前视图部分3010、中前部分3020、右前部分3030和模拟视图3040，其中任何一个都可以基于与物理对象状态相关联的数据，所述物理对象包括被辅助或远程操作的车辆中的任何一辆以及车辆外部或其周围环境中的对象，包括但不限于其他车辆、行人、道路和建筑物。
包括左前视图部分3010、中前部分3020和右前部分3030的视图部分可以生成分别来自位于车辆的左前、中前和右前部分的传感器的输出(例如，图像或视频流)。车辆可包括位于多个其他位置的多个其他传感器，所述位置包括但不限于汽车底部上的左后、中后、右后、偏中位置以及它们的任何组合。左前视图部分3010、中前部分3020和右前部分3030的内容可以包括由车辆中的传感器检测到的对象的表示(例如，诸如车辆中的摄像头之类的光学传感器，其检测诸如在左前视图部分3010中的其他车辆)。
在一些实现中，视图部分可以显示基于位于车辆的任何部分上或任何部分中的传感器的输出，所述部分包括车辆的外表面和车辆的内部(例如，客舱、发动机舱或货舱)中的任一者。例如，左前视图部分3010可以配置为生成来自车辆的不同部分(诸如车辆的后部)的输出。带宽约束图像处理界面3000可以在显示装置中生成，所述显示装置包括显示监视器和抬头显示器中的任何一个(例如，投影到诸如车辆挡风玻璃之类的表面上的显示器)。
模拟视图3040可以基于与包括车辆的预定或动态生成区域(例如，地理区域)内或者距车辆预定距离(例如，100英尺)的对象的状态或状况(例如，外观、行进方向、音频签名)有关的数据。可以基于所接收的数据(诸如交通状况和附近事故)动态地生成该区域。例如，如图3中所示，模拟视图3040中的对象可以包括诸如图2中所示的车辆2100之类的车辆。在模拟视图3040中表示的对象可以从不同的视点或观察点生成，包括作为二维对象(例如，车辆和道路的俯视图)或者如图3所示作为三维对象。此外，在模拟视图3040中显示的对象可以生成为各种图像，包括但不限于静态图像、动态图像、运动图像、图像或视频的实时流或他们的任何组合。例如，车辆的三维模型可以叠加在车辆周围环境的实时视频流上。
在模拟视图3040中表示的区域内的对象的特征和特性可以基于从远程数据源或传感器获得或接收的图像(例如，卫星图像、车辆传感器图像、交通信号摄像头图像)的实际外观。此外，在模拟视图3040中表示的区域内的对象可以表示为图像，包括但不限于抽象指示符或包括图标、文本、象形图或它们的任何组合的其他符号表示。
带宽约束图像处理界面3000的任何部分都可以接收或检测改变生成输出的传感器的输入(例如，将视图部分从显示前视图改变为显示后视图)。可以由带宽约束图像处理界面3000的一部分接收的输入类型包括视觉输入(例如，由摄像头或运动传感器装置捕获的手势)、触摸输入(例如，触摸诸如电阻显示器之类的触摸屏)、音频输入(例如，对麦克风说出的命令)，以及来自输入装置的输入(例如，按下按钮或转动旋钮)中的任一者。
基于接收或检测到的输入，带宽约束图像处理界面3000可以修改带宽约束图像处理界面3000内的图像被表示的方式，包括但不限于：放大图像中的一些或所有图像(例如，增加外部对象的子集的大小或者放大到在视图部分3010内显示的区域)；缩小对象中一些或全部对象，包括从所表示的区域缩小；改变视角，包括改变到俯视图(例如，地图视图)；以及改变图像的图像特性，包括图像的对比度、饱和度和颜色深度。
结合本文公开的技术的实现描述的任何方法、过程或算法的步骤或操作可以以硬件、固件、由硬件执行的软件、电路或它们的任何组合实现。为了便于说明，如图4-图7所示，技术4000-7000被描绘并描述为一系列操作。然而，根据本公开的操作可以以各种顺序发生或同时发生。另外，根据本公开的操作可以与本文未呈现和描述的其他操作一起发生。
图4是根据本公开的用于带宽约束图像处理的技术4000的流程图。技术4000可以由车辆监控系统使用，所述车辆监控系统包括但不限于图3的至少一个车队管理员、车辆管理员以及前述带宽约束图像处理界面3000。用于远程支持的技术4000中的一些或全部技术可以在图1中所示的包括车辆1000的车辆中、在图2中所示车辆2100中或者如图2所示的包括诸如控制器设备2410之类的控制器设备的计算设备中实现。控制器设备可以至少包括信号处理系统、图像处理系统、过滤器和电子通信系统。在一种实现中，用于带宽约束图像处理的技术4000的一些或所有方面可以在结合本公开中描述的特征中的一些或所有特征的系统(例如，图2的控制器设备2410)中实现。
在操作4010处，由带宽约束的图像处理系统确定包括车辆的状态数据的一个或多个信号的数据传输速率。在一些实现中，带宽约束图像处理系统是控制器设备(例如，控制器设备2410)。操作4010可以由控制器设备(例如，控制器设备2410的信号处理系统)执行。信号可以包括在车辆和诸如远程操作中心(例如，图2的操作中心2400)之类的通信网络之间传送或发送的任何类型的信号，包括但不限于直接到车辆或直接来自车辆，或者间接地通过通信网络来交换(发送或接收)的电子信号(例如，模拟信号或数字信号)。可以基于通信系统确定信号的数据传输速率，所述通信系统包括配置为发送信号、接收信号和确定信号强度、信号频率、带宽、信道容量和信噪比中的任一者的通信设备。
信号的数据传输速率可以包括在预定时间段(例如，一秒的时间段)内传输(发送或接收)的数据的数量或量(例如，比特的数量)。数据的数量或量可以以包括比特、字节、千字节和兆字节中的任何一种为单位来测量，并且数据传输速率可以包括每单位时间传输的数据量(例如，每秒一千比特或每小时十太字节)。
车辆可包括用于运输包括一个或多个乘客和货物中的任何一个的对象的装置或设备(例如，运输工具)。此外，车辆可以包括通信系统以交换(发送或接收)包括数据(例如，状态数据、图像数据、外部数据等)的信号。车辆可包括自主车辆、由人类驾驶员驾驶的车辆或半自主车辆中的任何一种。
状态数据可以包括但不限于用于表示车辆的状态或状况的图像(例如，基于车辆外部外观和车辆内部外观的图像)和其他媒体(例如，视频)，以及车辆所在的外部环境(例如，基于包括外部对象的外部环境外观的图像)，包括但不限于：位置数据，所述位置数据包括车辆位置的图像，诸如车辆的地理位置(例如，车辆的纬度和经度)、车辆相对于另一对象的位置的图像，或车辆相对于一种类型的区域(例如，住宅区、商业区、私有财产、公共财产)的图像；车辆位置数据，所述车辆位置数据包括图像以指示车辆的定向和倾斜度(例如，车辆在斜坡上的倾斜度)；以及基于来自作为车辆的一部分、在车辆上或车辆内部的传感器的输出的传感器数据，所述传感器包括光学传感器(例如，光检测和测距传感器)、音频传感器和运动传感器，它们的输出可以是象征性地由指示符(例如，用于指示声音或运动的散列标记)表示，传感器数据可用于生成车辆内和车辆周围的物理环境的表示；内部状态数据，所述内部状态数据包括用于指示车辆的温度(例如，红色用于较热温度，蓝色用于较冷温度)和车辆客舱内的湿度(例如，雨滴指示器可用于表示非常潮湿的状况)的图像。
在操作4020处，确定是否已满足数据传输速率标准。操作4020可以由控制器设备(例如，图2的控制器设备2410的信号处理系统)执行。数据传输速率标准可以基于包括以下中的任一者的标准：数据速率传输阈值(例如，最小数据传输速率)、数据速率传输阈值范围(例如，可以包括满足数据传输速率标准的值的数据传输速率值的范围)中的，以及满足某些系统要求的历史数据速率。当数据传输速率中的任何一个超过或小于所提供的数据传输速率标准时，可以满足数据传输速率标准。
例如，如果数据传输速率标准基于维持每秒一百千字节或更高的数据传输速率阈值(即，这将意味着系统必须处理的较小的带宽约束)，则每秒五十千字节的数据传输速率将不满足数据传输速率标准，并且基于该比较，系统将被警告带宽约束。另一方面，数据传输速率标准可以设置为低于每秒一百千字节的范围(这将意味着潜在的带宽约束)，并且每秒五十千字节的数据传输速率也将满足该数据传输速率标准。数据传输速率标准可以包括时间因子，以便从预定时间段采样用于确定是否已满足数据传输速率标准的数据传输速率。例如，评估数据传输速率标准的数据传输速率可以基于在预定时间段内的平均数据传输速率(例如，在十秒时间段内的每秒平均千字节数)。
响应于确定数据传输速率满足数据传输速率标准，技术4000进行到操作4030。响应于确定数据传输速率不满足数据传输速率标准，可以执行一个或多个动作。在一些实现中，不满足数据传输标准的数据传输速率可以导致技术4000返回到操作4010。在一些其他实现中，当数据传输速率不满足数据传输速率标准时，指令数据被发送到车辆。该指令数据可以包括但不限于由车辆(例如，自主车辆)或车辆的乘员(例如，驾驶员)执行的指令。
指令数据可包括但不限于与以下任一者相关联的数据：控制车辆的运动，包括改变车辆的加速度、速度或方向(例如，转向)；激活或停用(例如，打开或关闭车辆的一些部件或全部部件)车辆中的控制系统，包括机械控制系统和电气控制系统；激活或停用车辆中的传感器(例如，激活摄像机以查看车辆的内部或车辆的外部区域)；激活或停用通信系统，所述通信系统包括内部通信系统(例如，针对车辆乘员的内部扬声器)和外部通信系统(例如，针对车辆外部的对象或个人的外部扬声器)中的任何一个。
此外，指令数据可以包括但不限于车辆在预定时间段内停止其运动的指令。例如，如果车辆经由远程操作接收帮助并且来自车辆的图像流被中断，使得远程操作员不再接收到可理解的图像流，则车辆，其可以是自主车辆，可以指示寻求安全的停车位置(例如停车场或指定的街道停车区)。以这种方式，车辆可以在可靠的位置等待直到数据传输速率增加，并且来自车辆的图像流具有足够的质量以供远程操作员继续向车辆提供帮助。
在操作4030处，通过电子通信系统(例如，图2的控制器设备2410的电子通信系统)向车辆发送消息。该消息可以包括各种消息类型，诸如按优先级的传感器数据消息。按优先级的传感器数据消息包括对来自车辆中的传感器的按优先级的传感器数据的请求。按优先级的传感器数据消息可以包括以下中的任一者：数据传输速率，其可以用于确定传感器的优先级(例如，车辆可以使用不足以传输高分辨率视频图像的数据传输速率来为发送静止图像或较低分辨率的视频图像分配更高的优先级)；优选的传感器类型(例如，当环境较暗时，包括在夜间，红外传感器的优先级可以高于检测可见光的光学传感器)；以及优选的状态数据类型，其可以包括状态数据类型的优先级排序，例如，与外部环境的图像相关联的外部环境数据可以优先于与车辆外部的图像相关联的车辆外部数据，而所述车辆外部数据又可以优先于包括车辆内部温度或湿度的象征性指示的图像。
在操作4040处，响应于来自操作4030的请求，电子通信系统基于按优先级的传感器数据按顺序接收传感器数据。车辆中的传感器可以定位在车辆的任何部分上，包括车辆的外表面、车辆的客舱、车辆的引擎舱和车辆的货舱(例如，汽车的行李箱、平板货车的平板)中的任一者。车辆可包括不同类型的传感器(例如，光学传感器和运动传感器)，并且每种类型的传感器可包括多个传感器。
按优先级的传感器数据包括但不限于基于以下任一者的传感器的优先级列表：按优先级的传感器数据消息，包括数据传输速率和所请求的传感器类型中的任一者；车辆上的传感器的位置(例如，车辆内的传感器可以具有更高的优先级以生成与车厢中的乘客的状态相关联的图像，或者车辆前部处的传感器可以优先于车辆后部处的传感器，以便在车辆前进方向上生成图像)；存储的传感器优先级序列数据，所述存储的传感器优先级序列数据可以包括一个或多个传感器优先级列表(例如，在两个光学传感器配置中，车辆前部处的光学传感器可以优先于车辆后部处的光学传感器)；以及与车辆相对于阻挡信号的对象的位置有关的传感器阻挡数据，所述数据可以基于阻挡动态地生成传感器的优先级(例如，车辆后部面向墙壁且车辆前部面向开阔空间停放的车辆可以动态地使车辆前部的传感器优先于车辆后部的传感器)。
在一些实现中，传感器的按优先级排序和由传感器生成的相关联的图像数据可以以成比例方式执行，其中较高优先级图像数据被分配较大部分的可用带宽(例如，较高比特率)，而较低优先级图像数据可以被分配较小比例的可用带宽(例如，较低比特率)。在另一实现中，按优先级排序基于机器学习技术(例如，由图2的控制器设备2410的机器学习模块执行)，所述机器学习技术使用其他车辆的远程操作的历史数据。
在操作4050处，基于状态数据和外部数据，由控制器设备确定车辆的位置和阻挡车辆接收的信号的任何潜在对象的位置。可以基于状态数据以及所述状态数据的位置数据(例如，纬度和经度)来确定车辆和对象的位置，所述状态数据包括来自传感器的传感器数据(例如，位置的图像)，。可以从以下中的任一组合访问外部数据：包括本地计算装置的本地数据源；以及包括远程服务器计算装置的远程数据源。
外部数据可以与车辆外部的对象的状况或状态相关联，所述状况或状态可以包括但不限于以下中的任一者：自然地理构造、建筑物、道路、人行道、水路、其他车辆、骑自行车者和行人。所述外部数据可以包括但不限于：对象移动路径数据，包括对象的先前行进的路径或预测路径(例如，使用历史数据、操作员输入或指令以及机器学习技术预测)，其可以基于对象速度、定向、位置中的任一者；对象取向数据，包括对象相对于车辆的定向和诸如指南针定向之类的定向(例如，指示对象朝向北方)中的任一者；对象位置，包括可以基于卫星(例如，GPS信号)或其他导航数据的对象的纬度和经度；传感器数据，包括基于来自对象中的传感器的输出的传感器数据，所述传感器包括光学传感器、音频传感器以及运动传感器，所述传感器数据可用于生成对象内和对象周围的物理环境的表示(例如，图像)；以及对象类型数据，包括对能够中断或干扰电子信号的对象的识别。
外部数据可用于确定车辆的预定区域内的可以阻碍、干扰或降低发送到车辆或从车辆接收的信号的强度的对象。例如，一组高楼、隧道或立交桥可能阻挡从车辆发出的信号，或者具有大量电磁活动的工厂可能干扰从车辆发送的信号。
在操作4060处，控制器设备基于外部数据和状态数据生成优化的状态数据，所述状态数据可以包括传感器数据。可以从状态数据和外部数据的部分生成优化的状态数据，所述状态数据和外部数据可以以各种比例组合以形成优化的状态数据。例如，来自外部数据的视频图像可以与来自状态数据的音频组合以形成优化的状态数据，所述优化的状态数据包括可以实时或小时间延迟使用的同步的音频和视频部分。
优化的状态数据可用于补偿不满足数据传输速率标准的数据传输速率，例如，通过过滤或支持车辆的状态数据。例如，如果检测到带宽约束(例如，由于数据传输速率低于数据传输速率标准所表示的最低阈值水平)，则可以生成优化的状态数据，以基于先前存储的相对类似位置或时间段的正面图像，或从未经历带宽约束的其他附近车辆获取的图像，向远程操作员提供车辆的正面图像。在一些实现中，优化的传感器数据可以基于过滤器的应用以从传感器数据中去除噪声。例如，可以通过应用包括小波变换、各向异性过滤、线性过滤器、非线性过滤器和平滑过滤器的技术来降低图像中的噪声。可以通过控制器设备的过滤器来执行过滤技术。此外，可以基于对状态数据的修改生成优化的状态数据，所述修改包括基于数据传输速率修改状态数据的压缩类型(例如，使用不同的压缩算法)或压缩量(例如，应用更大量的有损或无损压缩)(例如，与数据传输速率成反比的压缩级别)。
图5是根据本公开的用于带宽约束图像处理的技术5000的流程图。技术5000由车辆监控系统使用，所述车辆监控系统包括但不限于至少一个车队管理员、车辆管理员以及图3的前述带宽约束图像处理界面300。用于远程支持的技术5000中的一些或全部技术可以在包括图1中所示的车辆1000的车辆中、在包括图2中所示的车辆2100的车辆中，或者在包括诸如图2中所示的诸如控制器设备2410之类的控制器设备的计算设备中实现。控制器设备可以至少包括信号处理系统、图像处理系统、过滤器和电子通信系统。在一种实现中，用于带宽约束图像处理的技术5000的一些或所有方面可以在结合本公开中描述的特征中的一些或所有特征的系统(例如，图2的控制器设备2410)中实现。
在操作5010处，由控制器设备基于在信号中的至少一个被停止接收时与在随后接收到信号中的至少另一个时之间的时间间隔来确定传输延迟。时间间隔的起始可以在信号停止被交换(接收或发送)时开始并且在信号的交换恢复(接收或发送)时结束。例如，如果车辆遇到阻碍来自车辆的信号的阻挡物，则当不再接收来自车辆的信号时，时间段将开始，并且当成功接收来自车辆的信号时，时间段将结束。
在一些实现中，传输延迟基于即使数据被连续接收但信号强度或数据传输速率降到低于相应的信号强度阈值或数据传输速率阈值(因此数据流中没有纯粹的延迟或停止)。以这种方式，即使在信号强度或数据传输速率不为零时，也可以确定发生传输延迟。
在操作5020处，响应于确定传输延迟满足延迟标准(例如，允许存在5秒的接收数据的延迟并且大于延迟标准阈值最多2秒)，技术5000进行到操作5030。延迟标准可以包括值范围而不是阈值。响应于确定传输延迟不满足延迟标准，技术5000返回到操作5010。传输延迟标准的满足可包括但不限于以下中的任一者：传输延迟时间超过传输延迟时间阈值(例如，当延迟时间大于指定的传输延迟时间时，满足传输延迟标准)，以及预定时间段中的传输延迟的数量超过延迟发生阈值。
在操作5030处，由控制器设备基于先前在预定时间段内接收的状态数据和外部数据中的任一者来生成预测数据。所述预测数据可以包括但不限于先前或当前由附近或相关位置的其他车辆接收的数据。状态数据和外部数据可以由控制器设备的机器学习模块使用预测建模或机器学习技术来分析，所述预测建模或机器学习技术随后可以用于生成传输延迟发生期间的时间段的预测数据。
例如，如果车辆在高速公路上以每小时一百公里的恒定速度行进并且经过阻碍来自车辆的信号的山腰，则可以使用预测数据以基于车辆的速度(每小时一百公里)和在中断之前的车辆的估计位置以及行驶方向来生成图像(例如，车辆周围环境的图像)。如果车辆随后遇到交通拥堵导致车辆减速到每小时二公里的速度，则可以基于新的(每小时二公里的速度)生成预测数据。如果传输延迟与车辆以最后已知速度(每小时二公里)进入二百米长隧道的时间一致，则预测建模可以生成预测数据以提供车辆在隧道内的位置，包括估计车辆将何时离开隧道，这可以基于车辆最后已知的速度和沿车辆行驶方向离开隧道的对象(例如其他车辆)的速率。
在一些实现中，基于来自状态数据和外部数据中的任一者的传感器数据生成图像数据。可以存储图像数据以供将来使用，例如，在可以通过通信网络或计算网络访问的本地存储装置或远程存储装置(例如，存储在云计算系统中)中使用。然后，当数据传输速率满足数据传输速率标准时，可以检索存储的图像数据。例如，当数据传输速率不足以实时生成位置的图像时，图像数据可用于通过使用与过去位置相关联的图像数据来生成预测数据，以重建位置的图像。
图6是根据本公开的用于带宽约束图像处理的技术6000的流程图。技术6000由车辆监控系统使用，所述车辆监控系统包括至少一个车队管理员、车辆管理员以及前述界面。用于远程支持的技术6000中的一些或全部技术可以在包括图1中所示的车辆1000的车辆中、图2中所示的车辆2100中、或者包括诸如图2所示的控制器设备2410之类的控制器设备的计算设备中实现。控制器设备可以至少包括信号处理系统、图像处理系统、过滤器和电子通信系统。在一种实现中，用于带宽约束图像处理的技术6000的方面中的一些或所有方面可以在结合本公开中描述的特征中的一些或所有特征的系统(例如，图2的控制器设备2410)中实现。
在操作6010处，由控制器设备基于图像数据生成图像。所述图像数据可以基于状态数据或外部数据，并且可以包括车辆和包括行人、其他车辆、道路以及建筑物的对象的表示。图像数据可以输出到输出装置，诸如能够输出图像的显示装置(例如，监视器或投影仪)。例如，图像数据可以在包括图3中所示的带宽约束图像处理界面3000的界面中表示。
在操作6020处，由控制器设备确定是否已经检测到选择图像的一部分的输入(例如，来自远程操作员或车辆的驾驶员)。确定是否已经检测到选择图像的部分的输入可以基于确定是否有以下任一者：光学输入(例如，注视图像的一部分)、音频输入(例如，对着麦克风讲话以发出命令)、运动输入(例如，做出手势)和触觉输入(例如，触摸生成图像的显示器的一部分)。响应于接收到输入，技术6000进行到操作6030。响应于未接收到输入，技术6000返回到操作6010。
在操作6030处，图像数据被修改或更新或改变(例如，由远程操作员使用图3的带宽约束图像处理界面3000)并由控制器设备接收。修改图像数据可以导致修改所选图像的部分。修改所选图像的部分可以基于对改变图像的图像数据的任何修改，包括但不限于以下任一者：对图像的亮度或焦点或颜色或其他图形特征的增强、图像缺失部分的生成、放大图像的一部分、减少噪声、增加图像的一部分的对比度、直方图均衡、中值过滤和非锐化掩模过滤。
图7示出了根据本公开的用于带宽约束图像处理的方法7000。方法7000可以由一系统执行，所述系统包括但不限于图2的控制器设备2410，或者控制器设备2410的各个子组件或子模块或子系统。方法7000包括经由7010确定包括车辆状的态数据的信号的数据传输速率。响应于确定数据传输速率满足数据传输速率标准(例如，数据传输速率足够高并且高于数据传输速率阈值，所述数据传输速率阈值指示进行图像处理所需的最小带宽)，经由7020基于状态数据和外部数据(例如，交通数据、车辆周围的外部对象的图像数据等)来确定车辆的位置和阻挡信号中的至少一个信号的对象的位置。经由7030基于状态数据和外部数据生成优化的状态数据。状态数据包括与车辆相关联的传感器(例如，车辆内、车顶上、车辆下面和/或周围的传感器)的传感器数据，其中传感器包括光学传感器、光检测和测距传感器、运动传感器以及音频传感器中的任一者。在一种实现中，方法7000包括发送消息(例如，按优先级的传感器数据消息)，所述消息包括对来自传感器的按优先级的传感器数据的请求，其中按优先级的传感器数据包括基于与车辆相关联的传感器的位置的传感器的优先级列表。方法7000还包括基于按优先级的传感器数据按顺序接收传感器数据。所述顺序可以使用各种特征列出传感器数据，包括但不限于从最高优先级到最低优先级或从最大量的数据到最少量的数据。
在一种实现中，方法7000包括使用过滤器(包括但不限于线性平滑过滤器、非线性过滤器)对传感器数据进行过滤，以从传感器数据和所接收的所有信号中去除噪声和伪影，其中优化的状态数据基于或包括过滤的传感器数据。方法7000包括基于传感器数据生成和存储图像数据，并且当数据传输速率满足数据传输速率标准时(或当接收到标记有某一重要级别的请求时)检索图像数据，其中优化的状态数据基于或包括图像数据。
在一种实现中，方法7000包括基于图像数据生成图像。响应于接收到选择图像的一部分的输入，方法7000包括修改或更新所选图像的一部分，其中修改或更新包括以下任一者：放大(例如，扩大、缩小)图像的一部分、过滤来自图像的一部分的噪声、增加图像的一部分的对比度、或以任何其他方式改变图像的一部分中。
在一种实现中，方法7000包括基于数据传输速率修改应用于状态数据的压缩类型和压缩量中的任一者。方法7000包括基于被接收的信号(包括当前状态数据)之间的时间间隔来确定传输延迟。响应于确定传输延迟满足延迟标准(例如，以超过30分钟阈值或标准的一分钟间隔接收信号)，基于先前在预定时间段内接收的状态数据生成预测数据，其中优化的状态数据基于或包括预测数据。响应于确定数据传输速率满足数据传输速率标准，向车辆发送指令数据，其中指令数据包括以下任一者：车辆停车或去往某一位置并停车的指令，以及车辆改变位置以消除被对象中的相应的一个阻挡的信号中的至少一个的指令。
所公开的技术提供了一种带宽处理设备，其更有效地优化图像数据，包括从车辆(例如，自主车辆)接收的状态数据。所公开的技术可减少由于包括阻挡(例如，由物理结构或其他外部对象引起的去往车辆或来自车辆的信号的阻挡)和干扰(例如，干扰去往车辆或来自车辆的信号的其他信号)的因素所引起的带宽约束而导致的由不可用或低质量图像产生的停机时间。
尽管已经结合特定实施方式描述了所公开的技术，但是应理解，所公开的技术不限于所公开的实施方式，而是相反地，旨在涵盖包括在所附权利要求的范围内的各种修改和等同布置，所述范围应被赋予最广泛的解释，以包含法律允许的所有这些修改和等同结构。

Claims (20)

1.一种用于带宽约束图像和数据处理的方法，所述方法包括：
通过控制器设备的信号处理系统确定从车辆接收的多个信号的数据传输速率，所述多个信号包括所述车辆的状态数据以及与所述车辆相关联的外部数据，所述状态数据和/或所述外部数据包括所述车辆的光学传感器的传感器数据，所述状态数据和/或所述外部数据的至少一部分作为图像输出；
通过所述信号处理系统确定所述数据传输速率低于预定数据传输速率阈值；
通过所述信号处理系统并使用所述状态数据和所述外部数据，确定所述车辆的位置和阻挡所述多个信号中的至少一个信号的多个对象中的至少一个对象的位置；
通过所述控制器设备的通信单元，基于所述车辆的确定位置和所述多个对象中的至少一个的位置，将指令数据发送到所述车辆；
通过图像处理系统接收选择作为所述图像输出的状态数据和/或外部数据的所述一部分的输入；
通过所述图像处理系统修改作为所述图像输出的状态数据和/或外部数据的所述一部分以生成优化的状态数据，所述修改包括改善、更新或改变作为所述图像输出的状态数据和/或外部数据的所述一部分。
2.根据权利要求1所述的方法，其中，所述状态数据还包括与所述车辆相关联的多个传感器的传感器数据，其中所述多个传感器包括：光检测和测距传感器、运动传感器以及音频传感器。
3.根据权利要求2所述的方法，还包括：
通过所述控制器设备的通信单元将按优先级的传感器数据消息发送到所述车辆，所述按优先级的传感器数据消息包括对按优先级的传感器数据的请求，所述按优先级的传感器数据包括从所述数据传输速率、所述多个传感器的传感器类型、所述多个传感器的位置、存储的传感器优先级序列数据以及传感器阻挡数据选择的优先级列表；以及
通过所述通信单元使用所述优先级列表按顺序接收来自所述车辆的所述传感器数据。
4.根据权利要求2所述的方法，还包括：
通过所述控制器设备的过滤器过滤所述传感器数据，以从所述传感器数据中去除噪声；以及
通过所述信号处理系统使用经过滤的传感器数据生成所述优化的状态数据。
5.根据权利要求2所述的方法，还包括：
通过所述图像处理系统将图像数据存储在数据库中；
当所述数据传输速率低于所述预定数据传输速率阈值时，通过所述图像处理系统检索所述图像数据；以及
通过所述信号处理系统使用经检索的图像数据生成所述优化的状态数据。
6.根据权利要求1所述的方法，其中，
所述修改还包括：放大所述图像的所述一部分、过滤来自所述图像的所述一部分的噪声以及增加所述图像的所述一部分的对比度。
7.根据权利要求1所述的方法，还包括：
通过所述信号处理系统使用所述数据传输速率修改应用于所述状态数据和/或所述外部数据的压缩类型和压缩量。
8.根据权利要求1所述的方法，还包括：
通过所述信号处理系统使用被接收的所述多个信号之间的时间间隔确定传输延迟；
响应于确定所述传输延迟高于预定传输延迟阈值，通过所述控制器设备的机器学习模块，使用先前在预定时间段内接收的状态数据生成预测数据；以及
通过所述信号处理系统使用所述预测数据生成所述优化的状态数据。
9.根据权利要求1所述的方法，其中，
所述指令数据包括：用于所述车辆停车的指令，和用于所述车辆改变位置以消除所述多个对象中的至少一个对象对所述多个信号中的至少一个信号的阻挡的指令。
10.一种控制器设备，包括：
存储器；以及
处理器，所述处理器配置为执行存储在所述存储器中的指令，以：
确定从车辆接收的多个信号的数据传输速率，所述多个信号包括所述车辆的状态数据以及与所述车辆相关联的外部数据，所述状态数据和/或所述外部数据包括所述车辆的光学传感器的传感器数据，所述状态数据和/或所述外部数据的至少一部分作为图像输出；
确定所述数据传输速率低于预定数据传输速率阈值；
使用所述状态数据和所述外部数据确定所述车辆的位置和阻挡所述多个信号中的至少一个信号的多个对象中的至少一个对象的位置；
基于所述车辆的确定位置和所述多个对象中的至少一个的位置，将指令数据发送到所述车辆；
接收选择作为所述图像输出的状态数据和/或外部数据的所述一部分的输入；
修改作为所述图像输出的状态数据和/或外部数据的所述一部分以生成优化的状态数据，所述修改包括改善、更新或改变作为所述图像输出的状态数据和/或外部数据的所述一部分。
11.根据权利要求10所述的控制器设备，其中，所述状态数据还包括与所述车辆相关联的多个传感器的传感器数据，其中所述多个传感器包括：光检测和测距传感器、运动传感器以及音频传感器。
12.根据权利要求11所述的控制器设备，其中，所述处理器还配置为执行存储在所述存储器中的指令，以：
将按优先级的传感器数据消息发送到所述车辆，所述按优先级的传感器数据消息包括对按优先级的传感器数据的请求，所述按优先级的传感器数据包括从所述数据传输速率、所述多个传感器的传感器类型、所述多个传感器的位置、存储的传感器优先级序列数据以及传感器阻挡数据选择的优先级列表；以及
使用所述优先级列表按顺序接收来自所述车辆的所述传感器数据。
13.根据权利要求11所述的控制器设备，其中，所述处理器还配置为执行存储在所述存储器中的指令，以：
使用被接收的所述多个信号之间的时间间隔确定传输延迟；
响应于确定所述传输延迟高于预定传输延迟阈值，使用先前在预定时间段内接收的状态数据生成预测数据；以及
使用所述预测数据生成所述优化的状态数据。
14.根据权利要求11所述的控制器设备，其中，所述处理器还配置为执行存储在所述存储器中的指令，以：
将图像数据存储在数据库中；
当所述数据传输速率低于所述预定数据传输速率阈值时检索所述图像数据；以及
使用经检索的图像数据生成所述优化的状态数据。
15.根据权利要求10所述的控制器设备，其中，
修改还包括：放大所述图像的所述一部分、过滤来自所述图像的所述一部分的噪声以及增加所述图像的所述一部分的对比度。
16.一种非暂时性计算机可读存储介质，包括能由控制器设备的一个或多个处理器执行的程序指令，所述程序指令在被执行时使所述一个或多个处理器执行操作，所述操作包括：
确定从车辆接收的多个信号的数据传输速率，所述多个信号包括所述车辆的状态数据以及与所述车辆相关联的外部数据，所述状态数据和/或所述外部数据包括所述车辆的光学传感器的传感器数据，所述状态数据和/或所述外部数据的至少一部分作为图像输出；
确定所述数据传输速率低于预定数据传输速率阈值；
使用所述状态数据和所述外部数据确定所述车辆的位置和阻挡所述多个信号中的至少一个信号的多个对象中的至少一个对象的位置；
通过所述控制器设备的通信单元，基于所述车辆的确定位置和所述多个对象中的至少一个的位置，将指令数据发送到所述车辆；
接收选择作为所述图像输出的状态数据和/或外部数据的所述一部分的输入；以及
修改作为所述图像输出的状态数据和/或外部数据的所述一部分以生成优化的状态数据，所述修改包括改善、更新或改变作为所述图像输出的状态数据和/或外部数据的所述一部分。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述状态数据还包括与所述车辆相关联的多个传感器的传感器数据，其中所述多个传感器包括：光检测和测距传感器、运动传感器以及音频传感器。
18.根据权利要求17所述的非暂时性计算机可读存储介质，所述操作还包括：
将按优先级的传感器数据消息发送到所述车辆，所述按优先级的传感器数据消息包括对按优先级的传感器数据的请求，所述按优先级的传感器数据包括从所述数据传输速率、所述多个传感器的传感器类型、所述多个传感器的位置、存储的传感器优先级序列数据以及传感器阻挡数据选择的优先级列表；以及
使用所述优先级列表按顺序接收来自所述车辆的所述传感器数据。
19.根据权利要求17所述的非暂时性计算机可读存储介质，所述操作还包括：
将所述图像数据存储在数据库中；
当所述数据传输速率低于所述预定数据传输速率阈值时检索所述图像数据；以及
使用经检索的传感器数据生成所述优化的状态数据。
20.根据权利要求17所述的非暂时性计算机可读存储介质，所述操作还包括：
使用被接收的多个信号之间的时间间隔确定传输延迟
响应于确定所述传输延迟高于预定传输延迟阈值，使用先前在预定时间段内接收的状态数据生成预测数据；以及
使用所述预测数据生成所述优化的状态数据。
CN201780074880.9A 2016-12-06 2017-12-06 用于自主车辆的带宽约束图像处理 Active CN110249609B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662430792P 2016-12-06 2016-12-06
US62/430,792 2016-12-06
PCT/US2017/064808 WO2018106752A1 (en) 2016-12-06 2017-12-06 Bandwidth constrained image processing for autonomous vehicles

Publications (2)

Publication Number Publication Date
CN110249609A CN110249609A (zh) 2019-09-17
CN110249609B true CN110249609B (zh) 2020-12-15

Family

ID=62492136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780074880.9A Active CN110249609B (zh) 2016-12-06 2017-12-06 用于自主车辆的带宽约束图像处理

Country Status (5)

Country Link
US (1) US10659991B2 (zh)
EP (1) EP3552358B1 (zh)
JP (1) JP6720415B2 (zh)
CN (1) CN110249609B (zh)
WO (1) WO2018106752A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115166A1 (en) * 2015-12-28 2017-07-06 Kriezman Omri Parking gate barrier rod projecting system
US10293818B2 (en) * 2017-03-07 2019-05-21 Uber Technologies, Inc. Teleassistance data prioritization for self-driving vehicles
US10922903B2 (en) * 2017-07-11 2021-02-16 Waymo Llc Methods and systems for providing remote assistance to a stopped vehicle
US20190187691A1 (en) 2017-12-18 2019-06-20 Steeringz, Inc. Safety of autonomous vehicles by remote support request
US11227409B1 (en) 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11695977B2 (en) 2018-09-28 2023-07-04 Apple Inc. Electronic device content provisioning adjustments based on wireless communication channel bandwidth condition
CN110972202B (zh) 2018-09-28 2023-09-01 苹果公司 基于无线通信信道带宽条件的移动设备内容提供调节
US11137754B2 (en) * 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US11281214B2 (en) 2018-12-19 2022-03-22 Zoox, Inc. Safe system operation using CPU usage information
EP3690852A1 (en) 2019-01-29 2020-08-05 Volkswagen Aktiengesellschaft System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component
WO2020170835A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
EP3702864B1 (en) * 2019-02-27 2021-10-27 Ree Technology GmbH Accounting for latency in teleoperated remote driving
US11003195B2 (en) * 2019-02-28 2021-05-11 GM Global Technology Operations LLC Method to prioritize the process of receiving for cooperative sensor sharing objects
JP7107877B2 (ja) * 2019-03-22 2022-07-27 株式会社日立製作所 ストレージシステム、及び、記憶コスト適正化方法
US11507855B2 (en) * 2019-03-22 2022-11-22 Motorola Mobility Llc Generating action suggestions based on a change in user mood
JP7533477B2 (ja) * 2019-04-24 2024-08-14 ソニーグループ株式会社 自動車用制御システム
JP7276023B2 (ja) 2019-09-06 2023-05-18 トヨタ自動車株式会社 車両遠隔指示システム、及び自動運転車両
WO2021151466A1 (en) * 2020-01-28 2021-08-05 Telefonaktiebolaget Lm Ericsson (Publ) Dynamic stream adaptation
US11830302B2 (en) 2020-03-24 2023-11-28 Uatc, Llc Computer system for utilizing ultrasonic signals to implement operations for autonomous vehicles
EP4125317A1 (en) * 2020-05-01 2023-02-08 Kinze Manufacturing, Inc. Automatic field partners
IT202000010300A1 (it) 2020-05-08 2021-11-08 Milano Politecnico Sistema e metodo di comunicazione tra un veicolo ed un altro agente
US11617074B2 (en) * 2020-06-15 2023-03-28 Toyota Motor North America, Inc. Secure boundary area communication systems and methods
CN115309482A (zh) * 2021-04-20 2022-11-08 福特全球技术公司 一种车辆交互系统以及相应的车辆和方法
WO2023007645A1 (ja) * 2021-07-29 2023-02-02 日本電気株式会社 データ配信システム、通信品質予測装置、データ送信装置及びデータ送信方法
KR20230059714A (ko) * 2021-10-26 2023-05-03 도요타지도샤가부시키가이샤 차량 제어 장치, 시스템, 방법, 및 비일시적인 기억 매체
DE102022200171A1 (de) 2022-01-10 2023-07-13 Volkswagen Aktiengesellschaft Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug, entsprechende Vorrichtung, Computerprogramm und Kraftfahrzeug
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
KR102641702B1 (ko) * 2022-05-12 2024-02-28 주식회사 엘지유플러스 자율 주행 시스템 및 자율 주행 시스템의 영상 처리 장치 및 방법
WO2023211119A1 (ko) * 2022-04-27 2023-11-02 주식회사 엘지유플러스 원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템
US20240208529A1 (en) * 2022-07-29 2024-06-27 Baidu Usa Llc Sensor data transfer with self adaptive configurations for autonomous driving vehicle

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4405943A (en) * 1981-08-19 1983-09-20 Harris Corporation Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle
US4855822A (en) * 1988-01-26 1989-08-08 Honeywell, Inc. Human engineered remote driving system
US6230097B1 (en) * 1998-08-31 2001-05-08 Trimble Navigation Limited Accurate vehicle navigation
US6611755B1 (en) * 1999-12-19 2003-08-26 Trimble Navigation Ltd. Vehicle tracking, communication and fleet management system
US6549846B1 (en) 2000-11-21 2003-04-15 Trimble Navigation Limited Accurate vehicle navigation
IL147370A (en) 2001-12-27 2007-07-24 Itzhak Florentin Method and system for guiding a remote vehicle via a retarded communication channel
JP4615317B2 (ja) * 2005-01-18 2011-01-19 株式会社リコー 符号化装置
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
US7616642B2 (en) * 2006-01-04 2009-11-10 Sap Ag Priority assignment and transmission of sensor data
US8594933B2 (en) * 2006-02-09 2013-11-26 Sap Ag Transmission of sensor data based on geographical navigation data
JP4312210B2 (ja) * 2006-05-10 2009-08-12 ユーリテクノス株式会社 モバイルウェブブラウザに対応する画像拡大／縮小方法およびプログラム、ならびにそれを利用した使用者インターフェイスおよび画像送信方法
US8355818B2 (en) 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
JP2008236103A (ja) * 2007-03-19 2008-10-02 Clarion Co Ltd 映像配信システム、映像配信方法、映像配信サーバ及び映像配信プログラム
JP4973358B2 (ja) * 2007-07-23 2012-07-11 株式会社日立製作所 リモート操作システム
CA2737451C (en) 2008-09-19 2013-11-12 Mbda Uk Limited Method and apparatus for displaying stereographic images of a region
IL201682A0 (en) 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
KR20110114957A (ko) * 2010-04-14 2011-10-20 삼성전기주식회사 데이터 송신 장치와 방법, 이를 이용한 네트워크 데이터 전송 시스템 및 방법
US8370392B1 (en) * 2010-10-07 2013-02-05 The Boeing Company Methods and systems for controlling storage and transmission of data
US8989089B2 (en) * 2011-08-18 2015-03-24 Ofinno Technologies, Llc Automobile data transmission
WO2013161345A1 (ja) * 2012-04-24 2013-10-31 日産自動車株式会社 監視システム及び監視方法
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
JP2014071778A (ja) * 2012-09-28 2014-04-21 Equos Research Co Ltd 車両
US20140310277A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Suspending user profile modification based on user context
CN103490842B (zh) 2013-09-26 2016-09-28 深圳市大疆创新科技有限公司 数据传输系统及方法
ES2691818T3 (es) * 2013-09-27 2018-11-28 Teleste Oyj Sistema de descarga de datos inalámbricos
US9843647B2 (en) * 2014-02-25 2017-12-12 Here Global B.V. Method and apparatus for providing selection and prioritization of sensor data
US20160025497A1 (en) * 2014-07-24 2016-01-28 Harman International Industries, Incorporated Pre-caching of navigation content based on cellular network coverage
CN104135662B (zh) * 2014-08-19 2017-04-26 哈尔滨工业大学 用于在有限带宽和发射速率条件下对视频文件的改进型h.264压缩编码方法
US20160063332A1 (en) * 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of external sourced information to a driver
JP6657612B2 (ja) * 2015-01-26 2020-03-04 株式会社リコー 情報処理装置、情報処理システム、及びプログラム
EP3843000A1 (en) * 2015-02-10 2021-06-30 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6496585B2 (ja) * 2015-03-24 2019-04-03 クラリオン株式会社 物体認識装置
US9690290B2 (en) * 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
US9988056B2 (en) * 2015-12-15 2018-06-05 Octo Telematics Spa Systems and methods for controlling sensor-based data acquisition and signal processing in vehicles
CN105783936B (zh) * 2016-03-08 2019-09-24 武汉中海庭数据技术有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
CN106060553A (zh) * 2016-07-26 2016-10-26 公安部第研究所 基于感兴趣区域的时域可分级编码装置及其方法

Also Published As

Publication number Publication date
JP6720415B2 (ja) 2020-07-08
EP3552358A4 (en) 2020-03-11
BR112019011455A2 (pt) 2019-10-15
JP2020514850A (ja) 2020-05-21
US20200068434A1 (en) 2020-02-27
US10659991B2 (en) 2020-05-19
EP3552358A1 (en) 2019-10-16
WO2018106752A1 (en) 2018-06-14
CN110249609A (zh) 2019-09-17
EP3552358B1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN110249609B (zh) 用于自主车辆的带宽约束图像处理
CN110431037B (zh) 包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
US10762396B2 (en) Multiple stage image based object detection and recognition
US11927952B2 (en) Adaptive multi-network vehicle architecture
CN110249272B (zh) 自主车辆监控方法、设备和计算机可读存储介质
US10791436B2 (en) Systems and methods for a vehicle application programming interface
CN110291362B (zh) 生成用于自主车辆的解决方案数据以克服问题状况
JP2019537159A5 (zh)
CN112868031B (zh) 具有视觉显著性感知控制的自主运载工具操作管理
CN111902782A (zh) 集中式共享自主运载工具操作管理
US20230029093A1 (en) Computing Framework for Vehicle Decision Making and Traffic Management
CN111801550A (zh) 将现有路线延伸至目的地的远程操作
US20240005790A1 (en) Congestion Management with Cruise Control
BR112019011455B1 (pt) Método para monitorar um veículo, aparelho controlador e meio de armazenamento não transitório legível por computador

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230525

Address after: Kanagawa

Patentee after: NISSAN MOTOR Co.,Ltd.

Patentee after: NASA Represents the U.S. Government

Address before: Tennessee,USA

Patentee before: NISSAN NORTH AMERICA, Inc.

Patentee before: NASA Represents the U.S. Government