[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113574524A - 用于障碍物检测的方法和系统 - Google Patents

用于障碍物检测的方法和系统 Download PDF

Info

Publication number
CN113574524A
CN113574524A CN201980084778.6A CN201980084778A CN113574524A CN 113574524 A CN113574524 A CN 113574524A CN 201980084778 A CN201980084778 A CN 201980084778A CN 113574524 A CN113574524 A CN 113574524A
Authority
CN
China
Prior art keywords
vehicle
obstacle
signature
entity
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980084778.6A
Other languages
English (en)
Inventor
伊戈尔·雷切尔高兹
卡琳娜·奥迪纳耶夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autobrains Technologies Ltd
Original Assignee
Autobrains Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autobrains Technologies Ltd filed Critical Autobrains Technologies Ltd
Publication of CN113574524A publication Critical patent/CN113574524A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/55—External transmission of data to or from the vehicle using telemetry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种用于检测障碍物的方法，该方法可以包括：从多辆车辆中并通过计算机化系统的I/O模块，接收在执行被怀疑为避障操纵的车辆操纵期间采集的视觉信息；至少基于视觉信息，确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符；并将该至少一个视觉障碍物标识符发送给该多辆车辆中的一辆或更多辆。

Description

用于障碍物检测的方法和系统
交叉引用
本申请要求在2018年10月18日的美国临时序列号62/747,147、在2018年10月26日提交的临时专利62/750,822和在2019年3月31日提交的美国临时专利序列号62/827,122的优先权，上述专利申请通过引用并入本文。
技术领域
本公开总体上涉及在自主驾驶环境中检测和避免障碍物。
背景
辅助和自主驾驶系统在本领域中是已知的。在这样的系统中，计算机实现的系统(至少在某种程度上)控制车辆的某些或全部驾驶功能，例如速度、遥测、制动等。车辆通常配备一个或更多个传感器，例如摄像头，以为系统提供有关驾驶环境的当前信息。对于驾驶环境的当前信息通常由驾驶系统用来根据存储在车辆上的道路地图来确定如何在道路上行驶。
概述
一种用于检测障碍物的方法，该方法可以包括：从多辆车辆中，并通过计算机化系统的I/O模块，接收在执行被怀疑为避障操纵(maneuver)的车辆操纵期间采集的视觉信息；至少基于视觉信息，确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符；并将该至少一个视觉障碍物标识符发送给该多辆车辆中的一辆或更多辆。
附图简述
从以下结合附图的详细描述中，将更充分地理解和认识本公开的实施例，其中：
图1A示出了方法的示例；
图1B示出了签名的示例；
图1C示出了维度扩展(dimension expansion)过程的示例；
图1D示出了合并操作的示例；
图1E示出了混合过程的示例；
图1F示出了维度扩展过程的第一迭代的示例；
图1G示出了方法的示例；
图1H示出了方法的示例；
图1I示出了方法的示例；
图1J示出了方法的示例；
图1K示出了方法的示例；
图1L示出了方法的示例；
图1M示出了方法的示例；
图1N示出了匹配过程和更高精度形状信息的生成的示例；
图1O示出了图像和图像标识符的示例；
图1P示出了图像、近似的感兴趣区域、压缩的形状信息和图像标识符的示例；
图1Q示出了图像、近似的感兴趣区域、压缩的形状信息和图像标识符的示例；
图1R示出了方法的示例；
图1S示出了方法的示例；
图2A示出了不同尺度的图像的示例；
图2B示出了不同尺度的图像的示例；
图2C示出了方法的示例；
图2D示出了方法的示例；
图2E示出了方法的示例；
图2F示出了方法的示例；
图2G示出了不同图像的示例；
图2H示出了方法的示例；
图2I示出了方法的示例；
图2J示出了方法的示例；
图2K示出了不同的图像采集角度的示例；
图2L示出了方法的示例；
图2M示出了方法的示例；
图2N示出了系统的示例；
图3A是根据本文描述的实施例构造和操作的示例性障碍物检测和标测系统的部分插图、部分框图的图示；
图3B是待集成在图3A的车辆中的示例性自主驾驶系统的框图；
图3C是由图3B的自主驾驶系统执行的示例性过程的流程图；
图4是图3A的示例性避障服务器的框图；
图5是由图4的避障服务器执行的示例性过程的流程图；
图6是方法的示例；
图7是方法的示例；
图8是驾驶场景的示例；
图9是驾驶场景的示例；
图10是驾驶场景的示例；
图11是方法的示例；
图12是方法的示例；
图13是方法的示例；
图14是驾驶场景的示例；
图15是驾驶场景的示例；
图16是情景的示例；
图17是情景的示例；
图18是驾驶场景的示例；
图19是方法的示例；
图20是方法的示例；
图21是方法的示例；
图22是驾驶场景的示例；
图23是驾驶场景的示例；
图24是驾驶场景的示例；
图25是驾驶场景的示例；
图26是驾驶场景的示例；
图27是驾驶场景的示例；
图28是方法的示例；
图29是实体运动函数的示例；
图30是方法的示例；
图31是方法的示例；
图32是方法的示例；
图33是方法的示例；
图34是方法的示例；
图35是方法的示例；
图36是驾驶场景的示例；
图37是方法的示例；
图38是方法的示例；
图39-44示出了包括概念、测试图像和匹配结果的各种数据结构，以及与该数据结构有关的各种过程；以及
图45示出了系统的示例；
图46是方法的示例；以及
图47是方法的示例。
示例实施例的描述
说明书和/或附图可以涉及图像。图像是媒体单元(media unit)的示例。对图像的任何引用都可以经必要修改后应用于媒体单元。媒体单元可以是感测到的信息的示例。对媒体单元的任何引用都可以经必要修改后应用于自然信号，诸如但不限于自然生成的信号、代表人类行为的信号、代表与股票市场有关的操作的信号、医疗信号等。对媒体单元的任何引用都可以经必要修改后应用于感测到的信息。感测到的信息可以通过任何类型的传感器(诸如可见光摄像头或可以感测红外、雷达影响、超声、电光、放射线照相、LIDAR(光检测和测距)等的传感器)来感测。
说明书和/或附图可以涉及处理器。处理器可以是处理电路系统。该处理电路系统可以被实现为中央处理单元(CPU)和/或一个或更多个其他集成电路，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、全定制集成电路等或这些集成电路的组合。
可以提供在说明书和/或附图中示出的任何方法的任何步骤的任何组合。
可以提供任何权利要求的任何主题的任何组合。
可以提供在说明书和/或附图中示出的系统、单元、部件、处理器、传感器的任何组合。
签名的低功率生成
可以通过生成媒体单元的签名并且通过将该签名与参考签名进行比较来执行对媒体单元的内容的分析。参考签名可以以一个或更多个概念结构来布置，或者可以以任何其他方式来布置。签名可用于对象检测或任何其他用途。
可以通过创建媒体单元的多维表示来生成签名。媒体单元的多维表示可以具有非常多的维度。大量的维度可以保证包括不同对象的不同媒体单元的多维表示是稀疏的，并且不同对象的对象标识符彼此远离，从而提高了签名的鲁棒性。
签名的生成以包括多次迭代的迭代方式执行，每次迭代可以包括扩展操作，其后是合并操作。迭代的扩展操作通过该迭代的生成元素(spanning element)来执行。通过确定每次迭代(该迭代的)哪些生成元素是相关的，并且减少不相关的生成元素的功耗，可以节省大量的功率。
在许多情况下，迭代的大多数生成元素都是不相关的，因此，在(由生成元素)确定它们的相关性之后，被认为不相关的生成元素可以被关闭和/或进入空闲模式。
图1A示出了用于生成媒体单元的签名的方法5000。
方法5000可以从接收或生成感测到的信息的步骤5010开始。
感测到的信息可以是多个对象的媒体单元。
步骤5010之后可以是通过执行多次迭代来处理媒体单元，其中，多次迭代中的至少一些迭代包括通过该迭代的生成元素来应用其后是合并操作的维度扩展过程。
该处理可以包括：
执行第k个迭代扩展过程的步骤5020(k可以是用于跟踪迭代次数的变量)。
执行第k个迭代合并过程的步骤5030。
改变k的值的步骤5040。
检查是否完成了所有必需的迭代的步骤5050，如果是，则进行到完成签名的生成的步骤5060。否则，跳至步骤5020。
步骤5020的输出是第k个迭代扩展结果5120。
步骤5030的输出是第k个迭代合并结果5130。
对于每次迭代(第一迭代除外)，先前迭代的合并结果是对当前迭代扩展过程的输入。
K个迭代中的至少一些迭代涉及(在步骤5020期间)选择性地减小被认为不相关的一些生成元素的功耗。
图1B是作为图像6000的媒体单元的图像签名6027和最后一个(第K个)迭代的结果6013的示例。
图像6001实质上是分段6000(i，k)的分段。这些分段可以具有相同的形状和大小，但是不必一定如此。
结果6013可以是张量，该张量包括媒体单元的每个分段的值的向量。一个或更多个对象可以出现在某个分段中。对于每个对象，(签名的)对象标识符指向有效值的位置，该有效值位于与该某个分段相关联的某个向量内。
例如，图像的左上分段(6001(1,1))可以在结果6013中由具有多个值的向量V(1,1)6017(1,1)表示。每个向量的值的数量可以超过100、200、500、1000个等等。
可以选择有效值(例如，多于10个、20个、30个、40个值，和/或多于该向量的所有值的0.1％、0.2％、0.5％、1％、5％)。有效值可以具有值，但是可以以任何其他方式选择。
图1B示出了向量V(1,1)6017(1,1)的有效响应的集合6015(1,1)。该集合包括五个有效值(诸如，第一有效值SV1(1,1)6013(1,1,1)，第二有效值SV2(1,1)，第三有效值SV3(1,1)，第四有效值SV4(1,1)和第五有效值SV5(1,1)6013(1,1,5)。
图像签名6027包括用于检索五个有效值的五个索引，第一至第五标识符ID 1-ID5是用于检索第一至第五有效值的索引。
图1C示出了第k个迭代扩展过程。
第k个迭代扩展过程从接收先前迭代的合并结果5060’开始。
先前迭代的合并结果可以包括指示先前扩展过程的值，例如，其可以包括指示来自先前扩展操作的相关生成元素的值、指示先前迭代的合并结果的多维表示中的相关感兴趣区域的值。
(先前迭代的)合并结果被馈送到诸如生成元素5061(1)-5061(J)的生成元素。
每个生成元素都与值的唯一集合相关联。该集合可以包括一个或更多个值。生成元素应用可以彼此正交的不同函数。使用非正交函数可以增加生成元素的数量，但此增量可能是可容忍的。
生成元素可以应用彼此去相关(即使彼此不正交)的函数。
生成元素可以与可以“覆盖”多个可能的媒体单元的对象标识符的不同组合相关联。可以以各种方式(例如基于它们在各个图像(诸如测试图像)中的出现是随机的、伪随机的、根据某个规则等)来选择对象标识符的组合的候选者。在这些候选者中，组合可以被选择成去相关，以覆盖所述多个可能的媒体单元和/或以将特定对象映射到相同的生成元素的方式被选择。
每个生成元素将合并结果的值与(与生成元素相关联的)唯一集合进行比较，如果存在匹配，则认为生成元素是相关的。如果是这样，则生成元素将完成扩展操作。
如果没有匹配，则将生成元素视为不相关，并进入低功率模式。低功率模式也可以被称为空闲模式、待机模式等。低功率模式被称为低功率，因为不相关生成元素的功耗低于相关生成元素的功耗。
在图1C中，各个生成元素都是相关的(5061(1)-5061(3))，而一个生成元素是不相关的(5061(J))。
每个相关生成元素可以执行生成操作(spaning operation)，该操作包括分配输出值，该输出值指示迭代的相关生成元素的身份。输出值还可以指示(来自先前的迭代)先前相关生成元素的身份。
例如，假设生成元素编号五十是相关的，并且与值八和四的唯一集合相关联，那么输出值可以反映编号五十、四和八，例如，一千乘以(五十+四十)加四十。可以应用任何其他映射函数。
图1C还示出了每个生成元素执行的步骤：
检查合并结果是否与生成元素有关(步骤5091)。
如果是，则完成生成操作(步骤5093)。
如果不是，则进入空闲状态(步骤5092)。
图1D是各种合并操作的示例。
合并操作可以包括找到感兴趣区域。感兴趣区域是所感测到的信息的多维表示内的区域。感兴趣区域可以表现出更明显的响应(例如，更强、更高的强度响应)。
(在第k个迭代合并操作期间执行的)合并操作可以包括以下至少一项：
搜索(第k个迭代扩展操作结果的)感兴趣区域之间的重叠(overlaps)并定义与该重叠相关的感兴趣区域的步骤5031。
确定丢弃一个或更多个感兴趣区域并根据该确定进行丢弃的步骤5032。
搜索(第k个迭代扩展操作结果的)感兴趣区域之间的关系并定义与该关系相关的感兴趣区域的步骤5033。
搜索(第k个迭代扩展操作结果的)邻近感兴趣区域并定义与该邻近度相关的感兴趣区域的步骤5034。邻近可以是一个距离，该距离是多维空间的特定分数(例如，小于1％)，可以是针对该邻近度进行测试的至少一个感兴趣区域的特定分数。
搜索(第k个迭代扩展操作结果的)感兴趣区域之间的关系并定义与该关系相关的感兴趣区域的步骤5035。
基于与第k个迭代感兴趣区域的形状有关的形状信息，合并和/或丢弃第k个迭代感兴趣区域的步骤5036。
可以在不同的迭代中应用相同的合并操作。
可替代地，可以在不同的迭代期间执行不同的合并操作。
图1E示出了混合过程和输入图像6001的示例。
从某种意义上说混合过程是混合的，在这种意义中一些扩展和合并操作由卷积神经网络(CNN)执行，而一些扩展和合并操作(表示扩展和合并的附加迭代)不是由CNN执行，而是由可以包括确定生成元素的相关性并且将不相关的生成元素输入到低功率模式的过程来执行。
在图1E中，由第一CNN层6010(1)和第二CNN层6010(2)执行一个或更多个初始迭代，该第一CNN层6010(1)和第二CNN层6010(2)应用第一函数6015(1)和第二函数6015(2)。
这些层的输出提供了有关图像属性的信息。图像属性可能不等于对象检测。图像属性可以包括边缘的位置、曲线的属性等。
CNN可以附加层(例如第三至第N层6010(N))，该附加层可以提供CNN输出6018，该CNN输出可以包括对象检测信息。应当注意，可以不包括附加层。
应当注意，通过固定连接的硬件CNN执行整个签名生成过程可以具有更高的功耗，因为CNN将无法降低无关节点的功耗。
图1F示出了输入图像6001，以及扩展操作和合并操作的单次迭代。
在图1F中，输入图像6001经历两次扩展操作。
第一扩展操作包括通过第一过滤操作6031对输入图像进行过滤，以在第一过滤图像6031’中提供第一感兴趣区域(表示为1)。
第一扩展操作还包括通过第二过滤操作6032对输入图像进行过滤，以在第二过滤图像6032’中提供第一感兴趣区域(表示为2)。
合并操作包括通过将第一过滤图像叠加(overlaying)在第二过滤图像上来合并两个图像，以提供感兴趣区域1、2、12和21。感兴趣区域12是由特定感兴趣区域1和特定感兴趣区域2共享的重叠区域。感兴趣区域21是另一个感兴趣区域1和另一个感兴趣区域2的并集。
图1G示出了用于生成签名的方法5200。
方法5200可以包括以下步骤序列：
接收或生成图像的步骤5210。
执行第一迭代扩展操作(其是在第一迭代期间执行的扩展操作)的步骤5220。
执行第一迭代合并操作的步骤5230。
修改索引k(k是迭代计数器)的步骤5240。在图7中，增量为1，这只是如何跟踪迭代次数的一个示例。
对第(k-1)个迭代合并结果执行第k个迭代扩展操作的步骤5260。
(对第k个迭代扩展操作结果)执行第k个迭代合并操作的步骤5270。
改变索引k的值的步骤5280。
检查所有迭代是否都结束(k是否达到其最终值，例如K)的步骤5290。
如果否，则仍然有迭代要执行，即从步骤5290跳到步骤5260。
如果是，则跳至完成签名生成的步骤5060。这可以包括例如选择重要属性，确定指向所选择的重要属性的检索信息(例如索引)。
步骤5220可以包括：
在f(1)维的多维空间内生成图像的多个表示的步骤5222。步骤5220的扩展操作生成第一图像的第一迭代多维表示。该第一迭代多维表示的维数表示为f(1)。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5224。例如，参考图6，将索引1和索引2分配给在第一迭代扩展操作6031和6032期间生成的感兴趣区域。
步骤5230可以包括：
搜索感兴趣区域之间的关系并定义与该关系相关的感兴趣区域的步骤5232。例如，图6中所示的并集或交集。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5234。例如，参考图6，索引1、2、12和21。
步骤5260可以包括：
在f(k)维的多维空间内生成第(k-1)个迭代的合并结果的多个表示的步骤5262。步骤5260的扩展操作生成第一图像的第k个迭代多维表示。该第k个迭代多维表示的维数表示为f(k)。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5264。
步骤5270可以包括：
搜索感兴趣区域之间的关系并定义与该关系相关的感兴趣区域的步骤5272。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5274。
图1H示出了方法5201。在方法5201中，感兴趣区域之间的关系是重叠。
因此，步骤5232被搜索感兴趣区域之间的重叠并定义与该重叠有关的感兴趣区域的步骤5232’所代替。
步骤5272被搜索感兴趣区域之间的重叠并定义与该重叠有关的感兴趣区域的步骤5272’所代替。
图1I示出了用于签名的低功率计算的方法7000。
方法7000由接收或生成多个对象的媒体单元的步骤7010开始。
步骤7010之后可以是通过执行多次迭代来处理媒体单元的步骤7012，其中，多次迭代中的至少一些迭代包括通过该迭代的生成元素来应用之后是合并操作的维度扩展过程。
应用迭代的维度扩展过程可以包括：(a)确定迭代的生成元素的相关性；(b)通过迭代的相关生成元素来完成维度扩展过程，并减少不相关生成元素的功耗，直到至少完成维度扩展过程的应用为止。
标识符可以是用于检索重要部分的检索信息。
多次迭代中的至少一些迭代可以是多次迭代中的大多数迭代。
多次迭代的输出可以包括对于媒体单元的多个分段中的每个分段的多个性质属性；并且其中，多次迭代的输出的重要部分可以包括更具影响力的性质属性。
多次迭代的第一迭代可以包括通过在媒体单元上应用不同的过滤器来应用维度扩展过程。
多次迭代中的至少一些迭代不包括多次迭代中的至少第一迭代。参见例如图1E。
确定迭代的生成元素的相关性可以基于至少一个先前迭代的相关生成元素的至少一些身份。
确定迭代的生成元素的相关性可以基于在该迭代之前的至少一个先前迭代的相关生成元素的至少一些身份。
确定迭代的生成元素的相关性可以基于媒体单元的性质。
确定迭代的生成元素的相关性可以由迭代的生成元素执行。
方法7000可以包括神经网络处理操作，该神经网络处理操作可以由神经网络的一层或更多层执行，并且不属于多次迭代中的至少一些迭代。参见例如图1E。
可以执行至少一次迭代而不会降低一层或更多层的不相关神经元的功耗。
一层或更多层可以输出关于媒体单元的性质的信息，其中，该信息不同于对多个对象的标识。
通过不同于第一迭代的迭代的生成元素来应用维度扩展过程可以包括分配输出值，该输出值可以指示该迭代的相关生成元素的身份。参见例如图1C。
通过与第一迭代不同的迭代的生成元素来应用维度扩展过程可以包括：分配输出值，该输出值可以指示维度扩展过程的历史，直到与第一迭代不同的迭代为止。
每个生成元素可以与参考标识符的子集相关联。迭代的每个生成元素的相关性的确定可以基于生成元素的参考标识符的子集与迭代之前的最后合并操作的输出之间的关系。
迭代的维度扩展过程的输出可以是媒体单元的多维表示，该媒体单元的多维表示可以包括感兴趣的媒体单元区域，该感兴趣的媒体单元区域可以与生成感兴趣区域的一个或更多个扩展过程相关联。
迭代的合并操作可以包括基于感兴趣的多维区域的子组之间的空间关系来选择感兴趣的媒体单元区域的子组。参见例如图3和图6。
方法7000可以包括对感兴趣的多维区域的子组应用合并函数。参见例如图1C和1F。
方法7000可以包括对感兴趣的多维区域的子组应用交集函数。参见例如图1C和1F。
迭代的合并操作可以基于一个或更多个感兴趣的多维区域的实际大小。
迭代的合并操作可以基于感兴趣的多维区域的大小之间的关系。例如，可以维持较大的感兴趣的多维区域，而可以忽略较小的感兴趣的多维区域。
迭代的合并操作可以基于至少在迭代和一个或更多个先前迭代期间感兴趣的媒体单元区域的变化。
步骤7012之后可以是确定与多次迭代的输出的重要部分相关联的标识符的步骤7014。
步骤7014之后可以是提供签名的步骤7016，该签名包括标识符并且表示多个对象。
局部化和分段
上述签名生成方法中的任何一种都提供不明确包括准确形状信息的签名。这增加了签名对形状相关误差或对其他形状相关参数的鲁棒性。
签名包括用于标识感兴趣的媒体区域的标识符。
每个感兴趣的媒体区域都可以代表一个对象(例如，车辆、行人、道路元素、人造结构、可穿戴设备、鞋子、自然元素(诸如树、天空、太阳等))或对象的一部分(例如，对于行人而言，颈部、头部、手臂、腿、大腿、臀部、脚、上臂、前臂、手腕和手)。应当注意，出于对象检测的目的，对象的一部分可以被认为是对象。
对象的确切形状可能是令人感兴趣的。
图1J示出了生成媒体单元的混合表示的方法7002。
方法7002可以包括步骤7020、7022、7024和7026的序列。
步骤7020可以包括接收或生成媒体单元。
步骤7022可以包括通过执行多次迭代来处理媒体单元，其中，多次迭代中的至少一些迭代包括通过该迭代的生成元素来应用之后是合并操作的维度扩展过程。
步骤7024可以包括基于多次迭代的输出来选择对多次迭代的输出有贡献的感兴趣的媒体单元区域。
步骤7026可以包括提供混合表示，其中，混合表示可以包括(a)关于感兴趣的媒体单元区域的形状的形状信息，以及(b)包括识别感兴趣的媒体单元区域的标识符的媒体单元签名。
步骤7024可以包括按照媒体单元的多个分段中的每个分段选择感兴趣的媒体区域。参见例如图2。
步骤7026可以包括生成形状信息的步骤7027。
形状信息可以包括表示基本上界定感兴趣的媒体单元区域的形状的多边形。这些多边形可以具有高度。
为了节省存储空间，该方法可以包括压缩媒体单元的形状信息以提供媒体单元的压缩的形状信息的步骤7028。
图1K示出了用于生成媒体单元的混合表示的方法5002。
方法5002可以从接收或生成媒体单元的步骤5011开始。
步骤5011之后可以是通过执行多次迭代来处理媒体单元，其中，多次迭代中的至少一些迭代包括通过该迭代的生成元素来应用之后是合并操作的维度扩展过程。
该处理之后可以是步骤5060和5062。
该处理可以包括步骤5020、5030、5040和5050。
步骤5020可以包括执行第k个迭代扩展过程(k可以是用于跟踪迭代次数的变量)。
步骤5030可以包括执行第k个迭代合并过程。
步骤5040可以包括改变k的值。
步骤5050可以包括检查是否完成了所有所需的迭代，如果是，则进行到步骤5060和5062。否则，跳至步骤5020。
步骤5020的输出是第k个迭代扩展结果。
步骤5030的输出是第k个迭代合并结果。
对于每次迭代(第一迭代除外)，先前迭代的合并结果是当前迭代扩展过程的输入。
步骤5060可以包括完成签名的生成。
步骤5062可以包括生成关于感兴趣的媒体单元区域的形状的形状信息。签名和形状信息提供了媒体单元的混合表示。
步骤5060和5062的组合相当于提供一种混合表示，其中，该混合表示可以包括(a)关于感兴趣的媒体单元区域的形状的形状信息，以及(b)包括识别感兴趣的媒体单元区域的标识符的媒体单元签名。
图1L示出了用于生成图像的混合表示的方法5203。
方法5200可以包括以下步骤序列：
接收或生成图像的步骤5210。
执行第一迭代扩展操作(其是在第一迭代期间执行的扩展操作)的步骤5230。
执行第一迭代合并操作的步骤5240。
修改索引k(k是迭代计数器)的步骤5240。在图1L中，增量为1，这只是如何跟踪迭代次数的一个示例。
对第(k-1)个迭代合并结果执行第k个迭代扩展操作的步骤5260。
(对第k个迭代扩展操作结果)执行第k个迭代合并操作的步骤5270。
改变索引k的值的步骤5280。
检查所有迭代是否都结束(k是否达到其最终值，例如K)的步骤5290。
如果否，则仍然有迭代要执行，即从步骤5290跳到步骤5260。
如果是，请跳至步骤5060。
步骤5060可以包括完成签名的生成。这可以包括例如选择重要属性，确定指向所选择的重要属性的检索信息(例如索引)。
步骤5062可以包括生成关于感兴趣的媒体单元区域的形状的形状信息。签名和形状信息提供了媒体单元的混合表示。
步骤5060和5062的组合相当于提供一种混合表示，其中，该混合表示可以包括(a)关于感兴趣的媒体单元区域的形状的形状信息，以及(b)包括识别感兴趣的媒体单元区域的标识符的媒体单元签名。
步骤5220可以包括：
在f(k)维的多维空间内生成图像的多个表示的步骤5222。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5224。(例如，参考图1F，在第一迭代扩展操作6031和6032之后，索引1和索引2)。
步骤5230可以包括：
搜索感兴趣区域之间的关系并定义与该关系相关的感兴趣区域的步骤5226。例如，图1F中所示的并集或交集。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5228。例如，参考图1F，索引1、2、12和21。
步骤5260可以包括：
在f(k)维的多维空间内生成第(k-1)个迭代的合并结果的多个表示的步骤5262。步骤5260的扩展操作生成第一图像的第k个迭代多维表示。该第k个迭代多维表示的维数表示为f(k)。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5264。
步骤5270可以包括：
搜索感兴趣区域之间的关系并定义与该关系相关的感兴趣区域的步骤5272。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5274。
图1M示出了用于生成图像的混合表示的方法5205。
方法5200可以包括以下步骤序列：
接收或生成图像的步骤5210。
执行第一迭代扩展操作(其是在第一迭代期间执行的扩展操作)的步骤5230。
执行第一迭代合并操作的步骤5240。
修改索引k的步骤5240(k是迭代计数器)。在图1M中，增量为1，这只是如何跟踪迭代次数的一个示例。
对第(k-1)个迭代合并结果执行第k个迭代扩展操作的步骤5260。
(对第k个迭代扩展操作结果)执行第k个迭代合并操作的步骤5270。
改变索引k的值的步骤5280。
检查所有迭代是否都结束(k是否达到其最终值，例如K)的步骤5290。
如果否，则仍然有迭代要执行，即从步骤5290跳到步骤5260。
如果是，请跳至步骤5060和5062。
步骤5060可以包括完成签名的生成。这可以包括例如选择重要属性，确定指向所选择的重要属性的检索信息(例如索引)。
步骤5062可以包括生成关于感兴趣的媒体单元区域的形状的形状信息。签名和形状信息提供了媒体单元的混合表示。
步骤5060和5062的组合相当于提供一种混合表示，其中，该混合表示可以包括(a)关于感兴趣的媒体单元区域的形状的形状信息，以及(b)包括识别感兴趣的媒体单元区域的标识符的媒体单元签名。
步骤5220可以包括：
使用彼此正交的多个过滤器对图像进行过滤以提供多个过滤后的图像的步骤5221，这些过滤后的图像是f(1)维的多维空间中图像的表示。步骤5220的扩展操作生成第一图像的第一迭代多维表示。过滤器的数量表示为f(1)。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5224。(例如，参考图1F，在第一迭代扩展操作6031和6032之后，索引1和索引2)。
步骤5230可以包括：
搜索感兴趣区域之间的关系并定义与该关系相关的感兴趣区域的步骤5226。例如，图1F中所示的并集或交集。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5228。例如，参考图1F，索引1、2、12和21。
步骤5260可以包括：
在f(k)维的多维空间内生成第(k-1)个迭代的合并结果的多个表示的步骤5262。步骤5260的扩展操作生成第一图像的第k个迭代多维表示。该第k个迭代多维表示的维数表示为f(k)。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5264。
步骤5270可以包括：
搜索感兴趣区域之间的关系并定义与该关系相关的感兴趣区域的步骤5272。
针对多个表示内的每个感兴趣区域分配唯一索引的步骤5274。
过滤器可以是正交的，也可以是非正交的，例如是去相关的。使用非正交过滤器可能会增加过滤器的数量，但此增量可以是可容忍的。
使用压缩的形状信息进行对象检测
对象检测可以包括将输入图像的签名与一个或更多个簇结构(clusterstructure)的签名进行比较，以便找到包括与输入图像的签名相匹配的一个或更多个匹配签名的一个或更多个簇结构。
与簇结构比较的输入图像的数量可以远远超过簇结构的签名的数量。例如，可以将几千、几万、几十万(甚至更多)的输入签名与更少的簇结构签名进行比较。输入图像的数量与所有簇结构的签名的总数量之间的比率可以超过十、一百、一千等。
为了节省计算资源，可以压缩输入图像的形状信息。
另一方面，属于簇结构的签名的形状信息可以是未压缩的，并且其具有相对于压缩后的形状信息的精度的更高精度。
当不需要更高质量时，也可以压缩簇签名的形状信息。
簇签名的形状信息的压缩可以基于簇签名的优先级、与簇签名的匹配的受欢迎程度等。
可基于与匹配签名有关的形状信息来计算与输入图像有关的形状信息，该输入图像与一个或更多个簇结构匹配。
例如，可以基于与匹配签名内的特定标识符有关的形状信息来确定关于输入图像的签名内的特定标识符的形状信息。
可以应用对与匹配签名内的特定标识符有关的形状信息进行的任何操作，以确定由该特定标识符标识的输入图像的感兴趣区域的(较高精度)形状信息。
例如，形状可以虚拟地(virtually)彼此叠加，并且每个像素的群体可以定义形状。
例如，仅出现在至少大部分的叠加形状中的像素应被视为属于感兴趣区域。
其他操作可包括平滑叠加形状，选择在所有叠加形状中出现的像素。
压缩的形状信息可以被忽略或被考虑。
图1N示出了确定媒体单元的感兴趣区域的形状信息的方法7003。
方法7003可以包括步骤7030、7032和7034的序列。
步骤7030可以包括接收或生成媒体单元的混合表示。该混合表示包括压缩的形状信息。
步骤7032可以包括将媒体单元的媒体单元签名与多个概念结构的签名进行比较，以找到具有至少一个与媒体单元签名匹配的匹配签名的匹配概念结构。
步骤7034可以包括计算与媒体单元的感兴趣区域有关的更高精度的形状信息，其中，更高精度的形状信息比媒体单元的压缩的形状信息具有更高的精度，其中，计算基于与至少一些匹配签名相关联的形状信息。
步骤7034可以包括以下至少一项：
使用更高精度的形状信息来确定感兴趣的媒体单元区域的形状。
对于每个感兴趣的媒体单元区域，虚拟地叠加至少一些匹配签名的相应的感兴趣的媒体单元的形状。
图1O示出了匹配过程和更高精度形状信息的生成。
假设存在多个(M)簇结构4974(1)-4974(M)。每个簇结构包括簇签名、与簇签名有关的元数据以及与由簇签名的标识符标识的感兴趣区域有关的形状信息。
例如，第一簇结构4974(1)包括多个(N1)签名(称为簇签名CS)CS(1,1)-CS(1,N1)4975(1,1)-4975(1,N1)、元数据4976(1)和有关与CS的标识符相关联的感兴趣区域的形状的形状信息(Shapeinfo 4977(1))。
又例如，第M个簇结构4974(M)包括多个(N2)签名(称为簇签名CS)CS(M,1)-CS(M,N2)4975(M,1)-4975(M,N2)、元数据4976(M)和有关与CS的标识符相关联的感兴趣区域的形状的形状信息(Shapeinfo 4977(M))。
每个概念结构的签名数量可能会随时间变化，例如，由于簇缩减尝试，在此期间从结构中去除CS以提供缩减的簇结构，因此检查缩减的结构以确定缩减的簇签名可仍然标识与(未缩减的)簇签名相关联的对象，并且如果是，则可以从簇签名中减少签名。
每个簇结构的签名彼此相关联，其中，该关联可以基于签名的相似性和/或基于签名的元数据之间的关联。
假设每个簇结构与唯一对象相关联，则可以通过找到与所述对象相关联的簇结构来标识媒体单元的对象。匹配簇结构的查找可以包括将媒体单元的签名与簇结构的签名进行比较，以及从簇签名中搜索一个或更多个匹配签名。
在图1O中，具有混合表示的媒体单元经历对象检测。混合表示包括媒体单元签名4972和压缩的形状信息4973。
将媒体单元签名4972与M个簇结构(从CS(1,1)4975(1,1)到CS(M,N2)4975(M,N2))的签名进行比较。
我们假设一个或更多个簇结构是匹配簇结构。
一旦找到匹配簇结构，则该方法通过生成相比于压缩的形状信息具有更高精度的形状信息来进行。
形状信息的生成是根据每个标识符完成的。
对于范围在1到J之间的每个j(J是每个媒体单元签名4972的标识符的数量)，该方法可以执行以下步骤：
找到(步骤4978(j))每个匹配签名的第j个标识符的形状信息或匹配簇结构的每个签名的第j个标识符的形状信息。
生成第j个标识符的更高精度的形状信息(步骤4979(j))。
例如，假设匹配签名包括CS(1,1)2975(1,1)、CS(2,5)2975(2,5)、CS(7,3)2975(7,3)和CS(15,2)2975(15,2)，并且第j个标识符包含在CS(1,1)2975(1,1)、CS(7,3)2975(7,3)和CS(15,2)2975(15,2)中，则基于与CS(1,1)2975(1,1)、CS(7,3)2975(7,3)和CS(15,2)2975(15,2)相关联的形状信息来确定媒体单元的第j个标识符的形状信息。
图1P示出了包括四个感兴趣区域8001、8002、8003和8004的图像8000。图像8000的签名8010包括各种标识符，其包括标识四个感兴趣区域8001、8002、8003和8004的ID18011、ID2 8012、ID3 8013和ID4 8014的标识符。
四个感兴趣区域8001、8002、8003和8004的形状是四个多边形。可以在签名8010的生成期间生成有关这些感兴趣区域的形状的精确形状信息。
图1Q示出了形状信息的压缩，以表示压缩的形状信息，该信息反映了感兴趣区域8001、8002、8003和8004的更简单近似(8001'、8002'、8003'和8004')。在该示例中，更简单的可包括更少的小平面、更少的角度值等。
如图1R所示，压缩之后，媒体单元的混合表示表示带有简化的感兴趣区域8001'、8002'、8003'和8004'的媒体单元。
基于尺度的引导程序
对象可能以不同的尺度出现在图像中。尺度不变对象检测可以提高对象检测的可靠性和可重复性，并且还可以使用较少数量的簇结构，从而减少了内存资源，还降低了维护较少簇结构所需的计算资源。
图1S示出了用于尺度不变对象检测的方法8020。
方法8020可以包括步骤的第一序列，其可以包括步骤8022、8024、8026和8028。
步骤8022可以包括：接收或生成对象以第一尺度出现的第一图像和对象以不同于第一尺度的第二尺度出现的第二图像。
步骤8024可以包括生成第一图像签名和第二图像签名。
第一图像签名包括标识对象的至少一部分的第一组至少一个特定第一图像标识符。参见例如图2A的图像8000’。该人由代表感兴趣区域8006和8008的标识符ID6 8016和ID8 8018标识。
第二图像签名包括第二组特定第二图像标识符，其标识对象的不同部分。
参见例如图19的图像8000。该人由代表感兴趣区域8001、8002、8003和8004的标识符ID1 8011、ID2 8012、ID3 8013和ID4 8014标识。
第二组比第一组更大，因为第二组比第一组具有更多的成员。
步骤8026可以包括在至少一个特定第一图像标识符和特定第二图像标识符之间进行链接。
步骤8026可以包括在第一图像签名、第二图像签名和对象之间进行链接。
步骤8026可以包括将第一签名和第二签名添加到与对象相关联的特定概念结构。例如，参考图1O，第一图像和第二图像的签名可以包括在4974(1)-4974(M)中的簇概念中。
步骤8028可以包括至少部分地基于链接来确定输入图像是否包括对象。输入图像与第一图像和第二图像不同。
该确定可以包括：当输入图像的签名包括至少一个特定第一图像标识符或特定第二图像标识符时，确定该输入图像包括对象。
该确定可以包括：当输入图像的签名包括仅至少一个特定第一图像标识符的一部分或仅特定第二图像标识符的一部分时，确定该输入图像包括对象。
可以对两个以上的图像执行链接，其中对象以两个以上的尺度出现。
例如，参见图2B，其中一个人在三个不同的图像中以三个不同的尺度出现。
在第一图像8051中，该人被包括在单个感兴趣区域8061中，并且第一图像8051的签名8051'包括标识符ID61，该标识符ID61标识出标识该人的单个感兴趣区域。
在第二图像8052中，该人的上部被包括在感兴趣区域8068中，该人的下部被包括在感兴趣区域8069中，并且第二图像8052的签名8052'包括分别标识出感兴趣区域8068和8069的标识符ID68和ID69。
在第三图像8053中，人的眼睛被包括在感兴趣区域8062中，人的嘴部被包括在感兴趣区域8063中，人的头部出现在感兴趣区域8064中，人的颈部和手臂出现在感兴趣区域8065中，人的中部出现在感兴趣区域8066中，且人的下部出现在感兴趣区域8067中。第三图像8053的签名8053’包括分别标识出感兴趣区域8062-8067的标识符ID62、ID63、ID64、ID65、ID55和ID67。
方法8020可以将签名8051'、8052'和8053'彼此链接。例如，这些签名可以被包括在相同的簇结构中。
方法8020可以链接(i)ID61、(ii)签名ID68和ID69以及(ii)签名ID62、ID63、ID64、ID65、ID66和ID67。
图2C示出了用于对象检测的方法8030。
方法8030可以包括方法8020的步骤，或者可以在步骤8022、8024和8026之前。
方法8030可以包括步骤8032、8034、8036和8038的序列。
步骤8032可以包括接收或生成输入图像。
步骤8034可以包括生成输入图像的签名。
步骤8036可以包括将输入图像的签名与特定概念结构的签名进行比较。特定概念结构可以由方法8020生成。
步骤8038可以包括：当特定概念结构的签名中的至少一个签名与输入图像的签名匹配时，确定该输入图像包括对象。
图2D示出了用于对象检测的方法8040。
方法8040可以包括方法8020的步骤，或者可以在步骤8022、8024和8026之前。
方法8040可以包括步骤8041、8043、8045、8047和8049的序列。
步骤8041可以包括接收或生成输入图像。
步骤8043可以包括：生成输入图像的签名，该输入图像的签名仅包括特定第二图像标识符中的一些；其中，输入图像具有第二尺度。
步骤8045可以包括将输入图像的尺度改变为第一尺度以提供修改后的输入图像。
步骤8047可以包括生成修改后的输入图像的签名。
步骤8049可以包括：当修改后的输入图像的签名包括至少一个特定第一图像标识符时，验证该输入图像包括对象。
图2E示出了用于对象检测的方法8050。
方法8050可以包括方法8020的步骤，或者可以在步骤8022、8024和8026之前。
方法8050可以包括步骤8052、8054、8056和8058的序列。
步骤8052可以包括接收或生成输入图像。
步骤8054可以包括生成输入图像的签名。
步骤8056可以包括在输入图像的签名中搜索(a)至少一个特定第一图像标识符和(b)特定第二图像标识符中的至少一项。
步骤8058可以包括：当输入图像的签名包括(a)至少一个特定第一图像标识符和(b)特定第二图像标识符中的至少一项时，确定该输入图像包括对象。
应当注意，步骤8056可以包括在输入图像的签名中搜索以下至少一项：(a)至少一个特定第一图像标识符中的一个或更多个特定第一图像标识符，以及(b)特定第二图像标识符中的至少一个特定第二图像标识符。
应当注意，步骤8058可以包括：当输入图像的签名包括以下至少一项时，确定该输入图像包括对象：(a)至少一个特定第一图像标识符中的一个或更多个特定第一图像标识符，(b)至少一个特定第二图像标识符。
基于运动的引导程序
单个对象可以包括由图像的签名的不同标识符标识的多个部分。在诸如无监督学习的情况下，将多个对象部分彼此链接可能是有益的，而无需接收有关它们是否包含在对象中的先验知识。
附加地或可替代地，可以进行链接以验证多个对象部分之间的先前链接。
图2F示出了用于对象检测的方法8070。
方法8070用于基于运动的对象检测。
方法8070可以包括步骤8071、8073、8075、8077、8078和8079的序列。
步骤8071可以包括接收或生成包括图像序列的视频流。
步骤8073可以包括生成图像的图像签名。每个图像与包括标识符的图像签名相关联。每个标识符标识图像内的感兴趣区域。
步骤8075可以包括生成指示感兴趣区域在图像序列的连续图像内的运动的运动信息。步骤8075可以包括生成或接收指示每个图像内每个感兴趣区域的位置的位置信息或者可以在其之前。运动信息的生成基于位置信息。
步骤8077可以包括基于运动信息搜索跟随第一运动的第一组感兴趣区域。不同的第一感兴趣区域与对象的不同部分相关联。
步骤8078可以包括在标识第一组感兴趣区域的第一标识符之间进行链接。
步骤8079可以包括在包括第一链接的标识符的第一图像签名之间进行链接。
步骤8079可以包括将第一图像签名添加到第一概念结构，该第一概念结构与第一图像相关联。
步骤8079之后可以是至少部分基于链接来确定输入图像是否包括对象。
方法8070的各个步骤的示例在图2H中示出。
图2G示出了在不同时间点拍摄的三个图像8091、8092和8093。
第一图像8091示出了位于感兴趣区域8089中的门8089'和面向该门的人。该人的各个部位都位于感兴趣区域8081、8082、8083、8084和8085内。
第一图像签名8091’包括分别标识出感兴趣区域8081、8082、8083、8083、8084、8085和8089的标识符ID81、ID82、ID83、ID84、ID85和ID89。
第一图像位置信息8091”分别包括感兴趣区域8081、8082、8083、8084、8085和8089的位置L81、L82、L83、L84、L85和L89。感兴趣区域的位置可以包括感兴趣区域的中心的位置、感兴趣区域的边界的位置或可以定义感兴趣区域或该感兴趣区域的一部分的位置的任何位置信息。
第二图像8092示出了位于感兴趣区域8089中的门和面向该门的人。该人的各个部位都位于感兴趣区域8081、8082、8083、8084和8085内。第二图像还包括位于感兴趣区域8086内的杆。在第一图像中，杆被该人遮住了。
第二图像签名8092’包括分别标识出感兴趣区域8081、8082、8083、8084、8085、8086和8089的标识符ID81、ID82、ID83、ID84、ID85、ID86和ID89。
第二图像位置信息8092”分别包括感兴趣区域8081、8082、8083、8084、8085、8086和8089的位置L81、L82、L83、L84、L85、L86和L89。
第三图像8093示出了位于感兴趣区域8089中的门和面向该门的人。该人的各个部位都位于感兴趣区域8081、8082、8083、8084和8085内。第三图像还包括位于感兴趣区域8086内的杆和位于感兴趣区域8087内的气球。
第三图像签名8093’包括分别标识出感兴趣区域8081、8082、8083、8084、8085、8086、8087和8089的标识符ID81、ID82、ID83、ID84、ID85、ID86、ID87和ID89。
第三图像位置信息8093”分别包括感兴趣区域8081、8082、8083、8084、8085、8086、8086和8089的位置L81、L82、L83、L84、L85、L86、L87和L89。
可以通过比较与不同图像有关的位置信息来计算各个感兴趣区域的运动。运动信息可以考虑图像的采集时间的不同。
比较显示，感兴趣区域8081、8082、8083、8084、8085一起移动，因此它们应该彼此链接，并且可以假定它们都属于同一对象。
图2H示出了用于对象检测的方法8100。
方法8100可以包括方法8070的步骤，或者可以在步骤8071、8073、8075、8077和8078之前。
方法8100可以包括以下步骤序列：
接收或生成输入图像的步骤8102。
生成输入图像的签名的步骤8104。
将输入图像的签名与第一概念结构的签名进行比较的步骤8106。第一概念结构包括基于由第一标识符标识的第一感兴趣区域的运动而彼此链接的第一标识符。
当第一概念结构的签名中的至少一个与输入图像的签名匹配时，确定输入图像包括第一对象的步骤8108。
图2I示出了用于对象检测的方法8110。
方法8110可以包括方法8070的步骤，或者可以在步骤8071、8073、8075、8077和8078之前。
方法8110可以包括以下步骤序列：
接收或生成输入图像的步骤8112。
生成输入图像的签名的步骤8114。
在输入图像的签名中搜索第一标识符中的至少一个的步骤8116。
当输入图像的签名包括第一标识符中的至少一个时，确定该输入图像包括对象的步骤8118。
对采集角度具有鲁棒性的对象检测
对象检测可得益于对采集角度的鲁棒性，对图像传感器的光轴与对象的特定部分之间的角度的鲁棒性。这使检测过程更加可靠，使用更少的不同簇(可能不需要多个簇来从不同图像中标识同一对象)。
图2J示出了方法8120，该方法包括以下步骤：
接收或生成从不同角度拍摄的对象的图像的步骤8122。
查找从彼此接近的不同角度拍摄的对象的图像的步骤8124。足够接近可以小于1度、5度、10度、15度和20度，但是通过接收基本上相同的签名可以更好地反映接近度。
在相似签名的图像之间链接的步骤8126。这可以包括搜索局部相似性。从签名的每个子集进行计算的意义上讲，相似性是局部的。例如，假设每两个图像确定相似性，则可以将第一签名链接到与第一图像相似的第二签名。可以基于第二签名和第三签名之间的相似性并且甚至不考虑与第一签名和第三签名之间的关系将第三签名链接到第二图像。
步骤8126可以包括生成包括相似签名的概念数据结构。
除了采集足够的图像(统计上将提供大的角度覆盖范围)之外，这种所谓的局部或滑动窗口方法还将能够生成包括在多个方向上拍摄的对象的签名的概念结构。
图2K示出了从不同角度(8131、8132、8133、8134、8135和8136)成像的人8130。虽然人的正视图的签名(从角度8131获得)与人的侧视图的签名(从角度8136获得)不同，但从角度8141和8136之间的多个角度拍摄的图像的签名可以补偿差异，因为从接近角度获得的图像之间的差异彼此相似(局部相似性)。
签名定制的匹配阈值
对象检测可以通过以下方式实现：(a)接收或生成包括媒体单元和相关元数据的签名的概念结构，(b)接收新媒体单元，生成新媒体单元签名，以及(c)比较新媒体单元签名与概念结构的概念签名。
比较可以包括将新媒体单元签名标识符(出现在新媒体单元中的对象的标识符)与概念签名标识符进行比较，并基于签名匹配标准确定新媒体单元签名是否与概念签名匹配。如果找到这样的匹配，则新媒体单元被认为包括与该概念结构相关联的对象。
已经发现，通过应用可调节的签名匹配标准，匹配过程可以非常高效，并且可以使其自身适应于不同场景中出现标识符的统计。例如，当在新媒体单元签名中和簇签名中出现相对较后但区别明显的标识符时，可以获得匹配，但是当在新媒体单元签名中和簇签名中出现多个公共且略有区别的标识符时，可以声明不匹配。
图2L示出了用于对象检测的方法8200。
方法8200可以包括：
接收输入图像的步骤8210。
生成输入图像的签名的步骤8212。
将输入图像的签名与概念结构的签名进行比较的步骤8214。
基于签名匹配标准确定输入图像的签名是否与概念结构的任何签名相匹配的步骤8216，其中，概念结构的每个签名在基于签名的对象检测参数确定的签名匹配标准内相关联。
基于确定的结果，得出输入图像包括与概念结构相关联的对象的结论的步骤8218。
签名匹配标准可以是指示匹配的匹配标识符的最小数量。例如，假设签名包括几十个标识符，则最小数量可以在签名的单个标识符与所有标识符之间变化。
应当注意，输入图像可以包括多个对象，并且输入图像的签名可以与多个簇结构匹配。方法8200适用于所有匹配过程，并且可以针对每个簇结构的每个签名设置签名匹配标准。
步骤8210之前可以是步骤8202，步骤8202通过评估在不同签名匹配标准下的签名的对象检测能力来确定每个签名匹配标准。
步骤8202可以包括：
接收或生成一组测试图像的签名的步骤8203。
针对不同签名匹配标准中的每个签名匹配标准，计算签名的对象检测能力的步骤8204。
基于不同签名匹配标准下的签名的对象检测能力，选择签名匹配标准的步骤8206。
对象检测能力可以反映与签名匹配的一组测试图像的签名的百分比。
签名匹配标准的选择包括选择以下签名匹配标准，该签名匹配标准在被应用时导致该组测试图像的与该签名匹配的签名的百分比与该组测试图像的与该签名匹配的签名的预定义期望百分比最接近。
对象检测能力可以反映该一组测试图像的与签名匹配的签名的百分比的明显变化。例如，假设签名匹配标准是匹配标识符的最小数量，并且改变最小数量的值可以改变匹配测试图像的百分比。百分比的实质变化(例如，超过10％、20％、30％、40％的变化)可以指示期望值。该期望值可以在实质变化之前被设置为接近实质变化等。
例如，参考图1O，簇签名CS(1,1)、CS(2,5)、CS(7,3)和CS(15,2)匹配单元签名4972。这些匹配中的每一个都可以应用唯一的签名匹配标准。
图2M示出了用于对象检测的方法8220。
方法8220用于管理概念结构。
方法8220可以包括：
确定将新签名添加到概念结构的步骤8222。概念结构可以已经包括至少一个旧签名。新签名包括标识对象的至少部分的标识符。
确定基于新签名的一个或更多个标识符的新签名匹配标准的步骤8224。新签名匹配标准确定另一签名何时与新签名匹配。新签名匹配标准的确定可以包括在不同签名匹配标准下评估签名的对象检测能力。
步骤8224可以包括方法8200的步骤8203、8204和8206(包括在步骤8206中)。
系统的示例
图22N示出了能够执行一种或更多种上述方法的系统的示例。
该系统包括各种部件、元件和/或单元。
部件元件和/或单元可以是处理电路系统，该处理电路系统可以被实现为中央处理单元(CPU)和/或一个或更多个其他集成电路，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、全定制集成电路等或这些集成电路的组合。
可替代地，每个部件元件和/或单元可以用可以由处理电路系统执行的硬件、固件或软件来实现。
系统4900可以包括感测单元4902、通信单元4904、输入端4911、处理器4950和输出端4919。通信单元4904可以包括输入端和/或输出端。
输入端和/或输出端可以是任何合适的通信部件，诸如网络接口卡、通用串行总线(USB)端口、磁盘读取器、调制解调器或收发器，它们可操作为(operative to)使用诸如本领域中已知的协议来直接通信，或与系统的其他元件间接通信。
处理器4950可以包括以下中的至少一些：
多个生成元素4951(q)。
多个合并元素4952(r)。
对象检测器4953。
簇管理器4954。
控制器4955。
选择单元4956。
对象检测确定单元4957。
签名生成器4958。
运动信息单元4959。
标识符单元4960。
可以提供一种用于签名的低功率计算的方法，该方法可以包括：接收或生成多个对象的媒体单元；通过执行多次迭代来处理媒体单元，其中，多次迭代中的至少一些迭代可以包括通过该迭代的生成元素来应用可以随后进行合并操作的维度扩展过程；其中，应用迭代的维度扩展过程可以包括确定迭代的生成元素的相关性；通过迭代的相关生成元素来完成维度扩展过程，并降低不相关生成元素的功耗，直到至少完成维度扩展过程的应用为止；确定可以与多次迭代的输出的重要部分相关联的标识符；并且提供可以包括标识符并表示多个对象的签名。
标识符可以是用于检索重要部分的检索信息。
多次迭代中的至少一些迭代可以是多次迭代中的大多数迭代。
多次迭代的输出可以包括对于媒体单元的多个分段中的每个分段的多个性质属性；并且其中，多次迭代的输出的重要部分可以包括更具影响力的性质属性。
多次迭代的第一迭代可以包括通过在媒体单元上应用不同的过滤器来应用维度扩展过程。
多次迭代中的至少一些迭代不包括多次迭代中的至少第一迭代。
确定迭代的生成元素的相关性可以基于至少一个先前迭代的相关生成元素的至少一些身份。
确定迭代的生成元素的相关性可以基于在该迭代之前的至少一个先前迭代的相关生成元素的至少一些身份。
确定迭代的生成元素的相关性可以基于媒体单元的性质。
确定迭代的生成元素的相关性可以由迭代的生成元素执行。
该方法可以包括神经网络处理操作，该神经网络处理操作可以由神经网络的一层或更多层执行，并且不属于多次迭代中的至少一些迭代。
可以执行至少一次迭代而不会降低一层或更多层的不相关神经元的功耗。
一层或更多层输出关于媒体单元的性质的信息，其中，该信息不同于多个对象的标识。
通过不同于第一迭代的迭代的生成元素来应用维度扩展过程可以包括分配输出值，该输出值可以指示该迭代的相关生成元素的身份。
通过与第一迭代不同的迭代的生成元素来应用维度扩展过程可以包括分配输出值，该输出值可以指示维度扩展过程的历史，直到与第一迭代不同的迭代为止。
每个生成元素可以与参考标识符的子集相关联，并且其中，迭代的每个生成元素的相关性的确定可以基于生成元素的参考标识符的子集与该迭代之前的最后合并操作的输出之间的关系。
迭代的维度扩展过程的输出可以是媒体单元的多维表示，该媒体单元的多维表示可以包括感兴趣的媒体单元区域，该感兴趣的媒体单元区域可以与生成感兴趣区域的一个或更多个扩展过程相关联。
迭代的合并操作可以包括基于感兴趣的多维区域的子组之间的空间关系来选择感兴趣的媒体单元区域的子组。
该方法可以包括对感兴趣的多维区域的子组应用合并函数。
该方法可以包括对感兴趣的多维区域的子组应用交集函数。
迭代的合并操作可以基于一个或更多个感兴趣的多维区域的实际大小。
迭代的合并操作可以基于感兴趣的多维区域的大小之间的关系。
迭代的合并操作可以基于至少在迭代和一个或更多个先前迭代期间感兴趣的媒体单元区域的变化。
可以提供一种用于签名的低功率计算的非暂时性计算机可读介质，该非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成多个对象的媒体单元；通过执行多次迭代来处理媒体单元，其中，多次迭代中的至少一些迭代可以包括通过该迭代的生成元素来应用可以随后进行合并操作的维度扩展过程；其中，应用迭代的维度扩展过程可以包括确定迭代的生成元素的相关性；通过迭代的相关生成元素来完成维度扩展过程，并降低不相关生成元素的功耗，直到至少完成维度扩展过程的应用为止；确定可以与多次迭代的输出的重要部分相关联的标识符；并且提供可以包括标识符并表示多个对象的签名。
标识符可以是用于检索重要部分的检索信息。
多次迭代中的至少一些迭代可以是多次迭代中的大多数迭代。
多次迭代的输出可以包括对于媒体单元的多个分段中的每个分段的多个性质属性；并且其中，多次迭代的输出的重要部分可以包括更具影响力的性质属性。
多次迭代的第一迭代可以包括通过在媒体单元上应用不同的过滤器来应用维度扩展过程。
多次迭代中的至少一些迭代不包括多次迭代中的至少第一迭代。
确定迭代的生成元素的相关性可以基于至少一个先前迭代的相关生成元素的至少一些身份。
确定迭代的生成元素的相关性可以基于在该迭代之前的至少一个先前迭代的相关生成元素的至少一些身份。
确定迭代的生成元素的相关性可以基于媒体单元的性质。
确定迭代的生成元素的相关性可以由迭代的生成元素执行。
非暂时性计算机可读介质可以存储用于通过神经网络的一层或更多层来执行神经网络处理操作的指令，其中，该神经网络处理操作并不属于多次迭代中的至少一些迭代。
非暂时性计算机可读介质可以执行至少一次迭代而不会降低一层或更多层的不相关神经元的功耗。
一层或更多层输出关于媒体单元的性质的信息，其中，该信息不同于多个对象的标识。
通过不同于第一迭代的迭代的生成元素来应用维度扩展过程可以包括分配输出值，该输出值可以指示该迭代的相关生成元素的身份。
通过与第一迭代不同的迭代的生成元素来应用维度扩展过程可以包括分配输出值，该输出值可以指示维度扩展过程的历史，直到与第一迭代不同的迭代为止。
每个生成元素可以与参考标识符的子集相关联，并且其中，迭代的每个生成元素的相关性的确定可以基于生成元素的参考标识符的子集与迭代之前的最后合并操作的输出之间的关系。
迭代的维度扩展过程的输出可以是媒体单元的多维表示，该媒体单元的多维表示可以包括感兴趣的媒体单元区域，该感兴趣的媒体单元区域可以与生成感兴趣区域的一个或更多个扩展过程相关联。
迭代的合并操作可以包括基于感兴趣的多维区域的子组之间的空间关系来选择感兴趣的媒体单元区域的子组。
非暂时性计算机可读介质可以存储用于在感兴趣的多维区域的子组上应用合并函数的指令。
非暂时性计算机可读介质可以存储用于在感兴趣的多维区域的子组上应用交集函数的指令。
迭代的合并操作可以基于一个或更多个感兴趣的多维区域的实际大小。
迭代的合并操作可以基于感兴趣的多维区域的大小之间的关系。
迭代的合并操作可以基于至少在迭代和一个或该多个先前迭代期间感兴趣的媒体单元区域的变化。
可以提供签名生成器，该签名生成器可以包括：输入端，该输入端可以被配置为接收或生成多个对象的媒体单元；处理器，该处理器可以被配置为通过执行多次迭代来处理媒体单元，其中，多次迭代中的至少一些迭代可以包括通过该迭代的生成元素来应用可以随后进行合并操作的维度扩展过程；其中，应用迭代的维度扩展过程可以包括确定迭代的生成元素的相关性；通过迭代的相关生成元素来完成维度扩展过程，并降低不相关生成元素的功耗，直到至少完成维度扩展过程的应用为止；标识符单元，该标识符单元可以被配置为确定可以与多次迭代的输出的重要部分相关联的标识符；以及输出端，该输出端可以被配置为提供签名，该签名可以包括标识符并代表多个对象。
标识符可以是用于检索重要部分的检索信息。
多次迭代中的至少一些迭代可以是多次迭代中的大多数迭代。
多次迭代的输出可以包括对于媒体单元的多个分段中的每个分段的多个性质属性；并且其中，多次迭代的输出的重要部分可以包括更具影响力的性质属性。
多次迭代的第一迭代可以包括通过在媒体单元上应用不同的过滤器来应用维度扩展过程。
多次迭代中的至少一些迭代不包括多次迭代中的至少第一迭代。
确定迭代的生成元素的相关性可以基于至少一个先前迭代的相关生成元素的至少一些身份。
确定迭代的生成元素的相关性可以基于在该迭代之前的至少一个先前迭代的相关生成元素的至少一些身份。
确定迭代的生成元素的相关性可以基于媒体单元的性质。
确定迭代的生成元素的相关性可以由迭代的生成元素执行。
签名生成器可以包括一层或更多层的神经网络，该神经网络可以被配置为执行神经网络处理操作，其中，该神经网络处理操作不属于多次迭代中的至少一些迭代。
可以执行至少一次迭代而不会降低一层或更多层的不相关神经元的功耗。
一层或更多层输出关于媒体单元的性质的信息，其中，该信息不同于多个对象的标识。
通过不同于第一迭代的迭代的生成元素来应用维度扩展过程可以包括分配输出值，该输出值可以指示该迭代的相关生成元素的身份。
通过与第一迭代不同的迭代的生成元素来应用维度扩展过程可以包括分配输出值，该输出值可以指示维度扩展过程的历史，直到与第一迭代不同的迭代为止。
每个生成元素可以与参考标识符的子集相关联，并且其中，迭代的每个生成元素的相关性的确定可以基于生成元素的参考标识符的子集与迭代之前的最后合并操作的输出之间的关系。
迭代的维度扩展过程的输出可以是媒体单元的多维表示，该媒体单元的多维表示可以包括感兴趣的媒体单元区域，该感兴趣的媒体单元区域可以与生成感兴趣区域的一个或更多个扩展过程相关联。
迭代的合并操作可以包括基于感兴趣的多维区域的子组之间的空间关系来选择感兴趣的媒体单元区域的子组。
签名生成器可以被配置为在感兴趣的多维区域的子组上应用合并函数。
签名生成器可以被配置为在感兴趣的多维区域的子组上应用交集函数。
迭代的合并操作可以基于一个或更多个感兴趣的多维区域的实际大小。
迭代的合并操作可以基于感兴趣的多维区域的大小之间的关系。
迭代的合并操作可以基于至少在迭代和一个或更多个先前迭代期间感兴趣的媒体单元区域的变化。
可以提供一种通过一组计算元素低功率计算媒体单元的签名的方法，该方法可以包括计算媒体单元的分段的多个属性，其中，该计算可以包括：通过多个计算元素中的每个计算元素，确定计算单元与媒体单元的相关性，以提供不相关计算元素和相关计算元素；降低每个不相关计算元素的功耗；并且通过相关计算元素完成对媒体单元的分段的多个属性的计算；从媒体单元的分段的多个属性中确定可以与重要属性相关联的标识符；并且提供可以包括该标识符并表示多个对象的签名。
计算元素可以是生成元素。
每个计算元素可以与一个或更多个参考标识符的子集相关联；并且其中，计算单元与媒体单元的相关性的确定可以基于子集和与媒体单元有关的标识符之间的关系。
每个计算元素可以与一个或更多个参考标识符的子集相关联；并且其中，当与媒体单元有关的标识符可以包括子集的每个参考标识符时，计算元素可以与媒体单元有关。
媒体单元的分段的多个属性的计算可以多次迭代执行；并且其中，每次迭代可以由与该迭代相关联的计算元素执行；其中，每次迭代可以执行通过多个计算元素中的每个计算元素确定计算单元与媒体单元的相关性。
在多次迭代之前，可以通过一层或更多层的神经网络来计算初始媒体单元属性。
可以提供一种通过一组计算元素低功率计算媒体单元的签名的非暂时性计算机可读介质，该非暂时性计算机可读介质可以存储指令，该指令用于计算媒体单元的分段的多个属性；其中，该计算可以包括：通过多个计算元素中的每个计算元素，确定计算单元与媒体单元的相关性，以提供不相关计算元素和相关计算元素；降低每个不相关计算元素的功耗；并且通过相关计算元素完成对媒体单元的分段的多个属性的计算；从媒体单元的分段的多个属性中确定可以与重要属性相关联的标识符；并且提供可以包括该标识符并表示多个对象的签名。
计算元素可以是生成元素。
每个计算元素可以与一个或更多个参考标识符的子集相关联；并且其中，计算单元与媒体单元的相关性的确定可以基于子集和与媒体单元有关的标识符之间的关系。
每个计算元素可以与一个或更多个参考标识符的子集相关联；并且其中，当与媒体单元有关的标识符可以包括子集的每个参考标识符时，计算元素可以与媒体单元有关。
媒体单元的分段的多个属性的计算可以多次迭代执行；并且其中，每次迭代可以由与该迭代相关联的计算元素执行；其中，每次迭代可以执行通过多个计算元素中的每个计算元素确定计算单元与媒体单元的相关性。
在多次迭代之前，可以通过一层或更多层的神经网络来计算初始媒体单元属性。
可以提供签名生成器，该签名生成器可以包括处理器，该处理器可以被配置为计算媒体单元的分段的多个属性；其中，该计算可以包括：由处理器的多个计算元素中的每个计算元素确定计算单元与媒体单元的相关性，以提供不相关计算元素和相关计算元素；降低每个不相关计算元素的功耗；并且通过相关计算元素完成对媒体单元的分段的多个属性的计算；标识符单元，该标识符单元可以被配置为确定可以与媒体单元的分段的多个属性中的重要属性相关联的标识符；以及输出端，该输出端可以被配置为提供签名，该签名可以包括标识符并代表多个对象。
计算元素可以是生成元素。
每个计算元素可以与一个或更多个参考标识符的子集相关联；并且其中，计算单元与媒体单元的相关性的确定可以基于子集和与媒体单元有关的标识符之间的关系。
每个计算元素可以与一个或更多个参考标识符的子集相关联；并且其中，当与媒体单元有关的标识符可以包括子集的每个参考标识符时，计算元素可以与媒体单元有关。
媒体单元的分段的多个属性的计算可以以多次迭代执行；并且其中，每次迭代可以由与该迭代相关联的计算元素执行；其中，每次迭代可以执行通过多个计算元素中的每个计算元素确定计算单元与媒体单元的相关性。
在多次迭代之前，可以通过一层或更多层的神经网络来计算初始媒体单元属性。
可以提供一种用于生成媒体单元的混合表示的方法，该方法可以包括：接收或生成媒体单元；通过执行多次迭代来处理媒体单元，其中，多次迭代中的至少一些迭代可以包括：通过该迭代的生成元素来应用维度扩展过程，该维度扩展过程之后可以进行合并操作；基于多次迭代的输出，选择对多次迭代的输出有贡献的感兴趣的媒体单元区域；并且提供混合表示，其中，该混合表示可以包括关于感兴趣的媒体单元区域的形状的形状信息，以及可以包括标识感兴趣的媒体单元区域的标识符的媒体单元签名。
可以在媒体单元的多个分段中的每个分段中执行对感兴趣的媒体区域的选择。
形状信息可以包括表示大体上界定感兴趣的媒体单元区域的形状的多边形。
提供媒体单元的混合表示可以包括压缩媒体单元的形状信息以提供媒体单元的压缩的形状信息。
该方法可以包括：将媒体单元的媒体单元签名与多个概念结构的签名进行比较，以找到具有至少一个与媒体单元签名匹配的匹配签名的匹配概念结构；并且计算可以与媒体单元的感兴趣区域有关的更高精度的形状信息，其中该更高精度的形状信息可以比该媒体单元的压缩的形状信息具有更高的精度，其中该计算可以基于与至少一些匹配签名相关联的形状信息。
该方法可以包括使用更高精度的形状信息来确定感兴趣的媒体单元区域的形状。
对于每个感兴趣的媒体单元区域，计算更高精度的形状信息可以包括将至少一些匹配签名的相应的感兴趣的媒体单元的形状进行虚拟叠加。
可以提供一种用于生成媒体单元的混合表示的非暂时性计算机可读介质，该非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成媒体单元；通过执行多次迭代来处理媒体单元，其中多次迭代中的至少一些迭代可以包括通过该迭代的生成元素来应用随后可以进行合并操作的维度扩展过程；基于多次迭代的输出，选择对多次迭代的输出有贡献的感兴趣的媒体单元区域；并且提供混合表示，其中该混合表示可以包括关于感兴趣的媒体单元区域的形状的形状信息，以及可以包括标识感兴趣的媒体单元区域的标识符的媒体单元签名。
可以在媒体单元的多个分段中的每个分段中执行对感兴趣的媒体区域的选择。
形状信息可以包括表示大体上界定感兴趣的媒体单元区域的形状的多边形。
提供媒体单元的混合表示可以包括压缩媒体单元的形状信息以提供媒体单元的压缩的形状信息。
非暂时性计算机可读介质可以存储指令，该指令用于：将媒体单元的媒体单元签名与多个概念结构的签名进行比较，以找到具有至少一个与媒体单元签名匹配的匹配签名的匹配概念结构；并且计算与媒体单元的感兴趣区域有关的更高精度的形状信息，其中该更高精度的形状信息可以比该媒体单元的压缩的形状信息具有更高的精度，其中该计算可以基于与至少一些匹配签名相关联的形状信息。
非暂时性计算机可读介质可以存储用于使用更高精度的形状信息来确定感兴趣的媒体单元区域的形状的指令。
对于每个感兴趣的媒体单元区域，计算更高精度的形状信息可以包括将至少一些匹配签名的相应的感兴趣的媒体单元的形状进行虚拟叠加。
可以提供用于生成媒体单元的混合表示的混合表示生成器，该混合表示生成器可以包括：输入端，该输入端可以被配置为接收或生成媒体单元；处理器，该处理器可以被配置为通过执行多次迭代来处理媒体单元，其中多次迭代中的至少一些迭代可以包括通过该迭代的生成元素来应用随后可以进行合并操作的维度扩展过程；选择单元，该选择单元可以被配置为基于多次迭代的输出，选择对多次迭代的输出有贡献的感兴趣的媒体单元区域；以及输出端，该输出端可以被配置为提供混合表示，其中该混合表示可以包括关于感兴趣的媒体单元区域的形状的形状信息，以及可以包括标识感兴趣的媒体单元区域的标识符的媒体单元签名。
可以在媒体单元的多个分段中的每个分段中执行对感兴趣的媒体区域的选择。
形状信息可以包括表示大体上界定感兴趣的媒体单元区域的形状的多边形。
混合表示生成器可以被配置为压缩媒体单元的形状信息以提供媒体单元的压缩的形状信息。
可以提供用于尺度不变对象检测的方法，该方法可以包括接收或生成对象以第一尺度出现的第一图像和对象以不同于第一尺度的第二尺度出现的第二图像；生成第一图像签名和第二图像签名；其中，第一图像签名可以包括第一组至少一个特定第一图像标识符，该标识符标识对象的至少一部分；其中，第二图像签名可以包括第二组特定第二图像标识符，该标识符标识该对象的不同部分；其中，第二组可以大于第一组；并且在至少一个特定第一图像标识符和特定第二图像标识符之间进行链接。
该方法可以包括在第一图像签名、第二图像签名和对象之间进行链接。
链接可以包括将第一签名和第二签名添加到可以与对象相关联的特定概念结构。
该方法可以包括接收或生成输入图像；生成输入图像的签名；将输入图像的签名与特定概念结构的签名进行比较；以及当特定概念结构的签名中的至少一个与输入图像的签名匹配时，确定该输入图像可以包括对象。
该方法可以包括接收或生成输入图像；生成输入图像的签名，该输入图像的签名可以仅包括特定第二图像标识符中的一些特定第二图像标识符；其中输入图像具有第二尺度；将输入图像的尺度改变为第一尺度以提供修改后的输入图像；生成修改后的输入图像的签名；以及当修改后的输入图像的签名可以包括至少一个特定第一图像标识符时，验证该输入图像可以包括对象。
该方法可以包括接收或生成输入图像；生成输入图像的签名；在输入图像的签名中搜索以下至少一项：(a)至少一个特定第一图像标识符，和(b)特定第二图像标识符；以及当输入图像的签名可以包括(a)至少一个特定第一图像标识符和(b)特定第二图像标识符中的至少一项时，确定该输入图像可以包括对象。
该方法可以包括接收或生成输入图像；生成输入图像的签名；在输入图像的签名中搜索以下至少一项：(a)至少一个特定第一图像标识符中的一个或更多个特定第一图像标识符，和(b)特定第二图像标识符中的至少一个特定第二图像标识符；以及当输入图像的签名可以包括以下至少一项时确定该输入图像包括对象：(a)至少一个特定第一图像标识符中的一个或更多个特定第一图像标识符，和(b)至少一个特定第二图像标识符。
可以提供用于尺度不变对象检测的非暂时性计算机可读介质，该非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成对象以第一尺度出现的第一图像和对象以不同于第一尺度的第二尺度出现的第二图像；生成第一图像签名和第二图像签名；其中，第一图像签名可以包括第一组至少一个特定第一图像标识符，该标识符标识对象的至少一部分；其中，第二图像签名可以包括第二组特定第二图像标识符，该标识符标识该对象的不同部分；其中，第二组可以大于第一组；并且在至少一个特定第一图像标识符和特定第二图像标识符之间进行链接。
非暂时性计算机可读介质可以存储用于在第一图像签名、第二图像签名和对象之间进行链接的指令。
链接可以包括将第一签名和第二签名添加到可以与对象相关联的特定概念结构。
非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成输入图像；生成输入图像的签名；将输入图像的签名与特定概念结构的签名进行比较；并且当特定概念结构的签名中的至少一个签名与输入图像的签名匹配时，确定该输入图像可以包括对象。
非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成输入图像；生成输入图像的签名，该输入图像的签名可以仅包括特定第二图像标识符中的一些特定第二图像标识符；其中，输入图像具有第二尺度；将输入图像的尺度改变为第一尺度以提供修改后的输入图像；生成修改后的输入图像的签名；以及当修改后的输入图像的签名可以包括至少一个特定第一图像标识符时，验证该输入图像可以包括对象。
非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成输入图像；生成输入图像的签名；在输入图像的签名中搜索以下至少一项：(a)至少一个特定第一图像标识符，和(b)特定第二图像标识符；以及当输入图像的签名可以包括(a)至少一个特定第一图像标识符和(b)特定第二图像标识符中的至少一项时，确定该输入图像包括对象。
非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成输入图像；生成输入图像的签名；在输入图像的签名中搜索以下至少一项：(a)至少一个特定第一图像标识符中的一个或更多个特定第一图像标识符，以及(b)特定第二图像标识符中的至少一个特定第二图像标识符；以及当输入图像的签名可以包括以下至少一项时确定该输入图像包括对象：(a)至少一个特定第一图像标识符中的一个或更多个特定第一图像标识符，以及(b)至少一个特定第二图像标识符。
可以提供用于标度不变对象检测的对象检测器，该对象检测器可以包括输入端，该输入端可以被配置为接收对象以第一尺度出现的第一图像和对象以不同于第一尺度的第二尺度出现的第二图像；签名生成器，该签名生成器可以被配置为生成第一图像签名和第二图像签名；其中，第一图像签名可以包括第一组至少一个特定第一图像标识符，该标识符标识对象的至少一部分；其中，第二图像签名可以包括第二组特定第二图像标识符，该标识符标识该对象的不同部分；其中，第二组可以大于第一组；以及对象检测确定单元，该对象检测确定单元可以被配置为在至少一个特定第一图像标识符和特定第二图像标识符之间链接。
对象检测确定单元可以被配置为在第一图像签名、第二图像签名和对象之间链接。
对象检测确定单元可以被配置为将第一签名和第二签名添加到可以与对象相关联的特定概念结构。
输入端可以被配置为接收输入图像；其中信号发生器可以被配置为生成输入图像的签名；其中对象检测确定单元可以被配置为将输入图像的签名与特定概念结构的签名进行比较，并且当特定概念结构的签名中的至少一个签名与输入图像的签名匹配时，确定该输入图像可以包括对象。
输入端可以被配置为接收输入图像；其中签名生成器可以被配置为生成输入图像的签名，输入图像的签名可以仅包括特定第二图像标识符中的一些特定第二图像标识符；其中输入图像具有第二尺度；其中，输入端可以被配置为接收通过将输入图像的尺度改变为第一尺度而生成的修改后的输入图像；其中签名生成器可以被配置为生成修改后的输入图像的签名；并且其中，对象检测确定单元可以被配置为当修改后的输入图像的签名可以包括至少一个特定第一图像标识符时，验证该输入图像可以包括对象。
输入端可以被配置为接收输入图像；其中签名生成器可以被配置为生成输入图像的签名；其中，对象检测确定单元可以被配置为在输入图像的签名中搜索(a)至少一个特定第一图像标识符和(b)特定第二图像标识符中的至少一项；并且当输入图像的签名可以包括(a)至少一个特定第一图像标识符和(b)特定第二图像标识符中的至少一项时，确定该输入图像包括对象。
输入端可以被配置为接收输入图像；其中签名生成器可以被配置为生成输入图像的签名；其中，对象检测确定单元可以被配置为在输入图像的签名中搜索以下至少一项：(a)至少一个特定第一图像标识符中的一个或更多个特定第一图像标识符，以及(b)特定第二图像标识符中的至少一个特定第二图像标识符；以及当输入图像的签名可以包括以下至少一项时确定该输入图像包括对象：(a)至少一个特定第一图像标识符中的一个或更多个特定第一图像标识符，以及(b)至少一个特定第二图像标识符。
可以提供一种用于基于运动的对象检测的方法，该方法可以包括：接收或生成可以包括图像序列的视频流；生成图像的图像签名；其中，每个图像可以与可以包括标识符的图像签名相关联；其中，每个标识符标识图像内的感兴趣区域；生成指示感兴趣区域在图像序列的连续图像内的运动的运动信息；基于该运动信息，搜索跟随第一运动的第一组感兴趣区域；其中，不同的第一感兴趣区域可以与对象的不同部分相关联；以及在标识第一组感兴趣区域的第一标识符之间进行链接。
链接可以包括在包括第一链接的标识符的第一图像签名之间的链接。
链接可以包括将第一图像签名添加到第一概念结构，该第一概念结构可以与第一图像相关联。
该方法可以包括接收或生成输入图像；生成输入图像的签名；将输入图像的签名与第一概念结构的签名进行比较；以及当第一概念结构的签名中的至少一个与输入图像的签名匹配时，确定该输入图像可以包括第一对象。
该方法可以包括接收或生成输入图像；生成输入图像的签名；在输入图像的签名中搜索至少一个第一标识符；以及当输入图像的签名可以包括至少一个第一标识符时，确定该输入图像可以包括对象。
该方法可以包括生成指示每个图像内每个感兴趣区域的位置的位置信息；其中，生成运动信息可以基于该位置信息。
可以提供一种用于基于运动的对象检测的非暂时性计算机可读介质，该非暂时性计算机可读介质可以包括：接收或生成可以包括图像序列的视频流；生成图像的图像签名；其中，每个图像可以与可以包括标识符的图像签名相关联；其中，每个标识符标识图像内的感兴趣区域；其中，不同的感兴趣区域包括不同的对象；生成指示感兴趣区域在图像序列的连续图像内的运动的运动信息；基于该运动信息，搜索跟随第一运动的第一组感兴趣区域；以及在标识第一组感兴趣区域的第一标识符之间进行链接。
链接可以包括在包括第一链接的标识符的第一图像签名之间的链接。
链接可以包括将第一图像签名添加到第一概念结构，该第一概念结构可以与第一图像相关联。
非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成输入图像；生成输入图像的签名；将输入图像的签名与第一概念结构的签名进行比较；并且当第一概念结构的签名中的至少一个签名与输入图像的签名匹配时，确定该输入图像可以包括第一对象。
非暂时性计算机可读介质可以存储指令，该指令用于：接收或生成输入图像；生成输入图像的签名；在输入图像的签名中搜索至少一个第一标识符；以及当输入图像的签名可以包括至少一个第一标识符时，确定该输入图像可以包括对象。
非暂时性计算机可读介质可以存储用于生成位置信息的指令，该位置信息指示每个图像内每个感兴趣区域的位置；其中，生成运动信息可以基于该位置信息。
可以提供一种对象检测器，该对象检测器可以包括：输入端，该输入端可以被配置为接收可以包括图像序列的视频流；签名生成器，该签名生成器可以被配置为生成图像的图像签名；其中，每个图像可以与可以包括标识符的图像签名相关联；其中，每个标识符标识图像内的感兴趣区域；运动信息单元，该运动信息单元可以被配置为生成指示感兴趣区域在图像序列的连续图像内的运动的运动信息；对象检测确定单元，该对象检测确定单元可以被配置为基于运动信息搜索跟随第一运动的第一组感兴趣区域；其中，不同的第一感兴趣区域可以与对象的不同部分相关联；以及标识第一组感兴趣区域的第一标识符之间的链接。
链接可以包括在包括第一链接的标识符的第一图像签名之间的链接。
链接可以包括将第一图像签名添加到第一概念结构，该第一概念结构可以与第一图像相关联。
输入端可以被配置为接收输入图像；其中，签名生成器可以被配置为生成输入图像的签名；并且其中，对象检测确定单元可以被配置为将输入图像的签名与第一概念结构的签名进行比较；并且当第一概念结构的签名中的至少一个签名与输入图像的签名匹配时，确定该输入图像可以包括第一对象。
输入端可以被配置为接收输入图像；其中，签名生成器可以被配置为生成输入图像的签名；并且其中，对象检测确定单元可以被配置为在输入图像的签名中搜索至少一个第一标识符；并且当输入图像的签名可以包括第一标识符中的至少一个时，确定该输入图像可以包括对象。
对象检测器可以被配置为生成位置信息，该位置信息指示每个图像内每个感兴趣区域的位置；其中，运动信息的生成可以基于该位置信息。
可以提供一种用于对象检测的方法，该方法可以包括：接收输入图像；生成输入图像的签名；将输入图像的签名与概念结构的签名进行比较；基于签名匹配标准来确定输入图像的签名是否与概念结构的任何签名相匹配，其中，概念结构的每个签名可以在可以基于签名的对象检测参数确定的签名匹配标准内相关联；并且基于确定的结果，得出该输入图像可以包括与概念结构相关联的对象的结论。
可以通过评估在不同签名匹配标准下的签名的对象检测能力来确定每个签名匹配标准。
在不同签名匹配标准下对签名的对象检测能力的评估可以包括：接收或生成一组测试图像的签名；针对不同签名匹配标准中的每个签名匹配标准，计算签名的对象检测能力；并且基于不同签名匹配标准下签名的对象检测能力，选择签名匹配标准。
对象检测能力反映出一组测图像的与该签名匹配的签名的百分比。
签名匹配标准的选择可以包括选择签名匹配标准，该签名匹配标准在被应用时导致该一组测试图像的与该签名匹配的签名的百分比可以与该一组测试图像的与该签名匹配的签名的预定义期望百分比最接近。
签名匹配标准可以是指示匹配的匹配标识符的最小数量。
可以提供一种用于管理概念结构的方法，该方法可以包括确定向该概念结构添加新签名，其中该概念结构可以已经包括至少一个旧签名；其中，签名可以包括标识对象的至少部分的标识符；并且确定可以基于新签名的标识符中的一个或更多个的新签名匹配标准；其中新签名匹配标准确定另一签名何时与新签名匹配；其中确定新签名匹配标准可以包括在不同签名匹配标准下评估签名的对象检测能力。
在不同签名匹配标准下对签名的对象检测能力的评估可以包括：接收或生成一组测试图像的签名；针对不同签名匹配标准中的每个签名匹配标准，计算签名的对象检测能力；并且基于不同签名匹配标准下签名的对象检测能力，选择签名匹配标准。
对象检测能力反映出一组测试图像的与签名匹配的签名的百分比。
签名匹配标准的选择可以包括选择签名匹配标准，该签名匹配标准在被应用时导致该一组测试图像的与该签名匹配的签名的百分比可以与该一组测试图像的与该签名匹配的签名的预定义期望百分比最接近。
签名匹配标准可以是指示匹配的匹配标识符的最小数量。
可以提供一种用于对象检测的非暂时性计算机可读介质，该非暂时性计算机可读介质可以存储指令，该指令用于：接收输入图像；生成输入图像的签名；将输入图像的签名与概念结构的签名进行比较；基于签名匹配标准来确定输入图像的签名是否与概念结构的任何签名相匹配，其中，概念结构的每个签名可以在可以基于签名的对象检测参数确定的签名匹配标准内相关联；并且基于确定的结果，得出该输入图像可以包括与概念结构相关联的对象的结论。
可以通过评估在不同签名匹配标准下的签名的对象检测能力来确定每个签名匹配标准。
在不同签名匹配标准下对签名的对象检测能力的评估可以包括：接收或生成一组测试图像的签名；针对不同签名匹配标准中的每个签名匹配标准，计算签名的对象检测能力；并且基于不同签名匹配标准下签名的对象检测能力，选择签名匹配标准。
对象检测能力反映出一组测试图像的与签名匹配的签名的百分比。
签名匹配标准的选择可以包括选择签名匹配标准，该签名匹配标准在被应用时导致该一组测试图像的与该签名匹配的签名的百分比可以与该一组测试图像的与该签名匹配的签名的预定义期望百分比最接近。
签名匹配标准可以是指示匹配的匹配标识符的最小数量。
可以提供一种用于管理概念结构的非暂时性计算机可读介质，该非暂时性计算机可读介质可以存储指令，该指令用于：确定向该概念结构添加新签名，其中该概念结构可以已经包括至少一个旧签名；其中新签名可以包括标识对象的至少一部分的标识符；并且确定可以基于新签名的标识符中的一个或更多个的新签名匹配标准；其中，新签名匹配标准确定另一签名何时与新签名匹配；其中，确定新的签名匹配标准可以包括在不同的签名匹配标准下评估签名的对象检测能力。
在不同签名匹配标准下对签名的对象检测能力的评估可以包括：接收或生成一组测试图像的签名；针对不同签名匹配标准中的每个签名匹配标准，计算签名的对象检测能力；并且基于不同签名匹配标准下签名的对象检测能力，选择签名匹配标准。
对象检测能力反映出一组测试图像的与该签名匹配的签名的百分比。
签名匹配标准的选择可以包括选择签名匹配标准，该签名匹配标准在应用时导致该一组测试图像的与该签名匹配的签名的百分比可以与该一组测试图像的与该签名匹配的签名的预定义期望百分比最接近。
签名匹配标准可以是指示匹配的匹配标识符的最小数量。
可以提供一种对象检测器，该对象检测器可以包括：输入端，该输入端可以被配置为接收输入图像；签名生成器，该签名生成器可以被配置为生成输入图像的签名；对象检测确定单元，该对象检测确定单元可以被配置为将输入图像的签名与概念结构的签名进行比较；基于签名匹配标准来确定输入图像的签名是否与概念结构的任何签名相匹配，其中，概念结构的每个签名可以在可以基于签名的对象检测参数确定的签名匹配标准内相关联；并且基于确定的结果，得出该输入图像可以包括与概念结构相关联的对象的结论。
根据权利要求所述的对象检测器，可以包括签名匹配标准单元，该签名匹配标准单元可以被配置为通过评估在不同签名匹配标准下的签名的对象检测能力来确定每个签名匹配标准。
输入端可以被配置为接收一组测试图像的签名；其中，签名匹配标准单元可以被配置为针对不同签名匹配标准中的每个签名匹配标准，计算签名的对象检测能力；并基于不同签名匹配条件下签名的对象检测能力，选择签名匹配标准。
根据权利要求所述的对象检测器，其中，对象检测能力反映出一组测试图像的与签名匹配的签名的百分比。
根据权利要求所述的对象检测器，其中，签名匹配标准单元可以被配置为选择签名匹配标准，该签名匹配标准在被应用时导致该组测试图像的与签名匹配的签名的百分比与该组测试图像的与该签名匹配的签名的预定义期望百分比最接近。
根据权利要求所述的对象检测器，其中，签名匹配标准可以是指示匹配的匹配标识符的最小数量。
可以提供一种概念结构管理器，该概念结构管理器可以包括控制器，该控制器可以被配置为确定向该概念结构添加新签名，其中，该概念结构可以已经包括至少一个旧签名；其中，新签名可以包括标识对象的至少部分的标识符；以及签名匹配标准单元，该签名匹配标准单元可以被配置为确定可以基于新签名的标识符中的一个或更多个的新签名匹配标准；其中，新签名匹配标准确定另一签名何时与新签名匹配；其中，确定新签名匹配标准可以包括在不同签名匹配标准下评估签名的对象检测能力。
签名匹配标准单元可以被配置为通过评估在不同签名匹配标准下的签名的对象检测能力来确定每个签名匹配标准。
输入可以被配置为接收一组测试图像的签名；其中，签名匹配标准单元可以被配置为针对不同签名匹配标准中的每个签名匹配标准，计算签名的对象检测能力；并基于不同签名匹配条件下签名的对象检测能力，选择签名匹配标准。
根据权利要求所述的概念管理器，其中，对象检测能力反映出一组测试图像的与签名匹配的签名的百分比。
根据权利要求所述的概念管理器，其中，签名匹配标准单元可以被配置为选择签名匹配标准，该签名匹配标准在被应用时导致该一组测试图像的与该签名匹配的签名的百分比可以与该一组测试图像的与该签名匹配的签名的预定义期望百分比最接近。
可以提供一种用于对车辆的驾驶员进行排名的方法，该方法可以包括：通过至少一个传感器感测车辆的环境以提供感测到的数据；确定(a)由驾驶员驾驶的车辆的车辆行为，以及(b)基于感测到的数据，确定预期的车辆行为；将车辆行为与预期的车辆行为进行匹配以提供匹配结果；发送匹配结果、存储匹配结果或计算驾驶员的得分；并且其中，驾驶员的得分的计算包括：基于匹配结果，决定是否更新驾驶员的得分；并根据该决定，更新驾驶员的得分。
至少一个传感器可以属于车辆。
车辆行为的确定可以至少部分地基于感测到的数据。
该确定可以包括从预期的行为数据库加载预期的车辆行为信息。
该方法可以包括分析感测到的数据以定位一个或更多个交通法规参考点，并且其中该确定可以基于一个或更多个交通法规参考点的不存在或存在。
该确定可以包括访问预期的行为数据库，该数据库存储了交通法规参考点与预期的车辆行为之间的映射。
该方法可以包括仅当驾驶员的得分的至少预定义量存在时才更新驾驶员的得分。
该决定可以包括只要有匹配结果就更新驾驶员的得分。
该方法可以包括根据每个预定义的时间段触发确定。
该方法可以包括根据车辆经过的每个预定义距离触发确定。
该方法可以包括基于驾驶员的当前得分来确定该确定的触发的重复频率。
至少一个传感器可以包括视觉传感器。
至少一个传感器可以包括加速器和速度计。
该方法可以包括：当车辆行为与预期的车辆行为之间存在明显的不匹配时，生成警报。
该方法可以包括当驾驶员的得分可能发生明显变化时生成警报。
该方法可以包括当驾驶员的得分可能低于预定义阈值时生成警报。
可以提供一种存储指令的非暂时性计算机可读介质，该指令用于：通过至少一个传感器感测车辆的环境以提供感测到的数据；确定(a)可以由驾驶员驾驶的车辆的车辆行为，以及(b)基于感测到的数据，确定预期的车辆行为；将车辆行为与预期的车辆行为进行匹配以提供匹配结果；并且发送匹配结果、存储匹配结果或计算驾驶员的得分；并且其中，驾驶员的得分的计算可以包括：基于匹配结果，决定是否更新驾驶员的得分；并根据该决定，更新驾驶员的得分。
根据权利要求所述的非暂时性计算机可读介质，其中，至少一个传感器可以属于车辆。
根据权利要求所述的非暂时性计算机可读介质，其中，车辆行为的确定可以至少部分地基于感测到的数据。
根据权利要求所述的非暂时性计算机可读介质，其中，确定可以包括从预期的行为数据库中加载预期的车辆行为信息。
根据权利要求所述的非暂时性计算机可读介质，其存储用于分析感测到的数据以定位一个或更多个交通法规参考点的指令，并且其中，该确定可以基于一个或更多个交通法规参考点的存在或不存在。
根据权利要求所述的非暂时性计算机可读介质，其中，该确定可以包括访问预期的行为数据库，该预期的行为数据库存储交通法规参考点与预期的车辆行为之间的映射。
根据权利要求所述的非暂时性计算机可读介质可以包括仅当驾驶员的得分的至少预定义量存在时才更新驾驶员的得分。
根据权利要求所述的非暂时性计算机可读介质，其中，该决定可以包括只要有匹配结果就更新驾驶员的得分。
根据权利要求所述的非暂时性计算机可读介质，其存储用于根据每个预定义的时间段触发确定的指令。
根据权利要求所述的非暂时性计算机可读介质，其存储用于根据车辆经过的每个预定义距离触发确定的指令。
根据权利要求所述的非暂时性计算机可读介质，其存储用于基于驾驶员的当前得分来确定该确定的触发的重复频率的指令。
根据权利要求所述的非暂时性计算机可读介质，其中，至少一个传感器可以包括视觉传感器。
根据权利要求所述的非暂时性计算机可读介质，其中，至少一个传感器可以包括加速器和速度计。
根据权利要求所述的非暂时性计算机可读介质，其存储用于在车辆行为与预期的车辆行为之间存在明显不匹配时生成警报的指令。
根据权利要求所述的非暂时性计算机可读介质，其存储用于在驾驶员的得分可能发生明显变化时生成警报的指令。
根据权利要求所述的非暂时性计算机可读介质，其存储用于在驾驶员的得分可能低于预定义阈值时生成警报的指令。
可以提供一种计算机化系统，该计算机化系统可以包括至少一个用于感测车辆的环境以提供感测到的数据的传感器；以及处理电路，该处理电路被配置为：确定(a)由驾驶员驾驶的车辆的车辆行为，以及(b)基于感测到的数据确定预期的车辆行为；将车辆行为与预期的车辆行为进行匹配以提供匹配结果；并且发送匹配结果、存储匹配结果或计算驾驶员的得分；并且其中，驾驶员的得分的计算包括基于匹配结果决定是否更新驾驶员的得分；并根据该决定，更新驾驶员的得分。
可以提供上述任何方法步骤的任何组合。可以提供以上说明的系统、装置的任何组合。可以提供一种或更多种存储任何上述指令的非暂时性计算机可读介质。
避障
应当认识到，在“正常”非辅助驾驶情况下，驾驶员可能会遇到在共同可用的路线图中未必指示的驾驶障碍。例如，道路上存在可能使驾驶过程复杂化的坑洼并不少见。一些坑洼很大，足以损坏车轮或车辆的底盘。因此，当遇到坑洼时，驾驶员可能会转弯以避开坑洼。然而，根据道路的布局和/或交通状况，驾驶员以这种方式做出反应可能是不可行的。还可能的是，根据当前的可见性、车辆的速度和/或驾驶员的机敏性，驾驶员甚至可能无法及时看到坑洼以避开该坑洼。
应当认识到，这样的问题在辅助/自主驾驶场景中也是相关的。如上所述，这样的系统可以使用一个或更多个传感器来获取关于当前驾驶环境的信息，以根据所存储的地图来确定如何沿着道路行驶。可能的是，车辆的一个或更多个传感器可能没有足够提前检测到障碍物，例如坑洼，以使系统能够确定应采取规避动作来避开障碍物并及时执行该动作。应当认识到，由于其他车辆和/或紧邻车辆的行人的存在，这种情况可能会更加复杂。
现在参考图3A，图3A是根据本文描述的实施例构造和操作的示例性障碍物检测和标测系统(下文中称为“系统10”)的部分插图、部分框图的图示。如本文所述，系统10可操作为处理传感器数据以检测并标出道路上的障碍物，以使辅助/自主驾驶系统能够预测并避开车辆路径中的障碍物。
系统10包括车辆100和避障服务器400，车辆100和避障服务器400可以被配置为通过诸如例如互联网的通信网络彼此通信。根据图3A的示例性实施例，车辆100可以配置有自主驾驶系统(未示出)，该自主驾驶系统可操作为在没有驾驶人员干预的情况下向车辆100自主地提供驾驶指令。应当认识到，本文描述的实施例还可以通过辅助(或“半自主”)驾驶系统来支持车辆100的配置，其中在至少某些情况下驾驶人员可以控制车辆100和/或其中在至少某些情况下半自主驾驶系统向驾驶员提供警告，而不必直接控制车辆100。
根据图3A的示例性实施例，车辆100可以配置有至少一个传感器130，以在车辆100沿着道路20行进时提供关于当前驾驶环境的信息。应当认识到，虽然传感器130在图3A中被描绘为单个实体，但是在实践中，如将在下文中描述的那样，在车辆130上或内部可以布置有多个传感器130。根据本文所述的实施例，一个或更多个传感器130可以使用可操作为捕获道路20和其紧邻的对象的图像的常规摄像头来实现。应当认识到，传感器130可以使用任何合适的成像技术来代替常规摄像头或除了常规摄像头之外还可以使用任何合适的成像技术来实现。例如，传感器130还可以操作为使用红外、雷达图像、超声、电光、射线照相、LIDAR(光检测和测距)等。此外，根据一些实施例，一个或更多个传感器130也可以沿着道路20独立地安装，其中来自这样的传感器130的信息可以作为服务被提供给车辆100和/或避障服务器400。
根据图3A的示例性实施例，静态参考点30A和30B(在下文中统称为静态参考点30)可以沿着道路20定位。例如，静态参考点30A被描述为限速标志，而静态参考点30B被描述为出口标志。在操作中，传感器130可以捕获静态参考点30的图像。图像然后可以由车辆100中的自主驾驶系统处理，以提供关于车辆100的当前驾驶环境的信息，例如，速度限制或即将到来的出口的位置。
障碍物40(例如坑洼)可能位于道路20上。根据本文所述的实施例，传感器130还可操作为捕获障碍物40的图像。自主驾驶系统可操作为检测由传感器130提供的图像中障碍物40的存在并确定适当的响应，例如，车辆100是否应该改变速度和/或方向以避免或最小化与障碍物40的碰撞。例如，如果自主驾驶系统确定障碍物40是道路20上的纸片，则可能不需要进一步的动作。然而，如果障碍物40是坑洼，则自主驾驶系统可以指示车辆100减速和/或转弯以避开障碍物40。
应当认识到，自主驾驶系统可能没有足够的处理时间来确定适当的响应；根据车辆100的速度和传感器130捕获障碍物40的图像的距离，车辆100可能在检测到障碍物40之前和/或可以通过自主驾驶系统确定适当的响应之前驶过/穿过障碍物40(或与障碍物碰撞)。根据本文所述的实施例，为了提供用于障碍物检测和响应确定的附加处理时间，车辆100可以与避障服务器400交换障碍物信息。自主驾驶系统可操作为将从传感器130接收到的图像和/或障碍物40的性质的确定上传至避障服务器400，并且避障服务器400可操作为提供以这种方式从其他车辆100接收到的障碍物信息，以使自主驾驶系统能够在从传感器130接收相关图像之前或与之并行地预料到障碍物40并做出反应。
根据系统10和车辆100的配置，避障服务器400和车辆100可以实时(或接近实时)和/或以突发模式交换障碍物信息，其中可以周期性地和/或当条件适合于在避障服务器400和车辆100之间的数据交换时提供障碍物信息。例如，车辆100可以被配置为在发动机被打开(或关闭，具有保持电池功能以便于与避障服务器400的通信)时执行障碍物信息的常规上传/下载。可替代地或另外地，车辆100可以被配置为在静止时(例如，停车或在交通信号灯处等待)并且检测到足够可靠的无线连接时执行这样的上传/下载。可替代地或另外地，上传/下载可以由位置触发，其中当车辆100进入其没有最新障碍物信息的区域时，可以从避障服务器400下载障碍物信息。
还应当认识到，在某些情况下，自主驾驶系统可能根本无法检测到障碍物40；因此，车辆100有可能在没有检测到障碍物40的情况下经过/越过/穿过障碍物40。自主驾驶系统可具有可用于在有限的时间段内分析来自传感器130的图像的有限资源，以确定当前相关的驾驶策略。应当理解，如果由于某种原因(例如，行驶速度、能见度等)，自主驾驶系统没有实时或近乎实时地检测到障碍物40，那么继续处理车辆100上的图像几乎不会带来任何好处。然而，“错过的”障碍物40的检测可能对道路20上的另一车辆100有益。
因此，在系统10的一些配置中，车辆100还可被配置为从传感器130上传原始驾驶数据，以由避障服务器400进行处理以检测障碍物40。如上所述，然后可以由避障服务器400提供与以这种方式检测到的障碍物40相关联的障碍物信息。
还应当认识到，能够使用非图像数据从原始驾驶数据中检测障碍物40。例如，至少一个传感器130可以被实现为控制车辆100的减震器的电子控制单元(ECU)。避障服务器400可以被配置为确定由减震器ECU记录的某种幅度和/或模式的一次或更多次冲击可以指示坑洼。
根据本文所述的一些实施例，由避障服务器400用来检测障碍物40的原始驾驶数据的来源可能不仅限于带有自主驾驶系统的车辆100。避障服务器400还可以从手动驾驶的车辆和/或借助半自主驾驶系统的车辆接收原始驾驶数据。应当认识到，在这种车辆中，原始驾驶数据可以包括驾驶员识别障碍物40的指示。例如，当驾驶员检测到障碍物40时，例如看到一个坑洼时，驾驶员可能在接近障碍物40时减速、转弯避开障碍物和/或甚至改变车道。因此，由避障服务器400处理的原始驾驶数据还可以包括从没有自主驾驶系统的车辆上传的原始数据。
避障服务器400可以使用有监督和/或无监督的学习方法来检测原始驾驶数据中的障碍物40；因此，可以基于原始驾驶数据的无监督分析和/或使用手动标记和提取来准备用于检测障碍物40和确定相关驾驶策略的参考数据集。
将认识到，精确定位障碍物40的位置可能不是一件容易的事。虽然通常可以假定车辆100配置有基于位置的服务，例如全球定位卫星(GPS)系统，但此类系统可能不一定足够准确以提供有关障碍物40的预期位置的足够分辨率。例如，一种用于规避动作的可能的驾驶策略可能需要通过转弯或改变道路20上的车道来避开障碍物40。如果基于位置的服务仅精确到五英尺以内，则在车道内转弯实际上可能会增加车辆100撞到坑洼的可能性。类似地，可能不能够确定障碍物40位于哪个车道中。
根据本文所述的实施例，可以在系统10中使用静态参考点30来更准确地确定障碍物40的位置；因此，障碍物40的位置可以被定义为相对于静态参考点30之一的固定位置的偏移。例如，在图3A的示例性实施例中，障碍物40的位置可以被定义为经过静态参考点30A的“x”英尺，其中以英尺为单位的距离可以根据传感器130所使用的摄像头的每秒帧数和车辆100的速度来计算。可替代地或另外地，可以采用两个传感器130来使用三角测量确定静态参考点30A与障碍物40之间的距离。可替代地或另外地，可以使用参考点30A和30B两者进行三角测量来计算距离。
应当认识到，如上所述，障碍物40可以是“持久性障碍物”，因为可以合理地预期它会在道路20上保持长的时间段。例如，坑洼在修复之前通常会保留几个月(甚至大小增加)。但是，某些障碍物在本质上可能更短暂。例如，倒在道路上的树木或交通事故造成的碎屑通常可以在几个小时内从道路20上移走。至少在某些情况下，这种暂时性障碍物可能比持久性障碍物更容易检测，例如，倒下的树木比坑洼更容易被接近的车辆识别出来。
因此，将认识到，用于暂时性障碍物的驾驶策略可以与用于持久性障碍物的驾驶策略不同。例如，在障碍物40是可能被认为是持久性的坑洼的情况下，相关联的驾驶策略可能会通过执行规避动作(例如，转弯或改变车道)而使自主驾驶系统“谨慎行事”，即使在车辆100到达坑洼的预期位置时，在传感器130提供的数据中未检测到坑洼，也是如此。但是，在障碍物40是道路20上的树木的情况下，相关联的驾驶策略可能在到达树木的预期位置之前使自主驾驶系统执行预防性动作(例如减速)，但如果根据传感器130提供的数据实际上没有检测到树木，则不执行规避动作。
还应当认识到，一些障碍物可能是暂时性障碍物在同一位置重复出现的“重复出现的障碍物”。例如，重复出现的障碍物50表示道路20中的轻微凹陷。当车辆100驶过道路20中的轻微凹陷时对车辆100的影响可以是最小的。但是，在某些情况下，可能会观察到，下雨时轻微凹陷可能填满水或泥浆，或者在冬天间歇性地结冰。因此，与用于障碍物40的驾驶策略相比，用于重复出现的障碍物50的驾驶策略可以更重地权衡其他环境因素，例如季节或天气。
现在参考图3B，图3B是根据本文描述的实施例构造和实现的示例性自主驾驶系统200(在下文中也称为系统200)的框图。自主驾驶系统200包括处理电路系统210，输入/输出(I/O)模块220、摄像头230、遥测ECU240、震动传感器250、自主驾驶管理器260和障碍物数据库270。自主驾驶管理器260可以在用于存储软件的合适的存储器中实例化，该存储器诸如例如为光存储介质、磁存储介质、电子存储介质和/或它们的组合。应当认识到，自主驾驶系统200可以被实现为车辆(诸如例如，图3A中的车辆100)中的车载计算机系统的集成部件。可替代地，可以实现系统200，并且可以实现与车载计算机系统通信的独立部件。还应当认识到，为了清楚起见，尽管自主驾驶系统200可以包括例如用于车辆100的自主驾驶的附加部件和/或功能，但是这种附加部件和/或功能未在图3B中描绘和/或本文中描述。
处理电路系统210可操作用于执行存储在存储器(未示出)中的指令。例如，处理电路系统210可操作用于执行自主驾驶管理器260。应当认识到，处理电路系统210可以被实现为中央处理单元(CPU)和/或一个或更多个其他集成电路，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、全定制集成电路等或这些集成电路的组合。应当类似地认识到，自主驾驶系统200可包括处理电路系统210的多于一个实例。例如，处理电路系统210的一个这样的实例可以是专用处理器，该专用处理器可操作为执行自主驾驶管理器260以执行如本文所述的自主驾驶系统200的一些或全部功能。
I/O模块220可以是任何合适的通信部件，诸如网络接口卡、通用串行总线(USB)端口、磁盘读取器、调制解调器或收发器，其可操作为使用诸如本领域中已知的协议与系统10(图3A)和/或系统200的其他元件(诸如例如，避障服务器400(图3A)、摄像头230、遥测ECU240和/或震动传感器250)来直接或间接地通信。这样，I/O模块220可操作为使用有线或无线连接来经由诸如局域网、骨干网和/或互联网等的通信网络连接到避障服务器400。模块220还可操作为使用有线或无线连接来连接到系统200的其他部件，例如摄像头230、遥测ECU 240和/或震动传感器250。应当认识到，在操作中，I/O模块220可以被实现为多个模块，其中不同的模块可操作为使用不同的通信技术。例如，提供移动网络连接性的模块可用于连接到避障服务器400，而局域网有线连接可用于连接到摄像头230、遥测ECU 240和/或震动传感器250。
根据本文所述的实施例，摄像头230、遥测ECU 240和震动传感器250表示图3A的一个或更多个传感器130的实施方式。应当认识到，摄像头230、遥测ECU 240和/或震动传感器250可以被实现为车辆100的集成部件(图3A)，并且可以提供出于清楚的目的未在本文中明确描述的其他功能。如下所述，系统200可以使用从摄像头230、遥测ECU 240和/或震动传感器250接收到的有关当前驾驶环境的信息来确定车辆100的适当驾驶策略。
自主驾驶管理器260可以是以硬件、固件或软件实现的应用，其可以由处理电路系统210执行以向车辆100提供驾驶指令。例如，自主驾驶管理器260可以使用从摄像头230接收到的图像和/或从遥测ECU 240接收到的遥测数据来确定用于到达给定目的地的适当的驾驶策略，并相应地向车辆100提供驾驶指令。应当认识到，当确定驾驶策略时，自主驾驶管理器260也可操作为使用其他数据源，例如，潜在路线的地图、交通拥堵报告等。
如图3B所示，自主驾驶管理器260包括障碍物检测器265、障碍物预测器262和避障模块268。应当认识到，作为自主驾驶管理器260的集成部件的障碍物检测器265、障碍物预测器262和避障模块268的描绘可以是示例性的。本文描述的实施例还可以支持将障碍物检测器265、障碍物预测器262和避障模块268实现为例如经由I/O模块220与自主驾驶管理器260通信的独立应用。
障碍物检测器265、障碍物预测器262和避障模块268可以以硬件、固件或软件来实现，并且可以在需要时由自主驾驶管理器260调用，以为确定车辆100的适当驾驶策略提供输入。例如，障碍物检测器265可操作为使用来自一个或更多个传感器130(图3A)(例如，摄像头230、遥测ECU 240和/或震动传感器250)的信息来检测在车辆100例如沿着(或靠近)道路20(图3A)的行驶路径中(或附近)的障碍物。障碍物预测器262可操作为使用从避障服务器400接收到的障碍物信息，以在障碍物检测器265检测到障碍物之前或与其并行地预测沿着或靠近道路20的障碍物的位置。避障模块268可操作为至少基于障碍物检测器265检测到(或未检测到)和/或障碍物预测器262所预测到(或未预测到)的障碍物来确定适当的驾驶策略。
自主驾驶管理器260可以将从避障服务器400接收到的障碍物信息存储在障碍物数据库270中，以供本文所述的障碍物检测器265、障碍物预测器262和避障模块268使用。应当认识到，包括避开检测到的障碍物的驾驶策略的障碍物信息也可以存储在障碍物数据库270中，以供障碍物检测器265、障碍物预测器262和避障模块268使用。
现在还参考图3C，图3C是在车辆100的驾驶会话期间(或之前)由系统200执行的示例性障碍物检测和避免过程300(下文也称为过程300)的流程图。系统100和200的部件在本文中将根据图3A和图3B中的参考数字来指代。
根据本文所述的一些实施例，系统200可以例如从避障服务器400接收(步骤310)障碍物警告，如参考图3A所描述的，使用系统10和/或其他合适的源从其他车辆100接收到的障碍物信息。应当认识到，障碍物警告可以由I/O模块220接收。根据系统100的配置，障碍物警告可以在批次更新过程中周期性地接收和/或通过事件触发，例如，当车辆100开启时、当车辆100进入新的地图区域时、当车辆100进入具有良好无线接收的区域等。应当认识到，在步骤310中接收到的障碍物警告还可以包括障碍物(例如坑洼)的描述。
自主驾驶管理器260可以调用障碍物预测器262来估计(步骤320)与障碍物警告相关联的障碍物的位置。应当认识到，如上所述，尽管障碍物警告可以包括障碍物的GPS坐标，但是坐标可能不够精确以至于无法提供足够精度的位置来以自动方式使用。此外，即使障碍物(例如，障碍物40(图3A))的坐标是精确的，车辆10也将可能处于运动中，并且当车辆10接近障碍物时，可能无法精确地确定车辆10的GPS坐标。
根据本文所述的实施例，障碍物警告中的障碍物信息可包括将用于计算障碍物位置的地标。例如，相关障碍物的位置可以在障碍物警告中指示为与局部地标(例如，一个或更多个静态参考点30(图3A))的偏移。应当认识到，与障碍物40相比，可以从更远的距离看到静态参考点30；路标通常从地面垂直延伸，从而可以在检测到障碍物40之前由一个或更多个传感器130(例如摄像头230)捕获到静态参考点30。然后在一个或更多个传感器130可以实际提供对于相关联的障碍物40的位置的指示之前，障碍物预测器可以使用静态参考点30来预测该位置以作为与一个或更多个静态参考点30的所观察到的位置的偏移。距给定静态参考点30的距离可以根据车辆10的当前速度和摄像头230的每秒帧数设置进行估计。可替代地或另外地，可以使用多个静态参考点通过三角测量来定位障碍物40，例如，可以估计距静态参考点30A和30B两者的距离，然后将其用于预测障碍物40的位置。
应当认识到，在一些实施例中，一个或更多个传感器130可操作为提供距离的估计。例如，一个或更多个传感器可操作为使用雷达图像、LIDAR等。
自主驾驶管理器260可以调用避障模块268以制定(步骤330)预防措施，以避免与障碍物40碰撞或越过障碍物40。避障模块268可以根据存储在障碍物数据库270中的驾驶策略来制定预防措施。应当认识到，障碍物警告可以包括对障碍物40(例如坑洼)的描述。使用障碍物描述和其他可用信息(例如，在步骤320中估计的到障碍物40的距离、当前速度、道路状况等)，避障模块268可以从障碍物数据库270中选择适当的驾驶策略以用于实施。例如，所选择的驾驶策略可能需要降低速度、切换车道(如果在当前条件下可能的话)、在车道内转弯等。应当认识到，可以将障碍物数据库中的驾驶策略预先存储在障碍物数据库270中。应当认识到，可以基于来自实际驾驶会话的图像的监督或非监督分析来导出驾驶策略。某些或全部驾驶策略也可以手动定义。
在某些情况下，所选的驾驶政策可能需要采取更极端的预防措施。例如，障碍物40可以在障碍物警告中被描述为非常大的障碍物，其可以有效地阻挡道路20上的交通，例如，落石或来自多车辆事故的碎屑。在这种情况下，驾驶策略可能需要采取诸如例如靠边停车、停在原地或改变路线等动作。
自主驾驶管理器可以调用障碍物检测器265以确定是否已经检测到障碍物，例如障碍物40(步骤340)。例如，障碍物检测器265可以使用从一个或更多个传感器130接收到的图像来检测道路20中的障碍物40。
应当认识到，在过程300的典型操作中，步骤310-330可能不总是被执行；相反，自主驾驶系统200可能不会在遇到障碍物40之前总是收到障碍物警告。例如，车辆100可以是与系统10相关联的第一个遇到障碍物40的车辆。因此，应当认识到，自主驾驶管理器260可以连续地执行过程300，以试图在车辆100沿着道路20前进时检测并避免障碍物。因此，可以独立于是否已经针对道路20上的给定区域接收到障碍物警告来执行步骤340。然而，应当认识到，如果确实接收到障碍物警告，则障碍物检测器265可以使用相关的障碍物信息来确定所指示的障碍物(例如，障碍物40)是否确实在如障碍物警告中所指示的道路20上。
可替代地或另外地，可以响应于从震动传感器250接收到的信息来检测障碍物检测器265。震动传感器250可以是可操作用于监测车辆100上的减震器的操作的传感器。应当认识到，当在坑洼上行驶时，减震器可以吸收随之产生的震动并使车辆100稳定。还应当认识到，在某些情况下，直到车辆100实际在坑洼上行驶时才可能检测到坑洼。在这种情况下，即使在车辆100已经撞到障碍物40之后，障碍物检测器265仍可以使用来自震动传感器250的信息来检测障碍物40。
如果在步骤340中检测到障碍物40，则自主驾驶管理器260可以调用避障模块268以确定障碍物40是否在车辆100的路径中(步骤350)。应当认识到，道路20上的一些障碍物40可能不在车辆100的直接路径中；一些障碍物40可能位于与车辆100不同的车道上。此外，如果执行了步骤330，则在步骤340中检测到障碍物40之前，车辆100可能已经切换了车道。此外，如果使用震动传感器250检测到障碍物40，则车辆100可能已经越过了障碍物40，使得步骤350的结果可以为“否”。如果在步骤340中没有检测到障碍物40，则过程控制可以进入步骤380。
根据步骤350的结果，如果障碍物40在车辆100的路径中，则避障模块268可以确定障碍物40是否可避免(步骤360)。应当认识到，直到车辆100非常接近时，才可以在步骤340中检测到障碍物40。例如，可见性可能很差，障碍物40可能紧邻道路20中的弯道，障碍物40可能被其周围环境有效地掩盖(例如，某些坑洼无法从远处是不可区分的)，等等。因此，在检测到障碍物40时，可能没有足够的时间在碰撞之前制定避让措施。根据步骤350的结果，如果障碍物40是不可避开的，则过程控制可以进入步骤380。
根据步骤360的结果，如果障碍物40是可避开的，则避障模块268可以指示车辆100避开(步骤370)障碍物40。例如，避障模块268可以指示车辆100跨越障碍物40、在车道内转弯或完全切换车道。
根据步骤360的结果，如果无法避开障碍物40，则避障模块268可以指示车辆100最小化(步骤365)与障碍物40的碰撞。例如，避障模块268可以指示车辆100降低速度和/或转弯以避免撞到障碍物40的中心。过程控制然后可以进入步骤380。
自主驾驶管理器380可以使用I/O模块220将障碍物报告发送到避障服务器400。障碍物报告可以例如包括可由避障服务器400用来确定障碍物40的位置的遥测数据和传感器图像。例如，障碍物报告可以包括来自在步骤340中检测到障碍物40之前给定秒数开始的时间段的摄像头图像(来自摄像头230)和遥测数据(来自遥测ECU 240)。可替代地或另外地，遥测数据和摄像头图像可以来自根据与障碍物40的物理距离而定义的时间段。在适用情况下，障碍物报告还可以包括来自震动传感器250的数据。
根据系统100和200的配置，在步骤340中检测到障碍物40之后，可以实时或接近实时地执行步骤380。可替代地或另外地，步骤380可以以周期性和/或事件触发的批处理来执行。
应当认识到，也可以针对在过程300中的“否”结果来提供障碍物报告。如果在步骤340中没有检测到障碍物40，则可以将障碍物报告提供给避障服务器400，以指示在相关联位置处没有检测到障碍物。应当认识到，在某些情况下，步骤340中的“否”结果可以指示在道路20上可能不再会发现与障碍物警告相关联的障碍物，例如，可能已经填埋了坑洼。在未收到障碍物警告的情况下，“否”结果可能表明默认条件(例如“无障碍物”)对道路20生效。
现在参考图4，图4是根据本文描述的实施例构造和实现的示例性避障服务器400(在下文中也称为服务器400)的框图。服务器400包括处理电路系统410、输入/输出(I/O)模块420、避障管理器460和障碍物数据库470。避障管理器460可以在用于存储软件的合适的存储器中实例化，该存储器诸如例如为光存储介质、磁存储介质、电子存储介质和/或它们的组合。
处理电路系统410可操作用于执行存储在存储器(未示出)中的指令。例如，处理电路系统410可操作用于执行避障管理器260。应当认识到，处理电路系统410可以被实现为中央处理单元(CPU)和/或一个或更多个其他集成电路，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、全定制集成电路等，或这些集成电路的组合。应当类似地认识到，服务器400可包括处理电路系统410的多于一个实例。例如，处理电路系统410的一个这样的实例可以是专用处理器，该专用处理器可操作为执行避障管理器460以执行如本文所述的服务器400的一些或全部功能。
I/O模块420可以是任何合适的通信部件，诸如网络接口卡、通用串行总线(USB)端口、磁盘读取器、调制解调器或收发器，其可操作为使用诸如本领域中已知的协议与系统10(图3A)(诸如例如，系统200(图3B))的其他元件来直接通信或间接地通信。这样，I/O模块420可操作用于使用有线或无线连接以经由诸如局域网、骨干网和/或互联网等的通信网络连接到系统200。应当认识到，在操作中，I/O模块220可以被实现为多个模块，其中不同的模块可操作使用不同的通信技术。例如，提供移动网络连接性的模块可用于无线连接到系统200的一个实例，例如一辆车辆100(图3A)，而局域网有线连接可用于连接到系统100的不同实例，例如不同的车辆100。
避障管理器460可以是以硬件、固件或软件实现的应用，其可以由处理电路系统410执行以向车辆100提供障碍物警告和/或驾驶策略。例如，避障管理器460可以在从车辆100接收到的障碍物报告中使用障碍物信息，以向系统10中的车辆100实时、接近实时和/或成批地提供障碍物警告(图3A)。应当认识到，避障管理器460还可操作为在检测到障碍物并确定驾驶策略(例如，潜在路线的地图、交通拥堵报告等)时使用其他数据源。
如图4所示，避障管理器460包括障碍物提取器462、障碍物分类器464、障碍物策略管理器466和障碍物计时器468。应当认识到，作为避障管理器460的集成部件的障碍物提取器462、障碍物分类器464、障碍物策略管理器466和障碍物计时器468的描绘可以是示例性的。本文描述的实施例还可以支持将障碍物提取器462、障碍物分类器464、障碍物策略管理器466和障碍物计时器468实现为例如经由I/O模块420与避障管理器460通信的独立应用。
障碍物提取器462、障碍物分类器464、障碍物策略管理器466和障碍物计时器468可以以硬件、固件或软件来实现，并且可以在必要时由避障管理器460调用，以向车辆100提供障碍物警告和相关联的驾驶策略。例如，障碍物提取器462可操作为从由车辆100接收到的障碍物报告中提取障碍物信息。障碍物分类器464可操作为根据危险度和/或持久性特征对障碍物进行分类。障碍物策略管理器466可操作为确定针对给定障碍物或障碍物类别的适当驾驶策略。障碍物计时器468可操作为根据障碍物的相关联的障碍物类别来设置障碍物的到期计时器。
避障管理器460可将从车辆100接收到的障碍物信息存储在障碍物数据库270中，以供如本文所述的障碍物提取器462、障碍物分类器464、障碍物策略管理器466和障碍物计时器468使用。应当认识到，障碍物数据库470也可以用于存储障碍物信息，包括由障碍物提取器462、障碍物分类器464、障碍物策略管理器466和障碍物计时器468导出的驾驶策略。
现在还参考图5，图5是将由服务器400执行以支持车辆100(图3A)的驾驶会话的示例性障碍物检测和警告过程500(下文也称为过程500)的流程图。系统10和200的部件在本文中将根据图3A和图3B、图1和图2中的参考数字来指代。类似地，服务器400的部件在本文中将根据图4中的参考数字来指代。
根据本文描述的一些实施例，服务器400可以从车辆100接收(步骤510)障碍物报告。应当认识到，障碍物警告可以由I/O模块420接收。根据系统10的配置，可以在车辆100遇到障碍物40之后实时或接近实时地接收障碍物报告。可替代地或另外地，障碍物报告可以在批次更新过程中周期性地接收和/或通过事件触发，例如，当车辆100开启时、当车辆100进入新的地图区域时、当车辆100进入具有良好无线接收的区域等。应当认识到，在步骤510中接收到的障碍物报告还可包括障碍物40的图像。
应当认识到，如上文关于过程300(图3C)所述，给定的障碍物报告可能不一定通过车辆100检测到障碍物来触发。障碍物报告可以表示GPS数据、摄像头图像、遥测数据和/或可能与障碍物的特定检测不相关的其他传感器数据的周期性上传。障碍物报告还可以与未检测到先前发出的障碍物警告另外指示的障碍物有关。此外，如关于图3A所描述的，来自手动和/或半自主驾驶的车辆的原始驾驶数据也可以被提供给服务器400。根据本文所述的实施例，这种原始驾驶数据也可以与障碍物报告一起输入到过程500。
因此，避障服务器400可以调用障碍物提取器462以分析接收到的障碍物报告和/或原始驾驶数据以确定给定的障碍物报告(或原始驾驶数据)是否包括所报告的障碍(步骤520)，即，障碍物报告在何处具体地解决障碍物，该障碍物是否由车辆100检测到和/或它是否被包括在先前的障碍物警告中。
障碍物提取器462可以确定障碍物报告或原始驾驶数据是否至少包括对所报告的障碍物的引用(reference)(步骤520)。应当认识到，如关于过程300所描述的，即使自主驾驶管理器360并未实际检测到相关联的障碍物，也可以响应于障碍物警告而发送障碍物报告。此类障碍物报告可以仍包含对所报告的障碍物的引用。如果障碍物报告或原始驾驶数据至少包括对所报告的障碍物的引用(步骤520)，则处理可以继续到步骤530。
如果障碍物报告或原始驾驶数据不包括对所报告的障碍物的引用(步骤520)，则障碍物提取器462可以处理(步骤525)障碍物报告(或原始驾驶数据)以提取障碍物的障碍物信息。例如，障碍物提取器464可操作为基于障碍物的图像来检测障碍物，其中该图像可以与存储在障碍物数据库470中的障碍物的参考图像匹配。可替代地或另外地，障碍物提取器464可操作为基于遥测数据来检测障碍物，其中特定驾驶模式可以指示驾驶员避开障碍物。可替代地或另外地，障碍物提取器464可操作为基于减震器数据的分析来检测障碍物，其中震动事件可指示车辆在坑洼上行驶。应当认识到，在步骤525中提取的障碍物信息还可包括参考数据，该参考数据可用于提供所提取的障碍物的位置(例如GPS坐标)、相对于固定参考点30的偏移、雷达图像等。
如果提取了一个或更多个障碍物(步骤529)，则处理控制可以进入步骤530。否则，处理控制可以返回到步骤510。
避障管理器460可以确定所报告的障碍物或提取的障碍物是否是“新”障碍物(步骤530)，即，从过程300的先前迭代，相关联的障碍物对于服务器400是否是已知的。如果障碍物是新障碍物，则避障管理器460可以调用障碍物分类器464以对障碍物进行分类。障碍物分类器464可基于其可能对车辆100造成的危险程度对障碍物进行分类。例如，如果障碍物是相对浅的坑洼，则障碍物分类器可以将其分配为低风险类别。如果障碍物是冰块，则障碍物分类器可以将其分配为中风险类别。如果障碍物是一块大混凝土板，则障碍物分类器可以将其分配为高风险类别。应当认识到，本文提供的用于障碍物及其相关联类别的示例不是限制性的；本文描述的实施例可以支持障碍物和类别的其他组合。
障碍物分类器464还可操作为基于其期望的持续性对障碍物进行分类。例如，坑洼可能是一个持久性障碍物；在首次被观察到后，它预期可能会在道路20上停留数周、数月甚至数年。交通事故造成的碎屑可能是暂时的障碍；可能期望在首次观察到后的几个小时或一两天之内从道路20清除。可能会实质上重复出现一些障碍物；在同一位置可能会间歇性地观察到此类障碍物。例如，基于道路20的地形，水坑或冰块可能倾向于在相同的位置重复出现。一些障碍物可能具有混合持久性特征。例如，在冬季，坑洼也可能趋向于填满雨水/雪和结冰。坑洼本身可能具有持久性，而最终的冰块(或水坑)可能具有重复出现的性质。障碍物分类器464可以相应地例如根据持久性、暂时性、重复出现或混合性对障碍物进行分类(步骤535)。
避障管理器460可以调用障碍物策略管理器466，以至少基于障碍物的类别来设置(步骤539)用于避免障碍物(或至少使与障碍物相关联的风险最小化)的适当的驾驶策略。
如果在步骤530中障碍物不是新障碍物，则避障管理器460可以使用存储在障碍物数据库470中的障碍物信息来确定当前障碍物信息是否与先前观察到的障碍物信息一致(步骤540)。例如，与先前的观察相比，坑洼可能会扩大尺寸和/或填满水/冰。交通事故中的碎屑可能会移动或部分清除。如果当前障碍物信息与所存储的障碍物信息不一致，则避障管理器460可以调用障碍物分类器464以更新(步骤545)在步骤535中分配的一个或更多个类别，并且障碍物策略管理器466以更新(步骤549)在步骤539中设置的驾驶策略。
如上所述，即使给定的障碍物报告可以与先前发布的障碍物警告相关联，但在某些情况下，障碍物报告也可以不包括指示对相关联的障碍物的观察的传感器数据。车辆100可以接收障碍物警告，但是当车辆100到达障碍物警告中指示的位置时，相关联的障碍物可能不再在那里。例如，基于避障服务器400接收到的障碍物信息，避障管理器460可以确定交通事故造成的碎片可能在道路20上的给定位置处，并且针对该给定位置向车辆100发送障碍物警告。然而，在车辆100到达给定位置时碎屑可能已被清除。如参考过程300所描述的，在这种情况下，即使车辆100实际上没有检测到与障碍物警告相关联的障碍物，车辆100也可以将障碍物报告提供给服务器400。
因此，避障管理器460可以确定与障碍物报告相关联的障碍物是否由自主驾驶系统200或障碍物提取器462实际检测到(步骤550)。如果根据步骤550检测到障碍物，则避障管理器460可以使用障碍物计时器468来设置(步骤555)用于检测到的障碍物的计时器。可以根据障碍物的预期的持续时间来设置计时器。例如，如果障碍物是交通事故造成的碎屑，则可以将计时器设置为小时数；对于一个坑洼，计时器可以设置数周或数月。
应当认识到，从步骤550检测到的障碍物可能已经在过程500的先前迭代中设置了计时器，例如，障碍物报告与已知障碍物相关联，针对该已知障碍物，障碍物警告先前已被生成并被发送给一辆或更多辆车辆100。在这种情况下，可以重置计时器以根据最近的观察来延长障碍物的预期的持续时间。例如，如果障碍物是交通事故造成的碎屑，则计时器可能最初设置为两个小时。如果在九十分钟后接收到表明碎屑仍然存在的障碍物报告，则避障管理器460可以重置计时器以基于最新信息(即，最近的障碍物报告)来更新预期的持续时间。
如果自主驾驶系统200或障碍物提取器462未检测到与障碍物报告相关联的障碍物(步骤550)，则避障管理器460可以根据步骤555中设置(重置)的计时器来确定障碍物警告是否已经到期(步骤560)。如果计时器已到期，则避障管理器460可从当前相关的障碍物警告的警告列表中去除(步骤465)障碍物。否则，处理控制可以继续到步骤570。
避障管理器460然后可以根据需要更新(步骤570)警告列表，例如，添加障碍物警告、修改驾驶策略、去除障碍物警告等。避障管理器460然后可以向一辆或更多辆车辆100发送(步骤580)来自一个或更多个警告列表的一个或更多个障碍物警告。根据系统10、200和400的配置，步骤580可以在步骤570之后实时或接近实时地执行。可替代地或另外地，步骤580可以以周期性和/或事件触发的批处理来执行。
然后，过程控制可以返回到步骤510。应当认识到，在一些实施例中，例如，如果从原始驾驶数据中提取了多个障碍物，则可以迭代地执行步骤520-570(或其组合)。
基于视觉和非视觉信息的障碍物检测
障碍物可以看作是引起车辆行为发生变化的元素。可以通过处理在车辆执行被怀疑为避障操纵的操纵时获得的图像来自动检测障碍物。
图6示出了由计算机化系统执行的用于检测障碍物的方法1600。该计算机化系统可以位于车辆外部、可以分布在不同的车辆之间等等。
方法1600可以从步骤1610开始，该步骤1610从多辆车辆并通过计算机化系统的I/O模块接收在执行被怀疑为避障操纵的车辆操纵期间采集的视觉信息。
步骤1610还可包括在执行被怀疑为避障操纵的操纵期间接收关于多辆车辆的行为的行为信息。行为信息可以表示整个车辆的行为(速度、行进方向等)和/或可以表示车辆的零件或部件的行为(例如，通过减震器衰减震动、通过制动器使车辆减速、转动方向盘等)和/或可以表示驾驶员的行为(驾驶员驾驶的方式)等等。
可以以有监督方式或以无监督方式来检测对于什么构成被怀疑为避障操纵的车辆操纵的确定。例如，当以有监督方式时，方法1600可以包括接收被标记为避障操纵的操纵的示例。
与(a)同一辆车的操纵、(b)其他驾驶员在同一位置进行的操纵、(c)其他驾驶员在其他地方进行的操纵等等中的至少一种相比，这种操纵可能是不常见的操纵。可以将该操纵与一天中的同一时间、一天中的其他时间、同一日期、其他日期等的其他操纵进行比较。
可以基于可以从一个或更多个传感器(诸如加速度计、轮速传感器、车速传感器、制动传感器、方向盘传感器、减震器传感器、发动机传感器、用于感测驾驶员的一个或更多个生理参数(诸如心跳)的驾驶员传感器)或任何其他传感器，尤其是任何其他非视觉传感器获得的行为信息检测被怀疑为避障操纵的车辆操纵。
被怀疑为避障操纵的车辆操纵可以涉及车辆的方向和/或速度和/或加速度的变化(尤其是快速变化)、与车道的偏离、与随后尝试纠正偏离的先前驾驶模式的偏离等。
例如，当应用障碍物的监督学习时，当绕过已知的障碍物、接近明显的颠簸等时，可以向计算机化系统馈送车辆行为的示例。
例如，确定可以包括排除常见的行为，诸如在红色交通信号灯前停车。
例如，车辆在线性道路上的速度和方向发生快速而明显的变化可表明该车辆遇到了障碍物。
视觉信息可以是由车辆的视觉传感器采集的原始图像数据(诸如图像)、处理后的图像、元数据或表示由视觉传感器采集的图像的任何其他类型的视觉信息。
视觉信息可以包括由车辆的一个或更多个视觉传感器采集的一个或更多个图像的一个或更多个鲁棒签名(robust signature)。鲁棒签名的非限制性示例在美国专利8326775中示出，其通过引用并入本文。
步骤1610之后可以是步骤1620，其至少基于视觉信息来确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符。
该确定可以包括：基于视觉信息所代表的对象对视觉信息进行聚类(clustering)；以及生成代表簇的视觉障碍物标识符。簇可以彼此链接，并且视觉障碍物标识符可以表示一组链接的簇。
该确定可以包括基于视觉信息中的对象的出现频率来滤除在视觉信息中表示的对象。例如，道路实际上可以出现在所有图像中，并且可以会被忽略。
在执行被怀疑为避障操纵的车辆操纵期间，簇可以响应于车辆的行为，也可以不响应。
视觉障碍物标识符可以是障碍物的模型、障碍物的鲁棒签名、与障碍物有关的神经网络的配置信息。
障碍物的模型可以定义障碍物的一个或更多个参数，诸如形状、大小、像素的颜色、像素的灰度等。
神经网络的配置信息可以包括要分配给神经网络的权重。可以使用不同的神经网络来检测不同的障碍物。
用于视觉标识障碍物的视觉障碍物标识符可以标识该障碍物所属的一组障碍物。例如，视觉障碍物标识符可以标识概念。参见例如美国专利8266185，该专利通过引用并入本文。
标识障碍物的视觉障碍物标识符可包括指示障碍物严重性的严重性元数据、指示障碍物类型(例如，坑洼、树木、隆起物)的类型元数据、指示障碍物大小的大小元数据、指示障碍物存在的时间(例如，持久性、暂时性、重复出现)的时间元数据以及指示障碍物的位置的位置元数据中的至少一种。参见例如图7的严重性元数据1851、类型元数据1852、大小元数据1853、时间元数据1854和位置元数据1855。
步骤1620之后可以是响应于步骤1620的结果的步骤1630。例如，步骤1630可以包括将至少一个视觉障碍物标识符发送到多辆车辆中的一辆或更多辆。附加地或可替代地，步骤1630可以包括填充障碍物数据库。视觉障碍物标识符可以被包括在障碍物警告中。
行为信息是通过多辆车辆的非视觉传感器获得的。
步骤1630还可以包括至少基于视觉信息来验证被怀疑为避障操纵的操纵是否实际上是避障操纵。
验证可以包括检测关于特定障碍物的至少预定数量的指示。
验证可以包括从另一个来源接收信息(例如，来自驾驶员的输入、从警察、交通运输部门或其他负责道路维护的实体提供的有关存在障碍物的信息)。
步骤1630之后可以是步骤1640，该步骤1640向多辆车辆中的一辆或更多辆发送指示实际上是避障操纵的操纵的验证信息。这可以帮助车辆忽略被怀疑为避障操纵但实际上不是避障操纵的操纵。
方法1600使接收视觉障碍物标识符的车辆能够标识已知参数的障碍物，即使该车辆是第一个成像该障碍物的车辆也是如此。方法1600可以在没有人为干预的情况下执行，并且可以在没有这种障碍物的先验知识的情况下检测障碍物。这提供了用于检测障碍物的灵活且自适应的方法。视觉信息和/或视觉障碍物标识符可以非常紧凑，从而允许了解障碍物并随后使用相对少量的计算和/或存储和/或通信资源来执行障碍物检测。
应当注意，不同的车辆可以执行在持续时间、车辆行为等方面可能彼此不同的避障操纵。在图8-10中示出了一个示例，其中第一、第二和第三车辆执行不同的避障操纵并在所述避障操纵期间采集不同数量的图像。
图8示出了沿着道路1820行进的第一车辆(VH1)1801。当遇到障碍物1841时，第一车辆1801执行被怀疑为避障操纵的操纵1832。在操纵1832之前的是非怀疑操纵1831，其后是另一个非怀疑操纵1833。
第一车辆1801在避障碍操纵1832期间采集第一多个(Nl)图像I1(1)-I1(N1)1700(1,1)-1700(1,Nl)。
视觉信息V1(1)-V1(N1)1702(1,1)-1702(1,N1)经由网络1720从第一车辆1801发送到计算机化系统(CS)1710。
视觉信息可以是图像本身。附加地或可替代地，第一车辆处理图像以提供图像的表示。
第一车辆1801还可以发送表示车辆在操纵1832期间的行为的行为信息B1(1)-B1(N1)1704(1,1)-1704(1,Nl)。
图9示出了沿着道路1820行进的第二车辆(VH2)1802。当遇到障碍物1841时，第二车辆1802执行被怀疑为避障操纵的操纵1833。在操纵1832之前的是非怀疑操纵，其后是另一个非怀疑操纵。
第二车辆1802在操纵1833期间采集第二多个(N2)图像I2(1)-I2(N2)1700(2,1)-1700(2,N2)。
视觉信息V2(1)-V2(N2)1702(2,1)-1702(2,N2)经由网络1720从第二车辆1802发送到计算机化系统(CS)1710。
视觉信息可以是图像本身。附加地或可替代地，第二车辆处理图像以提供图像的表示。
第二车辆1802还可发送表示在操纵1832期间车辆的行为的行为信息(未示出)。
图10示出了沿着道路行进的第三车辆(VH2)1803。当遇到障碍物1841时，第三车辆1803执行被怀疑为避障操纵的操纵1834。操纵1834之前的是非怀疑操纵，其后是另一个非怀疑操纵。
第三车辆1803在操纵1834期间采集第三多个(N3)图像I3(1)-I3(N3)1700(3,1)-1700(3,N3)。
视觉信息V3(1)-V3(N3)1702(3,1)-1702(3,N3)经由网络1720从第三车辆1803发送到计算机化系统(CS)1710。
视觉信息可以是图像本身。附加地或可替代地，第三车辆处理图像以提供图像的表示。
第三车辆1803还可发送表示在操纵1832期间车辆的行为的行为信息(未示出)。
图11示出了用于检测障碍物的方法1900。该方法可以由车辆执行。
方法1900可以由步骤1910和1920开始。
步骤1910可以包括通过车辆的非视觉传感器感测车辆的行为。非视觉传感器可以是加速度计、减震器传感器、制动传感器等。
步骤1920可以包括通过车辆的视觉传感器采集车辆的环境的图像。步骤1920在没有检测到这种可疑操纵时也可以继续。
步骤1920和1930之后可以是步骤1930，该步骤1930由车辆的处理电路系统确定车辆的行为是否指示被怀疑为避障操纵的车辆操纵。
可以基于可以从一个或更多个传感器(诸如加速度计、轮速传感器、车速传感器、制动传感器、方向盘传感器、发动机传感器、减震器传感器、用于感测驾驶员的一个或更多个生理参数(诸如心跳)的驾驶员传感器或任何其他传感器，尤其是任何其他非视觉传感器)获得的行为信息检测被怀疑为避障操纵的车辆操纵。
被怀疑为避障操纵的车辆操纵可以涉及车辆方向和/或速度和/或加速度的变化(尤其是快速变化)、与车道的偏离、与随后尝试纠正偏离的先前驾驶模式的偏离等。
步骤1930之后可以是步骤1940，该步骤1940处理在被怀疑为避障操纵的车辆操纵期间获得的车辆环境的图像，以提供视觉信息。
视觉信息可以是由车辆的视觉传感器采集的原始图像数据(诸如图像)、处理后的图像、元数据或表示由视觉传感器采集的图像的任何其他类型的视觉信息。
视觉信息可以包括由车辆的一个或更多个视觉传感器采集的一个或更多个图像的一个或更多个鲁棒签名。鲁棒签名的非限制性示例在美国专利8326775中示出，其通过引用并入本文。
步骤1940之后可以是将视觉信息发送到位于车辆外部的系统的步骤1950。
方法1900还可包括从远程计算机接收至少一个视觉障碍物标识符的步骤1960。
方法1900可以包括步骤1970，该步骤1970接收指示被怀疑为避障操纵的操纵是否实际上是避障操纵的验证信息。该信息可以在步骤1930期间在车辆中使用。
方法1900和1600示出了学习过程。学习过程的产品可在使用学习过程的输出的障碍物检测过程期间用于检测障碍物。
障碍物检测过程可以包括检测在过去未检测到的新检测到的障碍物。
学习过程可以在障碍物检测过程期间继续进行，或者可以在障碍物检测过程之前终止。
图12示出了用于检测障碍物的方法2100。
方法2100可以从步骤2110开始，该步骤2110通过车辆的I/O模块接收用于视觉标识障碍物的视觉障碍物标识符；其中，视觉障碍物标识符是基于至少一个视觉传感器在执行被怀疑为避障操纵的至少车辆操纵期间采集到的视觉信息而生成的。因此，步骤2110可以包括接收方法1600的学习过程的输出。
方法2100还可包括通过车辆的视觉传感器采集车辆环境的图像的步骤2120。
步骤2120之后可以是步骤2130，步骤2130由车辆的处理电路系统在车辆的环境图像中搜索由视觉障碍物标识符标识的障碍物。
如果发现了这样的障碍物，则步骤2130之后可以是车辆响应于检测到障碍物的步骤2140。
该响应可以基于驾驶策略，可以响应于控制车辆的模式(从完全手动控制开始、随后是部分人为干预、然后以完全自主结尾的任何级别的自动化)。
例如，响应可以包括生成由车辆的驾驶人员可感知的警报、将警报发送到位于车辆外部的计算机化系统、将车辆的控制移交给驾驶人员、将车辆的控制移交给自主驾驶管理器、向自主驾驶管理器发送警报、执行避障操纵、确定障碍物是否为新检测到的障碍物、并向另一车辆通知关于该障碍物的信息等。
确定车辆的位置
车辆，特别是但不限于自主驾驶车辆，必须知道其确切位置，以便以有效的方式行进。例如，车辆可以接收包括障碍物位置的障碍物警告。
响应于障碍物警告可能需要知道车辆的精确位置。此外，自主驾驶操作可能需要了解车辆的精确位置，或者如果已知车辆的精确位置，则可以以更优化的方式执行。通常，当自主驾驶管理器知道车辆的位置时，与自主驾驶决策相关联的处理负担可以降低。
全球定位系统(GPS)不准确并且不能仅用于定位车辆的精确位置。
越来越需要以有效的方式确定车辆的精确位置。
提供了一种用于确定车辆的精确位置的有效且准确的方法。
从某种意义上说，该方法是基于图像的，该方法基于车辆所采集的图像以及所采集的图像与在预定义位置处所采集的参考信息之间的比较。
确定车辆的实际位置的分辨率小于相邻参考图像之间的距离。例如，分辨率可以是相邻参考图像之间的距离的分数(例如，在1-15％之间、在20-45％之间、在5-50％之间)。在下面的示例中，假设相邻参考图像之间的距离约为1米，分辨率约为10至40厘米。
图13示出了用于确定车辆的位置、接收表示在预定义位置处采集的多个参考图像的参考视觉信息的方法1300。
方法1300可以从接收表示在预定义位置处采集的多个参考图像的参考视觉信息的步骤1310开始。
可以在车辆所处的区域内拍摄多个参考图像。该区域可以具有任何大小和/或尺寸。例如，该区域可以包括邻居的一部分、邻居、城市的一部分、城市、州的一部分、州、国家的一部分、国家、大洲的一部分、大洲甚至整个世界。
计算机化系统和车辆可以实时(或接近实时)和/或以突发模式交换参考视觉信息，其中可以周期性地和/或在条件适合于在计算机化系统与车辆之间进行数据交换时提供参考视觉信息。例如，车辆可以被配置为在发动机被打开(或关闭，具有保持电池功能以便于与计算机化系统的通信)时执行参考视觉信息的定期上传/下载。可替代地或另外地，车辆可以被配置为在静止时(例如，停放或在交通信号灯处等待)并且检测到足够可靠的无线连接时执行这样的上传/下载。可替代地或另外地，上传/下载可以由位置触发，当车辆进入其不具有最新参考视觉信息的区域时，可以从计算机化系统下载参考视觉信息。
参考视觉信息可以包括参考图像本身或参考图像的任何其他表示。
参考信息可以包括参考图像的鲁棒签名。鲁棒签名对于噪声、照明条件、旋转，取向等中的至少一项可以是鲁棒的，这可以提供鲁棒的位置检测签名。此外，由于不需要在鲁棒签名无关紧要的不同照明条件或其他条件下采集参考图像，因此使用鲁棒签名可以简化参考图像的采集。
当参考视觉信息和关于所采集图像的信息以皮质表示(cortex representation)来表示时，参考信息与来自所采集图像的信息之间的比较甚至可以更加有效。
图像的皮质表示是通过应用包含多个压缩迭代的皮质函数生成的视觉信息的压缩表示。图像的签名可以是激发神经元(firing neuron)的图，当神经网络被馈送图像时，激发神经元就会激发。该图经历了多次压缩迭代，在此期间，流行字符串被较短的表示替代。
方法1300还可包括通过车辆的视觉传感器采集车辆环境的采集图像的步骤1320。应当注意，车辆可以采集多个图像，但是为了简化说明，以下文本将涉及单个图像。车辆可以重复地确定其位置，并且步骤1320、1330和1340的多次重复可以针对不同的图像重复多次。
步骤1330可以包括基于采集图像来生成与采集图像有关的所采集的视觉信息。
位置确定可以基于关于静态障碍物的视觉图像。因此，参考视觉信息和所采集的视觉信息中的每一个可以包括与静态对象有关的静态视觉信息。
静态视觉信息的提取可以包括从视觉信息中减少与动态对象有关的任何视觉信息。静态信息的提取可能需要也可能不需要对象标识。
所采集的视觉信息可以包括所采集的静态视觉信息，该静态视觉信息可以与位于车辆的环境内的至少一个静态对象有关。
步骤1330之后可以是从多个参考图像中搜索选定参考图像的步骤1340。选定参考图像可以包括与所采集的静态视觉信息最匹配的选定参考静态视觉信息。
步骤1340之后可以是步骤1350，步骤1350基于选定参考图像的预定义位置以及所采集的静态视觉信息与选定参考静态视觉信息之间的关系来确定车辆的实际位置。
车辆的实际位置的确定可以具有的分辨率小于选定参考图像与选定参考图像可以紧随其后的参考图像之间的距离。
车辆的实际位置的确定可以包括：基于至少一个静态对象在选定参考图像内的大小参数的至少一个值和至少一个静态对象在采集图像内的大小参数的至少一个值之间的关系，计算选定参考图像的预定义位置与车辆的实际位置之间的距离。
确定车辆的实际位置可以包括确定车辆的实际位置是在选定参考图像的预定义位置之前还是在选定参考图像的预定义位置之前。
该方法可以包括：当确定车辆的实际位置在选定参考图像的预定义位置之前时，从选定参考图像的预定义位置减去第一距离。
该方法可以包括：当确定车辆的实际位置在选定参考图像的预定义位置之后时，给选定参考图像的预定义位置加上第一距离。
每个预定义位置可以与单个参考图像相关联。
可替代地，每个参考图像可以与在尺度上彼此不同的多个图像相关联。尺度彼此不同的图像可以表示车辆与预定义图像之间的不同相对距离，较大的尺度可以与较小的距离有关。
使用不同尺度的图像(或与不同尺度的图像相关的视觉信息)可以减少与位置确定相关联的计算负荷，因为它可以消除对于操纵单个参考图像来查找可以确定车辆和参考位置之间距离的精确数学运算的需要。
当视觉信息是不能基于另一尺度的相同对象的表示容易生成特定尺度的对象的表示的图像的有损表示时，使用与不同尺度的图像相关的视觉信息也可以有所帮助。视觉信息可以是图像的签名，可以是当神经网络被馈送图像时激发的激发神经元的图。参见，例如，转让给普通受让人的美国专利8,326,775和8,312,031的签名，在此通过引用将其并入。
图14示出了车辆VH1 1402的示例，该车辆采集图像I(k)1404，并基于视觉信息的分析尝试确定其位置，该视觉信息从图像I(k)和多个参考图像RI(1,1)-RI(j,1)1402(1)-1402(j)和RI(j+1,1)-RI(j)1402(j+1,1)-1402(J,1)生成。车辆的前部位于与参考图像RI(j)和RI(j+1)相关联的预定义位置之间，并且这些图像中的一个图像应与和图像I(k)相关联的视觉信息最匹配的参考视觉信息相关联。连续的预定义位置之间的距离为DRI 1422，位置分辨率比DRI更精细。
图15示出了车辆VH1 1402的示例，该车辆VH1 1402采集图像I(k)1404并且基于对从图像I(k)和与参考图像有关的视觉信息生成的视觉信息(1406)的分析来尝试确定其位置。在图15中，每个预定义位置都与多个参考图像相关联，其中每个参考位置具有多个(p)参考视觉信息，1408(1,1)-1408(j,1)、1408(j+1,1)-1408(J,1)、1409(1,p)-1409(j,p)和1409(j+1,p)-1409(J,p)。
车辆的前部位于第j个和第(j+1)个预定义位置之间，并且车辆可以基于与这些预定义位置中的一个预定义位置相关联的p个不同的参考视觉信息来确定最佳匹配的预定义位置以及距预定义位置的距离。
图17和图18示出了图像和静态视觉信息的示例。
图17示出了车辆采集的图像的示例。该图像示出了一条道路的两条车道1411和1412、右侧建筑物1413、车辆1414和1415、第一棵树1416、桌子1417、第二棵树1418、云1419、雨1420、左侧建筑物1421、灌木丛1422、孩子1423和球1424。
该图像的动态对象包括车辆1414和1415、云1419、雨1420、灌木丛1422、孩子1423和球1424。这些动态对象可以由描述为动态的视觉信息(诸如签名)来表示，并且与这些动态对象相关的视觉信息可以从图像的视觉信息中去除，以提供静态视觉信息。
图18示出了从视觉信息1430中将动态视觉信息去除(块1432)以提供静态视觉信息1431。
视觉信息1430可以是当神经网络被馈送图像I(k)时被激发的网络的激发神经元的图，或者可以是这种图的压缩表示(例如皮质表示)。
触发人为干预
图19示出了方法1450。
方法1450可以旨在寻找至少一种触发以供人为干预车辆的控制。
方法1450可以从步骤1452开始，该步骤1452从多辆车辆并通过计算机化系统的I/O模块接收在被怀疑为需要人为干预多辆车辆中的至少一辆车辆的控制的情况下采集的视觉信息。
步骤1452之后可以是步骤1456，该步骤1456至少基于视觉信息来确定对于人为干预的至少一个触发。至少一个触发由触发视觉信息表示。
步骤1456可以包括以下至少一项：
·确定情况的复杂性。
·确定与该情况相关联的危险等级。
·确定响应于不同车辆在被怀疑为需要人为干预多辆车辆中的至少一辆车辆的控制的情况的相同情况下执行的操纵的统计信息。
·基于视觉信息中包括的实体的生成或接收到的运动信息来确定。运动信息可以表示实体的实体运动函数。
·该确定可以包括基于实体运动函数来估计实体的未来移动。
步骤1456的确定可以以无监督方式或有监督方式执行。
步骤1456的确定响应于至少一辆车辆的至少一种人为干预策略。车辆的人为干预策略可以不同于其他车辆的人为干预策略。
车辆的人为干预策略可以定义特定标准的人为干预，诸如情况的危险程度、情况的复杂性(特别是克服情况所需的操纵复杂性)、可能对车辆、驾驶员造成的潜在损害或因情况而异的环境。车辆的人为干预策略还可以定义需要人为干预的特定情况，诸如特定位置(例如，在学校的十字路口附近)或特定内容(在校车附近)等。
当情况或情况的属性之一(危险级别、位置、位置和时间的组合)与人为干预策略的属性匹配时，可以在步骤1456期间确定触发条件。
被怀疑需要人为干预车辆控制的情况可以被视为复杂和/或危险和/或需要改变车辆行为的情况。这些情况可能是由障碍物引起的，也可能是由其他原因引起的。
可以通过处理在车辆执行被怀疑为由于被怀疑需要人为干预车辆控制的情况而导致的操纵时所获得的图像，可以自动检测被怀疑为需要人为干预车辆控制的情况。
在执行被怀疑为由于怀疑为需要人为干预车辆控制的情况而导致的操纵期间，可以基于关于多辆车辆的行为的行为信息，来检测被怀疑为需要人为干预车辆控制的情况。
行为信息可以表示整个车辆的行为(速度、行进方向等)和/或可以表示车辆的零件或部件的行为(例如，通过减震器衰减震动、通过制动器使车辆减速、转动方向盘等)和/或可以表示驾驶员的行为(驾驶员驾驶的方式)。
在将情况标记为需要人为干预车辆控制之后，当在视觉上检测到该情况时，车辆可以触发人为干预。例如，可以将某些事件(或某些类型的事件)定义为需要人为干预(甚至在车辆的控制中需要进行人为干预时基于情况的识别)。例如，位于学校附近的交叉路的图像、运送儿童的校车的图像、酒吧和酒吧附近醉酒行人的图像、道路附近的多个人的图像等可能被标记为需要人为干预车辆控制的情况。
可以以有监督方式或以无监督方式来检测被怀疑需要人为干预车辆控制的车辆操纵的构成的确定。
与(a)同一辆车的操纵，(b)其他驾驶员在同一位置进行的操纵，(c)其他驾驶员在其他地方进行的操纵等等中的至少一种相比，这种操纵可能是不常见的操纵。可以将该操纵与一天中的同一时间、一天中的其他时间、同一日期、其他日期等的其他操纵进行比较。
被怀疑与需要人为干预车辆控制的情况有关的车辆操纵可能涉及车辆方向和/或速度和/或加速度的变化(尤其是快速变化)、与车道的偏离、与随后尝试纠正偏离的先前驾驶模式的偏离等。
例如，当应用障碍物的有监督学习时，计算机化系统可以被馈送需要人为干预车辆控制的车辆行为的示例。
例如，确定可以包括排除常见的行为，诸如在红色交通信号灯前停车。
例如，车辆在线性道路路径上的速度和方向发生快速而明显的变化可以表明该车辆遇到了需要人为干预车辆控制的情况。
视觉信息可以是由车辆的视觉传感器采集的原始图像数据(诸如图像)、处理后的图像、元数据或表示由视觉传感器采集的图像的任何其他类型的视觉信息。
视觉信息可以包括由车辆的一个或更多个视觉传感器采集的一个或更多个图像的一个或更多个鲁棒签名。鲁棒签名的非限制性示例在美国专利8326775中示出，其通过引用并入本文。
步骤1456之后可以是将触发视觉信息发送到多辆车辆中的一辆或更多辆的步骤1460。
图20示出了用于检测需要人为干预车辆控制的情况的方法1490。该方法可以由车辆执行。
方法1490可以由步骤1491和1492开始。
步骤1491可以包括通过车辆的非视觉传感器感测车辆的行为。非视觉传感器可以是加速度计、减震器传感器、制动传感器等。
步骤1492可以包括通过车辆的视觉传感器采集车辆的环境的图像。
步骤1491和1492之后可以是步骤1493，该步骤1493由车辆的处理电路系统确定车辆的行为是否指示与被怀疑需要人为干预车辆控制的情况相关的车辆操纵。
基于可以从一个或更多个传感器(诸如加速度计、轮速传感器、车速传感器、制动传感器、方向盘传感器、发动机传感器、减震器传感器、用于感测驾驶员的一个或更多个生理参数(诸如心跳)的驾驶员传感器或任何其他传感器，尤其是任何其他非视觉传感器)获得的行为信息，可以检测与怀疑被怀疑需要人为干预车辆控制的情况有关的车辆操纵。
与被怀疑需要人为干预车辆控制的情况有关的车辆操纵可以涉及车辆的方向和/或速度和/或加速度的变化(尤其是快速变化)、与车道的偏离、与随后尝试纠正偏离的先前驾驶模式的偏离等。
步骤1493之后可以是步骤1494，该步骤1494处理在与被怀疑为需要人为干预车辆控制的情况有关的车辆操纵期间获得的车辆环境的图像以提供视觉信息。
视觉信息可以是由车辆的视觉传感器采集的原始图像数据(诸如图像)、处理后的图像、元数据或表示由视觉传感器采集的图像的任何其他类型的视觉信息。
视觉信息可以包括由车辆的一个或更多个视觉传感器采集的一个或更多个图像的一个或更多个鲁棒签名。鲁棒签名的非限制性示例在美国专利8326775中示出，其通过引用并入本文。
步骤1494之后可以是将视觉信息发送到位于车辆外部的系统的步骤1495。
方法1490还可包括从远程计算机接收至少一个视觉障碍物标识符的步骤1496。
方法1490可以包括接收验证信息的步骤1497，该验证信息指示与被怀疑与需要人为干预车辆操纵的控制的情况有关的操纵是否实际上与实际上需要人为干预车辆控制的情况有关。该信息可以在步骤1493期间在车辆中使用。
方法1450和1490示出了学习过程。学习过程的产品可在使用学习过程的输出的车辆控制过程期间用于检测需要人为干预车辆控制的情况。
学习过程可以在车辆控制过程期间继续，或者可以在车辆控制过程之前终止。
图21示出了方法1470。
方法1470可以从步骤1472开始，该步骤1472通过车辆的I/O模块接收触发视觉信息，以用于视觉标识需要人为干预车辆控制的情况。视觉障碍物标识符是基于在执行被怀疑为避障操纵的至少车辆操纵期间由至少一个视觉传感器采集的视觉信息而生成的。因此，步骤1472可以包括接收方法1450的学习过程的输出。
方法1470还可包括通过车辆的视觉传感器采集车辆环境的图像的步骤1474。
步骤1474之后可以是步骤1476，该步骤1476由车辆的处理电路系统搜索针对由触发视觉信息标识的情况的车辆环境图像。
如果发现这种情况，则在步骤1476之后可以是步骤1478，该步骤1478触发车辆控制的人为干预。这可以包括警告驾驶员需要人为干预，将车辆的控制交给驾驶员等。
步骤1478可以包括例如生成由车辆的驾驶人员可感知的警报，将警报发送到位于车辆外部的计算机化系统，将车辆的控制移交给驾驶人员，将车辆的控制从自主驾驶管理器移交，向自主驾驶管理器发送通知另一车辆该触发的警报，等等。
图22-27示出了被怀疑需要人为干预车辆控制的情况的示例。
图22示出了第一车辆VH1 1801，其在水坑1506的前面停止(位置1501)，然后经过水坑(可以笔直行驶或改变其方向，直到在点1502处结束操纵)。该操纵可以指示通过水坑可能需要人为干预。
在步骤1494期间处理在位置1501和1502之间采集的视觉信息。
图23示出了在感测行人1511和1512时的第一车辆VH1 1801。这些行人与说明他们的运动的时间签名(1511’和1512’)相关联，和/或车辆可以感测到行人的运动，并且车辆可以(基于该运动)发送行人的未来运动和未来的置(1511”和1512”)，并执行可包括改变速度(例如，在点1513处停止)和/或绕过行人(操纵1515)的操纵。
在步骤1494期间，处理在位置1513和1514(操纵结束)之间的视觉信息。
图24示出了在感测停在双车道双向道路的两侧上的停放车辆PV11518和PV2 1519的第一车辆VH1 1801，这要求第一车辆执行复杂的操纵1520，该操纵包括相对快速地改变车道并改变方向。
在步骤1494期间，处理在位置1516(操纵开始)和1517(操纵结束)之间采集的视觉信息。
图25示出了停止在道路的雨水1521(来自云1522)落在其上面的湿路段的前方(位置1522)的第一车辆VH1 1801。停止(在位置1522处)和移动到道路的另一部分之后的任何进一步的移动可以被视为指示通过该湿路段可能需要人为干预的操纵1523。
在步骤1494期间，处理在位置1522(操纵开始)和操纵结束之间采集的视觉信息。
图26示出了在可以标记为装箱或卸箱情况的情况下停止(位置1534)的第一车辆VH1 1801，其中，卡车1531停放在道路上，存在打开的车门1532，行人1533在道路上携带行李。在操纵1539期间，第一车辆1801在位置1534和1535之间绕过卡车和行人。该操纵可以指示装箱或拆箱情况可能需要人为干预。
在步骤1494期间处理在位置1534和1535之间采集的视觉信息。
图27示出了第一车辆VH1 1801在感测到其面对朝向VH1 1801移动的第二车辆VH21802时转向离开道路(操纵1540)。操纵1540可以指示诸如潜在的碰撞情况可能需要人为干预。
在步骤1494期间，处理在位置1541和1542(操纵1540的开始和停止)之间采集的视觉信息。
跟踪实体
通过考虑实体的时间行为及其空间签名，以鲁棒且有效的方式检测对象可能是有益的。使用多种类型的签名可以提高检测的可靠性，一个签名可以验证另一个签名。另外，一个签名在另一个签名缺失或质量低下时可以帮助检测实体。此外，基于实体的空间签名(或相同类型的实体的空间签名)估计实体的未来运动能够预测该实体可能对车辆产生的未来影响，并能够事先确定车辆的未来驾驶模式。
时间签名可以被压缩，从而节省内存，并允许车辆分配有限的内存资源来跟踪每个实体，即使在跟踪多个实体时也是如此。
图28示出了用于跟踪实体的方法2600。
方法2600可以包括步骤2602、2604、2606和2608。
通过车辆的监测器来跟踪在跟踪时段期间采集的各个图像中出现的实体的运动。S2602。
由车辆的处理电路系统生成表示实体在跟踪时段内的运动的实体运动函数。S2604。
由车辆的处理电路系统生成实体运动函数的压缩表示。S2606。
响应实体运动函数的压缩表示。S2608。
实体运动函数的压缩表示可以指示实体运动函数的极值点的多种性质。
极值点中一个极值点的多种性质可包括极值点的位置以及极值点的至少一个导数。
极值点中一个极值点的多种性质可包括极值点的位置以及极值点的至少两个不同阶的至少两个导数。
极值点中一个极值点的多种性质可包括在极值点附近的函数的曲率。
极值点中一个极值点的多种性质可包括位置和在极值点附近的函数的曲率。
方法2600可以包括通过车辆的视觉传感器采集图像。S2601。
各个图像中的至少一个图像可以由另一车辆的图像传感器采集。
步骤2608可以包括以下至少一项：
·在车辆的存储单元中存储实体运动函数的压缩表示。
·将实体运动函数的压缩表示发送到可以位于车辆外部的系统。
·基于实体运动函数的压缩表示，由车辆的处理电路系统估计实体的未来运动。
·由车辆的处理电路系统基于实体运动函数的压缩表示来生成实体的轮廓。
·预测实体的未来运动对车辆的未来运动的影响，其中，该预测可以由车辆的处理电路系统执行并且可以基于实体运动函数的压缩表示。
·基于实体运动函数的压缩表示，由车辆的处理电路系统在实体的运动内搜索特定的运动模式。
方法2600可以包括：接收另一实体运动函数的压缩表示，该另一实体运动函数可以由另一车辆生成，并且可以指示该实体在跟踪时段的至少一个子时段期间的运动。S2610。
方法2600可以包括基于另一实体运动函数的压缩表示来修改实体运动函数的压缩表示。S2612。
方法2600可以包括确定跟踪时段的持续时间。S2603。可以基于预测的确定性级别、基于分配给跟踪的存储器和/或计算资源等来确定持续时间。
图29示出了实体运动函数的示例。一个轴是时间。其他轴是空间轴(x轴、y轴等)。
图30示出了方法2630。
方法2630可以包括步骤2631、2632、2634和2636。
方法2630可以包括计算或接收表示在跟踪时段期间实体的运动的实体运动函数。S2632。
通过搜索引擎搜索匹配的参考实体运动函数。S2634。
使用参考标识信息来标识实体，该参考标识信息标识出呈现出匹配的参考实体运动函数的参考实体。S2636。
参考标识信息可以是实体的签名。
该方法可以包括通过图像传感器采集图像序列；并基于该图像序列计算实体运动。S2631。
图31示出了方法2640。
方法2630可以包括步骤2642、2644、2646和2648。
方法2640可以通过计算或接收表示多个实体的运动的多个实体运动函数来开始。S2642。
将多个实体运动函数聚类为簇。S2644。
对于每个簇，由搜索引擎搜索参考实体运动函数的匹配类型。S2646。
对于每个簇，使用参考标识信息来标识实体的类型，该参考标识信息标识了呈现出参考实体运动函数的匹配类型的参考实体的类型。S2648。
图32示出了方法2650。
方法2650可以包括步骤2652、2654和2656。
方法2650可以通过计算或接收(a)表示实体运动的实体运动函数和(b)实体的视觉签名来开始。S2652。
将实体运动函数和视觉签名与参考实体运动函数和多个参考对象的参考视觉签名进行比较，以提供比较结果。S2654。
基于比较结果将对象分类为参考对象之一。S2656。
图33示出了方法2660。
方法2660可以包括步骤2662、2664、2666和2668。
步骤2662可以包括计算或接收表示实体运动的实体运动函数。
步骤2664可以包括将实体运动函数与参考实体运动函数进行比较以提供比较结果。
步骤2666可以包括基于比较结果将对象分类为参考对象中的选定参考对象。
步骤2668可以包括通过将对象的视觉签名与参考对象的参考视觉签名进行比较来对将该对象分类为选定参考对象进行验证。
图34示出了方法2670。
方法2670可以包括步骤2672、2674、2676和2678。
步骤2672可以包括计算或接收对象的视觉签名。
步骤2674可以包括将对象的视觉签名与多个参考对象的参考视觉签名进行比较以提供比较结果。
步骤2644可以包括基于比较结果将对象分类为参考对象中的选定参考对象。
步骤2678可包括通过将表示实体运动的实体运动函数与参考实体运动函数进行比较以提供比较结果来对将对象分类为选定参考对象进行验证。
图35示出了方法2680。
方法2680可以包括步骤2682、2684和2686。
方法2680用于生成对象的签名。
步骤2682可以包括计算或接收对象的视觉签名。
步骤2684可以包括计算或接收表示对象的运动的实体运动函数。
步骤2686可以包括生成对象的时空签名，该时空签名表示对象的视觉签名和实体运动函数。
图36示出了方法2700。
方法2700可以包括步骤2702、2704和2706。
方法2700用于基于从第二车辆接收到的信息来驾驶第一车辆。
信息的交换，尤其是车辆之间的紧凑且鲁棒的签名可以改善车辆的驾驶，并且成本不高，特别是当车辆在其之间交换紧凑的签名时。
步骤2702可以包括由第一车辆接收与以下有关的采集的图像信息：(a)由第二车辆采集的采集图像的签名；(b)采集图像的采集位置。
步骤2704可以包括从所采集的图像信息中提取关于采集图像内的对象的信息。
步骤2706可以包括基于关于采集图像内的对象的信息来执行第一车辆的驾驶相关操作。
关于采集图像的鲁棒签名的所采集的图像信息可以是采集图像的鲁棒签名。
关于采集图像的鲁棒签名的所采集的图像信息可以是签名的皮质表示。
该方法可以包括：由第一车辆采集第一车辆图像；从第一车辆采集的图像中提取关于第一车辆采集的图像内的对象的信息；并且基于关于采集图像内的对象的信息以及基于关于第一车辆采集的图像内的对象的信息，执行第一车辆的驾驶相关操作。
图像信息可以表示与第二车辆的神经网络的神经元有关的数据，该神经元在神经网络被馈送了采集图像时被激发。
关于所采集图像内的对象的信息的提取可以包括：(a)将所采集图像的签名与概念签名进行比较以提供比较结果；每个概念签名表示一种类型的对象；并且(b)基于比较结果来确定可以包括在采集图像中的对象的类型。
图37示出了更新了另一车辆的一辆车辆，尤其是利用另一车辆当前未看见的对象，从而允许另一车辆基于(也基于)其当前未看见的对象来计算其行驶路径。
概念更新
概念结构包括彼此相关的多个签名以及与这些签名相关的元数据。
可以通过删除签名(且甚至签名的保留比维护更“昂贵”的部分)来更新概念。
“成本”可以表示一个或更多个因素，诸如错误检测概率、概念的鲁棒性、概念的精确性等。
一辆或更多辆车辆可以决定更新概念，然后将更新(或有关更新的指示)发送给其他车辆，因此通过使用更新的概念来改进检测过程。
图38示出了方法2710。
方法2710可以包括步骤2712、2714和2726。
方法2710用于概念更新。
方法2710可以包括：
·检测对象的特定签名导致错误检测的步骤2712(例如，参见图39和图40)。该特定签名属于可以包括多个签名的特定概念结构。错误检测可以包括确定对象可以由特定概念结构表示，而对象可以具有与特定概念结构不相关的特定类型。例如，行人的概念可以是(错误地)将邮箱分类为行人。
·搜索诱导错误检测的特定签名的错误诱导部分的步骤2714(例如，参见图41-43)。
·确定是否去除该特定签名的错误诱导部分的步骤2715。这可能涉及计算与从概念结构中去除错误诱导部分有关的成本，以及在成本可以在预定义范围内时去除错误诱导部分。
·从概念结构中去除(例如，参见图44)错误诱导部分以提供更新的概念结构的步骤2726。
每个签名可以表示神经网络的激发神经元的图。
步骤2714可以包括：
·生成或接收包含以下项的测试概念结构：(a)图像的第一签名，该第一签名可以包括特定类型的一个或更多个对象(其不应该属于该概念)，以及(b)第二图像的第二签名，该第二签名可以包括可以与概念结构正确相关联的给定类型的一个或更多个对象。可以以任何方式，例如可以随机方式选择两种类型的图像。
·将特定签名与测试概念结构进行比较，以提供匹配的第一签名和匹配的第二签名。
·比较匹配的第一签名和匹配的第二签名，以找到导致错误错误的部分和导致肯定检测的部分。
·基于特定签名的匹配部分之间的重叠来定义特定签名的错误诱导部分。
更新的概念可以在车辆之间共享。
对驾驶员行为评分的确定
在许多情况下，驾驶人员的行为和驾驶技巧会导致事故或导致危险情况。例如，驾驶员不停在停车标志、闯红灯过十字路口、横穿白实线等情况并不少见，这会危及周围道路使用者的安全。除非周围有警务人员，否则这些违规行为不会引起注意。
图45示出了根据本文描述的实施例构造和操作的示例性驾驶员行为评分系统5000(以下也称为“系统5000”)的图示。如本文所述，系统5000可操作为处理传感器和行为数据以针对驾驶员生成得分，以便在周围有危险驾驶员的情况下警告其他驾驶员、自动向警察报告违规行为、通知保险公司允许降低优秀驾驶员的费用、如果年轻驾驶员有违规行为则告知父母。
系统5000包括车辆2100、预期行为数据库2103、驾驶员的得分DB2107和驾驶员行为评分服务器2102，其可以被配置为通过诸如例如互联网的通信网络彼此通信。应当认识到，本文描述的实施例还可以通过辅助(或“半自主”)驾驶系统来支持车辆2100的配置，其中在至少某些情况下，驾驶人员可以控制车辆2100。
根据图45的示例性实施例，车辆2100可以配置有至少一个传感器2101，以在车辆2100沿着道路2105行进时提供关于当前驾驶环境的信息。应当认识到，虽然传感器2101在图45中被描绘为单个实体，但是在实践中，如将在下文中描述的，在车辆2101上或内部可以布置有多个传感器2101。根据本文所述的实施例，一个或更多个传感器2101可以使用可操作为捕获道路2105和其紧邻的对象(例如停车标志2104A)的图像的常规摄像头来实现。
应当认识到，传感器2101可以使用任何合适的成像技术来代替常规摄像头或除了常规摄像头之外，还可以使用任何合适的成像技术来实现。例如，传感器2101还可以操作为使用红外、雷达图像、超声、电光、射线照相、LIDAR(光检测和测距)等。此外，根据一些实施例，一个或更多个传感器2101也可以沿着道路2015独立地安装，或安装在其他车辆2106内部，其中来自这样的传感器2101的信息可以作为服务被提供给车辆2100和/或避障服务器2102。预期行为数据库2103保存所有可能的交通法规参考点2104的矩阵，以及每个参考点各自的预期驾驶员动作。例如，对于“让行”标志的参考点，预期行为数据库将包括“减速”和“停止”动作。
根据图45的示例性实施例，交通法规参考点2104A和2104B(在下文中统称为参考点2104)可以沿着道路2105定位。例如，参考点2104A被描述为停车标志，参考点2104B被描述为标记在道路上的停车线。在操作中，传感器2101可以捕获参考点2104的图像。图像然后可以由车辆2100中的驾驶员评分系统5000处理，以提供关于驾驶质量和交通违规的信息。
图46示出了在车辆2100的驾驶会话期间由驾驶员行为评分系统执行的示例性驾驶员行为匹配过程6600(下文也称为过程6600)的流程图。
根据本文描述的一些实施例，系统5000可以接收(6601)传感器数据(例如，图像或视频)，使用信号处理和标识算法来分析传感器数据(6602)，并且检查是否有任何参考点2104被算法检测到(6605)。
步骤6603包括：在驾驶时接收车辆的行为信息，诸如位置、速度、行进方向、通过减震器来减震、通过制动器使车辆减速、使车辆停止、使方向盘转向等。这可以经由Can BUS、远程信息处理系统和传感器来获得。如有必要，由2102将分析行为数据，以将2102的输出转换为驾驶员采取的动作(汽车减速-驾驶员踩制动器，如果车辆改变方向-驾驶员转动方向盘，如果汽车加速-驾驶员踩油门踏板，等)。
根据检测到的参考点，从预期行为数据库2103中加载(6606)驾驶员的预期动作。然后，将驾驶员的预期动作与驾驶员的实际动作进行匹配(6607)，并将结果记录(6608)在驾驶员的得分DB 2107中。驾驶员动作(预期的和实际的)可以被表示为ID，并且匹配6607是简单的ID匹配，或者它还可以具有性质，例如当减速时，该性质可以是减速的速率和量，在这种情况下，匹配结果6607将是预期动作性质和实际动作性质之间的距离。
图47示出了示例性驾驶员行为分级/评级过程6700(在下文中也称为过程6700)的流程图。在给定标识出的交通法规参考点2104的情况下，预期的驾驶员动作与实际的驾驶员动作之间的匹配被记录(6701)在驾驶员的得分DB 2107中。然后，系统检查系统中是否存在足够的数据，例如，用户是否行驶了足够的里程，如果没有，则系统会继续收集数据并记录事件，而不会生成得分。一旦收集到足够的数据，系统5000就触发分级过程6700。该过程不仅可以通过肯定的匹配违规事件来触发，而且还可以以每x英里数、参考点的每x肯定标识来触发自身。
说明书中对方法的任何引用应在细节上作必要修改后应用到能够执行该方法的系统上，并应在细节上作必要修改后应用到存储指令的非暂时性计算机可读介质上，该指令一旦由计算机执行便会导致执行该方法。
说明书中对系统和任何其他部件的任何引用应在细节上作必要修改后应用到可由系统执行的方法，并应在细节上作必要修改后应用到存储可以由该系统执行的指令的非暂时性计算机可读介质。
说明书中对非暂时性计算机可读介质的任何引用均应在细节上作必要修改后应用于能够执行存储在非暂时性计算机可读介质中的指令的系统，并且应在细节上作必要修改后应用于可以由读取存储在非暂时性计算机可读介质中的指令的计算机执行的方法。
可以提供任何附图、说明书的任何部分和/或任何权利要求中列出的任何模块或单元的任何组合。特别地，可以提供任何要求保护的特征的任何组合。
对术语“包括”或“具有”的任何引用也应解释为是指“由...组成”或“基本上由...组成”。例如，包括特定步骤的方法可以包括额外的步骤，可以限于特定步骤，或者可以包括分别实质上不影响该方法的基本和新颖特征的其他步骤。
本发明还可以在用于在计算机系统上运行的计算机程序中实现，该计算机程序至少包括当在诸如计算机系统的可编程装置上运行或使可编程装置能够执行根据本发明的设备或系统的功能时执行根据本发明的方法的步骤的代码部分。该计算机程序可以使存储系统将磁盘驱动器分配给磁盘驱动器组。
计算机程序是指令列表，诸如特定的应用程序和/或操作系统。该计算机程序可以例如包括以下一项或更多项：子例程、函数、过程、对象方法、对象实现、可执行应用、applet、servlet、源代码、对象代码、共享库/动态负载库和/或被设计用于在计算机系统上执行的其他指令序列。
可以将计算机程序在内部存储在计算机程序产品(诸如非暂时性非暂时性计算机可读介质)上。可以将所有或某些计算机程序提供给永久地、可移除地或远程地耦合到信息处理系统的非暂时性计算机可读介质上。非暂时性计算机可读介质可以包括例如但不限于任意数量的以下项：包括磁盘和磁带存储介质的磁存储介质；光存储介质，诸如光盘介质(例如CD-ROM，CD-R等)和数字视频磁盘存储介质；非易失性存储器存储介质，包括基于半导体的存储单元，诸如闪存、EEPROM、EPROM、ROM；铁磁数字存储器；MRAM；易失性存储介质，包括寄存器、缓冲区或高速缓存、主存储器、RAM等。计算机进程通常包括正在执行(正在运行)的程序或程序的一部分、当前程序值和状态信息以及操作系统用于管理进程的执行的资源。操作系统(OS)是管理计算机资源共享并为程序员提供用于访问这些资源的接口的软件。操作系统处理系统数据和用户输入，并通过分配和管理任务和内部系统资源作为对系统用户和程序的服务来进行响应。计算机系统可以例如包括至少一个处理单元、相关联的存储器和多个输入/输出(I/O)设备。当执行计算机程序时，计算机系统根据计算机程序处理信息，并经由I/O设备产生结果输出信息。
在前面的说明书中，已经参考本发明的实施例的特定示例描述了本发明。然而，将明显的是，在不脱离所附权利要求书所阐述的本发明的更广泛精神和范围的情况下，可以在其中进行各种修改和改变。
此外，说明书和权利要求中的术语“前面”、“后面”、“顶部”、“底部”、“上方”、“下方”等(如果有的话)用于描述目的而不一定用于描述永久相对位置。应当理解，如此使用的术语在适当的情况下是可互换的，使得本文描述的本发明的实施例例如能够以不同于本文所示或以其他方式描述的取向的其他取向操作。
本领域技术人员将认识到，逻辑块之间的边界仅是说明性的，并且替代实施例可以合并逻辑块或电路元件，或者对各种逻辑块或电路元件施加功能的替代分解。因此，应当理解，本文描述的架构仅是示例性的，并且实际上可以实施实现相同功能的许多其他架构。
有效地“相关联”用于实现相同功能的部件的任何布置，从而实现期望的功能。因此，本文中组合以实现特定功能的任何两个部件可以被视为彼此“相关联”，从而实现期望的功能，而与架构或中间部件无关。同样，如此相关联的任何两个部件也可以被视为彼此“可操作地连接”或“可操作地耦合”以实现期望的功能。
此外，本领域技术人员将认识到，上述操作之间的边界仅是示例性的。可以将多个操作组合成单个操作，可以将单个操作分布在附加操作中，并且可以在时间上至少部分重叠地执行操作。而且，替代实施例可以包括特定操作的多个实例，并且可以在各种其他实施例中改变操作的顺序。同样例如，在一个实施例中，所示示例可以被实现为位于单个集成电路上或在同一器件内的电路系统。可替代地，示例可以被实现为以合适的方式彼此互连的任何数量的分离的集成电路或分离的器件。
又例如，示例或其部分可以实现为物理电路系统的软件或代码表示或可转换为物理电路系统的逻辑表示，诸如以任何适当类型的硬件描述语言。
而且，本发明不限于以非可编程硬件实现的物理装置或单元，还可以应用于能够通过根据合适的程序代码进行操作来执行期望的装置功能的可编程装置或单元，诸如大型机、小型计算机、服务器、工作站、个人计算机、记事本、个人数字助理、电子游戏、汽车和其他嵌入式系统、手机和各种其他在本申请中通常称为“计算机化系统”的无线装置。
但是，其他修改、变化和替代也是可能的。因此，说明书和附图被认为是说明性的而非限制性的。
在权利要求中，括号之间的任何参考标记都不应被解释为对权利要求的限制。“包括”一词并不排除存在权利要求中列出的其他要素或步骤。此外，本文所使用的术语“一(a)”、“一(an)”被定义为一个或多于一个。同样，在权利要求中使用诸如“至少一个”和“一个或更多个”的介绍性短语不应解释为暗示由不定冠词“一”或“一”引入另一种权利要求要素将任何特定权利要求包含这样引入的权利要求要素限定为发明仅包含一个这样的要素，即使同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及不定冠词，诸如“一”或“一”。使用定冠词也是如此。除非另有说明，否则诸如“第一”和“第二”的术语用于任意地区分此类术语所描述的要素。因此，这些术语不一定旨在指示此类元素的时间或其他优先顺序。在互不相同的权利要求中列举特定措施的事实并不意味着不能有利地使用这些措施的组合。
虽然本文已经说明和描述了本发明的特定特征，但是本领域普通技术人员现在将想到许多修改、替换、改变和等同物。因此，应理解，所附权利要求旨在涵盖落入本发明的真实精神内的所有这些修改和变化。

Claims (168)

1.一种用于车辆的自主驾驶系统，包括：I/O模块，其能够用于与避障服务器通信；至少一个传感器，其能够用于提供所述车辆的路径中的障碍物的至少一个指示；处理电路系统；以及自主驾驶管理器，所述自主驾驶管理器将由所述处理电路系统执行并能够用于：基于由所述至少一个传感器提供的数据来检测障碍物的所述至少一个指示，根据与所述障碍物相关联的驾驶策略来驾驶所述车辆，并向所述避障服务器发送障碍物报告，所述障碍物报告带有与障碍物的所述至少一个指示相关联的障碍物信息。
2.根据权利要求1所述的自主驾驶系统，其中：所述I/O模块能够用于从所述避障服务器接收障碍物警告；以及所述自主驾驶管理器包括障碍物预测器，所述障碍物预测器能够用于基于所述障碍物警告来预测所述障碍物的位置。
3.根据权利要求2所述的自主驾驶系统，其中，所述驾驶策略与所述障碍物警告一起被接收。
4.根据权利要求2所述的自主驾驶系统，其中，所述障碍物预测器能够用于使用相对于至少一个静态参考点的偏移量来预测所述位置。
5.根据权利要求2所述的自主驾驶系统，其中，所述自主驾驶管理器包括避障模块，所述避障模块能够用于基于所述位置制定预防措施来避开所述障碍物。
6.根据权利要求5所述的自主驾驶系统，其中，所述避障模块还能够用于在所述自主驾驶系统检测到所述障碍物之前制定所述预防措施。
7.根据权利要求1所述的自主驾驶系统，其中，所述至少一个传感器能够用于：监测所述车辆上的至少一个减震器的操作；并向所述自主驾驶系统提供关于所述操作的信息，其中，所述指示能够基于由所述传感器监测的至少一种震动的频率或严重性中的至少一种。
8.根据权利要求1所述的自主驾驶系统，其中，所述至少一个传感器能够用于：捕获在所述车辆的所述路径上的实体的图像；并将所述图像提供给所述自主驾驶系统。
9.根据权利要求1所述的自主驾驶系统，其中，所述至少一个传感器能够用于：从所述车辆捕获遥测数据；并将所述遥测数据提供给所述自主驾驶系统。
10.一种避障服务器，包括：I/O模块，所述I/O模块能够用于与多辆车辆通信；处理电路系统；以及避障管理器，所述避障管理器将由所述处理电路系统执行并能够用于：从所述多辆车辆接收传感器数据，其中，所述传感器数据与所述多辆车辆的驾驶会话相关联；至少基于所述传感器数据，确定道路上至少一个障碍物的位置；并向所述多辆车辆中的至少一辆车辆发送障碍物警告，其中，所述障碍物警告至少包括所述位置。
11.根据权利要求10所述的避障服务器，其中：所述避障管理器包括障碍物策略管理器，所述障碍物策略管理器能够用于确定与所述至少一个障碍物相关联的驾驶策略；并且所述障碍物警告包括所述驾驶策略的至少一个指示。
12.根据权利要求11所述的避障服务器，其中：所述避障管理器包括障碍物分类器，所述障碍物分类器能够用于根据持久性级别对所述至少一个障碍物进行分类，并且所述障碍物策略管理器能够用于至少基于所述持久性级别来确定所述驾驶策略。
13.根据权利要求12所述的避障服务器，其中：所述持久性级别是以下至少一项：持久性、暂时性或重复出现。
14.根据权利要求13所述的避障服务器，其中，所述持久性级别是混合持久性级别，其中，混合持久性级别是持久性、暂时性或重复出现中的至少两种的组合。
15.根据权利要求12所述的避障服务器，其中：所述避障管理器能够用于将所述至少一个障碍物包括在警告列表中，其中，根据至少所述警告列表，将所述障碍物警告发送到所述多辆车辆中的至少一辆车辆；所述避障管理器包括障碍物计时器，所述障碍物计时器能够用于至少根据所述持久性级别为所述至少一个障碍物的预期持续时间设置计时器；以及当所述计时器到期时，所述避障管理器能够用于从所述警告列表中移除所述至少一个障碍物。
16.根据权利要求10所述的避障服务器，其中，在指示所述至少一个障碍物的障碍物报告中接收所述传感器数据。
17.一种用于在存在障碍物的情况下驾驶车辆的方法，所述方法包括：通过至少一个传感器提供在所述车辆的路径中的障碍物的至少一个指示；通过由处理电路系统执行的自主驾驶管理器，基于由所述至少一个传感器提供的数据来检测障碍物的所述至少一个指示；由所述自主驾驶管理器根据与所述障碍物相关联的驾驶策略来驾驶所述车辆；并且通过I/O模块向避障服务器发送障碍物报告，所述障碍物报告带有与所述障碍物的所述至少一个指示相关联的障碍物信息。
18.一种非暂时性计算机可读介质，其存储指令，所述指令当由车辆执行时使所述车辆执行以下操作：通过所述车辆的至少一个传感器提供在所述车辆的路径中的障碍物的至少一个指示；通过由所述车辆的处理电路系统执行的自主驾驶管理器，基于由所述至少一个传感器提供的数据来检测障碍物的所述至少一个指示；由所述自主驾驶管理器根据与所述障碍物相关联的驾驶策略来驾驶所述车辆；并通过所述车辆的I/O模块将障碍物报告发送到避障服务器，所述障碍物报告带有与所述障碍物的所述至少一个指示相关联的障碍物信息。
19.一种用于提供障碍物警告的方法，所述方法包括：通过避障服务器的I/O模块从所述多辆车辆接收传感器数据，其中，所述传感器数据与所述多辆车辆的驾驶会话相关联；通过由处理电路系统执行的自主驾驶管理器，至少基于所述传感器数据确定道路上至少一个障碍物的位置；并通过所述避障服务器的I/O模块向所述多辆车辆中的至少一辆车辆发送障碍物警告，其中，所述障碍物警告至少包括所述位置。
20.一种非暂时性计算机可读介质，其存储指令，所述指令当由避障服务器执行时使所述避障服务器执行以下操作：从所述多辆车辆接收传感器数据，其中，所述传感器数据与所述多辆车辆的驾驶会话相关联；至少基于所述传感器数据，确定道路上至少一个障碍物的位置；并向所述多辆车辆中的至少一辆车辆发送障碍物警告，其中，所述障碍物警告至少包括所述位置。
21.一种用于检测障碍物的方法，所述方法包括：
通过计算机化系统的I/O模块，从多辆车辆接收在执行被怀疑为避障操纵的车辆操纵期间采集的视觉信息；
至少基于所述视觉信息，确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符；以及
向所述多辆车辆中的一辆或更多辆车辆发送所述至少一个视觉障碍物标识符。
22.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符是所述障碍物的模型。
23.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符是所述障碍物的鲁棒签名。
24.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符包括与所述障碍物有关的神经网络的配置信息。
25.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符标识所述障碍物所属的一组障碍物。
26.根据权利要求21所述的方法，其中，所述视觉信息包括由所述车辆的一个或更多个视觉传感器采集的一个或更多个图像的一个或更多个鲁棒签名。
27.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符包括指示所述障碍物的严重性的严重性元数据。
28.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符包括指示所述障碍物的类型的类型元数据。
29.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符包括指示所述障碍物的大小的大小元数据。
30.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符包括指示所述障碍物的存在的时间的时间元数据。
31.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符包括指示所述障碍物的存在的位置的位置元数据。
32.根据权利要求21所述的方法，其中，所述至少一个视觉障碍物标识符的确定包括：将与不同障碍物有关的视觉信息聚类到不同的簇。
33.根据权利要求21所述的方法，包括：在执行被怀疑为避障操纵的所述操纵期间，接收关于所述多辆车辆的行为的行为信息。
34.根据权利要求33所述的方法，其中，所述行为信息通过所述多辆车辆的非视觉传感器获得。
35.根据权利要求33所述的方法，包括：至少基于所述视觉信息，验证被怀疑为避障操纵的所述操纵是否实际上是避障操纵。
36.根据权利要求35所述的方法，包括向所述多辆车辆中的一辆或更多辆车辆发送指示所述操纵实际上是避障操纵的验证信息。
37.根据权利要求21所述的方法，包括：基于所述视觉信息中表示的对象在所述视觉信息中的出现频率来过滤所述对象。
38.根据权利要求21所述的方法，其中，用于视觉标识障碍物的视觉障碍物标识符是所述障碍物的概念结构。
39.一种用于检测障碍物的方法，所述方法包括：
通过车辆的非视觉传感器感测车辆的行为；
通过所述车辆的视觉传感器采集所述车辆的环境的图像；
通过所述车辆的处理电路系统确定所述车辆的所述行为是否指示被怀疑为避障操纵的车辆操纵；
处理在被怀疑为所述避障操纵的车辆操纵期间获得的所述车辆的环境的图像，以提供视觉信息；以及
将所述视觉信息发送到位于所述车辆外部的系统。
40.根据权利要求38所述的方法，包括：接收指示被怀疑为避障操纵的所述操纵是否实际上是避障操纵的验证信息。
41.一种用于检测障碍物的方法，所述方法包括：
通过计算机化系统的I/O模块，从多辆车辆接收视觉信息；
搜索在执行被怀疑为避障操纵的车辆操纵期间采集的视觉信息；
至少基于所述视觉信息，确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符；以及
向所述多辆车辆中的一辆或更多辆车辆发送所述至少一个视觉障碍物标识符。
42.一种用于检测障碍物的方法，所述方法包括：
通过车辆的I/O模块接收用于视觉标识障碍物的视觉障碍物标识符；其中，所述视觉障碍物标识符基于由至少一个视觉传感器在执行被怀疑为避障操纵的至少车辆操纵期间采集到的视觉信息生成；
通过所述车辆的视觉传感器采集所述车辆的环境的图像；
通过所述车辆的处理电路系统在所述车辆的环境的图像中搜索由所述视觉障碍物标识符标识出的障碍物；以及
由所述车辆响应对障碍物的检测。
43.根据权利要求42所述的方法，其中，所述响应包括生成由所述车辆的驾驶人员可感知的警报。
44.根据权利要求42所述的方法，其中，所述响应包括将警报发送到位于所述车辆外部的计算机化系统。
45.根据权利要求42所述的方法，其中，所述响应包括执行避障操纵。
46.根据权利要求42所述的方法，包括确定所述障碍物是否是新检测到的障碍物。
47.根据权利要求42所述的方法，其中，所述视觉障碍物标识符标识所述障碍物所属的一组障碍物。
48.一种用于确定车辆所位于的位置的方法，所述方法包括：
接收代表在预定义位置处采集的多个参考图像的参考视觉信息；
通过所述车辆的视觉传感器采集所述车辆的环境的所采集图像；
基于所述采集图像，生成与所述采集图像相关的采集的视觉信息，其中，所述采集的视觉信息包括与所述车辆的环境相关的采集的静态视觉信息；
从所述多个参考图像中搜索选定参考图像，所述选定参考图像包括与所述采集的静态视觉信息最匹配的选定参考静态视觉信息；以及
基于所述选定参考图像的预定义位置以及所述采集的静态视觉信息与所述选定参考静态视觉信息之间的关系，来确定所述车辆的实际位置；以及
其中，所述车辆的所述实际位置的确定具有的分辨率小于所述选定参考图像与被所述选定参考图像紧随的参考图像之间的距离。
49.根据权利要求48所述的方法，其中，所述车辆的所述实际位置的确定包括：基于第一组像素在所述选定参考图像中的空间关系参数的至少一个值与至少一个静态对象在所述采集图像中的大小参数的至少一个值之间的关系，计算所述选定参考图像的所述预定义位置与所述车辆的所述实际位置之间的距离。
50.根据权利要求49所述的方法，其中，所述车辆的所述实际位置的确定包括确定所述车辆的所述实际位置是在所述选定参考图像的所述预定义位置之前还是在所述选定参考图像的所述预定义位置之前。
51.根据权利要求50所述的方法，包括：当确定所述车辆的所述实际位置在所述选定参考图像的所述预定义位置之前时，从所述选定参考图像的所述预定义位置减去所述第一距离。
52.根据权利要求50所述的方法，包括：当确定所述车辆的所述实际位置在所述选定参考图像的所述预定义位置之后时，给所述选定参考图像的所述预定义位置加上所述第一距离。
53.根据权利要求48所述的方法，其中，搜索所述选定参考图像包括：接收或生成尺度彼此不同的相同的预定义位置的参考图像。
54.根据权利要求48所述的方法，其中，所述至少一个对象的每个静态对象由符号的组合表示。
55.根据权利要求48所述的方法，其中，参考图像的参考视觉信息是使用皮质函数压缩的压缩后的参考视觉信息。
56.根据权利要求48所述的方法，其中，所述参考视觉信息包括所述多个参考图像的签名。
57.根据权利要求56所述的方法，其中，参考图像的签名是当神经网络被馈送该参考图像时所激发的网络的激发神经元的图。
58.根据权利要求48所述的方法，其中，所述多个参考图像包括多组参考图像，其中，不同组的参考图像与不同的预定义位置相关联；并且其中，一组中的参考图像在尺度上彼此不同。
59.一种用于跟踪实体的方法，所述方法包括：
通过车辆的监测器来跟踪在跟踪时段期间采集的各个图像中出现的实体的运动；
通过所述车辆的处理电路系统生成表示所述实体在所述跟踪时段期间的运动的实体运动函数；
由所述车辆的所述处理电路系统生成所述实体运动函数的压缩表示；以及
对所述实体运动函数的所述压缩表示做出响应。
60.根据权利要求59所述的方法，其中，所述实体运动函数的所述压缩表示指示所述实体运动函数的极值点的多种性质。
61.根据权利要求60所述的方法，其中，所述极值点中一个极值点的多种性质包括所述极值点的位置以及所述极值点的至少一个导数。
62.根据权利要求60所述的方法，其中，所述极值点中一个极值点的多种性质包括所述极值点的位置以及所述极值点的至少两个不同阶的至少两个导数。
63.根据权利要求60所述的方法，其中，所述极值点中一个极值点的多种性质包括在所述极值点附近的所述函数的曲率。
64.根据权利要求60所述的方法，其中，所述极值点中一个极值点的多种性质包括在所述极值点附近的所述函数的位置和曲率。
65.根据权利要求60所述的方法，包括通过所述车辆的视觉传感器采集所述图像。
66.根据权利要求60所述的方法，其中，所述各个图像中的至少一个图像由另一车辆的图像传感器采集。
67.根据权利要求60所述的方法，其中，所述响应包括将所述实体运动函数的所述压缩表示存储在所述车辆的存储单元中。
68.根据权利要求60所述的方法，其中，所述响应包括将所述实体运动函数的所述压缩表示发送到位于所述车辆外部的系统。
69.根据权利要求60所述的方法，其中，所述响应包括：基于所述实体运动函数的所述压缩表示，由所述车辆的处理电路系统估计所述实体的未来运动。
70.根据权利要求60所述的方法，其中，所述响应包括：基于所述实体运动函数的所述压缩表示，由所述车辆的处理电路系统生成所述实体的轮廓。
71.根据权利要求60所述的方法，其中，所述响应包括：预测所述实体的未来运动对所述车辆的未来运动的影响，其中，所述预测由所述车辆的处理电路系统执行，并且基于所述实体运动函数的所述压缩表示。
72.根据权利要求60所述的方法，其中，所述响应包括：基于所述实体运动函数的所述压缩表示，由所述车辆的处理电路系统在所述实体的运动内搜索特定运动模式。
73.根据权利要求60所述的方法，包括：接收另一实体运动函数的压缩表示，所述另一实体运动函数由另一车辆生成，并且指示在所述跟踪时段的至少一个子时段期间所述实体的运动。
74.根据权利要求73所述的方法，包括基于所述另一实体运动函数的压缩表示来修改所述实体运动函数的压缩表示。
75.根据权利要求60所述的方法，包括确定所述跟踪时段的持续时间。
76.一种方法，包括：
计算或接收表示跟踪时段期间所述实体的运动的实体运动函数；
通过搜索引擎搜索匹配的参考实体运动函数；
使用参考标识信息来标识所述实体，所述参考标识信息标识了呈现出所述匹配的参考实体运动函数的参考实体。
77.根据权利要求76所述的方法，其中，所述参考标识信息是所述实体的签名。
78.根据权利要求76所述的方法，包括：通过图像传感器采集图像序列；并基于所述图像序列计算所述实体的运动。
79.一种方法，包括：
计算或接收表示多个实体的运动的多个实体运动函数；
将所述多个实体运动函数聚类为簇；
对于每个簇，通过搜索引擎搜索参考实体运动函数的匹配类型；以及
对于每个簇，使用参考标识信息来标识实体的类型，所述参考标识信息标识了呈现出参考实体运动函数的所述匹配类型的参考实体的类型。
80.一种方法，包括：
计算或接收(a)表示实体的运动的实体运动函数，以及(b)所述实体的视觉签名；
将所述实体运动函数和所述视觉签名与参考实体运动函数和多个参考对象的参考视觉签名进行比较，以提供比较结果；以及
基于所述比较结果将对象分类为所述参考对象之一。
81.一种方法，包括：
计算或接收表示实体的运动的实体运动函数；
比较所述实体运动函数与参考实体运动函数以提供比较结果；以及
基于所述比较结果将对象分类为参考对象中的选定参考对象；以及
通过将所述对象的视觉签名与所述参考对象的参考视觉签名进行比较来对将所述对象分类为所述选定参考对象进行验证。
82.一种方法，包括：
计算或接收对象的视觉签名；
将所述对象的视觉签名与多个参考对象的参考视觉签名进行比较以提供比较结果；
基于所述比较结果将所述对象分类为所述参考对象中的选定参考对象；以及
通过将表示实体的运动的实体运动函数与参考实体运动函数进行比较以提供比较结果来对将所述对象分类为所述选定参考对象进行验证。
83.一种用于生成对象的签名的方法，所述方法包括：
计算或接收所述对象的视觉签名；
计算或接收表示所述对象的运动的实体运动函数；以及
生成所述对象的时空签名，所述时空签名表示所述对象的所述视觉签名和所述实体运动函数。
84.一种用于寻找对于人为干预车辆控制的至少一个触发的方法，所述方法包括：
通过计算机化系统的I/O模块，从多辆车辆接收在一些情况采集的视觉信息，所述情况被怀疑是需要人为干预所述多辆车辆中的至少一辆车辆的控制的情况；
至少基于所述视觉信息，确定对于人为干预的所述至少一个触发；以及
将所述至少一个触发发送给所述多辆车辆中的一辆或更多辆车辆。
85.根据权利要求84所述的方法，其中，以无监督方式执行所述确定。
86.根据权利要求84所述的方法，其中，所述确定响应于所述至少一辆车辆的至少一种人为干预策略。
87.根据权利要求84所述的方法，其中，对于人为干预的所述至少一个触发的所述确定包括确定所述情况的复杂性。
88.根据权利要求84所述的方法，其中，对于人为干预的所述至少一个触发的所述确定包括确定与所述情况相关联的危险级别。
89.根据权利要求84所述的方法，其中，所述确定响应于不同车辆在被怀疑为需要人为干预所述多辆车辆中的至少一辆车辆的控制的情况的相同情况下执行的操纵的统计信息。
90.根据权利要求84所述的方法，包括：生成或接收所述视觉信息中包括的实体的运动信息；并且其中所述至少一个触发的所述确定也响应于所述运动信息。
91.根据权利要求90所述的方法，其中，所述运动信息表示所述实体的实体运动函数。
92.根据权利要求91所述的方法，包括：基于所述实体运动函数来估计所述实体的未来运动。
93.一种用于基于从第二车辆接收到的信息来驾驶第一车辆的方法，所述方法包括：
由所述第一车辆接收与以下有关的采集的图像信息：(a)由所述第二车辆采集的采集图像的签名；(b)所述采集图像的采集的位置；
从所述采集的图像信息中提取与所述采集图像内的对象有关的信息；以及
基于与所述采集图像内的对象有关的信息，执行所述第一车辆的驾驶相关操作。
94.根据权利要求93所述的方法，其中，关于所述采集图像的鲁棒签名的所述采集的图像信息是所述采集图像的所述鲁棒签名。
95.根据权利要求93所述的方法，其中，关于所述采集图像的鲁棒签名的所述采集的图像信息是所述签名的皮质表示。
96.根据权利要求93所述的方法，包括：由所述第一车辆采集第一车辆图像；从所述第一车辆采集的图像中提取关于所述第一车辆采集的图像内的对象的信息；并且基于关于所述采集图像内的对象的信息以及基于关于所述第一车辆采集的图像内的对象的信息，执行所述第一车辆的驾驶相关操作。
97.根据权利要求93所述的方法，其中，所述图像信息表示与所述第二车辆的神经网络的神经元有关的数据，所述神经元在所述神经网络被馈送所述采集图像时被激发。
98.根据权利要求93所述的方法，其中，关于所述采集图像内的对象的信息的所述提取包括：
将所述采集图像的所述签名与概念签名进行比较，以提供比较结果；每个概念签名表示对象的类型；以及
基于所述比较结果确定所述采集图像中包括的对象的类型。
99.一种用于概念更新的方法，所述方法包括：
检测对象的特定签名导致错误检测；所述特定签名属于包含多个签名的概念结构；
其中，所述错误检测包括确定所述对象由所述概念结构表示，而所述对象具有与所述概念结构无关的特定类型；
搜索引起所述错误检测的所述特定签名的错误诱导部分；以及
从所述概念结构中去除所述错误诱导部分，以提供更新的概念结构。
100.根据权利要求99所述的方法，其中，在所述去除之前，计算与从所述概念结构中去除所述错误诱导部分有关的成本；以及在所述成本在预定义范围内时去除所述错误诱导部分。
101.根据权利要求99所述的方法，其中，每个签名表示被馈送有图像的神经网络的激发神经元的图。
102.根据权利要求99所述的方法，其中，搜索所述错误诱导部分包括：
比较所述特定签名与测试概念结构，以找到所述特定签名的与所述测试概念结构的图像部分相匹配的匹配部分，该图像部分包含所述特定类型的一个或更多个对象；以及
基于所述特定签名的所述匹配部分之间的重叠来定义所述特定签名的所述错误诱导部分。
103.根据权利要求102所述的方法，包括：通过以下步骤来生成所述测试概念结构：
随机选择包含所述特定类型的一个或更多个对象的图像；以及
随机选择包含与所述概念结构正确相关联的给定类型的一个或更多个对象的图像。
104.根据权利要求99所述的方法，包括在车辆之间共享所述更新的结构概念。
105.根据权利要求39所述的方法，包括：在被怀疑为避障操纵的车辆操纵期间采集音频；以及处理所述音频以提供音频信息。
106.一种存储指令的非暂时性计算机可读介质，所述指令用于：
通过计算机化系统的I/O模块，从多辆车辆接收在执行被怀疑为避障操纵的车辆操纵期间采集的视觉信息；至少基于所述视觉信息，确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符；并将所述至少一个视觉障碍物标识符发送给所述多辆车辆中的一辆或更多辆车辆。
107.一种存储指令的非暂时性计算机可读介质，所述指令用于：
通过车辆的非视觉传感器感测车辆的行为；通过所述车辆的视觉传感器采集所述车辆的环境的图像；由所述车辆的处理电路系统确定所述车辆的行为是否指示被怀疑为是避障操纵的车辆操纵；处理在被怀疑为所述避障操纵的车辆操纵期间获得的所述车辆的环境的图像，以提供视觉信息；并将所述视觉信息发送到位于所述车辆外部的系统。
108.一种存储指令的非暂时性计算机可读介质，所述指令用于：通过计算机化系统的I/O模块，从多辆车辆接收视觉信息；搜索在执行被怀疑为避障操纵的车辆操纵期间采集的视觉信息；至少基于所述视觉信息，确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符；并将所述至少一个视觉障碍物标识符发送给所述多辆车辆中的一辆或更多辆车辆。
109.一种存储指令的非暂时性计算机可读介质，所述指令用于：通过车辆的I/O模块接收用于视觉标识障碍物的视觉障碍物标识符；其中，所述视觉障碍物标识符基于由至少一个视觉传感器在执行被怀疑为避障操纵的至少车辆操纵期间采集的视觉信息而生成；通过所述车辆的视觉传感器采集所述车辆的环境的图像；由所述车辆的处理电路系统在所述车辆的环境的图像中搜索由所述视觉障碍物标识符标识出的障碍物；并由所述车辆对障碍物的检测做出响应。
110.一种存储指令的非暂时性计算机可读介质，所述指令用于：接收表示在预定义位置处采集的多个参考图像的参考视觉信息；通过所述车辆的视觉传感器采集所述车辆的环境的采集图像；基于所述采集图像，生成与所述采集图像相关的采集的视觉信息，其中，所述采集的视觉信息包括与所述车辆的环境相关的采集的静态视觉信息；从所述多个参考图像中搜索选定参考图像，所述选定参考图像包括与所述采集的静态视觉信息最匹配的选定参考静态视觉信息；并且基于所述选定参考图像的预定义位置以及所述采集的静态视觉信息与所述选定参考静态视觉信息之间的关系，确定所述车辆的实际位置；并且其中，所述车辆的所述实际位置的确定具有的分辨率小于所述选定参考图像与被所述选定参考图像紧随的参考图像之间的距离。
111.一种存储指令的非暂时性计算机可读介质，所述指令用于：通过车辆的监测器跟踪在跟踪时段期间采集的各个图像中出现的实体的运动；由所述车辆的处理电路系统生成表示在所述跟踪时段期间所述实体的运动的实体运动函数；由所述车辆的所述处理电路系统生成所述实体运动函数的压缩表示；并对所述实体运动函数的所述压缩表示做出响应。
112.一种存储指令的非暂时性计算机可读介质，所述指令用于：计算或接收表示跟踪时段期间所述实体的运动的实体运动函数；通过搜索引擎搜索匹配的参考实体运动函数；使用参考标识信息来标识所述实体，所述参考标识信息标识了呈现出所述匹配的参考实体运动函数的参考实体。
113.一种存储指令的非暂时性计算机可读介质，所述指令用于：计算或接收表示多个实体的运动的多个实体运动函数；将所述多个实体运动函数聚类为簇；对于每个簇，通过搜索引擎搜索参考实体运动函数的匹配类型；并且对于每个簇，使用参考标识信息来标识实体的类型，所述参考标识信息标识了呈现出参考实体运动函数的匹配类型的参考实体的类型。
114.一种存储指令的非暂时性计算机可读介质，所述指令用于：计算或接收(a)表示实体的运动的实体运动函数，以及(b)所述实体的视觉签名；将所述实体运动函数和所述视觉签名与参考实体运动函数和多个参考对象的参考视觉签名进行比较，以提供比较结果；并基于所述比较结果将对象分类为所述参考对象中的一种。
115.一种存储指令的非暂时性计算机可读介质，所述指令用于：计算或接收表示实体的运动的实体运动函数；比较所述实体运动函数与参考实体运动函数以提供比较结果；并基于所述比较结果，将对象分类为参考对象中的选定参考对象；以及通过将所述对象的视觉签名与所述参考对象的参考视觉签名进行比较来对将所述对象分类为所述选定参考对象进行验证。
116.一种存储指令的非暂时性计算机可读介质，所述指令用于：计算或接收对象的视觉签名；将所述对象的视觉签名与多个参考对象的参考视觉签名进行比较以提供比较结果；基于所述比较结果，将所述对象分类为所述参考对象中的选定参考对象；并且通过将表示所述实体的运动的实体运动函数与参考实体运动函数进行比较以提供比较结果，来对将所述对象分类为所述选定参考对象进行验证。
117.一种存储指令的非暂时性计算机可读介质，所述指令用于：计算或接收对象的视觉签名；计算或接收表示所述对象的运动的实体运动函数；并生成所述对象的时空签名，所述时空签名表示所述对象的所述视觉签名和所述实体运动函数。
118.一种存储指令的非暂时性计算机可读介质，所述指令用于：通过计算机化系统的I/O模块，从多辆车辆接收在一些情况采集的视觉信息，所述情况被怀疑是需要人为干预所述多辆车辆中的至少一辆车辆的控制的情况；至少基于所述视觉信息，确定对于人为干预的至少一个触发；并将所述至少一个触发发送给所述多辆车辆中的一辆或更多辆车辆。
119.一种存储指令的非暂时性计算机可读介质，所述指令用于：由第一车辆接收与以下有关的采集的图像信息：(a)由第二车辆采集的采集图像的签名；(b)所述采集图像的采集的位置；从所述采集的图像信息中提取有关所述采集图像中的对象的信息；并且基于有关所述采集图像内的对象的信息来执行所述第一车辆的驾驶相关操作。
120.一种存储指令的非暂时性计算机可读介质，所述指令用于：检测对象的特定签名导致错误检测；所述特定签名属于包含多个签名的概念结构；其中，所述错误检测包括：确定所述对象由所述概念结构表示，而所述对象具有与所述概念结构无关的特定类型；搜索诱导所述错误检测的所述特定签名的错误诱导部分；并从所述概念结构中去除所述错误诱导部分，以提供更新的概念结构。
121.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为通过计算机化系统的I/O模块从多辆车辆接收在执行被怀疑为避障操纵的车辆操纵期间采集的视觉信息；至少基于所述视觉信息，确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符；并将所述至少一个视觉障碍物标识符发送给所述多辆车辆中的一辆或更多辆车辆。
122.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为通过车辆的非视觉传感器来感测车辆的行为；通过所述车辆的视觉传感器采集所述车辆的环境的图像；由所述车辆的处理电路系统确定所述车辆的所述行为是否指示被怀疑为避障操纵的车辆操纵；处理在被怀疑为所述避障操纵的车辆操纵期间获得的所述车辆的环境的图像，以提供视觉信息；并将所述视觉信息发送到位于所述车辆外部的系统。
123.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为通过计算机化系统的I/O模块从多辆车辆接收收视觉信息；搜索在执行被怀疑为避障操纵的车辆操纵期间采集的视觉信息；至少基于所述视觉信息，确定用于视觉标识至少一个障碍物的至少一个视觉障碍物标识符；并将所述至少一个视觉障碍物标识符发送给所述多辆车辆中的一辆或更多辆车辆。
124.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为通过车辆的I/O模块接收用于视觉标识障碍物的视觉障碍物标识符；其中，所述视觉障碍物标识符基于由至少一个视觉传感器在执行被怀疑为避障操纵的至少车辆操纵期间采集的视觉信息而生成；通过所述车辆的视觉传感器采集所述车辆的环境的图像；由所述车辆的处理电路系统在所述车辆的环境的图像中搜索由所述视觉障碍物标识符标识出的障碍物；并由所述车辆对障碍物的检测做出响应。
125.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为接收表示在预定义位置处采集的多个参考图像的参考视觉信息；通过所述车辆的视觉传感器采集所述车辆的环境的采集图像；基于所述采集图像，生成与所述采集图像相关的采集的视觉信息，其中，所述采集的视觉信息包括与所述车辆的环境相关的采集的静态视觉信息；从所述多个参考图像中搜索选定参考图像，所述选定参考图像包括与所述采集的静态视觉信息最匹配的选定参考静态视觉信息；并且基于所述选定参考图像的预定义位置以及所述采集的静态视觉信息与所述选定参考静态视觉信息之间的关系，确定所述车辆的实际位置；并且其中，所述车辆的所述实际位置的确定具有的分辨率小于所述选定参考图像与被所述选定参考图像紧随的参考图像之间的距离。
126.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为通过车辆的监测器跟踪在跟踪时段期间采集的各个图像中出现的实体的运动；由所述车辆的处理电路系统生成表示在所述跟踪时段期间所述实体的运动的实体运动函数；由所述车辆的所述处理电路系统生成所述实体运动函数的压缩表示；并对所述实体运动函数的所述压缩表示做出响应。
127.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为计算或接收表示跟踪时段期间所述实体的运动的实体运动函数；通过搜索引擎搜索匹配的参考实体运动函数；使用参考标识信息来标识所述实体，所述参考标识信息标识了呈现出所述匹配的参考实体运动函数的参考实体。
128.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为计算或接收表示多个实体的运动的多个实体运动函数；将所述多个实体运动函数聚类为簇；对于每个簇，通过搜索引擎搜索参考实体运动函数的匹配类型；并且对于每个簇，使用参考标识信息来标识实体的类型，所述参考标识信息标识了呈现出参考实体运动函数的所述匹配类型的参考实体的类型。
129.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为计算或接收(a)表示实体的运动的实体运动函数，以及(b)所述实体的视觉签名；将所述实体运动函数和所述视觉签名与参考实体运动函数和多个参考对象的参考视觉签名进行比较，以提供比较结果；并基于所述比较结果将对象分类为所述参考对象中的一种。
130.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为计算或接收表示实体的运动的实体运动函数；比较所述实体运动函数与参考实体运动函数以提供比较结果；并且基于所述比较结果，将对象分类为参考对象中的选定参考对象；并且通过将所述对象的视觉签名与所述参考对象的参考视觉签名进行比较，对将所述对象分类为所述选定参考对象进行验证。
131.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为计算或接收对象的视觉签名；将所述对象的视觉签名与多个参考对象的参考视觉签名进行比较以提供比较结果；基于所述比较结果，将所述对象分类为所述参考对象中的选定参考对象；并且通过将表示所述实体的运动的实体运动函数与参考实体运动函数进行比较以提供比较结果，来对将所述对象分类为所述选定参考对象进行验证。
132.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为计算或接收对象的视觉签名；计算或接收表示所述对象的运动的实体运动函数；并生成所述对象的时空签名，所述时空签名表示所述对象的所述视觉签名和所述实体运动函数。
133.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为通过计算机化系统的I/O模块从多辆车辆接收在一些情况采集的视觉信息，所述情况被怀疑是需要人为干预所述多辆车辆中的至少一辆的控制的情况；至少基于所述视觉信息，确定对于人为干预的至少一个触发；并将所述至少一个触发发送给所述多辆车辆中的一辆或更多辆车辆。
134.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为由第一车辆接收与以下有关的采集的图像信息：(a)由第二车辆采集的采集图像的签名；(b)所述采集图像的采集的位置；从所述采集的图像信息中提取有关所述采集图像中的对象的信息；并且基于有关所述采集图像内的对象的信息来执行所述第一车辆的驾驶相关操作。
135.一种计算机化系统，包括处理器和多个单元，所述处理器和多个单元被配置为检测对象的特定签名导致错误检测；所述特定签名属于包含多个签名的概念结构；其中，所述错误检测包括：确定所述对象由所述概念结构表示，而所述对象具有与所述概念结构无关的特定类型；搜索诱导所述错误检测的所述特定签名的错误诱导部分；并从所述概念结构中去除所述错误诱导部分，以提供更新的概念结构。
136.一种用于对车辆的驾驶员进行排名的方法，所述方法包括：
通过至少一个传感器感测所述车辆的环境以提供感测数据；
确定(a)由所述驾驶员驾驶的所述车辆的车辆行为，并且(b)基于所述感测数据，确定预期车辆行为；
将所述车辆行为与所述预期车辆行为进行匹配以提供匹配结果；以及
发送所述匹配结果、存储所述匹配结果或计算所述驾驶员的得分；以及
其中，所述驾驶员的得分的计算包括：基于所述匹配结果，决定是否更新所述驾驶员的得分；并根据所述决定，更新所述驾驶员的得分。
137.根据权利要求136所述的方法，其中，所述至少一个传感器属于所述车辆。
138.根据权利要求136所述的方法，其中，所述车辆行为的确定至少部分地基于所述感测数据。
139.根据权利要求136所述的方法，其中，所述确定包括从预期行为数据库加载预期车辆行为信息。
140.根据权利要求136所述的方法，包括分析所述感测数据以定位一个或更多个交通法规参考点，并且其中，所述确定基于所述一个或更多个交通法规参考点的不存在或存在。
141.根据权利要求140所述的方法，其中，所述确定包括访问预期行为数据库，所述预期行为数据库存储交通法规参考点与预期车辆行为之间的映射。
142.根据权利要求136所述的方法，包括仅当所述驾驶员的得分的至少预定义量存在时才更新所述驾驶员的得分。
143.根据权利要求136所述的方法，其中，所述决定包括：每当存在匹配结果时，更新所述驾驶员的得分。
144.根据权利要求136所述的方法，包括：按每个预定义的时间段触发所述确定。
145.根据权利要求136所述的方法，包括：根据所述车辆经过的每个预定义距离来触发所述确定。
146.根据权利要求136所述的方法，包括：基于所述驾驶员的当前得分来确定所述确定的触发的重复频率。
147.根据权利要求136所述的方法，其中，所述至少一个传感器包括视觉传感器。
148.根据权利要求136所述的方法，其中，所述至少一个传感器包括加速器和速度计。
149.根据权利要求136所述的方法，包括：当所述车辆行为与所述预期车辆行为之间存在明显的不匹配时，生成警报。
150.根据权利要求136所述的方法，包括：当所述驾驶员的得分发生明显变化时，生成警报。
151.根据权利要求136所述的方法，包括：当所述驾驶员的得分低于预定义阈值时生成警报。
152.一种存储指令的非暂时性计算机可读介质，所述指令用于：
通过至少一个传感器感测所述车辆的环境以提供感测数据；
确定(a)由所述驾驶员驾驶的所述车辆的车辆行为，并且(b)基于所述感测数据，确定预期车辆行为；
将所述车辆行为与所述预期车辆行为进行匹配以提供匹配结果；以及
发送所述匹配结果、存储所述匹配结果或计算所述驾驶员的得分；以及
其中，所述驾驶员的得分的计算包括：基于所述匹配结果，决定是否更新所述驾驶员的得分；并根据所述决定，更新所述驾驶员的得分。
153.根据权利要求152所述的非暂时性计算机可读介质，其中，所述至少一个传感器属于所述车辆。
154.根据权利要求152所述的非暂时性计算机可读介质，其中，所述车辆行为的所述确定至少部分地基于所述感测数据。
155.根据权利要求152所述的非暂时性计算机可读介质，其中，所述确定包括：从预期行为数据库中加载预期车辆行为信息。
156.根据权利要求152所述的非暂时性计算机可读介质，其存储用于分析所述感测数据以定位一个或更多个交通法规参考点的指令，并且其中，所述确定基于所述一个或更多个交通法规参考点的存在或不存在。
157.根据权利要求156所述的非暂时性计算机可读介质，其中，所述确定包括访问预期行为数据库，所述预期行为数据库存储交通法规参考点与预期车辆行为之间的映射。
158.根据权利要求152所述的非暂时性计算机可读介质，其包括：仅当所述驾驶员的得分的至少预定量存在时，才更新所述驾驶员的得分。
159.根据权利要求152所述的非暂时性计算机可读介质，其中，所述决定包括：每当存在匹配结果时，更新所述驾驶员的得分。
160.根据权利要求152所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于在每个预定义时间段触发所述确定的指令。
161.根据权利要求152所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于在所述车辆经过的每个预定义距离触发所述确定的指令。
162.根据权利要求152所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于基于所述驾驶员的当前得分来确定所述确定的触发的重复频率的指令。
163.根据权利要求152所述的非暂时性计算机可读介质，其中，所述至少一个传感器包括视觉传感器。
164.根据权利要求152所述的非暂时性计算机可读介质，其中，所述至少一个传感器包括加速器和速度计。
165.根据权利要求152所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于在所述车辆行为与所述预期车辆行为之间存在明显不匹配时生成警报的指令。
166.根据权利要求152所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于在所述驾驶员的得分发生明显变化时生成警报的指令。
167.根据权利要求152所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质存储用于在所述驾驶员的得分低于预定义阈值时生成警报的指令。
168.一种计算机化系统，包括：
至少一个传感器，所述至少一个传感器用于感测车辆的环境以提供感测数据；以及
处理电路，其被配置为：
确定(a)由驾驶员驾驶的所述车辆的车辆行为，并且(b)基于所述感测数据，确定预期车辆行为；
将所述车辆行为与所述预期车辆行为进行匹配以提供匹配结果；以及
发送所述匹配结果、存储所述匹配结果或计算所述驾驶员的得分；以及
其中，所述驾驶员的得分的计算包括：基于所述匹配结果，决定是否更新所述驾驶员的得分；并根据所述决定，更新所述驾驶员的得分。
CN201980084778.6A 2018-10-18 2019-09-27 用于障碍物检测的方法和系统 Pending CN113574524A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862747147P 2018-10-18 2018-10-18
US62/747,147 2018-10-18
US201862750822P 2018-10-26 2018-10-26
US62/750,822 2018-10-26
US201962827122P 2019-03-31 2019-03-31
US62/827,122 2019-03-31
PCT/IB2019/058207 WO2020079508A1 (en) 2018-10-18 2019-09-27 Method and system for obstacle detection

Publications (1)

Publication Number Publication Date
CN113574524A true CN113574524A (zh) 2021-10-29

Family

ID=70284656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980084778.6A Pending CN113574524A (zh) 2018-10-18 2019-09-27 用于障碍物检测的方法和系统

Country Status (3)

Country Link
US (2) US20220041184A1 (zh)
CN (1) CN113574524A (zh)
WO (1) WO2020079508A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115447593A (zh) * 2022-09-28 2022-12-09 中汽创智科技有限公司 一种用于自动驾驶车辆的感知数据获取方法、装置及存储介质
US11983932B1 (en) 2023-07-28 2024-05-14 New Automobile Co., Ltd Vision acquisition system equipped in intelligent terminal of smart logistics vehicle

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240101115A9 (en) * 2018-10-18 2024-03-28 Autobrains Technologies Ltd Off road assistance
KR20200109118A (ko) * 2019-03-12 2020-09-22 현대자동차주식회사 차량의 추락 방지 장치 및 그 방법
US11897497B2 (en) 2020-07-23 2024-02-13 AutoBrains Technologies Ltd. School zone alert
CN112447066A (zh) * 2020-11-06 2021-03-05 上善智城(苏州)信息科技有限公司 一种基于车车通信的车辆防撞方法及装置
EP4184352A1 (en) * 2021-07-20 2023-05-24 Autobrains Technologies LTD. Environmental model based on audio
US20230073956A1 (en) * 2021-09-07 2023-03-09 Here Global B.V. Systems and methods for evaluating user reviews
US11898871B2 (en) * 2021-09-15 2024-02-13 Here Global B.V. Apparatus and methods for providing a map layer of one or more temporary dynamic obstructions
US20230098178A1 (en) * 2021-09-27 2023-03-30 Here Global B.V. Systems and methods for evaluating vehicle occupant behavior
US11809512B2 (en) * 2021-12-14 2023-11-07 Sap Se Conversion of user interface events
CN115107759B (zh) * 2022-06-30 2024-07-16 重庆长安汽车股份有限公司 车辆的辅助驾驶方法、装置、车辆及存储介质
CN117876848B (zh) * 2024-03-13 2024-05-07 成都理工大学 基于改进yolov5的复杂环境落石检测方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101702A (zh) * 2007-07-16 2008-01-09 陈拙夫 汽车车际间信息共享型自动驾驶系统及其控制方法
US20120237083A1 (en) * 2010-10-25 2012-09-20 Lange Arthur F Automatic obstacle location mapping
CN103339010A (zh) * 2010-10-05 2013-10-02 谷歌公司 区域驾驶
CN103386975A (zh) * 2013-08-02 2013-11-13 重庆市科学技术研究院 一种基于机器视觉的车辆避障方法及系统
CN103582803A (zh) * 2011-06-14 2014-02-12 克朗设备有限公司 共享与自动化工业车辆相关联的地图数据的方法和装置
CN104670226A (zh) * 2013-11-29 2015-06-03 丰田自动车株式会社 车辆行为控制装置以及车辆行为控制系统
CN105835878A (zh) * 2015-01-29 2016-08-10 丰田自动车工程及制造北美公司 在乘员视野和传感器检测受阻环境中的自主车辆操作
CN106325270A (zh) * 2016-08-12 2017-01-11 天津大学 基于感知和自主计算定位导航的智能车导航系统及方法
CN106571069A (zh) * 2015-10-08 2017-04-19 霍尼韦尔国际公司 固定障碍物识别系统
CN106945668A (zh) * 2016-10-27 2017-07-14 蔚来汽车有限公司 车辆行驶窄道辅助系统
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
WO2017168423A1 (en) * 2016-03-30 2017-10-05 Aerialguard Ltd System and method for autonomous guidance of vehicles
CN108230749A (zh) * 2016-12-21 2018-06-29 现代自动车株式会社 车辆及其控制方法
CN108281040A (zh) * 2017-12-28 2018-07-13 东南大学 一种多车协同避障系统及方法
CN108303986A (zh) * 2018-03-09 2018-07-20 哈工大机器人（昆山）有限公司 一种激光slam导航的临时障碍物处理方法
US20190143967A1 (en) * 2016-05-06 2019-05-16 Pcms Holdings, Inc. Method and system for collaborative sensing for updating dynamic map layers

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010131331A1 (ja) * 2009-05-12 2010-11-18 トヨタ自動車株式会社 視認領域推定装置および運転支援装置
US8825391B1 (en) * 2011-08-04 2014-09-02 Google Inc. Building elevation maps from laser data
KR102043060B1 (ko) * 2015-05-08 2019-11-11 엘지전자 주식회사 자율 주행 장치 및 이를 구비한 차량
JP6363558B2 (ja) * 2015-06-02 2018-07-25 株式会社デンソー 車両制御装置、及び車両制御方法
US20170043717A1 (en) * 2015-08-10 2017-02-16 Arie Heiman System and Apparatus that Alert Car Drivers Approaching Obstacles in the Road
US9547986B1 (en) * 2015-11-19 2017-01-17 Amazon Technologies, Inc. Lane assignments for autonomous vehicles
US20170253237A1 (en) * 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
US10430673B2 (en) * 2017-07-19 2019-10-01 GM Global Technology Operations LLC Systems and methods for object classification in autonomous vehicles
US11022971B2 (en) * 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
CN117022255A (zh) * 2018-03-20 2023-11-10 御眼视觉技术有限公司 用于主车辆的自动驾驶系统、机器可读存储介质和装置
US11210936B2 (en) * 2018-04-27 2021-12-28 Cubic Corporation Broadcasting details of objects at an intersection

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101702A (zh) * 2007-07-16 2008-01-09 陈拙夫 汽车车际间信息共享型自动驾驶系统及其控制方法
CN103339010A (zh) * 2010-10-05 2013-10-02 谷歌公司 区域驾驶
CN103370249A (zh) * 2010-10-05 2013-10-23 谷歌公司 用于预测检测到的物体的行为的系统和方法
US20120237083A1 (en) * 2010-10-25 2012-09-20 Lange Arthur F Automatic obstacle location mapping
CN103582803A (zh) * 2011-06-14 2014-02-12 克朗设备有限公司 共享与自动化工业车辆相关联的地图数据的方法和装置
CN103386975A (zh) * 2013-08-02 2013-11-13 重庆市科学技术研究院 一种基于机器视觉的车辆避障方法及系统
CN104670226A (zh) * 2013-11-29 2015-06-03 丰田自动车株式会社 车辆行为控制装置以及车辆行为控制系统
CN105835878A (zh) * 2015-01-29 2016-08-10 丰田自动车工程及制造北美公司 在乘员视野和传感器检测受阻环境中的自主车辆操作
CN106571069A (zh) * 2015-10-08 2017-04-19 霍尼韦尔国际公司 固定障碍物识别系统
WO2017168423A1 (en) * 2016-03-30 2017-10-05 Aerialguard Ltd System and method for autonomous guidance of vehicles
US20190143967A1 (en) * 2016-05-06 2019-05-16 Pcms Holdings, Inc. Method and system for collaborative sensing for updating dynamic map layers
CN106325270A (zh) * 2016-08-12 2017-01-11 天津大学 基于感知和自主计算定位导航的智能车导航系统及方法
CN106945668A (zh) * 2016-10-27 2017-07-14 蔚来汽车有限公司 车辆行驶窄道辅助系统
CN108230749A (zh) * 2016-12-21 2018-06-29 现代自动车株式会社 车辆及其控制方法
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
CN108281040A (zh) * 2017-12-28 2018-07-13 东南大学 一种多车协同避障系统及方法
CN108303986A (zh) * 2018-03-09 2018-07-20 哈工大机器人（昆山）有限公司 一种激光slam导航的临时障碍物处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115447593A (zh) * 2022-09-28 2022-12-09 中汽创智科技有限公司 一种用于自动驾驶车辆的感知数据获取方法、装置及存储介质
US11983932B1 (en) 2023-07-28 2024-05-14 New Automobile Co., Ltd Vision acquisition system equipped in intelligent terminal of smart logistics vehicle

Also Published As

Publication number Publication date
US20200391762A1 (en) 2020-12-17
WO2020079508A1 (en) 2020-04-23
US20220041184A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US11029685B2 (en) Autonomous risk assessment for fallen cargo
CN113574524A (zh) 用于障碍物检测的方法和系统
US11282391B2 (en) Object detection at different illumination conditions
US11270132B2 (en) Vehicle to vehicle communication and signatures
US11126870B2 (en) Method and system for obstacle detection
JP7499256B2 (ja) ドライバの挙動を分類するためのシステムおよび方法
US10445954B2 (en) Drive event capturing based on geolocation
US10839263B2 (en) System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
US11181911B2 (en) Control transfer of a vehicle
US11613261B2 (en) Generating a database and alerting about improperly driven vehicles
JP7285799B2 (ja) 事故分析装置、事故分析方法及びプログラム
DE102017011186A1 (de) Verfahren, Steuereinheit und System zum Reduzieren von Fehlwarnungen
US12054177B2 (en) Child forward collision warning
CN113968222A (zh) 超车辅助

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination