CN107220583A - 用于识别交通标志的方法和装置 - Google Patents
用于识别交通标志的方法和装置 Download PDFInfo
- Publication number
- CN107220583A CN107220583A CN201710165090.3A CN201710165090A CN107220583A CN 107220583 A CN107220583 A CN 107220583A CN 201710165090 A CN201710165090 A CN 201710165090A CN 107220583 A CN107220583 A CN 107220583A
- Authority
- CN
- China
- Prior art keywords
- traffic sign
- determination
- probable value
- value
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000007704 transition Effects 0.000 claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010276 construction Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于识别交通标志的技术。在该技术的一个方法方面中,在不同的时刻接收(S100)交通标志的图像,并计算第一概率值(S102),该第一概率值说明在某一确定时刻接收的图像映射交通标志集合中的某一确定的交通标志的概率。该技术基于至少一个在所述确定时刻之前接收到的、表征先前状态的交通标志图像和预先已知的转移概率值(104),该转移概率值说明,该确定的交通标志在先前状态之后的出现概率。本发明还涉及一种用于执行本方法的装置。
Description
技术领域
本发明总体上涉及驾驶员辅助和自动驾驶的领域。具体地提出一种用于识别交通标志的技术。该技术可以被实现为方法、装置或计算机程序。
背景技术
这种自动的交通标志识别是多种车辆的基本特征。就此可以设想不同的方法用于识别交通标志。
在一种方法(“Traffic Sign Recognition(交通标志识别)”)中根据确定的标志性特征将拍摄的交通标志的图像归类至确定的交通标志类别。例如圆形的交通标志可以被归类至显示限速的交通标志。根据对于确定的交通标志类别而言的类别特有的特征,如限速标志中的数字框,可以将拍摄的图像匹配至在这种交通标志类别中的确定的交通标志。该匹配过程得到一结果,该结果说明所拍摄的图像对交通标志类别中的确定的交通标志加以指示的可靠性。
这种方法单纯地基于将图像数据的类别特有的特征与所存储的类别特有的特征相匹配,对于这种方法的可靠性起决定性作用的还有视线情况。在差的视线情况下,如雾和雨造成视线差的情况,存在一个类别内的交通标志相互混淆的危险,例如30km/h的限速标志与130km/h的限速标志相互混淆,或者甚至存在不同的交通标志类别的交通标志相互混淆的危险,例如最多12t的重量限制标志与120km/h的限速标志相互混淆。此外已知的是,在前方行驶的车辆的尾灯被错误地识别为60km/h的限速标志。
另一方法(“Traffic Sign Fusion(交通标志融合)”)基于摄像机数据与地图数据的组合,该地图数据包含交通标志信息。由摄像机拍摄的和识别的交通标志与在当前位置上预期的、来自地图数据的交通标志相比较。在完全一致时,将相应的交通标志输出给驾驶员。在不完全一致时,根据识别概率对摄像机数据作出较高评估或较低评估,并由此或者优选摄像机数据、或者优选地图数据,或者也可以两种数据都不使用。
可信度检查在此也可以通过使用规定的可接受性标准来完成。例如在城镇/居住区内的限速为80km/h的交通标志是不可信的,从而在这种情况下可以优选使用地图数据。这种硬编码的可接受性标准的确定和改进是成本高且耗时的。为了改进这些可接受性标准,这些可接受性标准必须与确定的行驶状况相符,这意味着高的测试成本。如果不存在摄像机数据,则采用来自地图的已知的交通标志,其被不加检验地输出给驾驶员。
发明内容
因此本发明的目的是,提出一种用于识别交通标志的技术,其克服了从现有技术中已知的方法的缺点中的一个或多个。
根据实施该方法的一个方面,在不同的时刻接收交通标志的图像,并计算第一概率值,该第一概率值说明在确定时刻接收到的图像映射/显示/呈现(abbilden)交通标志集合中的某一确定的交通标志的概率。这种计算基于至少一个在所述确定时刻之前接收到的、表征先前状态的交通标志图像并且基于预先已知的转移/转换概率值,该转移概率值说明,该确定的交通标志在先前状态之后的出现概率。
这种计算可以根据隐马尔科夫模型实现。根据这个模型,拍摄的图像相当于根据状态、在此根据实际的交通标志以特定的概率、在此根据第一概率值出现的输出(Emissionen)。这些状态由实际出现的、其图像被接收了的交通标志表征。
交通标志的图像可以是所有出现的交通标志的图像。所映射的交通标志除了可以说明限速指示外,还例如可以说明行驶环境,即例如示出城镇起点处的地名指示牌,和说明高速路或干线公路的起点处的高速路标牌和干线公路路牌。此外所映射的交通路牌可以说明在行驶环境中是否出现特别的事件,例如是否出现道路施工、危险位置或道路交叉点。因而例如不太可能在没有事先出现其它的交通标志(例如指示施工起点的路牌)的情况下在高速路上仅允许30km/h的许可的最高速度。
在一实施形式中,在计算步骤之前确定临时概率值,该临时概率值说明在所述确定时刻接收的图像映射交通标志集合中的某一确定的交通标志的概率,并且在计算步骤之后,通过对用于交通标志集合中的某一确定的交通标志的临时概率值与用于该确定的交通标志的第一概率值的加权计算出第二概率值。
这个实施方式是两步的识别方法。在第一步骤中,为某一确定的交通标志的存在确定临时概率值。该临时概率值可以使用传统的用于识别交通标志的方法来确定。在第二步骤中,根据临时概率值和后来确定的第一概率值计算总概率值、即第二概率值,尤其是通过对临时概率值与第一概率值加权的方式。由此可以改善本方法的可靠性。
该方法的一种用于实施第一步骤的可行方案是以上描述的方法(“交通标志识别”),其中根据确定的标志性特征将所拍摄的交通标志的图像归类至确定的交通标志类别,然后根据对于该交通标志类别而言类别特有的特征将所拍摄的图像匹配至该交通标志类别内的某一确定的交通标志。该匹配过程得到一结果,即临时概率值,该临时概率值说明所拍摄的图像映射该交通标志类别中的该确定的交通标志的可靠性。
根据一变型,在计算步骤中首先为交通标志集合中的、在之前的确定步骤中被确定了最大的临时概率值的所述确定的交通标志计算第一概率值。以这种方式保证了,可以快速确定具有最大的总概率值的交通标志。
在该方法的另一变型中,输出交通标志集合中的确定了最大第二概率值的所述确定的交通标志。
在此有利的是,只有当为所述确定的交通标志确定的第一概率值或第二概率值超过预先确定的阈值时,才输出交通标志集合中的所述确定的交通标志。这样保证了仅输出如下交通标志:对于该交通标志已经充分高度可靠地确定了其是映射在所拍摄的交通标志上的那个交通标志。该输出可以是例如在显示单元上、如显示屏上的交通标志显示。
在本方法的进一步改进方案中,在第一概率值的计算中,所述先前状态由借助于本方法识别的、由在所述确定时刻之前拍摄到的图像所映射的交通标志表征。就是说,对于至新的状态中的转移概率起到基础作用的该先前状态由如下交通标志表征:该交通标志借助于本方法在所述确定时刻之前的时刻已经根据所接收到的交通标志图像被识别出。
在本方法的另一改进方案中,第一概率值的计算基于在所述确定时刻之前已经借助于本方法已识别的交通标志序列实现,这些交通标志映射在所述确定时刻之前拍摄的图像,并且这些交通标志分别表征一先前状态。就是说,整个序列的先前状态都被用于表征先前状态,其对于至新的状态中的转移概率起到基础作用。尤其是,即使新的要确定的交通标志也出现在相同的行驶环境中,也使用在该行驶环境中、例如城镇中连续识别的交通标志来表征先前状态。
在另一变型中,所述预先已知的转移概率值被分配至映射一实际的交通事件的交通标志序列。
具有转移概率和所述交通标志序列的数据库(例如某一确定的数据结构)可以通过观察实际的行驶环境和和将观察到的各序列的交通标志输送到数据库中手动产生。于是所分配的转移概率值是一种用于衡量在实际的行驶环境中观察到该交通标志序列的频率的尺度。另选的是,该交通标志序列能够从优选存储在外部服务器中的具有交通信息的数字地图中获取,从而不再需要对数据库的手工“演练(training)”。在一种变型方案中,该数据库对应于隐马尔可夫模型的转换矩阵,从中所能够获取的数值例如给出观察矩阵。
所识别的交通标志能够例如输出给在车辆的驾驶员辅助系统,从而例如在超过许可的最高限速时向驾驶员输出光学、声学或触觉警告信号。在另一方面,在车辆的自动驾驶范围中实施该方法。
根据另一变型方案,设有用于识别交通标志的装置,该装置具有处理器单元,该处理器单元被设置成在不同的时刻接收交通标志图像,并计算第一概率值,该第一概率值说明在某一确定时刻接收的图像映射交通标志集合中的某一确定的交通标志的概率。这种计算基于至少一个在所述确定时刻之前接收到的、表征先前状态的交通标志图像和预先已知的转移概率值,该转移概率值说明,该确定的交通标志在先前状态之后的出现概率。
借助于该装置确定的概率值不依赖于视线情况。另外,不再需要改进和确定硬编码的接受性标准,这是因为可接受性或不可接受性能够仅基于根据所公开的方法计算的第一概率值。
处理器单元可以根据隐马尔可夫模型配置。根据该模型,所拍摄的图像相当于根据状态、在此根据实际的交通标志以特定的概率、在此根据第一概率值产生的输出(Emissionen)。所述状态由实际出现的、其图像被接收的交通标志表征。
由装置接收的交通标志的图像可以在之前已经由数字摄像机拍摄,并被输出给所述装置。
根据一变型,该装置具有存储单元,预先已知的转移概率值和该转移概率值所对应的、映射一实际的交通事件的交通标志序列存储在该存储单元中。
根据一方面,该装置是车辆驾驶员辅助系统的一部分,该驾驶员辅助系统例如在超过许可的最高限速时向驾驶员输出光学、声学或触觉的警告信号。这种驾驶员辅助系统也被称为先进驾驶员辅助系统(ADAS)。
该装置可以安装在车辆中(例如作为ADAS组件和/或在自动驾驶的车辆中)。该车辆可以是轨道车辆或道路车辆(例如乘用车或载重车)。
根据另一方面,设置具有程序编码的计算机程序用于在计算机上运行该程序的情况下执行所公开的方法。该计算机程序可以存储在数据载体上(例如在车辆的电子控制单元ECU中)。
附图说明
从下面结合实施例的描述和在下列涉及的附图中得到本发明的其它优点和特征。其中示出:
图1示出示意性流程图,其中示出用于根据一实施形式识别交通标志的各个步骤,
图2示出用于识别交通标志装置的示意图,
图3示出与根据第一示例的在高速路上的实际行驶环境对应的第一交通标志序列,
图4以示意性图表示出如何根据本方法识别图3中的第一交通标志序列中的交通标志,
图5以实际行驶环境的示例示出在图3中的第一交通标志序列能够如何继续,
图6以示意性图表示出如何根据本方法识别图5示例中的交通标志,
图7示出与根据第二示例的实际行驶环境对应的第二交通标志序列,
图8以示意性图表示出如何根据本方法识别图7中的第二交通标志序列。
具体实施方式
通过下面描述的、也可以彼此组合的各实施例描述了用于识别交通标志的方法和装置,通过该方法和装置提高了已知的用于识别交通标志的方法和装置的可靠性。
在图1中示意性示出方法的流程图。在第一步骤S100中,接收交通标志的图像。在第二步骤S102中计算第一概率值,该第一概率值说明:在确定时刻接收到的图像映射一交通标志集合中的某一确定的交通标志的概率。这根据预先已知的转移概率值104实现,该转移概率值说明:所述确定的交通标志在先前状态之后的出现概率。该先前状态通过至少一个在所述确定时刻之前接收到的交通标志图像来表征。
所述交通标志集合中的各交通标志可以是所有已知的交通标志。
根据第一概率值的大小,可以将所述确定的交通标志作为已识别出的交通标志输出。所述方法可以针对交通标志集合中的各不同的、确定的交通标志依次实施,直至这些确定的交通标志之一被作为已识别出的交通标志被输出。
与从现有技术中已知的方法不同的是,不仅根据图像数据与确定的交通标志类别的所存储的标志性数据的匹配或与在该交通标志类别内的确定的交通标志的所存储的标志性数据的匹配来确定交通标志,而且也根据之前的交通事件来确定所接收的图像映射某一确定的交通标志的可靠性。这种确定尤其基于一个或多个之前接收到的交通标志图像的时间线实现,该交通标志图像表征一个或多个先前状态。预先已知的转移概率值是衡量在一个或多个先前的交通标志之后有多大可能出现某一确定的交通标志的尺度,并进而也是衡量在出现一个或多个其它交通标志之后所接收到的图像有多大可能映射某一确定的交通标志的尺度。
相对于所述传统方法,所说明的方法具有如下优点,即所确定的第一概率值较少依赖于视线情况。另外不再需要改进和确定硬编码的可接受性标准。
在图2中示意性示出用于执行该方法的装置200。该装置具有处理器单元202和存储单元204。在处理器单元202中执行第一概率值的计算。为此所需的预先已知的转移概率值存储在存储单元204中。所接收到的交通标志的图像同样可以存储在存储单元204中。
在图3中可以看到在高速路上的实际行驶环境事件,该实际行驶环境事件由一交通标志序列和从左向右的运动方向表征。第一交通标志300说明所有与路段有关的限速和禁止超车指示的终点,在该第一交通标志300之后出现第二交通标志302,该第二交通标志指示道路施工并被归类为一般的危险标志类别。此后出现第三交通标志304,该第三交通标志说明限速指示,即许可的最高速度为80km/h。最后可以看到第四交通标志306,该第四交通标志同样示出限速指示,即许可的最高速度为60km/h。
在图4中可以看到一个图表,借助该图表描述:如何根据本方法识别出图3中的第一交通标志序列中的各交通标志。在该图表中,在各栏中分别给出一状态,即输入状态、新的录入/记录(即新接收到的交通标志图像)、被分配的转移概率值和新的输出状态。在此处示出的示例中,分别至少通过行驶环境或地点以及其它指示在该行驶环境中的当前许可速度的指示来表征状态。因此在图4中可以看到,第一状态、即输入状态由“高速路”行驶环境和“不限速”速度指示来限定。之后出现的交通标志302指示“道路施工”。所拍摄的关于“道路施工”交通标志302的图像被接收。接下来计算第一概率值,该第一概率值说明:所接收到的图像映射道路施工的概率。该计算借助于一个说明在所述状态(高速路、不限速)之后有多大可能出现“道路施工”交通标志302的转移概率值进行。因为高速路上的道路施工符合实际的行驶环境,所以该已知的转移概率值大。因此第一概率值也大,该第一概率值说明所接收到的图像有多大可能映射道路施工。因此(高速路_道路施工、不限速)被限定为新的状态,即由高速路上的道路施工的行驶环境和不受限的最大许可速度所表征的状态。这个新的输出状态能够被输出,例如给车辆的驾驶员辅助系统。该状态可以在第一概率值超过预先确定的阈值时被输出。该状态此外还是输入状态或先前状态,其被用于识别新的交通标志。
之后出现的交通标志304示出80km/h的许可最高速度。拍摄的关于交通标志304的图像被接收。接下来再次计算第一概率值,该第一概率值说明所接收到的图像有多大可能映射允许80km/h的许可最高速度的交通标志。该计算再次借助于一个已知的转移概率值进行,该转移概率值说明,在所述(高速路_道路施工、不限速)状态之后有多大可能出现“80km/h许可最高速度”交通标志。因为其符合于高速路上的实际事件,即在出现道路施工时限制了许可的最高速度,所以被分配的转移概率值大。因此第一概率值也大,该第一概率值说明所接收到的图像有多大可能映射80km/h的许可最高速度。(高速路_道路施工、80km/h)被限定为新的状态,即由在高速路上的道路施工的行驶环境和80km/h许可最高速度所表征的状态。这个状态也能够例如被输出给车辆的驾驶员辅助系统。这个新的、当前状态此外也是被用于识别新的、之后出现的交通标志的输入状态或先前状态。
作为下个交通标志306出现的是60km/h许可最高速度的限速标志。拍摄的交通标志306的图像再次被接收。再次计算第一概率值,该第一概率值说明所接收到的图像有多大可能映射允许60km/h的许可最高速度的交通标志。该计算再次借助于一个已知的转移概率值进行,该转移概率值说明在先前的一序列状态之后、即在所识别的交通标志之后有多大可能出现“60km/h许可最高速度”交通标志。
特别地,在此处示出的示例中,先前序列的交通标志是在行驶环境中识别的或预先规定的交通标志,即在高速路上出现的交通标志。“所有路段相关的限速和禁止超车的终点”交通标志在输入状态中被预先规定,并且可以是在这个所描述的流程之前借助于本方法所识别出的交通标志。随后,在以高速路为行驶环境的范围内作为特殊事件识别出道路施工,并且识别出指示最高许可速度为80km/h的交通标志。
与此对应,在此相关的转移概率是:在80km/h最大速度的限速情况之后以及在作为行驶环境具有道路施工特别事件的高速路上的无限速情况之后,出现60km/h最大速度的限速情况的概率。因为这种顺序符合在高速路上的实际事况,所以所分配的转移概率值大。由此第一概率值也大,该第一概率值说明接收的图像有多大可能映射60km/h的许可最高速度。因而(高速路_道路施工、60km/h)被限定为新的状态,即由作为行驶环境的高速路上的道路施工和60km/h许可最高速度所表征的状态。这个状态可以再次例如输出给车辆的驾驶员辅助系统。这个新的、当前的状态还可以再次作为输入状态或先前状态被用于识别例如在图5中示出的、新的、后面出现的交通标志。
在图5中示出实际的行驶环境事件,该行驶环境事件可以示出高速路上的道路施工终点。在此示出的示例中在图3中示出的最高80km/h的限速指示304和最高60km/h的限速指示306之后跟随着交通标志308,该交通标志308表示60km/h的许可最高速度终点。
在图6中示出的输入状态是在图4中示出的最后的状态,即由具有道路施工特别事件的高速路行驶环境和最高60km/h的限速指示所表征的状态。根据图5的下一个交通标志308的图像被接收和传输,该交通标志308解除60km/h的限速。计算第一概率值,该第一概率值说明所接收到的图像映射解除最高60km/h限速的交通标志308的概率。上述计算基于转移概率值实现,该转移概率值说明在高速路上的道路施工范围内将最高速度限制至60km/h或80km/h的交通标志304、306之后,有多大可能出现“60km/h许可最高速度终点”交通标志。因为在高速路上的道路施工的终点处通常结束之前的限速,所以这种情况符合实际的行驶环境,因此分配给该序列的交通标志或状态的转移概率值大。因此第一概率值也大,该第一概率值说明所接收到的图像有多大可能映射解除最高60km/h限速的交通标志306。(高速路、不限速)被限定为新的状态,即由作为行驶环境的高速路(无道路施工)和不受限的最高许可速度所表征的状态。这个状态可以再次输出给例如车辆的驾驶员辅助系统。
在图7中示出在城镇入口处和区域内的实际事件。城镇入口以地点指示牌702标记。在城镇区域内实施50km/h的最大速度限制。该限速然后由另一交通指示牌704限制至最大30km/h。
在图8中示出的输入状态是具有100km/h许可最高速度的乡村公路或干线公路。地名指示牌702的图像被接收和传输。计算第一概率值,该第一概率值说明所接收到的图像映射该地名指示牌702的概率。上述计算基于转移概率值实现,该转移概率值说明,该地名指示牌702有多大可能出现在该干线公路上。因为这又映射正常的实际的事件,所以分配给这一序列的交通标志或状态的转移概率值大。因此说明接收到的图像有多大可能映射地名指示牌的第一概率值也大。(城镇、50km/h)被限定为新的状态,即由最大许可最高速度为50km/h的城镇行驶环境所表征的状态。
最后接收和传输图像,该图像映射具有30km/h许可最高速度的交通标志704。第一概率值是衡量所接收到的图像有多大可能映射该限速指示的尺度,为了计算该第一概率值,需要使用已知的转移概率值,该转移概率值说明,在具有50km/h许可最高速度的城镇内部出现最高30km/h限速的概率。在城镇内、例如在住宅区内的速度30区域是非常常见的,从而所分配的转移概率值和第一概率值大。新的输出状态因而也就是(城镇,30km/h),即由具有30km/h许可最高速度的城镇行驶环境所表征的状态。
在计算第一概率值之前可以计算临时概率值,该临时概率值也说明在确定时刻拍摄的图像映射交通标志集合中的某一确定的交通标志的概率。
临时概率值的计算可以根据传统的匹配方法实现,例如借助于在背景技术中所述的方法(“交通标志识别”),其中所拍摄的交通标志图像根据确定的典型特征被归类至确定的交通标志类别,然后根据对于确定的交通标志类别而言类别特有的特征将所拍摄的图像匹配至在该交通标志类别中的某一确定的交通标志。该匹配过程得到如下结果,即临时概率值,该临时概率值说明所拍摄的图像示出所述交通标志类别中的所述确定的交通标志的可靠性。
随后根据临时概率值和第一概率值、例如通过对两个值加权计算说明总概率的第二概率值。在此例如为了计算第一概率值首先可以将如下的交通标志作为确定的交通标志使用:在这之前为该交通标志确定了最大的临时概率值。尤其是仅那种之前为其确定的临时概率值超出预先确定的阈值的交通标志可以作为确定的交通标志用于计算第一概率值。
如果当为交通标志集合中的某一确定的交通标志所确定的第二概率值超过预先确定的阈值时,则将该确定的交通标志例如作为已识别的交通标志输出。
结合另一已知的方法“交通标志融合”,对某一确定的交通标志的接受或不接受可以仅依赖于第一概率值。也可以使之依赖于第一概率值与摄像机识别结果和地图数据结果的组合。例如如果摄像机识别的结果是50km/h的限速路标,而地图的交通标志是80km/h的限速路标,本方法的结果是30km/h、50km/h或60km/h的限速路标(就是说,这些交通标志都分别被计算出大的第一概率值),则具有50km/h的路标被作为总结果、即所识别出的交通标志输出。
预先已知的转移概率值可以存储在存储单元204中。其对应于一序列的交通标志。这些交通标志映射一实际的交通事件。该序列的交通标志可以由人根据所观察到的实际的交通情况手工确定。随后这些数据可以被输入到装置200中。
另选地也可以从存储在外部服务器中的具有交通信息的街道地图中提取所述交通标志序列,例如所谓的“公开街道地图”。这与人工的确定方式相比是更简单的解决方案。
所述序列的交通标志——无论是人工确定或根据存储的街道地图——都可以以文本文件的形式存储。借助于已知的开发系统、例如开源程序库(例如开源程序库MitLM)可以产生文档,该文档为各个序列的交通标志分配相应的转移概率。该文档可以存储在存储单元中。
所公开的方法与所述“交通标志识别”的方法相比具有如下优点:结果与视线情况无关。另外本方法的可靠性与所存储的、在匹配过程中供所拍摄的图像进行比较的图像的质量无关。利用所公开的方法还可以仅借助于少量的演练数据、即借助于观察到的或从街道地图中提取的少量序列的交通标志,就能够提供用于识别交通标志的可靠的方法。在“交通标志识别”的方法中则为了在差的视线情况下也保证尽可能可靠的结果而必须在差的视线情况下也提供足够的演练数据。
在两步的方法的变型中可以改进已知的方法的可靠性。在第一步中利用传统的方法错误地、例如由于差的视线情况识别的交通标志可以在第二步中通过观测先前状态而被识别为不可能,并且不会被进一步观测。解除限速的交通标志和由已知方法经常被错误识别的特殊交通标志可以利用所公开的方法根据历史记录被可靠地识别或排除。还可以减少已知的方法的演练数据,这是因为通过第二步提高了可靠性。
一可能的情况例如是在城镇中的行驶,在该城镇中观察到12t的交通标志。在第一步中,其中接收到的图像数据与存储的、关于相应的交通标志类别中的相应交通标志的图像数据进行匹配,则对于12t的交通标志确定与最高120km/h的限速标志的最大一致性。在随后的第二步中计算第一概率值,该第一概率值说明所拍摄的图像映射120km/h的交通标志的概率,而且根据在由之前拍摄的交通标志的图像表征的之前的状态和由120km/h的交通标志表征的可能的现在的状态之间的转移概率值。但由于在最高为120km/h的限速标志之前在城镇中观察到最高30km/h的限速标志,所以在城镇内在30km/h的限速标志后出现120km/h的限速标志的转移概率小。由此通过临时概率值和第一概率值确定的说明总概率的第二概率值也小。
结合另一已知的“交通标志融合”的方法,确定的交通标志的接受或不接受可以仅依赖于第一概率值或依赖于与摄像机识别结果和地图数据的组合实现。就是说,取消了时间长的和成本高的硬编码的可接受性标准的确定和研发。
Claims (20)
1.一种用于识别交通标志的方法,具有如下步骤:
-在不同时刻接收(S100)交通标志(300,302,304,306,308,702,704)的图像,
-计算(S102)第一概率值,该第一概率值说明在确定时刻接收到的图像映射交通标志集合中的某一确定的交通标志(300,302,304,306,308,702,704)的概率,其中,该计算基于:
至少一个在所述确定时刻之前接收到的、表征先前状态的交通标志图像,和
预先已知的转移概率值(104),该转移概率值说明,该确定的交通标志(300,302,304,306,308,702,704)在先前状态之后的出现概率。
2.根据权利要求1所述的方法,其中在计算步骤之前:
-确定临时概率值,该临时概率值说明在所述确定时刻接收的图像映射交通标志集合中的某一确定的交通标志(300,302,304,306,308,702,704)的概率,并且其中在计算步骤之后:
-根据用于交通标志集合中的某一确定的交通标志(300,302,304,306,308,702,704)的临时概率值和用于该确定的交通标志的第一概率值计算第二概率值,尤其通过对临时概率值与第一概率值进行加权。
3.根据权利要求2所述的方法,其中在计算步骤中首先为交通标志集合中的、在之前的确定步骤中被确定了最大的临时概率值的所述确定的交通标志(300,302,304,306,308,702,704)计算第一概率值。
4.根据权利要求2或3所述的方法,具有以下步骤:
-输出交通标志集合中的、确定了最大的第二概率值的所述确定的交通标志(300,302,304,306,308,702,704)。
5.根据前述权利要求中任一项所述的方法,其特征在于,当为所述确定的交通标志确定的第一概率值或第二概率值超过预先确定的阈值时,输出交通标志集合中的所述确定的交通标志(300,302,304,306,308,702,704)。
6.根据前述权利要求中任一项所述的方法,其特征在于,在计算第一概率值时,所述先前状态由借助于本方法已识别的、由在所述确定时刻之前拍摄到的图像所映射的交通标志表征。
7.根据前述权利要求中任一项所述的方法,其特征在于,第一概率值的计算基于在所述确定时刻之前借助于本方法已识别的交通标志序列实现,这些交通标志映射在所述确定时刻之前拍摄的图像并分别表征一先前状态。
8.根据前述权利要求中任一项所述的方法,其特征在于,所述预先已知的转移概率值(104)被分配至映射一实际交通事件的交通标志序列。
9.根据权利要求8所述的方法,其特征在于,从具有交通信息的数字道路地图中获取所述交通标志序列。
10.根据前述权利要求中任一项所述的方法,其特征在于,所识别的交通标志被输出给驾驶员辅助系统。
11.根据前述权利要求中任一项所述的方法,其特征在于,在车辆的自动驾驶的范围内执行该方法。
12.一种用于识别交通标志的装置(200),具有处理器单元(202),该处理器单元设置为执行如下方法步骤:
-在不同时刻接收交通标志(300,302,304,306,308,702,704)的图像,
-计算第一概率值,该第一概率值说明在某一确定时刻接收的图像映射交通标志集合中的某一确定交通标志(300,302,304,306,308,702,704)的概率,其中,该计算基于:
至少一个在所述确定时刻之前接收到的、表征先前状态的交通标志图像,和
预先已知的转移概率值(104),该转移概率值说明,该确定交通标志(300,302,304,306,308,702,704)在先前状态之后的出现概率。
13.根据权利要求12所述的装置(200),其特征在于,处理器单元(202)设置为在计算步骤之前:
-确定临时概率值,该临时概率值说明在所述确定时刻拍摄的图像映射交通标志集合中的某一确定的交通标志(300,302,304,306,308,702,704)的概率,其中在计算步骤之后:
-根据用于交通标志集合中的某一确定的交通标志(300,302,304,306,308,702,704)的临时概率值和用于该确定交通标志(300,302,304,306,308,702,704)的第一概率值计算第二概率值,尤其通过对临时概率值与第一概率值进行加权。
14.根据权利要求13所述的装置(200),其特征在于,处理器单元(202)设置为,在计算步骤中首先为交通标志集合中的、在之前的确定步骤中被确定了最大的临时概率值的所述确定的交通标志(300,302,304,306,308,702,704)计算第一概率值。
15.根据权利要求12至14中任一项所述的装置(200),其特征在于,处理器单元(202)设置为,在计算第一概率值时,所述先前状态由借助于本方法已识别的、由在所述确定时刻之前拍摄的图像所映射的交通标志表征。
16.根据权利要求12至15中任一项所述的装置(200),该装置具有存储单元(204),预先已知的转移概率值(104)和该转移概率值(104)所对应的、映射一实际交通事件的交通标志序列存储在该存储单元中。
17.根据权利要求16所述的装置(200),其特征在于,从存储在外部服务器中的具有交通信息的街道地图中提取所述交通标志序列。
18.根据权利要求12至17中任一项所述的装置(200),其特征在于,该装置(200)是车辆的驾驶员辅助系统的一部分。
19.一种机动车,具有根据权利要求12至18中任一项所述的装置。
20.一种具有程序编码的计算机程序,用于在计算机上运行该程序的情况下执行根据权利要求1至11中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016003424.6 | 2016-03-21 | ||
DE102016003424.6A DE102016003424B4 (de) | 2016-03-21 | 2016-03-21 | Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107220583A true CN107220583A (zh) | 2017-09-29 |
CN107220583B CN107220583B (zh) | 2020-11-13 |
Family
ID=59751809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710165090.3A Active CN107220583B (zh) | 2016-03-21 | 2017-03-20 | 用于识别交通标志的方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10339398B2 (zh) |
CN (1) | CN107220583B (zh) |
DE (1) | DE102016003424B4 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709355A (zh) * | 2020-06-12 | 2020-09-25 | 北京百度网讯科技有限公司 | 识别目标区域的方法、装置、电子设备和路侧设备 |
CN112840349A (zh) * | 2018-10-04 | 2021-05-25 | 日立安斯泰莫株式会社 | 标志识别装置 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10276043B2 (en) * | 2016-12-22 | 2019-04-30 | GM Global Technology Operations LLC | Vehicle system using vehicle-to-infrastructure and sensor information |
DE102016015514A1 (de) * | 2016-12-23 | 2018-06-28 | Lucas Automotive Gmbh | Fahrassistenz für ein Kraftfahrzeug |
US10657394B2 (en) * | 2018-07-12 | 2020-05-19 | Here Global B.V. | Method and system for handling misclassification of speed signs |
US11527161B2 (en) | 2020-04-27 | 2022-12-13 | Here Global B.V. | Methods and systems for detecting a speed funnel in a region |
EP3923181A1 (en) * | 2020-06-12 | 2021-12-15 | Veoneer Sweden AB | A vision system and method for a motor vehicle |
CN112606685B (zh) * | 2020-12-16 | 2024-01-05 | 武汉格罗夫氢能汽车有限公司 | 一种氢能汽车交通标识识别tsr装置 |
DE102022100506A1 (de) | 2022-01-11 | 2023-07-13 | Valeo Schalter Und Sensoren Gmbh | Einfache Ermittlung einer aktuellen Geschwindigkeitsbegrenzung für geschlossene Ortschaften |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102295003A (zh) * | 2010-05-26 | 2011-12-28 | 通用汽车环球科技运作有限责任公司 | 带有交通标志识别装置的驾驶员辅助系统 |
CN102568236A (zh) * | 2010-12-08 | 2012-07-11 | 罗伯特·博世有限公司 | 识别交通标志并将其与交通标志信息比较的方法和装置 |
US20130049988A1 (en) * | 2011-08-24 | 2013-02-28 | Ford Global Technologies, Llc | Device and method for traffic sign recognition |
US20140193033A1 (en) * | 2012-11-26 | 2014-07-10 | GM Global Technology Operations LLC | Method and device for road sign recognition |
EP2179381B1 (de) * | 2007-07-24 | 2015-06-24 | Hella KGaA Hueck & Co. | Verfahren und vorrichtung zur verkehrszeichenerkennung |
CN104978570A (zh) * | 2015-06-25 | 2015-10-14 | 西北工业大学 | 基于增量学习的行车视频中交通标志的检测和识别方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4620286A (en) * | 1984-01-16 | 1986-10-28 | Itt Corporation | Probabilistic learning element |
DE102007001099A1 (de) * | 2007-01-04 | 2008-07-10 | Siemens Ag | Fahrerassistenzsystem zur Verkehrszeichenerkennung |
DE102007021578A1 (de) * | 2007-05-08 | 2008-11-13 | Hella Kgaa Hueck & Co. | Verfahren und Vorrichtung zum Klassifizieren mindestens eines Verkehrszeichens |
DE102007021579A1 (de) * | 2007-05-08 | 2008-11-13 | Hella Kgaa Hueck & Co. | Verfahren und Vorrichtung zur Klassifikation mindestens eines Verkehrszeichens |
US8233670B2 (en) * | 2007-09-13 | 2012-07-31 | Cognex Corporation | System and method for traffic sign recognition |
US8041080B2 (en) * | 2009-03-31 | 2011-10-18 | Mitsubi Electric Research Laboratories, Inc. | Method for recognizing traffic signs |
EP2843615B1 (en) * | 2012-04-16 | 2016-12-07 | Nissan Motor Co., Ltd. | Device for detecting three-dimensional object and method for detecting three-dimensional object |
US8929664B2 (en) * | 2012-05-30 | 2015-01-06 | Analog Devices, Inc. | Shape detection using chain code states |
DE102013210725A1 (de) * | 2013-06-10 | 2014-12-11 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Detektieren von Verkehrszeichen |
DE102013219909A1 (de) * | 2013-10-01 | 2015-04-02 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen |
JP6154839B2 (ja) * | 2015-03-18 | 2017-06-28 | 本田技研工業株式会社 | 道路標識判断装置及び道路標識判断方法 |
US10586102B2 (en) * | 2015-08-18 | 2020-03-10 | Qualcomm Incorporated | Systems and methods for object tracking |
US9903733B2 (en) * | 2016-03-17 | 2018-02-27 | Honda Motor Co., Ltd. | Vehicular communications network and methods of use and manufacture thereof |
US10325339B2 (en) * | 2016-04-26 | 2019-06-18 | Qualcomm Incorporated | Method and device for capturing image of traffic sign |
US10528055B2 (en) * | 2016-11-03 | 2020-01-07 | Ford Global Technologies, Llc | Road sign recognition |
-
2016
- 2016-03-21 DE DE102016003424.6A patent/DE102016003424B4/de active Active
-
2017
- 2017-03-20 CN CN201710165090.3A patent/CN107220583B/zh active Active
- 2017-03-20 US US15/463,810 patent/US10339398B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2179381B1 (de) * | 2007-07-24 | 2015-06-24 | Hella KGaA Hueck & Co. | Verfahren und vorrichtung zur verkehrszeichenerkennung |
CN102295003A (zh) * | 2010-05-26 | 2011-12-28 | 通用汽车环球科技运作有限责任公司 | 带有交通标志识别装置的驾驶员辅助系统 |
CN102568236A (zh) * | 2010-12-08 | 2012-07-11 | 罗伯特·博世有限公司 | 识别交通标志并将其与交通标志信息比较的方法和装置 |
US20130049988A1 (en) * | 2011-08-24 | 2013-02-28 | Ford Global Technologies, Llc | Device and method for traffic sign recognition |
US20140193033A1 (en) * | 2012-11-26 | 2014-07-10 | GM Global Technology Operations LLC | Method and device for road sign recognition |
CN104978570A (zh) * | 2015-06-25 | 2015-10-14 | 西北工业大学 | 基于增量学习的行车视频中交通标志的检测和识别方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112840349A (zh) * | 2018-10-04 | 2021-05-25 | 日立安斯泰莫株式会社 | 标志识别装置 |
CN111709355A (zh) * | 2020-06-12 | 2020-09-25 | 北京百度网讯科技有限公司 | 识别目标区域的方法、装置、电子设备和路侧设备 |
CN111709355B (zh) * | 2020-06-12 | 2023-08-29 | 阿波罗智联(北京)科技有限公司 | 识别目标区域的方法、装置、电子设备和路侧设备 |
Also Published As
Publication number | Publication date |
---|---|
US10339398B2 (en) | 2019-07-02 |
CN107220583B (zh) | 2020-11-13 |
DE102016003424B4 (de) | 2023-09-28 |
US20170270377A1 (en) | 2017-09-21 |
DE102016003424A1 (de) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107220583A (zh) | 用于识别交通标志的方法和装置 | |
CN110146097B (zh) | 自动驾驶导航地图的生成方法、系统、车载终端及服务器 | |
JP5057183B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5435306B2 (ja) | 画像処理システム及び位置測位システム | |
JP5062498B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
CN106611497B (zh) | 交通量预测系统及预测方法、车辆用显示装置以及车辆 | |
US9733093B2 (en) | Data mining to identify locations of potentially hazardous conditions for vehicle operation and use thereof | |
US8630461B2 (en) | Vehicle position detection system | |
US20200042807A1 (en) | Method, Device, and System for Determining a Road Construction Site | |
JP5333862B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
CN107195024A (zh) | 通用型车辆行驶数据记录系统和处理方法 | |
JP5365792B2 (ja) | 車両用位置測定装置 | |
JP2009037613A (ja) | 道路の制限速度を自動的に決定するための方法、およびそれに関連するシステム | |
JP2011215056A (ja) | 自車位置認識システム | |
TW201241405A (en) | Real-time navigation electronic device and method based on determining current traffic rule information, and corresponding computer readable storage medium for storing program thereof | |
CN111275997B (zh) | 用于提供地图数据的方法、机动车和中央数据处理设备 | |
CN101435706A (zh) | 道路影像辨识导航装置与导航方法 | |
JP2010223901A (ja) | 地図データ誤り検査システム、地図データ誤り検査用端末装置、地図データ誤り検査方法 | |
CN110310499A (zh) | 一种匝道限速识别的方法及装置 | |
JP2004171159A (ja) | 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム | |
CN108335507A (zh) | 利用摄像头的拍摄影像的驾驶引导提供方法及装置 | |
JP2006209455A (ja) | 車両用運転診断装置、車両用運転診断システム、及び車両用運転診断方法 | |
JP2006209455A5 (zh) | ||
CN111832365A (zh) | 车道标记确定方法及装置 | |
CN114639263B (zh) | 一种车辆停车位置识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |