[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP2320384B1 - Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen - Google Patents

Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen Download PDF

Info

Publication number
EP2320384B1
EP2320384B1 EP09450175A EP09450175A EP2320384B1 EP 2320384 B1 EP2320384 B1 EP 2320384B1 EP 09450175 A EP09450175 A EP 09450175A EP 09450175 A EP09450175 A EP 09450175A EP 2320384 B1 EP2320384 B1 EP 2320384B1
Authority
EP
European Patent Office
Prior art keywords
vehicle
fingerprint
licence plate
ocr
ref
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP09450175A
Other languages
English (en)
French (fr)
Other versions
EP2320384A1 (de
Inventor
Christian Öhreneder
Herbert Ramoser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kapsch TrafficCom AG
Original Assignee
Kapsch TrafficCom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kapsch TrafficCom AG filed Critical Kapsch TrafficCom AG
Priority to DK09450175.6T priority Critical patent/DK2320384T3/da
Priority to EP09450175A priority patent/EP2320384B1/de
Priority to PL09450175T priority patent/PL2320384T3/pl
Priority to ES09450175T priority patent/ES2401324T3/es
Priority to PT94501756T priority patent/PT2320384E/pt
Priority to SI200930504T priority patent/SI2320384T1/sl
Publication of EP2320384A1 publication Critical patent/EP2320384A1/de
Application granted granted Critical
Publication of EP2320384B1 publication Critical patent/EP2320384B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/06—Arrangements for road pricing or congestion charging of vehicles or vehicle users, e.g. automatic toll systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Definitions

  • the present invention relates to a method for automatic license plate recognition of a vehicle, in particular for tolling purposes in road toll systems according to the preamble of claim 1.
  • a method for automatic license plate recognition of a vehicle in particular for tolling purposes in road toll systems according to the preamble of claim 1.
  • Such a method is known from US 2007/008179 A1 known.
  • Road toll systems based on automatic license plate recognition by image capturing the vehicle are also referred to as video toll systems.
  • the vehicles are taken when passing a toll collection station with one or more cameras.
  • the cameras record a front and / or rear view of the vehicle in which the license plate is as clear as possible.
  • OCR automatic character recognition
  • a vehicle account with the vehicle registration number is maintained for each vehicle.
  • the vehicle passage is assigned to the vehicle account whose license plate matches the OCR license plate reading result.
  • a problem with the known methods is the high error rate of the OCR number plate recognition.
  • the incorrectly read license plates must be corrected manually and assigned to a vehicle account. In the worst case, it can happen that a wrongly read license plate confused with a license plate of another vehicle and this vehicle account is charged with the passage.
  • fingerprints are calculated from images taken in different light and weather conditions, and also the relative position between the license plate and camera at the passage of a toll station varies, the detected fingerprints of the same vehicle are usually slightly different, making the comparison difficult .
  • fingerprints include many features, i. are similar to high-dimensional vectors, which makes the search for similar fingerprints very compute-intensive and even with database techniques is not fully possible, especially if the databases contain very many entries, as is the case with video-based systems.
  • the invention has for its object to provide methods for automatic license plate recognition and toll categorization, which have a lower error rate and higher reliability than the known methods and thereby are quick and easy to implement.
  • the method of the invention is based on the use of OCR tag read results and fingerprints and is based on the recognition that the errors of OCR readings are not randomly distributed, but that the same misreads occur again and again for one and the same tag.
  • a license plate ABC123 is usually read correctly, but occasionally as ABCI23 or as A8C123.
  • the method of the invention proposes to store in the database a list of possible reading results of the automatic license plate recognition, which contains only those known variants of license plate reading results for the license plate of the vehicle, which meet minimum quality or quantity requirements.
  • n assignment list of possible license plate reading results and vehicle license plates is successively filled during the operation of the toll system. Newly created vehicle accounts have only entered the correct indicator in the list of possible license plate reading results. For each misreading of the indicator, the reading result is checked manually, assigned to a vehicle account and added to the list of possible license plate reading results. Each read variant of the license plate only needs to be processed once and entered into the vehicle account.
  • the invention according to claim 1 is accordingly characterized in that, if in step d) no identical label reading result is determined or in step e) no similar or no similar candidate fingerprint can be determined, the vehicle identifier for the current label reading result is determined manually.
  • the vehicle license plate in the database is assigned the current license plate reading result as a new or additional license plate reading result and preferably also the current fingerprint as a new or additional reference fingerprint if the current license plate reading result reaches a minimum frequency and / or minimum quality.
  • an association is also removed from the database if it is not used within a predetermined period of time.
  • step d) it is also useful to use the read variants in step d) in the search for associated vehicle accounts or fingerprints and / or when creating the assignment list as possible reading results of a license plate to save.
  • the fingerprint may be generated in any manner known in the art. It is particularly advantageous if the sensory detection takes place by means of a camera with which an image of the license plate and / or the vehicle is made, from which features are extracted and from which the fingerprint is calculated. Alternatively or additionally, the sensory detection can take place by means of sensors such as light barriers, laser scanners, induction loops, weight sensors or radio communication means with which characteristic features of the vehicle are detected, from which the fingerprint is calculated.
  • sensors such as light barriers, laser scanners, induction loops, weight sensors or radio communication means with which characteristic features of the vehicle are detected, from which the fingerprint is calculated.
  • a further preferred embodiment of the invention is accordingly distinguished by storing weightings for individual regions of the assigned reference fingerprints in the database for each license plate reading result, preferably for each individual assignment thereof to a vehicle license plate, which are taken into account in the comparison of similarity. These weights form the so-called "information about the relevant differences”.
  • toll systems there is often the problem that vehicles that are not subject to tolls are classified as toll.
  • An example is the classification of a toll-free large car (eg a van) as a toll vans.
  • This misclassification stems from measurement inaccuracies in the sensors for the classification or is simply due to the fact that some vehicle classes can not be defined on the basis of defined external characteristics.
  • the misclassification must be corrected manually. Often, the correction must be made on the same vehicle at each vehicle passage.
  • the inventive method can still be used profitably in these cases, if in the vehicle list an entry for the vehicle is stored in which is entered that the vehicle is not subject to toll.
  • a preferred embodiment of the invention is that the tag reading results are stored in encrypted form in the database and the current tag reading result for the equality search of step d) is encrypted in the same manner.
  • the method of the invention can preferably be used in addition to the toll categorization of the vehicle by also assigning a toll category to each reference fingerprint in the database and, if this reference fingerprint is determined to be the most similar candidate fingerprint, its assigned toll category.
  • Fig. 1 shows the method for automatic license plate recognition based on an image 1 of a vehicle 2 with a vehicle registration plate LP in the context of a road toll system.
  • vehicle includes any type of land, air and water vehicles, both self-propelled and externally propelled.
  • a first step (b) an OCR reading of the license plate LP of the vehicle 2 takes place from the image 1 in order to obtain a current license plate reading result LP OCR , eg "ABC123".
  • one or more characteristic features of the vehicle 2 are sensed in order to obtain therefrom a so-called "current fingerprint" FP of the vehicle 2.
  • characteristic features are, for example, the appearance of the License plate, the vehicle color, the appearance of the vehicle front, etc., which can serve to verify the vehicle identity, and / or the vehicle dimensions, the vehicle shape, the presence of a trailer, etc., which can be used for example for the toll.
  • the fingerprint FP can be extracted directly from the camera image 1, e.g. by determining significant bright / dark areas, calculating image parameters such as contrast, cross sums, etc., u.zw. both of the entire vehicle 2 and parts of the vehicle 2.
  • image parameters such as contrast, cross sums, etc., u.zw. both of the entire vehicle 2 and parts of the vehicle 2.
  • the fingerprint FP is formed in this way from the image of the vehicle registration plate LP itself.
  • the fingerprint FP can be obtained from other or further images 1 of the vehicle 2, from data from sensors such as laser scanners, light barriers, induction loops, video cameras, weight sensors, radio systems, e.g. RFID transponder queries, etc. are determined. Different types of sensor data can also be combined in one and the same fingerprint FP.
  • the license plate reading result LP OCR is looked up in a database DB of the road toll system.
  • the database DB contains a first list 3 with stored license plate reading results LP OCR, men and a second list 4 with all vehicle license plates LP registered in the road toll system and associated reference fingerprints FP ref .
  • the current mark reading result LP OCR can be looked up directly in the list 3 of the stored mark reading results LP OCR, mem , since there is only one identical record LP OCR, mem in the list 3 for each possible mark reading result LP OCR This makes the implementation significantly easier and faster.
  • step (e) all reference fingerprints FP ref of the relevant vehicle identifier LP that match the current license plate reading result LP OCR are then determined as "candidate fingerprints" FP ref, cand and respectively compared with the current fingerprint FP.
  • This comparison is a similarity comparison in which the "most similar" candidate fingerprint FP ref, cand is determined; the vehicle identifier LP assigned thereto is outputted as a result of the license plate recognition process (step f).
  • a wide variety of similarity criteria can be specified, for example the maximum value of a numerically calculated similarity measure and / or exceeding a minimum similarity measure etc.
  • it can also be checked whether the similarity criteria for no other Candidate fingerprint apply and thus the "most similar" candidate fingerprint is uniquely determined, ie only a clearly most similar candidate fingerprint is used for further processing.
  • LP reference fingerprints FP ref can be calculated from different image recordings showing the license plate of the vehicle 2 under different light conditions or viewing angles for one and the same identifier.
  • the similarity comparisons of the current fingerprint FP can be combined with all candidate fingerprints FP ref, cand one and the same identifier LP to a common similarity value, eg by adding up, by selecting the maximum value, etc.
  • step (d) If no similar label reading result LP OCR, mem in the list 3 or in step (e) no similar or no similar candidate fingerprint FP ref, can be determined in step (d), a branch is made in each case to a step (g) the license plate LP by an operator manually, in particular visually, determined from the image 1 and the current license plate reading result LP OCR and from this a new entry for the database DB is generated.
  • the manually determined vehicle identifier LP is assigned the current license plate reading result LP OCR as a new or additional license plate reading result LP OCR, mem and / or the current fingerprint FP as a new or additional reference fingerprint FP ref . It can also be checked whether the current license plate reading result LP OCR or the current fingerprint FP reaches a minimum frequency and / or a minimum quality that qualifies it or him to be included in the database DB.
  • Criteria are also preferably provided to remove assignments of license plate reading results LP OCR, mem to license plate LP from the list 3 of the database DB, for example if they are no longer being accessed, for example because a license plate has been renewed and thus become more readable is, so that certain license plate reading results no longer occur.
  • weightings WT for reference fingerprints FP ref can also be determined in a step (h) and stored in the database DB for each assignment LP OCR, mem to an identifier LP, which weightings WT are taken into account in the fingerprint comparison of step (e), around this to focus on particularly distinctive or relevant areas of the fingerprints FP and FP ref, cand to be compared.
  • step (d) Some OCR tag recognition methods provide several alternative tag reading results, one most likely to be most likely, while the other are possible but less likely alternatives.
  • the alternative label reading results may be used beneficially in step (d) and step (g).
  • step (d) the alternative read results can also be looked up in the list 3 of the stored label reading results LP OCR, mem and the associated reference fingerprints FP ref can be used for the fingerprint comparison.
  • step (g) all possible read variants of the flag can be entered in the database DB.
  • the label reading results LP OCR, mem stored in the list 3 can be encrypted for privacy reasons.
  • the current label reading result LP OCR is then encrypted in the same manner; it is therefore not necessary to use, transfer or store in the database DB or in the context of the present method license plate reading results in plain text.
  • the encryption can be done by any known method which ensures that label read results LP OCR , LP OCR, mem can not be accessed without authorization. In fact, in the case of the method presented here, it is not necessary at all to know or decrypt the license plate reading result in plain text, ie an irreversible encryption can be used.
  • each encryption result is only generated exactly by a license reading result:
  • the method is based on comparing a current license plate reading result with a list stored license plate reading result and looking for exact matches, not just similar characteristics .
  • Such a search for an exact match can also be carried out if both the current license plate reading result LP OCR and the stored license plate reading result LP OCR, mem are present in a form encrypted in the same way.
  • the encryption is a so-called "one-way function", i. a difficult invertible function, e.g. an asymmetric encryption with public and private key.
  • the private key that would be needed to decrypt can be destroyed so that no one can infer the actual label reading result from the encrypted label reading result.
  • Encrypting the license plate reading results also makes it possible to apply the method to section control, parking and other closed systems, which place particularly stringent data protection requirements. It is to distinguish between closed systems in which a vehicle passage is assigned at the exit from the closed system of a vehicle passage at the entrance to the closed system, and systems with registered users, in which vehicle passages are assigned to a vehicle account. For closed systems (without registration) saving a list of possible license plate reading results does not make sense. However, also in these systems, a preselection of fingerprints based on the license plate reading result, whereby the encryption of the license plate reading results may be required for data protection reasons, especially in these applications.
  • a very advantageous extension of the method described is to use the location and time of a vehicle passage in the recognition of the vehicles to make plausibility of the assignment of the vehicle passages to vehicle accounts. In doing so, e.g. Checked from several vehicle detections, whether a vehicle could be at a specific location at the specified time.
  • Fig. 2 shows a further advantageous embodiment of the invention, in addition to the automatic license plate recognition and an automatic toll categorization of a vehicle is performed, on the basis of the discussed comparison of fingerprints, the fingerprint may include features with which the vehicle characteristics can also be verified.
  • the reference fingerprint (s) FP ref of an identified vehicle having an identification ID, eg its vehicle identifier LP is also assigned one (or more) toll category (s) MK. If the current fingerprint FP of the vehicle passage with one of the above-identified candidate fingerprints FP ref, cand best similar resembles, the associated toll category MK is taken from the database DB and output in step (f) (see also Fig. 1 ).
  • a van passes through a toll station during a first vehicle passage.
  • the sensors installed at the toll station e.g. a laser scanner, detects the vehicle and classifies it (wrongly) as a pickup truck. As the van only pays for the (lower) toll category "Van", a contradiction is found.
  • the fingerprint of the current passage is compared with the reference fingerprint stored in the vehicle account. If the two fingerprints match (i.e., the similarity measure is above a predetermined threshold value), the toll category determined by the processor during the first passage is adopted and the contradiction is thus automatically corrected.
  • the method is based on the knowledge that one and the same vehicle, which has not changed in its outer shape, can be assigned to the same toll category again.
  • a first step the identification of the vehicle or the assignment to a vehicle account, e.g. with the aid of the method previously described for automatic license plate recognition.
  • a second step it is ensured by means of the fingerprint comparison that changes to the vehicle are detected and the toll category stored in the vehicle account is only accepted if the vehicle has remained externally unchanged. Examples of changes to the vehicle are when the vehicle is being renewed (e.g., same license plate on new vehicle) or e.g. carries a trailer or caravan.
  • a vehicle with a specific identification ID or LP can also have different reference fingerprints FP ref for its appearance be assigned in different configurations K with associated toll categories MK, so that one and the same vehicle in different configurations K, eg with and without trailers, can be automatically categorized and vermautet.
  • only the outer dimensions of the vehicle can be stored as reference fingerprint FP ref ;
  • the presence of a trailer can then be easily recognized eg by a large change in length.
  • Another very advantageous embodiment is to save trailers as their own vehicles in the database DB with its own reference fingerprint.
  • the towing vehicle and trailer are identified separately and optionally the characteristics of towing vehicle and trailer are verified.
  • the determined toll category MK then results from a combination of the categories of the towing vehicle and the trailer.
  • the determination of the toll category MK by means of fingerprints FP can be based on the presented here method for license plate recognition based on OCR license plate reading results LP OCR , in which case can be used as a vehicle identification ID directly its flag LP.
  • any other known method for vehicle identification could be used for this, for example a vehicle identification by means of an electronic tag attached to the vehicle, such as an RFID transponder chip or an onboard unit (OBU) for electronic toll debiting.

Landscapes

  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Collating Specific Patterns (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Traffic Control Systems (AREA)

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur automatischen Kennzeichenerkennung eines Fahrzeugs, insbesondere zu Vermautungszwecken in Straßenmautsystemen gemäß dem Oberbegriff des Anspruchs 1.
    Ein derartiges Verfahren ist aus der US 2007/008179 A1 bekannt.
  • Straßenmautsysteme, die auf einer automatischen Kennzeichenerkennung mittels Bildaufnahmen des Fahrzeugs basieren, werden auch als Videomautsysteme bezeichnet. Dabei werden die Fahrzeuge bei der Passage einer Mautabbuchungsstation mit einer oder mehreren Kameras aufgenommen. Die Kameras nehmen ein Front- und/oder Heckbild des Fahrzeugs auf, in dem das Kennzeichen möglichst gut lesbar ist. Aus dem Bild wird mit Methoden der automatischen Zeichenerkennung (optical character recognition, OCR) das Fahrzeugkennzeichen gelesen. In einer Datenbank der Mautzentrale wird für jedes Fahrzeug ein Fahrzeugkonto mit dem Fahrzeugkennzeichen geführt. Die Fahrzeugpassage wird jenem Fahrzeugkonto zugeordnet, dessen Kennzeichen mit dem OCR-Kennzeichenleseergebnis übereinstimmt.
  • Wenn Fahrzeuge aus unterschiedlichen Ländern - oder in den USA aus unterschiedlichen Bundesstaaten - eine Mautabbuchungsstation passieren, ist es manchmal erforderlich, zusätzlich zum Kennzeichen auch das Land, das die Kennzeichentafel ausgegeben hat, das Staats- bzw. Landeswappen oder den Typ der Kennzeichentafel zu erkennen, um eine eindeutige Zuordnung des gelesenen Kennzeichens zu einem Fahrzeugkonto zu ermöglichen.
  • Ein Problem bei den bekannten Verfahren ist die hohe Fehlerrate der OCR-Kennzeichenerkennung. Falsch gelesene Kennzeichen müssen manuell richtiggestellt und einem Fahrzeugkonto zugeordnet werden. Im schlimmsten Fall kann es passieren, daß ein falsch gelesenes Kennzeichen mit einem Kennzeichen eines anderen Fahrzeugs verwechselt und dieses Fahrzeugkonto mit der Passage belastet wird.
  • Es wurden daher bereits Verbesserungen der Zuordnung des aktuellen Kennzeichenbildes zu einem Fahrzeugkonto vorgeschlagen, bei denen zusätzlich zum Kennzeichen selbst auch das Aussehen der Kennzeichentafel mitberücksichtigt wird. Dazu werden aus einem aktuellen Kennzeichenbild wesentliche Merkmale extrahiert. Die wesentlichen Merkmale sollen das Aussehen der Kennzeichentafel eindeutig repräsentieren und werden (Kennzeichen-) Fingerprint" genannt. Bei jedem Fahrzeugkonto der Datenbank wird zusätzlich zum Kennzeichen auch ein Referenzfingerprint hinterlegt. Durch Vergleichen des aktuellen Fingerprints mit den Referenzfingerprints der Datenbank wird das Fahrzeug einem Fahrzeugkonto zugeordnet.
  • Da die Fingerprints aus Bildern berechnet werden, die unter unterschiedlichen Licht- und Witterungsbedingungen aufgenommen wurden, und auch die relative Position zwischen Kennzeichen und Kamera bei der Passage einer Mautstation variiert, sind die erfaßten Fingerprints ein und desselben Fahrzeugs meistens geringfügig verschieden, was den Vergleich erschwert. Darüber hinaus umfassen Fingerprints sehr viele Merkmale, d.h. ähneln hoch-dimensionalen Vektoren, was die Suche nach ähnlichen Fingerprints sehr rechenintensiv macht und selbst mittels Datenbanktechniken nicht uneingeschränkt möglich ist, vor allem dann, wenn die Datenbanken sehr viele Einträge enthalten, wie das bei Videomautsystemen der Fall ist.
  • Die Erfindung setzt sich zum Ziel, Verfahren zur automatischen Kennzeichenerkennung und Mautkategorisierung zu schaffen, welche eine geringere Fehlerrate und höhere Zuverlässigkeit haben als die bekannten Verfahren und dabei rasch und einfach implementierbar sind.
  • Dieses Ziel wird mit einem Verfahren zur automatischen Kennzeichenerkennung mit den Merkmalen des Anspruchs 1 erreicht.
  • Das Verfahren der Erfindung basiert auf der Verwendung von OCR-Kennzeichenleseergebnissen und Fingerprints und beruht auf der Erkenntnis, daß die Fehler von OCR-Lesungen nicht zufällig verteilt sind, sondern bei ein und demselben Kennzeichen immer wieder dieselben Fehllesungen vorkommen. So kann es beispielsweise sein, daß ein Kennzeichen ABC123 meist korrekt, hin und wieder aber als ABCI23 oder als A8C123 gelesen wird. Wenn also die automatische Kennzeichenerkennung ABC123 liest, ist es sinnvoll, nur jene Fahrzeugkonten, deren Kennzeichentafel hin und wieder als ABC123 gelesen wird, für eine Zuordnung der Mautpassage mit Hilfe des Fingerprintvergleichs in Betracht zu ziehen. Das Verfahren der Erfindung schlägt dazu vor, in der Datenbank eine Liste von möglichen Leseergebnissen der automatischen Kennzeichenerkennung zu speichern, die nur solche bekannten Varianten von Kennzeichenleseergebnissen für das Kennzeichen des Fahrzeugs enthält, welche Mindestqualitäts- bzw. -quantitätsanforderungen erfüllen.
  • Das Verfahren der Erfindung berücksichtigt somit ausgewählte bisherige Lesefehler der OCR-Kennzeichenerkennung für jedes einzelne Kennzeichen und liefert dadurch bessere Ergebnisse:
    • Es werden weniger Zuordnungskandidaten aus der Fahrzeugdatenbank gefunden.
    • Die Wahrscheinlichkeit, daß das korrekte Fahrzeugkonto in der Liste der Zuordnungskandidaten enthalten ist, ist höher.
  • In einer vorteilhaften Realisierung wird die n:n-Zuordnungsliste möglicher Kennzeichenleseergebnisse und Fahrzeugkennzeichen während des Betriebs des Mautsystems sukzessive gefüllt. Neu angelegte Fahrzeugkonten haben in der Liste der möglichen Kennzeichenleseergebnisse nur das korrekte Kennzeichen eingetragen. Bei jeder Fehllesung des Kennzeichens wird das Leseergebnis manuell geprüft, einem Fahrzeugkonto zugeordnet und in die Liste der möglichen Kennzeichenleseergebnisse aufgenommen. Jede Lesevariante des Kennzeichens braucht nur einmal bearbeitet und zum Fahrzeugkonto eingetragen werden.
  • Die Erfindung nach Anspruch 1 zeichnet sich demgemäß dadurch aus, daß, wenn in Schritt d) kein gleiches Kennzeichenleseergebnis ermittelt oder in Schritt e) kein ähnlichster oder überhaupt kein ähnlicher Kandidatenfingerprint bestimmt werden kann, das Fahrzeugkennzeichen zu dem aktuellen Kennzeichenleseergebnis manuell ermittelt wird.
  • In diesen Fällen wird dem Fahrzeugkennzeichen in der Datenbank das aktuelle Kennzeichenleseergebnis als neues oder zusätzliches Kennzeichenleseergebnis und bevorzugt auch der aktuelle Fingerprint als neuer oder zusätzlicher Referenzfingerprint zugeordnet, wenn das aktuelle Kennzeichenleseergebnis eine Mindesthäufigkeit und/oder Mindestqualität erreicht.
  • Bevorzugt kann auch in den Fällen,
    • wenn der Vergleich des aktuellen Fingerprint mit dem/den dem Fahrzeugkennzeichen zugeordneten Referenzfingerprint(s) fehlschlägt und der aktuelle Fingerprint eine bessere Qualität oder mehr Information als der bzw. die gespeicherte(n) Referenzfingerprint(s) aufweist, der aktuelle Fingerprint dem Fahrzeugkennzeichen als neuer oder zusätzlicher Referenzfingerprint zugeordnet werden; oder
    • wenn zum Fahrzeugkennzeichen kein Referenzfingerprint gespeichert ist und der aktuelle Fingerprint Mindestqualitätsanforderungen erfüllt, dieser dem Fahrzeugkennzeichen als neuer Referenzfingerprint zugeordnet werden.
  • Bevorzugt wird eine Zuordnung auch aus der Datenbank entfernt, wenn sie innerhalb eines vorgegebenen Zeitraums nicht benutzt wird.
  • Im Falle, daß das OCR-Kennzeichenlesen unterschiedliche Lesevarianten des Kennzeichens ermittelt, ist es auch nutzbringend, die Lesevarianten im Schritt d) bei der Suche nach zugeordneten Fahrzeugkonten bzw. Fingerprints zu verwenden und/oder bei der Erstellung der Zuordnungsliste als mögliche Leseergebnisse eines Kennzeichens zu speichern.
  • Der Fingerprint kann an sich auf jede in der Technik bekannte Art und Weise erzeugt werden. Besonders vorteilhaft ist es, wenn das sensorische Erfassen mittels einer Kamera erfolgt, mit der ein Bild des Kennzeichens und/oder des Fahrzeugs gemacht wird, aus dem Merkmale extrahiert und daraus der Fingerprint berechnet wird. Alternativ oder zusätzlich kann das sensorische Erfassen mittels Sensoriken wie Lichtschranken, Laserscannern, Induktionsschleifen, Gewichtssensoren oder Funkkommunikationsmitteln erfolgen, mit denen charakteristische Merkmale des Fahrzeugs erfaßt werden, aus welchen der Fingerprint berechnet wird.
  • Untersuchungen der Anmelderin haben gezeigt, daß ein Großteil der Einträge in der Liste der Kennzeichenleseergebnisse nur auf sehr wenige Fahrzeugkennzeichen verweist. Dabei kann es sein, daß es einzelne besonders schwer zu unterscheidende Kennzeichen gibt. Beispielsweise könnte es die Kennzeichen ABC123 und ABCI23 in sehr ähnlicher Ausführung geben. Ein weiterer Aspekt der Erfindung besteht daher darin, daß zu jedem Eintrag in der Liste der möglichen Kennzeichenleseergebnisse zusätzlich Information zur Unterscheidung der Fingerprints der zugeordneten Fahrzeugkennzeichen gespeichert wird. Wenn beispielsweise sowohl das Kennzeichen ABC123 und als auch ABCI23 als ABCI23 gelesen werden, dann ist es sinnvoll, beim Vergleich der Fingerprints speziell die Region, in der sich die beiden Kennzeichen unterscheiden ("I" und "1"), höherrangig zu bewerten bzw. zu gewichten. Eine solche "Information über die relevanten Unterschiede" zweier oder mehrerer Kennzeichen, die aufgrund der automatischen Kennzeichenerkennung verwechselt werden könnten, wird in der Liste der möglichen Kennzeichenleseergebnisse als Gewichtung für die zugeordneten Fingerprints gespeichert.
  • Das ist insbesondere deswegen sinnvoll, weil Kennzeichen sich oft nur sehr geringfügig unterscheiden, sich aber andererseits große Variationen des Fingerprints für ein und dasselbe Fahrzeug aufgrund von Verschmutzungen, Lichtreflexionen oder ähnlichem ergeben können. Solche unter Umständen großflächige Einflüsse können dazu führen, daß die geringfügigen lokalen Unterschiede beim Fingerprintvergleich nicht in ausreichendem Maße berücksichtigt werden.
  • Eine weitere bevorzugte Ausführungsform der Erfindung zeichnet sich demgemäß dadurch aus, in der Datenbank zu jedem Kennzeichenleseergebnis, bevorzugt zu jeder einzelnen Zuordnung desselben zu einem Fahrzeugkennzeichen, Gewichtungen für einzelne Regionen der zugeordneten Referenzfingerprints gespeichert werden, welche beim Ähnlichkeitsvergleichen berücksichtigt werden. Diese Gewichtungen bilden die genannte "Information über die relevanten Unterschiede".
  • In Mautsystemen besteht oft auch das Problem, daß Fahrzeuge, die nicht mautpflichtig sind, als mautpflichtig eingestuft werden. Ein Beispiel ist die Einstufung eines nichtmautpflichtigen großen PKWs (z.B. eines Vans) als mautpflichtiger Kleintransporter. Diese Fehleinstufung rührt von Meßungenauigkeiten in der Sensorik für die Klassifizierung her oder ist schlicht dadurch bedingt, daß sich manche Fahrzeugklassen gar nicht anhand definierter äußerer Merkmale abgrenzen lassen. In diesen Fällen muß die Fehleinstufung manuell korrigiert werden. Oftmals muß die Korrektur bei ein und demselben Fahrzeug bei jeder Fahrzeugpassage durchgeführt werden. Das erfindungsgemäße Verfahren kann auch in diesen Fällen dennoch nutzbringend angewandt werden, wenn in der Fahrzeugliste ein Eintrag für das Fahrzeug gespeichert wird, in welchem eingetragen ist, daß das Fahrzeug nicht mautpflichtig ist. Problematisch dabei ist, daß damit ein Eintrag für ein Fahrzeug angelegt wird, welches nicht mautpflichtig ist: Eine solche Vorgehensweise kann je nach gesetzlicher Lage gegen Datenschutzbestimmungen verstoßen. Um dieses Problem zu lösen, kann das vorgestellte Verfahren in einer vorteilhaften Ausführung auch so verwendet werden, daß die Kennzeichenleseergebnisse, bevor sie in der Liste gespeichert werden, verschlüsselt werden.
  • Demgemäß besteht eine bevorzugte Ausführungsform der Erfindung darin, daß die Kennzeichenleseergebnisse in der Datenbank verschlüsselt gespeichert werden und das aktuelle Kennzeichenleseergebnis für die Gleichheitssuche des Schritts d) in derselben Art und Weise verschlüsselt wird.
  • Das Verfahren der Erfindung kann bevorzugt zusätzlich zur Mautkategorisierung des Fahrzeugs eingesetzt werden, indem in der Datenbank jedem Referenzfingerprint auch eine Mautkategorie zugeordnet wird und, wenn dieser Referenzfingerprint als ähnlichster Kandidatenfingerprint bestimmt wird, dessen zugeordnete Mautkategorie mit ausgegeben wird.
  • Weitere Ziele, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung ihrer bevorzugten Ausführungsformen unter Bezugnahme auf die begleitenden Zeichnungen, in denen zeigen:
    • Fig. 1 ein Flußdiagram des erfindungsgemäßen Verfahrens zur automatischen Kennzeichenerkennung und
    • Fig. 2 ein Flußdiagram des erfindungsgemäßen Verfahrens zur Mautkategorisierung.
  • Fig. 1 zeigt das Verfahren zur automatischen Kennzeichenerkennung anhand eines Bildes 1 eines Fahrzeugs 2 mit einem Fahrzeugkennzeichen LP im Rahmen eines Straßenmautsystems. Der hier verwendete Begriff "Fahrzeug" umfaßt alle beliebigen Land-, Luft- und Wasserfahrzeuge, sowohl selbst- als auch fremdangetrieben.
  • In einem ersten Schritt (b) erfolgt ein OCR-Lesen des Kennzeichens LP des Fahrzeugs 2 aus dem Bild 1, um ein aktuelles Kennzeichenleseergebnis LPOCR zu erhalten, z.B. "ABC123".
  • In einem vorausgehenden, parallelen oder nachfolgenden Schritt (c) werden ein oder mehrere charakteristische Merkmale des Fahrzeugs 2 sensorisch erfaßt, um daraus einen sog. "aktuellen Fingerprint" FP des Fahrzeugs 2 zu erhalten. Solche charakteristischen Merkmale sind beispielsweise das Aussehen des Kennzeichens, die Fahrzeugfarbe, das Aussehen der Fahrzeugfront usw, welche zur Verifikation der Fahrzeugidentität dienen können, und/oder die Fahrzeugabmessungen, die Fahrzeugform, das Vorhandensein eines Anhängers usw., welche z.B. auch für die Bemautung herangezogen werden können.
  • Der Fingerprint FP kann beispielsweise direkt aus dem Kamerabild 1 extrahiert werden, z.B. durch Ermitteln von signifikanten Hell/Dunkel-Bereichen, Berechnen von Bildparametern wie Kontrast, Quersummen, usw., u.zw. sowohl des gesamten Fahrzeugs 2 als Teilen des Fahrzeugs 2. Insbesondere ist es möglich, daß der Fingerprint FP auf diese Weise aus dem Bild des Fahrzeugkennzeichens LP selbst gebildet wird.
  • Alternativ oder zusätzlich kann der Fingerprint FP aus anderen oder weiteren Bildern 1 des Fahrzeugs 2, aus Daten von Sensoriken wie Laserscannern, Lichtschranken, Induktionsschleifen, Videokameras, Gewichtssensoren, Funkanlagen, z.B. RFID-Transponder-Abfragen, usw. ermittelt werden. Dabei können auch verschiedene Arten von Sensordaten in ein und demselben Fingerprint FP kombiniert werden.
  • In einem Schritt (d) wird das Kennzeichenleseergebnis LPOCR in einer Datenbank DB des Straßenmautsystems nachgeschlagen. Die Datenbank DB enthält in der gezeigten Ausführungsform eine erste Liste 3 mit gespeicherten Kennzeichenleseergebnissen LPOCR,men und eine zweite Liste 4 mit allen im Straßenmautsystem registrierten Fahrzeugkennzeichen LP und diesen zugeordneten Referenzfingerprints FPref. Zwischen den Listen 3, 4 besteht eine n:n-relationale (n ∈ N) Zuordnung der Kennzeichenleseergebnisse LPOCR,mem einerseits zu den Fahrzeugkennzeichen LP bzw. ihren Referenzfingerprints FPref anderseits, wie durch die Linien 5 versinnbildlicht: Ein Kennzeichenleseergebnis LPOCR,mem kann auf eines oder mehrere Fahrzeugkennzeichen LP bzw. deren Referenzfingerprints FRref verweisen; und für ein Fahrzeugkennzeichen LP (bzw. einen Referenzfingerprint FPref) können eines oder mehrere mögliche Kennzeichenleseergebnisse LPOCR,mem gespeichert sein.
  • In dem Nachschlageschritt (d) kann somit das aktuelle Kennzeichenleseergebnis LPOCR direkt in der Liste 3 der gespeicherten Kennzeichenleseergebnisse LPOCR,mem nachgeschlagen werden, denn zu jedem möglichen Kennzeichenleseergebnis LPOCR gibt es nur einen einzigen gleichen Eintrag LPOCR,mem in der Liste 3. Dies erleichtert und beschleunigt die Implementierung signifikant.
  • In einem anschließenden Schritt (e) werden nun alle dem aktuellen Kennzeichenleseergebnis LPOCR über die Listen 3, 4 zugeordneten Referenzfingerprints FPref der in Frage kommenden Fahrzeugkennzeichen LP als "Kandidatenfingerprints" FPref,cand ermittelt und jeweils mit dem aktuellen Fingerprint FP verglichen. Dieser Vergleich ist ein Ähnlichkeitsvergleich, bei dem der "ähnlichste" Kandidatenfingerprint FPref,cand bestimmt wird; das diesem zugeordnete Fahrzeugkennzeichen LP wird als Ergebnis des Kennzeichenerkennungsverfahrens ausgegeben (Schritt f).
  • Für die Bestimmung des "ähnlichsten" Kandidatenfingerprints können verschiedenste Ähnlichkeitskriterien vorgegeben werden, beispielsweise der maximale Wert eines numerisch berechneten Ähnlichkeitsmaßes und/oder das Überschreitens eines Mindestähnlichkeitsmaßes usw. Bei der Bestimmung des "ähnlichsten" Kandidatenfingerprints kann auch geprüft werden, ob die Ähnlichkeitskriterien für keinen anderen Kandidatenfingerprint zutreffen und somit der "ähnlichste" Kandidatenfingerprint eindeutig bestimmt ist, d.h. nur ein eindeutig ähnlichster Kandidatenfingerprint für die weitere Verarbeitung herangezogen wird.
  • In der Liste 4 der Datenbank DB können zu einem Fahrzeugkennzeichen LP auch mehrere Referenzfingerprints FPref gespeichert sein. Beispielsweise können für ein und dasselbe Kennzeichen LP Referenzfingerprints FPref aus verschiedenen Bildaufnahmen, welche die Kennzeichentafel des Fahrzeugs 2 unter unterschiedlichen Lichtbedingungen oder Blickwinkeln zeigen, berechnet werden. Beim Fingerprint-Ähnlichkeitsvergleich des Schrittes (e) können dann die Ähnlichkeitsvergleiche des aktuellen Fingerprints FP mit allen Kandidatenfingerprints FPref,cand ein- und desselben Kennzeichens LP zu einem gemeinsamen Ähnlichkeitswert kombiniert werden, z.B. durch Aufsummieren, durch Auswahl des Maximalwerts usw.
  • Wenn in Schritt (d) kein gleiches Kennzeichenleseergebnis LPOCR,mem in der Liste 3 oder in Schritt (e) kein ähnlichster oder überhaupt kein ähnlicher Kandidatenfingerprint FPref,cand bestimmt werden kann, wird jeweils zu einem Schritt (g) verzweigt, in dem das Kennzeichen LP durch eine Bedienungsperson manuell, insbesondere visuell, aus dem Bild 1 bzw. dem aktuellen Kennzeichenleseergebnis LPOCR ermittelt und daraus ein neuer Eintrag für die Datenbank DB erzeugt wird. Dabei wird dem manuell ermittelten Fahrzeugkennzeichen LP das aktuelle Kennzeichenleseergebnis LPOCR als neues - oder zusätzliches - Kennzeichenleseergebnis LPOCR,mem und/oder der aktuelle Fingerprint FP als neuer - oder zusätzlicher - Referenzfingerprint FPref zugeordnet. Dabei kann auch überprüft werden, ob das aktuelle Kennzeichenleseergebnis LPOCR bzw. der aktuelle Fingerprint FP eine Mindesthäufigkeit und/oder eine Mindestqualität erreicht, die es bzw. ihn dafür qualifiziert, in die Datenbank DB aufgenommen zu werden.
  • Bevorzugt werden auch Kriterien vorgesehen, um Zuordnungen von Kennzeichenleseergebnissen LPOCR,mem zu Kennzeichen LP wieder aus der Liste 3 der Datenbank DB zu entfernen, z.B. wenn längere Zeit nicht mehr auf sie zugegriffen wird, beispielsweise weil eine Kennzeichentafel erneuert wurde und damit besser lesbar geworden ist, so daß bestimmte Kennzeichenleseergebnisse nicht mehr auftreten.
  • Optional können in einem Schritt (h) auch Gewichtungen WT für Referenzfingerprints FPref festgelegt und in der Datenbank DB z.B. für jede Zuordnung LPOCR,mem zu einem Kennzeichen LP gespeichert werden, welche Gewichtungen WT bei dem Fingerprintvergleich des Schrittes (e) berücksichtigt werden, um diesen auf besonders unterscheidungskräftige oder relevante Bereiche der zu vergleichenden Fingerprints FP und FPref,cand abzustellen.
  • Auch ist es möglich, für bestimmte Fahrzeugkennzeichen LP oder Kennzeichenleseergebnisse LPOCR - sollte es bei diesen zu vermehrten Fehlzuordnungen kommen - erhöhte Anforderungen an den Fingerprint-Ähnlichkeitsvergleich des Schrittes (e) zu stellen oder diese zur Gänze von einer automatischen Zuordnung auszuschließen.
  • Manche Verfahren zur OCR-Kennzeichenerkennung liefern mehrere alternative Kennzeichenleseergebnisse, wobei eines meist als wahrscheinlichstes gekennzeichnet ist, während die anderen mögliche, aber weniger wahrscheinliche Alternativen darstellen. Die alternativen Kennzeichenleseergebnisse können im Schritt (d) und im Schritt (g) nutzbringend verwendet werden. Im Schritt (d) können die alternative Leseergebnisse ebenfalls in der Liste 3 der gespeicherten Kennzeichenleseergebnisse LPOCR,mem nachgeschlagen werden und die zugeordneten Referenzfingerprints FPref für den Fingerprintvergleich herangezogen werden. In Schritt (g) können alle möglichen Lesevarianten des Kennzeichens in der Datenbank DB eingetragen werden.
  • Wie bereits kurz erläutert, können die in der Liste 3 gespeicherten Kennzeichenleseergebnisse LPOCR,mem aus Datenschutzgründen verschlüsselt vorliegen. Für den Gleichheitsvergleich in Schritt (d) wird dann das aktuelle Kennzeichenleseergebnis LPOCR in derselben Art und Weise verschlüsselt; es ist damit nicht notwendig, in der Datenbank DB bzw. im Rahmen des vorliegenden Verfahrens Kennzeichenleseergebnisse im Klartext zu verwenden, zu übertragen bzw. aufzubewahren.
  • Die Verschlüsselung kann mit jedem beliebigen bekannten Verfahren erfolgen, welches sicherstellt, daß auf Kennzeichenleseergebnisse LPOCR, LPOCR,mem nicht unbefugt zugegriffen werden kann. Tatsächlich ist es bei dem hier vorgestellten Verfahren gar nicht notwendig, das Kennzeichenleseergebnis im Klartext zu kennen bzw. wieder zu entschlüsseln, d.h. es kann eine irreversible Verschlüsselung verwendet werden. Es genügt, wenn die Verschlüsselung eine im mathematischen Sinn injektive Funktion ist und daher jedes Verschlüsselungsergebnis nur genau von einem Kennzeichenleseergebnis erzeugt wird: Denn das Verfahren basiert darauf, ein aktuelles Kennzeichenleseergebnis mit einer Liste gespeicherter Kennzeichenleseergebnis zu vergleichen und dabei nach genauen Übereinstimmungen zu suchen, nicht nach lediglich ähnlichen Kennzeichen. Eine solche Suche nach einer genauen Übereinstimmung läßt sich aber auch durchführen, wenn sowohl das aktuelle Kennzeichenleseergebnis LPOCR als auch das gespeicherte Kennzeichenleseergebnis LPOCR,mem in einer auf dieselbe Weise verschlüsselten Form vorliegen.
  • Vorteilhafterweise ist die Verschlüsselung eine sog. "Einweg-Funktion", d.h. eine schwer invertierbare Funktion, z.B. eine asymmetrische Verschlüsselung mit öffentlichem und privatem Schlüssel. Der private Schlüssel, der zum Entschlüsseln notwendig wäre, kann vernichtet werden, sodaß niemand aus dem verschlüsselten Kennzeichenleseergebnis auf das tatsächliche Kennzeichenleseergebnis zurückschließen kann.
  • Die Verschlüsselung der Kennzeichenleseergebnisse ermöglicht es auch, das Verfahren bei Section-Control-, Parking- und anderen geschlossenen Systemen anzuwenden, welche besonders strenge Anforderungen an den Datenschutz stellen. Dabei ist zu unterscheiden zwischen geschlossenen Systemen, bei denen eine Fahrzeugpassage bei der Ausfahrt aus dem geschlossenen System einer Fahrzeugpassage bei der Einfahrt in das geschlossen System zugeordnet wird, und Systemen mit registrierten Benutzern, bei denen Fahrzeugpassagen einem Fahrzeugkonto zugeordnet werden. Bei geschlossenen Systemen (ohne Registrierung) ist das Speichern einer Liste möglicher Kennzeichenleseergebnisse nicht sinnvoll. Allerdings kann auch in diesen Systemen eine Vorselektion von Fingerprints anhand des Kennzeichenleseergebnisses erfolgen, wobei speziell in diesen Anwendungsfällen die Verschlüsselung der Kennzeichenleseergebnisse aus Datenschutzgründen erforderlich sein kann.
  • Ein sehr vorteilhafte Erweiterung des beschriebenen Verfahrens besteht darin, bei der Erkennung der Fahrzeuge auch Ort und Zeit einer Fahrzeugpassage verwenden, um die Zuordnung der Fahrzeugpassagen zu Fahrzeugkonten zu plausibilisieren. Dabei wird z.B. aus mehreren Fahrzeugdetektionen geprüft, ob ein Fahrzeug überhaupt zum angegebenen Zeitpunkt an einem bestimmten Ort sein konnte.
  • Fig. 2 zeigt eine weitere vorteilhafte Ausführung der Erfindung, bei der zusätzlich zur automatischen Kennzeichenerkennung auch eine automatische Mautkategorisierung eines Fahrzeugs durchgeführt wird, und zwar auf Grundlage des erörterten Vergleichs von Fingerprints, wobei der Fingerprint Merkmale enthalten kann, mit denen die Fahrzeugeigenschaften auch verifiziert werden können. Dazu werden in der Datenbank DB dem bzw. den Referenzfingerprint(s) FPref eines identifizierten Fahrzeugs mit einer Identifikation ID, z.B. seinem Fahrzeugkennzeichen LP, auch eine (oder mehrere) Mautkategorie(n) MK zugeordnet. Wenn der aktuelle Fingerprint FP der Fahrzeugpassage mit einem der auf obige Art und Weise ermittelten Kandidatenfingerprints FPref,cand bestmöglich ähnelt, wird auch die zugehörige Mautkategorie MK aus der Datenbank DB übernommen und im Schritt (f) ausgegeben (siehe auch Fig. 1).
  • Folgendes Beispiel illustriert eine mögliche Variante dieses Verfahrens.
  • Ein Van passiert bei einer ersten Fahrzeugpassage eine Mautstation. Die an der Mautstation installierte Sensorik, z.B. ein Laser-Scanner, erfaßt das Fahrzeug und stuft es (fälschlich) als Kleintransporter ein. Da der Van nur für die (niedrigere) Mautkategorie "Van" bezahlt, wird ein Widerspruch festgestellt.
  • Bei der ersten Fahrzeugpassage, welche zu einem Widerspruch führt, erfolgt eine manuelle Bearbeitung, im Zuge derer der Widerspruch korrigiert und der Van korrekt als Mautkategorie "Van" eingestuft wird. Aufgrund der Korrektur des Widerspruchs wird der Fingerprint zusammen mit der vom Bearbeiter festgestellten Mautkategorie im Fahrzeugkonto gespeichert.
  • Tritt bei einer weiteren Passage desselben Fahrzeugs wiederum ein Widerspruch auf, wird der Fingerprint der aktuellen Passage mit dem im Fahrzeugkonto gespeicherte Referenzfingerprint verglichen. Bei einer Übereinstimmung der beiden Fingerprints (d.h. das Ähnlichkeitsmaß liegt über einem vorgegebenen Schwellwert) wird die bei der ersten Passage vom Bearbeiter festgestellte Mautkategorie übernommen und der Widerspruch damit automatisch korrigiert.
  • Das Verfahren beruht auf der Erkenntnis, daß ein und dasselbe Fahrzeug, welches sich in seiner äußeren Form nicht verändert hat, wieder derselben Mautkategorie zugeordnet werden kann. Dabei erfolgt in einem ersten Schritt die Identifikation des Fahrzeugs bzw. die Zuordnung zu einem Fahrzeugkonto, z.B. mit Hilfe des zuvor beschriebenen Verfahrens zur automatischen Kennzeichenerkennung. In einem zweiten Schritt wird mittels des Fingerprintvergleichs sichergestellt, daß Veränderungen am Fahrzeug erkannt werden und die im Fahrzeugkonto gespeicherte Mautkategorie nur dann übernommen wird, wenn das Fahrzeug äußerlich unverändert geblieben ist. Beispiele für Veränderungen am Fahrzeug sind, wenn das Fahrzeug erneuert wird (z.B. gleiches Kennzeichen auf neuem Fahrzeug) oder z.B. einen Anhänger oder Wohnwagen mitführt.
  • Bekannte Verfahren, mit denen überprüft wird, ob die korrekte Mautkategorie bezahlt wurde, verwenden demgegenüber nur die von den Sensoren gemessenen Daten, um nach einem für alle Fahrzeuge identischen Klassifikationsverfahren die Mautkategorie zu bestimmen. Demgegenüber ist das hier vorgestellte Kategorisierungsverfahren in der Lage, Merkmale individueller Fahrzeuge zu speichern und für eine spätere Kategorisierungsentscheidung wiederzuverwenden.
  • Wie in der Datenbank von Fig. 2 ersichtlich, können einem Fahrzeug mit einer bestimmten Identifikation ID bzw. LP auch verschiedene Referenzfingerprints FPref für sein Erscheinungsbild in unterschiedliche Konfigurationen K mit zugehörigen Mautkategorien MK zugeordnet werden, sodaß ein und dasselbe Fahrzeug in verschiedenen Konfigurationen K, z.B. mit und ohne Anhänger, automatisch kategorisiert und vermautet werden kann.
  • In einer vereinfachten Ausführungsform des Verfahrens können als Referenzfingerprint FPref beispielsweise nur die äußeren Abmessungen des Fahrzeugs gespeichert werden; das Vorhandensein eines Anhängers kann dann z.B. auch einfach an einer großen Längenänderung erkannt werden.
  • Eine weitere sehr vorteilhafte Ausführungsform besteht darin, Anhänger als eigene Fahrzeuge in der Datenbank DB mit eigenem Referenzfingerprint zu speichern. Bei der Passage werden das Zugfahrzeug und der Anhänger gesondert identifiziert und optional die Eigenschaften von Zugfahrzeug und Anhänger verifiziert. Die ermittelte Mautkategorie MK ergibt sich dann aus einer Kombination der Kategorien des Zugfahrzeuges und des Anhängers.
  • Die Ermittlung der Mautkategorie MK mit Hilfe von Fingerprints FP kann aufbauend auf dem hier vorgestellten Verfahren zur Kennzeichenerkennung anhand von OCR-Kennzeichenleseergebnissen LPOCR erfolgen, in welchem Fall als Fahrzeugidentifikation ID direkt dessen Kennzeichen LP verwendet werden kann. Alternativ könnte dazu auch jedes andere bekannte Verfahren zur Fahrzeugidentifikation verwendet werden, z.B. eine Fahrzeugidentifikation mittels eines am Fahrzeug befestigten elektronisches Tags, wie eines RFID-Transponderchips oder einer Onboard-Unit (OBU) zur elektronischen Mautabbuchung.
  • Fig. 2 zeigt schematisch die Komponenten des Verfahrens zur automatischen Mautkategorisierung mit Hilfe von Fingerprints und weitere beteiligte Systemkomponenten wie folgt:
    • eine den Schritt (b) ausführende Komponente "Vehicle Identification" identifiziert das Fahrzeug und ordnet es einem Fahrzeugkonto zu;
    • eine den Schritt (d) ausführende Komponente "Retrieve Reference Sensor Fingerprint" lädt aus dem Fahrzeugkonto des identifizierten Fahrzeugs und den zugeordneten Einträgen der Datenbank DB den bzw. die zugeordneten Referenzfingerprint(s) als Kandidatenfingerprint(s);
    • eine den Schritt (c) ausführende Komponente "Generate Sensor Fingerprint" berechnet den aktuellen Fingerprint der Fahrzeugpassage;
    • eine den Schritt (e) ausführende Komponente "Fingerprint Comparison" vergleicht den aktuellen Fingerprint mit einem oder mehreren Kandidatenfingerprints und liefert als Ergebnis, ob und mit welchem Kandidatenfingerprint eine Übereinstimmung besteht;
    • eine weitere Komponente "Enforcement Decision" verwendet das Ergebnis des Fingerprintvergleichs zusammen mit dem Ergebnis einer gesonderten Klassifizierung ("Automatic Classification") und einer vom Fahrzeugbenutzer angegebenen Mautkategorie ("Claimed Class") und stellt fest, ob ein Widerspruch besteht.
  • Die Erfindung ist nicht auf die dargestellten Ausführungsbeispiele beschränkt, sondern umfaßt alle Varianten und Modifikationen, die in den Rahmen der angeschlossenen Ansprüche fallen.

Claims (9)

  1. Verfahren zur automatischen Kennzeichenerkennung eines Fahrzeugs, insbesondere zu Vermautungszwecken in Straßenmautsystemen, mit den Schritten:
    a) Bereitstellen einer Datenbank (DB) zur Zuordnung (5) von möglichen Kennzeichenleseergebnissen (LPOCR,mem) zu Fahrzeugkennzeichen (LP) und diesen zugeordneten Referenzfingerprints (FPref),
    b) OCR-Lesen des Kennzeichens (LP) des Fahrzeugs (2) als aktuelles Kennzeichenleseergebnis (LPOCR), mit voraus- oder nachgehendem
    c) sensorischem Erfassen von Merkmalen des Fahrzeugs (2) als ein aktueller Fingerprint (FP) des Fahrzeugs,
    d) Ermitteln eines dem aktuellen Kennzeichenleseergebnis (LPOCR) gleichenden Kennzeichenleseergebnisses (LPOCR,mem) in der Datenbank (DB) und aller diesem zugeordneten Referenzfingerprints (FPref) als Kandidatenfingerprints (FPref,cand) ,
    e) Ähnlichkeitsvergleichen des aktuellen Fingerprints (FP) mit den Kandidatenfingerprints (FPref,cand), um den ähnlichsten Kandidatenfingerprint zu bestimmen, und
    f) Ausgeben des dem ähnlichsten Kandidatenfingerprint (FPref,cand) zugeordneten Fahrzeugkennzeichens (LP) als Ergebnis der automatischen Kennzeichenerkennung,
    wobei, wenn in Schritt d) kein gleiches Kennzeichenleseergebnis (LPOCR,mem) ermittelt oder in Schritt e) kein ähnlichster oder überhaupt kein ähnlicher Kandidatenfingerprint (FPref,cand) bestimmt werden kann, das Fahrzeugkennzeichen (LP) zu dem aktuellen Kennzeichenleseergebnis (LPOCR) manuell ermittelt wird und in diesen Fällen dem Fahrzeugkennzeichen (LP) in der Datenbank (DB) das aktuelle Kennzeichenleseergebnis (LPOCR) als neues oder zusätzliches Kennzeichenleseergebnis (LPOCR,mem) zugeordnet wird,
    dadurch gekennzeichnet, daß die neue oder zusätzliche Zuordnung nur dann vorgenommen wird, wenn das aktuelle Kennzeichenleseergebnis (LPOCR) eine Mindesthäufigkeit und/oder Mindestqualität erreicht.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß, wenn der Vergleich des aktuellen Fingerprint (FP) mit dem/den dem Fahrzeugkennzeichen (LP) zugeordneten Referenzfingerprint(s) (FPref) fehlschlägt und der aktuelle Fingerprint (FP) eine bessere Qualität oder mehr Information als der bzw. die gespeicherte (n) Referenzfingerprint(s) (FPref) aufweist, der aktuelle Fingerprint (FP) dem Fahrzeugkennzeichen (LP) als neuer oder zusätzlicher Referenzfingerprint (FPref) zugeordnet wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß, wenn zum Fahrzeugkennzeichen (LP) kein Referenzfingerprint gespeichert ist und der aktuelle Fingerprint (FP) Mindestqualitätsanforderungen erfüllt, dieser dem Fahrzeugkennzeichen (LP) als neuer Referenzfingerprint (FPref) zugeordnet wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß eine Zuordnung (5) aus der Datenbank (DB) entfernt wird, wenn sie innerhalb eines vorgegebenen Zeitraums nicht benutzt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß das sensorische Erfassen mittels einer Kamera erfolgt, mit der ein Bild (1) des Kennzeichens (LP) und/oder des Fahrzeugs (2) gemacht wird, aus dem Merkmale extrahiert und daraus der Fingerprint (FP) berechnet wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß das sensorische Erfassen mittels Sensoriken wie Lichtschranken, Laserscannern, Induktionsschleifen, Gewichtsfühlern oder Funkkommunikationsmitteln erfolgt, mit denen charakteristische Merkmale des Fahrzeugs (2) erfaßt werden, aus welchen der Fingerprint (FP) berechnet wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß in der Datenbank (DB) zu jedem Kennzeichenleseergebnis (LPOCR,mem), bevorzugt zu jeder einzelnen Zuordnung desselben zu einem Fahrzeugkennzeichen (LP), Gewichtungen (WT) für einzelne Regionen der zugeordneten Referenzfingerprints (FPref) gespeichert werden, welche beim Ähnlichkeitsvergleichen berücksichtigt werden.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Kennzeichenleseergebnisse (LPOCR,mem) in der Datenbank (DB) verschlüsselt gespeichert werden und das aktuelle Kennzeichenleseergebnis (LPOCR) für die Gleichheitssuche des Schritts d) in derselben Art und Weise verschlüsselt wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8 zusätzlich zur Mautkategorisierung des Fahrzeugs, dadurch gekennzeichnet, daß in der Datenbank (DB) jedem Referenzfingerprint (FPref) auch eine Mautkategorie (MK) zugeordnet wird und, wenn dieser Referenzfingerprint (FPref) als ähnlichster Kandidatenfingerprint (FPref,cand) bestimmt wird, dessen zugeordnete Mautkategorie (MK) mit ausgegeben wird.
EP09450175A 2009-09-18 2009-09-18 Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen Active EP2320384B1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DK09450175.6T DK2320384T3 (da) 2009-09-18 2009-09-18 Fremgangsmåde til nummerpladeidentificering og afgiftskategorisering af køretøjer
EP09450175A EP2320384B1 (de) 2009-09-18 2009-09-18 Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen
PL09450175T PL2320384T3 (pl) 2009-09-18 2009-09-18 Sposób rozpoznawania numeru rejestracyjnego i kategoryzacji opłat drogowych
ES09450175T ES2401324T3 (es) 2009-09-18 2009-09-18 Procedimiento para el reconocimiento de matrícula y la categorización de peaje de vehículos
PT94501756T PT2320384E (pt) 2009-09-18 2009-09-18 Processo para o reconhecimento de matrículas e atribuição de classe de portagem a veículos
SI200930504T SI2320384T1 (sl) 2009-09-18 2009-09-18 Postopek prepoznavanja registrske tablice in cestninskega kategoriziranja vozil

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP09450175A EP2320384B1 (de) 2009-09-18 2009-09-18 Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen

Publications (2)

Publication Number Publication Date
EP2320384A1 EP2320384A1 (de) 2011-05-11
EP2320384B1 true EP2320384B1 (de) 2012-12-12

Family

ID=41727411

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09450175A Active EP2320384B1 (de) 2009-09-18 2009-09-18 Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen

Country Status (6)

Country Link
EP (1) EP2320384B1 (de)
DK (1) DK2320384T3 (de)
ES (1) ES2401324T3 (de)
PL (1) PL2320384T3 (de)
PT (1) PT2320384E (de)
SI (1) SI2320384T1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011053052B3 (de) 2011-08-26 2013-02-28 Jenoptik Robot Gmbh Verfahren und Vorrichtung zur Identifikation von Kraftfahrzeugen zur Verkehrsüberwachung
CN104123844A (zh) * 2014-08-12 2014-10-29 陈昊 用于鉴别真假（套）车牌的信息处理模块
DE102014225804A1 (de) 2014-12-15 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Unterstützung beim Führen eines Fahrzeugs
US10901967B2 (en) 2015-04-09 2021-01-26 Veritoll, Llc License plate matching systems and methods
EP3869396A1 (de) 2020-02-24 2021-08-25 Toll Collect GmbH Verfahren und system zur korrektur eines kennzeichens
CN114694385B (zh) * 2020-12-25 2023-04-28 富联精密电子(天津)有限公司 停车管理方法、装置、系统、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE555458T1 (de) * 2005-06-10 2012-05-15 Accenture Global Services Ltd Elektronische fahrzeugidentifikation

Also Published As

Publication number Publication date
DK2320384T3 (da) 2013-03-18
PT2320384E (pt) 2013-03-12
ES2401324T3 (es) 2013-04-18
EP2320384A1 (de) 2011-05-11
SI2320384T1 (sl) 2013-03-29
PL2320384T3 (pl) 2013-05-31

Similar Documents

Publication Publication Date Title
EP2179381B1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung
DE19982422C1 (de) Vorrichtung und Verfahren zur Verkehrszeichenerkennung
DE102006012914B4 (de) System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug
DE102012219849A1 (de) Intelligentes Mautnetzwerk zur Verbesserung der Leistung von Fahrzeugidentifikationssystemen
WO2020083446A1 (de) Verfahren zum steuern eines parkvorgangs
EP2320384B1 (de) Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen
DE69019374T2 (de) Kontrollsystem für kraftfahrzeuge.
DE102011109387A1 (de) Verfahren zur Erkennung von Verkehrszeichen
EP3053097A1 (de) Verfahren und vorrichtung zur erkennung von verkehrszeichen
DE102009048066A1 (de) Verfahren zur Verkehrszeichenerkennung
DE102017200940A1 (de) Verfahren und Vorrichtung zur Berechnung einer Parkplatzbelegung
DE102018116036A1 (de) Training eines tiefen konvolutionellen neuronalen Netzwerks für individuelle Routen
DE102011075412A1 (de) Verfahren und System zum Erfassen einer statischen Szene, zum Bestimmen von Rohereignissen und zum Erkennen von freien Flächen in einem Beobachtungsgebiet
DE102020102756B4 (de) Ermittlungsverfahren zur (Teil-)Erfassung und Verarbeitung eines Fahrzeugidentifikationsmittels eines Fahrzeugs
DE10345948B4 (de) Verfahren zur Bewertung und zeitlichen Stabilisierung von Klassifizierungsergebnissen
DE102009026730A1 (de) Verfahren und Steuergerät zur Lokalisierung einer Parklücke für ein Fahrzeug
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102019204602B4 (de) Verfahren und Vorrichtung zur Maskierung von in einem Bild enthaltenen Objekten
DE102012018471A1 (de) Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug
DE102015225415A1 (de) Verfahren und Vorrichtung zum Klassifizieren einer mittels eines distanzbasierten Detektionsverfahrens erkannten Parklücke auf Gültigkeit
DE102018114912A1 (de) Verfahren zum Klassifizieren einer Farbe einer Fahrbahnmarkierung mittels eines statistischen Fahrbahnmarkierungsbestimmungsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem
DE102012012945A1 (de) Verfahren zur Unkenntlichmachung zumindest eines Teilbereiches einer Person in fotografischen Aufnahmen
DE102009009904A1 (de) Verfahren zur Identifizierung von Objekten
DE102013002375A1 (de) Verfahren zur Kalibrierung einer Kamera eines Kraftfahrzeugs
DE102019219927A1 (de) Verfahren und Vorrichtung zum Erkennen einer Entfremdung einer Sensordatendomäne von einer Referenzdatendomäne

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110215

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIN1 Information on inventor provided before grant (corrected)

Inventor name: OEHRENEDER, CHRISTIAN

Inventor name: RAMOSER, HERBERT

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 588639

Country of ref document: AT

Kind code of ref document: T

Effective date: 20121215

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009005652

Country of ref document: DE

Effective date: 20130207

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: PT

Ref legal event code: SC4A

Free format text: AVAILABILITY OF NATIONAL TRANSLATION

Effective date: 20130301

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: BUECHEL, VON REVY AND PARTNER, CH

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: SK

Ref legal event code: T3

Ref document number: E 13401

Country of ref document: SK

REG Reference to a national code

Ref country code: NL

Ref legal event code: T3

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2401324

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20130418

REG Reference to a national code

Ref country code: NO

Ref legal event code: T2

Effective date: 20121212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: PATWIL AG, CH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

REG Reference to a national code

Ref country code: PL

Ref legal event code: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130412

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20130913

REG Reference to a national code

Ref country code: HU

Ref legal event code: AG4A

Ref document number: E017248

Country of ref document: HU

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009005652

Country of ref document: DE

Effective date: 20130913

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121212

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130918

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: KAMINSKI HARMANN PATENTANWAELTE AG, CH

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230513

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231123

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20231001

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240918

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20240923

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240919

Year of fee payment: 16

Ref country code: PT

Payment date: 20240905

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20240918

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240925

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240918

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CZ

Payment date: 20240910

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20240919

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20240905

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: HU

Payment date: 20240920

Year of fee payment: 16

Ref country code: SI

Payment date: 20240905

Year of fee payment: 16

Ref country code: SK

Payment date: 20240909

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NO

Payment date: 20240923

Year of fee payment: 16

Ref country code: IT

Payment date: 20240924

Year of fee payment: 16

Ref country code: SE

Payment date: 20240919

Year of fee payment: 16