[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP4350657A1 - Alarm system for warning vulnerable road users in a predefined road section - Google Patents

Alarm system for warning vulnerable road users in a predefined road section Download PDF

Info

Publication number
EP4350657A1
EP4350657A1 EP23196777.9A EP23196777A EP4350657A1 EP 4350657 A1 EP4350657 A1 EP 4350657A1 EP 23196777 A EP23196777 A EP 23196777A EP 4350657 A1 EP4350657 A1 EP 4350657A1
Authority
EP
European Patent Office
Prior art keywords
road
prediction
conditions
alarm system
designed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23196777.9A
Other languages
German (de)
French (fr)
Inventor
Dominik Dr. Senninger
Miroslaw Robakowski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Technologies GmbH
Original Assignee
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Technologies GmbH filed Critical Continental Automotive Technologies GmbH
Publication of EP4350657A1 publication Critical patent/EP4350657A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the invention relates to an alarm system for warning vulnerable road users in a given road section, comprising a receiving unit with a communication interface for receiving a plurality of movement data from detected road users related to the road section.
  • Collision avoidance is a basic requirement of all drivers of vehicles, such as cars, trucks, motorcycles, while driving to a desired destination. It is known in the art to alert a vehicle user to the presence of nearby vehicles by detecting the other vehicles with sensors, such as on-board vehicle radar systems. However, such systems are limited to detecting other vehicles that are within the range of the sensor, typically within a few vehicle lengths.
  • the US9,659,496 B2 a method and system for increasing safety on a road network, comprising: an interaction detector having a communications interface for receiving a plurality of surveillance vectors from a first vehicle and a second vehicle moving on the road network; an interaction risk module configured to determine from the plurality of monitoring vectors whether there is an interaction between the first vehicle and the second vehicle, wherein the interaction is determined without using prior knowledge of a pre-planned route of each of the first vehicle and the second vehicle on the road network, and a message generator configured to, in response to an interaction being determined by the interaction risk module, send a message to to generate at least the second vehicle and to send the message to the second vehicle via the communication interface.
  • Road sections can be the current road sections (locations) or a road section can be used as a representative for others, such as enough similar roundabouts/intersections, etc.
  • Road sections can include individual sections of a road network or several roads.
  • the first conditions include the second conditions.
  • the alarm system can, for example, be located on an infrastructure element such as a traffic light, on the road section or be implemented in a cloud or edge cloud, etc.
  • the movement data can come, for example, from the vehicles themselves as recorded sensor data, for example from the surroundings ahead, or from camera systems that cover the entire road section. These camera systems can be arranged in a traffic light, for example.
  • the road users and their associated movement data (trajectories) can be extracted from this sensor data using conventional extraction methods. This sensor data is preferably transmitted and evaluated in real time. For example, a short past movement trajectory of the road users can be created as movement data from the extracted sensor data.
  • the invention recognized that it is a major problem that the previous assessment of whether a situation is potentially dangerous is only carried out using very simple methods. Either only the current position of the road user is used or a simple extrapolation of current movement vectors/trajectories is carried out. However, this leads to the problem that warnings about dangerous situations are only issued when the road users have already come (too) close to one another. Due to this very late warning, however, it is no longer possible or very difficult for the road users to react, which can even make the situation worse (emergency braking, incorrect evasive maneuvers).
  • Another problem is that simply extrapolating the motion vectors alone only allows for a very inaccurate prediction. This leads to a large number of unnecessary warnings being triggered, which can cause a user/vehicle user to deactivate such a warning system or which unnecessarily distracts the vehicle user from the traffic situation too often, which can itself cause dangerous situations.
  • the alarm system according to the invention now solves these problems.
  • the alarm system according to the invention can detect the future position of road users very reliably. This means that a potentially dangerous situation can then be detected more reliably.
  • At least three prediction modules with different descending prediction quality are provided, which deliver a reliable forecast depending on the conditions that currently apply to the road section and road users.
  • Descending means that the first prediction module has a higher prediction quality than the second prediction module, and the second prediction module has a higher prediction quality than the third prediction module.
  • the alarm system always uses the prediction module with the highest prediction quality; in this case the first prediction module with the first conditions, and if this is not possible because the first conditions are not met, the prediction module with fewer conditions is used, in this case the second prediction module with the second conditions, and only if neither of the first or second conditions is met, a third prediction module is used.
  • Road section with the highest prediction quality This means that the position of road users can be predicted more accurately and with greater probability than with the current state of the art, which also means that future dangerous situations can be determined better and with greater probability.
  • the prediction quality includes at least the probability of occurrence and/or the accuracy of a road user's future position. If no probability of occurrence can be determined, it can be roughly estimated. Furthermore, other prediction qualities such as resolution and prediction period can also be included.
  • the prediction modules are designed to predict the positions of road users as reliably as possible within a period of up to 5 seconds. If the future positions of road users are now known, for example with a resolution of 200ms and a prediction horizon of 5s with associated probabilities and accuracies, potentially future dangerous situations can be determined more precisely and reliably.
  • the movement data includes at least the current and previous position, speed and direction of a road user over a short period of time, in particular a period of time just past up to a current point in time.
  • Sensor data can be easily and reliably recorded in real time using sensors arranged on the vehicle, drones or cameras/sensors in the corresponding traffic control systems, for example traffic lights, and the movement data can be recognized as an extracted trajectory of the road users from this sensor data.
  • the movement data includes data from other data sources that are used to guide traffic in the relevant section of road.
  • the alarm system can therefore use other data sources if they are available.
  • the prediction or accuracy of the movement data can be further improved by using data such as current and future traffic light settings.
  • the first prediction module comprises, as a first condition, a trained artificial neural network for the road section or a sufficiently similar road section and an HD (high-resolution) map for the road section in question, whereby the first prediction module is designed to predict a road user for the road section using the trained artificial neural network with the road user's movement data and the HD map.
  • An HD map is a high-resolution high-definition map that includes a current image of reality including guard rails, trees, ditches and other traffic-relevant objects such as pedestrian paths and zebra crossings.
  • the movement data is entered into the trained artificial neural network using the current locations of the road users in the HD map, which provides a very accurate prediction of the road users.
  • the artificial neural network trained to make such a prediction has been trained in particular using historical data, so that an accurate prediction is possible.
  • the artificial neural network is only trained for special cases relating to certain road users and their future positions. These special cases can be, for example, a prediction of whether a vehicle will turn or drive straight ahead.
  • the application to special cases has the advantage that less historical data is required for training, since the amount of available data is a limitation, especially for the application of machine learning methods.
  • the second prediction module comprises, as a second condition, an HD map for the road section, wherein the second prediction module is designed to carry out the prediction of a road user for the road section based on the HD map for the road section using the movement data of the road user.
  • a prediction can be made using the second prediction module with the help of an existing HD map.
  • Possible future positions are determined and assigned probabilities based on the movement data, i.e. the current and previous positions and the directions of movement. For this purpose, further movement by the road user is assumed in order to obtain the future positions and future directions of movement.
  • a high-precision HD map includes at least the streets as well as the sidewalks and traffic management elements such as zebra crossings.
  • High-precision HD maps depict a road network with high precision, for example, to the centimeter.
  • the third prediction module is designed to predict a road user for the road section based on an extrapolation using the road user's movement data. This corresponds to a simple extrapolation of the movement vectors/trajectories. This can also be used in particular if, for example, a road user is not on a commonly used path, for example if a pedestrian crosses the road in a prohibited place.
  • the processor can be designed to compare the prediction of each road user in pairs to determine potentially dangerous situations in corresponding time steps. If the future positions of the road users are known, for example with a prediction horizon of 5s and with the associated probabilities and accuracies, potentially future dangerous situations can be calculated from this. To do this, the predictions of the road users can be compared in pairs for each time step in the future.
  • the processor is designed to determine the dangerousness of a situation by means of at least one of the following factors: the size of an overlap area between two road users and/or based on a future acceleration of a road user and/or based on a future angle between two road users and/or the time until a possible collision between two road users and/or depending on the lanes used by the road users.
  • a larger overlap area between two road users means a higher risk. It also corresponds to a higher risk if the future speed of one of the road users increases, particularly with significant acceleration.
  • the future angle between the road users can also be considered; for example, an approach directly from behind usually means a low risk, as it can be assumed that the road user approaching from behind will notice the driver in front. However, an approach from the side (angle other than zero) or an expected change in direction of movement can be assumed to be a higher risk.
  • the time until an expected collision can also be considered; for example, a shorter time until a collision with a more reliable prediction also means less time to react and therefore a higher risk.
  • the lanes used by two road users can also be considered; for example, if the same lane is used, the risk is assumed to be lower, as one's own lane is usually always in view, and the risk is higher when lanes intersect, especially when a cycle path and a road intersect.
  • a combination of factors can be used to reliably detect a dangerous situation.
  • the processor is designed to consider the type of road user as a further factor in determining the dangerousness of a situation.
  • a danger between two pedestrians can be almost ruled out even in the case of a very large overlap, for example at a traffic light; however, a high risk can be assumed if a vehicle/truck is involved.
  • the processor is designed to evaluate detected dangerous situations by means of an evaluation value.
  • the processor is designed to transmit an alarm to at least the road users involved in the dangerous situation when a predetermined threshold value is exceeded in relation to the assessment value. If a certain threshold value is exceeded, an alarm is sent to the road users involved. In particular, this alarm includes at least one message and the assessment value. Therefore, for example, the alarms transmitted that have a low rating can also be filtered out on the road users' end device. This enables the vehicle user to influence how many alarms are displayed. In this way, a vehicle user who is willing to take risks can prevent subjectively being shown too many alarms.
  • FIG 1 shows schematically the alarm system 1 for warning vulnerable road users in a given road section 2 ( FIG 2 ).
  • the Alarm system 1 can, for example, be integrated at the roadside in an infrastructure element such as a traffic light or in a cloud or edge cloud.
  • the alarm system 1 comprises a receiving unit 4 with a communication interface 3 for receiving a large number of movement data from detected road users related to the road section 2.
  • This movement data can be in the form of sensor data or extracted from these, which come from lidar/radar and camera systems arranged on the vehicles or, for example, from sensor systems arranged on the surrounding infrastructure elements, such as traffic lights.
  • the road users and their movement data, in particular movement trajectories, can be extracted from this sensor data.
  • the extraction and transmission takes place in real time.
  • the movement data includes at least the current and previous position, speed and direction of a road user over a short period of time with a respective time stamp.
  • the alarm system 1 can also use other data sources if they are available.
  • the movement data can be further improved by using data from the current and future traffic light switching, thus also improving the forecast later.
  • the alarm system 1 has a storage unit 10. At least three prediction modules 5, 6, 7 are stored in this, wherein the first prediction module 5 has the highest prediction quality and the third prediction module 7 has the lowest prediction quality.
  • the three prediction modules 5,6,7 can be implemented as software modules.
  • Each of the prediction modules 5,6,7 is designed to predict the position of the detected road users if certain conditions linked to the prediction module 5,6,7 are met. For the prediction There are now several prediction modules 5,6,7 available, which have different prediction qualities but also require different prerequisites (conditions).
  • the prediction quality can be determined based on a resolution, a prediction horizon with associated probabilities and an accuracy with respect to at least the future position of a road user.
  • a high prediction quality includes a high resolution, for example one of 200ms, and a prediction horizon of 5s with associated probabilities and corresponding accuracies.
  • the first prediction module 5 is designed to predict at least one prediction of the position of the detected road users if certain first conditions are met.
  • the first prediction module 5 requires, as a first condition, a trained artificial neural network 8 for the road section 2 or a sufficiently similar road section as well as an HD map 9 for the relevant road section 2. This means that an artificial neural network 8 must be trained in advance for this road section 2 and an HD map 9 must be available.
  • An HD map 9 is a high-resolution high-definition map which depicts at least the roads as well as the sidewalks and traffic guidance elements, such as zebra crossings, with high precision and accuracy down to the centimeter.
  • the artificial neural network 8 may have been trained using historical data.
  • the first prediction module 5 it is also possible to use the first prediction module 5 only for special cases, for example predicting whether a vehicle will turn or drive straight ahead.
  • the application to special cases has the advantage that less historical data is required for training, which saves time and costs.
  • the second prediction module 6 is designed to predict at least one prediction of the position of the detected road users if the first conditions are not met and only certain second conditions are met.
  • the second conditions correspond to the presence of an HD map 9 for the corresponding road section 2.
  • Possible lanes are calculated based on the current and previous positions and directions of movement and assigned probabilities. A further movement of the road user on the lanes found is then assumed in order to obtain the future positions and directions of movement.
  • the third prediction module 7 is designed to predict a road user for the road section 2 based on an extrapolation using the movement data of the road user. This can also be done without an HD map 9 and without an artificial neural network 7. This corresponds to a simple extrapolation of the movement vectors/trajectories. This can also be used in particular if, for example, a road user is not on a commonly used path, for example if a pedestrian crosses the road in a prohibited place.
  • a test module 15 is provided which is designed to check whether the first or the second or the third conditions are present with regard to the road section 2 and the road user and, in doing so, selects the corresponding prediction module 5, 6, 7 in descending quality order and depending on the existing conditions.
  • the test module 15 therefore always tries to use the first prediction module 5 first, since this has the highest prediction quality, and only then, if the first conditions such as artificial neural network 8 are not met, to resort to the second prediction module 6 with the second conditions, here the HD map 9. If no HD map 9 is available for the road section 2 either, the third prediction module 7 is resorted to.
  • a prediction of at least the future position of the detected road users is generated by means of a processor 16 based on the selected prediction module 5,6,7 for the road users.
  • the processor 16 determines whether the future positions of the road users are known, for example, with a resolution of 200 ms and a prediction horizon of 5 s with associated probabilities and accuracies by the prediction modules 5, 6, 7, potentially future dangerous situations 12 can be determined from this by the processor 16. For this purpose, the predictions of the road users are compared in pairs by the processor 16 for each time step in the future.
  • the processor 16 is designed to evaluate recognized dangerous situations 12 using an evaluation value. This can be easily determined based on the recognized factors above, such as the size of the overlap area, etc., i.e. an evaluation of how dangerous the future situation 12 is is now calculated from these factors.
  • the processor 16 sends a message as well as the evaluation value as an alarm to the road users involved.
  • FIG 2 shows a prediction with the first prediction module 5.
  • a car 13 coming from the east turns north and crosses the path of a cyclist 14, also coming from the east.
  • the bicycle symbol 14 and the car symbol 13 represent the current positions of the road users involved.
  • the blue ellipses 11 represent the predicted locations of the bicycle 14 and the car 13.
  • an artificial neural network 8 was trained using historical data to determine whether a vehicle is driving straight ahead or turning at this intersection based on the approach speed.
  • the current movement data is then entered into the neural network 8 trained in this way, which generates predictions for the car 13 and the cyclist 14 using the HD map 9 for this intersection.
  • the first prediction module 5 with the trained artificial neural network 8, which uses an HD map 9, can now detect early on that the car 13 will turn and thus a dangerous situation 12 will arise.
  • FIG 3 shows a prediction of the above scenario with the second prediction module 6.
  • the car 13 coming from the east turns north and crosses the path of the cyclist 14, also coming from the east.
  • the bicycle symbol 14 and the car symbol 13 represent the current positions of the road users involved.
  • the blue ellipses 11 represent again represent the predicted locations of the bicycle 14 and the car 13.
  • the prediction is made by the second prediction module 6 using the HD map 9. It can already be predicted at this point that the car 13 could turn right, thereby creating a dangerous situation 12. However, there is uncertainty as to whether this will actually happen, as it is also possible that the car 13 will continue on its way in a straight line.
  • the second prediction module 6 a medium prediction quality and accordingly a medium reliable prediction for the future positions of the road users can be achieved. Dangerous situations can therefore be identified.
  • FIG 4 shows a prediction of the above scenario with the third prediction module 7.
  • the car 13 coming from the east turns north again and crosses the path of a cyclist 14 also coming from the east.
  • the bicycle symbol 14 and the car symbol 13 represent the current positions of the road users involved.
  • the blue ellipses 11 in turn represent the predicted locations of the bicycle 14 and the car 13.
  • the prediction is made by the third prediction module 7 by extrapolating the past and current motion vectors/motion data.
  • the third prediction module 7 does not recognize that the car 13 will soon drive to the right. Accordingly, no alarm is issued.
  • a potentially dangerous situation 12 can be better recognized by always using the best possible prediction module 5, 6, 7 to determine the future positions of the road users.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Alarmsystem (1) zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt (2) umfassend eine Empfangseinheit (4) mit einer Kommunikationsschnittstelle (3) zum Empfangen einer Vielzahl von Bewegungsdaten von erfassten Verkehrsteilnehmern bezogen auf den Straßenabschnitt (2), wobei eine Speichereinheit (10) vorgesehen ist, welche zumindest drei oder mehr Prädiktionsmodule (5,6,7) mit absteigender Prädiktionsqualität aufweist und wobei das erste Prädiktionsmodul (5) dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn bestimmte erste Bedingungen erfüllt sind und wobei das zweite Prädiktionsmodul (6) dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn die ersten Bedingungen nicht erfüllt sind und lediglich bestimmte zweite Bedingungen erfüllt sind, und wobei das dritte Prädiktionsmodul (7) dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn die ersten Bedingungen als auch die zweiten Bedingungen nicht erfüllt sind und wobeiein Prüfungsmodul (15) vorgesehen ist, welches dafür ausgelegt ist, zu prüfen, ob die ersten Bedingungen oder die zweiten Bedingungen oder die dritten Bedingungen in Bezug auf den Straßenabschnitt (2) und den Verkehrsteilnehmer erfüllt sind und in absteigender Qualitätsreihenfolge und je nach erfüllten Bedingungen das Prädiktionsmodul (5,6,7) mit der höchsten Prädiktionsqualität auszuwählen, und wobeiein Prozessor (16) vorgesehen ist, welcher zur Prädiktion zumindest der zukünftigen Position der erfassten Verkehrsteilnehmer anhand des ausgewählten Prädiktionsmoduls (5,6,7) ausgebildet ist.The invention relates to an alarm system (1) for warning vulnerable road users in a predetermined road section (2), comprising a receiving unit (4) with a communication interface (3) for receiving a large number of movement data from detected road users in relation to the road section (2), wherein a storage unit (10) is provided which has at least three or more prediction modules (5, 6, 7) with decreasing prediction quality, and wherein the first prediction module (5) is designed to predict at least one prediction of the position of the detected road users if certain first conditions are met, and wherein the second prediction module (6) is designed to predict at least one prediction of the position of the detected road users if the first conditions are not met and only certain second conditions are met, and wherein the third prediction module (7) is designed to predict at least one prediction of the position of the detected road users if the first conditions and the second conditions are not met, and wherein a test module (15) is provided which is designed to check whether the first Conditions or the second conditions or the third conditions with respect to the road section (2) and the road user are met and to select the prediction module (5,6,7) with the highest prediction quality in descending order of quality and depending on the conditions met, and wherein a processor (16) is provided which is designed to predict at least the future position of the detected road users based on the selected prediction module (5,6,7).

Description

Die Erfindung betrifft ein Alarmsystem zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt, umfassend eine Empfangseinheit mit einer Kommunikationsschnittstelle zum Empfangen einer Vielzahl von Bewegungsdaten von erfassten Verkehrsteilnehmern bezogen auf den Straßenabschnitt.The invention relates to an alarm system for warning vulnerable road users in a given road section, comprising a receiving unit with a communication interface for receiving a plurality of movement data from detected road users related to the road section.

Die Kollisionsvermeidung ist eine Grundvoraussetzung aller Fahrer von Fahrzeugen, wie z.B. PKW, LKW, Motorrädern, während der Fahrt zu einem gewünschten Ziel. Es ist im Stand der Technik bekannt, einen Fahrzeugnutzer auf die Anwesenheit von Fahrzeugen in der Nähe aufmerksam zu machen, indem die anderen Fahrzeuge mit Sensoren, wie z. B. fahrzeugseitigen Fahrzeugradarsystemen, erfasst werden. Solche Systeme sind jedoch darauf beschränkt, andere Fahrzeuge zu erkennen, die sich innerhalb der Reichweite des Sensors befinden, typischerweise innerhalb weniger Fahrzeuglängen.Collision avoidance is a basic requirement of all drivers of vehicles, such as cars, trucks, motorcycles, while driving to a desired destination. It is known in the art to alert a vehicle user to the presence of nearby vehicles by detecting the other vehicles with sensors, such as on-board vehicle radar systems. However, such systems are limited to detecting other vehicles that are within the range of the sensor, typically within a few vehicle lengths.

Ferner gibt es jedoch bereits Ansätze ein allgemeines System für Straßenabschnitte zur Erhöhung der Sicherheit auf einem Straßennetz anzugeben.However, there are already approaches to specify a general system for road sections to increase safety on a road network.

So offenbart die US 9,659,496 B2 ein Verfahren und ein System zur Erhöhung der Sicherheit auf einem Straßennetz, umfassend: einen Interaktionsdetektor mit einer Kommunikationsschnittstelle zum Empfangen einer Vielzahl von Überwachungsvektoren von einem ersten Fahrzeug und einem zweiten Fahrzeug, die sich auf dem Straßennetz bewegen;
ein Interaktionsrisikomodul, das dafür ausgelegt ist, aus der Vielzahl von Überwachungsvektoren zu bestimmen, ob es eine Interaktion zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug gibt, wobei die Interaktion ohne Nutzung einer Vorabkenntnis einer vorgeplanten Route von jedem von dem ersten Fahrzeug und dem zweiten Fahrzeug auf dem Straßennetz bestimmt wird, und einen Nachrichtengenerator, der dafür ausgelegt ist, als Reaktion darauf, dass durch das Interaktionsrisikomodul eine Interaktion bestimmt wird, eine Nachricht an wenigstens das zweite Fahrzeug zu erzeugen und die Nachricht über die Kommunikationsschnittstelle an das zweite Fahrzeug zu senden.The US9,659,496 B2 a method and system for increasing safety on a road network, comprising: an interaction detector having a communications interface for receiving a plurality of surveillance vectors from a first vehicle and a second vehicle moving on the road network;
an interaction risk module configured to determine from the plurality of monitoring vectors whether there is an interaction between the first vehicle and the second vehicle, wherein the interaction is determined without using prior knowledge of a pre-planned route of each of the first vehicle and the second vehicle on the road network, and a message generator configured to, in response to an interaction being determined by the interaction risk module, send a message to to generate at least the second vehicle and to send the message to the second vehicle via the communication interface.

Es ist daher eine Aufgabe der Erfindung ein verbessertes, allgemeines, fahrzeugunabhängiges Alarmsystem zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt anzugeben.It is therefore an object of the invention to provide an improved, general, vehicle-independent alarm system for warning vulnerable road users in a given road section.

Diese Aufgabe wird gelöst durch ein Alarmsystem zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt,This task is solved by an alarm system to warn vulnerable road users in a given road section,

umfassend eine Empfangseinheit mit einer Kommunikationsschnittstelle zum Empfangen einer Vielzahl von Bewegungsdaten von erfassten Verkehrsteilnehmer bezogen auf den Straßenabschnitt, und wobei

  • eine Speichereinheit vorgesehen ist, welche zumindest drei oder mehr Prädiktionsmodule mit absteigender Prädiktionsqualität aufweist und wobei das erste Prädiktionsmodul dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn bestimmte erste Bedingungen erfüllt sind und wobei das zweite Prädiktionsmodul dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn die ersten Bedingungen nicht erfüllt sind und lediglich bestimmte zweite Bedingungen erfüllt sind, und wobei das dritte Prädiktionsmodul dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn die ersten Bedingungen als auch die zweiten Bedingungen nicht erfüllt sind, und wobei
  • ein Prüfungsmodul vorgesehen ist, welches dafür ausgelegt ist, zu prüfen, ob die ersten Bedingungen oder die zweiten Bedingungen oder die dritten Bedingungen in Bezug auf den Straßenabschnitt und den Verkehrsteilnehmer erfüllt sind und in absteigender Qualitätsreihenfolge und je nach erfüllten Bedingungen das Prädiktionsmodul mit der höchsten Prädiktionsqualität auszuwählen, und wobei ein Prozessor vorgesehen ist, welcher zur Prädiktion zumindest der zukünftigen Position der erfassten Verkehrsteilnehmer anhand des ausgewählten Prädiktionsmoduls ausgebildet ist.
comprising a receiving unit with a communication interface for receiving a plurality of movement data from detected road users related to the road section, and wherein
  • a storage unit is provided which has at least three or more prediction modules with decreasing prediction quality and wherein the first prediction module is designed to predict at least one prediction of the position of the detected road users if certain first conditions are met and wherein the second prediction module is designed to predict at least one prediction of the position of the detected road users if the first conditions are not met and only certain second conditions are met, and wherein the third prediction module is designed to predict at least one prediction of the position of the detected road users if the first conditions as well as the second conditions are not met, and wherein
  • a test module is provided which is designed to check whether the first conditions or the second conditions or the third conditions are met with respect to the road section and the road user and to select the prediction module with the highest prediction quality in descending order of quality and depending on the conditions met, and wherein a processor is provided which is designed to predict at least the future position of the detected road users based on the selected prediction module.

Straßenabschnitte können die aktuellen Straßenabschnitte (Standorte) sein oder ein Straßenabschnitt kann stellvertretend für andere herangezogen werden wie beispielsweise genügend ähnliche Kreisverkehre/Kreuzungen etc.Road sections can be the current road sections (locations) or a road section can be used as a representative for others, such as enough similar roundabouts/intersections, etc.

Straßenabschnitte können dabei einzelne Abschnitte eines Straßennetzes oder mehrere Straßen umfassen.Road sections can include individual sections of a road network or several roads.

Insbesondere umfassen die ersten Bedingungen die zweiten Bedingungen.In particular, the first conditions include the second conditions.

Das Alarmsystem kann dabei beispielsweise an einem Infrastrukturelement, wie einer Ampel, an dem Straßenabschnitt angeordnet sein oder beispielsweise in einer Cloud oder Edge Cloud etc. ausgeführt werden.The alarm system can, for example, be located on an infrastructure element such as a traffic light, on the road section or be implemented in a cloud or edge cloud, etc.

Die Bewegungsdaten können beispielsweise von den Fahrzeugen selbst als aufgenommene Sensordaten, beispielsweise von einem vorausliegenden Umfeld, stammen oder aber durch Kamerasysteme, welche den Straßenabschnitt im Gesamten umfassen. Diese Kamerasysteme können beispielsweise in einer Ampel angeordnet sein. Aus diesen Sensordaten können mittels herkömmlicher Extraktionsmethoden die Verkehrsteilnehmer sowie die zu ihnen zugehörigen Bewegungsdaten (Trajektorien) extrahiert werden. Diese Sensordaten werden dabei bevorzugt in Echtzeit übermittelt und ausgewertet. Aus den extrahierten Sensordaten kann beispielsweise eine zurückliegende kurze Bewegungstrajektorie der Verkehrsteilnehmer als Bewegungsdaten erstellt werden.The movement data can come, for example, from the vehicles themselves as recorded sensor data, for example from the surroundings ahead, or from camera systems that cover the entire road section. These camera systems can be arranged in a traffic light, for example. The road users and their associated movement data (trajectories) can be extracted from this sensor data using conventional extraction methods. This sensor data is preferably transmitted and evaluated in real time. For example, a short past movement trajectory of the road users can be created as movement data from the extracted sensor data.

Erfindungsgemäß wurde erkannt, dass es ein großes Problem darstellt, dass die bisherige Bewertung, ob eine Situation potenziell gefährlich ist, lediglich mit sehr einfachen Methoden durchgeführt wird. So wird entweder nur die aktuelle Position der Verkehrsteilnehmer benutzt oder eine einfache Extrapolation von aktuellen Bewegungsvektoren/Bewegungstrajektorien durchgeführt. Dies führt jedoch zu dem Problem, dass Warnungen bei Gefahrensituationen erst dann ausgegeben werden, wenn sich die Verkehrsteilnehmer bereits (zu) nahegekommen sind. Durch diese sehr späte Warnung kann jedoch nicht mehr oder nur sehr schwer von Seiten der Verkehrsteilnehmer reagiert werden, wodurch sich die Situation sogar noch verschärfen kann (Notbremsung, falsche Ausweichmanöver).The invention recognized that it is a major problem that the previous assessment of whether a situation is potentially dangerous is only carried out using very simple methods. Either only the current position of the road user is used or a simple extrapolation of current movement vectors/trajectories is carried out. However, this leads to the problem that warnings about dangerous situations are only issued when the road users have already come (too) close to one another. Due to this very late warning, however, it is no longer possible or very difficult for the road users to react, which can even make the situation worse (emergency braking, incorrect evasive maneuvers).

Ferner lässt eine einfache und ausschließliche Extrapolation der Bewegungsvektoren als weiteres Problem nur eine sehr ungenaue Vorhersage zu. Dies führt zu einer Unmenge von unnötigerweise ausgelösten Warnungen, was einen Benutzer/Fahrzeugnutzer dazu veranlassen kann, ein solches Warnsystem zu deaktivieren oder welches unnötig den Fahrzeugnutzer vom Verkehrsgeschehen zu oft ablenkt, wodurch selber gefährliche Situationen hervorgerufen werden können.Another problem is that simply extrapolating the motion vectors alone only allows for a very inaccurate prediction. This leads to a large number of unnecessary warnings being triggered, which can cause a user/vehicle user to deactivate such a warning system or which unnecessarily distracts the vehicle user from the traffic situation too often, which can itself cause dangerous situations.

Durch das erfindungsgemäße Alarmsystem werden diese Probleme nun behoben. Durch das erfindungsgemäße Alarmsystem kann die zukünftige Position der Verkehrsteilnehmer sehr zuverlässig erkannt werden. Dadurch kann anschließend eine potenziell gefährliche Situation zuverlässiger erkannt werden.The alarm system according to the invention now solves these problems. The alarm system according to the invention can detect the future position of road users very reliably. This means that a potentially dangerous situation can then be detected more reliably.

So werden zumindest drei Prädiktionsmodule mit unterschiedlicher absteigender Prädiktionsqualität bereitgestellt, welche eine zuverlässige Vorhersage in Abhängigkeit von denjenigen Bedingungen, die auf den Straßenabschnitt und Verkehrsteilnehmer gerade zutreffen, liefern.At least three prediction modules with different descending prediction quality are provided, which deliver a reliable forecast depending on the conditions that currently apply to the road section and road users.

Dabei wurde erkannt, dass die unterschiedlichen Prädiktionsmodule mit unterschiedlichen Prädiktionsqualitäten jeweils unterschiedliche Voraussetzungen/Bedingungen benötigen. Dabei bedeutet absteigend, dass das erste Prädiktionsmodul eine höhere Prädiktionsqualität als das zweite Prädiktionsmodul, und das zweite Prädiktionsmodul eine höhere Prädiktionsqualität als das dritte Prädiktionsmodul aufweist.It was recognized that the different prediction modules with different prediction qualities each require different requirements/conditions. Descending means that the first prediction module has a higher prediction quality than the second prediction module, and the second prediction module has a higher prediction quality than the third prediction module.

Durch das erfindungsgemäße Alarmsystem wird stets auf dasjenige Prädiktionsmodul mit höchster Prädiktionsqualität zurückgegriffen; in diesem Fall auf das erste Prädiktionsmodul mit den ersten Bedingungen, und, falls dies nicht möglich ist, da die ersten Bedingungen nicht erfüllt sind, auf das Prädiktionsmodul mit weniger Bedingungen zurückgegriffen, in diesem Fall auf das zweite Prädiktionsmodul mit den zweiten Bedingungen und erst wenn keine der beiden ersten oder zweiten Bedingungen erfüllt sind, auf ein drittes Prädiktionsmodul. Dadurch ergibt sich, in Abhängigkeit von den auf diesem Straßenabschnitt vorherrschenden Bedingungen, stets eine Prädiktion mit für diesen Straßenabschnitt höchster Prädiktionsqualität. Dadurch kann die Position der Verkehrsteilnehmer genauerer und mit höherer Wahrscheinlichkeit als im Stand der Technik vorhergesagt werden, wodurch sich auch zukünftige Gefahrensituationen besser und mit höherer Wahrscheinlichkeit bestimmen lassen.The alarm system according to the invention always uses the prediction module with the highest prediction quality; in this case the first prediction module with the first conditions, and if this is not possible because the first conditions are not met, the prediction module with fewer conditions is used, in this case the second prediction module with the second conditions, and only if neither of the first or second conditions is met, a third prediction module is used. This always results in a prediction with the highest prediction quality for this section of road, depending on the conditions prevailing on this section of road. Road section with the highest prediction quality. This means that the position of road users can be predicted more accurately and with greater probability than with the current state of the art, which also means that future dangerous situations can be determined better and with greater probability.

In weiterer Ausbildung umfasst die Prädiktionsqualität zumindest die Eintrittswahrscheinlichkeit und/oder die Genauigkeit einer zukünftigen Position eines Verkehrsteilnehmers. Kann keine Eintrittswahrscheinlichkeit bestimmt werden, so kann diese grob geschätzt werden. Ferner können auch noch andere Prädiktionsqualitäten wie Auflösung und Vorhersagezeitraum umfasst sein. Insbesondere sind die Prädiktionsmodule dazu ausgelegt, die Positionen der Verkehrsteilnehmer möglichst zuverlässig in einem Zeitraum bis zu 5 Sekunden vorherzusagen. Wenn nun die zukünftigen Positionen der Verkehrsteilnehmer, beispielsweise mit einer Auflösung von 200ms und einem Vorhersagehorizont von 5s mit zugehörigen Wahrscheinlichkeiten und Genauigkeiten bekannt sind, können daraus potenzielle zukünftige gefährliche Situationen genauer und zuverlässiger bestimmt werden.In further development, the prediction quality includes at least the probability of occurrence and/or the accuracy of a road user's future position. If no probability of occurrence can be determined, it can be roughly estimated. Furthermore, other prediction qualities such as resolution and prediction period can also be included. In particular, the prediction modules are designed to predict the positions of road users as reliably as possible within a period of up to 5 seconds. If the future positions of road users are now known, for example with a resolution of 200ms and a prediction horizon of 5s with associated probabilities and accuracies, potentially future dangerous situations can be determined more precisely and reliably.

In weiterer Ausbildung umfassen die Bewegungsdaten zumindest die aktuelle und vorherige Position, Geschwindigkeit und Richtung eines Verkehrsteilnehmers über eine kurze Zeitdauer, insbesondere eine gerade zurückliegende Zeitdauer bis zu einem aktuellen Zeitpunkt. Dabei können Sensordaten in Echtzeit mittels am Fahrzeug angeordneten Sensoren, Drohne oder Kameras/Sensoren in den entsprechenden Verkehrsleitsystemen, beispielsweise Ampeln, einfach und zuverlässig erfasst werden und die Bewegungsdaten als extrahierte Trajektorie der Verkehrsteilnehmer aus diesen Sensordaten erkannt werden.In a further development, the movement data includes at least the current and previous position, speed and direction of a road user over a short period of time, in particular a period of time just past up to a current point in time. Sensor data can be easily and reliably recorded in real time using sensors arranged on the vehicle, drones or cameras/sensors in the corresponding traffic control systems, for example traffic lights, and the movement data can be recognized as an extracted trajectory of the road users from this sensor data.

In weiterer Ausgestaltung umfassen die Bewegungsdaten Daten aus weiteren Datenquellen, welche zur Verkehrsführung in dem betreffenden Straßenabschnitt dienen. Das Alarmsystem kann somit weitere Datenquellen verwenden, sofern diese verfügbar sind. So kann beispielsweise die Vorhersage bzw. die Genauigkeit der Bewegungsdaten durch die Verwendung von Daten wie einer aktuellen und zukünftigen Ampelschaltung weiter verbessert werden.In a further embodiment, the movement data includes data from other data sources that are used to guide traffic in the relevant section of road. The alarm system can therefore use other data sources if they are available. For example, the prediction or accuracy of the movement data can be further improved by using data such as current and future traffic light settings.

In einer weiteren Ausgestaltung umfasst das erste Prädiktionsmodul als erste Bedingung ein trainiertes künstliches neuronales Netz für den Straßenabschnitt oder einen genügend ähnlichen Straßenabschnitt sowie eine HD (hochauflösende)-Karte für den betreffenden Straßenabschnitt, wobei das erste Prädiktionsmodul dazu ausgebildet ist, die Prädiktion eines Verkehrsteilnehmers für den Straßenabschnitt anhand des trainierten künstlichen neuronalen Netzes mit den Bewegungsdaten des Verkehrsteilnehmers und der HD-Karte zu bewerkstelligen. Dadurch kann eine sehr genaue Vorhersage getroffen werden. Dabei ist eine HD-Karte eine hochauflösende High-Definition Karte, welche ein aktuelles Abbild der Wirklichkeit inklusive Leitplanken, Bäumen, Gräben und anderen verkehrsrelevanten Objekten wie Fußgängerwegen und Zebrastreifen umfasst.In a further embodiment, the first prediction module comprises, as a first condition, a trained artificial neural network for the road section or a sufficiently similar road section and an HD (high-resolution) map for the road section in question, whereby the first prediction module is designed to predict a road user for the road section using the trained artificial neural network with the road user's movement data and the HD map. This enables a very accurate prediction to be made. An HD map is a high-resolution high-definition map that includes a current image of reality including guard rails, trees, ditches and other traffic-relevant objects such as pedestrian paths and zebra crossings.

Die Bewegungsdaten werden unter Verwendung der aktuellen Standorte der Verkehrsteilnehmer in der HD-Karte in das trainierte künstliche neuronale Netz eingegeben, welches eine sehr genaue Prädiktion der Verkehrsteilnehmer liefert. Dabei ist das hingehend einer solchen Prädiktion antrainierte künstliche neuronale Netz insbesondere mittels historischer Daten trainiert worden, so dass eine genaue Prädiktion ermöglicht wird.The movement data is entered into the trained artificial neural network using the current locations of the road users in the HD map, which provides a very accurate prediction of the road users. The artificial neural network trained to make such a prediction has been trained in particular using historical data, so that an accurate prediction is possible.

In weiterer Ausbildung ist das künstliche neuronale Netz lediglich für spezielle Fälle in Bezug auf bestimmte Verkehrsteilnehmer und deren zukünftige Positionen trainiert. Diese speziellen Fälle können beispielsweise eine Vorhersage, ob ein Fahrzeug abbiegen oder geradeaus fahren wird, sein. Die Anwendung auf Spezialfälle hat den Vorteil, dass für das Training weniger historische Daten benötigt werden, da insbesondere gerade für die Anwendung maschineller Lernmethoden die Menge der verfügbaren Daten eine Begrenzung darstellt.In further training, the artificial neural network is only trained for special cases relating to certain road users and their future positions. These special cases can be, for example, a prediction of whether a vehicle will turn or drive straight ahead. The application to special cases has the advantage that less historical data is required for training, since the amount of available data is a limitation, especially for the application of machine learning methods.

In weiterer Ausbildung umfasst das zweite Prädiktionsmodul als zweite Bedingung eine HD-Karte für den Straßenabschnitt, wobei das zweite Prädiktionsmodul dazu ausgebildet ist, die Prädiktion eines Verkehrsteilnehmers für den Straßenabschnitt anhand der HD-Karte für den Straßenabschnitt unter Verwendung der Bewegungsdaten des Verkehrsteilnehmers durchzuführen.In a further embodiment, the second prediction module comprises, as a second condition, an HD map for the road section, wherein the second prediction module is designed to carry out the prediction of a road user for the road section based on the HD map for the road section using the movement data of the road user.

Ist für den oder einen ähnlichen Straßenabschnitt kein künstliches neuronales Netz vorhanden, so kann mittels des zweiten Prädiktionsmoduls eine Prädiktion mit Hilfe einer vorhandenen HD-Karte durchgeführt werden. Hierbei werden anhand der Bewegungsdaten, also der aktuellen und vorherigen Positionen und der Bewegungsrichtungen mögliche zukünftige Positionen (zukünftige Trajektorien) beispielsweise auf Fahrspuren/Gehwegen bestimmt und mit Wahrscheinlichkeiten versehen. Dazu wird eine weitere Bewegung des Verkehrsteilnehmers angenommen, um die zukünftigen Positionen und zukünftigen Bewegungsrichtungen zu erhalten.If no artificial neural network is available for the road section or a similar one, a prediction can be made using the second prediction module with the help of an existing HD map. Possible future positions (future trajectories), for example on lanes/sidewalks, are determined and assigned probabilities based on the movement data, i.e. the current and previous positions and the directions of movement. For this purpose, further movement by the road user is assumed in order to obtain the future positions and future directions of movement.

Dabei umfasst in einer weiteren Ausbildung eine hochpräzise HD-Karte zumindest die Straßen als auch die Gehwege und die Verkehrsführungselemente, wie Zebrastreifen. Dabei bilden hochpräzise HD-Karten ein Straßennetz hochgenau, beispielsweise zentimetergenau, ab.In a further development, a high-precision HD map includes at least the streets as well as the sidewalks and traffic management elements such as zebra crossings. High-precision HD maps depict a road network with high precision, for example, to the centimeter.

In einer weiteren Ausgestaltung ist das dritte Prädiktionsmodul dazu ausgebildet, die Prädiktion eines Verkehrsteilnehmers für den Straßenabschnitt anhand einer Extrapolation unter Verwendung der Bewegungsdaten des Verkehrsteilnehmers zu bewerkstelligen. Dies entspricht einer einfachen Extrapolation der Bewegungsvektoren/Trajektorien. Dies kann insbesondere auch dann zur Anwendung kommen, wenn beispielsweise ein Verkehrsteilnehmer sich auf keinem üblicherweise benutzten Weg befindet, beispielsweise wenn ein Fußgänger die Straße an einer verbotenen Stelle überquert.In a further embodiment, the third prediction module is designed to predict a road user for the road section based on an extrapolation using the road user's movement data. This corresponds to a simple extrapolation of the movement vectors/trajectories. This can also be used in particular if, for example, a road user is not on a commonly used path, for example if a pedestrian crosses the road in a prohibited place.

Ferner kann der Prozessor dazu ausgebildet sein, die Prädiktion jeder Verkehrsteilnehmer paarweise zur Bestimmung potenziell gefährlicher Situationen in korrespondierenden Zeitschritten zu vergleichen. Sind die zukünftigen Positionen der Verkehrsteilnehmer beispielsweise mit einem Vorhersagehorizont von 5s sowie mit zugehörigen Wahrscheinlichkeiten und Genauigkeiten bekannt, können daraus potenziell zukünftige gefährliche Situationen berechnet werden. Dazu können für jeden Zeitschritt in der Zukunft paarweise die Vorhersagen/Prädiktionen der Verkehrsteilnehmer verglichen werden.Furthermore, the processor can be designed to compare the prediction of each road user in pairs to determine potentially dangerous situations in corresponding time steps. If the future positions of the road users are known, for example with a prediction horizon of 5s and with the associated probabilities and accuracies, potentially future dangerous situations can be calculated from this. To do this, the predictions of the road users can be compared in pairs for each time step in the future.

In weiterer Ausbildung ist der Prozessor dazu ausgebildet, die Gefährlichkeit einer Situation mittels zumindest einem der nachfolgenden Faktoren zu bestimmen: der Größe eines Überlappungsbereiches zwischen zwei Verkehrsteilnehmern und/oder anhand einer zukünftigen Beschleunigung eines Verkehrsteilnehmers und/oder anhand eines zukünftigen Winkels zwischen zwei Verkehrsteilnehmern und/oder die Zeit bis zu einer möglichen Kollision zwischen zwei Verkehrsteilnehmern und/oder in Abhängigkeit von den verwendeten Fahrspuren der Verkehrsteilnehmer.In a further embodiment, the processor is designed to determine the dangerousness of a situation by means of at least one of the following factors: the size of an overlap area between two road users and/or based on a future acceleration of a road user and/or based on a future angle between two road users and/or the time until a possible collision between two road users and/or depending on the lanes used by the road users.

So bedeutet ein größerer Überlappungsbereich zwischen zwei Verkehrsteilnehmern eine höhere Gefahr. Ebenfalls einer höheren Gefahr entspricht es, wenn die zukünftige Geschwindigkeit einer der Verkehrsteilnehmer sich erhöht, insbesondere bei einer signifikanten Beschleunigung. Auch kann der zukünftige Winkel zwischen den Verkehrsteilnehmern betrachtet werden; so bedeutet eine Annäherung direkt von hinten meist geringe Gefahr, da davon ausgegangen werden kann, dass der von hinten sich nähernde Verkehrsteilnehmer den vor sich Fahrenden bemerkt. Bei Annäherung von der Seite (Winkel ungleich Null) oder erwarteter Änderung der Bewegungsrichtung ist hingegen von einer höheren Gefahr auszugehen. Ebenfalls kann die Zeit bis zu einer erwarteten Kollision betrachtet werden; so bedeutet geringere Zeit bis zur Kollision bei sichererer Vorhersage auch weniger Zeit zur Reaktion und damit eine höhere Gefahr.For example, a larger overlap area between two road users means a higher risk. It also corresponds to a higher risk if the future speed of one of the road users increases, particularly with significant acceleration. The future angle between the road users can also be considered; for example, an approach directly from behind usually means a low risk, as it can be assumed that the road user approaching from behind will notice the driver in front. However, an approach from the side (angle other than zero) or an expected change in direction of movement can be assumed to be a higher risk. The time until an expected collision can also be considered; for example, a shorter time until a collision with a more reliable prediction also means less time to react and therefore a higher risk.

Ebenfalls können die verwendeten Fahrspuren zweier Verkehrsteilnehmer betrachtet werden; so wird bei Verwendung der gleichen Fahrspur von einer tendenziell geringen Gefahr ausgegangen, da die eigene Fahrspur gewöhnlich stets im Blick ist und von einer höheren Gefahr bei sich kreuzenden Fahrspuren, insbesondere wenn sich Fahrradweg und Straße kreuzen.The lanes used by two road users can also be considered; for example, if the same lane is used, the risk is assumed to be lower, as one's own lane is usually always in view, and the risk is higher when lanes intersect, especially when a cycle path and a road intersect.

Insbesondere kann eine Kombination von den Faktoren herangezogen werden, um eine gefährliche Situation sicher zu erkennen.In particular, a combination of factors can be used to reliably detect a dangerous situation.

In weiterer Ausgestaltung ist der Prozessor dazu ausgebildet, bei der Bestimmung der Gefährlichkeit einer Situation die Art der Verkehrsteilnehmer als weiteren Faktor zu berücksichtigen. So ist eine Gefahr zwischen zwei Fußgängern selbst bei sehr großer Überlappung, beispielsweise an einer Ampel, nahezu auszuschließen; jedoch ist eine hohe Gefahr bei Beteiligung eines Fahrzeugs/LKWs anzunehmen.In a further embodiment, the processor is designed to consider the type of road user as a further factor in determining the dangerousness of a situation. A danger between two pedestrians can be almost ruled out even in the case of a very large overlap, for example at a traffic light; however, a high risk can be assumed if a vehicle/truck is involved.

Ferner ist in einer weiteren Ausgestaltung der Prozessor dazu ausgebildet, erkannte gefährliche Situationen mittels eines Bewertungswertes zu bewerten.Furthermore, in a further embodiment, the processor is designed to evaluate detected dangerous situations by means of an evaluation value.

Dieser kann anhand der erkannten obigen Faktoren, wie Größe des Überlappungsbereiches etc., einfach bestimmt werden, d.h. aus diesen Faktoren wird nun eine Bewertung bestimmt, wie gefährlich die zukünftigen Situationen sind.This can be easily determined based on the factors identified above, such as the size of the overlap area, etc., i.e. these factors are now used to determine how dangerous the future situations are.

In weiterer Ausbildung ist der Prozessor dazu ausgebildet, ab Überschreiten eines vorgegebenen Schwellenwertes in Bezug auf den Bewertungswert, einen Alarm zumindest an die an der gefährlichen Situation beteiligten Verkehrsteilnehmer zu übermitteln. Falls ein gewisser Schwellenwert überschritten wird, wird ein Alarm an die beteiligten Verkehrsteilnehmer geschickt. Insbesondere umfasst dieser Alarm zumindest eine Nachricht und den Bewertungswert. Daher können auf dem Endgerät der Verkehrsteilnehmer beispielsweise zusätzlich die übermittelten Alarme herausgefiltert werden, die eine geringe Bewertung haben. Dies ermöglicht es dem Fahrzeugnutzer, selbst darauf Einfluss zu nehmen, wie viele Alarme angezeigt werden. So kann ein risikobereiter Fahrzeugnutzer es verhindern, subjektiv zu viele Alarme angezeigt zu bekommen.In a further development, the processor is designed to transmit an alarm to at least the road users involved in the dangerous situation when a predetermined threshold value is exceeded in relation to the assessment value. If a certain threshold value is exceeded, an alarm is sent to the road users involved. In particular, this alarm includes at least one message and the assessment value. Therefore, for example, the alarms transmitted that have a low rating can also be filtered out on the road users' end device. This enables the vehicle user to influence how many alarms are displayed. In this way, a vehicle user who is willing to take risks can prevent subjectively being shown too many alarms.

Weitere Vorteile und Eigenschaften der Erfindung gehen aus der nachfolgenden Beschreibung hervor, in der Ausführungsbeispiele der Erfindung anhand der Zeichnung im Einzelnen erläutert werden. Es zeigen schematisch:

FIG 1:
schematisch das Alarmsystem,
FIG 2:
eine Prädiktion mit dem ersten Prädiktionsmodul,
FIG 3:
eine Prädiktion mit dem zweiten Prädiktionsmodul,
FIG 4:
eine Prädiktion mit dem dritten Prädiktionsmodul.
Further advantages and properties of the invention will become apparent from the following description, in which embodiments of the invention are explained in detail with reference to the drawing. They show schematically:
FIG 1:
schematic of the alarm system,
FIG 2:
a prediction with the first prediction module,
FIG 3:
a prediction with the second prediction module,
FIG 4:
a prediction with the third prediction module.

FIG 1 zeigt schematisch das Alarmsystem 1 zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt 2 (FIG 2). Das Alarmsystem 1 kann beispielsweise am Straßenrand in einem Infrastrukturelement wie einer Ampel integriert sein oder in einer Cloud oder Edge Cloud. FIG 1 shows schematically the alarm system 1 for warning vulnerable road users in a given road section 2 ( FIG 2 ). The Alarm system 1 can, for example, be integrated at the roadside in an infrastructure element such as a traffic light or in a cloud or edge cloud.

Das Alarmsystem 1 umfasst dabei eine Empfangseinheit 4 mit einer Kommunikationsschnittstelle 3 zum Empfangen einer Vielzahl von Bewegungsdaten von erfassten Verkehrsteilnehmern bezogen auf den Straßenabschnitt 2. Diese Bewegungsdaten können als Sensordaten ausgebildet sein oder aus diesen extrahiert sein, welche von an den Fahrzeugen angeordneten Lidar-/Radar- und Kamerasystemen stammen oder beispielsweise von Sensorsystemen, welche an den umliegenden Infrastrukturelementen, wie Verkehrsampeln, angeordnet sind. Aus diesen Sensordaten können die Verkehrsteilnehmer sowie deren Bewegungsdaten, insbesondere Bewegungstrajektorien, extrahiert werden. Die Extraktion und Übertragung erfolgt dabei in Echtzeit. Die Bewegungsdaten umfassen dabei zumindest die aktuelle und vorherige Position, Geschwindigkeit und Richtung eines Verkehrsteilnehmers über eine kurze Zeitdauer mit einem jeweiligen Zeitstempel.The alarm system 1 comprises a receiving unit 4 with a communication interface 3 for receiving a large number of movement data from detected road users related to the road section 2. This movement data can be in the form of sensor data or extracted from these, which come from lidar/radar and camera systems arranged on the vehicles or, for example, from sensor systems arranged on the surrounding infrastructure elements, such as traffic lights. The road users and their movement data, in particular movement trajectories, can be extracted from this sensor data. The extraction and transmission takes place in real time. The movement data includes at least the current and previous position, speed and direction of a road user over a short period of time with a respective time stamp.

Das Alarmsystem 1 kann zudem weitere Datenquellen verwenden, sofern diese verfügbar sind. So können z.B. die Bewegungsdaten durch die Verwendung von Daten der aktuellen und zukünftigen Ampelschaltung weiter verbessert werden und somit auch die Vorhersage später verbessert werden.The alarm system 1 can also use other data sources if they are available. For example, the movement data can be further improved by using data from the current and future traffic light switching, thus also improving the forecast later.

Ferner weist das Alarmsystem 1 eine Speichereinheit 10 auf. In dieser sind zumindest drei Prädiktionsmodule 5,6,7 gespeichert, wobei das erste Prädiktionsmodul 5 die höchste Prädiktionsqualität und das dritte Prädiktionsmodul 7 die niedrigste Prädiktionsqualität aufweist.Furthermore, the alarm system 1 has a storage unit 10. At least three prediction modules 5, 6, 7 are stored in this, wherein the first prediction module 5 has the highest prediction quality and the third prediction module 7 has the lowest prediction quality.

Die drei Prädiktionsmodule 5,6,7 können dabei als Softwaremodule ausgeführt sein.The three prediction modules 5,6,7 can be implemented as software modules.

Ferner können ebenfalls noch weitere Prädiktionsmodule gespeichert sein.Furthermore, additional prediction modules can also be stored.

Dabei ist jedes der Prädiktionsmodule 5,6,7 dazu ausgebildet, eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn bestimmte an das Prädiktionsmodul 5,6,7 gekoppelte Bedingungen erfüllt sind. Für die Vorhersage stehen nun mehrere Prädiktionsmodule 5,6,7 zur Verfügung, die unterschiedliche Prädiktionsqualität aufweisen, aber auch unterschiedliche Voraussetzungen (Bedingungen) benötigen.Each of the prediction modules 5,6,7 is designed to predict the position of the detected road users if certain conditions linked to the prediction module 5,6,7 are met. For the prediction There are now several prediction modules 5,6,7 available, which have different prediction qualities but also require different prerequisites (conditions).

Dabei kann die Prädiktionsqualität anhand einer Auflösung, sowie einen Vorhersagehorizont mit zugehörigen Wahrscheinlichkeiten und eine Genauigkeit in Bezug auf zumindest die zukünftige Position eines Verkehrsteilnehmers bestimmt werden. So umfasst eine hohe Prädiktionsqualität eine hohe Auflösung, beispielsweise eine von 200ms sowie einen Vorhersagehorizont von 5s mit zugehörigen Wahrscheinlichkeiten und entsprechenden Genauigkeiten.The prediction quality can be determined based on a resolution, a prediction horizon with associated probabilities and an accuracy with respect to at least the future position of a road user. A high prediction quality includes a high resolution, for example one of 200ms, and a prediction horizon of 5s with associated probabilities and corresponding accuracies.

Dabei ist das erste Prädiktionsmodul 5 dazu ausgebildet, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn bestimmte erste Bedingungen erfüllt sind.The first prediction module 5 is designed to predict at least one prediction of the position of the detected road users if certain first conditions are met.

Dabei benötigt das erste Prädiktionsmodul 5 als erste Bedingung ein trainiertes künstliches neuronales Netz 8 für den Straßenabschnitt 2 oder einen genügend ähnlichen Straßenabschnitt sowie eine HD-Karte 9 für den betreffenden Straßenabschnitt 2. Dies bedeutet, dass zuvor für diesen Straßenabschnitt 2 ein künstliches neuronales Netz 8 vorab trainiert werden muss, sowie eine HD-Karte 9 vorhanden sein muss. Dabei ist eine HD-Karte 9 eine hochauflösende High-Definition Karte, welche zumindest die Straßen als auch die Gehwege und die Verkehrsführungselemente, wie Zebrastreifen, hochpräzise und zentimetergenau abbildet.The first prediction module 5 requires, as a first condition, a trained artificial neural network 8 for the road section 2 or a sufficiently similar road section as well as an HD map 9 for the relevant road section 2. This means that an artificial neural network 8 must be trained in advance for this road section 2 and an HD map 9 must be available. An HD map 9 is a high-resolution high-definition map which depicts at least the roads as well as the sidewalks and traffic guidance elements, such as zebra crossings, with high precision and accuracy down to the centimeter.

Dabei kann das künstliche neuronale Netz 8 unter Verwendung historischer Daten antrainiert worden sein.The artificial neural network 8 may have been trained using historical data.

Es ist auch möglich, das erste Prädiktionsmodul 5 nur für spezielle Fälle, beispielsweise die Vorhersage, ob ein Fahrzeug abbiegen oder geradeaus fahren wird, heranzuziehen. Die Anwendung auf Spezialfälle hat den Vorteil, dass für das Training weniger historische Daten benötigt werden, wodurch Zeit und Kosten gespart werden.It is also possible to use the first prediction module 5 only for special cases, for example predicting whether a vehicle will turn or drive straight ahead. The application to special cases has the advantage that less historical data is required for training, which saves time and costs.

Dabei ist das zweite Prädiktionsmodul 6 dazu ausgebildet, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn die ersten Bedingungen nicht erfüllt sind und lediglich bestimmte zweite Bedingungen erfüllt sind. Dabei entsprechen die zweiten Bedingungen einem Vorhandensein einer HD-Karte 9 für den entsprechenden Straßenabschnitt 2. Hierbei werden anhand der aktuellen und vorherigen Positionen und Bewegungsrichtungen mögliche Fahrspuren berechnet und mit Wahrscheinlichkeiten versehen. Dann wird eine weitere Bewegung des Verkehrsteilnehmers auf den gefundenen Fahrspuren angenommen, um die zukünftigen Positionen und Bewegungsrichtungen zu erhalten.The second prediction module 6 is designed to predict at least one prediction of the position of the detected road users if the first conditions are not met and only certain second conditions are met. The second conditions correspond to the presence of an HD map 9 for the corresponding road section 2. Possible lanes are calculated based on the current and previous positions and directions of movement and assigned probabilities. A further movement of the road user on the lanes found is then assumed in order to obtain the future positions and directions of movement.

Ferner ist das dritte Prädiktionsmodul 7 dazu ausgebildet, die Prädiktion eines Verkehrsteilnehmers für den Straßenabschnitt 2 anhand einer Extrapolation unter Verwendung der Bewegungsdaten des Verkehrsteilnehmers zu bewerkstelligen. Dies kann auch ohne HD-Karte 9 und ohne künstliches neuronales Netz 7 bewerkstelligt werden. Dies entspricht einer einfachen Extrapolation der Bewegungsvektoren/Trajektorien. Dies kann insbesondere auch dann zur Anwendung kommen, wenn beispielsweise ein Verkehrsteilnehmer sich auf keinem üblicherweise benutzten Weg befindet, beispielsweise wenn ein Fußgänger die Straße an einer verbotenen Stelle überquert.Furthermore, the third prediction module 7 is designed to predict a road user for the road section 2 based on an extrapolation using the movement data of the road user. This can also be done without an HD map 9 and without an artificial neural network 7. This corresponds to a simple extrapolation of the movement vectors/trajectories. This can also be used in particular if, for example, a road user is not on a commonly used path, for example if a pedestrian crosses the road in a prohibited place.

Ferner ist ein Prüfungsmodul 15 vorhanden, welches dafür ausgelegt ist, zu prüfen ob die ersten oder die zweiten oder die dritten Bedingungen in Bezug auf den Straßenabschnitt 2 und den Verkehrsteilnehmer vorhanden sind und dabei in absteigender Qualitätsreihenfolge und je nach vorhandenen Bedingungen das entsprechende Prädiktionsmodul 5,6,7 in absteigender Qualitätsreihenfolge auswählt.Furthermore, a test module 15 is provided which is designed to check whether the first or the second or the third conditions are present with regard to the road section 2 and the road user and, in doing so, selects the corresponding prediction module 5, 6, 7 in descending quality order and depending on the existing conditions.

Das Prüfungsmodul 15 versucht somit immer, zunächst das erste Prädiktionsmodul 5 zu verwenden, da dieses die höchste Prädiktionsqualität aufweist und erst anschließend, falls die ersten Bedingungen wie künstliches neuronales Netz 8 nicht gegeben sind, auf das zweite Prädiktionsmodul 6 zurückzugreifen, mit den zweiten Bedingungen, hier der HD-Karte 9. Ist für den Straßenabschnitt 2 auch keine HD-Karte 9 vorhanden, so wird auf das dritte Prädiktionsmodul 7 zurückgegriffen.The test module 15 therefore always tries to use the first prediction module 5 first, since this has the highest prediction quality, and only then, if the first conditions such as artificial neural network 8 are not met, to resort to the second prediction module 6 with the second conditions, here the HD map 9. If no HD map 9 is available for the road section 2 either, the third prediction module 7 is resorted to.

Dadurch wird stets das Prädiktionsmodul 5,6,7 mit der höchsten Prädiktionsqualität verwendet, und erst, falls dies nicht möglich ist, da die Bedingungen dafür nicht erfüllt sind, wird auf das nächst-niedrigere Prädiktionsmodul 6,7 zurückgegriffen.This means that the prediction module 5,6,7 with the highest prediction quality is always used, and only if this is not possible because the conditions for it are not met, the next lower prediction module 6,7 is used.

Dabei können in einer Verkehrssituation auch unterschiedliche Prädiktionsmodule 5,6,7 für unterschiedliche Verkehrsteilnehmer zum Einsatz kommen.In a traffic situation, different prediction modules 5,6,7 can be used for different road users.

Anschließend wird mittels eines Prozessors 16 eine Prädiktion zumindest der zukünftigen Position der erfassten Verkehrsteilnehmer anhand des ausgewählten Prädiktionsmoduls 5,6,7 für die Verkehrsteilnehmer generiert.Subsequently, a prediction of at least the future position of the detected road users is generated by means of a processor 16 based on the selected prediction module 5,6,7 for the road users.

Wenn nun die zukünftigen Positionen der Verkehrsteilnehmer beispielsweise mit einer Auflösung von 200ms und einem Vorhersagehorizont von 5s mit zugehörigen Wahrscheinlichkeiten und Genauigkeiten durch die Prädiktionsmodule 5,6,7 bekannt sind, können daraus potenziell zukünftige gefährliche Situationen 12 durch den Prozessor 16 bestimmt werden. Hierzu werden für jeden Zeitschritt in der Zukunft paarweise die Prädiktionen der Verkehrsteilnehmer durch den Prozessor 16 verglichen.If the future positions of the road users are known, for example, with a resolution of 200 ms and a prediction horizon of 5 s with associated probabilities and accuracies by the prediction modules 5, 6, 7, potentially future dangerous situations 12 can be determined from this by the processor 16. For this purpose, the predictions of the road users are compared in pairs by the processor 16 for each time step in the future.

Dabei kann der Prozessor 16 zur Bestimmung einer gefährlichen Situation 12 zwischen den Verkehrsteilnehmern nachfolgende Faktoren einzeln, aber vorzugsweise in Kombination, heranziehen:

  • die Größe der Überlappung eines berechneten Aufenthaltsbereichs der Verkehrsteilnehmer. So bedeutet ein größerer Überlappungsbereich zwischen zwei Verkehrsteilnehmern eine höhere Gefahr,
  • die Position der Überlappung relativ zur geschätzten Position. So bedeutet ein Überlapp näher am Zentrum der geschätzten Position eine höhere Gefahr,
  • die zukünftige Geschwindigkeit der Verkehrsteilnehmer; so bedeutet eine höhere Geschwindigkeit, insbesondere eine signifikante Beschleunigung, eine höhere Gefahr,
  • ein vorhandener oder zukünftiger Winkel zwischen den Verkehrsteilnehmern, so bedeutet eine Annäherung direkt von hinten meist geringe Gefahr, da davon ausgegangen werden kann, dass sich der von hinten nähernde Verkehrsteilnehmer den vor sich Fahrenden bemerkt hat. Bei Annäherung von der Seite oder erwarteter Änderung der Bewegungsrichtung ist hingegen von einer höheren Gefahr auszugehen,
  • Betrachtung der verwendeten Fahrspuren zweier Verkehrsteilnehmer; so wird bei Verwendung gleicher Fahrspur von einer tendenziell geringen Gefahr ausgegangen, da die eigene Fahrspur gewöhnlich stets im Blick ist und von einer höheren Gefahr bei sich kreuzenden Fahrspuren, insbesondere wenn sich Fahrradweg und Straße kreuzen,
  • eine Zeit bis zur erwarteten Kollision; so bedeutet geringere Zeit bis zur Kollision weniger Zeit zur Reaktion bei sichererer Vorhersage und damit eine höhere Gefahr,
  • die gleiche oder ungleiche Art der Verkehrsteilnehmer; so ist eine Gefahr zwischen zwei Fußgängern selbst bei sehr großer Überlappung, beispielsweise an einer Ampel, nahezu auszuschließen, jedoch eine hohe Gefahr bei Beteiligung eines Fahrzeugs / LKWs anzunehmen.
The processor 16 can use the following factors individually, but preferably in combination, to determine a dangerous situation 12 between road users:
  • the size of the overlap of a calculated area of presence of road users. A larger overlap area between two road users means a higher risk,
  • the position of the overlap relative to the estimated position. An overlap closer to the center of the estimated position means a higher risk,
  • the future speed of road users; higher speed, especially significant acceleration, means a higher risk,
  • an existing or future angle between the road users, an approach directly from behind usually means little danger, since it can be assumed that the approaching road user from behind has noticed the driver in front of them. However, when approaching from the side or when the direction of movement is expected to change, the risk is higher,
  • Consideration of the lanes used by two road users; when using the same lane, the risk is assumed to be low, as one's own lane is usually always in view, and the risk is higher when lanes cross, especially when the cycle path and the road cross.
  • a time until the expected collision; thus, shorter time until collision means less time to react with a more reliable prediction and thus a higher risk,
  • the same or different types of road users; a danger between two pedestrians can be almost ruled out even in the case of a very large overlap, for example at a traffic light, but a high risk can be assumed if a vehicle / truck is involved.

Ferner ist in einer weiteren Ausgestaltung der Prozessor 16 dazu ausgebildet, erkannte gefährliche Situationen 12 mittels eines Bewertungswertes zu bewerten. Dieser kann anhand der erkannten obigen Faktoren, wie Größe des Überlappungsbereiches etc. einfach bestimmt werden, d.h. aus diesen Faktoren wird nun eine Bewertung berechnet, wie gefährlich die zukünftige Situation 12 ist.Furthermore, in a further embodiment, the processor 16 is designed to evaluate recognized dangerous situations 12 using an evaluation value. This can be easily determined based on the recognized factors above, such as the size of the overlap area, etc., i.e. an evaluation of how dangerous the future situation 12 is is now calculated from these factors.

Falls ein gewisser Schwellenwert überschritten wird, sendet der Prozessor 16 eine Nachricht als auch den Bewertungswert als Alarm an die beteiligten Verkehrsteilnehmer.If a certain threshold value is exceeded, the processor 16 sends a message as well as the evaluation value as an alarm to the road users involved.

So können auf dem Endgerät der Verkehrsteilnehmer diese Alarme hinsichtlich des Bewertungswertes gefiltert werden. Dabei können beispielsweise alle Alarme die für den einzelnen Verkehrsteilnehmer einen zu geringen Bewertungswert aufweisen, herausgefiltert werden. Dies ermöglicht es dem Verkehrsteilnehmer, selbst darauf Einfluss zu nehmen, wie viele Warnungen angezeigt werden. So kann ein risikobereiter Verkehrsteilnehmer vermeiden, subjektiv zu viele Warnungen angezeigt zu bekommen.This means that these alarms can be filtered on the road user's device according to their rating value. For example, all alarms that have a rating value that is too low for the individual road user can be filtered out. This allows the road user to influence how many warnings are displayed. This means that a road user who is willing to take risks can avoid subjectively receiving too many warnings.

FIG 2 zeigt eine Prädiktion mit dem ersten Prädiktionsmodul 5. FIG 2 shows a prediction with the first prediction module 5.

In diesem Szenario biegt ein von Osten kommender PKW 13 nach Norden ab und kreuzt hierbei den Fahrweg eines ebenfalls von Osten kommenden Fahrradfahrers 14. Das Fahrrad-Symbol 14 bzw. PKW-Symbol 13 stellen die aktuellen Positionen der beteiligten Verkehrsteilnehmer dar.In this scenario, a car 13 coming from the east turns north and crosses the path of a cyclist 14, also coming from the east. The bicycle symbol 14 and the car symbol 13 represent the current positions of the road users involved.

Die blauen Ellipsen 11 stellen die vorhergesagten Aufenthaltsbereiche des Fahrrads 14 als auch des PKWs 13 dar.The blue ellipses 11 represent the predicted locations of the bicycle 14 and the car 13.

Bei diesem Beispiel wurde ein künstliches neuronales Netz 8 anhand historischer Daten trainiert, an dieser Kreuzung anhand der Annäherungsgeschwindigkeit zu bestimmen, ob ein Fahrzeug geradeaus fährt oder abbiegt. Die aktuellen Bewegungsdaten werden nun in das so trainierte neuronale Netz 8 eingegeben, welches unter Verwendung der HD-Karte 9 für diese Kreuzung Vorhersagen für den PKW 13 als auch den Fahrradfahrer 14 erzeugt.In this example, an artificial neural network 8 was trained using historical data to determine whether a vehicle is driving straight ahead or turning at this intersection based on the approach speed. The current movement data is then entered into the neural network 8 trained in this way, which generates predictions for the car 13 and the cyclist 14 using the HD map 9 for this intersection.

Durch das erste Prädiktionsmodul 5 mit dem trainierten künstlichen neuronalen Netz 8, das auf eine HD-Karte 9 zurückgreift, kann nun frühzeitig erkannt werden, dass der PKW 13 abbiegen wird und damit eine gefährliche Situation 12 entstehen wird.The first prediction module 5 with the trained artificial neural network 8, which uses an HD map 9, can now detect early on that the car 13 will turn and thus a dangerous situation 12 will arise.

Durch die Verwendung des ersten Prädiktionsmoduls 5 kann eine hohe Prädiktionsqualität und dementsprechend eine zuverlässige Vorhersage für die zukünftigen Positionen der Verkehrssteilnehmer erzielt werden. Somit können gefährliche Situationen 12 genau und zuverlässig sowie rechtzeitig erkannt werden.By using the first prediction module 5, a high prediction quality and accordingly a reliable forecast for the future positions of the road users can be achieved. Dangerous situations 12 can thus be detected precisely, reliably and in a timely manner.

FIG 3 zeigt eine Prädiktion des obigen Szenarios mit dem zweiten Prädiktionsmodul 6. In diesem Szenario biegt der von Osten kommende PKW 13 nach Norden ab und kreuzt hierbei den Fahrweg des ebenfalls von Osten kommenden Fahrradfahrers 14. Das Fahrrad-Symbol 14 bzw. PKW-Symbol 13 stellen wiederum die aktuellen Positionen der beteiligten Verkehrsteilnehmer dar. Die blauen Ellipsen 11 stellen wiederum die vorhergesagten Aufenthaltsbereiche des Fahrrads 14 als auch des PKWs 13 dar. FIG 3 shows a prediction of the above scenario with the second prediction module 6. In this scenario, the car 13 coming from the east turns north and crosses the path of the cyclist 14, also coming from the east. The bicycle symbol 14 and the car symbol 13 represent the current positions of the road users involved. The blue ellipses 11 represent again represent the predicted locations of the bicycle 14 and the car 13.

Bei diesem Beispiel wird die Vorhersage durch das zweite Prädiktionsmodul 6 mittels der HD-Karte 9 getroffen. Hier kann bereits an dieser Stelle vorausgesagt werden, dass der PKW 13 sich nach rechts wenden könnte, und dadurch eine gefährliche Situation 12 entsteht. Allerdings ist eine Unsicherheit, ob dies wirklich so geschehen wird, vorhanden, da es auch möglich ist, dass der PKW 13 seinen Weg in gerader Richtung fortsetzt. Durch die Verwendung des zweiten Prädiktionsmoduls 6 kann eine mittlere Prädiktionsqualität und dementsprechend eine mittlere zuverlässige Vorhersage für die zukünftigen Positionen der Verkehrssteilnehmer erzielt werden. Somit können gefährliche Situationen erkannt werden.In this example, the prediction is made by the second prediction module 6 using the HD map 9. It can already be predicted at this point that the car 13 could turn right, thereby creating a dangerous situation 12. However, there is uncertainty as to whether this will actually happen, as it is also possible that the car 13 will continue on its way in a straight line. By using the second prediction module 6, a medium prediction quality and accordingly a medium reliable prediction for the future positions of the road users can be achieved. Dangerous situations can therefore be identified.

FIG 4 zeigt eine Prädiktion des obigen Szenarios mit dem dritten Prädiktionsmodul 7. In diesem selbigen Szenario biegt wieder der von Osten kommende PKW 13 nach Norden ab und kreuzt hierbei den Fahrweg eines ebenfalls von Osten kommenden Fahrradfahrers 14. Das Fahrrad-Symbol 14 bzw. PKW-Symbol 13 stellen die aktuellen Positionen der beteiligten Verkehrsteilnehmer dar. Die blauen Ellipsen 11 stellen wiederum die vorhergesagten Aufenthaltsbereiche des Fahrrads 14 als auch des PKWs 13 dar. FIG 4 shows a prediction of the above scenario with the third prediction module 7. In this same scenario, the car 13 coming from the east turns north again and crosses the path of a cyclist 14 also coming from the east. The bicycle symbol 14 and the car symbol 13 represent the current positions of the road users involved. The blue ellipses 11 in turn represent the predicted locations of the bicycle 14 and the car 13.

Bei diesem Beispiel wird die Vorhersage durch das dritte Prädiktionsmodul 7 mittels der Extrapolation der vergangenen und aktuellen Bewegungsvektoren/Bewegungsdaten getroffen. Dabei erkennt das dritte Prädiktionsmodul 7 nicht, dass der PKW 13 demnächst nach rechts fahren wird. Es wird dementsprechend kein Alarm ausgegeben.In this example, the prediction is made by the third prediction module 7 by extrapolating the past and current motion vectors/motion data. The third prediction module 7 does not recognize that the car 13 will soon drive to the right. Accordingly, no alarm is issued.

Durch das erfindungsgemäße Alarmsystem 1 mit den zumindest drei Prädiktionsmodulen mit absteigender Prädiktionsqualität kann eine potenziell gefährliche Situation 12 besser erkannt werden, indem immer das bestmöglichste Prädiktionsmodul 5,6,7 zur Bestimmung der zukünftigen Positionen der Verkehrsteilnehmer herangezogen wird.By means of the alarm system 1 according to the invention with the at least three prediction modules with decreasing prediction quality, a potentially dangerous situation 12 can be better recognized by always using the best possible prediction module 5, 6, 7 to determine the future positions of the road users.

Bezugszeichenliste:List of reference symbols:

11
AlarmsystemAlarm system
22
StraßenabschnittRoad section
33
KommunikationsschnittstelleCommunication interface
44
EmpfangseinheitReceiving unit
55
erstes Prädiktionsmodulfirst prediction module
66
zweites Prädiktionsmodulsecond prediction module
77
drittes Prädiktionsmodulthird prediction module
88th
künstliches neuronales Netzartificial neural network
99
HD-KarteHD card
1010
SpeichereinheitStorage unit
1111
blauen Ellipsenblue ellipses
1212
gefährliche Situationdangerous situation
1313
PKWCar
1414
FahrradBicycle
1515
PrüfungsmodulExamination module
1616
Prozessorprocessor

Claims (16)

Alarmsystem (1) zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt (2) umfassend eine Empfangseinheit (4) mit einer Kommunikationsschnittstelle (3) zum Empfangen einer Vielzahl von Bewegungsdaten von erfassten Verkehrsteilnehmern bezogen auf den Straßenabschnitt (2), dadurch gekennzeichnet, dass eine Speichereinheit (10) vorgesehen ist, welche zumindest drei oder mehr Prädiktionsmodule (5,6,7) mit absteigender Prädiktionsqualität aufweist und wobei das erste Prädiktionsmodul (5) dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn bestimmte erste Bedingungen erfüllt sind und wobei das zweite Prädiktionsmodul (6) dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn die ersten Bedingungen nicht erfüllt sind und lediglich bestimmte zweite Bedingungen erfüllt sind, und wobei das dritte Prädiktionsmodul (7) dazu ausgebildet ist, zumindest eine Prädiktion der Position der erfassten Verkehrsteilnehmer vorherzusagen, wenn die ersten Bedingungen als auch die zweiten Bedingungen nicht erfüllt sind und wobei ein Prüfungsmodul (15) vorgesehen ist, welches dafür ausgelegt ist, zu prüfen, ob die ersten Bedingungen oder die zweiten Bedingungen oder die dritten Bedingungen in Bezug auf den Straßenabschnitt (2) und den Verkehrsteilnehmer erfüllt sind und in absteigender Qualitätsreihenfolge und je nach erfüllten Bedingungen das Prädiktionsmodul (5,6,7) mit der höchsten Prädiktionsqualität auszuwählen, und wobei ein Prozessor (16) vorgesehen ist, welcher zur Prädiktion zumindest der zukünftigen Position der erfassten Verkehrsteilnehmer anhand des ausgewählten Prädiktionsmoduls (5,6,7) ausgebildet ist. Alarm system (1) to warn vulnerable road users in a given road section (2) comprising a receiving unit (4) with a communication interface (3) for receiving a plurality of movement data from detected road users related to the road section (2), characterized in that a storage unit (10) is provided which has at least three or more prediction modules (5, 6, 7) with decreasing prediction quality, and wherein the first prediction module (5) is designed to predict at least one prediction of the position of the detected road users if certain first conditions are met, and wherein the second prediction module (6) is designed to predict at least one prediction of the position of the detected road users if the first conditions are not met and only certain second conditions are met, and wherein the third prediction module (7) is designed to predict at least one prediction of the position of the detected road users if the first conditions as well as the second conditions are not met, and wherein a test module (15) is provided which is designed to check whether the first conditions or the second conditions or the third conditions are met with respect to the road section (2) and the road user and to select the prediction module (5,6,7) with the highest prediction quality in descending order of quality and depending on the conditions met, and wherein a processor (16) is provided which is designed to predict at least the future position of the detected road users based on the selected prediction module (5,6,7). Alarmsystem (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Prädiktionsqualität zumindest die Eintrittswahrscheinlichkeit und/oder die Genauigkeit einer zukünftigen Position umfasst.Alarm system (1) according to claim 1, characterized in that the prediction quality comprises at least the probability of occurrence and/or the accuracy of a future position. Alarmsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegungsdaten zumindest die aktuelle und vorherige Position, Geschwindigkeit und Richtung eines Verkehrsteilnehmers über eine kurze Zeitdauer umfassen.Alarm system (1) according to one of the preceding claims, characterized in that the movement data comprise at least the current and previous position, speed and direction of a road user over a short period of time. Alarmsystem (1) nach Anspruch 3, dadurch gekennzeichnet, dass die Bewegungsdaten Daten aus weiteren Datenquellen, welche zur Verkehrsführung in dem betreffenden Straßenabschnitt (2) dienen, umfassen.Alarm system (1) according to claim 3, characterized in that the movement data comprise data from further data sources which serve for traffic guidance in the relevant road section (2). Alarmsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste Prädiktionsmodul (5) als erste Bedingungen ein trainiertes künstliches neuronales Netz (8) für den Straßenabschnitt (2) oder einen genügend ähnlichen Straßenabschnitt (2) sowie eine HD-Karte (9,High Definition Karte) für den betreffenden Straßenabschnitt (2) umfasst, und wobei das erste Prädiktionsmodul (5) dazu ausgebildet ist, die Prädiktion eines Verkehrsteilnehmers für den Straßenabschnitt (2) anhand des trainierten künstlichen neuronalen Netzes (8) mit den Bewegungsdaten des Verkehrsteilnehmers und der HD-Karte (9) zu bewerkstelligen.Alarm system (1) according to one of the preceding claims, characterized in that the first prediction module (5) comprises as first conditions a trained artificial neural network (8) for the road section (2) or a sufficiently similar road section (2) and an HD map (9, high definition map) for the relevant road section (2), and wherein the first prediction module (5) is designed to carry out the prediction of a road user for the road section (2) on the basis of the trained artificial neural network (8) with the movement data of the road user and the HD map (9). Alarmsystem (1) nach Anspruch 5, dadurch gekennzeichnet, dass das künstliche neuronale Netz (8) anhand historischer Daten trainiert ist.Alarm system (1) according to claim 5, characterized in that the artificial neural network (8) is trained using historical data. Alarmsystem (1) nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das künstliche neuronale Netz (8) lediglich für spezielle Fälle in Bezug auf bestimmte Verkehrsteilnehmer und deren zukünftige Positionen trainiert ist.Alarm system (1) according to claim 5 or 6, characterized in that the artificial neural network (8) is trained only for special cases in relation to certain road users and their future positions. Alarmsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweite Prädiktionsmodul (6) als zweite Bedingung eine HD-Karte (9) für den Straßenabschnitt (2) umfasst, wobei das zweite Prädiktionsmodul (6) dazu ausgebildet ist, die Prädiktion eines Verkehrsteilnehmers für den Straßenabschnitt (2) anhand der HD- Karte (9) für den Straßenabschnitt (2), unter Verwendung der Bewegungsdaten des Verkehrsteilnehmers durchzuführen.Alarm system (1) according to one of the preceding claims, characterized in that the second prediction module (6) comprises, as a second condition, an HD map (9) for the road section (2), wherein the second prediction module (6) is designed to predict a road user for the road section (2) based on the HD map (9) for the road section (2), using the movement data of the road user. Alarmsystem (1) nach einem der vorhergehenden Ansprüche 4 bis 8, dadurch gekennzeichnet, dass die HD-Karte (9) zumindest die Straßen als auch die Gehwege und die Verkehrsführungselemente umfasst.Alarm system (1) according to one of the preceding claims 4 to 8, characterized in that the HD map (9) comprises at least the streets as well as the sidewalks and the traffic guidance elements. Alarmsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das dritte Prädiktionsmodul (7) dazu ausgebildet ist, die Prädiktion eines Verkehrsteilnehmers für den Straßenabschnitt (2) anhand einer Extrapolation unter Verwendung der Bewegungsdaten des Verkehrsteilnehmers zu bewerkstelligen.Alarm system (1) according to one of the preceding claims, characterized in that the third prediction module (7) is designed to carry out the prediction of a road user for the road section (2) on the basis of an extrapolation using the movement data of the road user. Alarmsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Prozessor (16) ferner dazu ausgebildet ist, die Prädiktion jeder Verkehrsteilnehmer paarweise zur Bestimmung potenziell gefährlicher Situationen in korrespondierenden Zeitschritten zu vergleichen.Alarm system (1) according to one of the preceding claims, characterized in that the processor (16) is further designed to compare the prediction of each road user in pairs to determine potentially dangerous situations in corresponding time steps. Alarmsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Prozessor (16) dazu ausgebildet ist, die Gefährlichkeit einer Situation mittels zumindest einem der nachfolgenden Faktoren zu bestimmen: der Größe eines Überlappungsbereiches zwischen zwei Verkehrsteilnehmern und/oder anhand einer zukünftigen Beschleunigung eines Verkehrsteilnehmers und/oder anhand eines zukünftigen Winkels zwischen zwei Verkehrsteilnehmern und/oder die Zeit bis zu einer möglichen Kollision zwischen zwei Verkehrsteilnehmern und/oder in Abhängigkeit von den verwendeten Fahrspuren der Verkehrsteilnehmer.Alarm system (1) according to one of the preceding claims, characterized in that the processor (16) is designed to determine the dangerousness of a situation by means of at least one of the following factors: the size of an overlap area between two road users and/or based on a future acceleration of a road user and/or based on a future angle between two road users and/or the time until a possible collision between two road users and/or depending on the lanes used by the road users. Alarmsystem (1) nach Anspruch 12, dadurch gekennzeichnet, dass der Prozessor (16) dazu ausgebildet ist, bei der Bestimmung der Gefährlichkeit einer Situation die Art der Verkehrsteilnehmer als weiteren Faktor zu berücksichtigen.Alarm system (1) according to claim 12, characterized in that the processor (16) is designed to take into account the type of road users as a further factor when determining the dangerousness of a situation. Alarmsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Prozessor (16) dazu ausgebildet ist, erkannte gefährliche Situationen mittels eines Bewertungswertes zu bewerten.Alarm system (1) according to one of the preceding claims, characterized in that the processor (16) is designed to evaluate detected dangerous situations by means of an evaluation value. Alarmsystem (1) nach Anspruch 14, dadurch gekennzeichnet, dass der Prozessor (16) dazu ausgebildet ist, ab Überschreiten eines vorgegebenen Schwellenwertes in Bezug auf den Bewertungswert einen Alarm zumindest an die an der gefährlichen Situation beteiligten Verkehrsteilnehmer zu übermitteln.Alarm system (1) according to claim 14, characterized in that the processor (16) is designed to transmit an alarm at least to the road users involved in the dangerous situation when a predetermined threshold value is exceeded in relation to the evaluation value. Alarmsystem (1) nach Anspruch 15, dadurch gekennzeichnet, dass der Alarm zumindest eine Nachricht und den Bewertungswert umfasst.Alarm system (1) according to claim 15, characterized in that the alarm comprises at least a message and the evaluation value.
EP23196777.9A 2022-10-05 2023-09-12 Alarm system for warning vulnerable road users in a predefined road section Pending EP4350657A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022210507.9A DE102022210507A1 (en) 2022-10-05 2022-10-05 Alarm system to warn vulnerable road users in a given road section

Publications (1)

Publication Number Publication Date
EP4350657A1 true EP4350657A1 (en) 2024-04-10

Family

ID=88017678

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23196777.9A Pending EP4350657A1 (en) 2022-10-05 2023-09-12 Alarm system for warning vulnerable road users in a predefined road section

Country Status (4)

Country Link
US (1) US20240119841A1 (en)
EP (1) EP4350657A1 (en)
CN (1) CN117854243A (en)
DE (1) DE102022210507A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023200085A1 (en) 2023-01-06 2024-07-11 Continental Automotive Technologies GmbH COMPUTER-IMPLENTED METHOD FOR OPTIMIZING THE PROPERTIES OF MAP SECTIONS

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659496B2 (en) 2015-02-10 2017-05-23 Ridar Systems LLC Proximity awareness system for motor vehicles
EP3690396A1 (en) * 2019-01-31 2020-08-05 StradVision, Inc. Method and device for providing advanced pedestrian assistance system to protect pedestrian distracted by their smartphone

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013212359A1 (en) 2013-06-27 2014-12-31 Bayerische Motoren Werke Aktiengesellschaft Prediction of driving paths of a vehicle
DE102016212700A1 (en) 2016-07-13 2018-01-18 Robert Bosch Gmbh Method and system for controlling a vehicle
DE102019215141B4 (en) 2019-10-01 2023-10-12 Volkswagen Aktiengesellschaft Method for predicting a future traffic situation in an environment of a motor vehicle by determining several internally consistent overall scenarios for different road users; motor vehicle
JP7314902B2 (en) 2020-10-29 2023-07-26 トヨタ自動車株式会社 VEHICLE CONTROL METHOD AND CONTROL DEVICE

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659496B2 (en) 2015-02-10 2017-05-23 Ridar Systems LLC Proximity awareness system for motor vehicles
EP3690396A1 (en) * 2019-01-31 2020-08-05 StradVision, Inc. Method and device for providing advanced pedestrian assistance system to protect pedestrian distracted by their smartphone

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GULZAR MAHIR ET AL: "A Survey on Motion Prediction of Pedestrians and Vehicles for Autonomous Driving", IEEE ACCESS, IEEE, USA, vol. 9, 5 October 2021 (2021-10-05), pages 137957 - 137969, XP011882725, DOI: 10.1109/ACCESS.2021.3118224 *

Also Published As

Publication number Publication date
DE102022210507A1 (en) 2024-04-11
US20240119841A1 (en) 2024-04-11
CN117854243A (en) 2024-04-09

Similar Documents

Publication Publication Date Title
EP3197739B1 (en) Enabling a highly automated driving function
EP2826031B1 (en) Method for detecting traffic jams using a wireless vehicle-to-vehicle communication system
DE102015100812B4 (en) Method for using road level images to improve an automated driving mode for a vehicle
EP3671693A1 (en) Method and driver assistance system for assisting a driver of a vehicle during guiding of the vehicle
DE102014208673A1 (en) Method and traffic monitoring device for detecting a wrong-way drive of a motor vehicle
DE102014208662A1 (en) Method and control and detection device for plausibility of a wrong-way drive of a motor vehicle
DE102016209330B4 (en) Method for performing a cooperative driving maneuver
WO2016055562A1 (en) Method for handling a rule chart
DE102016118497A1 (en) Determining a virtual lane for a road traveled by a motor vehicle
EP3024709B1 (en) Efficiently providing occupancy information on the surroundings of a vehicle
DE102016220102A1 (en) Procedure for traffic guidance
DE102011115421A1 (en) Method for determination and transmission of relevant data e.g. traffic data of vehicle e.g. tractor to road user, involves determining maneuvers necessary for space requirements based on geometry of self-vehicle and maneuver forecast
DE102021205680A1 (en) DEVICE AND METHOD FOR CONTROLLING A VEHICLE
DE102012207864A1 (en) Method for reducing a risk of stowage
DE102007007540A1 (en) Object detecting and tracking device for motor vehicle, has object tracking device determining position of detected objects based on position of objects relative to reference vehicle in spatial relation to geometry of lane
WO2023036545A1 (en) Method and control circuit for checking whether a presently active driving mode is being operated within its odd, and system and back-end server
DE102014221675A1 (en) Method and control and detection device for plausibility of a wrong-way drive of a motor vehicle
DE102014202509A1 (en) Control of a fully or fully automatic driving function
EP4350657A1 (en) Alarm system for warning vulnerable road users in a predefined road section
WO2015155120A1 (en) Method for operating a driver information system for bottlenecks in road traffic and driver information system
DE102014220571A1 (en) Method and device for detecting relevant traffic signs for a vehicle
EP4032771A1 (en) Method for generating a lane change recommendation, lane change assistance system and motor vehicle with a lane changing assistance system
DE102019001092A1 (en) Method for operating a driver assistance system, as well as electronic computing device, computer program product and data carrier
DE102021202778A1 (en) Method and system for processing a digital road safety card
EP3994040B1 (en) Method for coordinating road users via a server device, and server device and a control circuit for carrying out the method

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE