DE102018205659A1

DE102018205659A1 - Object recognition in areas reserved for means of transportation in rail vehicles

Info

Publication number: DE102018205659A1
Application number: DE102018205659.5A
Authority: DE
Inventors: Hamed KETABDAR
Original assignee: Siemens AG; Siemens Corp
Current assignee: Siemens AG; Siemens Corp
Priority date: 2018-04-13
Filing date: 2018-04-13
Publication date: 2019-10-17
Also published as: WO2019197328A1

Abstract

Es wird ein Verfahren zum Erkennen von Objekten (O) in einem für Fortbewegungsmittel reservierten Bereich (B) in einem Schienenfahrzeug (1) beschrieben. Bei dem Verfahren erfolgt ein Durchführen einer Bildaufnahme von dem reservierten Bereich (B) mit einer Kamera (K), wobei Bilddaten (BD) erfasst werden. Der reservierte Bereich (B) wird weiterhin mit Hilfe eines Radarsensors (RS) abgetastet, wobei Radarsensordaten (RSD) erfasst werden. Zudem erfolgt auch ein Abtasten des reservierten Bereichs (B) mit Hilfe eines Laser-Sensors (LS), wobei Laser-Sensordaten (LSD) erfasst werden. Aus den durch die unterschiedlichen Sensortypen (K, RS, LS) erfassten Daten (BD, RSD, LSD) werden nun Merkmale (M) extrahiert. Basierend auf einer Datenkombination, welche auf den extrahierten Merkmalen (M) der durch die unterschiedlichen Sensortypen (K, RS, LS) erfassten Daten (BD, RSD, LSD) basiert, wird automatisiert detektiert, ob sich ein Objekt (O) in dem reservierten Bereich (B) befindet. Zudem wird auf Basis der Datenkombination, welche auf den extrahierten Merkmalen (M) der durch die unterschiedlichen Sensortypen (K, RS, LS) erfassten Daten (BD, RSD, LSD) basiert, automatisiert ermittelt, welche Art von Objekt (O) sich in dem reservierten Bereich (B) befindet. Es wird auch eine Überwachungseinrichtung (40) beschrieben. Überdies wird ein Schienenfahrzeug (50a) beschrieben.

The invention relates to a method for detecting objects (O) in a region (B) reserved for means of transportation in a rail vehicle (1). In the method, image taking is performed from the reserved area (B) with a camera (K), whereby image data (BD) is detected. The reserved area (B) is further scanned by means of a radar sensor (RS), detecting radar sensor data (RSD). In addition, a scanning of the reserved area (B) by means of a laser sensor (LS), wherein laser sensor data (LSD) are detected. Characteristics (M) are now extracted from the data (BD, RSD, LSD) acquired by the different sensor types (K, RS, LS). Based on a data combination based on the extracted features (M) of the data (BD, RSD, LSD) acquired by the different sensor types (K, RS, LS), it is automatically detected whether an object (O) is reserved in the one Area (B) is located. In addition, based on the data combination which is based on the extracted features (M) of the data collected by the different sensor types (K, RS, LS) (BD, RSD, LSD), automatically determines which type of object (O) in located in the reserved area (B). A monitoring device (40) is also described. Moreover, a rail vehicle (50a) will be described.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen von Objekten in für Fortbewegungsmittel reservierten Bereichen in Schienenfahrzeugen. Zudem betrifft die Erfindung eine Überwachungseinrichtung. Weiterhin betrifft die Erfindung ein Schienenfahrzeug.The invention relates to a method for recognizing objects in areas reserved for means of transportation in rail vehicles. In addition, the invention relates to a monitoring device. Furthermore, the invention relates to a rail vehicle.

Besondere Bereiche in Schienenfahrzeugen sind für spezielle Fortbewegungsmittel, wie zum Beispiel Rollstühle, Fahrräder und Kinderwagen von Passagieren reserviert. Solche markierten Bereiche sind meist in mehreren Wagons eines Zuges vorhanden. Personen, welche diese Fortbewegungsmittel benutzen, sollten die Möglichkeit haben, sich auf dem Bahnsteig an einer günstigen Stelle zu positionieren, bevor der Zug eintrifft, um diesen dort besteigen zu können, wo sich die besonderen Bereiche für ihre Fortbewegungsmittel befinden. Auf diese Weise bleibt ihnen eine längere Suche nach einem geeigneten Abstellplatz erspart, was sowohl für die Benutzer der Fortbewegungsmittel eine Erleichterung darstellt als auch für die übrigen Passagiere, an denen die sperrigen Fortbewegungsmittel ansonsten vorbeigeschoben werden müssen, um zur vorgesehenen Position im Zug zu gelangen. Ein Problem kann darin bestehen, dass ein solcher reservierter Bereich bereits durch andere spezielle Fortbewegungsmittel reserviert ist. Es wäre wünschenswert, wenn Passagiere, die die reservierten Bereiche in den Zügen nutzen möchten, vorab darüber informiert würden, welche für spezielle Fortbewegungsmittel reservierten Bereiche noch nicht belegt sind, so dass sie genügend Zeit haben, sich auf dem Bahnsteig so zu positionieren, dass sie den Zug an einer geeigneten Stelle betreten können, an dem sich ein solcher freier reservierter Bereich befindet.Special areas in rail vehicles are reserved for special means of transportation, such as wheelchairs, bicycles and prams of passengers. Such marked areas are usually present in several wagons of a train. Persons using these means of transport should be able to position themselves on the platform at a convenient location before the train arrives, in order to be able to climb it where the special areas for their means of transportation are located. In this way, they are spared a longer search for a suitable parking space, which is a relief both for the users of the means of transportation as well as for the other passengers, where the bulky means of transportation otherwise have to be pushed past to get to the intended position on the train. One problem may be that such a reserved area is already reserved by other special means of transportation. It would be desirable if passengers wishing to use the reserved areas in the trains were informed in advance which areas reserved for specific means of transportation are not yet occupied, so that they have sufficient time to position themselves on the platform so that they can be able to enter the train at a suitable location where such a free reserved area is located.

Es besteht also die Aufgabe, ein Verfahren und eine entsprechende Vorrichtung zu entwickeln, welche einem Passagier mit einem speziellen Fortbewegungsmittel einen direkten Zugang zu einem für das Fortbewegungsmittel in einem Zug reservierten Bereich ermöglichen.It is therefore the object to develop a method and a corresponding device, which allow a passenger with a special means of transport direct access to a reserved area for the means of transportation in a train.

Diese Aufgabe wird durch ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß Patentanspruch 1, eine Überwachungseinrichtung gemäß Patentanspruch 12 und ein Schienenfahrzeug gemäß Patentanspruch 13 gelöst.This object is achieved by a method for recognizing objects in a locomotion reserved area in a rail vehicle according to claim 1, a monitoring device according to claim 12 and a rail vehicle according to claim 13.

Bei dem erfindungsgemäßen Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug erfolgt eine Bildaufnahme von dem reservierten Bereich mit einer Kamera, wobei Bilddaten erfasst werden. Weiterhin erfolgt ein Abtasten des reservierten Bereichs mit Hilfe eines Radarsensors, wobei Radarsensordaten erfasst werden. Der reservierte Bereich wird außerdem mit Hilfe eines Laser-Sensors abgetastet, wobei Laser-Sensordaten erfasst werden. Nachfolgend werden Merkmale aus den durch die unterschiedlichen Sensortypen erfassten Daten extrahiert. Fernerhin erfolgt ein automatisiertes Detektieren, ob sich ein Objekt in dem reservierten Bereich befindet, basierend auf einer Datenkombination, welche auf den extrahierten Merkmalen der durch die unterschiedlichen Sensortypen erfassten Daten basiert. Überdies wird auf Basis der Datenkombination, welche auf den extrahierten Merkmalen der durch die unterschiedlichen Sensortypen erfassten Daten basiert, automatisiert ermittelt, welche Art von Objekt sich in dem reservierten Bereich befindet. Zusätzlich oder alternativ zu einem der Sensortypen können auch Gewichtssensoren zum Erfassen des Gewichts von Personen oder Sonar-Sensoren eingesetzt werden.In the method according to the invention for recognizing objects in a region reserved for means of transportation in a rail vehicle, an image is taken of the reserved area with a camera, wherein image data are acquired. Furthermore, a scanning of the reserved area by means of a radar sensor, wherein radar sensor data is detected. The reserved area is also scanned with the aid of a laser sensor, detecting laser sensor data. Subsequently, features from the data collected by the different sensor types are extracted. Furthermore, an automated detection is made as to whether an object is in the reserved area based on a data combination based on the extracted features of the data acquired by the different sensor types. Moreover, based on the data combination based on the extracted features of the data collected by the different sensor types, it is automatically determined which type of object is in the reserved area. In addition or as an alternative to one of the sensor types, weight sensors for detecting the weight of persons or sonar sensors can also be used.

Zusätzlich können zur Identifizierung und Detektion auch die erfassten Sensordaten BD, RSD, LSD der unterschiedlichen Sensortypen selbst herangezogen werden.In addition, the detected sensor data BD, RSD, LSD of the different sensor types themselves can also be used for identification and detection.

Die ermittelten Ergebnisse können dann an auf einem Bahnsteig wartende Personen per Funk übermittelt werden. Beispielsweise kann eine Benachrichtigung der wartenden Personen über eine Mobilfunk-App oder über eine elektronische Ankündigungstafel erfolgen, die sich auf dem Bahnsteig befindet. Vorteilhaft kann durch die multimodale Herangehensweise die Detektionsgenauigkeit von Objekten in einem für spezielle Fahrzeuge reservierten Bereich verbessert werden. Dadurch kann die Anzahl falscher Alarme bei der Detektion von Objekten in dem reservierten Bereich reduziert werden. Das vorgeschlagene Verfahren kann leicht auf Bereiche mit anderen Objekten übertragen werden.The results obtained can then be transmitted by radio to persons waiting on a platform. For example, a notification of the waiting persons via a mobile phone app or via an electronic announcement board, which is located on the platform. Advantageously, the detection accuracy of objects in a reserved area for specific vehicles can be improved by the multimodal approach. This can reduce the number of false alarms when detecting objects in the reserved area. The proposed method can be easily transferred to areas with other objects.

Die erfindungsgemäße Überwachungseinrichtung weist eine Kamera zum Durchführen einer Bildaufnahme von dem reservierten Bereich, einen Radarsensor zum Abtasten des reservierten Bereichs und einen Laser-Sensor zum Abtasten des reservierten Bereichs auf. Teil der erfindungsgemäßen Überwachungseinrichtung ist auch eine Extraktionseinheit zum Extrahieren von Merkmalen aus den durch die unterschiedlichen Sensortypen erfassten Daten. Die erfindungsgemäße Überwachungseinrichtung umfasst außerdem eine Detektionseinheit zum automatisierten Detektieren, ob sich ein Objekt in dem reservierten Bereich befindet, auf Basis einer Datenkombination, welche auf den extrahierten Merkmalen der durch die unterschiedlichen Sensortypen erfassten Daten basiert, und eine Identifizierungseinheit zum automatisierten Ermitteln, welche Art von Objekt sich in dem reservierten Bereich befindet, auf Basis der Datenkombination, welche auf den extrahierten Merkmalen der durch die unterschiedlichen Sensortypen erfassten Daten basiert. Die erfindungsgemäße Überwachungseinrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug.The monitoring device according to the invention has a camera for taking an image recording of the reserved area, a radar sensor for scanning the reserved area and a laser sensor for scanning the reserved area. Part of the monitoring device according to the invention is also an extraction unit for extracting features from the data acquired by the different sensor types. The monitoring device according to the invention also comprises a detection unit for automatically detecting whether an object is in the reserved area, based on a data combination based on the extracted features of the data acquired by the different sensor types, and an identification unit for automatically determining which type of data Object is in the reserved area, based on the data combination, which on the extracted features of the based on different sensor types. The monitoring device according to the invention shares the advantages of the method according to the invention for detecting objects in a region reserved for means of transportation in a rail vehicle.

Das erfindungsgemäße Schienenfahrzeug weist die erfindungsgemäße Überwachungseinrichtung sowie eine Datenübertragungseinheit zum Übermitteln einer Information über den Status eines für spezielle Fahrzeuge reservierten Bereichs in dem Schienenfahrzeug auf. Das erfindungsgemäße Schienenfahrzeug teilt die Vorteile der erfindungsgemäßen Überwachungseinrichtung.The rail vehicle according to the invention has the monitoring device according to the invention and a data transmission unit for transmitting information about the status of a reserved area for specific vehicles in the rail vehicle. The rail vehicle according to the invention shares the advantages of the monitoring device according to the invention.

Teile der erfindungsgemäßen Überwachungseinrichtung können zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Extraktionseinheit, der Detektionseinheit und der Identifizierungseinheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.Parts of the monitoring device according to the invention can be formed predominantly in the form of software components. This concerns in particular parts of the extraction unit, the detection unit and the identification unit. In principle, however, these components can also be partly realized, in particular in the case of particularly fast calculations, in the form of software-supported hardware, for example FPGAs or the like. Likewise, the required interfaces, for example, if it is only about a transfer of data from other software components, be designed as software interfaces. However, they can also be configured as hardware-based interfaces, which are controlled by suitable software.

Eine teilweise softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher in einem Messgerät bzw. einer Messeinrichtung eines Schienenfahrzeugs genutzte Rechnersysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersystems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens zum Abschätzen der Messgenauigkeit unterschiedlicher Sensoren für dieselbe Messgröße auszuführen, wenn das Computerprogramm in einem Rechnersystem ausgeführt wird.A partial software realization has the advantage that even previously used in a measuring device or a measuring device of a rail vehicle computer systems can be retrofitted in a simple way by a software update to operate on the inventive way. In this respect, the problem is also solved by a corresponding computer program product with a computer program, which is directly loadable into a memory device of such a computer system, with program sections to perform all steps of the method for estimating the measurement accuracy of different sensors for the same measurement, when the computer program in one Computer system is running.

Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.Such a computer program product may contain, in addition to the computer program, additional components, e.g. a documentation and / or additional components, also hardware components, such as e.g. Hardware keys (dongles, etc.) for using the software include.

Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein computerlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest eingebauter Datenträger dienen, auf welchem die von einer Rechnereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikroprozessoren oder dergleichen aufweisen.For transport to the storage device of the computer system and / or for storage on the computer system, a computer-readable medium, for example a memory stick, a hard disk or another portable or permanently installed data carrier can be used, on which the computer program readable and executable by a computer unit are stored. The computer unit may e.g. for this purpose have one or more cooperating microprocessors or the like.

Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unterschiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.The dependent claims and the following description each contain particularly advantageous embodiments and further developments of the invention. In this case, in particular the claims of a claim category can also be developed analogously to the dependent claims of another claim category and their description parts. In addition, in the context of the invention, the various features of different embodiments and claims can also be combined to form new embodiments.

In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug wird ermittelt, ob es sich bei dem Objekt um eine Person handelt. Vorteilhaft können Personen von Gegenständen unterschieden werden, für die ein spezieller Bereich reserviert ist. In diesem Fall kann davon ausgegangen werden, dass eine Person für ein spezielles Fahrzeug, für das der spezielle Bereich reserviert ist, Platz machen wird. Mithin können Fahrgäste darüber benachrichtigt werden, dass der betreffende spezielle reservierte Bereich frei ist.In a preferred embodiment of the method according to the invention for recognizing objects in a region reserved for means of transportation in a rail vehicle, it is determined whether the object is a person. Advantageously, persons can be distinguished from objects for which a special area is reserved. In this case, it can be assumed that a person will make room for a specific vehicle for which the special area is reserved. Thus, passengers can be notified that the particular reserved area in question is free.

In einer Variante des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug wird ermittelt, ob es sich bei dem Objekt um ein Spezialfahrzeug handelt, das in dem reservierten Bereich Platz finden kann.In a variant of the method according to the invention for recognizing objects in a region reserved for means of transportation in a rail vehicle, it is determined whether the object is a special vehicle that can fit in the reserved area.

In einer anderen Ausgestaltung des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug wird ermittelt, ob es sich bei dem Objekt um einen der folgenden Gegenstände handelt:

- ein Rollstuhl,
- ein Kinderwagen,
- ein Fahrrad.

In another embodiment of the method according to the invention for recognizing objects in a region reserved for means of transportation in a rail vehicle, it is determined whether the object is one of the following objects:

- a wheelchair,
- a stroller,
- a bicycle.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug werden aus den Daten der Kamera Merkmale extrahiert und die Merkmale werden mit einem auf Basis eines maschinellen Lernverfahrens trainierten Modells verglichen. Vorteilhaft kann ein Modell mit Hilfe eines maschinellen Lernverfahrens in einer Trainingsphase an eine spezifische Situation und spezifische Objekte angepasst werden, so dass die Zuverlässigkeit der Detektion und Identifizierung eines Objekts verbessert ist.In one embodiment of the method according to the invention for recognizing objects in an area reserved for means of locomotion A rail vehicle is extracted from the data of the camera features and the features are compared with a model trained on the basis of a machine learning method. Advantageously, a model can be adapted to a specific situation and specific objects by means of a machine learning method in a training phase, so that the reliability of the detection and identification of an object is improved.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug werden aus den Daten des Radarsensensors Merkmale extrahiert und die Merkmale werden mit einem auf Basis eines maschinellen Lernverfahrens trainierten Modells verglichen. Bei einem maschinellen Lernverfahren lernt ein künstliches System aus Beispielen und kann diese nach Beendigung der Lernphase oder Trainingsphase verallgemeinern. Vorteilhaft kann ein darauf basierendes System auch vorher unbekannte Situationen beurteilen. Mithin ist ein derart trainiertes Modell einem starren Modell, bei dem nur Parameter angepasst werden können, überlegen.In one embodiment of the method according to the invention for recognizing objects in an area reserved for means of transportation in a rail vehicle, features are extracted from the data of the radar sensor and the features are compared with a model trained on the basis of a machine learning method. In a machine learning method, an artificial system learns from examples and can generalize them after completion of the learning phase or training phase. Advantageously, a system based thereon can also assess previously unknown situations. Thus, such a trained model is superior to a rigid model in which only parameters can be adjusted.

In einer erfindungsgemäßen Variante wird anhand der Daten des Radarsensensors ermittelt, ob und in welchem Umfang ein detektiertes Objekt Metall aufweist. Daraus wird ermittelt, ob das detektierte Objekt eine Person oder ein Gegenstand ist. Da Personen nur wenig Metall an sich tragen, haben sie auch kaum eine Radar-Signatur. Dagegen weisen Spezialfahrzeuge, wie zum Beispiel ein Rollstuhl, ein Kinderwagen und ein Fahrrad, einen hohen Metallanteil auf. Mithin können Spezialfahrzeuge mit einem Radarsensor leicht von Personen unterschieden werden.In a variant according to the invention, it is determined from the data of the radar sensor whether and to what extent a detected object has metal. From this it is determined whether the detected object is a person or an object. Since people carry only a small amount of metal, they hardly have a radar signature. In contrast, have special vehicles, such as a wheelchair, a stroller and a bicycle, a high metal content. Thus, special vehicles with a radar sensor can be easily distinguished from persons.

In einer besonderen Ausgestaltung des erfindungsgemäßen Verfahrens werden aus den Daten des Lasersensors Merkmale extrahiert und die Merkmale werden mit einem auf Basis eines maschinellen Lernverfahrens trainierten Modell verglichen. Mit einem Lasersensor können Abmessungen von Objekten ermittelt werden, die dann zur Unterscheidung und zur Identifizierung von detektierten Objekten genutzt werden können.In a particular embodiment of the method according to the invention, features are extracted from the data of the laser sensor and the features are compared with a model trained on the basis of a machine learning method. With a laser sensor dimensions of objects can be determined, which can then be used to distinguish and to identify detected objects.

Beispielsweise kann mit einem Laser als Merkmal eines Objekts eine Höhe des Objekts ermittelt werden. Rollstühle, Kinderwagen und Fahrräder weisen üblicherweise eine niedrigere Höhe im Vergleich zu einem Passagier auf, der in dem reservierten Bereich steht. Dieser Unterschied kann dazu genutzt werden, diese Spezialfahrzeuge von einem normalen Passagier zu unterscheiden. Ferner können Lasersensoren Merkmale liefern, die mit der Struktur eines abgetasteten Objekts zu tun haben, was zusätzlich der Objektdetektion und dem Erkennungsprozess nutzt.For example, with a laser as a feature of an object, a height of the object can be determined. Wheelchairs, baby carriages and bicycles usually have a lower height compared to a passenger standing in the reserved area. This difference can be used to distinguish these special vehicles from a normal passenger. Furthermore, laser sensors can provide features related to the structure of a scanned object, which additionally utilizes object detection and recognition process.

In einer Variante des erfindungsgemäßen Verfahrens werden die extrahierten Merkmale von Daten unterschiedlicher Sensoren zu einem kombinierten Datensatz zusammengefasst bzw. kombiniert. Weiterhin wird der kombinierte Datensatz mit einem auf Basis eines maschinellen Lernverfahrens trainierten Modell verglichen und es erfolgt auf Basis des Vergleichs der Schritt der Objektdetektion und der Objektermittlung. Bei dieser Variante erfolgt die Kombination von auf verschiedenen Sensortypen basierenden Daten bereits vor der eigentlichen Detektion und Identifizierung.In a variant of the method according to the invention, the extracted features of data from different sensors are combined or combined to form a combined data set. Furthermore, the combined data set is compared with a model trained on the basis of a machine learning method, and based on the comparison, the step of object detection and the object determination is performed. In this variant, the combination of data based on different sensor types takes place even before the actual detection and identification.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens wird zunächst auf Basis des jeweiligen Vergleichs mit den jeweiligen Merkmalen, welche aus Daten unterschiedlicher Sensoren gewonnen wurden, jeweils ein Objekt detektiert und erkannt und anschließend erfolgt auf Basis einer Kombination der Detektionsdaten und der Erkennungsdaten eine endgültige Detektion und Erkennung des Objekts. Bei dieser Variante erfolgt die Kombination von auf verschiedenen Sensortypen basierenden Daten erst nach der Detektion und Erkennung des Objekts.In one embodiment of the method according to the invention, an object is first detected and detected on the basis of the respective comparison with the respective features which were obtained from data from different sensors, and then a final detection and recognition of the object is carried out on the basis of a combination of the detection data and the recognition data object. In this variant, the combination of data based on different sensor types takes place only after the detection and recognition of the object.

In einer Variante des erfindungsgemäßen Verfahrens wird für den Kombinierschritt eine logische Maschine verwendet. Beispielsweise entscheidet eine logische Maschine, ob ein Objekt detektiert wurde. Diese Entscheidung erfolgt in Abhängigkeit davon, ob eine Mehrheit der vorhandenen Sensoren das Objekt detektiert hat.In a variant of the method according to the invention, a logical machine is used for the combining step. For example, a logical machine decides whether an object has been detected. This decision is made depending on whether a majority of the existing sensors has detected the object.

Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:

1 ein Flussdiagramm, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,
2 ein Flussdiagramm, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,
3 ein Flussdiagramm, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,
4 eine schematische Darstellung einer Detektionseinrichtung gemäß einem Ausführungsbeispiel der Erfindung,
5 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.

The invention will be explained in more detail below with reference to the accompanying figures with reference to embodiments. Show it:

1 a flowchart illustrating a method for recognizing objects in a locomotion reserved area in a rail vehicle according to an embodiment of the invention,
2 a flowchart illustrating a method for recognizing objects in a locomotion reserved area in a rail vehicle according to an embodiment of the invention,
3 a flowchart illustrating a method for recognizing objects in a locomotion reserved area in a rail vehicle according to an embodiment of the invention,
4 a schematic representation of a detection device according to an embodiment of the invention,
5 a schematic representation of a rail vehicle according to an embodiment of the invention.

In 1 ist ein Flussdiagramm 100 veranschaulicht, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung darstellt. Die Erkennung erfolgt auf der Basis einer Kombination mehrerer Detektionsverfahren, nämlich der Bildgebung durch eine Kamera, der Detektion durch Lasersensoren und Radarsensoren. Die erfassten Sensordaten unterschiedlicher Art werden miteinander kombiniert, wodurch unterschiedliche Objektmerkmale, welche den zu erkennenden Objekten zuzuordnen sind, ermittelt werden können.In 1 is a flowchart 100 which illustrates a method for recognizing objects in a locus reserved area in a rail vehicle according to an embodiment of the invention. The detection is based on a combination of several detection methods, namely imaging by a camera, detection by laser sensors and radar sensors. The detected sensor data of different types are combined with each other, whereby different object features, which are assigned to the objects to be detected, can be determined.

Der reservierte Bereich umfasst in diesem konkreten Ausführungsbeispiel einen Bereich zum Abstellen von Fahrrädern, Rollstühlen und Kinderwagen in einem Wagon eines Zugs. Damit Fahrgäste, welche zum Beispiel an einem Bahnsteig stehen, den Zug an der richtigen Stelle besteigen, erfolgt eine Überwachung des reservierten Bereichs, um festzustellen, ob bzw. in welchem Umfang der reservierte Bereich bereits mit Fahrrädern, Rollstühlen und Kinderwagen belegt ist.The reserved area in this particular embodiment includes an area for parking bicycles, wheelchairs, and stroller in a car of a train. So that passengers who are for example at a platform, board the train in the right place, there is a monitoring of the reserved area to determine whether or to what extent the reserved area is already occupied by bicycles, wheelchairs and strollers.

Für die bildliche Überwachung ist eine Kamera oberhalb des reservierten Bereichs oder an der Decke des betreffenden Wagons etwas im Winkel relativ zu der Position des interessierenden Gegenstands angeordnet. Kamerabilder können verarbeitet werden unter Nutzung unterschiedlicher maschineller Lernalgorithmen, um zu detektieren, ob der reservierte Bereich mit einem Rollstuhl, einem Kinderwagen oder einem Fahrrad belegt ist. Um die Detektion zu erreichen, werden gewisse Merkmale, wie zum Beispiel sogenannte HOG-Merkmale (HOG = Histogramm orientierter Gradienten) aus Bildern extrahiert und werden einem sogenannten Matching-Verfahren unterzogen, wobei ein Vergleich der extrahierten Merkmale mit vorabtrainierten maschinellen Lernmodellen für die zu detektierenden Objekte stattfindet. Kamerabilder können zwar dazu genutzt werden, Objekte zu detektieren, allerdings kann eine inhärente Ähnlichkeit zwischen einem zu detektierenden Gegenstand und einer Person, welche in dem reservierten Bereich steht oder sitzt, bestehen. Um solche Fehlzuordnungen zu vermeiden, wird eine multimodale Architektur multipler Sensoren in diesem Patent vorgeschlagen.For video surveillance, a camera is located above the reserved area or on the ceiling of the wagon in question somewhat at an angle relative to the position of the object of interest. Camera images can be processed using different machine learning algorithms to detect if the reserved area is occupied by a wheelchair, pram or bicycle. In order to achieve detection, certain features, such as HOG (Histogram Oriented Gradient) features, are extracted from images and subjected to a so-called matching process, wherein a comparison of the extracted features with pre-trained machine learning models for those to be detected Objects takes place. While camera images can be used to detect objects, there may be inherent similarity between an object to be detected and a person standing or sitting in the reserved area. To avoid such misallocations, a multi-modal architecture of multiple sensors is proposed in this patent.

Zur Überwachung des reservierten Bereichs mit Radar ist ein Radarsensor an der Decke oberhalb des zu überwachenden reservierten Bereichs oder an der Decke eines Wagons etwas im Winkel relativ zu der Position des zu überwachenden Bereichs angeordnet. Die zu überwachenden bzw. zu detektierenden Objekte, also die Rollstühle, Kinderwagen und Fahrräder sind aus Metallkomponenten ausgebildet und können mithin unter Einsatz eines Radarsensors detektiert werden. Der Radarsensor liefert Merkmale, die ungefähr dem Metallskelett des zu erkennenden Gegenstands entsprechen. Diese Merkmale können als Informationsquelle genutzt werden, um normale Passagiere, welche in dem reservierten Bereich stehen, von den zu detektierenden Objekten zu unterscheiden. Ein normaler Passagier weist üblicherweise keine größeren metallischen Gegenstände auf und erzeugt daher kaum ein Radarecho.To monitor the reserved area with radar, a radar sensor on the ceiling above the monitored area to be monitored or on the ceiling of a wagon is disposed at an angle relative to the position of the area to be monitored. The objects to be monitored or detected, ie the wheelchairs, stroller and bicycles are formed of metal components and can therefore be detected using a radar sensor. The radar sensor provides features that approximate the metal skeleton of the object to be detected. These features can be used as an information source to distinguish ordinary passengers who are in the reserved area from the objects to be detected. A normal passenger usually does not have large metallic objects and therefore hardly generates a radar echo.

Merkmale, welche durch den Radarsensor erfasst wurden, können helfen, zwischen einem Fahrrad, einem Kinderwagen und einem Rollstuhl infolge der Unterschiede der metallischen Struktur zu unterscheiden.Features detected by the radar sensor can help distinguish between a bicycle, stroller, and wheelchair due to differences in the metallic structure.

Als dritter Sensor wird ein Lasersensor verwendet, um zusätzliche Information über ein in dem reservierten Bereich positioniertes Objekt zu erhalten. Die zusätzliche Information kann zum Beispiel in Form eines Tiefenprofils erfasst werden. Rollstühle, Kinderwagen und Fahrräder weisen üblicherweise eine niedrigere Höhe auf als ein in dem reservierten Bereich stehender Passagier. Diese Eigenschaft kann als ein Schlüsselmerkmal genutzt werden, um die zu erkennenden Objekte von einem regulären Passagier zu unterscheiden. Zusätzlich können Lasersensoren Merkmale liefern, die mit der Struktur des abzutastenden Gegenstands in Beziehung stehen. Auch diese Informationen können der Objektdetektion und dem Erkennungsprozess nützen. Lasersensoren können ebenfalls an der Decke des Wagons über dem zu überwachenden reservierten Bereich angeordnet sein oder an der Decke in einem Winkel relativ zu der Position des reservierten Bereichs angeordnet sein.As the third sensor, a laser sensor is used to obtain additional information about an object positioned in the reserved area. The additional information can be detected, for example, in the form of a depth profile. Wheelchairs, strollers and bicycles are typically lower in height than a passenger in the reserved area. This feature can be used as a key feature to differentiate the objects to be recognized from a regular passenger. In addition, laser sensors can provide features related to the structure of the object to be scanned. This information can also benefit the object detection and the recognition process. Laser sensors may also be disposed on the ceiling of the wagon above the reserved area to be monitored, or may be disposed on the ceiling at an angle relative to the position of the reserved area.

Im Folgenden werden kurz die Verfahrensschritte zum Erkennen von Objekten in dem reservierten Bereich erläutert.In the following, the method steps for recognizing objects in the reserved area are briefly explained.

Bei dem Schritt 1.1 wird mit Hilfe einer Kamera eine Bildaufnahme von dem reservierten Bereich B (siehe 4) durchgeführt. Bei diesem Vorgang werden Bilddaten BD von dem reservierten Bereich B erfasst. Bei dem Schritt 1.II erfolgt zusätzlich ein Abtasten des reservierten Bereichs B mit Hilfe eines Radarsensors RS, wobei Radarsensordaten RSD erfasst werden. Weiterhin erfolgt bei dem Schritt 1.III ein Abtasten des reservierten Bereichs B mit Hilfe eines Laser-Sensors LS, wobei Laser-Sensordaten LSD erfasst werden. Bei dem nachfolgenden Schritt 1.IV werden jeweils Merkmale M aus den Sensordaten BD, RSD, LSD extrahiert.At the step 1.1 uses a camera to take a picture of the reserved area B (please refer 4 ) carried out. In this process, image data becomes BD from the reserved area B detected. At the step 1.II In addition, a sampling of the reserved area B with the help of a radar sensor RS , where radar sensor data RSD be recorded. Continue with the step 1.III a sample of the reserved area B with the help of a laser sensor LS where laser sensor data LSD be recorded. At the subsequent step 1.IV in each case features M from the sensor data BD . RSD . LSD extracted.

Die bei dem Schritt 1.IV aus den Daten unterschiedlicher Sensoren extrahierten Merkmale M werden bei dem Schritt 1.V einem Vergleichsprozess mit einem mit Hilfe eines maschinellen Lernverfahrens trainierten Modell MD unterzogen. Anhand der Ergebnisdaten ED des Vergleichsprozesses wird bei dem Schritt 1.VI ermittelt, ob ein Objekt O in dem reservierten Bereich steht. Bei dem Schritt 1.VII wird weiterhin anhand der Ergebnisdaten ED ermittelt, um welche Art von Objekt es sich handelt. Beispielsweise könnte es sich um eine Person P oder um einen Gegenstand G handeln, für den der beobachtete Bereich reserviert ist. The at the step 1.IV M from the data of different sensors extracted features M are in the step 1.V subjected to a comparison process with a model MD trained by a machine learning method. Based on the result data ED of the comparison process is in the step 1.VI determines whether an object O is in the reserved area. At the step 1.VII is further determined based on the result data ED, which type of object is concerned. For example, it could be a person P or an object G for which the observed area is reserved.

Die von den Sensoren erfassten Informationen und daraus extrahierten Merkmale sollten also kombiniert werden, um zu melden, wenn der reservierte Bereich B belegt ist und falls dem so ist, welche Art von Objekt den reservierten Bereich B belegt. Die Kombination bzw. Fusion dieser Daten kann in einem frühen Stadium erfolgen, was bedeutet, dass Merkmale, welche von den unterschiedlichen genannten Sensoren aufgenommen wurden, gesammelt werden und mit einem mit Hilfe eines maschinellen Lernverfahrens trainierten Modell verglichen werden (Matching-Vorgang). Eine solche Vorgehensweise ist in 2 veranschaulicht.The information collected by the sensors and features extracted therefrom should thus be combined to indicate when the reserved area B is occupied and, if so, what type of object occupies the reserved area B. The combination or fusion of these data can be done at an early stage, which means that features picked up by the different named sensors are collected and compared with a model trained by a machine learning method (matching process). Such an approach is in 2 illustrated.

Alternativ kann die Fusion bzw. Kombination in einem späteren Stadium vorgenommen werden und auf dem Detektionsniveau vorgenommen werden. Eine solche Vorgehensweise ist in 3 veranschaulicht. Das bedeutet, dass die Daten jedes einzelnen Sensorkanals zuerst einzeln dazu verwendet werden, um das Objekt zu detektieren und zu erkennen. Anschließend werden Detektionsergebnisse, die von unterschiedlichen Kanälen stammen, in einer Logikmaschine verarbeitet, um eine endgültige Entscheidung betreffend die Detektion eines interessierenden Objekts fällen zu können. In der Logikmaschine kann zum Beispiel ein Abstimmungsmodell verwendet werden. Das Ergebnis der Detektion kann Passagieren auf dem Bahnsteig mit Hilfe unterschiedlicher Portale, wie zum Beispiel Mobilfunkapplikationen, elektronische Anzeigetafeln usw., angekündigt werden.Alternatively, the fusion or combination may be performed at a later stage and performed at the detection level. Such an approach is in 3 illustrated. This means that the data of each individual sensor channel are first used individually to detect and recognize the object. Subsequently, detection results originating from different channels are processed in a logic machine in order to be able to make a final decision concerning the detection of an object of interest. For example, in the logic engine, a voting model may be used. The result of the detection can be announced to passengers on the platform by means of different portals, such as mobile applications, electronic scoreboards and so on.

In 2 ist ein Flussdiagramm 200 gezeigt, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Die Schritte 2.1 bis 2.IV entsprechen den in 1 gezeigten Schritten 1.1 bis 1.IV und werden daher nicht erneut im Einzelnen besprochen. Bei dem Schritt 2.V erfolgt nun eine Fusion von Daten, welche unterschiedlichen Sensoren zugeordnet sind, auf einer frühen Stufe, nämlich bereits nach dem Extrahieren der Merkmalsdaten M. Dabei wird ein kombinierter Merkmalsdatensatz KMDS erzeugt. Bei dem Schritt 2.VI wird dann der kombinierte Merkmalsdatensatz KMDS mit einem Modell MOD verglichen, welches durch ein maschinelles Lernverfahren trainiert wurde. Bei dem Schritt 2.VII wird anhand der Ergebnisdaten ED des Vergleichs ermittelt, ob sich ein Objekt O in dem reservierten Bereich befindet. Überdies wird bei dem Schritt 2.VIII anhand der Ergebnisdaten ED ermittelt, um welche Art von Objekt es sich bei dem detektierten Objekt O handelt. Beispielsweise wird ermittelt, ob es sich bei dem Objekt 0 um eine Person P oder um einen Gegenstand G handelt, für den der überwachte Bereich B reserviert ist.In 2 is a flowchart 200 which illustrates a method for recognizing objects in a locus reserved area in a rail vehicle according to an embodiment of the invention. The steps 2.1 to 2.IV correspond to the in 1 shown steps 1.1 to 1.IV and will therefore not be discussed again in detail. At the step 2.V Now a fusion of data, which are assigned to different sensors, takes place at an early stage, namely already after the extraction of the feature data M , In this case, a combined feature data record KMDS is generated. At the step 2.VI Then, the combined feature data set KMDS is compared with a model MOD, which was trained by a machine learning method. At the step 2.VII is determined based on the result data ED of the comparison, whether an object O is in the reserved area. Moreover, at the step 2.VIII Based on the result data ED determines which type of object is the detected object O. For example, it determines if the object is 0 is a person P or an object G, for which the monitored area B is reserved.

In 3 ist ein Flussdiagramm 300 gezeigt, welches ein Verfahren zum Erkennen von Objekten in einem für Fortbewegungsmittel reservierten Bereich in einem Schienenfahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Bei dem in 3 gezeigten Ausführungsbeispiel erfolgt die Fusion der auf Basis von Sensordaten ermittelten Daten anders als bei dem Ausführungsbeispiel in 2 in einem späteren Stadium des Erkennungsverfahrens. Die Schritte 3.1 bis 3.III entsprechen den Schritten 1.1 bis 1.III und 2.1 bis 2.III und werden daher nicht erneut erläutert. Bei dem Schritt 3.IV werden nun aus den Bilddaten BD bildspezifische Merkmalsdaten M_BD extrahiert. Bei dem Schritt 3.V werden aus den erfassten Radarsensordaten RSD radarspezifische Merkmalsdaten M_RSD extrahiert. Weiterhin werden bei dem Schritt 3.VI lasersensorspezifische Merkmalsdaten M_LSD aus den Lasersensordaten extrahiert. Nun erfolgt anders als in dem in 2 veranschaulichten Verfahren keine Fusion der Merkmalsdaten M_BD , M_RSD , M_LSD , sondern es werden bei den Schritten 3.VII, 3.VIII, 3.IX jeweils die ermittelten Merkmalsdaten M_BD , M_RSD , M_LSD einzeln ausgewertet.In 3 is a flowchart 300 which illustrates a method for recognizing objects in a locus reserved area in a rail vehicle according to an embodiment of the invention. At the in 3 In the embodiment shown, the fusion of the data determined on the basis of sensor data takes place differently than in the exemplary embodiment in FIG 2 at a later stage of the detection process. The steps 3.1 to 3.III correspond to the steps 1.1 to 1.III and 2.1 to 2.III and will therefore not be explained again. At the step 3.IV Now image-specific characteristic data are converted from the image data BD M _BD extracted. At the step 3.V become from the detected radar sensor data RSD radar specific feature data M _RSD extracted. Furthermore, at the step 3.VI laser sensor-specific feature data M _LSD extracted from the laser sensor data. Well done differently than in the 2 illustrated methods do not merge the feature data M _BD . M _RSD . M _LSD but it will be in the steps 3.VII . 3.VIII . 3.IX in each case the determined characteristic data M _BD . M _RSD . M _LSD individually evaluated.

Bei dem Schritt 3.VII werden die bildspezifischen Merkmalsdaten M_BD mit einem Modell verglichen, welches durch ein maschinelles Lernverfahren trainiert wurde. Die Ergebnisdaten ED des Vergleichs werden dann dazu genutzt, um ein Objekt zu detektieren und zu erkennen, um welche Art von Objekt es sich handelt. Dabei werden bildspezifische Detektionsdaten DD_BD sowie bildspezifische Erkennungsdaten EKD_BD erzeugt. Analog dazu werden bei dem Schritt 3.VIII die radarspezifischen Merkmalsdaten M_RSD mit einem Modell verglichen, welches durch ein maschinelles Lernverfahren trainiert wurde. Die Ergebnisdaten des Vergleichs werden dann dazu genutzt, um ein Objekt zu detektieren und zu erkennen, um welche Art von Objekt es sich handelt. Dabei werden radarspezifische Detektionsdaten DD_RSD sowie radarspezifische Erkennungsdaten EKD_RSD erzeugt. At the step 3.VII become the image-specific feature data M _BD compared with a model trained by a machine learning method. The result data ED of Comparisons are then used to detect an object and recognize what type of object it is. In the process, image-specific detection data DD _BD as well as image-specific recognition data EKD _BD generated. Similarly, at the step 3.VIII the radar-specific feature data M _RSD compared with a model trained by a machine learning method. The result data of the comparison is then used to detect an object and to recognize what type of object it is. This will be radar-specific detection data DD _RSD as well as radar-specific identification data EKD _RSD generated.

Bei dem Schritt 3.IX werden die lasersensorspezifischen Merkmalsdaten M_LSB mit einem Modell verglichen, welches durch ein maschinelles Lernverfahren trainiert wurde. Die Ergebnisdaten des Vergleichs werden dann dazu genutzt, um ein Objekt zu detektieren und zu erkennen, um welche Art von Objekt es sich handelt. Dabei werden lasersensorspezifische Detektionsdaten DD_LSD sowie lasersensorspezifische Erkennungsdaten EKD_LSD erzeugt. Auf Basis der jeweiligen lasersensorspezifischen Erkennungsdaten EKD_LSD und Detektionsdaten DD_LSB wird dann bei dem Schritt 3.X, beispielsweise durch Verarbeitung in einer Logikmaschine endgültig ermittelt, ob sich in dem reservierten Bereich B ein Objekt 0 befindet und wenn ja, ob es sich dabei um eine Person P handelt oder um einen Gegenstand G handelt.At the step 3.IX become the laser sensor specific feature data M _LSB compared with a model trained by a machine learning method. The result data of the comparison is then used to detect an object and to recognize what type of object it is. In the process, laser-sensor-specific detection data are used DD _LSD as well as laser sensor specific detection data EKD _LSD generated. Based on the respective laser sensor specific detection data EKD _LSD and detection data DD _LSB will be at the step 3.X , For example, determined by processing in a logic machine finally, whether in the reserved area B an object 0 and if so, whether it is a person P or an object G is.

In 4 ist eine Anordnung aus einer Detektionseinrichtung 40 und einem reservierten Bereich B gemäß einem Ausführungsbeispiel der Erfindung schematisch dargestellt. In dem reservierten Bereich B befindet sich ein Objekt O, welches beispielsweise ein Rollstuhl ist. Die Detektionseinrichtung 40 ist schräg oberhalb des reservierten Bereichs B an der Decke eines Wagons (nicht gezeigt) angeordnet. Die Detektionseinrichtung 40 weist eine Kamera K auf, die dem reservierten Bereich B zugewandt ist und dazu eingerichtet ist, Bilddaten BD von dem reservierten Bereich B aufzunehmen. Weiterhin weist die Detektionseinheit 40 auch einen Radarsensor RS auf, welcher ebenfalls dem reservierten Bereich B zugewandt angeordnet ist. Der Radarsensor RS tastet den reservierten Bereich mit Radarstrahlen ab und erfasst auf Basis der reflektierten Radarstrahlen Radarsensordaten RSD. Zudem umfasst die Detektionseinheit 40 auch einen Lasersensor LS, welcher ebenfalls dem reservierten Bereich B zugewandt angeordnet ist und den reservierten Bereich B mit einem Laserstrahl abtastet. Von dem Lasersensor LS werden Lasersensordaten LSD erfasst. Die Detektionseinrichtung 40 umfasst außerdem eine Extraktionseinheit 41, welche die erfassten Sensordaten BD, RSD, LSD erfasst und aus den durch die unterschiedlichen Sensortypen erfassten Sensordaten BD, RSD, LSD Merkmale M_BD , M_RSD , M_LSD extrahiert. Die extrahierten Merkmale M_BD , M_RSD , M_LSD werden dann an eine Detektionseinheit 42 und auch an eine Identifizierungseinheit 43 übermittelt. Die Detektionseinheit 42 ist dazu eingerichtet, automatisiert zu detektieren, ob sich ein Objekt in dem reservierten Bereich B befindet. Die Detektion erfolgt auf Basis eines Vergleichs einer Kombination der Merkmalsdaten M_BD , M_RSD , M_LSD der unterschiedlichen Sensordaten mit einem Modell, welches durch ein maschinelles Lernverfahren trainiert wurde. Die Detektionseinheit 42 ermittelt also Ergebnisdaten ED, mit denen eine Aussage darüber getätigt werden kann, ob sich ein Objekt O in dem reservierten Bereich befindet. Die Identifizierungseinheit 43 ist dazu eingerichtet, automatisiert zu ermitteln, welche Art von Objekt sich in dem reservierten Bereich B befindet. Die Identifizierung erfolgt auf der Basis eines Vergleichs einer Kombination der Merkmalsdaten M_BD , M_RSD , M_LSD der unterschiedlichen Sensordaten mit einem Modell, welches durch ein maschinelles Lernverfahren trainiert wurde. Dabei werden Identifizierungsdaten ID erzeugt, welche eine Aussage darüber treffen, um welche Art von Objekt es sich bei dem detektierten Objekt handelt. Die Ergebnisdaten ED und die Identifizierungsdaten ID werden über eine Ausgangsschnittstelle 44 ausgegeben.In 4 is an arrangement of a detection device 40 and a reserved area B according to an embodiment of the invention shown schematically. In the reserved area B there is an object O which is for example a wheelchair. The detection device 40 is obliquely above the reserved area B arranged on the ceiling of a wagon (not shown). The detection device 40 has a camera K on that the reserved area B and is set up to image data BD from the reserved area B. Furthermore, the detection unit 40 also a radar sensor RS which also belongs to the reserved area B is arranged facing. The radar sensor RS scans the reserved area with radar beams and detects radar sensor data based on the reflected radar beams RSD , In addition, the detection unit includes 40 also a laser sensor LS which also belongs to the reserved area B is arranged facing and the reserved area B scanned with a laser beam. From the laser sensor LS become laser sensor data LSD detected. The detection device 40 also includes an extraction unit 41 containing the recorded sensor data BD . RSD . LSD and from the sensor data collected by the different sensor types BD . RSD . LSD characteristics M _BD . M _RSD . M _LSD extracted. The extracted features M _BD . M _RSD . M _LSD are then sent to a detection unit 42 and also to an identification unit 43 transmitted. The detection unit 42 is adapted to automatically detect if an object is in the reserved area B located. The detection is based on a comparison of a combination of the feature data M _BD . M _RSD . M _LSD the different sensor data with a model, which was trained by a machine learning method. The detection unit 42 So determines result data ED with which a statement can be made about whether an object O located in the reserved area. The identification unit 43 is set up to automatically determine what kind of object is in the reserved area B located. The identification is based on a comparison of a combination of the feature data M _BD . M _RSD . M _LSD the different sensor data with a model, which was trained by a machine learning method. In this case, identification data ID are generated, which make a statement about what type of object is the detected object. The result data ED and the identification data ID are provided via an output interface 44 output.

Zusätzlich können zur Identifizierung und Detektion auch die erfassten Sensordaten BD, RSD, LSD der unterschiedlichen Sensortypen selbst herangezogen werden.In addition, the recorded sensor data can also be used for identification and detection BD . RSD . LSD the different sensor types themselves are used.

In 5 ist eine schematische Darstellung 50 eines Schienenfahrzeugs 50a gemäß einem Ausführungsbeispiel der Erfindung gezeigt, dass an einem Bahnsteig 51 anhält. Das Schienenfahrzeug 50a umfasst die in 4 veranschaulichte Detektionseinrichtung 40 und einen reservierten Bereich B, welcher von der Detektionseinrichtung 40 überwacht wird. Das Schienenfahrzeug 50a umfasst außerdem eine Sendeeinheit 53, welche die ermittelten Ergebnisdaten ED und Identifizierungsdaten ID an eine auf dem Bahnsteig 51 befindliche Informationsausgabeeinheit 52 übermittelt. Neben der Informationsausgabeeinheit 52 befindet sich ein Wartebereich 54 für Personen P mit speziellen Fahrzeugen, in diesem konkreten Ausführungsbeispiel ist es ein Kinderwagen KW, die von dort direkt auf der Höhe des reservierten Bereichs B zusteigen wollen. In dem konkreten Fall befindet sich gerade kein Objekt in dem reservierten Bereich B, was der Person P über die Informationsausgabeeinheit 52 mitgeteilt wird. Die Person P weiß nun, dass ihr Kinderwagen KW in dem reservierten Bereich Platz findet. Im Allgemeinen weist das Schienenfahrzeug 50a nicht nur einen Wagon wie in 5 gezeigt, auf, sondern eine Vielzahl von Wagons. Erfährt die Person P nun bereits von der Einfahrt des Schienenfahrzeugs, dass der reservierte Bereich des vor ihr haltenden Wagons bereits belegt ist, so kann sie rechtzeitig einen andere Position auf dem Bahnsteig 51 einnehmen, welche genau einem nicht belegten reservierten Bereich eines anderen haltenden Wagons gegenüberliegt. Auf diese Weise wird der Zustieg von Personen mit speziellen Fahrzeugen KW deutlich erleichtert.In 5 is a schematic representation 50 a rail vehicle 50a according to an embodiment of the invention shown that at a platform 51 stops. The rail vehicle 50a includes the in 4 illustrated detection device 40 and a reserved area B, which is detected by the detection means 40 is monitored. The rail vehicle 50a also includes a transmitting unit 53 which the determined result data ED and identification data ID to one on the platform 51 located information output unit 52 transmitted. Next to the information output unit 52 there is a waiting area 54 for persons P with special vehicles, in this particular embodiment it is a stroller KW who want to board from there directly at the level of the reserved area B. In the concrete case, there is currently no object in the reserved area B, which is the person P via the information output unit 52 is communicated. The person P now knows that their stroller KW can be accommodated in the reserved area. In general, the rail vehicle 50a not just a wagon like in 5 shown on, but a variety of wagons. If the person P now already learns from the entrance of the rail vehicle that the reserved area of the wagon in front of her is already occupied, she can change position on the platform in good time 51 occupy exactly opposite an unoccupied reserved area of another holding wagon. In this way, the approach of people with special vehicles KW is much easier.

Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen lediglich um bevorzugte Ausführungsbeispiele der Erfindung handelt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein“ bzw. „eine“ nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit“ nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.It is finally pointed out again that the above-described methods and devices are merely preferred embodiments of the invention and that the invention can be varied by a person skilled in the art without departing from the scope of the invention, as far as it is specified by the claims. For the sake of completeness, it is also pointed out that the use of indefinite articles does not exclude "a" or "one", that the characteristics in question can also be present multiple times. Similarly, the term "unit" does not exclude that it consists of several components, which may also be spatially distributed.

Claims

A method of detecting objects (O) in a locus reserved area (B) in a rail vehicle (50a), comprising the steps of: Performing an image acquisition of the reserved area (B) with a camera (K), wherein image data (BD) are detected, Scanning the reserved area (B) by means of a radar sensor (RS), whereby radar sensor data (RSD) are detected, - scanning the reserved area (B) with the aid of a laser sensor (LS), wherein laser sensor data (LSD) are detected, Extracting features (M) from the data acquired by the different sensor types (K, RS, LS) (BD, RSD, LSD), automated detection of whether an object (O) is located in the reserved area (B), based on a data combination which is based on the extracted features (M) of the data (BD, RS, LS) acquired by the different sensor types (K, RS, LS) RSD, LSD), - Automated determination of which type of object (O) is in the reserved area (B), based on the data combination which on the extracted features (M) of the data acquired by the different sensor types (K, RS, LS) (BD Based, RSD, LSD).

Method according to Claim 1 in which it is determined whether the object (O) is a person (P).

Method according to Claim 1 or 2 in which it is determined whether the object (O) is one of the following: - a wheelchair, - a stroller, - a bicycle.

Method according to one of the preceding claims, wherein - be extracted from the data (BD) of the camera (K) characteristics (M) and the features (M) are compared with a model (MD) trained on the basis of a machine learning method.

Method according to one of the preceding claims, wherein - be extracted from the data (RSD) of the radar sensor (RS) characteristics (M) and the features (M) are compared with a model (MOD) trained on the basis of a machine learning method.

Method according to one of the preceding claims, wherein based on the data (RSD) of the radar sensor (RS) it is determined whether and to what extent a detected object (O) comprises metal and it is determined from this whether the detected object (O) is a person ( P) or an article (G).

Method according to one of the preceding claims, wherein - From the data (LSD) of the laser sensor (LS) characteristics (M) are extracted and the features (M) are compared with a model (MOD) trained on the basis of a machine learning method.

Method according to Claim 7 , wherein as a feature (M) of an object (0) a height (H) of the object (O) is determined.

Method according to one of the preceding claims, wherein the extracted features (M) of data (K, RS, LS) of different sensors (BD, RSD, LSD) are combined to form a combined data set (KMDS), the combined data set (KMDS) is compared with a model (MOD) trained on the basis of a machine learning method, and - Based on the comparison of the step of object detection and the object determination takes place.

Method according to one of Claims 1 to 8th in which first an object (O) is detected and recognized on the basis of the respective comparison with the respective features (M _BD , M _RSD , M _LSD ), which were obtained from data of different sensors (K, RS, LS), and then Based on a combination of the detection data (DD _BD , DD _RSD , DD _LSD ) and the detection data (EKD _BD , EKD _RSD , EKD _LSD ) a final detection and detection of the object (O) takes place.

Method according to Claim 10 wherein a logical machine is used for the combining step.

Monitoring device (40), comprising: - a camera (K) for taking an image capture of the reserved area (B), - a radar sensor (RS) for scanning the reserved area (B), - a laser sensor (LS) for scanning the reserved area (B), - an extraction unit (41) for extracting features (M _BD , M _RSD , M _LSD ) from the data acquired by the different sensor types (BD, RSD, LSD), - a detection unit (42) for automatically detecting whether an object (O) is in the reserved area (B) based on a Data combination based on the extracted features (M) of the data (BD, RSD, LSD) acquired by the different sensor types (K, RS, LS), and - an identification unit (43) for automatically determining which type of object (O ) is in the reserved area (B) based on the data combination based on the extracted features (M) of the data (BD, RSD, LSD) acquired by the different sensor types (K, RS, LS).

Rail vehicle (50a), comprising a monitoring device (40) according to Claim 12 ,

A computer program product having a computer program which can be loaded directly into a storage unit of a rail vehicle (50a), with program sections in order to carry out all the steps of a method according to one of the Claims 1 to 11 when executing the computer program in the rail vehicle (50a).

Computer-readable medium on which program sections executable by a computer unit are stored in order to perform all the steps of the method according to one of Claims 1 to 11 execute when the program sections are executed by the computer unit.