DE102021213097B3

DE102021213097B3 - Method for classifying objects in an image showing the road ahead of a motor vehicle

Info

Publication number: DE102021213097B3
Application number: DE102021213097.6A
Authority: DE
Inventors: Peter Golya; Srihari Krishnaiyengar Anusri; Jose Domingo Esparza Garcia; Robert Bednarik; Patrick Koegel; Max Neuner
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-11-22
Filing date: 2021-11-22
Publication date: 2023-02-09
Anticipated expiration: 2041-11-23

Abstract

Die Erfindung betrifft ein Verfahren zum Klassifizieren von Objekten (2) in einem Bild (1), welches die Fahrbahn (3) im Vorfeld (4) eines Kraftfahrzeugs zeigt. Das Verfahren umfasst vier Maßnahmen a) bis d). In Maßnahme a) wird mithilfe von GPS- oder/und Karten-Daten ein Verlauf (7) der im Bild (1) abgebildeten Fahrbahn (3) mithilfe von GPS- oder/und Karten-Daten berechnet. In Maßnahme b) wird in dem Bild (1) in Abhängigkeit von dem in Maßnahme a) ermittelten Verlauf (7) der Fahrbahn ein Bildausschnitt (5) der Fahrbahn (3) zugeordnet festgelegt. In Maßnahme c) wird wenigstens ein Objekt (2) in dem Bild (1) identifiziert. In Maßnahme d) wird dieses Objekts (2) als der Fahrbahn (3) zugeordnet klassifiziert, wenn das Objekt (2) in dem in Maßnahme c) festgelegten Bildausschnitt (5) angeordnet ist.The invention relates to a method for classifying objects (2) in an image (1) showing the roadway (3) in front (4) of a motor vehicle. The procedure comprises four measures a) to d). In measure a), a course (7) of the roadway (3) shown in image (1) is calculated using GPS and/or map data using GPS and/or map data. In measure b), an image section (5) of the roadway (3) is assigned to the image (1) depending on the course (7) of the roadway determined in measure a). In measure c) at least one object (2) is identified in the image (1). In measure d), this object (2) is classified as being assigned to the roadway (3) if the object (2) is arranged in the image section (5) specified in measure c).

Description

Die Erfindung betrifft ein Verfahren zum Klassifizieren von Objekten in einem Bild, welches die Fahrbahn im Vorfeld eines Kraftfahrzeugs zeigt. Die Erfindung betrifft ferner ein Steuergerät, welches zur Durchführung dieses Verfahrens eingerichtet/programmiert ist sowie ein Kraftfahrzeug mit einem solchen Steuergerät.The invention relates to a method for classifying objects in an image showing the road ahead of a motor vehicle. The invention also relates to a control device that is set up/programmed to carry out this method and a motor vehicle with such a control device.

Moderne Assistenzsysteme unterstützen den Fahrer beim Steuern eines Kraftfahrzeugs. Hierzu ist es insbesondere erforderlich, den Assistenzsystemen Informationen über Objekte bereitzustellen, die sich im Vorfeld des Kraftfahrzeugs angeordnet befinden. Dabei ist es für die ordnungsgemäße Funktion der Assistenzsysteme von Bedeutung, Objekte dahingehend zu klassifizieren, ob sie der im Vorfeld verlaufenden Fahrbahn zuzuordnen sind - es sich also typischerweise um die Fahrbahn befahrende Fahrzeuge handelt - oder um andere Objekte, die nicht in unmittelbarem Zusammenhang mit der Fahrbahn stehen.Modern assistance systems support the driver in controlling a motor vehicle. For this purpose, it is particularly necessary to provide the assistance systems with information about objects that are located in front of the motor vehicle. It is important for the proper functioning of the assistance systems to classify objects as to whether they can be assigned to the lane ahead - i.e. they are typically vehicles driving on the lane - or other objects that are not directly related to the lane roadway.

Aus dem Stand der Technik ist die Patentanmeldung DE 10 2015 204 529 A1 bekannt. Diese Schrift beschreibt eine Vorrichtung sowie ein Verfahren zur Objekterkennung in einem Fortbewegungsmittel. Das Verfahren umfasst die Schritte: Erfassen eines Umfeldes des Fortbewegungsmittels durch einen Sensor des Fortbewegungsmittels, Auswerten einer ersten Menge von Daten des Sensors, Erkennen eines veränderten Betriebsparameters des Fortbewegungsmittels, und im Ansprechen darauf Definieren einer zweiten Menge von Daten des Sensors und Auswerten der zweiten Menge von Daten. The patent application is from the state of the art DE 10 2015 204 529 A1 known. This document describes a device and a method for object recognition in a means of transportation. The method comprises the steps: detecting an environment of the means of transport by a sensor of the means of transport, evaluating a first set of data from the sensor, detecting a changed operating parameter of the means of transport, and in response to this defining a second set of data from the sensor and evaluating the second set of data.

Aus dem Stand der Technik ist die Patentanmeldung DE 103 36 329 A1 bekannt. Diese Schrift beschreibt Verfahren, eine Vorrichtung und eine Verarbeitungseinheit zur Verbesserung der Sicht in einem Kraftfahrzeug. Aus dem Bild der Umgebung des Kraftfahrzeuges, das eine Kamera des Kraftfahrzeuges aufnimmt, wird ein Bildausschnitt bereitgestellt, wobei die Größe des Bildausschnittes und zusätzlich oder alternativ die Position des Bildausschnittes innerhalb des Bildes in Abhängigkeit des Straßenverlaufes und/oder der aktuellen und/oder vom Fahrer gewünschten Fahrtrichtung des Kraftfahrzeuges eingestellt wird.The patent application is from the state of the art DE 103 36 329 A1 known. This document describes a method, a device and a processing unit for improving visibility in a motor vehicle. An image section is provided from the image of the area surrounding the motor vehicle, which is recorded by a camera of the motor vehicle, with the size of the image section and additionally or alternatively the position of the image section within the image depending on the course of the road and/or the current and/or the driver desired direction of travel of the motor vehicle is set.

Aus dem Stand der Technik ist die Patentanmeldung DE 10 2020 003 100 A1 bekannt. Diese Schrift betrifft ein Verfahren zu einer kamerabasierten Erkennung von Lichtsignalanlagen in einer Fahrzeugumgebung, wobei mittels zumindest einer Kamera eines Fahrzeugs ein vor dem Fahrzeug befindlicher Abschnitt der Fahrzeugumgebung erfasst wird und in einer Auswertung in mittels der Kamera erfassten Bildern zumindest eine Lichtsignalanlage erkannt wird. Erfindungsgemäß wird ein zur Auswertung jeweils vorgesehener Bildbereich der erfassten Bilder in Abhängigkeit von einem Abstand der Kamera zu einer in der Fahrzeugumgebung befindlichen Lichtsignalanlage in horizontaler Richtung automatisch begrenzt, wobei die automatische Begrenzung derart erfolgt, dass mit wachsendem Abstand eine Breite des Bildbereichs in horizontaler Richtung verringert wird.The patent application is from the state of the art DE 10 2020 003 100 A1 known. This document relates to a method for camera-based detection of traffic lights in a vehicle environment, with at least one camera of a vehicle capturing a section of the vehicle environment in front of the vehicle and at least one traffic signal system being detected in an evaluation of images captured by the camera. According to the invention, an image area of the captured images that is provided for evaluation is automatically limited in the horizontal direction depending on the distance of the camera from a traffic light system in the vicinity of the vehicle, with the automatic limitation taking place in such a way that the width of the image area decreases in the horizontal direction as the distance increases becomes.

Aus dem Stand der Technik ist die Patentanmeldung DE 10 2018 207 407 A1 bekannt. Diese Schrift beschreibt ein Fortbewegungsmittel, ein Fahrerassistenzsystem sowie ein Verfahren zur Anzeige eines Abbildes eines Umgebungsbereiches eines Fortbewegungsmittels vorgeschlagen. Das Verfahren umfasst die Schritte: Erfassen des Umgebungsbereiches des Fortbewegungsmittels mittels eines ersten Umgebungssensors, Darstellen eines ersten Teilbereiches eines Abbildes des erfassten Umgebungsbereiches auf einer Anzeigeeinheit, Ermitteln, dass ein zweiter Teilbereich des Abbildes des erfassten Umgebungsbereiches eine gegenüber dem ersten Teilbereich erhöhte Relevanz aufweist und im Ansprechen darauf Darstellen des zweiten Teilbereiches anstelle des ersten Teilbereiches des Abbildes des erfassten Umgebungsbereiches auf der Anzeigeeinheit.The patent application is from the state of the art DE 10 2018 207 407 A1 known. This document describes a means of transportation, a driver assistance system and a proposed method for displaying an image of an area surrounding a means of transportation. The method comprises the steps: detecting the surrounding area of the means of transportation using a first surrounding sensor, displaying a first sub-area of an image of the captured surrounding area on a display unit, determining that a second sub-area of the image of the captured surrounding area is more relevant than the first sub-area and in In response to this, displaying the second sub-area instead of the first sub-area of the image of the detected surrounding area on the display unit.

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Klassifizieren von Objekten im Vorfeld eines Kraftfahrzeugs zu schaffen, welches oben genannte Problematik adressiert.It is therefore an object of the present invention to create an improved method for classifying objects in front of a motor vehicle, which addresses the above-mentioned problem.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Patentansprüche.This object is solved by the subject matter of the independent patent claims. Preferred embodiments are subject matter of the dependent patent claims.

Grundidee der Erfindung ist demnach, in einem mittels einer Kamera oder dergleichen aufgezeichneten Bild des Fahrzeug-Vorfeldes einen Bildausschnitt zu ermitteln, der der im Vorfeld verlaufenden Fahrbahn zugeordnet werden kann. Hierzu wird erfindungsgemäß mit Hilfe von Kartendaten oder GPS-Positionsdaten der Verlauf der Fahrbahn im Vorfeld des Kraftfahrzeugs ermittelt und dieser Verlauf in das Bild transformiert. Auf diese Weise lässt sich besagter, der Fahrbahn zugeordneter Bildausschnitt mit hoher Präzision ermitteln. Somit lassen sich in einem anschließenden Verfahrensschritt unter Verwendung herkömmlicher Objekterkennung im Bild identifizierte Objekte als jeweils der Fahrbahn zugehörig klassifizieren, wenn sie in besagtem Bildausschnitt angeordnet sind. Umgekehrt können die identifizierten Objekte als nicht der Fahrbahn zugehörig klassifiziert werden, wenn sie sich nicht in dem besagten Bildausschnitt befinden. Die Klassifizierung erkannte Objekte kann dann besagten Fahrzeugassistenzsystemen zur weiteren Verarbeitung zur Verfügung gestellt werden.The basic idea of the invention is therefore to determine, in an image of the area in front of the vehicle recorded by a camera or the like, an image detail that can be assigned to the road ahead. For this purpose, according to the invention, the course of the roadway in front of the motor vehicle is determined with the aid of map data or GPS position data and this course is transformed into the image. In this way, said image section assigned to the roadway can be determined with high precision. In a subsequent method step, using conventional object recognition, objects identified in the image can thus be classified as belonging to the roadway if they are arranged in said image section. Conversely, the identified objects can be classified as not belonging to the roadway if they are not located in the said image section. The classification of recognized objects can then said vehicle gas assistance systems are made available for further processing.

Im Einzelnen dient das erfindungsgemäße Verfahren zum Klassifizieren von Objekten in einem Bild, welches die Fahrbahn im Vorfeld eines Kraftfahrzeugs zeigt, und umfasst hierzu vier hierzu Maßnahmen a) bis d). Gemäß Maßnahme a) wird der Verlauf von zumindest einem Teil der im Bild abgebildeten Fahrbahn mithilfe von GPS- oder/und Karten-Daten ermittelt. In Maßnahme b) wird in Abhängigkeit von dem in Maßnahme a) ermittelten Verlaufs der Fahrbahn ein Bildausschnitt in dem Bild diesem Teil der Fahrbahn zugeordnet. In Maßnahme c) wird in dem Bild wenigstens ein Objekt identifiziert. In Maßnahme d) wird dieses Objekt als der Fahrbahn zugeordnet klassifiziert, wenn das Objekt in dem in Maßnahme c) festgelegten Bildausschnitt angeordnet ist. Andernfalls kann dieses Objekt als nicht der Fahrbahn zugeordnet klassifiziert werden. In dieser Weise kann in Maßnahme d) mit allen in Maßnahme c) identifizierten Objekten vorgegangen werden.In detail, the method according to the invention serves to classify objects in an image that shows the roadway in front of a motor vehicle, and for this purpose includes four measures a) to d). According to measure a), the course of at least part of the roadway shown in the image is determined using GPS and/or map data. In measure b), depending on the course of the roadway determined in measure a), an image section in the image is assigned to this part of the roadway. In measure c) at least one object is identified in the image. In measure d), this object is classified as being assigned to the roadway if the object is arranged in the image section defined in measure c). Otherwise, this object can be classified as not assigned to the lane. In this way, action d) can be used with all objects identified in action c).

Gemäß einer bevorzugten Ausführungsform wird in Maßnahme a) der Verlauf der Fahrbahn bzw. des Teils der Fahrbahn in einer Draufsicht von oben auf das Kraftfahrzeug und in einer Seitenansicht des Kraftfahrzeugs bestimmt. Mit diesen Informationen lässt sich dann die Position der Fahrbahn als Bildausschnitt im Bild des Vorfelds ermitteln.According to a preferred embodiment, in measure a) the course of the roadway or part of the roadway is determined in a top view of the motor vehicle and in a side view of the motor vehicle. This information can then be used to determine the position of the roadway as an image section in the image of the apron.

Gemäß einer vorteilhaften Weiterbildung wird in der Draufsicht zumindest ein seitlicher Begrenzungssichtstrahl, welcher in der Draufsicht die Fahrbahn gerade noch tangiert, bestimmt. Dabei wird zumindest der seitliche Begrenzungssichtstrahl aus der Draufsicht in das Bild transformiert.According to an advantageous development, at least one lateral delimiting line of sight, which just touches the roadway in the top view, is determined in the top view. At least the lateral delimiting line of sight is transformed from the top view into the image.

Besonders bevorzugt werden in der Seitenansicht der Hauptsichtstrahl des Kraftfahrzeugs und ein oberer Begrenzungssichtstrahl, welcher in der Seitenansicht die Fahrbahn gerade noch tangiert, bestimmt. Dabei werden der Hauptsichtstrahl und der obere Begrenzungssichtstrahl aus der Seitenansicht so in das Bild transformiert, so dass sie eine teilweise Begrenzung des in Maßnahme b) festgelegten Bildausschnitts bilden. Dadurch lässt sich die Position der Fahrbahn im Bildausschnitt hochgenau ermitteln.The main viewing beam of the motor vehicle and an upper limiting viewing beam, which just touches the roadway in the side view, are particularly preferably determined in the side view. The main line of sight and the upper limiting line of sight from the side view are transformed into the image in such a way that they form a partial boundary of the image section defined in measure b). This allows the position of the roadway in the image section to be determined with high precision.

Gemäß einer vorteilhaften Weiterbildung des Verfahrens werden der in das Bild transformierte seitliche Begrenzungssichtstrahl und eine im Bild mittels Bildanalyse erkannte linke oder rechte Fahrspurbegrenzung der Fahrbahn als linke und rechte Begrenzung des Bildausschnitts festgelegt. Insbesondere können die linken und rechten Fahrspurbegrenzungen herangezogen werden, die im Bild mit größtmöglichem Abstand von der Kamera bzw. vom Fahrzeug gerade noch im Bild identifiziert, also erkannt werden können („furthest possible range“).According to an advantageous development of the method, the lateral delimiting visual beam transformed into the image and a left or right lane delimitation of the roadway recognized in the image by means of image analysis are defined as the left and right delimitation of the image section. In particular, the left and right lane boundaries can be used, which can just be identified in the image with the greatest possible distance from the camera or from the vehicle, i.e. can be recognized ("furthest possible range").

Gemäß einer vorteilhaften Weiterbildung des Verfahrens werden der in das Bild transformierte Hauptsichtstrahl und der in das Bild transformierte obere Begrenzungssichtstrahl als obere und untere Begrenzungen des Bildausschnitts festgelegt.According to an advantageous development of the method, the main visual beam transformed into the image and the upper delimiting visual beam transformed into the image are defined as the upper and lower limits of the image section.

Gemäß einer weiteren vorteilhaften Weiterbildung der Erfindung werden in Maßnahme c) identifizierte Objekte, die nicht in dem Bildausschnitt enthalten sind, also außerhalb von diesem angeordnet sind, in Maßnahme d) als nicht der Fahrbahn zugeordnet klassifiziert. Auch diese Information kann zur Weiterverarbeitung an ein Fahrzeugassistenzsystem weitergegeben werden.According to a further advantageous development of the invention, objects identified in measure c) that are not contained in the image detail, ie are arranged outside of it, are classified in measure d) as not assigned to the roadway. This information can also be passed on to a vehicle assistance system for further processing.

Die Erfindung betrifft ferner ein Steuergerät, das zur Durchführung des voranstehend vorgestellten, erfindungsgemäßen Verfahrens eingerichtet/ programmiert ist. Die voranstehend erläuterten Vorteile des erfindungsgemäßen Verfahrens übertragen sich daher auch auf das erfindungsgemäße Steuergerät.The invention also relates to a control device that is set up/programmed to carry out the method according to the invention presented above. The advantages of the method according to the invention explained above are therefore also transferred to the control device according to the invention.

Die Erfindung betrifft ferner ein Kraftfahrzeug mit einem erfindungsgemäßen Steuergerät. Die voranstehend erläuterten Vorteile des erfindungsgemäßen Verfahrens übertragen sich daher auch auf das erfindungsgemäße Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug umfasst eine Bilderzeugungseinrichtung, vorzugsweise eine Kamera, zum Erzeugen wenigstens eines Bildes des Vorfelds des Kraftfahrzeugs, welche datenübertragend mit dem Steuergerät verbunden ist, so dass das von der Bilderzeugungseinrichtung erzeugte Bild an das Steuergerät übertragen werden kann. Ferner umfasst das erfindungsgemäße Kraftfahrzeug einen Positionsdatenempfänger oder/und mit Navigationssystem, mittels welchem GPS- bzw. Karten-Daten, zum Berechnen des Verlaufs der Fahrbahn erzeugt und an das Steuergerät übermittelt werden können.The invention also relates to a motor vehicle with a control unit according to the invention. The advantages of the method according to the invention explained above are therefore also transferred to the motor vehicle according to the invention. The motor vehicle according to the invention comprises an image generation device, preferably a camera, for generating at least one image of the area in front of the motor vehicle, which is connected to the control unit for data transmission, so that the image generated by the image generation device can be transmitted to the control unit. Furthermore, the motor vehicle according to the invention includes a position data receiver and/or with a navigation system, by means of which GPS or map data can be generated for calculating the course of the roadway and can be transmitted to the control device.

Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.Further important features and advantages of the invention result from the dependent claims, from the drawings and from the associated description of the figures with reference to the drawings.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It goes without saying that the features mentioned above and those still to be explained below can be used not only in the combination specified in each case, but also in other combinations or on their own, without departing from the scope of the present invention.

Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.Preferred exemplary embodiments of the invention are illustrated in the drawings and are explained in more detail in the following description, with the same reference numbers referring to the same or similar or functionally identical components.

Es zeigen, jeweils schematisch:

1-4 Darstellungen eines Bildes des Vorfelds eines Kraftfahrzeugs, anhand welcher die verschiedenen Maßnahmen des erfindungsgemäßen Verfahrens beispielhaft erläutert werden.

They show, each schematically:

1-4 Representations of an image of the area in front of a motor vehicle, on the basis of which the various measures of the method according to the invention are explained by way of example.

Im Folgenden wird anhand der Figuren beispielhaft das erfindungsgemäße Verfahren zum Klassifizieren von Objekten 2 in einem Bild 1, welches die Fahrbahn 3 im Vorfeld 4 eines Kraftfahrzeugs 10 zeigt, illustriert.The method according to the invention for classifying objects 2 in an image 1 showing the roadway 3 in front of a motor vehicle 10 is illustrated by way of example below with reference to the figures.

Das Verfahren umfasst vier Maßnahmen a) bis d). In 1 ist ein solches Bild 1 gezeigt. Im Bild 1 ist eine Fahrbahn 3 enthalten. Ebenso sind im Bild 1 mehrere Objekte 2 - in Form von auf der Fahrbahn 3 entgegenkommenden Kraftfahrzeugen - enthalten.The procedure comprises four measures a) to d). In 1 such a picture 1 is shown. A lane 3 is contained in Figure 1. Likewise, several objects 2 - in the form of oncoming motor vehicles on the roadway 3 - are contained in image 1 .

In Maßnahme a) wird ein Verlauf 7 der im Bild 1 abgebildeten Fahrbahn 3 mithilfe von GPS- oder Karten-Daten berechnet in einer Draufsicht auf das Kraftfahrzeug 10 berechnet. In einer auf Maßnahme a) folgenden Maßnahme b) wird in Abhängigkeit von dem in Maßnahme a) ermittelten Verlauf 7 der Fahrbahn 3 in dem Bild 1 ein Bildausschnitt 5 als der Fahrbahn 3 zugeordnet festgelegt. Außerdem werden im Bild 1 mittels Bildanalyse eine linke und eine rechte Fahrspurbegrenzung LSB, RSB der Fahrbahn 3 erkannt. Dabei können bevorzugt diejenigen linken und rechten Fahrspurbegrenzungen LSB, RSB herangezogen werden, die im Bild 1 mit größtmöglichem Abstand von der Kamera bzw. vom Kraftfahrzeug 10 gerade noch im Bild 1 identifiziert, also erkannt werden können („furthest possible range“).In measure a), a course 7 of the roadway 3 shown in image 1 is calculated using GPS or map data in a plan view of the motor vehicle 10 . In a measure b) following measure a), depending on the course 7 of the roadway 3 determined in measure a), an image section 5 is defined as assigned to the roadway 3 in the image 1 . In addition, a left and a right lane boundary LSB, RSB of lane 3 are recognized in image 1 by means of image analysis. The left and right lane boundaries LSB, RSB can preferably be used that can just be identified in image 1 with the greatest possible distance from the camera or from motor vehicle 10, i.e. can be recognized (“furthest possible range”).

Hierzu wird in Maßnahme a) wie in 2 rechts dargestellt für die im Bild 1 gezeigte Fahrbahn 3 der Verlauf 7 der Fahrbahn 3 in einer Draufsicht von oben auf das Kraftfahrzeug 10 bzw. auf die Fahrbahn 3 bestimmt. Dieser Verlauf 7 ist in Draufsicht, also aus einer Vogelperspektive, in 2 rechts dargestellt.For this purpose, in measure a) as in 2 shown on the right for the roadway 3 shown in Figure 1, the course 7 of the roadway 3 is determined in a plan view from above onto the motor vehicle 10 or onto the roadway 3. This course 7 is seen from above, i.e. from a bird’s eye view 2 shown on the right.

In der Draufsicht werden ein Hauptsichtstrahl HS des Kraftfahrzeugs 1 und ein seitlicher Begrenzungssichtstrahl SBS, welcher in der Draufsicht die Fahrbahn 3 gerade noch tangiert, bestimmt. Hierzu wird in der Draufsicht auf das Kraftfahrzeug 1 bzw. auf die Fahrbahn 3 der Zwischenwinkel α zwischen dem Hauptsichtstrahl HS und dem seitlichen Begrenzungssichtstrahl SBS bestimmt. Mithilfe des Zwischenwinkels α kann der seitliche Begrenzungssichtstrahl SBS aus der Draufsicht in das Bild 1 transformiert und dort eingezeichnet werden.A main visual beam HS of the motor vehicle 1 and a lateral limiting visual beam SBS, which just touches the roadway 3 in the top view, are determined in the top view. For this purpose, the intermediate angle α between the main visual beam HS and the lateral limiting visual beam SBS is determined in the top view of the motor vehicle 1 or the roadway 3 . With the help of the intermediate angle α, the lateral limiting visual beam SBS can be transformed from the top view into image 1 and drawn there.

In analoger Weise wird wie in 2 dargestellt in Maßnahme a) der Verlauf 7 der Fahrbahn 3 in einer Seitenansicht des Kraftfahrzeugs 10 bestimmt. In der Seitenansicht werden aus dem Verlauf 7 der Fahrbahn 3 der Hauptsichtstrahl HS des Kraftfahrzeugs 10 und ein oberer Begrenzungssichtstrahl OBS, welcher in der Seitenansicht die Fahrbahn 3 gerade noch tangiert, bestimmt. Auch der Hauptsichtstrahl HS und der obere Begrenzungssichtstrahl OBS werden aus der Seitenansicht in das Bild 1 transformiert, so dass sie eine teilweise Begrenzung des in Maßnahme b) festgelegten Bildausschnitts 5 bilden. Hierzu wird in der Seitenansicht auf das Kraftfahrzeug 1 bzw. auf die Fahrbahn 3 der Zwischenwinkel β zwischen dem Hauptsichtstrahl HS und dem oberen Begrenzungssichtstrahl OBS bestimmt. Mithilfe des Zwischenwinkels β kann neben dem Hauptsichtstrahl HS auch der obere Begrenzungssichtstrahl OBS aus der Draufsicht das Bild 1 transformiert und dort eingezeichnet werden. Dies ist in der 3 dargestellt. Außerdem werden wie in 4 dargestellt die im Bild 1 erkannte 1 linke Fahrspurbegrenzung LSB und der in das Bild 1 transformierte seitliche Begrenzungssichtstrahl SBS als linke und rechte Begrenzungen 9a, 9b des Bildausschnitts 5 festgelegt. Weiterhin werden der in das Bild 1 transformierte Hauptsichtstrahl HS und der in das Bild 1 transformierte obere Begrenzungssichtstrahl OBS als obere und untere Begrenzungen 10a, 10b des Bildausschnitts 5 festgelegt. Auf diese Weise wird in Maßnahme b) der Bildausschnitt 5 vollständig begrenzt. Der wie voranstehend beschrieben ermittelte Bildausschnitt 5 des Bildes 1 wird als der Fahrbahn 3 zugehörig festgelegt.In an analogous way, as in 2 shown in measure a), the course 7 of the roadway 3 is determined in a side view of the motor vehicle 10 . In the side view, the main visual beam HS of the motor vehicle 10 and an upper limiting visual beam OBS, which in the side view just touches the roadway 3, are determined from the course 7 of the roadway 3. The main line of sight HS and the upper limiting line of sight OBS are also transformed from the side view into image 1, so that they form a partial boundary of the image section 5 determined in measure b). For this purpose, the intermediate angle β between the main visual beam HS and the upper limiting visual beam OBS is determined in the side view of the motor vehicle 1 or the roadway 3 . With the help of the intermediate angle β, in addition to the main line of sight HS, the upper limiting line of sight OBS can also be transformed from the top view of image 1 and drawn in there. This is in the 3 shown. In addition, as in 4 the left lane boundary LSB recognized in image 1 and the lateral boundary line of sight SBS transformed into image 1 are shown as the left and right boundaries 9a, 9b of the image section 5. Furthermore, the main visual beam HS transformed into the image 1 and the upper delimiting visual beam OBS transformed into the image 1 are defined as the upper and lower limits 10a, 10b of the image section 5. In this way, the image section 5 is completely delimited in measure b). The image section 5 of the image 1 determined as described above is defined as belonging to the roadway 3 .

In Maßnahme c) werden verschiedene Objekte 2 in dem Bild 1 identifiziert. In Maßnahme d) wird dann für jedes einzelne identifizierte Objekt 2 eine Klassifikation durchgeführt. Dabei wird jedes der identifizierten Objekte 2 genau dann als der Fahrbahn 3 zugeordnet klassifiziert, wenn das betreffende Objekt 2 in dem in Maßnahme c) festgelegten Bildausschnitt 5 angeordnet ist.In measure c), different objects 2 in the image 1 are identified. In measure d), a classification is then carried out for each individual identified object 2 . In this case, each of the identified objects 2 is classified as assigned to the roadway 3 precisely when the relevant object 2 is arranged in the image section 5 defined in measure c).

Dies ist für alle in 4 gezeigten Objekte 2 in Form entgegenkommender Kraftfahrzeuge der Fall, d.h. sie werden alle als der Fahrbahn 3zugeordnet klassifiziert. Außerhalb des Bildausschnitts 5 angeordnete Objekte (in 4 nicht gezeigt) können hingegen als nicht der Fahrbahn 3 zugeordnet klassifiziert werden.This is in for everyone 4 Objects 2 shown in the form of oncoming motor vehicles is the case, ie they are all classified as assigned to lane 3 . Objects arranged outside the image section 5 (in 4 not shown), on the other hand, can be classified as not being assigned to lane 3.

Claims

Method for classifying objects (2) in an image (1), which shows the roadway (3) in front (4) of a motor vehicle (10), comprising the following measures: a) calculating a course (7) of the image ( 1) mapped lane (3) using GPS or r/and map data, b) defining an image section (5) in the image as assigned to the roadway (3) depending on the course (7) of the roadway (3) determined in measure a). c) identifying at least one object (2) in the image (1), d) classifying this at least one object (2) as assigned to the roadway (3) if the object (2) is in the image section (5 ) is arranged.

procedure after claim 1 , characterized in that in measure a) the course (7) of the roadway (3) is calculated in a top view of the motor vehicle (10) and in a side view of the motor vehicle (10).

procedure after claim 1 or 2 , characterized in that - in the top view, a main visual beam (HS) of the motor vehicle (10) and a lateral limiting visual beam (SBS), which in the top view is determined to be just tangent to the roadway (3), - at least the lateral limiting visual beam (SBS) is transformed from the top view into the image (1).

procedure after claim 3 , characterized in that - in the side view, the main visual beam (H) of the motor vehicle (10) and an upper limiting visual beam (OBS), which in the side view just touches the roadway (3), are determined, - the main visual beam (HS) and the upper limiting line of sight (OBS) from the side view can be transformed into the image (1), so that they form a partial boundary of the image section (5) specified in measure b).

procedure after claim 3 or 4 , characterized in that the lateral delimiting visual beam (SBS) transformed into the image (1) and a left or right lane delimitation (LSB, RSB) of the roadway (3) recognized in the image (1) by means of image analysis as left and right delimitation (9a, 9b) of the image section (5).

procedure after claim 4 or 5 , characterized in that the main visual beam (HS) transformed into the image (1) and the upper delimiting visual beam (OBS) transformed into the image (1) are defined as the upper and lower limits (10a, 10b) of the image section (5).

Method according to one of the preceding claims, characterized in that in measure c) identified objects (2) which are not contained in the image section (5), i.e. are arranged outside of it, in measure d) as not the roadway (3) assigned to be classified.

Control unit for a motor vehicle, characterized in that the control unit is set up/programmed to carry out the method according to one of the preceding claims.

Motor vehicle (10), - according to a control unit claim 8 , - with an image generation device for generating an image of the area in front of the motor vehicle (10), which is connected to the control unit in a data-transmitting manner, so that the image generated by the image generation device can be transmitted to the control unit, - with a position data receiver and/or with a navigation system or/ and a position data receiver, by means of which GPS or map data can be generated for calculating the course of the roadway and transmitted to the control unit.