DE102017113794A1

DE102017113794A1 - Classification of static and dynamic image segments in a driver assistance device of a motor vehicle

Info

Publication number: DE102017113794A1
Application number: DE102017113794.7A
Authority: DE
Inventors: Swaroop Kaggere Shivamurthy
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2017-06-22
Filing date: 2017-06-22
Publication date: 2018-12-27
Also published as: WO2018234109A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung (1) einer Fahrerassistenzvorrichtung (2) eines Kraftfahrzeugs (3), mit einem a) Segmentieren (8) eines bereitgestellten Einzelbildes (17) in eine Vielzahl von Bildsegmenten in Abhängigkeit von zumindest einer Bildeigenschaft; einem b) Detektieren (9) von jeweils zumindest einem Bildmerkmal in den Bildsegmenten des segmentierten Einzelbildes (17); einem c) Ermitteln (10) eines jeweiligen Bewegungsvektors für die detektierten Bildmerkmale; einem d) Ermitteln (11) eines jeweiligen Gesamt-Bewegungsvektors für die Bildsegmente; einem e) Definieren (12) eines Bildmerkmals eines Bildsegments als Referenz-Bildmerkmal, falls der jeweilige Bewegungsvektor des Bildmerkmals und der Gesamt-Bewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen; einem f) Definieren (13) von Bildsegmenten, welche auf dem Einzelbild (17) einen Untergrund repräsentieren, als Boden-Bildsegment; und einem g) Klassifizieren (14) eines Bildsegments als statisches oder dynamisches Bildsegment, wobei das Bildsegment als dynamisches Bildsegment klassifiziert wird, falls sich der Bewegungsvektor zumindest eines Referenz-Bildmerkmals des zu klassifizierenden Bildsegments von dem Bewegungsvektor zumindest eines Referenz-Bildmerkmals zumindest eines Boden-Bildsegments um mehr als einen vorgegebenen Wert unterscheidet, um die Objekterkennung der Fahrerassistenzvorrichtung (2) zu verbessern.The invention relates to a method for operating a computing device (1) of a driver assistance device (2) of a motor vehicle (3), having a) segmenting (8) a provided individual image (17) into a multiplicity of image segments as a function of at least one image property; b) detecting (9) in each case at least one image feature in the image segments of the segmented individual image (17); c) determining (10) a respective motion vector for the detected image features; d) determining (11) a respective total motion vector for the image segments; e) defining (12) an image feature of an image segment as a reference image feature if the respective motion vector of the image feature and the total motion vector of the image segment associated with the image feature match up to a predeterminable tolerance; f) defining (13) image segments which represent a background on the single image (17) as a bottom image segment; and g) classifying (14) an image segment as a static or dynamic image segment, the image segment being classified as a dynamic image segment, if the motion vector of at least one reference image feature of the image segment to be classified differs from the motion vector of at least one reference image feature of at least one ground image segment. Image segment differs by more than a predetermined value to improve the object recognition of the driver assistance device (2).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs, welche dem Klassifizieren eines Bildsegments als statisches oder dynamisches Bildsegment dient. Entsprechend betrifft die Erfindung eine Fahrerassistenzvorrichtung für ein Kraftfahrzeug, mit einer Recheneinrichtung, die ausgebildet ist, ein bereitgestelltes Einzelbild in Abhängigkeit von zumindest einer Bildeigenschaft in eine Vielzahl von Bildsegmenten zu segmentieren und jeweils in den Bildsegmenten des segmentierten Einzelbildes zumindest ein Bildmerkmal zu detektieren sowie einen jeweiligen Bildungsvektor für die detektierten Bildmerkmale zu ermitteln.The invention relates to a method for operating a computing device of a driver assistance device of a motor vehicle, which serves to classify an image segment as a static or dynamic image segment. Accordingly, the invention relates to a driver assistance device for a motor vehicle, having a computing device which is configured to segment a provided individual image as a function of at least one image characteristic into a plurality of image segments and to detect at least one image feature in the image segments of the segmented individual image and a respective one Determine the education vector for the detected image features.

Das Detektieren von Bildmerkmalen (Feature Detection) und die Vorhersage eines Bildflusses (Flow Prediction), das heißt das Ermitteln jeweiliger Bewegungsvektoren für Bildmerkmale, sind zwei Herzstücke jedweden Verfahrens zum Detektieren und Klassifizieren von Objekten. Aufgrund von hardwareseitigen Beschränkungen, wird dabei die Anzahl der jeweils verfolgten Bildmerkmale auf eine vorgegebene Anzahl N, beispielsweise N=800 Merkmale pro Einzelbild, beschränkt. Dabei ist es wichtig, diese begrenzte Anzahl von (Bild-)Merkmalen so zu erkennen beziehungsweise innerhalb des Einzelbildes zu verteilen, dass jedem Objekt auf dem Einzelbild, das heißt jedem Objekt in der von dem Einzelbild repräsentierten Umgebung eines entsprechenden Kraftfahrzeugs, zumindest ein solches Bildmerkmal zugeordnet wird. Nur so kann jedes Objekt auch in entsprechenden nachgeordneten Verfahrensschritten erkannt und berücksichtigt werden, was für einen sicheren Betrieb einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs erforderlich ist.Detecting features (feature detection) and predicting flow prediction, that is, determining respective motion vectors for image features, are two key pieces of any method of detecting and classifying objects. Due to hardware limitations, the number of each tracked image features is limited to a predetermined number N, for example, N = 800 features per frame. It is important to recognize this limited number of (image) features or distribute within the frame so that each object on the frame, that is each object in the environment represented by the frame of a corresponding motor vehicle, at least one such image feature is assigned. Only in this way can each object also be identified and taken into account in corresponding downstream method steps, which is necessary for the safe operation of a driver assistance device of a motor vehicle.

Dabei ist im Bereich des Detektierens der Objekte eine Reihe von Problemen bekannt:There are a number of problems in the field of detecting the objects:

Erstens kann ein Objekt teilweise verdeckt sein, sodass nur ein Teil eines statischen Objektes detektiert wird.First, an object may be partially obscured so that only a portion of a static object is detected.

Zweitens kann zufallsbedingt, beispielsweise durch eine Bildtextur bedingt, fälschlicherweise ein dynamisches Objekt beziehungsweise ein dynamisches Bildmerkmal erkannt werden.Secondly, due to random reasons, for example due to an image texture, a dynamic object or a dynamic image feature may be erroneously recognized.

Drittens kann ein und das gleiche Objekt teilweise als statisches Objekt und teilweise als dynamisches, sich bewegendes Objekt erkannt werden, indem beispielsweise unterschiedliche Bildmerkmale, welche dem gleichen Objekt zugehörig sind, unterschiedlich klassifiziert werden.Third, one and the same object may be partially recognized as a static object and partly as a dynamic, moving object, for example, by differentially classifying different image features associated with the same object.

Viertens kommt es vor, dass Objekte gar nicht detektiert werden, beispielsweise wenn diese sich nahe an einem Expansionspunkt (Focus of Expansion) des Einzelbildes befinden. Der Expansionspunkt in einem Einzelbild ist der Punkt, in welchem die Bewegungsvektoren aller Merkmale konvergieren, beziehungsweise von welchem alle fortweisen. Grundsätzlich wird hier die Länge eines Bewegungsvektors eines entsprechenden Bildmerkmals gegen Null gehen, wenn das entsprechende Bildmerkmal näher an dem Expansionspunkt liegt. Da die Bewegungsvektoren nahe des Expansionspunktes, welcher auch als Fluchtpunkt bezeichnet werden kann, eine geringe Länge aufweisen, so führt dort bereits ein kleiner Fehler zu großen Folgefehlern in einer entsprechenden dreidimensionalen Rekonstruktion. Daher weisen einige Detektionsalgorithmen für Objekte einen Bereich um den Expansionspunkt herum auf, innerhalb dessen Bewegungsvektoren ausgefiltert werden. Daher kommt es hier zu einem unterbleibenden Detektieren der Objekte in der Nähe des Expansionspunktes.Fourthly, it happens that objects are not detected at all, for example when they are close to an expansion point (focus of expansion) of the individual image. The point of expansion in a frame is the point at which the motion vectors of all features converge, respectively, from which all continue. Basically, here the length of a motion vector of a corresponding image feature will approach zero if the corresponding image feature is closer to the expansion point. Since the motion vectors close to the expansion point, which can also be referred to as a vanishing point, have a short length, a small error already leads to large follow-up errors in a corresponding three-dimensional reconstruction. Therefore, some object detection algorithms have an area around the expansion point within which motion vectors are filtered out. Therefore, there is a lack of detection of the objects near the point of expansion.

Fünftens kommt es immer wieder dazu, dass statische Objekte als dynamische Objekte erkannt werden und umgekehrt. Beispielsweise ist ein dynamisches Objekt wie ein parallel zum eigenen Kraftfahrzeug bewegendes Fahrzeug im Vergleich zu dem eigenen Kraftfahrzeug statisch.Fifth, it often happens that static objects are recognized as dynamic objects and vice versa. For example, a dynamic object, such as a vehicle moving parallel to its own motor vehicle, is static in comparison to its own motor vehicle.

Sechstens ist schließlich der optische Fluss oder Bildfluss, das heißt die für die Bestimmung des Bildflusses genutzten Bewegungsvektoren, in den üblichen Ansätzen skalenvariant.Sixth, finally, the optical flow or image flow, that is, the motion vectors used to determine the image flow, is scale-variable in the usual approaches.

Sogar Bildmerkmale, welche auf einem entsprechenden Objekt detektiert und diesem zugeordnet sind, sind nicht notwendigerweise gut verfolgbare Bildmerkmale, die sich zum Berechnen des Bildflusses und/oder Bestimmen von Bildsegmenten oder Objekten als statisch oder dynamisch eignen. Dies ist der Hauptgrund dafür, dass Objekterkennungsalgorithmen oft daran scheitern, statische Objekte in großer Entfernung als solche zu erkennen.Even image features detected on and associated with a corresponding object are not necessarily well-trackable image features that are suitable for computing the image flow and / or determining image segments or objects as static or dynamic. This is the main reason that object detection algorithms often fail to recognize large-scale static objects as such.

Zumindest das Problem, dass für manche Objekte kein Bildmerkmal erkannt wird, das heißt einem Objekt kein Bildmerkmal zugeordnet wird, kann durch einen sogenannten dichten optischen Fluss, das heißt einer Steigerung der Anzahl der Bildmerkmale mit entsprechenden Bewegungsvektoren (oder Trajektorien), gelöst werden, wie es in künftigen Fahrerassistenzvorrichtungen hardwarebedingt möglich ist. Dabei ist jedoch ein dichter optischer Fluss genauso skalenvariant wie ein weniger dichter optischer Fluss. Wieder liegt auch das Problem vor, dass besser und schlechter verfolgbare Bildmerkmale schwer zu unterscheiden sind. Tatsächlich ist sogar ein in größerem Maß inkonsistenter und inhomogener optischer Fluss zu erwarten: Aufgrund der feineren Abtastung jeweiliger zufälliger Texturen wie beispielsweise Straße oder eine Vegetation in der Umgebung des Kraftfahrzeugs werden in den zufälligen Texturen nämlich auch irrtümlich Bildmerkmale erkannt. Damit wird die Anzahl der oben unter zweitens genannten falschen Positive steigen, sodass wiederum eine aufwändigere Klassifikation der Bildmerkmale erforderlich ist.At least the problem that for some objects no image feature is recognized, ie an object is assigned no image feature, can be solved by a so-called dense optical flow, that is an increase in the number of image features with corresponding motion vectors (or trajectories), such as it is possible in future driver assistance devices hardware. However, a dense optical flow is just as variable in scale as a less dense optical flow. Again, there is also the problem that better and less traceable image features are difficult to distinguish. Indeed, even a more inconsistent and inhomogeneous optical flow is to be expected: due to the finer scanning of respective random textures such as road or vegetation in the environment In the case of the motor vehicle, image characteristics are also erroneously recognized in the random textures. This will increase the number of false positives mentioned above, which in turn requires a more sophisticated classification of image features.

Es stellt sich somit die Aufgabe, die Objekterkennung einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs zu verbessern, insbesondere ein Klassifizieren von Bildmerkmalen und/oder Bildsegmenten zu verbessern.It is thus the object to improve the object recognition of a driver assistance device of a motor vehicle, in particular to improve the classification of image features and / or image segments.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.This object is solved by the subject matters of the independent claims. Advantageous embodiments will become apparent from the dependent claims, the description and the figures.

Wie bereits angedeutet gibt es in jedem Bildbereich eines (Einzel-)Bildes besser und schlechter verfolgbare oder nachverfolgbare Bildmerkmale. Die Bildmerkmale sind also unterschiedlich gut für das Ermitteln von Bewegungen und repräsentativen Bewegungsvektoren geeignet. In bekannten Verfahren werden hier bei der Detektion von Objekten für sämtliche Bildmerkmale die gleichen Maßstäbe angesetzt, um gut und schlecht nachzuverfolgende Bildmerkmale als solche zu erkennen. Auch wird mit gegenwärtigen Ansätzen nicht sichergestellt, dass für jedes Objekt auf dem Bild ein gut verfolgbares Bildmerkmal vorhanden ist.As already indicated, there are better and less traceable or traceable image features in each image area of a (single) image. The image features are thus suitably well suited for the determination of movements and representative motion vectors. In known methods, the same standards are used here for the detection of objects for all image features in order to recognize good and poorly traceable image features as such. Also, current approaches do not ensure that there is a well-trackable image feature for each object on the image.

Ein derartiges gleichförmiges Kriterium für alle Bildmerkmale kann aufgrund der Vielzahl an Bildbereichen mit unterschiedlichen Eigenschaften, beispielsweise unterschiedlichen Textureigenschaften, nicht das Detektieren von gut nachverfolgbaren Bildmerkmalen in jedem Bildsegment oder jedem Bildbereich sicherstellen. Hier ist es sehr wichtig, sich jeweils konsistente verhaltende, gut nachverfolgbare Bildmerkmale individuell für jedes Bildsegment und/oder jedes Objekt zu detektieren, und zwar unabhängig davon, ob es sich um ein statisches und dynamisches Objekt und entsprechend ein statisches oder dynamisches Bildsegment handelt.Such a uniform criterion for all image features can not ensure the detection of good trackable image features in each image segment or area because of the large number of image areas having different properties, such as different texture properties. Here it is very important to detect each consistent behaviors, easily traceable image features individually for each image segment and / or each object, regardless of whether it is a static and dynamic object and accordingly a static or dynamic image segment.

Es ist also entscheidend, in jedem Bildsegment des Einzelbildes möglichst gut nachverfolgbare Bildmerkmale zu finden. Diese im Folgenden auch als Referenz-Bildmerkmale bezeichneten gut nachverfolgbaren Bildmerkmale werden dann genutzt, um einen Bildbereich, das heißt ein Bildsegment, als statisch oder dynamisch einzustufen oder zu kategorisieren oder zu klassifizieren. Dabei werden in dem vorgeschlagenen Verfahren die statistischen Eigenschaften der gut nachverfolgbaren Bildmerkmale ausgenutzt. Die im Folgenden beschriebene Methode stellt sicher, dass in jedem Bildsegment gut nachverfolgbare Bildmerkmale vorhanden sind indem beispielsweise die Flusseigenschaften der Bildmerkmale in jedem Bildsegment separat analysiert werden.It is therefore crucial to find the best possible traceable image features in each image segment of the individual image. These well-traceable image features, which are also referred to below as reference image features, are then used to classify or categorize or classify an image region, that is to say an image segment, as static or dynamic. In the proposed method, the statistical properties of the easily traceable image features are exploited. The method described below ensures that easily traceable image features are present in each image segment, for example, by separately analyzing the flow properties of the image features in each image segment.

Die Erfindung betrifft ein Verfahren zum Betreiben einer Recheneinrichtung einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs, mit einer Reihe von Verfahrensschritten. Ein Verfahrensschritt kann hier ein Aufnehmen einer Umgebung des Kraftfahrzeugs durch eine Kameraeinrichtung der Fahrerassistenzvorrichtung mit einem Bereitstellen eines aufgenommenen Einzelbilds seitens der Kameraeinrichtung sein. Ein Verfahrensschritt ist ein Segmentieren eines bereitgestellten Einzelbildes, beispielsweise des aufgenommenen Kamera-Einzelbilds der Kameraeinrichtung, in eine Vielzahl von Bildsegmenten in Abhängigkeit von zumindest einer Bildeigenschaft durch die Recheneinrichtung. Das Einzelbild kann aber beispielsweise auch eine Sensorkarte einer Sensoreinrichtung der Fahrerassistenzvorrichtung sein.The invention relates to a method for operating a computing device of a driver assistance device of a motor vehicle, with a series of method steps. A method step here can be recording of an environment of the motor vehicle by a camera device of the driver assistance device with a provision of a recorded individual image on the part of the camera device. A method step is a segmentation of a provided individual image, for example of the recorded camera frame of the camera device, into a plurality of image segments as a function of at least one image characteristic by the computing device. The individual image can also be, for example, a sensor card of a sensor device of the driver assistance device.

Das Segmentieren oder Clustern des Einzelbildes in Bildsegmente oder Bildcluster kann beispielsweise basierend auf einer jeweiligen Farbe als Bildeigenschaft erfolgen, sodass beispielsweise Bildbereiche mit der gleichen Farbe, oder bevorzugt zusammenhängende Bildbereiche mit der gleichen Farbe, als ein Bildsegment behandelt werden. Dabei kann grundsätzlich jedweder Segmentationsalgorithmus genutzt werden. Eine Möglichkeit ist hier das Einzelbild in jeweilige Sektoren aufzuteilen, was bei Beleuchtungswechseln vorteilhaft ist. Eine andere Möglichkeit ist hier beispielsweise eine semantische Klassifikation bei einer Bildsegmentierung, die zum Beispiel durchgeführt werden kann, indem ein Bild in Bildblöcke aufgeteilt wird und beispielsweise der Bildblock mit der jeweils kompliziertesten Textur in weitere Bildblöcke aufgeteilt wird.The segmentation or clustering of the single image into image segments or image clusters can be carried out, for example, based on a respective color as an image property, so that, for example, image regions having the same color, or preferably contiguous image regions having the same color, are treated as an image segment. In principle, any segmentation algorithm can be used. One possibility here is to divide the single image into respective sectors, which is advantageous in the case of lighting changes. Another possibility here is, for example, a semantic classification in the case of image segmentation, which can be carried out, for example, by dividing an image into image blocks and, for example, dividing the image block with the respectively most complicated texture into further image blocks.

Ein nächster Verfahrensschritt ist ein Detektieren von jeweils zumindest einem Bildmerkmal in den Bildsegmenten, bevorzugt allen Bildsegmenten, des segmentierten Einzelbildes durch die Recheneinrichtung. Hier kann beispielsweise gemäß einer vorgegebenen Algorithmus eine Anzahl N von Bildmerkmalen unter den Bildsegmenten aufgeteilt werden, das heißt jedem Bildsegment zumindest ein Bildmerkmal zugeordnet, beziehungsweise ein entsprechender Bearbeitungsplatz in der Recheneinrichtung zugeordnet werden und sodann in dem jeweiligen Bildsegment das entsprechende oder die entsprechenden Bildmerkmale erkannt beziehungsweise detektiert werden.A next method step is a detection of in each case at least one image feature in the image segments, preferably all image segments, of the segmented individual image by the computing device. Here, for example, according to a predetermined algorithm, a number N of image features can be subdivided among the image segments, ie each image segment is assigned at least one image feature, or a corresponding processing location in the computing device is assigned, and then the corresponding or the corresponding image features are recognized or respectively displayed in the respective image segment be detected.

Ein weiterer Verfahrensschritt ist ein Ermitteln eines jeweiligen Bewegungsvektors für die detektierten Bildmerkmale durch die Recheneinrichtung. Dies kann anhand eines dem jeweiligen Bildmerkmal zugeordneten Bildmerkmals in dem oder einem (vorhergehenden) weiteren bereitgestellten und segmentierten Einzelbild erfolgen. Ein Bewegungsvektor kann hier und im Folgenden eine Länge und einen Winkel umfassen, welcher entsprechend eine Flussgröße oder Flussgeschwindigkeit des Bildmerkmales sowie einer Flussorientierung des Bildmerkmals, das heißt eine Größe und/oder Orientierung des durch das Bildmerkmal ausgelösten oder verursachten optischen Flusses beschreibt.A further method step is determining the respective motion vector for the detected image features by the computing device. This can be based on an image feature assigned to the respective image feature in the or a further (previously) provided and segmented single image done. A motion vector here and hereafter may comprise a length and an angle which respectively describes a flow quantity or flow speed of the image feature and a flow orientation of the image feature, ie a size and / or orientation of the optical flow triggered or caused by the image feature.

Ein anderer Verfahrensschritt ist ein Ermitteln eines jeweiligen Gesamt-Bewegungsvektors für die Bildsegmente insgesamt, also für die jeweiligen Bildsegmente als Ganzes, durch die Recheneinrichtung. Dies kann anhand zumindest eines Bildsegments eines weiteren bereitgestellten und segmentierten (vorhergehenden) Einzelbildes erfolgen. Beispielsweise kann hierfür ein Umriss des jeweiligen Bildsegments mit einem Polygon in dem Einzelbild und dem vorhergehenden Einzelbild angenähert werden und sodann die entsprechenden Positionen des Polygons verglichen werden, um eine Gesamtbewegung des jeweiligen Bildsegments mit dem entsprechenden Gesamt-Bewegungsvektor beschreiben zu können. Es sind somit einerseits für sämtliche detektierten Bildmerkmale eines Bildsegmentes jeweilige Bewegungsvektoren hinterlegt, sowie andererseits die Gesamtbewegung für das Bildsegment insgesamt.Another method step is determining the respective overall motion vector for the image segments as a whole, that is to say for the respective image segments as a whole, by the computing device. This can be done on the basis of at least one image segment of another provided and segmented (preceding) individual image. For example, for this purpose, an outline of the respective image segment can be approximated with a polygon in the individual image and the preceding individual image, and then the corresponding positions of the polygon can be compared in order to be able to describe an overall movement of the respective image segment with the corresponding overall motion vector. Thus, on the one hand, respective motion vectors are stored for all detected image features of an image segment, and on the other hand, the total motion for the image segment as a whole.

Ein weiterer Verfahrensschritt ist sodann ein Definieren eines Bildmerkmales eines jeweiligen Bildsegments als Referenz-Bildmerkmal, falls der jeweilige Bewegungsvektor des Bildmerkmals und der Gesamt-Bewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen. Dieser Verfahrensschritt wird durch die Recheneinrichtung ausgeführt, und zwar insbesondere für alle Bildsegmente und dabei bevorzugt für alle jeweiligen Bildmerkmale.A further method step is then defining an image feature of a respective image segment as a reference image feature if the respective motion vector of the image feature and the total motion vector of the image segment associated with the image feature match up to a predefinable tolerance. This method step is carried out by the computing device, in particular for all image segments and thereby preferably for all respective image features.

Unter einem Übereinstimmen bis auf eine vorgebbare Toleranz kann dabei verstanden werden, dass die jeweiligen Bewegungsvektoren sich bis auf eine vorgegebene oder vorgebbare Abweichung gleichen, beispielsweise bis auf 10 Prozent oder bevorzugt 5 Prozent in einem Winkel und/oder einer Länge. In diesem Fall ist also die vorgebbare Toleranz auf 10 Prozent beziehungsweise 5 Prozent vorgegeben. Es werden somit die Bildmerkmale als Referenz-Bildmerkmale oder gut nachverfolgbare Bildmerkmale gekennzeichnet, deren durch den Bewegungsvektor repräsentierte Bewegung mit der durch den Gesamtbewegungsvektor repräsentierten Gesamtbewegung des zugehörigen Bildsegmentes übereinstimmt oder konsistent ist. Damit wird sichergestellt, dass die Bildmerkmale, welche sich konsistent zu dem Bildsegment bewegen, weiter genutzt werden und schlecht nachverfolgbare Bildmerkmale, beispielsweise die oben beschriebenen zufällig generierten falschen Positive, aussortiert werden.By agreeing to a predefinable tolerance, it can be understood that the respective motion vectors are identical except for a predetermined or specifiable deviation, for example up to 10 percent or preferably 5 percent in an angle and / or a length. In this case, the specified tolerance is therefore set to 10 percent or 5 percent. Thus, the image features are identified as reference image features or easily traceable image features whose motion represented by the motion vector coincides or is consistent with the total motion of the associated image segment represented by the overall motion vector. This ensures that the image features that are consistent with the image segment continue to be used and poorly traceable image features, such as the randomly generated false positives described above, are sorted out.

Im Allgemeinen haben hier Merkmale, welche auf einem statischen Objekt der Umgebung der Fahrerassistenzvorrichtung angeordnet sind, eine höhere Konsistenz als Bildmerkmale auf dynamischen Objekten. Über die beschriebene Definition wird somit sichergestellt, dass die Referenz-Bildmerkmale sich konsistent mit dem Bildsegment und auch konsistent in eine Richtung bewegen, beispielsweise somit plötzliche Bewegungssprünge, die erkannt werden, aber für ein Bildmerkmal nicht plausibel sind, aussortiert werden. Dabei kann beispielsweise wie weiter unten noch ausgeführt bei einem iterativen Durchführen des Verfahrens jeweils eine vorbestimmte Anzahl von X Bildmerkmalen, welche sich konsistent bewegen, behalten werden, sodass in einem jeweiligen neuen Schritt des iterativen Verfahrens die Anzahl N - X an Merkmalen neu in dem Einzelbild zu detektieren ist.In general, features arranged on a static object of the environment of the driver assistance device have a higher consistency than image features on dynamic objects. By means of the described definition, it is thus ensured that the reference image features move consistently with the image segment and also consistently in one direction, thus, for example, sudden motion jumps that are detected but are not plausible for an image feature are sorted out. In this case, for example, as explained below in an iterative execution of the method, a predetermined number of X image features which move consistently can be kept, so that in a respective new step of the iterative method, the number N-X of features is new in the individual image is to be detected.

Ein weiterer Verfahrensschritt ist ein Definieren von zumindest einem oder mehreren Bildsegmenten, welche auf dem Einzelbild einen Untergrund oder Boden der Umgebung des Kraftfahrzeugs repräsentieren, durch die Recheneinrichtung als Boden-Bildsegment. Dies kann beispielsweise geschehen, indem ein Bildbereich unmittelbar vor der Kamera, welcher aller Erfahrung nach aufgrund der Ausrichtung der für das Erzeugen des ausgewerteten Einzelbildes genutzten Kamera stets den Boden repräsentiert.Another method step is a definition of at least one or more image segments, which represent a background or ground of the surroundings of the motor vehicle on the individual image, by the computing device as a bottom image segment. This can be done, for example, by an image area immediately in front of the camera, which, in all experience, always represents the ground due to the orientation of the camera used to generate the evaluated individual image.

Ein weiterer Verfahrensschritt ist sodann ein Klassifizieren zumindest eines Nicht-Boden-Bildsegments, bevorzugt der restlichen Nicht-Boden-Bildsegmente als statisches oder dynamisches Bildsegment, wobei das oder ein jeweiliges Bildsegment insbesondere nur als dynamisches Bildsegment klassifiziert wird, falls sich der Bewegungsvektor oder eine Bewegungsvektorverteilung zumindest eines, bevorzugt aller, Referenz-Bildmerkmale des zu klassifizierenden Bildsegments von dem Bewegungsvektor oder einer Bewegungsvektorverteilung zumindest eines Referenz-Bildmerkmals oder bevorzugt aller Referenz-Bildmerkmale eines oder mehrerer Boden-Bildsegmente um mehr als einen vorgegebenen oder vorgebbaren Wert unterscheidet.A further method step is then classifying at least one non-bottom image segment, preferably the remaining non-bottom image segments, as a static or dynamic image segment, the or each image segment being classified in particular only as a dynamic image segment, if the motion vector or a motion vector distribution at least one, preferably all, reference image features of the image segment to be classified differs from the motion vector or a motion vector distribution of at least one reference image feature or preferably all reference image features of one or more bottom image segments by more than a predetermined or predeterminable value.

Dabei kann entsprechend für die Länge des Bewegungsvektors, also eine Größe des Flusses oder der Bewegung ein Einzelwert vorgegeben sein und/oder für den Winkel des Bewegungsvektors oder die Orientierung ein entsprechender Einzelwert vorgegeben sein. Beispielsweise kann hier zum Ermitteln des Unterschiedes eine Differenz des jeweiligen Bewegungsvektors gebildet werden. Der entsprechende Unterschied zwischen jeweiligen Bewegungsvektorverteilungen kann beispielsweise durch eine Differenzbildung zwischen den Mittelwerten der Bewegungsvektorverteilung ermittelt werden oder aber durch einen Abstand der jeweiligen Verteilungen, welcher beispielsweise durch das Minimum der Differenzen zwischen allen Bewegungsvektoren der jeweiligen einen Verteilung mit den allen Bewegungsvektoren der jeweiligen anderen Verteilung ermittelt werden kann.In this case, a single value can be predefined accordingly for the length of the motion vector, that is to say a size of the flow or the movement, and / or a corresponding individual value can be specified for the angle of the motion vector or the orientation. For example, a difference of the respective motion vector can be formed here to determine the difference. The corresponding difference between respective motion vector distributions can be determined, for example, by a difference between the mean values of the motion vector distribution or by a distance of the respective ones Distributions, which can be determined, for example, by the minimum of the differences between all motion vectors of the respective one distribution with the all motion vectors of the respective other distribution.

Das hat den Vorteil, dass die jeweiligen individuellen Eigenschaften der einzelnen Bildsegmente bei dem Klassifizieren des Bildsegments als entweder statisches oder dynamisches Bildsegment berücksichtigt werden und dabei sämtliche eingangs genannten Probleme der bekannten Ansätze zum Detektieren von Objekten überwunden werden. Dabei ist die vorgeschlagene Lösung einfach aufgebaut und kann leicht in bestehenden Recheneinrichtungen von Fahrerassistenzvorrichtungen implementiert werden. Zugleich eröffnet sie auch ein schrittweises genaueres Klassifizieren, wie im Folgenden anhand weiterer vorteilhafter Ausführungsformen beschrieben wird.This has the advantage that the respective individual properties of the individual image segments are taken into account when classifying the image segment as either a static or dynamic image segment, thereby overcoming all the problems mentioned at the outset of the known approaches for detecting objects. In this case, the proposed solution is simple and can be easily implemented in existing computing facilities of driver assistance devices. At the same time, it also opens up a step-by-step, more precise classification, as will be described below with reference to further advantageous embodiments.

In einer solchen weiteren vorteilhaften Ausführungsform ist nämlich vorgesehen, dass, falls sich der Bewegungsvektor des zumindest einen Referenz-Bildmerkmals des zu klassifizierenden Bildsegments von dem Bewegungsvektor des Referenz-Bildmerkmals des Boden-Bildsegments nicht um mehr als den vorgegebenen Wert unterscheidet, bei dem Klassifizieren zumindest ein, insbesondere genau ein, dem zu klassifizierenden Bildsegment nächstliegendes Referenz-Bildmerkmal, also ein dem klassifizierenden Bildsegment nächstes Referenz-Bildmerkmal beziehungsweise ein Referenz-Bildmerkmal mit dem geringsten Abstand zu dem zu klassifizierenden Bildsegment, eines Boden-Bildsegments ausgewählt wird. Insbesondere ist das entsprechende Boden-Bildsegment dabei ein dem zu klassifizierenden Bildsegment nächstliegendes Boden-Bildsegment. Das zu klassifizierende Bildsegment wird dann als dynamisches Bildsegment klassifiziert, falls der Bewegungsvektor für mehr als einen vorgegebenen oder vorgebbaren Anteil der Referenz-Bildmerkmale des zu klassifizierenden Bildsegments bis auf die Toleranz nicht mit dem Bewegungsvektor des zumindest einen ausgewählten Referenz-Bildmerkmals des Boden-Bildsegments übereinstimmt. Ein solcher vorgegebener Anteil kann beispielsweise 80 Prozent betragen. Im Falle eines einzigen Referenz-Bildmerkmals entscheidet dann das Übereinstimmen zwischen dem einen Referenz-Bildmerkmal des zu klassifizierenden Bildsegments und das diesem nächstliegende Referenz-Bildmerkmal eines Boden-Bildsegments über das Ergebnis des Klassifizierens, ob also das Bildsegment als statisch oder dynamisch klassifiziert wird.Namely, in such a further advantageous embodiment, if the motion vector of the at least one reference image feature of the image segment to be classified does not differ from the motion vector of the reference image feature of the bottom image segment by more than the predetermined value, at least one classification is performed a, in particular exactly one, the reference image feature closest to the image segment to be classified, that is, a reference image feature closest to the classifying image segment or a reference image feature having the smallest distance to the image segment to be classified, a bottom image segment is selected. In particular, the corresponding bottom image segment is a bottom image segment closest to the image segment to be classified. The image segment to be classified is then classified as a dynamic image segment if the motion vector for more than a predetermined or predefinable portion of the reference image features of the image segment to be classified does not match the motion vector of the at least one selected reference image feature of the bottom image segment except for the tolerance , Such a predetermined proportion can be, for example, 80 percent. In the case of a single reference image feature, then, the correspondence between the one reference image feature of the image segment to be classified and the closest reference image feature of a bottom image segment decides the result of the classification, ie whether the image segment is classified as static or dynamic.

Das hat den Vorteil, dass, falls das Bildsegment nicht als dynamisches Bildsegment erkannt wird, das Ergebnis nochmals überprüft wird und somit eine Genauigkeit des Verfahrens erhöht wird. Zugleich erfolgt dieser, dann etwas aufwändigere Schritt nur in dem wirklich zunächst unklaren Fällen, wodurch Rechenkapazität gespart wird. Dadurch, dass gerade das dem zu klassifizierenden Bildsegment nächstliegende Referenzbildmerkmal zur Klassifizierung herangezogen wird, wird auch ein Einfluss von geometrischen Verzerrungen bei dem Verfahren verringert.This has the advantage that if the image segment is not recognized as a dynamic image segment, the result is checked again and thus an accuracy of the method is increased. At the same time, this takes place, then a little more elaborate step only in the case of initially unclear cases, whereby computing capacity is saved. The fact that the reference image feature nearest to the image segment to be classified is used for the classification also reduces an influence of geometric distortions in the method.

In einer weiteren vorteilhaften Ausführungsform ist dabei vorgesehen, dass für das bei dem Klassifizieren ausgewählte Boden-Bildsegment anhand der Bewegungsvektoren mehrerer Referenz-Bildmerkmale des Boden-Bildsegments in Abhängigkeit eines Minimalwerts und eines Maximalwerts der Längen und/oder Winkel der Bewegungsvektoren ein Längenintervall und/oder ein Winkelintervall als Toleranz vorgegeben wird, sodass der Bewegungsvektor des Referenz-Bildmerkmals des zu klassifizierenden Bildsegments mit dem Bewegungsvektor des ausgewählten Referenz-Bildmerkmals des Boden-Bildsegments übereinstimmt, falls Länge und/oder Winkel des Bewegungsvektors des zu klassifizierenden Bildsegments in dem entsprechenden Intervall, also dem Winkelintervall und/oder dem Längenintervall liegen. Die Intervallgrenzen können dabei insbesondere jeweils durch den Minimalwert und den Maximalwert der Längen und/oder Winkel der Bewegungsvektoren des Boden-Bildsegments vorgegeben werden.In a further advantageous embodiment, it is provided that a length interval and / or for the bottom image segment selected in the classification based on the motion vectors of a plurality of reference image features of the bottom image segment in response to a minimum value and a maximum value of the lengths and / or angles of the motion vectors an angular interval is given as a tolerance, so that the motion vector of the reference image feature of the image segment to be classified matches the motion vector of the selected reference image feature of the bottom image segment if length and / or angle of the motion vector of the image segment to be classified in the corresponding interval, ie the angular interval and / or the length interval lie. The interval limits can in particular be specified in each case by the minimum value and the maximum value of the lengths and / or angles of the motion vectors of the bottom image segment.

Das hat den Vorteil, dass die jeweiligen Boden-Bildsegmente besonders genau charakterisiert werden und entsprechend auch die Bildsegmente besonders genau als sich relativ zu dem Boden-Bildsegment bewegend, also dynamische Bildsegmente, oder als relativ zu dem Boden-Bildsegment stehend, also statische Bildsegmente klassifiziert werden können.This has the advantage that the respective bottom image segments are characterized in a particularly accurate manner and, correspondingly, the image segments are also classified as moving relative to the bottom image segment, ie dynamic image segments, or standing relative to the bottom image segment, ie static image segments can be.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Verfahren für eine Reihe von Zeitschritten mit aufeinanderfolgenden Einzelbildern durchgeführt wird, wobei die Gesamt-Bewegungsvektoren anhand eines Vergleichs einander entsprechender Bildsegmente in aufeinanderfolgenden Einzelbildern ermittelt werden und die Bewegungsvektoren der Bildmerkmale anhand eines Vergleichs einander entsprechender Bildmerkmale in aufeinanderfolgenden Einzelbildern.In a further advantageous embodiment, it is provided that the method is carried out for a series of time steps with successive individual images, wherein the total motion vectors are determined on the basis of a comparison of corresponding image segments in successive individual images and the motion vectors of the image features based on a comparison of corresponding image features in consecutive frames.

Das hat den Vorteil, dass entsprechend flexibel und aktuell eine jeweilige Umgebung des Kraftfahrzeugs erfasst und analysiert werden kann, indem in den Einzelbildern die jeweiligen dynamischen und statischen Bildsegmente identifiziert beziehungsweise als solche klassifiziert werden.This has the advantage that correspondingly flexible and up-to-date a respective environment of the motor vehicle can be detected and analyzed by identifying the respective dynamic and static image segments in the individual images or classifying them as such.

In einer weiteren vorteilhaften Ausführungsform ist dabei vorgesehen, dass die Referenz-Bildmerkmale zwischengespeichert werden und für die Referenz-Bildmerkmale über mehrere aufeinanderfolgende Zeitschritte eine Übereinstimmung des jeweiligen Bewegungsvektors mit dem Gesamt-Bewegungsvektor überwacht wird, beispielsweise über ein geeignetes Maß, und nur ein vorgegebener Anteil, beispielsweise 80 Prozent, der Referenz-Bildmerkmale mit der größten Übereinstimmung, also die Referenz-Bildmerkmale mit der größten Konsistenz über einen vorgegebenen Zeitraum hinweg mit der Gesamtbewegung und/oder nur Referenz-Bildmerkmale mit einer einem vorgegebenen Grenzwert übertreffenden Übereinstimmung weiterhin als Referenz-Bildmerkmal definiert bleiben.In a further advantageous embodiment, it is provided that the reference image features are buffered and for the Reference image features over several consecutive time steps, a match of the respective motion vector is monitored with the total motion vector, for example, about a suitable level, and only a predetermined proportion, for example, 80 percent of the reference image features with the largest match, so the reference image features with the greatest consistency over a given period of time, with the total motion and / or only reference image features with a match exceeding a given threshold, remaining defined as a reference image feature.

Das hat den Vorteil, dass jeweils nur die besten Referenz-Bildmerkmale weiterhin als solche genutzt werden und ein bestimmbarer Anteil an Referenz-Bildmerkmalen neu vergeben werden kann, das heißt die verfügbare Rechenkapazität mit einer Höchstanzahl N an verarbeitbaren Bildmerkmalen mit größtmöglicher Effizienz und Effektivität genutzt wird.This has the advantage that in each case only the best reference image features continue to be used as such and a determinable proportion of reference image features can be reassigned, ie the available computing capacity is used with a maximum number N of processable image features with the greatest possible efficiency and effectiveness ,

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das oder die Referenz-Bildmerkmale für das Boden-Bildsegment oder die Boden-Bildsegmente mit dem zugehörigen Bewegungsvektor oder den zugehörigen Bewegungsvektoren über eine vorgegebene Anzahl von Zeitschritten zwischengespeichert werden.In a further advantageous embodiment, it is provided that the one or more reference image features for the bottom image segment or the bottom image segments with the associated motion vector or the associated motion vectors are temporarily stored over a predetermined number of time steps.

Das hat den Vorteil, dass sich eine Konsistenz der jeweiligen Bewegungen besonders gut beurteilen und überwachen lässt.This has the advantage that a consistency of the respective movements can be assessed and monitored particularly well.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass eine oder mehrere Eigenschaften der Bildsegmente über eine vorgegebene Anzahl von Zeitschritten zwischengespeichert werden, insbesondere jeweilige Positionen eines Umrisses für die jeweiligen Bildsegmente, beispielsweise der oben genannten Polygone als Annäherung für den Umriss, und/oder eine Größe der Bildsegmente. So lässt sich beispielsweise aus einer gleichmäßigen Vergrößerung der Größe des Bildsegments eine Bewegung des entsprechenden dem Bildsegment zugeordneten Objektes in der Umgebung des Kraftfahrzeugs auf die Kamera ableiten und umgekehrt aus einer konstanten Verkleinerung der Größe des Bildsegmentes eine Bewegung fort von der Kamera.In a further advantageous embodiment, it is provided that one or more properties of the image segments are temporarily stored over a predetermined number of time steps, in particular respective positions of an outline for the respective image segments, for example the aforementioned polygons as an approximation for the outline, and / or a size the image segments. Thus, for example, from a uniform increase in the size of the image segment, a movement of the corresponding object associated with the image segment in the surroundings of the motor vehicle can be derived from the camera and vice versa from a constant reduction of the size of the image segment a movement away from the camera.

Das hat den Vorteil, dass zusätzliche Kriterien bei dem Klassifizieren berücksichtigt werden können, und so die Genauigkeit des Verfahrens weiter erhöht wird.This has the advantage that additional criteria can be taken into account in the classification, thus further increasing the accuracy of the method.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Gesamt-Bewegungsvektoren der Bildsegmente über eine vorgegebene Anzahl von Zeitschritten zwischengespeichert werden und die Bildsegmente anhand der zwischengespeicherten Bewegungsvektoren in eine jeweilige Bewegungsklasse, insbesondere in eine Rotationsklasse und/oder eine Translationsklasse und/oder eine Skalierungsklasse eingeordnet werden. Gerade Bildsegmente und insbesondere entsprechend Bildmerkmale, welche einer Skalierungsklasse zugeordnet sind, können dabei durch die Recheneinrichtung weiteren Analyseschritten unterzogen werden, um die Klassifikation des Bildsegments als statisches oder dynamisches Bildsegment zu vereinfachen.In a further advantageous embodiment, it is provided that the total motion vectors of the image segments are temporarily stored over a predetermined number of time steps and the image segments are categorized on the basis of the cached motion vectors into a respective motion class, in particular a rotation class and / or a translation class and / or a scaling class become. Even image segments and in particular corresponding image features which are associated with a scaling class can be subjected to further analysis steps by the computing device in order to simplify the classification of the image segment as a static or dynamic image segment.

Das hat den Vorteil, dass das Verfahren weiter in der Genauigkeit erhöht wird, und nicht nur zwischen statischem und dynamischem Bildsegment unterschieden werden kann, sondern die dynamischen Bildsegmente weiter unterteilt werden können. Dies ist beispielsweise für eine Objektbildung vorteilhaft, bei welcher einem oder mehreren Objekten in der Umgebung des Kraftfahrzeugs jeweilige Bildsegmente zugeordnet werden. Beispielsweise können hier Bildsegmente, welche sich in ähnlicher oder identischer Weise bewegen, einem Objekt zugeordnet werden.This has the advantage that the method is further increased in accuracy, and not only between static and dynamic image segment can be distinguished, but the dynamic image segments can be further subdivided. This is advantageous, for example, for an object formation in which respective image segments are assigned to one or more objects in the surroundings of the motor vehicle. For example, image segments that move in a similar or identical manner can be assigned to an object here.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass nach dem Klassifizieren eine Freiraumerkennung für das Einzelbild durchgeführt wird, also auf dem Einzelbild ein jeweiliger Freiraum in der Umgebung des Kraftfahrzeugs erkannt wird, bei welcher ein erster Sicherheitsabstand zu als dynamisch klassifizierten Bildsegmenten ermittelt wird und ein von dem ersten verschiedener weiterer zweiter Sicherheitsabstand zu als statisch klassifizierten Bildsegmenten ermittelt wird. Dabei kann die Umgebung des Kraftfahrzeugs auf dem Einzelbild in Sektoren aufgeteilt werden, welche dann jeweils mit dynamischen oder statischen Bildsegmenten oder dynamischen oder statischen Objekten, welche sich jeweils aus einem oder mehreren Bildsegmenten zusammensetzen, zugeordnet werden. Die jeweiligen Sicherheitsabstände können dabei gemäß unterschiedlicher Vorgaben in Abhängigkeit der Klasse der Bildsegmente in dem jeweiligen Sektor oder entsprechenden Bewegungsklassen der Bildsegmente in dem jeweiligen Sektor vorgenommen werden. Die jeweiligen Sicherheitsabstände können auch in Abhängigkeit weiterer Faktoren wie beispielsweise eines aktivierten Parkmodus, einer Fahrzeuggeschwindigkeit oder weiteren Kraftfahrzeugparametern eingestellt werden.In a further advantageous embodiment, it is provided that after classifying a free space recognition for the single image is performed, so on the frame a respective space in the environment of the motor vehicle is detected, in which a first safety margin is determined as dynamically classified image segments and one of the first different further second safety distance is determined to statically classified image segments. In this case, the environment of the motor vehicle can be divided into sectors on the individual image, which are then each associated with dynamic or static image segments or dynamic or static objects, which are each composed of one or more image segments. The respective safety distances can be made according to different specifications depending on the class of the image segments in the respective sector or corresponding motion classes of the image segments in the respective sector. The respective safety distances can also be set as a function of other factors such as, for example, an activated parking mode, a vehicle speed or other motor vehicle parameters.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Bildeigenschaft eine Leuchtdichte und/oder eine Farbe und/oder eine Textureigenschaft, beispielsweise eine Kontraststruktur, umfasst.In a further advantageous embodiment, it is provided that the image property comprises a luminance and / or a color and / or a texture property, for example a contrast structure.

Diese Eigenschaften haben sich als besonders vorteilhaft für das Segmentieren von einem Bild in Bildsegmente im Bereich der Fahrerassistenzvorrichtungen für Kraftfahrzeuge herausgestellt.These properties have proven to be particularly beneficial for segmenting an image highlighted in image segments in the field of driver assistance devices for motor vehicles.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Einzelbild von einer Kameraeinrichtung der Fahrerassistenzvorrichtung bereitgestellt wird und eine Umgebung des Kraftfahrzeugs repräsentiert.In a further advantageous embodiment, it is provided that the individual image is provided by a camera device of the driver assistance device and represents an environment of the motor vehicle.

Die Erfindung betrifft auch eine Recheneinrichtung für eine Fahrerassistenzvorrichtung eines Kraftfahrzeugs, die ausgebildet ist, ein bereitgestelltes Einzelbild in Abhängigkeit von zumindest einer Bildeigenschaft in eine Vielzahl von Bildsegmenten zu segmentieren und jeweils in den Bildsegmenten des segmentierten Einzelbildes zumindest ein Bildmerkmal zu detektieren, sowie einen jeweiligen Bewegungsvektor für die detektierten Bildmerkmale zu ermitteln.The invention also relates to a computing device for a driver assistance device of a motor vehicle, which is designed to segment a provided individual image as a function of at least one image characteristic into a plurality of image segments and to detect at least one image feature in the image segments of the segmented individual image, as well as a respective motion vector to determine the detected image features.

Wichtig ist dabei, dass die Recheneinrichtung ausgebildet ist, für die Bildsegmente einen jeweiligen Gesamt-Bewegungsvektor zu ermitteln, und ein Bildmerkmal eines Bildsegments als Referenz-Bildmerkmal zu definieren, falls der jeweilige Bewegungsvektor des Bildmerkmals und der Gesamt-Bewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen, sowie Bildsegmente, welche auf dem Einzelbild einen Untergrund repräsentieren, als Boden-Bildsegment zu definieren und schließlich zumindest ein Bildsegment als statisches oder dynamisches Bildsegment zu klassifizieren. Dabei wird das jeweilige Bildsegment als dynamisches Bildsegment klassifiziert, falls sich der Bewegungsvektor zumindest eines Referenz-Bildmerkmals des zu klassifizierenden Bildsegments von dem Bewegungsvektor zumindest eines Referenz-Bildmerkmals eines oder mehrerer Boden-Bildsegmente um mehr als einen vorgebbaren Wert unterscheidet.It is important that the computing device is designed to determine a respective total motion vector for the image segments, and to define an image feature of an image segment as a reference image feature if the respective motion vector of the image feature and the overall motion vector of the image segment associated with the image feature to match a predeterminable tolerance, as well as image segments that represent a background on the frame, to define as a bottom image segment and finally to classify at least one image segment as a static or dynamic image segment. In this case, the respective image segment is classified as a dynamic image segment if the motion vector of at least one reference image feature of the image segment to be classified differs from the motion vector of at least one reference image feature of one or more bottom image segments by more than a predefinable value.

Vorteile und vorteilhafte Ausführungsformen der Fahrerassistenzvorrichtung entsprechen hier Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens.Advantages and advantageous embodiments of the driver assistance device correspond here to advantages and advantageous embodiments of the described method.

Die Erfindung betrifft auch ein Kraftfahrzeug mit einer solchen Recheneinrichtung oder mit eine Fahrerassistenzvorrichtung mit einer solchen Recheneinrichtung.The invention also relates to a motor vehicle having such a computing device or to a driver assistance device having such a computing device.

Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.The features and combinations of features mentioned above in the description, as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively indicated combination but also in other combinations without the scope of the invention leave. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed which go beyond the feature combinations set out in the back references of the claims or deviate therefrom.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Dabei zeigen:

1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Recheneinrichtung, welche Teil einer Fahrerassistenzvorrichtung ist;
2 eine schematische Darstellung einer beispielhaften Ausführungsform eines Verfahrens zum Betreiben einer Recheneinrichtung einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs; und
3 ein beispielhaftes Einzelbild, für welches eine Freiraumerkennung durchgeführt wurde.

Embodiments of the invention are explained in more detail below with reference to schematic drawings. Showing:

1 a motor vehicle with an exemplary embodiment of a computing device, which is part of a driver assistance device;
2 a schematic representation of an exemplary embodiment of a method for operating a computing device of a driver assistance device of a motor vehicle; and
3 an exemplary frame for which a free space detection has been performed.

In den Figuren werden gleiche oder funktionsgleiche Elemente dabei mit den gleichen Bezugszeichen versehen.In the figures, identical or functionally identical elements are provided with the same reference numerals.

In 1 ist eine beispielhafte Ausführungsform einer Recheneinrichtung 1 einer Fahrerassistenzvorrichtung 2 in einem Kraftfahrzeug 3 dargestellt. Die Recheneinrichtung 1 ist dabei vorliegend mit einer Kameraeinrichtung 4 gekoppelt, welche ausgebildet ist, ein Einzelbild, vorliegend eine Folge von Einzelbildern, an die Recheneinrichtung 1 bereitzustellen. Das beziehungsweise die Einzelbilder repräsentieren dabei jeweils eine Umgebung 5 des Kraftfahrzeugs 3. Die Fahrerassistenzvorrichtung 2 ist dabei vorliegend auch mit einer Bremseinrichtung 6 gekoppelt, sodass beispielsweise ein Bremseingriff durch die Fahrerassistenzvorrichtung 2 vorgenommen werden kann.In 1 is an exemplary embodiment of a computing device 1 a driver assistance device 2 in a motor vehicle 3 shown. The computing device 1 is present with a camera device 4 coupled, which is formed, a single image, in this case a series of individual images, to the computing device 1 provide. The or the individual images each represent an environment 5 of the motor vehicle 3 , The driver assistance device 2 is in the present case also with a braking device 6 coupled so that, for example, a braking intervention by the driver assistance device 2 can be made.

Die Recheneinrichtung 1 ist dabei ausgebildet, das bereitgestellte Einzelbild in Abhängigkeit von zumindest einer Bildeigenschaft in eine Vielzahl von Bildsegmente zu segmentieren und jeweils in den Bildsegmenten des segmentierten Einzelbildes zumindest ein Bildmerkmal zu detektieren, sowie einen jeweiligen Bewegungsvektor für die detektierten Bildmerkmale zu ermitteln.The computing device 1 is configured to segment the provided individual image as a function of at least one image property into a multiplicity of image segments and to detect at least one image feature in the image segments of the segmented individual image, as well as to determine a respective motion vector for the detected image features.

Wichtig ist hier, dass die Recheneinrichtung 1 auch ausgebildet ist, für die Bildsegmente einen jeweiligen Gesamtbewegungsvektor zu ermitteln und ein Bildmerkmal eines Bildsegments als Referenz-Bildmerkmal zu definieren, falls der jeweilige Bewegungswechsel des Bildmerkmals und der Gesamtbewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen. Die Recheneinrichtung 1 ist ferner ausgebildet, Bildsegmente, welche auf dem Einzelbild einen Untergrund repräsentieren, als Boden-Bildsegment zu definieren und ein Bildsegment als statisches oder dynamisches Bildsegment zu klassifizieren. Dabei wird das Bildsegment als dynamisches Bildsegment klassifiziert, falls sich der Bewegungsvektor zumindest eines Referenz-Bildmerkmals des zu klassifizierenden Bildsegments von dem Bewegungsvektor zumindest eines Referenz-Bildmerkmals eines oder mehrerer Boden-Bildsegmente um mehr als einen vorgegebenen Wert unterscheidet.Important here is that the computing device 1 is also designed to determine a respective total motion vector for the image segments and to define an image feature of an image segment as a reference image feature, if the respective change of motion of the image feature and the total motion vector of the image segment associated with the image feature match up to a predefinable tolerance. The computing device 1 It is further configured to define image segments which represent a background on the individual image as a bottom image segment and to classify an image segment as a static or dynamic image segment. The image segment is classified as a dynamic image segment if the motion vector of at least one reference image feature of the image segment to be classified differs from the motion vector of at least one reference image feature of one or more bottom image segments by more than a predetermined value.

Insbesondere ist die Recheneinrichtung 1 also ausgebildet, ein Verfahren wie es anhand von 2 erläutert wird, durchzuführen.In particular, the computing device 1 So trained, a procedure as it is based on 2 is explained to perform.

In 2 ist eine beispielhafte Ausführungsform eines Verfahrens zum Betreiben der Recheneinrichtung 1 dargestellt. Zunächst erfolgt vorliegend ein Bereitstellen 7 eines Einzelbildes an die Recheneinrichtung 1. Hier kann es sich beispielsweise um ein Einzelbild der Kameraeinrichtung 4 (1) handeln. Ein Verfahrensschritt ist dabei ein Segmentieren 8 des bereitgestellten Einzelbildes in eine Vielzahl von Bildsegmenten. Dies geschieht in Abhängigkeit von zumindest einer Bildeigenschaft, beispielsweise einer Farbe oder einer Helligkeit, sodass Bildbereiche mit der gleichen Farbe und/oder der gleichen Helligkeit, bevorzugt zusammenhängende Bildbereiche der mit der jeweils gleichen Bildeigenschaft, zu einem Bildsegment segmentiert werden. Ein weiterer Verfahrensschritt ist ein Detektieren 9 jeweils zumindest eines Bildmerkmals in den Bildsegmenten des segmentierten Einzelbildes. In jedem Bildsegment wird somit ein Bildmerkmal, beispielsweise eine Kante oder eine sonstige Form als Bildmerkmal detektiert.In 2 FIG. 10 is an exemplary embodiment of a method for operating the computing device. FIG 1 shown. Initially, provision is made here 7 a single image to the computing device 1 , This may be, for example, a single image of the camera device 4 ( 1 ) act. One process step is a segmentation 8th of the provided frame into a plurality of image segments. This is done as a function of at least one image property, for example a color or a brightness, so that image regions with the same color and / or the same brightness, preferably contiguous image regions which are each segmented with the same image property, are segmented into an image segment. Another method step is a detection 9 in each case at least one image feature in the image segments of the segmented individual image. In each image segment thus an image feature, such as an edge or other shape is detected as an image feature.

In einem weiteren Verfahrensschritt erfolgt ein entsprechendes Ermitteln 10 eines jeweiligen Bewegungsvektors für die detektierten Bildmerkmale. Für jedes Bildmerkmal wird somit vorliegend eine Bewegungsvektorgröße und damit eine Flussgeschwindigkeit eines optischen Flusses und eine Bewegungsvektororientierung und damit eine Flussorientierung bestimmt, welche durch den Bewegungsvektor quantifiziert wird. Aus den Bewegungsvektoren lässt sich somit ein optischer Fluss in dem Einzelbild für die jeweiligen Bildmerkmale bestimmen. Ein weiterer Schritt ist ein Ermitteln 11 eines jeweiligen Gesamt-Bewegungsvektors für die einzelnen Bildsegmente. Basierend auf den jeweiligen Bewegungsvektoren für die detektierten Bildmerkmale und den ermittelten Gesamt-Bewegungsvektorn erfolgt sodann ein Definieren 12 der Bildmerkmale der jeweiligen Bildsegmente als Referenz-Bildmerkmale, für welche die jeweiligen Bewegungsvektoren mit dem Gesamt-Bewegungsvektor des dem Bildmerkmal zugeordneten Bildsegments bis auf eine vorgebbare Toleranz übereinstimmen. Die Toleranz kann dabei insbesondere für jedes Bildsegment einzeln vorgegeben werden. Selbst wenn jedoch eine einzige Toleranz für alle Bildsegmente vorgegeben wird, so ist doch, da der Gesamt-Bewegungsvektor für jedes Bildsegment spezifisch ist, mit dem Definieren 12 ein individuelles Auswahlkriterium für die Referenz-Bildmerkmale, also die Bildmerkmale, deren Bewegung konsistent mit der Bewegung des zugehörigen Bildsegments ist, erreicht. Damit bleiben irrtümlich erkannte Bildmerkmale oder andere Bildmerkmale, welche nicht zum unten beschriebenen Klassifizieren 14 des Bildsegments als statisches oder dynamisches Bildsegment tauglich sind, unberücksichtigt.In a further method step, a corresponding determination is made 10 a respective motion vector for the detected image features. For each image feature, a motion vector size and thus a flow velocity of an optical flow and a motion vector orientation and thus a flow orientation which is quantified by the motion vector are thus determined in the present case. From the motion vectors, it is thus possible to determine an optical flow in the individual image for the respective image features. Another step is a determination 11 a respective total motion vector for the individual image segments. Defining is then carried out based on the respective motion vectors for the detected image features and the determined total motion vector 12 the image features of the respective image segments as reference image features, for which the respective motion vectors with the total motion vector of the image feature associated with the image segment to a predetermined tolerance match. The tolerance can be specified individually for each image segment in particular. Even if, however, a single tolerance is given for all image segments, since the overall motion vector is specific for each image segment, defining is done 12 an individual selection criterion for the reference image features, ie the image features whose movement is consistent with the movement of the associated image segment achieved. Thus, erroneously recognized image features or other image features that do not classify as described below 14 of the image segment as a static or dynamic image segment are suitable, disregarded.

Ein weiterer Schritt ist basierend auf dem Segmentieren 8 ein Definieren 13 von Bildsegmenten, welche auf dem Einzelbild einen Untergrund repräsentieren, als Boden-Bildsegment.Another step is based on the segmentation 8th a defining 13 of image segments, which represent a background on the single image, as a bottom image segment.

Schließlich erfolgt ein Klassifizieren 14 der jeweiligen Bildsegmente als entweder statisches oder dynamisches Bildsegment. Bei dem Klassifizieren 14 werden die Bildsegmente als dynamische Bildsegmente klassifiziert, für welche sich der Bewegungsvektor zumindest eines zu klassifizierenden Bildsegments gehörigen Referenz-Bildmerkmals von dem Bewegungsvektor zumindest eines Referenz-Bildmerkmals von zumindest einem Boden-Bildsegment um mehr als einen vorgegebenen Wert unterscheidet.Finally, a classification is done 14 the respective image segments as either a static or dynamic image segment. In classifying 14 the image segments are classified as dynamic image segments for which the motion vector of at least one image segment belonging to the image segment differs from the motion vector of at least one reference image feature of at least one bottom image segment by more than a predetermined value.

Dabei kann von dem Definieren 12 zu Detektieren 9 eine Rückkopplungsschleife realisiert werden, indem für die Referenz-Bildmerkmale über mehrere aufeinanderfolgende Zeitschritte eine Übereinstimmung des jeweiligen Bewegungsvektors mit dem Gesamt-Bewegungsvektor überprüft wird und nur ein vorgegebener Anteil der Referenz-Bildmerkmale mit der größten Übereinstimmung und/oder nur Referenz-Bildmerkmale mit einer vorgegebenen Grenzwert übertreffenden Übereinstimmung weiterhin als Referenz-Bildmerkmal definiert bleiben.It can be defined by the definition 12 to detect 9 a feedback loop is realized by checking for the reference image features over several consecutive time steps a match of the respective motion vector with the total motion vector, and only a predetermined portion of the closest match reference image features and / or only reference image features Limit-exceeding match continue to be defined as a reference picture feature.

Es wird das Verfahren somit für eine Reihe von Zeitschritten mit aufeinanderfolgenden Einzelbildern durchgeführt, und einmal als solche erkannte und definierte Referenz-Bildmerkmale weiterhin als Bildmerkmal genutzt, dabei jedoch auf ihre fortbestehende Tauglichkeit überprüft.The method is thus carried out for a series of time steps with successive individual images, and once as such recognized and defined reference image features continue to be used as an image feature, but checked for their continued suitability.

Im vorliegenden Beispiel wird basierend auf dem Klassifizieren 14 ein Erkennen 15 eines Freiraums für das Einzelbild durchgeführt, also die Umgebung 5 (1) hinsichtlich vorhandener Freiräume analysiert und der Umgebung für Objekte, welche einem als dynamisch klassifizierten Bildsegment entsprechen, ein Sicherheitsabstand zugeordnet und Objekten, welche einem als statisch klassifizierten Bildsegment entsprechen, ein weiterer Sicherheitsabstand. Schließlich erfolgt vorliegend basierend auf den ermittelten Sicherheitsabständen ein Ausgeben 16 eines Brems- und/oder Beschleunigungssignales oder eines Richtungssignales für eine sichere Fahrt.In the present example, it is based on the classify 14 a recognition 15 a free space for the single image performed, so the environment 5 ( 1 ) is analyzed for existing clearances and the environment for objects that correspond to a dynamically classified image segment assigned a safety margin and objects that correspond to a statically classified image segment, another safety margin. Finally, based on the determined safety distances, an output is made in the present case 16 a brake and / or acceleration signal or a direction signal for a safe ride.

In 3 ist ein beispielhaftes Einzelbild 17 der Umgebung 5 dargestellt. Dabei wird ein Bodenbereich 18 des Einzelbildes vorliegend in eine Vielzahl von Sektoren 19a bis 19v unterteilt. Basierend auf den als dynamisch erkannten Bildsegmenten, welche vorliegend zwei jeweilige Objekte 20a, 20b repräsentieren, wurden hier für die Sektoren 19f bis 19k sowie 19n bis 19q jeweilige erste Sicherheitsabstände df bis dk beziehungsweise dn bis dq ermittelt. Basierend auf als statisch klassifizierten Bildsegmenten wurden dabei vorliegend zweite Sicherheitsabstände da bis de und dl und dm ermittelt. Die Abstände dq bis dv, welche entsprechend den Vektoren 19q bis 19v zugeordnet sind, wurden hier basierend auf der Freiraumerkennung und entsprechend ebenfalls basierend auf als statisch klassifizierten Bildsegmenten ermittelt.In 3 is an exemplary single image 17 the environment 5 shown. This will be a floor area 18 of the frame present in a variety of sectors 19a to 19v divided. Based on the recognized as dynamic image segments, which present two respective objects 20a . 20b represent, have been here for the sectors 19f to 19k such as 19n to 19q respective first safety distances df to dk or dn to dq determined. Based on statically classified image segments, second safety distances da to de and d1 and dm were determined. The distances dq to dv corresponding to the vectors 19q to 19v were determined here based on the free space detection and accordingly also based on statically classified image segments.

Die beschriebene Verfahrensweise zum Klassifizieren von Bildsegmenten als statisch oder dynamisch führt so zu einer äußerst nützlichen Freiraumerkennung, bei welcher basierend auf den ermittelten Abständen da bis dv und beispielsweise weiteren Informationen wie einem Lenkwinkel des Kraftfahrzeugs das Ausgeben 16 entsprechender Brems- und/oder Lenk- und/oder Beschleunigungs-Signale erfolgen kann.The method described for classifying image segments as static or dynamic thus leads to extremely useful free space recognition, in which, based on the determined distances da to dv and, for example, further information such as a steering angle of the motor vehicle, the outputting 16 corresponding brake and / or steering and / or acceleration signals can be carried out.

Claims

Method for operating a computing device (1) of a driver assistance device (2) of a motor vehicle (3), with the method steps: a) segmenting (8) a provided individual image (17) into a plurality of image segments as a function of at least one image property; b) detecting (9) in each case at least one image feature in the image segments of the segmented individual image (17); c) determining (10) a respective motion vector for the detected image features; d) determining (11) a respective total motion vector for the image segments; e) defining (12) an image feature of an image segment as a reference image feature if the respective motion vector of the image feature and the total motion vector of the image segment associated with the image feature match up to a predeterminable tolerance; f) defining (13) image segments, which represent a background on the single image (17), as a bottom image segment; g) classifying (14) an image segment as a static or dynamic image segment, wherein the image segment is classified as a dynamic image segment if the motion vector of at least one reference image feature of the image segment to be classified moves from the motion vector of at least one reference image feature of at least one bottom image segment differentiates more than a given value.

Method according to Claim 1 characterized in that, if the motion vector of the at least one reference image feature of the image segment to be classified does not differ from the motion vector of the reference image feature of the bottom image segment by more than the predetermined value, in classifying (14) the one to be classified If the motion vector for more than a predetermined portion of the reference image features of the image segment to be classified does not match the motion vector of the selected reference image feature of the ground Image segment matches.

Method according to Claim 2 , characterized in that a length interval and / or an angular interval is specified as a tolerance for the bottom image segment on the basis of the motion vectors of a plurality of reference image features of the bottom image segment as a function of a minimum value and a maximum value of the lengths and / or angles of the motion vectors.

Method according to one of the preceding claims, characterized in that the method is carried out for a series of time steps with successive individual images, wherein the total motion vectors are determined on the basis of a comparison of corresponding image segments in successive individual images and the motion vectors of the image features based on a comparison corresponding image features in successive frames.

Method according to Claim 4 characterized in that for the reference image features over a plurality of successive time steps a match of the respective motion vector with the total motion vector is monitored and only a predetermined portion of the reference image features with the largest match and / or only reference image features with a predetermined one Limit-exceeding match continue to be defined as a reference picture feature.

Method according to Claim 4 or 5 characterized in that the one or more reference image features for the one or more bottom image segments are cached with the one or more associated motion vectors over a predetermined number of time increments.

Method according to one of Claims 4 to 6 , characterized in that one or more properties of the image segments are temporarily stored over a predetermined number of time steps, in particular respective positions of a boundary for the image segments and / or a size of the image segments.

Method according to one of Claims 4 to 7 , characterized in that the total motion vectors of the image segments are cached over a predetermined number of time steps and the image segments are categorized on the basis of the cached motion vectors in a respective motion class, in particular in a rotation class or a translation class or a scaling class.

Method according to one of the preceding claims, characterized in that after the classification (14) a free space recognition for the single image (17) is performed, in which a safety margin (df-dk, dn-dq) is determined to be dynamically classified image segments and another safety margin (da-de, dl, dm, dr-dv) is determined to be statically classified image segments.

Method according to one of the preceding claims, characterized in that the image characteristic comprises a luminance and / or a color and / or texture property.

Method according to one of the preceding claims, characterized in that the individual image (17) is provided by a camera device (4) of the driver assistance device (2) and represents an environment (5) of the motor vehicle (3).

Computing device (1) for a driver assistance device (2) for a motor vehicle (3), which is designed to segment a provided individual image (17) as a function of at least one image characteristic into a plurality of image segments (8) and respectively in the image segments of the segmented image segment Single image (17) at least one image feature to Detect (9), and to determine a respective motion vector for the detected image features, characterized in that the computing device (1) is adapted to determine a respective total motion vector for the image segments, and an image feature of an image segment to be defined as a reference image feature, if the respective motion vector of the image feature and the total motion vector of the image segment associated with the image feature match up to a predeterminable tolerance, as well as image segments which represent a background on the single image (17) as a bottom image segment define; and finally classifying an image segment as a static or dynamic image segment, classifying the image segment as a dynamic image segment if the motion vector of at least one reference image feature of the image segment to be classified differs from the motion vector of at least one reference image feature of at least one bottom image segment by more than differentiates a given value.

Motor vehicle (3) with a computing device (1) according to Claim 12 ,