DE102014112078A1

DE102014112078A1 - Method for transforming an input image into an output image, driver assistance system and motor vehicle

Info

Publication number: DE102014112078A1
Application number: DE102014112078.7A
Authority: DE
Inventors: Venugopala K. Madumbu; Manikandan Erachan Kuttan; Prasad Joshi
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2014-08-22
Filing date: 2014-08-22
Publication date: 2016-02-25

Abstract

Die Erfindung betrifft ein Verfahren zum Transformieren eines Eingabebildes (7) in ein Ausgabebild (9). Das Eingabebild (7) wird mittels einer Kamera (3) eines Kraftfahrzeugs (1) bereitgestellt, und eine Transformationsfunktion (10), welche die Transformation von dem Eingabebild (7) zu dem Ausgabebild (9) beschreibt, wird bestimmt. Weiterhin werden Eingabekacheln (11), welche das Eingabebild (7) unterteilen, und Ausgabekacheln (12), welche das Ausgabebild (9) unterteilen, bereitgestellt. Bildpunkte der Eingabekacheln (11) werden zu Bildpunkten der Ausgabekacheln (12) anhand der Transformationsfunktion (10) zur Transformation des Eingabebildes (7) in das Ausgabebild (9) zugeordnet. Dabei wird eine Abbildungseigenschaft anhand der Transformationsfunktion (10) bestimmt und Abmessungen der Eingabekacheln (11) und/oder Abmessungen der Ausgabekacheln (12) werden abhängig von der Abbildungseigenschaft bestimmt.The invention relates to a method for transforming an input image (7) into an output image (9). The input image (7) is provided by a camera (3) of a motor vehicle (1), and a transformation function (10) describing the transformation from the input image (7) to the output image (9) is determined. Furthermore, input tiles (11) which divide the input image (7) and output tiles (12) which divide the output image (9) are provided. Pixels of the input tiles (11) are assigned to pixels of the output tiles (12) on the basis of the transformation function (10) for transforming the input image (7) into the output image (9). In this case, an imaging property is determined using the transformation function (10) and dimensions of the input tiles (11) and / or dimensions of the output tiles (12) are determined depending on the imaging property.

Description

Die Erfindung betrifft ein Verfahren zum Transformieren eines Eingabebildes in ein Ausgabebild. Das Eingabebild wird mittels einer Kamera eines Kraftfahrzeugs bereitgestellt. Eine Transformationsfunktion, welche die Transformation von dem Eingabebild zu dem Ausgabebild beschreibt, wird bestimmt. Zudem werden Eingabekacheln bereitgestellt, welche das Eingabebild unterteilen, und es werden Ausgabekacheln bereitgestellt, welche das Ausgabebild unterteilen. Weiterhin werden Bildpunkte der Eingabekacheln zu Bildpunkten der Ausgabekacheln anhand der Transformationsfunktion zur Transformation des Eingabebildes zu dem Ausgabebild zugeordnet. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug mit einem Fahrerassistenzsystem. The invention relates to a method for transforming an input image into an output image. The input image is provided by means of a camera of a motor vehicle. A transformation function describing the transformation from the input image to the output image is determined. In addition, input tiles are provided which divide the input image, and output tiles are provided which divide the output image. Furthermore, pixels of the input tiles are assigned to pixels of the output tiles based on the transformation function for transforming the input image to the output image. The invention also relates to a driver assistance system for a motor vehicle and to a motor vehicle having a driver assistance system.

Verfahren zum Transformieren eines Eingabebildes in ein Ausgabebild sind aus dem Stand der Technik bekannt. Transformationsvorschriften zum Transformieren liegen dabei meist in Form einer Transformationsfunktion vor. Die Transformationsfunktion besitzt von Fall zu Fall individuelle Abbildungseigenschaften. Vorliegend gilt das Interesse auch einer Transformationsfunktion, welche auf einem Verzeichnungsmodell basiert. So werden mit der Transformationsfunktion beziehungsweise mit dem Verzeichnismodell Verzeichnungen in dem Eingabebild korrigiert und ein möglichst verzeichnungsfreies Ausgabebild nach der Transformation ausgegeben. Verzeichnungen sind optische Verzerrungen. Die Verzeichnungen können ihren Ursprung in der Wahl der entsprechenden Objektive haben. So können vor allem Zoom-Objektive ausgeprägte Verzeichnungen erzeugen. Zum Weitwinkel hin werden die Verzeichnungen tonnenförmig, während die Verzeichnungen zur Teleeinstellung hin oft kissenförmig werden. Die Verzeichnungen sind bei einer Brennweite für ein Objektiv immer gleich und rotationssymmetrisch. Fischaugenobjektive stellen beispielsweise Bilder mit starker tonnenförmiger Verzeichnung bereit. Methods of transforming an input image into an output image are known in the art. Transformation rules for transforming are usually in the form of a transformation function. The transformation function has individual mapping properties from case to case. In the present case, the interest also applies to a transformation function which is based on a distortion model. Thus, with the transformation function or with the directory model, distortions in the input image are corrected and a possible distortion-free output image is output after the transformation. Distortions are optical distortions. The distortions may have their origin in the choice of the corresponding lenses. In particular, zoom lenses can produce pronounced distortions. The distortions become barrel-shaped towards the wide angle, while the distortions for telephoto adjustment often become pillow-shaped. The distortions are always the same and rotationally symmetric at a focal length for a lens. Fisheye lenses, for example, provide images with heavy barrel distortion.

Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem die Transformation des Eingabebildes zu dem Ausgabebild besonders effektiv durchgeführt werden kann. It is an object of the invention to provide a method, a driver assistance system and a motor vehicle, with which or in which the transformation of the input image to the output image can be carried out particularly effectively.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. This object is achieved by a method by a driver assistance system and by a motor vehicle with the features according to the respective independent claims.

Ein erfindungsgemäßes Verfahren dient zum Transformieren eines Eingabebildes in ein Ausgabebild. Das Eingabebild wird mittels einer Kamera eines Kraftfahrzeugs bereitgestellt, und eine Transformationsfunktion, welche die Transformation von dem Eingabebild zu dem Ausgabebild beschreibt, wird bestimmt. Weiterhin werden Eingabekacheln bereitgestellt, welche das Eingabebild unterteilen, und es werden Ausgabekacheln bereitgestellt, welche das Ausgabebild unterteilen. Bildpunkte der Eingabekacheln werden zu Bildpunkten der Ausgabekacheln anhand der Transformationsfunktion zur Transformation des Eingabebildes in das Ausgabebild zugeordnet. Erfindungsgemäß wird eine Abbildungseigenschaft anhand der Transformationsfunktion bestimmt, und abhängig von der Abbildungseigenschaft werden Abmessungen der Eingabekacheln und/oder Abmessungen der Ausgabekacheln bestimmt. A method according to the invention serves to transform an input image into an output image. The input image is provided by means of a camera of a motor vehicle, and a transformation function describing the transformation from the input image to the output image is determined. Furthermore, input tiles are provided which divide the input image, and output tiles are provided which divide the output image. Pixels of the input tiles are assigned to pixels of the output tiles based on the transformation function for transforming the input image into the output image. According to the invention, an imaging property is determined based on the transformation function, and depending on the imaging property, dimensions of the input tiles and / or dimensions of the output tiles are determined.

Durch das erfindungsgemäße Verfahren wird es also möglich, anhand der bestimmten Abbildungseigenschaft die Abmessungen der Eingabekacheln und/oder die Abmessungen der Ausgabekacheln zu bestimmen, insbesondere, bevor die Transformation ausgeführt worden ist. Die Abbilddungseigenschaft ist also eine bestimmte Eigenschaft von der Transformationsfunktion, welche Auskunft über das Verhalten der Transformationsfunktion gibt. So kann damit beispielsweise beschrieben werden, wie stark die Transformation sich auswirkt beziehungsweise wie weit Bildpunkte des Eingabebilds verschoben werden müssen um zu der vorgesehenen neuen Position in dem Ausgabebild zu gelangen. Im Stand der Technik werden für die Transformation fest vorgegebene Abmessungen der Eingabekacheln und/oder der Ausgabekacheln genutzt. Die Eingabekacheln und/oder die Ausgabekacheln können vorliegend Bereiche in dem Eingabebild bzw. Ausgabebild beschreiben, welche einen oder mehrere Bildpunkte umfassen. Aufgrund der veränderlich festgelegten Abmessungen beziehungsweise Größe der Eingabekacheln und/oder der Ausgabekacheln kann es vorkommen, dass manche Eingabekacheln nur zu einem geringen Teil für die Berechnung der Ausgabekacheln beteiligt sind. So besteht eine Ausgabekachel beispielsweise aus mehreren Eingabekacheln, welche zum Durchführen der Transformation alle in einen Speicher einer Auswerteeinheit geladen werden müssen. Es wird also im Stand der Technik eine große Menge Daten beziehungsweise Eingangsbilddaten in den Speicher verschoben, welche zum Teil gar nicht benötigt werden. The method according to the invention therefore makes it possible to determine the dimensions of the input tiles and / or the dimensions of the output tiles based on the particular imaging property, in particular before the transformation has been carried out. The mapping property is therefore a specific property of the transformation function, which provides information about the behavior of the transformation function. Thus, for example, it can be used to describe how strongly the transformation has an effect or how far pixels of the input image have to be shifted in order to arrive at the intended new position in the output image. In the prior art are for the Transformation fixed predetermined dimensions of the input tiles and / or the output tiles used. The input tiles and / or the output tiles may presently describe areas in the input image or output image that comprise one or more pixels. Due to the variably defined dimensions or size of the input tiles and / or the output tiles, it may happen that some input tiles are involved only to a small extent in the calculation of the output tiles. For example, an output tile consists of a plurality of input tiles, which must all be loaded into a memory of an evaluation unit in order to carry out the transformation. Thus, in the prior art, a large amount of data or input image data is shifted into the memory, some of which are not needed at all.

Vorzugsweise ist vorgesehen, dass als die Abbildungseigenschaft ein Grad der Verzeichnung des Eingabebildes beschrieben beziehungsweise charakterisiert wird. Dadurch wird es möglich, anhand des bestimmten Grades der Verzeichnung die Abmessungen der Eingabekacheln und/oder die Abmessungen der Ausgabekacheln zu bestimmen, insbesondere, bevor die Transformation ausgeführt worden ist. Im Stand der Technik werden für die Transformation fest vorgegebene Abmessungen der Eingabekacheln und/oder der Ausgabekacheln genutzt. Die Eingabekacheln und/oder die Ausgabekacheln können vorliegend Bereiche in dem Eingabebild bzw. Ausgabebild beschreiben, welche einen oder mehrere Bildpunkte umfassen. Aufgrund der veränderlich festgelegten Abmessungen beziehungsweise Größe der Eingabekacheln und/oder der Ausgabekacheln kann es vorkommen, dass manche Eingabekacheln nur zu einem geringen Teil für die Berechnung der Ausgabekacheln beteiligt sind. So besteht eine Ausgabekachel beispielsweise aus mehreren Eingabekacheln, welche zum Durchführen der Transformation alle in einen Speicher einer Auswerteeinheit geladen werden müssen. Es wird also im Stand der Technik eine große Menge Daten beziehungsweise Eingangsbilddaten in den Speicher verschoben, welche zum Teil gar nicht benötigt werden. Eine Korrektur der Verzeichnung kann also besonders effektiv ausgeführt werden. It is preferably provided that a degree of distortion of the input image is described or characterized as the imaging property. This makes it possible, on the basis of the determined degree of distortion, to determine the dimensions of the input tiles and / or the dimensions of the output tiles, in particular before the transformation has been carried out. In the prior art, fixed dimensions of the input tiles and / or the output tiles are used for the transformation. The input tiles and / or the output tiles may presently describe areas in the input image or output image that comprise one or more pixels. Due to the variably defined dimensions or size of the input tiles and / or the output tiles, it may happen that some input tiles are involved only to a small extent in the calculation of the output tiles. For example, an output tile consists of a plurality of input tiles, which must all be loaded into a memory of an evaluation unit in order to carry out the transformation. Thus, in the prior art, a large amount of data or input image data is shifted into the memory, some of which are not needed at all. A correction of the distortion can therefore be carried out particularly effectively.

Vor allem Datenbewegungen beziehungsweise Datenverschiebungen sind besonders zeitaufwendig. Dies ist insbesondere der Fall, wenn die Transformation mit einem SIMD-Verfahren (Single Instruction Multiple Data) durchgeführt wird. Das Transformieren beziehungsweise das Berechnen kann im Vergleich zu dem Bewegen von Daten beziehungsweise dem Verschieben von Daten schneller durchgeführt werden. Das erfindungsgemäße Verfahren ermöglicht also nun anhand des bestimmten Grades der Verzeichnung, welcher durch die Transformationsfunktion beziehungsweise das Verzeichnungsmodell vorliegt, ein Bestimmen der Abmessungen der Eingabekacheln und/oder der Abmessungen der Ausgabekacheln. Somit kann für jede Position in dem Eingabebild und/oder dem Ausgabebild eine optimale Abmessung beziehungsweise Größe der Eingabekacheln und/oder der Ausgabekacheln bereitgestellt werden. Optimalerweise werden nun die Abmessungen der Eingabekacheln und/oder deren Anzahl so bestimmt, dass diese möglichst vollständig, also mit einem großen Anteil in die Bestimmung beziehungsweise die Berechnung der jeweiligen Ausgabekachel eingehen. So ist es beispielsweise vorgesehen, dass, wenn die Eingabekacheln über eine jeweilige Ausgabekachel gelegt werden und ein Bereich, in welchem sich die Eingabekacheln und die Ausgabekachel nicht überlappen, minimiert wird. Above all, data movements or data shifts are particularly time-consuming. This is particularly the case when the transformation is performed with a SIMD (Single Instruction Multiple Data) method. Transforming can be done faster compared to moving data or moving data. The method according to the invention thus makes it possible to determine the dimensions of the input tiles and / or the dimensions of the output tiles on the basis of the specific degree of distortion which is present by the transformation function or the distortion model. Thus, for each position in the input image and / or the output image, an optimal size of the input tiles and / or the output tiles may be provided. Optimally, the dimensions of the input tiles and / or their number are now determined so that they are as complete as possible, ie enter into a large proportion in the determination or the calculation of the respective output tile. For example, it is contemplated that when the input tiles are laid over a respective output tile and an area where the input tiles and the output tile do not overlap is minimized.

Insbesondere ist vorgesehen, dass durch den Grad der Verzeichnung eine Abweichung von Positionen von Bildpunkten in dem Eingabebild zu Positionen von mittels der Transformationsfunktion transformierten Bildpunkten in dem Ausgabebild beschrieben wird. Der Grad der Verzeichnung beschreibt also, wie sehr sich die Position eines Bildpunktes des Eingabebildes zu der Position des Bildpunktes nach der Transformation in dem Ausgabebild geändert hat. Üblicherweise ist der Grad der Verzeichnung im Zentrum des Eingabebildes geringer als am Rand des Eingabebildes. Ein hoher Grad der Verzeichnung bedeutet also, dass die Abweichung von der Position groß ist. Es kann somit für jeden Bereich des Eingabebildes jeweils der zugehörige Grad der Verzeichnung bestimmt werden. In particular, it is provided that a deviation of positions of pixels in the input image to positions of pixels transformed by means of the transformation function in the output image is described by the degree of the distortion. The degree of distortion thus describes how much the position of a pixel of the input image has changed to the position of the pixel after the transformation in the output image. Usually, the degree of distortion in the center of the input image is less than at the edge of the input image. A high degree of distortion means that the deviation from the position is large. It can thus be determined for each area of the input image each of the associated degree of distortion.

Vorzugsweise ist vorgesehen, dass durch den Grad der Verzeichnung die Abweichung der Positionen der Bildpunkte in dem Eingabebild zu den Positionen der Bildpunkte in dem Ausgabebild entlang einer ersten Richtung und einer zur ersten Richtung senkrechten zweiten Richtung einer Bildebene des Eingabebildes beschrieben wird. Mit der ersten Richtung und der zweiten Richtung wird es möglich, die Abmessungen der Eingabekacheln und/oder der Abmessungen der Ausgabekacheln besonders einfach zu bestimmen. Die Eingabekacheln und/oder die Ausgabekacheln liegen vorzugsweise in Form von Rechtecken vor. Die Verwendung von Rechtecken hat in der Bildverarbeitung den Vorteil, dass damit eine eindeutige Grenze ausgewählt werden kann, falls das Rechteck auf zwei Seiten durch jeweils eine Zeile und auf zwei Seiten durch jeweils eine Spalte begrenzt ist. Die Matrix des Eingabebildes beziehungsweise des Ausgabebildes kann mit einem Rechteck, welches anhand zweier Zeilen und zweier Spalten begrenzt ist, besonders einfach und eindeutig ausgewählt werden. Die erste Richtung kann also nun verwendet werden, um eine Länge des Rechtecks beziehungsweise der Eingabekachel und/oder der Ausgabekachel zu bestimmen, während die zweite Richtung beispielsweise verwendet werden kann, um eine Breite des Rechtecks beziehungsweise der Eingabekachel und/oder der Ausgabekachel zu bestimmen. It is preferably provided that the degree of distortion describes the deviation of the positions of the pixels in the input image from the positions of the pixels in the output image along a first direction and a second direction of an image plane of the input image that is perpendicular to the first direction. With the first direction and the second direction, it becomes possible to particularly easily determine the dimensions of the input tiles and / or the dimensions of the output tiles. The input tiles and / or the output tiles are preferably in the form of rectangles. The advantage of using rectangles in image processing is that a unique boundary can be selected if the rectangle is delimited on two pages by one row and two pages by one column each. The matrix of the input image or of the output image can be selected in a particularly simple and unambiguous manner with a rectangle which is delimited by means of two rows and two columns. Thus, the first direction can now be used to determine a length of the rectangle or the input tile and / or the output tile, while the second direction can be used, for example, to determine a width of the rectangle or the input tile and / or the output tile.

Weiterhin ist vorgesehen, dass die Transformationsfunktion anhand einer Taylorreihe beschrieben wird und der Grad der Verzeichnung anhand von Koeffizienten der Taylorreihe bestimmt wird. Die Transformationsfunktion beziehungsweise das Verzeichnungsmodell kann also mit einer Taylorreihe beschrieben werden. Die Taylorreihe wiederum weist mehrere Koeffizienten auf. Anhand der Koeffizienten kann also ein Unterschied in die erste Richtung und in die zweite Richtung beziehungsweise der Grad der Verzeichnung bestimmt werden. Es kann also eine Aussage anhand der Parameter darüber getroffen werden, wie stark eine Linie in dem Eingabebild gekrümmt ist, welche in dem Ausgabebild als gerade vorliegt. Die Krümmung kann beispielsweise auch in die erste Richtung und in die zweite Richtung zerlegt werden. Somit können anhand der Koeffizienten die erste Richtung und die zweite Richtung des Grades der Verzeichnung bestimmt werden. Furthermore, it is provided that the transformation function is described on the basis of a Taylor series and the degree of distortion is determined on the basis of coefficients of the Taylor series. The transformation function or the distortion model can therefore be described with a Taylor series. The Taylor series in turn has several coefficients. Based on the coefficients, a difference in the first direction and in the second direction or the degree of distortion can thus be determined. Thus, a statement can be made based on the parameters of how much a line is curved in the input image which is considered straight in the output image. The curvature can for example also be decomposed in the first direction and in the second direction. Thus, the first direction and the second direction of the degree of distortion can be determined from the coefficients.

Weiterhin ist vorgesehen, dass die Abmessungen der Eingabekacheln und/oder die Abmessungen der Ausgabekacheln so bestimmt werden, dass die Anzahl der Eingabekacheln minimal ist. Es ist also beabsichtigt, dass vorzugsweise die Anzahl der für die Transformation beziehungsweise das Erstellen der Ausgabekachel notwendigen Eingabekacheln so gewählt wird, dass diese minimal ist. Es wird also versucht, die Eingabekacheln, welche zu der jeweiligen Ausgabekachel beitragen, minimal zu halten, um unnötige Datenbewegungen in dem Speicher der Auswerteeinheit zu vermeiden. Furthermore, it is provided that the dimensions of the input tiles and / or the dimensions of the output tiles are determined so that the number of input tiles is minimal. It is Thus, it is intended that preferably the number of input tiles necessary for the transformation or the creation of the output tile is chosen such that it is minimal. It is therefore attempted to keep the input tiles, which contribute to the respective output tile, to a minimum in order to avoid unnecessary data movements in the memory of the evaluation unit.

Insbesondere ist es vorgesehen, dass das Bestimmen der Abmessungen der Eingabekacheln und/oder der Abmessungen der Ausgabekacheln zusätzlich abhängig von einem Sichtfeld des Ausgabebildes durchgeführt wird. Bei vorliegendem Sichtfeld des Ausgabebildes, also einer Region von Interesse des Ausgabebildes, kann dementsprechend die Transformation und somit die Abmessungen der Eingabekacheln und/oder die Abmessungen der Ausgabekacheln angepasst werden. So ist in einem Eingabebild, welches beispielsweise mit einem Fischaugenobjektiv aufgenommen ist, üblicherweise ein Bereich mit beispielsweise Teilen des Kraftfahrzeugs, beispielsweise ein Stoßfänger und/oder ein Nummernschild, enthalten, welche nicht in das Ausgabebild transformiert werden müssen. Es ist also vorgesehen, dass der Sichtbereich, welcher in dem Eingabebild relevant ist, also wichtige beziehungsweise notwendige Informationen zeigt, auch in dem Ausgabebild bekannt ist und somit ausschließlich die Ausgabekacheln erzeugt beziehungsweise berechnet beziehungsweise transformiert werden, welche innerhalb des Sichtfeldes beziehungsweise des Sichtbereichs beziehungsweise der Region von Interesse angeordnet sind. Es werden somit Berechnungsschritte und Datenbewegungen im Speicher vermieden, wodurch die benötigte Zeit für die Transformation reduziert werden kann. In particular, it is provided that the determination of the dimensions of the input tiles and / or the dimensions of the output tiles is additionally performed as a function of a field of view of the output image. Given the present field of view of the output image, ie a region of interest of the output image, the transformation and thus the dimensions of the input tiles and / or the dimensions of the output tiles can accordingly be adapted. Thus, in an input image, which is taken for example with a fisheye lens, usually an area with, for example, parts of the motor vehicle, such as a bumper and / or a license plate, included, which need not be transformed into the output image. It is therefore provided that the field of view, which is relevant in the input image, ie important or necessary information, is also known in the output image and thus exclusively the output tiles are generated or calculated or transformed, which within the field of view or the field of view or the Region of interest are arranged. Thus, calculation steps and data movements in the memory are avoided, whereby the time required for the transformation can be reduced.

Weiterhin ist vorgesehen, dass die Abmessungen und/oder die Anzahl der Eingabekacheln und/oder die Abmessungen und/oder die Anzahl der Ausgabekacheln in Abhängigkeit einer zeitlichen Dauer eines schreibenden Speicherzugriffs auf einen Speicher einer Auswerteeinheit des Kraftfahrzeugs bestimmt werden. Das bedeutet, die Abmessungen und/oder die Anzahl der Eingabekacheln und/oder die Abmessungen und/oder die Anzahl der Ausgabekacheln werden vorzugsweise so bestimmt, dass die zeitliche Dauer eines schreibenden Schreibzugriffs minimiert wird. Zeitintensiv bei den Speicherzugriffen ist üblicherweise nicht der lesende Speicherzugriff, sondern der schreibende Speicherzugriff, also der Speicherzugriff, wenn neue Daten in den Speicher abgelegt werden beziehungsweise geschrieben werden. Somit ist vorzugsweise beabsichtigt, dass dieser schreibende Speicherzugriff minimal gehalten wird, um die Gesamtzeit für das Transformieren des Eingabebildes in das Ausgabebild so gering wie möglich zu halten. Furthermore, it is provided that the dimensions and / or the number of input tiles and / or the dimensions and / or the number of output tiles are determined as a function of a time duration of a write memory access to a memory of an evaluation unit of the motor vehicle. That is, the dimensions and / or the number of input tiles and / or the dimensions and / or the number of output tiles are preferably determined so that the time duration of a write write access is minimized. Time consuming in the memory accesses is usually not the read memory access, but the write memory access, so the memory access when new data is stored in the memory or be written. Thus, it is preferably intended that this write memory access be minimized to minimize the total time for transforming the input image into the output image.

Weiterhin ist vorgesehen, dass die Transformationsfunktion durch eine Lookup-Tabelle bereitgestellt wird. Die Lookup-Tabelle ist eine Umsetzungstabelle, welche häufig in der Informatik und in der Digitaltechnik verwendet wird, um Informationen statisch zu definieren und diese zur Laufzeit eines Programms – zur Vermeidung aufwendiger Berechnungen oder hohen Speicherbedarfs – zu benutzen. In der Lookup-Tabelle ist also jeweils die entsprechende Vorschrift für die jeweiligen Eingabekacheln zu den entsprechenden Ausgabekacheln. Es kann also beispielsweise für jede Position in dem Eingabebild und/oder dem Ausgabebild die Transformationsfunktion beziehungsweise eine Abbildungsvorschrift zur Verfügung gestellt werden. Es ist also nicht nötig, die Transformationsvorschrift für die Position der Eingabekachel und/oder der Ausgabekachel anhand der Transformationsfunktion zur Laufzeit zu bestimmen. Furthermore, it is provided that the transformation function is provided by a lookup table. The lookup table is a translation table that is often used in computer science and digital technology to statically define information and use it at runtime to avoid costly calculations or high memory requirements. In the lookup table, therefore, the appropriate rule for the respective input tiles is the corresponding output tiles. Thus, for example, the transformation function or a mapping rule can be provided for each position in the input image and / or the output image. It is therefore not necessary to determine the transformation rule for the position of the input tile and / or the output tile using the transformation function at runtime.

Weiterhin ist vorgesehen, dass die Transformationsfunktion eine Rückwärtszuordnung beschreibt, bei welcher jeder der Ausgabekacheln zumindest eine zugehörige Eingabekachel zugeordnet wird. Bei der Rückwärtszuordnung werden in dem Ausgabebild die Ausgabekacheln nacheinander, also kachelweise, durchlaufen, und für jede der Ausgabekacheln werden die zugehörigen beziehungsweise die beitragenden Eingabekacheln bereitgestellt. Es wird also bei der Rückwärtszuordnung für die jeweilige Ausgabekachel anhand der Transformationsfunktion bestimmt, welche und in welcher Form die Eingabekachel zu der Ausgabekachel beitragen. Vorteilhaft an der Rückwärtszuordnung ist, dass diese sicherstellt, dass jede der Ausgabekacheln bearbeitet werden beziehungsweise durch die Transformation einen Wert zugewiesen bekommen. It is further provided that the transformation function describes a backward assignment in which each of the output tiles is assigned at least one associated input tile. In the backward mapping, the output tiles in the output image are sequentially, ie, in tiles, through, and for each of the output tiles the corresponding or the contributing input tiles are provided. It is thus determined in the backward assignment for the respective output tile based on the transformation function, which and in what form the input tile contribute to the output tile. The advantage of the reverse assignment is that it ensures that each of the output tiles is processed or assigned a value by the transformation.

Weiterhin ist vorgesehen, dass die Rückwärtszuordnung anhand einer Vorwärtszuordnung, bei welcher jeder der Eingabekacheln zumindest eine zugehörige Ausgabekachel zugeordnet wird, bestimmt wird. Die Vorwärtszuordnung durchläuft das Eingabebild über alle Eingabekacheln, also eingabekachelweise, und transformiert diese Eingabekacheln an die durch die Transformationsvorschrift vorgegebene Position in dem Ausgabebild. Die Vorwärtszuordnung ist nichts anderes als eine zweidimensionale Matrix, welche die Zuordnung der Bildpunkte von dem Eingabebild zu dem Ausgabebild beschreibt. Anhand der Vorwärtszuordnung wird die Rückwärtszuordnung generiert, welche abhängig von den Eingabekacheln und/oder den Ausgabekacheln vorliegt. It is further provided that the backward assignment is determined on the basis of a forward assignment, in which each of the input tiles is assigned at least one associated output tile. The feedforward passes through the input image over all input tiles, ie input tile, and transforms these input tiles to the position specified by the transformation rule in the output image. The forward assignment is nothing but a two-dimensional matrix describing the mapping of the pixels from the input image to the output image. Based on the forward assignment, the backward assignment is generated, which is dependent on the input tiles and / or the output tiles.

Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug umfasst eine Kamera und eine Auswerteeinheit, wobei die Auswerteeinheit dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. A driver assistance system according to the invention for a motor vehicle comprises a camera and an evaluation unit, wherein the evaluation unit is designed to carry out a method according to the invention.

Vorzugsweise umfasst die Auswerteeinheit einen Speicher, der nach einem Ping-Pong-Verfahren betrieben wird und in welchem die Eingabekacheln gespeichert werden, um die Transformation durchzuführen. Das Ping-Pong-Verfahren ermöglicht einen Ping-Pong-Speicher der Auswerteeinheit. Der Ping-Pong-Speicher ist vorteilhaft, weil dieser als zweigeteilter Speicher vorliegen kann. So wird in dem einen Teil des Speichers auf die abgelegten Daten lesend zugegriffen, um diese im Zuge der Transformation zu benutzen, während in dem zweiten Teil die darauffolgend zu prozessierende Datenmenge geschrieben werden kann. Es kann also in dem ersten Teil des Ping-Pong-Speichers eine bestimmte Anzahl von Eingabekacheln vorhanden sein, welche in einem aktuellen Schritt prozessiert beziehungsweise transformiert werden, und in dem zweiten Teil des Ping-Pong-Speichers werden die Eingabekacheln für den Schritt nach dem aktuellen Schritt geschrieben, damit diese später für die Transformation schnell gelesen werde können und schnell zur Verfügung stehen. Wird danach auf den zweiten Teil des Ping-Pong-Speichers lesend zugegriffen, weil dieser für die Transformation genutzt wird, so kann der erste Teil des Speichers neu geschrieben werden. Vorteilhaft ist also eine Zeitersparnis beim Schreiben der Daten beziehungsweise der Eingabekacheln in dem Speicher der Auswerteeinheit. Die Transformation kann somit schneller ablaufen. Preferably, the evaluation unit comprises a memory which is operated according to a ping-pong method and in which the input tiles are stored in order to carry out the transformation. The ping-pong method enables a ping-pong memory of the evaluation unit. The ping-pong memory is advantageous because it can be present as a two-part memory. Thus, in the one part of the memory, the stored data is read-accessed for use in the course of the transformation, while in the second part the data amount to be processed subsequently can be written. Thus, there may be a certain number of input tiles in the first part of the ping-pong memory, which are processed in a current step, and in the second part of the ping-pong memory, the input tiles for the step after written current step, so that they can be read later for the transformation quickly and quickly available. If the second part of the ping-pong memory is subsequently read-accessed because it is used for the transformation, the first part of the memory can be rewritten. Thus, a time saving when writing the data or the input tiles in the memory of the evaluation unit is advantageous. The transformation can thus run faster.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem. An inventive motor vehicle, in particular a passenger car, comprises a driver assistance system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the driver assistance system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations or in isolation, without the frame to leave the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Embodiments of the invention are explained in more detail below with reference to schematic drawings.

Dabei zeigen: Showing:

1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystem; 1 in a schematic plan view of an embodiment of a motor vehicle according to the invention with a driver assistance system;

2 eine schematische Darstellung eines Eingabebildes mit einer tonnenförmigen Verzeichnung; 2 a schematic representation of an input image with a barrel distortion;

3 eine schematische Darstellung eines Ausgabebildes, welches nach der Transformation im Wesentlichen verzerrungsfrei ist; 3 a schematic representation of an output image which is substantially free of distortion after the transformation;

4 in schematischer Darstellung das Eingabebild, welches durch Eingabekacheln unterteilt ist; 4 a schematic representation of the input image, which is divided by input tiles;

5 in schematischer Darstellung das Ausgabebild, welches durch Ausgabekacheln unterteilt ist; 5 schematically the output image, which is divided by output tiles;

6 in schematischer Darstellung eine Transformation von Eingabekacheln in dem Eingabebild zu einer Ausgabekachel in dem Ausgabebild; 6 schematically a transformation of input tiles in the input image to an output tile in the output image;

7 einen Graphen, welcher einen Grad der Verzeichnung beschreibt; 7 a graph describing a degree of distortion;

8 einen weiteren Graphen, welcher einen weiteren Grad der Verzeichnung beschreibt; 8th another graph describing another degree of distortion;

9 ein Ablaufdiagramm, welches die Transformation von dem Eingabebild zu dem Ausgabebild beschreibt; und 9 a flowchart describing the transformation from the input image to the output image; and

10 ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens. 10 a flow diagram of an embodiment of a method according to the invention.

In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel eine Kamera 3 und eine Auswerteeinheit 4. Gemäß dem Ausführungsbeispiel in 1 ist die Kamera 3 an einem Heck 5 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 3 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 6 des Kraftfahrzeugs 1 erfasst werden kann. In 1 is a schematic plan view of a motor vehicle 1 with a driver assistance system 2 represented according to an embodiment of the invention. The driver assistance system 2 includes in the embodiment a camera 3 and an evaluation unit 4 , According to the embodiment in 1 is the camera 3 at a stern 5 of the motor vehicle 1 arranged. The arrangement of the camera 3 However, is possible in many ways, but preferably so that a surrounding area 6 of the motor vehicle 1 can be detected.

Die Kamera 3 kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, welche ein Eingabebild 7 – wie in 2 dargestellt – zur Verfügung stellt. Es können auch mehrere solcher Kameras 3 eingesetzt werden. Die Kamera 3 ist eine Videokamera, welche kontinuierlich eine Bildsequenz von Eingabebildern 7 bereitstellt. Das Eingabebild 7 ist ein Einzelbild (Frame). Die Auswerteeinheit 4 verarbeitet dann die Bildsequenz der Eingabebilder 7 beispielsweise in Echtzeit. The camera 3 may be a CMOS camera or a CCD camera or any image capture device, which is an input image 7 - as in 2 presented - provides. There can also be several such cameras 3 be used. The camera 3 is a video camera which continuously displays an image sequence of input images 7 provides. The input image 7 is a single frame. The evaluation unit 4 then processes the image sequence of the input images 7 for example, in real time.

Das in 2 dargestellte Eingabebild 7 ist mit der Kamera 3 aufgenommen. Das Eingabebild 7 zeigt eine eine Abbildungseigenschaft definierende tonnenförmige Verzeichnung, welche beispielsweise durch ein Fischaugenobjektiv der Kamera 3 entstanden ist. Vorliegend zeigt das Eingabebild 7 ein Messmuster. Anhand des Messmusters 8 kann die tonnenförmige Verzeichnung besonders gut visualisiert werden. Das Eingabebild 7 dient vorzugsweise dazu, den Umgebungsbereich 6 des Kraftfahrzeugs 1 darzustellen. This in 2 displayed input image 7 is with the camera 3 added. The input image 7 FIG. 12 shows a barrel-shaped distortion defining an imaging property, for example, by a fisheye lens of the camera 3 originated. The input picture shows here 7 a measurement pattern. Based on the measurement pattern 8th the barrel distortion can be visualized very well. The input image 7 is preferably used to the surrounding area 6 of the motor vehicle 1 display.

3 zeigt ein Ausgabebild 9 mit dem Messmuster 8, wobei das Messmuster 8 nicht mehr verzeichnet beziehungsweise verzerrt ist. Das Ausgabebild 9 liegt also nach der Transformation des Eingabebildes 7 vor. In dem Ausgabebild 9 wurde die Verzeichnung aus dem Eingabebild 7 mittels einer Transformationsfunktion 10 korrigiert. Das Ausgabebild 9 ist also im Wesentlichen frei von Verzeichnungseffekten. Die Verzeichnungseffekte können sowohl die schon erwähnte tonnenförmige Verzeichnung sein als auch eine kissenförmige Verzeichnung. 3 shows an output image 9 with the measurement pattern 8th , where the measurement pattern 8th is no longer recorded or distorted. The output image 9 is thus after the transformation of the input image 7 in front. In the output image 9 was the distortion from the input image 7 by means of a transformation function 10 corrected. The output image 9 is therefore essentially free from distortion effects. The distortion effects can be both the already mentioned barrel distortion as well as a pincushion distortion.

4 zeigt das Eingabebild 7, welches durch Eingabekacheln 11 unterteilt ist. Die Eingabekacheln 11 unterteilen das Eingabebild 7, um das Eingabebild 7 teilweise, also nicht auf einmal, zu dem Ausgabebild 9 zu transformieren. Die Eingabekacheln 11 sind in dem vorliegenden Ausführungsbeispiel quadratisch ausgebildet. 4 shows the input image 7 which through input tiles 11 is divided. The input tiles 11 divide the input image 7 to the input image 7 partially, so not at once, to the output image 9 to transform. The input tiles 11 are square in the present embodiment.

5 zeigt das Ausgabebild 9, welches durch Ausgabekacheln 12 unterteilt ist. Die Ausgabekacheln 12 unterteilen das Ausgabebild 9, damit das Ausgabebild 9 Stück für Stück durch die Transformation aufgebaut werden kann. Die Ausgabekacheln 12 sind in dem vorliegenden Ausführungsbeispiel rechteckförmig ausgebildet. 5 shows the output image 9 passing through output tiles 12 is divided. The output tiles 12 divide the output image 9 , so that the output image 9 Piece by piece can be built by the transformation. The output tiles 12 are rectangular in the present embodiment.

6 zeigt schematisch die Transformation des Eingabebildes 7 in das Ausgabebild 9. Es werden in dem links angeordneten Eingabebild 7 Abmessungen der Eingabekacheln 11 so bestimmt, dass diese möglichst optimal, das heißt ohne viel Überlapp, in die ebenfalls bezüglich der Abmessungen angepasste Ausgabekachel 12 des Ausgabebildes 9 mittels der Transformationsfunktion 10 transformiert werden kann. Das Anpassen der Abmessungen der Eingabekacheln 11 und/oder der Ausgabekacheln 12 erfolgt vor der Transformation und wird anhand eines Grades der Verzeichnung bestimmt. 6 schematically shows the transformation of the input image 7 in the output image 9 , It will be in the input image on the left 7 Dimensions of the input tiles 11 so determined that this optimally possible, that is, without much overlap, in the also adapted to the dimensions output tile 12 of the output image 9 by means of the transformation function 10 can be transformed. Adjusting the dimensions of the input tiles 11 and / or the output tiles 12 occurs before the transformation and is determined by a degree of distortion.

Es ist also vorgesehen, dass die Abmessungen der Eingabekacheln 11 und/oder der Ausgabekacheln 12 so bestimmt werden, dass möglichst wenig Informationen der Eingabekachel 11, welche nicht bei der Transformation verwendet wird, bereitgestellt werden muss, um die Ausgabekachel 12 zu erzeugen. Die Ausgabekachel 12 setzt sich also – wie beispielsweise in 6 gezeigt – aus mehreren Eingabekacheln 11 zusammen. Die Ausgabekachel 12 beschreibt also, welcher Bereich in dem Ausgabebild 9 durch die Transformation in dem aktuellen Schritt belegt beziehungsweise erzeugt wird. Dieser Bereich beziehungsweise diese Ausgabekachel 12 wird, wie in 6 gezeigt, durch mehrere Eingabekacheln 11 aus dem Eingabebild 7 errechnet beziehungsweise erzeugt. It is therefore envisaged that the dimensions of the input tiles 11 and / or the output tiles 12 be determined so that as little information of the input tile 11 , which is not used in the transformation, must be provided to the output tile 12 to create. The output tile 12 So it sits down - like in 6 shown - from several input tiles 11 together. The output tile 12 So describes which area in the output image 9 is occupied or generated by the transformation in the current step. This area or this output tile 12 will, as in 6 shown by several input tiles 11 from the input screen 7 calculated or generated.

In 6 ist in dem Eingabebild 7 der Übersichtlichkeit halber nur eine rücktransformierte Ausgabekachel 13 gezeigt. Die rücktransformierte Ausgabekachel 13 zeigt, welcher Bereich in dem Eingabebild 7 optimalerweise von den Eingabekacheln 11 abgedeckt werden muss, um die Ausgabekachel 12 bereitstellen beziehungsweise erzeugen zu können. Ziel ist es also, die Eingabekachel 11 in ihren Abmessungen so zu bestimmen, dass diese möglichst wenig über die rücktransformierte Ausgabekachel 13 herausragen. Anders herum kann natürlich auch die Ausgabekachel 12 bezüglich ihrer Abmessungen so bestimmt werden, dass diese nach der gedachten Rücktransformation – dann als rücktransformierter Ausgabebereich 13 – möglichst passend zu der Eingabekachel 11 ist. Dabei ist insbesondere vorgesehen, dass die rücktransformierte Ausgabekachel 13 komplett von den Eingabekacheln 11 abgedeckt ist. Die Eingabekacheln 11 sollten aber soweit möglich nicht über die rücktransformierte Ausgabekachel 13 hinausragen. In 6 is in the input image 7 for the sake of clarity, only a back-transformed output tile 13 shown. The retransformed output tile 13 shows which area in the input image 7 optimally from the input tiles 11 must be covered to the output tile 12 be able to provide or produce. The goal is therefore the input tile 11 To determine in their dimensions so that they as little as possible on the back-transformed output tile 13 protrude. Of course, the output tile can also be the other way around 12 in terms of their dimensions are determined so that this after the imaginary back transformation - then as a back transformed output range 13 - as appropriate to the input tile 11 is. It is provided in particular that the back-transformed output tile 13 completely from the input tiles 11 is covered. The input tiles 11 but should not as far as possible on the rücktransformierte output tile 13 protrude.

Um die Abmessungen der Eingabekacheln 11 und/oder der Ausgabekacheln 12 in eine erste Richtung x und eine zweite Richtung y bestimmen zu können, wird der Grad der Verzeichnung anhand der Transformationsfunktion bestimmt. Dies kann wie folgt ablaufen, indem von der Transformationsfunktion 10 beziehungsweise einem Verzeichnungsmodell ausgegangen wird:

wobei x, y die Koordinaten eines Bildpunktes in dem Eingabebild 7 sind, während x*, y* die transformierten Bildpunkte in dem Ausgabebild 9 sind. x_c, y_c ist das Zentrum von dem Verzeichnungsmodell der Kamera 3. Das Zentrum des Verzeichnismodells liegt normalerweise nahe der Mitte des Eingabebildes 7. Ein Abstand r für jeden Bildpunkt zu dem Zentrum des Verzeichnismodells wird mit folgender mathematischer Darstellung beschrieben:

To the dimensions of the input tiles 11 and / or the output tiles 12 in a first direction x and a second direction y, the degree of distortion is determined by means of the transformation function. This can be done as follows by the transformation function 10 or a distortion model is assumed:

where x, y are the coordinates of a pixel in the input image 7 while x *, y * are the transformed pixels in the output image 9 are. x _c , y _c is the center of the distortion model of the camera 3 , The center of the directory model is usually near the middle of the input image 7 , A distance r for each pixel to the center of the directory model is described with the following mathematical representation:

Weiterhin kann eine Funktion L(r) bestimmt werden, welche eine Form des Verzeichnungsmodells definiert. L(r) kann beispielsweise mittels einer Taylorreihe approximiert werden. Somit ist: L(r) = k₀ + k₁r + k₂r² + k₄r³ + ..., wobei k = (k₀, k₁, ..., k_N)^T. Furthermore, a function L (r) can be determined which defines a shape of the distortion model. L (r) can for example be approximated by means of a Taylor series. Thus: L (r) = k ₀ + k ₁ r + k ₂ r ² + k ₄ r ³ + ..., where k = (k ₀ , k ₁ , ..., k _N ) ^T.

Der Vektor k enthält also nun die Parameter beziehungsweise die Koeffizienten der Verzeichnung. Anhand der Koeffizienten k₀ bis k_N kann folglich der Grad der Verzeichnung bestimmt werden. The vector k thus now contains the parameters or the coefficients of the distortion. The degree of distortion can thus be determined on the basis of the coefficients k ₀ to k _N.

Anhand der Koeffizienten k₀ bis k_N kann also beispielsweise eine Verzeichnung beziehungsweise eine Stärke der Verzeichnung in die erste Richtung x und/oder in die zweite Richtung y bestimmt werden. So zeigt beispielsweise 7 eine verzeichnete Kurve 14, welche in dem Eingabebild 7 vorliegt. Die verzeichnete Kurve 14 ist nach der Transformation in dem Ausgabebild 9 eine gerade Linie. Die verzeichnete Kurve 14 beschreibt also den Grad der Verzeichnung an einer entsprechenden Position in dem Eingabebild 7. Die verzeichnete Kurve 14 verdeutlicht, dass die Verzeichnung in die zweite Richtung y stärker ist als in die erste Richtung x. On the basis of the coefficients k ₀ to k _N , for example, a distortion or a strength of the distortion in the first direction x and / or in the second direction y can be determined. So shows, for example 7 a recorded curve 14 , which in the input image 7 is present. The recorded curve 14 is after the transformation in the output image 9 a straight line. The recorded curve 14 thus describes the degree of distortion at a corresponding position in the input image 7 , The recorded curve 14 illustrates that the distortion in the second direction y is stronger than in the first direction x.

Gemäß der 7 schneidet die verzeichnete Kurve 14 ein Koordinatensystem 15 auf einer Achse des Koordinatensystems 15 in die zweite Richtung y bei ungefähr dem doppelten Wert als eine Achse des Koordinatensystems 15 in die erste Richtung x geschnitten wird. Der Wert in die erste Richtung x liegt bei –5 und 5, während der Wert in die zweite Richtung y bei 10 liegt. Somit kann beispielsweise die Abmessung der Ausgabekachel 12 ebenfalls in die erste Richtung x 5 betragen und in die zweite Richtung y 10 betragen. According to the 7 cuts the recorded curve 14 a coordinate system 15 on an axis of the coordinate system 15 in the second direction y at about twice the value as an axis of the coordinate system 15 is cut in the first direction x. The value in the first direction x is -5 and 5, while the value in the second direction y is 10. Thus, for example, the dimension of the output tile 12 also be in the first direction x 5 and be in the second direction y 10.

8 zeigt die verzeichnete Kurve 14 an einer anderen Position in dem Eingabebild 7 oder von einem anderen Eingabebild 7. In diesem Fall ist die Verzeichnung die erste Richtung x deutlicher als in die zweite Richtung y ausgeprägt. Die Größe der Ausgabekachel 12 kann also beispielsweise in die erste Richtung x 10 und in die zweite Richtung y 5 betragen. In diesem Fall kann man beispielsweise mit nur wenigen der Ausgabekacheln 12 einen großen Teil des Ausgabebildes 9 in die erste Richtung x erzeugen beziehungsweise rekonstruieren, während man in dem Fall wie im Stand der Technik mit fixen Abmessungen der Ausgabekachel 12 mehrere Ausgabekacheln 12 benötigt, um das Ausgabebild 9 in die x-Richtung zu rekonstruieren beziehungsweise zu erzeugen beziehungsweise zu transformieren. 8th shows the recorded curve 14 at another position in the input image 7 or from another input image 7 , In this case, the distortion is more pronounced in the first direction x than in the second direction y. The size of the output tile 12 Thus, for example, it may be x 10 in the first direction and y 5 in the second direction. In this case you can, for example, use only a few of the output tiles 12 a large part of the output image 9 in the first direction x, or reconstruct, while in the case as in the prior art with fixed dimensions of the output tile 12 several output tiles 12 needed to get the output image 9 in the x-direction to reconstruct or create or transform.

9 zeigt also noch mal den Ablauf des Verfahrens. In dem Eingabebild 7 wird also die Eingabekachel 11 bestimmt. Diese wird in einem Speicher 16 der Auswerteeinheit 4 übertragen. Der Speicher 16 umfasst einen Ping-Pong-Speicher 17, in welchem die Eingabekacheln 11 nach dem Ping-Pong-Prinzip beziehungsweise dem Ping-Pong-Verfahren abgespeichert werden. So wird in einem Ping-Teil 18 des Ping-Pong-Speichers 17 zumindest eine der Eingabekacheln 11 für den nächsten Schritt geschrieben, während die Eingabekacheln 11 in einem Pong-Teil des Ping-Pong-Speichers 17 gerade mit der Transformationsfunktion 10 transformiert werden. Die Transformationsfunktion 10 liegt in Form einer Lookup-Tabelle 20 vor. Die Lookup-Tabelle 20 wird ebenfalls in den Speicher 16 eingelesen, um dort ebenfalls nach dem Ping-Pong-Prinzip bearbeitet zu werden. Nach der Transformation, wenn die Eingabekacheln 11 in die Ausgabekacheln 12 gewandelt sind, werden sie in einem weiteren Speicher 21 ebenfalls nach dem Ping-Pong-Prinzip gespeichert beziehungsweise weiterverarbeitet, um schließlich in das Ausgabebild 9 mit den jeweiligen Ausgabekacheln 12 geschrieben zu werden. 9 So again shows the procedure of the procedure. In the input image 7 becomes the input tile 11 certainly. This is in a store 16 the evaluation unit 4 transfer. The memory 16 includes a ping-pong memory 17 in which the input tiles 11 be stored according to the ping-pong principle or the ping-pong method. So will be in a ping part 18 the ping-pong memory 17 at least one of the input tiles 11 written for the next step while the input tiles 11 in a pong part of the ping-pong memory 17 just with the transformation function 10 be transformed. The transformation function 10 lies in the form of a lookup table 20 in front. The lookup table 20 will also be in memory 16 read in order to be processed there also according to the ping-pong principle. After the transformation, when the input tiles 11 in the output tiles 12 they are converted into another store 21 also stored according to the ping-pong principle or further processed to finally in the output image 9 with the respective output tiles 12 to be written.

10 zeigt ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens. So wird in einem Schritt S1 der Grad der Verzeichnung und/oder ein Sichtfeld des Ausgabebildes 9 bestimmt beziehungsweise berechnet. In einem Schritt S2, welcher nach dem Schritt S1 folgt, wird die Abmessung der Ausgabekachel 12 bestimmt, um dadurch einen Speicherverbrauch von dem Speicher 16, 21 zu minimieren beziehungsweise so gering wie möglich zu halten. Anschließend wird in einem Schritt S3 die Lookup-Tabelle 20 anhand der Transformationsfunktion 10 bestimmt. Schließlich wird in einem Schritt S4 das Ausgabebild 9 kachelweise, also Ausgabekachel 12 für Ausgabekachel 12, rekonstruiert beziehungsweise erzeugt beziehungsweise bestimmt. 10 shows a schematic flow diagram of an embodiment of the method. Thus, in a step S1, the degree of distortion and / or a field of view of the output image 9 determined or calculated. In a step S2 following the step S1, the dimension of the output tile becomes 12 thereby determining a memory consumption from the memory 16 . 21 to minimize or keep as low as possible. Subsequently, in a step S3, the lookup table 20 based on the transformation function 10 certainly. Finally, in a step S4, the output image 9 tile-wise, so output tile 12 for output tile 12 , reconstructed or generated or determined.

Claims

Method for transforming an input image ( 7 ) into an output image ( 9 ) with the steps: - providing the input image ( 7 ) by means of a camera ( 3 ) of a motor vehicle ( 1 ), - determining a transformation function ( 10 ), which transforms the input image ( 7 ) to the output image ( 9 ), - providing input tiles ( 11 ), which the input image ( 7 ) and providing output tiles ( 12 ), which the output image ( 9 ), and - assigning pixels of the input tiles ( 11 ) to pixels of the output tiles ( 12 ) using the transformation function ( 10 ) for transforming the input image ( 7 ) in the output image ( 9 ), characterized by - determining a mapping property by means of the transformation function ( 10 ), and - determining dimensions of the input tiles ( 11 ) and / or dimensions of the output tiles ( 12 ) depending on the picture characteristic.

A method according to claim 1, characterized in that as the imaging characteristic, a degree of distortion of the input image (Fig. 7 ) is characterized.

A method according to claim 2, characterized in that by the degree of distortion a deviation of positions of pixels in the input image ( 7 ) to positions of by means of the transformation function ( 10 ) transformed pixels in the output image ( 9 ) is described.

Method according to Claim 3, characterized in that the degree of distortion determines the deviation of the positions of the pixels in the input image ( 7 ) to the positions of the pixels in the output image ( 9 ) along a first direction (x) and a second direction (y), which is perpendicular to the first direction, of an image plane of the input image ( 7 ) is described.

Method according to one of claims 2 to 4, characterized in that the transformation function ( 10 ) is described on the basis of a Taylor series and the degree of distortion is determined on the basis of coefficients of the Taylor series.

Method according to one of the preceding claims, characterized in that the dimensions of the input tiles ( 11 ) and / or the dimensions of the output tiles ( 12 ) are determined so that the number of input tiles ( 11 ) is minimal.

Method according to one of the preceding claims, characterized in that the determination of the dimensions of the input tiles ( 11 ) and / or the dimensions of the output tiles ( 12 ) additionally depending on a field of view of the output image ( 9 ) is carried out.

Method according to one of the preceding claims, characterized in that the dimensions and / or the number of input tiles ( 11 ) and / or the dimensions and / or the number of output tiles ( 12 ) as a function of a time duration of a write memory access to a memory ( 16 . 21 ) of an evaluation unit ( 4 ) of the motor vehicle ( 1 ) is determined.

Method according to one of the preceding claims, characterized in that the transformation function ( 10 ) by means of a lookup table ( 20 ) provided.

Method according to one of the preceding claims, characterized in that the transformation function ( 10 ) describes a backward mapping in which each of the output tiles ( 12 ) at least one associated input tile ( 11 ).

Method according to Claim 9, characterized in that the backward assignment is based on a forward assignment in which each of the input tiles ( 11 ) at least one associated output tile ( 12 ) is determined.

Driver assistance system ( 2 ) with a camera ( 3 ) and with an evaluation unit ( 4 ) which is adapted to perform a method according to any one of the preceding claims.

Driver assistance system according to claim 11, characterized in that the evaluation unit ( 4 ) a memory ( 17 ), which is operated according to a ping-pong method and in which the input tiles ( 11 ) to perform the transformation.

Motor vehicle ( 1 ) with a driver assistance system ( 2 ) according to claim 12.