DE102011081364A1

DE102011081364A1 - Method for evaluating image of camera, such as vehicle camera, used in vehicle for detecting surroundings of vehicle, involves determining contrast value and intensity level of pixel of image section

Info

Publication number: DE102011081364A1
Application number: DE102011081364A
Authority: DE
Inventors: Wolfgang Sepp
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-08-23
Filing date: 2011-08-23
Publication date: 2013-02-28

Abstract

The evaluation method involves determining a contrast value and an intensity level of a pixel of an image section. A contrast is defined by the contrast value between two pixels at an image point. Another contrast value for another pixel is determined, where the contrast value defines the contrast between the two pixels at another pixel image point. A contrast value distribution is amended by the contrast value, where contrast value distribution is assigned to the intensity level of the picture element or pixel, and amending the former contrast value distribution by the latter contrast value. Independent claims are included for the following: (1) a method for controlling a camera to capture an image; (2) a device, designed to perform the evaluation method; and (3) a computer program product, executed on the device, with program code for performing the evaluation method.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Auswertung eines Bildes einer Kamera, auf ein Verfahren zur Regelung einer Kamera, beispielsweise einer Fahrzeugkamera, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.The present invention relates to a method for evaluating an image of a camera, to a method for controlling a camera, for example a vehicle camera, to a corresponding device and to a corresponding computer program product.

Eine Kamera kann in einem Fahrzeug zur Erfassung des Umfelds des Fahrzeugs eingesetzt werden. Die Kameraregelung erfolgt in der Regel über eine Auswertung eines Histogamms, üblicherweise eines Helligkeits-Histogamms oder eines Graustufen-Histogamms und davon abgeleitete Größen, wie z.B. globaler Kontrast, Mittelwert, Median oder Standardabweichung.A camera can be used in a vehicle to detect the environment of the vehicle. The camera control is usually done via an evaluation of a histogram, usually a brightness histogram or a gray scale histogram, and quantities derived therefrom, e.g. global contrast, mean, median or standard deviation.

Das Dokument DE 102 54 806 B4 zeigt ein Verfahren zur Informationsverarbeitung von wenigstens zwei Informationsquellen in einem Kraftfahrzeug.The document DE 102 54 806 B4 shows a method for information processing of at least two information sources in a motor vehicle.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren, weiterhin ein Steuergerät, das dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.Against this background, the present invention provides a method, furthermore a control unit which uses this method and finally a corresponding computer program product according to the main claims. Advantageous embodiments emerge from the respective subclaims and the following description.

Lokale Kontraste in einem Bild können gezielt zur Auswertung eines Bildes, beispielsweise eines digitalen Bildes, einer Kamera herangezogen werden. Dazu können lokale Kontraste über eine bestimmte Bildfläche ermittelt werden und zur Erstellung von Listen oder Histogrammen genutzt werden, die entweder in eine Regelung der Kamera oder in eine weiterführende Bildauswertung des Bilds oder weiterer Bilder der Kamera einfließen können. Eine weiterführende Bildauswertung betrachtet meist lokale Kontraste.Local contrasts in an image can be specifically used to evaluate an image, for example a digital image, a camera. For this purpose, local contrasts can be determined over a certain image area and used to create lists or histograms, which can be incorporated either in a regulation of the camera or in a further image analysis of the image or other images of the camera. Further image analysis usually looks at local contrasts.

In Bezug auf die lokalen Kontraste können beispielsweise helligkeitsspezifische lokale Kontraste oder graustufenspezifische lokale Kontrasten betrachtet werden, gegebenenfalls zusammen mit Helligkeits-Histogrammen oder Graustufen-Histogrammen des Bildes. Auf Grundlage einer solchen Betrachtung kann entschieden werden, in welchem Helligkeitsbereich oder Graustufenbereich relevante Information enthalten ist.With regard to the local contrasts, for example, brightness-specific local contrasts or gray scale-specific local contrasts may be considered, optionally together with brightness histograms or grayscale histograms of the image. On the basis of such a consideration, it can be decided in which brightness range or gray scale range relevant information is contained.

Auf diese Weise kann die Bildauswertung erleichtert werden, da eine Information darüber besteht, welche der lokalen Kontraste im Bild als relevant erachtet werden können.In this way, the image evaluation can be facilitated because there is information about which of the local contrasts in the image can be considered relevant.

Die vorliegende Erfindung schafft ein Verfahren zur Auswertung eines Bildes einer Kamera, das die folgenden Schritte umfasst:
Bestimmen eines ersten Kontrastwertes und einer ersten Intensitätsstufe eines ersten Bildpunktes eines Bereichs des Bildes, wobei der erste Kontrastwert einen Kontrast zwischen dem ersten Bildpunkt und zumindest einem weiteren zu dem ersten Bildpunkt benachbarten Bildpunkt definiert;
Bestimmen eines zweiten Kontrastwertes eines zweiten Bildpunktes des Bereichs des Bildes, wobei der zweite Kontrastwert einen Kontrast zwischen dem zweiten Bildpunkt und zumindest einem weiteren zu dem zweiten Bildpunkt benachbarten Bildpunkt definiert;
Ergänzen einer der ersten Intensitätsstufe des ersten Bildpunktes zugeordneten ersten Kontrastwerteverteilung durch den ersten Kontrastwert; und
Ergänzen der ersten Kontrastwerteverteilung durch den zweiten Kontrastwert, wenn die zweite Intensitätsstufe des zweiten Bildpunktes der ersten Intensitätsstufe entspricht, oder Ergänzen einer der zweiten Intensitätsstufe des zweiten Bildpunktes zugeordneten zweiten Kontrastwerteverteilung durch den zweiten Kontrastwert, wenn die zweite Intensitätsstufe nicht der ersten Intensitätsstufe entspricht.The present invention provides a method for evaluating an image of a camera comprising the following steps:
Determining a first contrast value and a first intensity level of a first pixel of a region of the image, wherein the first contrast value defines a contrast between the first pixel and at least one further pixel adjacent to the first pixel;
Determining a second contrast value of a second pixel of the region of the image, the second contrast value defining a contrast between the second pixel and at least one further pixel adjacent to the second pixel;
Supplementing a first contrast value distribution assigned to the first intensity level of the first pixel by the first contrast value; and
Supplementing the first contrast value distribution by the second contrast value if the second intensity level of the second pixel corresponds to the first intensity level, or if the second intensity level of the second intensity level does not correspond to the first intensity level.

Bei der Kamera kann es sich um eine Kamera handeln, die an einem Fahrzeug angeordnet ist. Beispielsweise kann die Kamera ausgebildet sein, um fortlaufend Bilder einer Umgebung des Fahrzeugs aufzunehmen. Die Kamera kann als Digitalkamera ausgeführt sein, so dass es sich bei dem Bild um ein Bild handeln kann, dessen Bildinformation als digitale Information vorliegt. Das Bild kann aus einer Mehrzahl von Bildpunkten oder Pixeln aufgebaut sein. Die Bildpunkte können in einer Mehrzahl von Teilen und Spalten angeordnet sein. Jedem Bildpunkt kann eine Intensitätsstufe zugeordnet sein. Eine Intensitätsstufe kann beispielsweise ein Helligkeitsstufe oder eine Graustufe sein. Die Intensitätsstufe kann durch einen Intensitätswert repräsentiert sein. Der Intensitätswert kann ein elektrisches Signal sein, dass von einem dem Bildpunkt zugeordneten Bereich eines Bildsensors der Kamera ausgegeben wird. Eine von einem Bildpunkt abbildbare Intensitätsskala kann in eine Mehrzahl unterschiedlicher Intensitätsstufen unterteilt sein. Jedem Bildpunkt des Bilds kann eine Intensitätsstufe aus der Mehrzahl unterschiedlicher Intensitätsstufen zugewiesen sein. Weisen zwei benachbarte Bildpunkte unterschiedliche Intensitätsstufen auf, so besteht ein Kontrast zwischen den beiden benachbarten Bildpunkten. Der Kontrastwert eines Bildpunkt kann ein Maß für den Kontrast zwischen dem Bildpunkt und einem oder mehreren angrenzenden weiteren Bildpunkten sein. Beispielsweise kann der Kontrastwert ein Maß zwischen dem Bildpunkt und allen an den Bildpunkt direkt angrenzenden weiteren Bildpunkten sein. Der Kontrastwert kann einen lokalen Kontrast des Bildpunkts definieren. Für jede mögliche der Intensitätsstufen oder für jede in zumindest einem Bildpunkt des Bildes eingenommene Intensitätsstufe kann eine Kontrastwerteverteilung vorgesehen sein. In einer Kontrastwerteverteilung einer speziellen Intensitätsstufe können alle Kontrastwerte eingetragen werden, die bezüglich aller Bildpunkte bestimmt wurden, die die spezielle Intensitätsstufe aufweisen. Die Kontrastwerte können skaliert sein. Eine Kontrastwerteverteilung kann eine Häufigkeitsverteilung der Kontrastwerte darstellen. Somit kann die Kontrastwerteverteilung eine Auflistung darüber umfassen, welche Kontrastwerte wie oft aufgetreten sind. Die Kontrastwerteverteilung kann als eine Liste oder ein Histogramm verstanden werden. Die Liste kann als Grundlage für ein Histogramm dienen. Ein Histogramm kann eine graphische Darstellung der Häufigkeitsverteilung der Kontrastwerte darstellen. Über eine den Wertebereiche der Kontrastwerte abbildenden Achse können als Balken die einzelnen Häufigkeiten des Vorkommens der Kontrastwerte aufgetragen sein. Aus den für die einzelnen Intensitätsstufen ermittelten Kontrastwerteverteilungen kann eine intensitätsspezifische Kontrastwerteverteilung über alle im Bild vorhandenen oder möglichen Intensitätsstufen ermittelt werden. Es können für alle Bildpunkte des Bereichs die jeweiligen Kontrastwerte bestimmt und die jeweils zugeordnete Kontrastwerteverteilung eingetragen werden.The camera may be a camera mounted on a vehicle. For example, the camera may be configured to continuously record images of an environment of the vehicle. The camera may be implemented as a digital camera, so that the image may be an image whose image information is present as digital information. The image may be constructed from a plurality of pixels or pixels. The pixels may be arranged in a plurality of parts and columns. Each pixel can be assigned an intensity level. An intensity level may be, for example, a brightness level or a gray level. The intensity level can be represented by an intensity value. The intensity value may be an electrical signal output from a portion of an image sensor of the camera associated with the pixel. An intensity scale that can be mapped from one pixel can be subdivided into a plurality of different intensity levels. Each pixel of the image may be assigned an intensity level from the plurality of different intensity levels. If two adjacent pixels have different intensity levels, there is a contrast between the two neighboring pixels. The contrast value of a pixel may be a measure of the contrast between the pixel and one or more adjacent further pixels. For example, the contrast value may be a measure between the pixel and all other pixels directly adjacent to the pixel. The contrast value can define a local contrast of the pixel. For each of the possible intensity levels or for each intensity level occupied in at least one pixel of the image, a contrast value distribution can be provided. In a contrast value distribution of a specific intensity level, it is possible to enter all the contrast values which were determined with respect to all pixels which have the specific intensity level. The contrast values can be scaled. A contrast value distribution can represent a frequency distribution of the contrast values. Thus, the contrast value distribution may include a listing of which contrast values have occurred as often. The contrast value distribution can be understood as a list or a histogram. The list can serve as the basis for a histogram. A histogram can be a graphical representation of the frequency distribution of the contrast values. The individual frequencies of the occurrence of the contrast values can be plotted as bars over an axis representing the value ranges of the contrast values. From the contrast value distributions determined for the individual intensity levels, an intensity-specific contrast value distribution can be determined for all available or possible intensity levels in the image. It is possible to determine the respective contrast values for all pixels of the area and to enter the respectively assigned contrast value distribution.

Somit kann das Verfahren einen Schritt des Bestimmens eines weiteren Kontrastwertes mindestens eines weiteren Bildpunktes des Bildes umfassen. In einem Schritt des Ergänzens kann die erste Kontrastwerteverteilung durch den weiteren Kontrastwert ergänzt werden, wenn die weitere Intensitätsstufe des weiteren Bildpunktes der ersten Intensitätsstufe entspricht. Ferner kann in dem Schritt des Ergänzens die zweite Kontrastwerteverteilung durch den weiteren Kontrastwert ergänzt werden, wenn die weitere Intensitätsstufe des weiteren Bildpunktes der zweiten Intensitätsstufe entspricht. Auch kann im Schritt des Ergänzens eine der weiteren Intensitätsstufe des weiteren Bildpunktes zugeordnete weitere Kontrastwerteverteilung durch den weiteren Kontrastwert ergänzt werden, wenn die weitere Intensitätsstufe weder der ersten noch der zweiten Intensitätsstufe entspricht. Auf diese Weise können nach und nach weitere Kontrastwerte bestimmt und jeweils in eine zugeordnete Kontrastwerteverteilung eingetragen werden.Thus, the method may comprise a step of determining a further contrast value of at least one further pixel of the image. In a step of supplementing, the first contrast value distribution can be supplemented by the further contrast value if the further intensity level of the further pixel corresponds to the first intensity level. Furthermore, in the step of supplementing, the second contrast value distribution can be supplemented by the further contrast value if the further intensity level of the further pixel corresponds to the second intensity level. Also, in the step of supplementing, a further contrast value distribution assigned to the further intensity level of the further pixel can be supplemented by the further contrast value if the further intensity level corresponds to neither the first nor the second intensity level. In this way, further contrast values can be determined gradually and entered in each case in an associated contrast value distribution.

Gemäß einer Ausführungsform können durch den ersten Bildpunkt, den zweiten Bildpunkt und den mindestens einen weiteren Bildpunkt alle Bildpunkte des Bereichs umfasst sein. Es kann also für alle Bildpunkte des Bildbereichs ein lokaler Kontrast in Form des Kontrastwerts bestimmt werden. Der Bereich des Bildes kann das gesamte Bild oder einen Teilbereich des Bildes umfassen. Beispielsweise kann ein als besonders relevant eingestufter Bereich des Bildes ausgewertet werden. Auch können Bildpunkte mehrere voneinander abgegrenzte Bereiche des Bilds ausgewertet werden.According to one embodiment, all pixels of the region can be covered by the first pixel, the second pixel and the at least one further pixel. It can therefore be determined for all pixels of the image area, a local contrast in the form of the contrast value. The area of the image may include the entire image or a portion of the image. For example, a region of the image classified as particularly relevant can be evaluated. Also, pixels can be evaluated a plurality of separate areas of the image.

Beispielsweise können in den Schritten des Bestimmens die Kontrastwerte mittels eines Laplace-Filters bestimmt werden. Als Laplace-Filter kann ein Laplacian of Gaussian Filter eingesetzt werden. Für die für Implementierungen kann ein einfacherer Ableitungsfilter, z.B. [–1,1]/2, [–1,2,–1]/4, vorteilhaft sein. Mittels eines solchen Filters können in dem Bild abgebildete Kanten erkannt werden, an denen sich die Intensitätsstufen benachbarter Bildpunkte stark ändern. For example, in the steps of determining the contrast values may be determined by means of a Laplace filter. As a Laplace filter, a Laplacian of Gaussian filter can be used. For implementations, a simpler derivation filter, e.g. [-1,1] / 2, [-1,2, -1] / 4, be beneficial. By means of such a filter, edges imaged in the image can be recognized, at which the intensity levels of neighboring pixels change greatly.

Das Verfahren kann einen Schritt des Kombinierens der Kontrastwerteverteilungen mit einer Helligkeitsverteilung oder einer Graustufenverteilung des Bilds umfassen.The method may include a step of combining the contrast value distributions with a brightness distribution or a gray scale distribution of the image.

Das Verfahren kann einen Schritt des Bestimmens des Bereichs des Bildes als ein einem relevanten Objekt zugeordneter Bildausschnitt umfassen. Das Objekt und damit der Bildausschnitt können durch eine Auswertung des Bilds der Kamera, beispielsweise unter Einsatz eines Detektionsalgorithmus, bestimmt werden. Auf diese Weise kann das Verfahren speziell auf einen oder mehrere Bereiche des Bildes angewendet werden, die beispielsweise für ein Assistenzsystem des Fahrzeugs wichtige Informationen enthalten.The method may include a step of determining the region of the image as an image section associated with a relevant object. The object and thus the image detail can be determined by an evaluation of the image of the camera, for example using a detection algorithm. In this way, the method can be applied specifically to one or more areas of the image that contain, for example, important information for an assistance system of the vehicle.

Auch kann das Verfahren einen Schritt des Ermittelns einer intensitätsstufenspezifischen Kontrastwerteverteilung basierend auf den Kontrastwerteverteilungen umfassen. In der intensitätsstufenspezifischen Kontrastwerteverteilung können alle Kontrastwerteverteilungen des Bildes zusammengefasst sein.Also, the method may include a step of determining an intensity level specific contrast value distribution based on the contrast value distributions. In the intensity level-specific contrast value distribution, all contrast value distributions of the image can be combined.

Die vorliegende Erfindung schafft ferner ein Verfahren zur Regelung einer Kamera zur Erfassung eines Bildes, das die folgenden Schritte umfasst:
Ermitteln von Kontrastwerteverteilungen gemäß einem der vorangegangenen Ansprüche;
Bestimmen eines Parameters zur Regelung der Kamera basierend auf den Kontrastwerteverteilungen.The present invention further provides a method for controlling a camera for capturing an image, comprising the following steps:
Determining contrast value distributions according to one of the preceding claims;
Determining a parameter for controlling the camera based on the contrast value distributions.

Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.A computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program is installed on a computer or a device is also of advantage is performed.

Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:The invention will now be described by way of example with reference to the accompanying drawings. Show it:

1 ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 1 a vehicle according to an embodiment of the present invention;

2 eine Kameraanordnung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 2 a camera arrangement according to an embodiment of the present invention;

3 ein Bereich eines Bildes; 3 a region of an image;

4 ein Blockschaltbild eines Ausführungsbeispiels der vorliegenden Erfindung; und 4 a block diagram of an embodiment of the present invention; and

5 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung. 5 a flowchart of an embodiment of the present invention.

In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.

1 zeigt ein Fahrzeug 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 befindet sich auf einem rechten Fahrbahnabschnitt einer Straße. Das Fahrzeug 100 weist eine Kamera 102 und zwei Scheinwerfer auf. Die Scheinwerfer 104 an der Vorderseite des Fahrzeugs 100, einer links und der andere rechts, angeordnet und ausgebildet, um einen vor dem Fahrzeug 10o liegenden Bereich der Straße auszuleuchten. Die Kamera 102 ist ausgebildet, um einen vor dem Fahrzeug 100 liegenden Bereich zu erfassen und zumindest ein Abbild des Bereichs in Form eines Bilds des Bereichs zu erzeugen. Das Bild kann von einer geeigneten Vorrichtung ausgewertet werden, die Teil der Kamera 102 ist oder mit der Kamera 102 über eine Schnittstelle verbunden ist. 1 shows a vehicle 100 according to an embodiment of the present invention. The vehicle 100 is located on a right-hand lane section of a road. The vehicle 100 has a camera 102 and two headlights on. The headlights 104 at the front of the vehicle 100 one on the left and the other on the right, arranged and designed to illuminate an area of the road ahead of the vehicle 10o. The camera 102 is trained to be in front of the vehicle 100 to capture and at least produce an image of the area in the form of an image of the area. The image can be evaluated by a suitable device, which is part of the camera 102 is or with the camera 102 connected via an interface.

2 zeigt eine Kameraanordnung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Kameraanordnung weist eine Kamera 102 mit einer Kameraelektronik 214 auf. Bei der Kamera 102 kann es sich um die anhand von 1 beschriebene Kamera 102 handeln. Die Kameraelektronik 214 ist über eine Schnittstelle mit einer Steuereinheit 216 verbunden. 2 shows a camera arrangement according to an embodiment of the present invention. The camera assembly has a camera 102 with a camera electronics 214 on. At the camera 102 it can be the basis of 1 described camera 102 act. The camera electronics 214 is via an interface with a control unit 216 connected.

Die Kamera 102 ist zusammen mit der Kameraelektronik 214 ausgebildet, um ein Bild zu erfassen und an die Steuereinheit 216 bereitzustellen. Beispielsweise kann die Kameraelektronik 214 ausgebildet sein, um für jeden Bildpunkt des Bildes ein Bildsignal an die Steuereinheit 216 auszugeben. Die Steuereinheit 216 ist ausgebildet, um Signale der Bildbearbeitungseinrichtung 214 zu empfangen und auszuwerten. The camera 102 is together with the camera electronics 214 trained to capture an image and to the control unit 216 provide. For example, the camera electronics 214 be formed to provide an image signal to the control unit for each pixel of the image 216 issue. The control unit 216 is configured to receive signals from the image processing device 214 to receive and evaluate.

3 zeigt einen Bereich eines Bildes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Bereich weist beispielhaft neun Bildpunkte auf, wobei ein zentraler Bildpunkt 321 von acht weiteren Bildpunkten 323 umgeben ist. Dem zentralen Bildpunkt 321 ist eine Intensitätsstufe, beispielsweise eine Graustufe zugeordnet, die sich von den Intensitätsstufen der weiteren Bildpunkte 323 unterscheiden kann. Zwischen der Intensitätsstufe des zentralen Bildpunkts 321 und der Intensitätsstufe mindestens eines weiteren der Bildpunkte 323 wird ein lokaler Kontrast bestimmt. Der lokale Kontrast kann anzeigen, dass sich die Intensitätsstufen des zentralen Bildpunkts 321 von der Intensitätsstufe des zumindest einen weiteren der Bildpunkte 323 unterscheidet oder nicht unterscheidet. Unterscheiden sich die Intensitätsstufen so kann der lokale Kontrast ein Maß für eine Größe des Unterschieds der Intensitätsstufen anzeigen. Der lokale Kontrast kann mittels geeigneter Verfahren, beispielsweise unter Einsatz eines Filters, bestimmt werden. Für den zentralen Bildpunkt 321 kann ein Kontrastwert bestimmt werden, der eine Information über den lokalen Kontrast des zentralen Bildpunkts 221 umfasst. 3 shows a portion of an image according to an embodiment of the present invention. The area has, for example, nine pixels, with a central pixel 321 of eight further pixels 323 is surrounded. The central pixel 321 is an intensity level, for example, associated with a gray level, which differs from the intensity levels of the other pixels 323 can differentiate. Between the intensity level of the central pixel 321 and the intensity level of at least one other of the pixels 323 a local contrast is determined. The local contrast can indicate that the intensity levels of the central pixel 321 from the intensity level of the at least one other of the pixels 323 differs or does not differentiate. If the intensity levels are different, the local contrast may indicate a measure of a magnitude of the difference in the intensity levels. The local contrast can be determined by means of suitable methods, for example using a filter. For the central pixel 321 For example, a contrast value can be determined which contains information about the local contrast of the central pixel 221 includes.

Anhand der 1 bis 3 wird im Folgenden Ausführungsbeispiele der vorliegenden Erfindung beschrieben.Based on 1 to 3 is described in the following embodiments of the present invention.

Ein Ausführungsbeispiel umfasst eine Kameraregelung einer Fahrzeugkamera 102, wie sie beispielsweise in 1 gezeigt ist. Das Ausführungsbeispiel umfasst ferner eine Auswertung der Bilder der Kamera 102 anhand von Histogrammen und lokalen Kontrastmessungen. An embodiment includes a camera control of a vehicle camera 102 , as for example in 1 is shown. The embodiment further comprises an evaluation of the images of the camera 102 using histograms and local contrast measurements.

Die Belichtungssteuerung der Kamera 102 erfolgt anhand der Auswertung von Helligkeits- oder Graustufen-Histogrammen des Bildes zusammen mit lokalen Messungen des Kontrasts. Diese Merkmale können ebenfalls für eine weitergehende Bildauswertung, wie z. B. der Abschätzung der Blindheit der Kamera 102 oder der Erkennung von Fahrbahnmarkierungen, Straßenschildern, Fahrzeugen oder Fußgängern etc. herangezogen werden.The exposure control of the camera 102 is done by evaluating brightness or grayscale histograms of the image along with local measurements of the contrast. These features can also be used for further image analysis, such. B. the assessment of the blindness of the camera 102 or the detection of lane markings, street signs, vehicles or pedestrians, etc. are used.

Ein System gemäß einem Ausführungsbeispiel der vorliegenden Erfindung besteht aus der Kamera 102, die in dem Fahrzeug 100 montiert ist und zumindest einen Teil der Außenszene des Fahrzeugs 100 betrachtet sowie aus der Steuereinheit 216, wie sie in 2 gezeigt ist.A system according to an embodiment of the present invention consists of the camera 102 in the vehicle 100 is mounted and at least part of the exterior scene of the vehicle 100 considered as well as from the control unit 216 as they are in 2 is shown.

In einem von der Kamera 102 aufgenommenen Bild wird eine Liste oder ein Histogramm der lokalen, graustufenspezifischen Kontraste erstellt. Dabei können eine oder mehrere Listen erstellt werden. In der Regel werden mehrere Listen erstellt. Beispielsweise kann für jede Graustufe eine Liste erstellt werden.In one of the camera 102 captured image, a list or histogram of the local gray scale-specific contrasts is created. One or more lists can be created. Usually, multiple lists are created. For example, a list can be created for each gray level.

So wird z.B. für jedes Pixel 321, 323 einer oder mehrerer Regionen im Bild der lokale Kontrast ermittelt, z.B. über einen Laplacian of Gaussian (LoG) Filter. Es können eine oder mehrere Regionen analysiert werden. Insbesondere können Regionen analysiert werden, in welchen interessante Objekte, wie z.B. Fahrzeuge, Verkehrsschilder oder Fußgänger, vermutet werden. Diese Regionen können vorab bestimmt oder anhand einfacher Detektionsalgorithmen bestimmt werden.For example, for every pixel 321 . 323 one or more regions in the image determines the local contrast, eg via a Laplacian of Gaussian (LoG) filter. One or more regions can be analyzed. In particular, regions can be analyzed in which interesting objects, such as vehicles, traffic signs or pedestrians, are suspected. These regions can be determined in advance or determined using simple detection algorithms.

Die lokalen Kontraste können dabei über Ableitungsoperatoren, wie z.B. Sobel, oder Bandpassfilter, wie z.B. LoG, bestimmt werden.The local contrasts can be determined via derivation operators, such as e.g. Sobel, or bandpass filters, such as LoG, to be determined.

Der ermittelte lokale Kontrastwert wird in die Liste oder das Histogramm eingetragen, die der Graustufe des zentralen Pixels zugeordnet ist. Somit ergibt sich für alle im Bild vorkommenden Grauwerte jeweils eine Liste oder ein Histogramm der lokalen Kontrastwerte. Dabei können sich lokale Kontrastwerte auf Intensitätssprünge, die z.B. über Sobel-Filterung bestimmt werden kann, oder auf die Aktivierung in bestimmten Frequenzbändern, die z.B. über LoG-Filterung bestimmt werden kann, beziehen.The determined local contrast value is entered into the list or histogram associated with the gray level of the central pixel. Thus, a list or a histogram of the local contrast values is obtained for all gray values occurring in the image. In doing so, local contrast values can be used for intensity jumps, e.g. Sobel filtering, or activation in certain frequency bands, e.g. can be determined via LoG filtering.

Diese Listen oder Histogramme können nun zusammen mit dem allgemeinen Helligkeits- oder Graustufenhistogramm für die Kameraregelung, Blindheitsschätzung oder die Erkennung von Fahrbahnmarkierungen, Straßenschildern, Fahrzeugen, oder Fußgängern herangezogen werden. Die Kameraregelung kann so ausgelegt sein, dass sie die lokalen Kontraste über alle Bildpunkte maximiert. Dazu können die lokalen Kontraste mit der Häufigkeit des entsprechenden Kontrasts oder des entsprechenden Intensitätswerts gewichtet werden. Die dazu erforderlichen Informationen können aus den Listen oder Histogrammen entnommen werden.These lists or histograms can now be used in conjunction with the general brightness or grayscale histogram for camera control, blindness estimation, or the detection of lane markings, road signs, vehicles, or pedestrians. The camera control can be designed to maximize local contrasts across all pixels. For this purpose, the local contrasts can be weighted with the frequency of the corresponding contrast or the corresponding intensity value. The required information can be taken from the lists or histograms.

In die Blindheitsschätzung können die Listen oder Histogramme einfließen, indem ein Maß für die Blindheit über die Summation lokaler Kontraste definiert wird.In the blindness estimation, the lists or histograms can be included by defining a measure of blindness by summing local contrasts.

In die Erkennung von Fahrbahnmarkierungen können die Listen oder Histogramme einfließen, indem die Kameraregelung so ausgelegt wird, dass häufigere Intensitätssprünge, die z.B. durch Fahrbahnmarkierungen hervorgerufen werden, hervorgehoben werden und unsystematische Intensitätssprünge, die z.B. durch eine Fahrbahn oder Asphalt hervorgerufen werden, minimiert werden.In the recognition of lane markings, the lists or histograms can be incorporated by designing the camera control so that more frequent intensity jumps, e.g. are highlighted by lane markings, and unsystematic intensity jumps, e.g. be caused by a roadway or asphalt are minimized.

Ein Helligkeits- oder Graustufenhistogramm lässt sich aus den Listen, also den Kontrasthistogrammen ableiten. 4 zeigt eine Vorrichtung zur Auswertung eines Bildes einer Kamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei der Kamera kann es sich beispielsweise um die in 1 gezeigte Kamera handeln.A brightness or gray scale histogram can be derived from the lists, ie the contrast histograms. 4 shows an apparatus for evaluating an image of a camera according to an embodiment of the present invention. The camera may be, for example, the in 1 act shown camera.

Die Vorrichtung weist eine Bestimmungseinrichtung 441 und eine Ergänzungseinrichtung 443 auf. Die Vorrichtung ist ausgebildet, um eine Bildinformation eines Bildes zu empfangen und Kontrastwerteverteilungen bezüglich des Bildes zu bestimmen und auszugeben. Gemäß diesem Ausführungsbeispiel ist die Vorrichtung ausgebildet, um die Kontrastwerteverteilungen an eine Parametereinrichtung 445 auszugeben. Die Parametereinrichtung 445 ist ausgebildet, um basierend auf den Kontrastwerteverteilungen zumindest einen Parameter zur Regelung der Kamera zu bestimmen. Somit können die Einrichtungen 441, 443, 445 eine Vorrichtung zur Regelung einer Kamera bilden.The device has a determination device 441 and a supplementary device 443 on. The apparatus is configured to receive image information of an image and to determine and output contrast value distributions with respect to the image. According to this embodiment, the device is designed to supply the contrast value distributions to a parameter device 445 issue. The parameter setup 445 is designed to determine at least one parameter for controlling the camera based on the contrast value distributions. Thus, the facilities can 441 . 443 . 445 form a device for controlling a camera.

Die Bestimmungseinrichtung 441 ist ausgebildet, um für eine Mehrzahl von Bildpunkten eines Bereichs des Bildes sowohl lokale Kontrastwerte als auch Intensitätswerte zu bestimmen. Die Ergänzungseinrichtung 443 ist ausgebildet, um basierend auf dem Intensitätswert eines Bildpunkts eine dem Intensitätswert zugeordnete Kontrastwerteverteilung auszuwählen und den lokalen Kontrastwert des Bildpunkts in die ausgewählte Kontrastwerteverteilung einzutragen. Auf diese Weise werden für das Bild Kontrastwerteverteilungen erstellt oder ergänzt.The determining device 441 is configured to determine both local contrast values and intensity values for a plurality of pixels of a region of the image. The supplementary device 443 is configured to select, based on the intensity value of a pixel, a contrast value distribution associated with the intensity value and to enter the local contrast value of the pixel into the selected contrast value distribution. In this way, contrast value distributions are created or supplemented for the image.

5 zeigt ein Ablaufdiagramm eines Verfahrens zur Auswertung eines Bildes einer Kamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann beispielsweise von der in 4 gezeigten Vorrichtung oder der in 2 gezeigten Steuereinheit umgesetzt werden. 5 shows a flowchart of a method for evaluating an image of a camera according to an embodiment of the present invention. The method may be, for example, from the in 4 shown device or in 2 implemented control unit can be implemented.

In einem Schritt 550 wird ein erster Bildpunkt eines Bilds ausgewählt. In einem Schritt 552 werden ein erster Kontrastwert und eine erste Intensitätsstufe des ersten Bildpunktes bestimmt. In einem Schritt 554 wird eine der ersten Intensitätsstufe zugeordnete Kontrastwerteverteilung ausgewählt. In einem Schritt 556 wird der erste Kontrastwert in die ausgewählte Kontrastwerteverteilung eingetragen. In one step 550 a first pixel of an image is selected. In one step 552 a first contrast value and a first intensity level of the first pixel are determined. In one step 554 a contrast value distribution assigned to the first intensity level is selected. In one step 556 the first contrast value is entered in the selected contrast value distribution.

Die Schritte 550, 552, 554, 556 werden für weitere Bildpunkte des Bildes wiederholt ausgeführt. Dabei können einzelne oder alle der Schritte 550, 552, 554, 556 für zwei oder mehr Bildpunkte parallel oder auf eine geeignete Weise versetzt zueinander ausgeführt werden.The steps 550 . 552 . 554 . 556 are repeatedly executed for further pixels of the image. It can be single or all of the steps 550 . 552 . 554 . 556 for two or more pixels in parallel or in a suitable manner offset from each other.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10254806 B4 [0003]

Claims

Method for evaluating an image of a camera ( 102 ) comprising the following steps: determining ( 552 ) of a first contrast value and a first intensity level of a first pixel ( 321 ) of a region of the image, wherein the first contrast value is a contrast between the first pixel and at least one further pixel adjacent to the first pixel ( 323 ) Are defined; Determining a second contrast value of a second pixel ( 323 ) of the area of the image, wherein the second contrast value defines a contrast between the second pixel and at least one further pixel adjacent to the second pixel; Complete ( 556 ) one of the first intensity level of the first pixel associated first contrast value distribution by the first contrast value; and supplementing the first contrast value distribution by the second contrast value if the second intensity level of the second pixel corresponds to the first intensity level, or supplementing the second contrast value distribution assigned to the second intensity level of the second pixel by the second contrast value if the second intensity level does not correspond to the first intensity level.

Method according to claim 1, comprising a step of determining a further contrast value of at least one further pixel ( 323 ) of the image, and with a step of supplementing the first contrast value distribution by the further contrast value if the further intensity level of the further pixel corresponds to the first intensity level, supplementing the second contrast value distribution by the further contrast value if the further intensity level of the further pixel corresponds to the second intensity level , or supplementing a further contrast value distribution assigned to the further intensity level of the further pixel by the further contrast value if the further intensity level corresponds to neither the first nor the second intensity level.

Method according to Claim 3, in which the first pixel ( 321 ), the second pixel ( 323 ) and the at least one further pixel ( 323 ) all pixels of the area are included.

Method according to one of the preceding claims, in which in the steps of determining ( 552 ) the contrast values are determined by means of a Sobel or Laplace filter.

Method according to one of the preceding claims, comprising a step of combining the contrast value distributions with a brightness distribution or a gray level distribution of the image.

Method according to one of the preceding claims, comprising a step of determining an intensity level-specific contrast value distribution based on the contrast value distributions.

Method according to one of the preceding claims, comprising a step of determining the area of the image as an image detail associated with a relevant object.

Method for controlling a camera ( 102 ) for capturing an image, comprising the steps of: determining contrast value distributions according to one of the preceding claims; Determining a parameter for controlling the camera based on the contrast value distributions.

Apparatus adapted to perform the steps of a method according to any one of claims 1 to 8.

Computer program product with program code for carrying out the method according to one of claims 1 to 8, when the program is executed on a device.