[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP2749030A1 - Method and device for adapting a filter property of an adaptive color filter and for operating an image sensor - Google Patents

Method and device for adapting a filter property of an adaptive color filter and for operating an image sensor

Info

Publication number
EP2749030A1
EP2749030A1 EP12738094.7A EP12738094A EP2749030A1 EP 2749030 A1 EP2749030 A1 EP 2749030A1 EP 12738094 A EP12738094 A EP 12738094A EP 2749030 A1 EP2749030 A1 EP 2749030A1
Authority
EP
European Patent Office
Prior art keywords
pixel
filter
color
image
color filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP12738094.7A
Other languages
German (de)
French (fr)
Inventor
Tobias Ehlgen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2749030A1 publication Critical patent/EP2749030A1/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/48—Picture signal generators
    • H04N1/482—Picture signal generators using the same detector device sequentially for different colour components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics

Definitions

  • Image pickup of a camera a method for operating a camera
  • Image pickup of a camera of a vehicle to a corresponding device and to a corresponding computer program product.
  • the document DE 102 54 806 B4 shows a method for information processing of at least two information sources in a motor vehicle.
  • the present invention provides a method of adjusting a filter characteristic of an adaptive color filter of a pixel of an image pickup of a camera, a method of operating a
  • a color sensitivity of an image sensor of a camera can be continuously adapted.
  • the image sensor can be optimally adapted to a scene to be detected.
  • the adaptive color filter can also be used to prevent a pixel from saturating and thus possibly losing important information. For example, it is possible in this way to avoid a misdetection of light systems that is triggered by reflections.
  • the color information acquired by the imager can be used in all camera-based measurement algorithms in a vehicle. For example, a color information for taillight detection, sign recognition or yellow track information is required.
  • Determining a required capture property of the pixel Determining a required filter characteristic of the color filter to realize the required detection property of the pixel;
  • the camera may be a camera of a vehicle.
  • the camera can be designed to detect a region of an environment of the vehicle, for example an apron of the vehicle, and to generate an image or consecutive successive images which depict the region of the environment.
  • the imager or imager is designed to be on the
  • the imager has a plurality of pixels or pixels. Each pixel is configured to detect light incident on the pixel and to provide an image signal comprising light information of the light incident on the pixel.
  • the image signal may comprise a brightness value or an intensity value of the light incident on the pixel.
  • the adaptive color filter the light incident on the pixel can be filtered before it impinges on a sensor surface of the pixel.
  • the color filter is designed to pass or filter out light of a particular color or wavelength or of several specific colors or wavelengths.
  • the color filter may be specific to the particular color or color
  • Colors are set.
  • the adjustment of the color filter can be done during the operation of the image sensor. Additionally or alternatively, a transparency of the color filter may be scalable, such that the transmissivity of the color filter may be increased or decreased for all colors, for example.
  • the color filter can be arranged over one pixel or over several adjacent ones
  • the adaptive color filter may be a so-called microlens.
  • a liquid microlens can be used.
  • such a liquid microlens can also be used to set a focal length of the image recorder as a function of the temperature and thus dependent on a controller.
  • the adaptive color filter may be based on color filter and microlens technologies for monolithic integration in CMOS photosensor arrays.
  • the required detection property of the pixel may refer to a desired color to be detected by the pixel.
  • the required detection property can be dependent on, for example, a current mode of operation of the camera, a scene currently captured by the camera, or a request for an image evaluation evaluating the image of the camera.
  • a suitable filter property of the color filter can be set.
  • the suitable filter characteristic of the color filter can be calculated, for example, or from one
  • the adjustment signal may be an electrical signal output to an interface of the adaptive color filter.
  • the adjustment signal may have a certain voltage value suitable for setting the required filter characteristic.
  • the adjusting signal in the step of providing, may be provided to set the filter characteristic of the adaptive color filter implemented as a microlens.
  • a microlens is suitable as an adaptive color filter due to its small dimensions.
  • the step of determining detection of light of a certain color as a required detection property of the pixel may be detected.
  • the required filter characteristic may be determined so that the light of the particular color can pass the color filter.
  • one and the same pixel can be used, for example, to detect light of different colors or, depending on the set filter characteristic, light of different colors.
  • the number of pixels fixedly set to a specific color can thereby be reduced or it is possible to completely dispense with such permanently set pixels. This makes it possible to avoid that individual pixels provide image information that is not relevant for a certain area of an image, since, for example, a particular color detected by the individual pixels is not included in the area of the image or for a downstream image analysis is of interest.
  • the method can include, for example, a step of checking whether the pixel is arranged in a region of the image recorder by which a color-relevant object is imaged.
  • a step of determining a detection of light of a color of the object can be determined as a required detection property. If, for example, it is detected in the step of checking that a lane marking is imaged in the area, then the color filter of the pixel can be adjusted such that the pixel can detect the color yellow.
  • the pixels of the image recorder can be continuously adapted to current needs.
  • the object can be determined by an image analysis.
  • a position or a movement of a light object can be evaluated.
  • a presumable color of the object can also be determined.
  • the presumable color can be verified by adjusting the filter characteristic of the color filter.
  • the Color filters can be set so that the presumable color can pass through the color filter and other colors are filtered out.
  • a required measurement sensitivity of the pixel can be obtained.
  • a transmittance of the color filter may be determined according to the required measurement sensitivity.
  • the measuring sensitivity can be used to define how sensitively the pixel reacts to incident light. With a low measuring sensitivity, the pixel only responds to a higher light intensity compared to a higher measuring sensitivity. In this way, the pixel may, for example, be adapted to different global or local brightnesses or contrasts in a scene captured by the imager. For example, if a pixel is within the range of influence of a high light intensity reflection, the sensitivity of that pixel may be reduced. The measuring sensitivity of adjacent pixels that are not within the influence of the reflection, however, can remain unchanged.
  • the method may include a step of detecting impending saturation of the pixel.
  • the step of determining the required measurement sensitivity can be reduced when the upcoming saturation is detected. In this way, it can be prevented that image information is lost due to saturation of the pixel.
  • the impending saturation can be detected, for example, by an evaluation of an image signal output by the pixel.
  • the present invention further provides a method of operating an imager of a camera of a vehicle, comprising the steps of:
  • Image pickup arranged pixel.
  • This method allows an imager to be continuously adapted to changing scenery or changing requirements of vehicle assistance systems.
  • the present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program is installed on a computer or a device is also of advantage is performed.
  • FIG. 1 shows a schematic representation of a vehicle according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of an image sensor according to an embodiment of the present invention.
  • Fig. 3 is a block diagram of an apparatus for setting an adjustable color filter according to an embodiment of the present invention.
  • the vehicle 100 has a camera 102, an image evaluation device 104 and a driver assistance system 106.
  • a driver assistance system 106 In the apron of the vehicle 100 is another vehicle 1 10.
  • the other vehicle 1 10 has a red tail light 1 12.
  • the driver assistance system 106 is a system for which detection of the tail light 12 of the further vehicle 110 is relevant.
  • the tail light 1 12 is intended to be representative of any colored object whose color is of relevance to any system 106 of the vehicle 100
  • the camera 102 can generate an image in which the tail light 12 is shown.
  • light emitted by the rear light 1 12 is detected by the camera 102.
  • the image evaluation device 104 is designed to evaluate the image of the camera 102 in order to determine an image area in which the tail light 12 is imaged. If different brightness levels or gray levels are shown in the image, the image evaluation device 104 may not be able to distinguish whether it is at the tail light 1 12 is a tail light emitting red light or a headlight emitting white light. If the color of the backlight 1 12 is imaged in the image, then the backlight 12 due to the red color can be unambiguously classified by the image evaluation device 104 as such. In order to represent the red color of the tail light 1 12 in the picture, the
  • Camera configured to adjust a detection property of the backlight 1 12 imaging pixels of an image sensor of the camera 102 so that red light can be detected.
  • Fig. 2 shows a schematic representation of an image recorder or a portion of an image sensor according to an embodiment of the present invention.
  • the image sensor can be used in the camera mentioned in FIG. 1.
  • the imager has a plurality of pixels 220 or pixels. By way of example, nine pixels 220 are shown here, which are arranged adjacent to one another in three rows and three columns.
  • Each pixel 220 is assigned an adaptive color filter 223.
  • the color filters 223 are each arranged in a beam path of a light beam impinging on the pixels 220. Thus, one of the pixels 220 is incident with light filtered by that of the color filters 223 associated with the respective pixel 220.
  • Each of the color filters 223 has an interface through which a filter characteristic of the respective color filter 223 can be adjusted. By adjusting the filter characteristic, the light incident on the associated pixel 220 can be affected.
  • the filter characteristic of the color filter 223 associated with the middle pixel 220 can be set so that the color filter 223 allows red light to pass.
  • the filter characteristic of the color filter 223 assigned to the middle pixel 220 can be adjusted such that the color filter 223 allows yellow light to pass, such that one of them, for example, has a Evaluate image signals of the pixels 220 the image evaluation can be recognized that it is the road marking to a yellow marked lane marking, for example in the field of a construction site, is.
  • each of the adaptive color filters 223 is realized as a liquid microlens.
  • the color filter 223 per pixel 220 by means of an electrowetting process, a so-called
  • Electrowetting process generated.
  • a color filter can also be realized mechanically. Several filters can be superimposed mechanically. Such a color filter can be set for all or more of the pixels 220 at the same time.
  • FIG. 3 shows an apparatus for adjusting a filter characteristic of an adaptive color filter 223 of a pixel 220 of an image sensor of a camera, according to an embodiment of the present invention.
  • the camera may be the camera shown in FIG.
  • the apparatus is configured to generate a setting signal for adjusting the filter characteristic of the color filter 223 based on a required detection characteristic of the pixel 220, and to output to the color filter 223 or a controller for controlling the filter characteristic of the color filter 223 via an interface.
  • the device has a determination device 331, a determination device 333 and a provision device 335.
  • the determination device 331 is configured to determine a required detection property of the pixel 220.
  • the required detection property may, for example, be based on an evaluation of an image temporally previously generated by the image sensor.
  • the determination device 331 is configured to output information about the required detection property to the determination device 333.
  • the determination device 333 is configured to determine a required filter characteristic of the color filter 223 based on the required detection property. Due to the required filter property, the pixel 220 can be operated in this way be that it has the required detection property.
  • the determination device 333 may be designed to access a memory in which, for different detection properties of the pixel 220, respectively assigned filter properties of the color filter 223 are stored.
  • the determination device 333 is designed to output information about the required filter property to the provision device 335.
  • the providing device 335 is configured to generate, based on the required filter characteristic information of the color filter 223, the adjustment signal for adjusting the filter characteristic of the color filter 223 and output to the interface to the color filter 223.
  • the color filter 223 is configured to receive the adjustment signal and change its filter characteristic in response to the adjustment signal to realize the required filter characteristic.
  • a separate adjustment signal can be determined and provided. Also, a set signal may be provided to a group of color filters 223 associated with pixels having the same detection characteristic.
  • the device for adjusting a filter characteristic is realized as a processor unit or arithmetic unit.
  • the processor unit With the help of the processor unit, the color transparency of microlenses 223 can be changed.
  • the processor unit With the help of the processor unit, the color transparency of microlenses 223 can be changed.
  • the processor unit With the help of the processor unit, the color transparency of microlenses 223 can be changed.
  • the processor unit is designed to receive as input an image with filtered and unfiltered pixels.
  • the degree of filtering of the image can be predetermined.
  • the processor unit is further configured to make an estimate based on the movement and position of the light objects in the image as to whether the light objects are red or white objects.
  • the processor unit is designed to change the color transparency so as to obtain information about the actual color of the light objects.
  • To the color permeability To change the color filter 223 of the image sensor can be adjusted accordingly.
  • the color filters 223 associated with the area of the image in which the light objects whose color is currently being detected can be changed.
  • the transmittance of the respective lenses 223 can be controlled.
  • adaptive filters 223 can be used to avoid saturation in camera-based light systems.
  • the saturation can be detected in the processor unit.
  • the processor unit is designed to, when the brightness value of a pixel 220 has reached a determined size, slowly changing the filter characteristic of the color filter 223 and observing the corresponding behavior of the pixel value or brightness value of the pixel 220.
  • Image pickup of a camera of a vehicle may be the camera described with reference to FIG.
  • an image of the camera is evaluated in order to determine an image area which is to be evaluated with regard to a color which presumably or reliably exists in the image area.
  • pixels of the image pickup located in the image area are selected.
  • filter characteristics of the adaptive color filters associated with the pixels selected in step 443 are adjusted such that from the selected pixels the color to be evaluated in the image area can be detected. For this purpose, depending on the color to be evaluated, in a step 445 required detection properties of the selected pixel can be determined.
  • required filter characteristics of the color filters of the selected pixels may be determined to realize the required detection characteristics of the selected pixels.
  • a setting signal for adjusting the filter characteristic of the color filters of the selected pixels is output according to the required filter characteristics. If different filter characteristics are required for the color filters, different adjustment signals may be provided in step 449.
  • the method may be performed for one or more image areas of the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Optical Filters (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a method for adapting a filter property of an adaptive color filter (223) of a pixel (220) of an image sensor of a camera (102). The method comprises a step of determining (445) a required detection property of the pixel, a step of determining (447) a required filter property of the color filter in order to realize the required detection property of the pixel, and a step of providing (449) a setting signal for setting the filter property of the color filter according to the required filter property.

Description

Beschreibung  description
Titel title
Verfahren und Vorrichtung zum Anpassen einer Filtereigenschaft eines adaptiven Farbfilters und zum Betreiben eines Bildaufnehmers  A method and apparatus for adjusting a filter characteristic of an adaptive color filter and operating an imager
Stand der Technik State of the art
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Anpassen einer Filtereigenschaft eines adaptiven Farbfilters eines Bildpunktes eines The present invention relates to a method of adjusting a filter characteristic of an adaptive color filter of a pixel of a
Bildaufnehmers einer Kamera, auf ein Verfahren zum Betreiben eines Image pickup of a camera, a method for operating a
Bildaufnehmers einer Kamera eines Fahrzeugs, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt. Image pickup of a camera of a vehicle, to a corresponding device and to a corresponding computer program product.
Um mit Hilfe einer Kamera Farbinformationen ermitteln zu können, werden unterschiedliche Pixel des Bildaufnehmers der Kamera mit unterschiedlichen Farbfiltern versehen. Um ein Farbbild zu erhalten ist es dann jedoch erforderlich, dass zwischen den einzelnen Pixeln interpoliert wird. Dies führt wiederum zu Messun- genauigkeiten in der Auswertung der Kamerabilder. In order to be able to determine color information with the aid of a camera, different pixels of the image sensor of the camera are provided with different color filters. However, to obtain a color image it is then necessary to interpolate between the individual pixels. This in turn leads to measurement inaccuracies in the evaluation of the camera images.
Das Dokument DE 102 54 806 B4 zeigt ein Verfahren zur Informationsverarbeitung von wenigstens zwei Informationsquellen in einem Kraftfahrzeug. The document DE 102 54 806 B4 shows a method for information processing of at least two information sources in a motor vehicle.
Offenbarung der Erfindung Disclosure of the invention
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Anpassen einer Filtereigenschaft eines adaptiven Farbfilters eines Bildpunktes eines Bildaufnehmers einer Kamera, ein Verfahren zum Betreiben eines Against this background, the present invention provides a method of adjusting a filter characteristic of an adaptive color filter of a pixel of an image pickup of a camera, a method of operating a
Bildaufnehmers einer Kamera eines Fahrzeugs, weiterhin Vorrichtungen, die diese Verfahren verwenden sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestal- tungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung. Image recorder of a camera of a vehicle, further devices which use these methods and finally presented a corresponding computer program product according to the main claims. Advantageous embodiments tions result from the respective subclaims and the following description.
Mittels adaptiver Farbfilter kann eine Farbsensitivitat eines Bildaufnehmers einer Kamera fortlaufend angepasst werden. Auf diese Weise kann der Bildaufnehmer optimal auf eine zu erfassende Szene abgestimmt werden. By means of adaptive color filters, a color sensitivity of an image sensor of a camera can be continuously adapted. In this way, the image sensor can be optimally adapted to a scene to be detected.
Vorteilhafterweise kann der adaptive Farbfilter auch eingesetzt werden, um zu verhindern, dass ein Bildpunkt in Sättigung geht und somit eventuell wichtige In- formationen verloren gehen. Beispielsweise kann auf diese Weise eine Fehlde- tektion von Lichtsystemen vermieden werden, die durch Reflektionen ausgelöst wird. Advantageously, the adaptive color filter can also be used to prevent a pixel from saturating and thus possibly losing important information. For example, it is possible in this way to avoid a misdetection of light systems that is triggered by reflections.
Die durch den Bildaufnehmer erfassten Farbinformationen können bei allen ka- merabasierten Messalgorithmen in einem Fahrzeug verwendet werden. Beispielsweise ist eine Farbinformation zur Rückleuchtenerkennung, Schildererkennung oder zur Erkennung gelber Spurinformationen erforderlich. The color information acquired by the imager can be used in all camera-based measurement algorithms in a vehicle. For example, a color information for taillight detection, sign recognition or yellow track information is required.
Die vorliegende Erfindung schafft ein Verfahren zum Anpassen einer Filtereigen- schaft eines adaptiven Farbfilters eines Bildpunktes eines Bildaufnehmers einerThe present invention provides a method for adjusting a filter characteristic of an adaptive color filter of a pixel of an image pickup
Kamera, das die folgenden Schritte umfasst: Camera, which includes the following steps:
Ermitteln einer erforderlichen Erfassungseigenschaft des Bildpunkts; Bestimmen einer erforderlichen Filtereigenschaft des Farbfilters, um die erforderlichen Erfassungseigenschaft des Bildpunkts zu realisieren; und Determining a required capture property of the pixel; Determining a required filter characteristic of the color filter to realize the required detection property of the pixel; and
Bereitstellen eines Einstellsignals zum Einstellen der Filtereigenschaft des Farbfilters entsprechend der erforderlichen Filtereigenschaft. Providing an adjustment signal for adjusting the filter characteristic of the color filter according to the required filter characteristic.
Bei der Kamera kann es sich um eine Kamera eines Fahrzeugs handeln. Die Kamera kann ausgebildet sein, um einen Bereich eines Umfelds des Fahrzeugs, beispielsweise ein Vorfeld des Fahrzeugs, zu erfassen und ein Bild oder fortlaufend aufeinanderfolgende Bilder zu erzeugen, die den Bereich des Umfelds ab- bilden. Der Bildaufnehmer oder Imager ist ausgebildet, um auf den The camera may be a camera of a vehicle. The camera can be designed to detect a region of an environment of the vehicle, for example an apron of the vehicle, and to generate an image or consecutive successive images which depict the region of the environment. The imager or imager is designed to be on the
Bildaufnehmer auftreffendes Licht in elektrische Signale umzuwandeln. Dazu weist der Bildaufnehmer eine Mehrzahl von Bildpunkten oder Pixeln auf. Jeder Bildpunkt ist ausgebildet, um auf den Bildpunkt einfallendes Licht zu detektieren und ein Bildsignal bereitzustellen, das eine Lichtinformation des auf den Bildpunkt einfallenden Lichts umfasst. Beispielsweise kann das Bildsignal einen Hel- ligkeitswert oder einen Intensitätswert des auf den Bildpunkt einfallenden Lichts umfassen. Mittels des adaptiven Farbfilters kann das auf den Bildpunkt einfallende Licht gefiltert werden, bevor es auf eine Sensorfläche des Bildpunkts auftrifft. Der Farbfilter ist ausgebildet, um Licht einer bestimmten Farbe oder Wellenlänge oder mehrerer bestimmter Farben oder Wellenlängen passieren zu lassen oder herausfiltern. Der Farbfilter kann auf die bestimmte Farbe oder die bestimmtenImage converter incident light into electrical signals to convert. To For example, the imager has a plurality of pixels or pixels. Each pixel is configured to detect light incident on the pixel and to provide an image signal comprising light information of the light incident on the pixel. By way of example, the image signal may comprise a brightness value or an intensity value of the light incident on the pixel. By means of the adaptive color filter, the light incident on the pixel can be filtered before it impinges on a sensor surface of the pixel. The color filter is designed to pass or filter out light of a particular color or wavelength or of several specific colors or wavelengths. The color filter may be specific to the particular color or color
Farben eingestellt werden. Die Einstellung des Farbfilters kann während des Betriebs des Bildaufnehmers erfolgen. Zusätzlich oder alternativ kann eine Durchlässigkeit des Farbfilters skalierbar sein, so dass die Durchlässigkeit des Farbfilters beispielsweise für alle Farben erhöht oder verringert werden kann. Der Farb- filter kann sich über einen Bildpunkt oder über mehrere benachbart angeordneteColors are set. The adjustment of the color filter can be done during the operation of the image sensor. Additionally or alternatively, a transparency of the color filter may be scalable, such that the transmissivity of the color filter may be increased or decreased for all colors, for example. The color filter can be arranged over one pixel or over several adjacent ones
Bildpunkte erstrecken. Der adaptive Farbfilter kann eine sogenannte Mikrolinse sein. Beispielsweise kann eine flüssige Mikrolinse eingesetzt werden. Eine solche flüssige Mikrolinse kann je nach Ausführungsform auch eingesetzt werden, um eine Brennweite des Bildaufnehmers abhängig von der Temperatur und da- mit abhängig von einem Kontroller einzustellen. Auch kann der adaptive Farbfilter auf Technologien für Farbfilter und Mikrolinsen zur monolithischen Integration in CMOS-Fotosensorarrays basieren. Die erforderliche Erfassungseigenschaft des Bildpunkts kann sich auf eine gewünschte Farbe beziehen, die durch den Bildpunkt detektiert werden soll. Die erforderliche Erfassungseigenschaft kann bei- spielsweise abhängig von einer aktuellen Betriebsweise der Kamera, einer aktuell von der Kamera erfassten Szenerie oder von einer Anforderung einer das Bild der Kamera auswertenden Bildauswertung abhängig sein. Je nachdem welche Erfassungseigenschaft des Bildpunktes aktuell gewünscht ist, kann eine geeignete Filtereigenschaft des Farbfilters eingestellt werden. Die geeignete Filtereigen- schaft des Farbfilters kann beispielsweise berechnet werden oder aus einerExtend pixels. The adaptive color filter may be a so-called microlens. For example, a liquid microlens can be used. Depending on the embodiment, such a liquid microlens can also be used to set a focal length of the image recorder as a function of the temperature and thus dependent on a controller. Also, the adaptive color filter may be based on color filter and microlens technologies for monolithic integration in CMOS photosensor arrays. The required detection property of the pixel may refer to a desired color to be detected by the pixel. The required detection property can be dependent on, for example, a current mode of operation of the camera, a scene currently captured by the camera, or a request for an image evaluation evaluating the image of the camera. Depending on which detection property of the pixel is currently desired, a suitable filter property of the color filter can be set. The suitable filter characteristic of the color filter can be calculated, for example, or from one
Nachschlagetabelle ausgelesen werden. Das Einstellsignal kann ein elektrisches Signal sein, das an eine Schnittstelle des adaptiven Farbfilters ausgegeben wird. Beispielsweise kann das Einstellsignal einen bestimmten Spannungswert aufweisen, der geeignet ist, um die erforderliche Filtereigenschaft einzustellen. Gemäß einer Ausführungsform kann im Schritt des Bereitstellens das Einstellsignal bereitgestellt werden, um die Filtereigenschaft des als Mikrolinse ausgeführten adaptiven Farbfilters einzustellen. Eine Mikrolinse eignet sich aufgrund ihrer geringen Abmessungen als adaptiver Farbfilter. Lookup table can be read out. The adjustment signal may be an electrical signal output to an interface of the adaptive color filter. For example, the adjustment signal may have a certain voltage value suitable for setting the required filter characteristic. According to an embodiment, in the step of providing, the adjusting signal may be provided to set the filter characteristic of the adaptive color filter implemented as a microlens. A microlens is suitable as an adaptive color filter due to its small dimensions.
Im Schritt des Ermitteins kann eine Erfassung von Licht einer bestimmten Farbe als erforderliche Erfassungseigenschaft des Bildpunkts ermittelt werden. In diesem Fall kann im Schritt des Bestimmens die erforderliche Filtereigenschaft so bestimmt werden, das Licht der bestimmten Farbe den Farbfilter passieren kann. Auf diese Weise kann ein und derselbe Bildpunkt beispielsweise verwendet werden, um weißes Licht oder je nach eingestellter Filtereigenschaft Licht unterschiedlicher Farben zu detektieren. Vorteilhafter Weise kann dadurch die Anzahl von fest auf eine bestimmte Farbe eingestellter Bildpunkte reduziert werden oder es kann vollständig auf solche fest eingestellten Bildpunkte verzichtet werden. Dadurch kann vermieden werden, dass einzelne Bildpunkte Bildinformationen liefern, die für einen bestimmten Bereich eines Bildes nicht relevant sind, da beispielsweise eine bestimmte Farbe, die von den einzelnen Bildpunkten detektiert wird, in dem Bereich des Bildes nicht enthalten ist oder für eine nachgeordnete Bildauswertung nicht von Interesse ist. In the step of determining, detection of light of a certain color as a required detection property of the pixel may be detected. In this case, in the step of determining, the required filter characteristic may be determined so that the light of the particular color can pass the color filter. In this way, one and the same pixel can be used, for example, to detect light of different colors or, depending on the set filter characteristic, light of different colors. Advantageously, the number of pixels fixedly set to a specific color can thereby be reduced or it is possible to completely dispense with such permanently set pixels. This makes it possible to avoid that individual pixels provide image information that is not relevant for a certain area of an image, since, for example, a particular color detected by the individual pixels is not included in the area of the image or for a downstream image analysis is of interest.
Dazu kann das Verfahren beispielsweise einen Schritt des Prüfens umfassen, ob der Bildpunkt in einem Bereich des Bildaufnehmers angeordnet ist, durch den ein farbrelevantes Objekt abgebildet wird. In diesem Fall kann im Schritt des Ermitteins als erforderliche Erfassungseigenschaft eine Erfassung von Licht einer Far- be des Objekts ermittelt werden. Wird im Schritt des Prüfens beispielsweise erkannt, dass in dem Bereich eine Fahrbahnmarkierung abgebildet wird, so kann der Farbfilter des Bildpunktes so eingestellt werden, dass der Bildpunkt die Farbe Gelb detektieren kann. Es kann also zunächst geprüft werden, welche Farbinformation von Interesse ist und anschließend kann der Bildpunkt zur Detektion dieser Farbinformation vorbereitet werden. Auf diese Weise können die Bildpunkte des Bildaufnehmers fortlaufend an aktuelle Bedürfnisse angepasst werden. Das Objekt kann durch eine Bildauswertung ermittelt werden. Dazu kann beispielsweise eine Position oder eine Bewegung eines Lichtobjekts ausgewertet werden. Basierend auf der Bildauswertung kann auch eine vermutliche Farbe des Objekts bestimmt werden. Die vermutliche Farbe kann durch das Einstellen der Filtereigenschaft des Farbfilters verifiziert werden. Beispielsweise kann der Farbfilter dazu so eingestellt werden, dass die vermutliche Farbe den Farbfilter passieren kann und andere Farben ausgefiltert werden. For this purpose, the method can include, for example, a step of checking whether the pixel is arranged in a region of the image recorder by which a color-relevant object is imaged. In this case, in the step of determining a detection of light of a color of the object can be determined as a required detection property. If, for example, it is detected in the step of checking that a lane marking is imaged in the area, then the color filter of the pixel can be adjusted such that the pixel can detect the color yellow. Thus, it can first be checked which color information is of interest and then the pixel can be prepared for the detection of this color information. In this way, the pixels of the image recorder can be continuously adapted to current needs. The object can be determined by an image analysis. For this purpose, for example, a position or a movement of a light object can be evaluated. Based on the image analysis, a presumable color of the object can also be determined. The presumable color can be verified by adjusting the filter characteristic of the color filter. For example, the Color filters can be set so that the presumable color can pass through the color filter and other colors are filtered out.
Auch kann im Schritt des Ermitteins als erforderliche Erfassungseigenschaft des Bildpunkts eine erforderliche Messempfindlichkeit des Bildpunkts ermittelt werden. In diesem Fall kann im Schritt des Bestimmens als erforderliche Filtereigenschaft eine Durchlässigkeit des Farbfilters entsprechend der erforderlichen Messempfindlichkeit bestimmt werden. Über die Messempfindlichkeit kann definiert werden, wie empfindlich der Bildpunkt auf einfallendes Licht reagiert. Bei einer geringen Messempfindlichkeit spricht der Bildpunkt im Vergleich zu einer höheren Messempfindlichkeit erst bei einer höheren Lichtintensität an. Auf diese Weise kann der Bildpunkt beispielsweise an unterschiedliche globale oder lokale Helligkeiten oder Kontraste in einer durch den Bildaufnehmer erfassten Szenerie angepasst werden. Liegt ein Bildpunkt beispielsweise im Einflussbereich einer eine hohe Lichtintensität aufweisende Reflektion, so kann die Messempfindlichkeit dieses Bildpunkts reduziert werden. Die Messempfindlichkeit benachbarter Bildpunkte die nicht im Einflussbereich der Reflektion liegen, kann dagegen unverändert bleiben. Also, in the step of determining, as a required detection property of the pixel, a required measurement sensitivity of the pixel can be obtained. In this case, in the step of determining as a required filter characteristic, a transmittance of the color filter may be determined according to the required measurement sensitivity. The measuring sensitivity can be used to define how sensitively the pixel reacts to incident light. With a low measuring sensitivity, the pixel only responds to a higher light intensity compared to a higher measuring sensitivity. In this way, the pixel may, for example, be adapted to different global or local brightnesses or contrasts in a scene captured by the imager. For example, if a pixel is within the range of influence of a high light intensity reflection, the sensitivity of that pixel may be reduced. The measuring sensitivity of adjacent pixels that are not within the influence of the reflection, however, can remain unchanged.
In diesem Fall kann das Verfahren einen Schritt des Erkennens einer bevorstehenden Sättigung des Bildpunkts umfassen. Im Schritt des Ermitteins kann die erforderliche Messempfindlichkeit verringert werden, wenn die bevorstehende Sättigung erkannt wird. Auf diese Weise kann verhindert werden, dass Bildinformation aufgrund einer Sättigung des Bildpunktes verloren geht. Die bevorstehende Sättigung kann beispielsweise durch eine Auswertung eines von den Bildpunkt ausgegebenen Bildsignals erkannt werden. In this case, the method may include a step of detecting impending saturation of the pixel. In the step of determining the required measurement sensitivity can be reduced when the upcoming saturation is detected. In this way, it can be prevented that image information is lost due to saturation of the pixel. The impending saturation can be detected, for example, by an evaluation of an image signal output by the pixel.
Die vorliegende Erfindung schafft ferner ein Verfahren zum Betreiben eines Bildaufnehmers einer Kamera eines Fahrzeugs, das die folgenden Schritte um- fasst: The present invention further provides a method of operating an imager of a camera of a vehicle, comprising the steps of:
Auswerten eines Bilds des Bildaufnehmers, um einen hinsichtlich einer Farbanalyse relevanten Bildbereich des Bilds zu ermitteln; und Einstellen der Filtereigenschaft zumindest eines adaptiven Farbfilters zumindest eines in einem dem relevanten Bildbereich zugeordneten Bereich des Evaluating an image of the image sensor to determine a color image relevant image area of the image; and Adjusting the filter characteristic of at least one adaptive color filter of at least one region of the region assigned to the relevant image region
Bildaufnehmers angeordneten Bildpunktes. Image pickup arranged pixel.
Dieses Verfahren ermöglicht es, einen Bildaufnehmer fortlaufend an einer sich ändernden Szenerie oder sich ändernde Anforderungen von Assistenzsystemen des Fahrzeugs anzupassen. This method allows an imager to be continuously adapted to changing scenery or changing requirements of vehicle assistance systems.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer oder einer Vorrichtung ausgeführt wird. A computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program is installed on a computer or a device is also of advantage is performed.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispiel- haft näher erläutert. Es zeigen: Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; The invention will be explained in more detail below with reference to the accompanying drawings. Show it: Fig. 1 shows a schematic representation of a vehicle according to an embodiment of the present invention;
Fig. 2 eine schematische Darstellung eines Bildaufnehmers gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; FIG. 2 is a schematic diagram of an image sensor according to an embodiment of the present invention; FIG.
Fig. 3 ein Blockdiagramm einer Vorrichtung zum Einstellen eines einstellbaren Farbfilters gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und Fig. 3 is a block diagram of an apparatus for setting an adjustable color filter according to an embodiment of the present invention; and
Fig. 4 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung. 4 is a flowchart of an embodiment of the present invention.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.
Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist eine Kamera 102, eine Bildauswerteeinrichtung 104 und ein Fahrassistenzsystem 106 auf. Im Vorfeld des Fahrzeugs 100 befindet sich ein weiteres Fahrzeug 1 10. Das weitere Fahrzeug 1 10 weist ein rotes Rücklicht 1 12 auf. Bei dem Fahrassistenzsystem 106 handelt es sich um ein System, für das eine Erkennung des Rücklichts 1 12 des weiteren Fahrzeugs 1 10 relevant ist. Das Rücklicht 1 12 soll hier stellvertretend für ein beliebiges farbiges Objekt stehen, dessen Farbe von Relevanz für ein beliebiges System 106 des Fahrzeugs 100 ist 1 shows a schematic representation of a vehicle 100 according to an embodiment of the present invention. The vehicle 100 has a camera 102, an image evaluation device 104 and a driver assistance system 106. In the apron of the vehicle 100 is another vehicle 1 10. The other vehicle 1 10 has a red tail light 1 12. The driver assistance system 106 is a system for which detection of the tail light 12 of the further vehicle 110 is relevant. The tail light 1 12 is intended to be representative of any colored object whose color is of relevance to any system 106 of the vehicle 100
Befindet sich das weitere Fahrzeug 1 10 in einem Erfassungsbereich der Kamera 102, so kann die Kamera 102 ein Bild erzeugen, in dem das Rücklicht 1 12 abgebildet ist. Gemäß diesem Ausführungsbeispiel wird von dem Rücklicht 1 12 ausgestrahltes Licht von der Kamera 102 erfasst. Die Bildauswerteeinrichtung 104 ist ausgebildet, um das Bild der Kamera 102 auszuwerten, um einen Bildbereich zu bestimmen, in dem das Rücklicht 1 12 abgebildet wird. Sind in dem Bild jeweils unterschiedliche Helligkeitsstufen oder Graustufen dargestellt, so kann die Bildauswerteeinrichtung 104 unter Umständen nicht unterscheiden, ob es sich bei dem Rücklicht 1 12 um ein rotes Licht aussendendes Rücklicht oder einen weißes Licht aussendenden Frontscheinwerfer handelt. Wird die Farbe des Rücklichts 1 12 in dem Bild abgebildet, so kann das Rücklicht 1 12 aufgrund der roten Farbe von der Bildauswerteeinrichtung 104 eindeutig als solches klassifiziert werden. Um die rote Farbe des Rücklichts 1 12 in dem Bild darstellen zu können, kann dieIf the further vehicle 110 is located in a detection area of the camera 102, then the camera 102 can generate an image in which the tail light 12 is shown. According to this exemplary embodiment, light emitted by the rear light 1 12 is detected by the camera 102. The image evaluation device 104 is designed to evaluate the image of the camera 102 in order to determine an image area in which the tail light 12 is imaged. If different brightness levels or gray levels are shown in the image, the image evaluation device 104 may not be able to distinguish whether it is at the tail light 1 12 is a tail light emitting red light or a headlight emitting white light. If the color of the backlight 1 12 is imaged in the image, then the backlight 12 due to the red color can be unambiguously classified by the image evaluation device 104 as such. In order to represent the red color of the tail light 1 12 in the picture, the
Kamera ausgebildet sein, um eine Erfassungseigenschaft der das Rücklicht 1 12 abbildenden Bildpunkte eines Bildaufnehmers der Kamera 102 so anzupassen, das rotes Licht detektiert werden kann. Camera configured to adjust a detection property of the backlight 1 12 imaging pixels of an image sensor of the camera 102 so that red light can be detected.
Fig. 2 zeigt eine schematische Darstellung eines Bildaufnehmers oder eines Abschnitts eines Bildaufnehmers gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der Bildaufnehmer kann in der in Fig. 1 genannten Kamera eingesetzt werden. Der Bildaufnehmer weist eine Mehrzahl von Bildpunkten 220 oder Pixel auf. Beispielhaft sind hier neun Bildpunkte 220 gezeigt, die benachbart zueinander in drei Reihen und drei Spalten angeordnet sind. Jedem Bildpunkt 220 ist ein adaptiver Farbfilter 223 zugordnet. Die Farbfilter 223 sind jeweils in einem Strahlengang eines auf die Bildpunkte 220 treffenden Lichtstrahls angeordnet. Somit trifft auf einen der Bildpunkte 220 jeweils Licht, das durch denjenigen der Farbfilter 223 gefiltert wurde, der dem jeweiligen Bildpunkt 220 zugeordnet ist. Fig. 2 shows a schematic representation of an image recorder or a portion of an image sensor according to an embodiment of the present invention. The image sensor can be used in the camera mentioned in FIG. 1. The imager has a plurality of pixels 220 or pixels. By way of example, nine pixels 220 are shown here, which are arranged adjacent to one another in three rows and three columns. Each pixel 220 is assigned an adaptive color filter 223. The color filters 223 are each arranged in a beam path of a light beam impinging on the pixels 220. Thus, one of the pixels 220 is incident with light filtered by that of the color filters 223 associated with the respective pixel 220.
Jeder der Farbfilter 223 weist eine Schnittstelle auf, über die eine Filtereigenschaft des jeweiligen Farbfilters 223 eingestellt werden kann. Durch Einstellen der Filtereigenschaft kann das auf den zugeordneten Bildpunkt 220 auftreffende Licht beeinflusst werden. Each of the color filters 223 has an interface through which a filter characteristic of the respective color filter 223 can be adjusted. By adjusting the filter characteristic, the light incident on the associated pixel 220 can be affected.
Wird beispielsweise zu einem ersten Zeitpunkt durch den mittleren der gezeigten Bildpunkte 220 ein Rücklicht eines Fahrzeugs abgebildet, so kann die Filtereigenschaft des dem mittleren Bildpunkts 220 zugeordneten Farbfilter 223 so ein- gestellt werden, dass der Farbfilter 223 rotes Licht passieren lässt. If, for example, a rear light of a vehicle is imaged by the middle of the illustrated pixels 220 at a first time, then the filter characteristic of the color filter 223 associated with the middle pixel 220 can be set so that the color filter 223 allows red light to pass.
Wird beispielsweise zu einem zweiten Zeitpunkt durch den mittleren der gezeigten Bildpunkte 220 ein Abschnitt einer Fahrbahnmarkierung abgebildet, so kann die Filtereigenschaft des dem mittleren Bildpunkts 220 zugeordneten Farbfilters 223 so eingestellt werden, dass der Farbfilter 223 gelbes Licht passieren lässt, so dass beispielsweise von einer die Bildsignale der Bildpunkte 220 auswerten- den Bildauswertung erkannt werden kann, dass es sich bei der Fahrbahnmarkierung um eine gelb markierte Fahrbahnmarkierung, beispielsweise im Bereich einer Baustelle, handelt. If, for example, a section of a lane marking is imaged by the middle of the illustrated pixels 220 at a second point in time, the filter characteristic of the color filter 223 assigned to the middle pixel 220 can be adjusted such that the color filter 223 allows yellow light to pass, such that one of them, for example, has a Evaluate image signals of the pixels 220 the image evaluation can be recognized that it is the road marking to a yellow marked lane marking, for example in the field of a construction site, is.
Gemäß diesem Ausführungsbeispiel ist jedes der adaptiven Farbfilter 223 als eine flüssige Mikrolinse realisiert. Dabei wird der Farbfilter 223 pro Bildpunkt 220 mit Hilfe eines Elektrobenetzungs-Verfahrens, einem sogenannten According to this embodiment, each of the adaptive color filters 223 is realized as a liquid microlens. In this case, the color filter 223 per pixel 220 by means of an electrowetting process, a so-called
Electrowetting-Verfahren, erzeugt. Electrowetting process, generated.
Außer mit flüssigen Linsen kann ein Farbfilter auch mechanisch realisiert werden. Dabei können mehrere Filter mechanisch übereinander gelegt werden. Ein solcher Farbfilter kann für alle oder mehrere der Bildpunkte 220 gleichzeitig festgelegt werden. Apart from liquid lenses, a color filter can also be realized mechanically. Several filters can be superimposed mechanically. Such a color filter can be set for all or more of the pixels 220 at the same time.
Fig. 3 zeigt eine Vorrichtung zum Anpassen einer Filtereigenschaft eines adaptiven Farbfilters 223 eines Bildpunktes 220 eines Bildaufnehmers einer Kamera, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Bei der Kamera kann es sich um die in Fig. 1 gezeigte Kamera handeln. 3 shows an apparatus for adjusting a filter characteristic of an adaptive color filter 223 of a pixel 220 of an image sensor of a camera, according to an embodiment of the present invention. The camera may be the camera shown in FIG.
Die Vorrichtung ist ausgebildet, um basierend auf einer erforderlichen Erfassungseigenschaft des Bildpunkts 220 ein Einstellsignal zum Einstellen der Filtereigenschaft des Farbfilters 223 zu erzeugen und über eine Schnittstelle an den Farbfilter 223 oder eine Steuereinrichtung zur Steuerung der Filtereigenschaft des Farbfilters 223 auszugeben. Dazu weist die Vorrichtung eine Ermittlungseinrichtung 331 , eine Bestimmungseinrichtung 333 und eine Bereitstellungseinrichtung 335 auf. The apparatus is configured to generate a setting signal for adjusting the filter characteristic of the color filter 223 based on a required detection characteristic of the pixel 220, and to output to the color filter 223 or a controller for controlling the filter characteristic of the color filter 223 via an interface. For this purpose, the device has a determination device 331, a determination device 333 and a provision device 335.
Die Ermittlungseinrichtung 331 ist ausgebildet, um eine erforderlichen Erfassungseigenschaft des Bildpunkts220 zu ermitteln. Die erforderliche Erfassungseigenschaft kann beispielsweise basierend auf einer Auswertung eines zeitlich zuvor von dem Bildaufnehmer erzeugten Bilds erfolgen. Die Ermittlungseinrichtung 331 ist ausgebildet, um eine Information über die erforderliche Erfassungseigenschaft an die Bestimmungseinrichtung 333 auszugeben. Die Bestimmungseinrichtung 333 ist ausgebildet, um basierend auf der erforderliche Erfassungseigenschaft eine erforderliche Filtereigenschaft des Farbfilters 223 zu bestimmen. Durch die erforderliche Filtereigenschaft kann der Bildpunkt 220 so betrieben werden, dass er die erforderliche Erfassungseigenschaft aufweist. Zum Bestimmen der erforderlichen Filtereigenschaft kann die Bestimmungseinrichtung 333 ausgebildet sein, um auf einen Speicher zuzugreifen, in dem für unterschiedliche Erfassungseigenschaften des Bildpunkts 220 jeweils zugeordnete Filtereigenschaften des Farbfilters 223 abgespeichert sind. Die Bestimmungseinrichtung 333 ist ausgebildet, um eine Information über die erforderliche Filtereigenschaft an die Bereitstellungseinrichtung 335 auszugeben. Die Bereitstellungseinrichtung 335 ist ausgebildet, um basierend auf der Information über die erforderliche Filtereigenschaft des Farbfilters 223 das Einstellsignal zum Einstellen der Filtereigenschaft des Farbfilters 223 zu erzeugen und an die Schnittstelle zu dem Farbfilter 223 auszugeben. The determination device 331 is configured to determine a required detection property of the pixel 220. The required detection property may, for example, be based on an evaluation of an image temporally previously generated by the image sensor. The determination device 331 is configured to output information about the required detection property to the determination device 333. The determination device 333 is configured to determine a required filter characteristic of the color filter 223 based on the required detection property. Due to the required filter property, the pixel 220 can be operated in this way be that it has the required detection property. In order to determine the required filter property, the determination device 333 may be designed to access a memory in which, for different detection properties of the pixel 220, respectively assigned filter properties of the color filter 223 are stored. The determination device 333 is designed to output information about the required filter property to the provision device 335. The providing device 335 is configured to generate, based on the required filter characteristic information of the color filter 223, the adjustment signal for adjusting the filter characteristic of the color filter 223 and output to the interface to the color filter 223.
Der Farbfilter 223 ist ausgebildet, um das Einstellsignal zu empfangen und ansprechend auf das Einstellsignal seine Filtereigenschaft zu verändern, um die erforderliche Filtereigenschaft zu realisieren. The color filter 223 is configured to receive the adjustment signal and change its filter characteristic in response to the adjustment signal to realize the required filter characteristic.
Für jeden Farbfilter 223 des Bildaufnehmers kann ein eigenes Einstellsignal bestimmt und bereitgestellt werden. Auch kann ein Einstellsignal für eine Gruppe von Farbfiltern 223 bereitgestellt werden, die Bildpunkten mit gleicher Erfassungseigenschaft zugeordnet sind. For each color filter 223 of the image sensor, a separate adjustment signal can be determined and provided. Also, a set signal may be provided to a group of color filters 223 associated with pixels having the same detection characteristic.
Gemäß einem Ausführungsbeispiel ist die Vorrichtung zum Anpassen einer Filtereigenschaft als eine Prozessoreinheit oder Recheneinheit realisiert. Mit Hilfe der Prozessoreinheit kann die Farbdurchlässigkeit von Mikrolinsen 223 verändert werden. So ist es unter anderem möglich, in Bereichen in denen ein farbiges Objekt vermutet wird, die entsprechenden Linsen 223 zu aktivieren. Dadurch kann in diesen Bereichen eine höhere farbliche Auflösung erreicht werden. According to one embodiment, the device for adjusting a filter characteristic is realized as a processor unit or arithmetic unit. With the help of the processor unit, the color transparency of microlenses 223 can be changed. Thus it is possible, among other things, to activate the corresponding lenses 223 in areas in which a colored object is suspected. As a result, a higher color resolution can be achieved in these areas.
Die Prozessoreinheit ist ausgebildet, um als Eingangssignal ein Bild mit gefilterten und ungefilterten Pixel zu empfangen. Der Grad der Filterung des Bilds kann vorher festgelegt werden. Die Prozessoreinheit ist ferner ausgebildet, um basierend auf der Bewegung und der Position der Lichtobjekte im Bild eine Schätzung durchzuführen, ob es sich bei den Lichtobjekten um Rot- oder Weißobjekte handelt. Um diese Vermutung oder Schätzung zu bekräftigen ist die Prozessoreinheit ausgebildet, um die Farbdurchlässigkeit zu ändern, um somit Informationen über die tatsächliche Farbe der Lichtobjekte zu erhalten. Um die Farbdurchlässigkeit zu ändern können die Farbfilter 223 des Bildaufnehmers entsprechend eingestellt werden. Insbesondere können die Farbfilter 223 geändert werden, die dem Bereich des Bildes zugeordnet sind, in dem sich die Lichtobjekte befinden, deren Farbe aktuell ermittelt wird. The processor unit is designed to receive as input an image with filtered and unfiltered pixels. The degree of filtering of the image can be predetermined. The processor unit is further configured to make an estimate based on the movement and position of the light objects in the image as to whether the light objects are red or white objects. To corroborate this conjecture or estimation, the processor unit is designed to change the color transparency so as to obtain information about the actual color of the light objects. To the color permeability To change the color filter 223 of the image sensor can be adjusted accordingly. In particular, the color filters 223 associated with the area of the image in which the light objects whose color is currently being detected can be changed.
Auch kann die Durchlässigkeit der entsprechenden Linsen 223 gesteuert werden. Somit kann die Gefahr der Sättigung von einzelnen der Bildpunkte 220 gesteuert werden. Somit können adaptive Filter 223 zur Vermeidung von Sättigung in kamerabasierenden Lichtsystemen eingesetzt werden. Die Sättigung kann in der Prozessoreinheit erkannt werden. Dazu ist die Prozessoreinheit ausgebildet, um, wenn der Helligkeitswert eines Bildpunktes 220 eine bestimmt Größe erreicht hat, langsam die Filtereigenschaft des Farbfilters 223 zu ändern und das entsprechende Verhalten des Pixelwertes oder Helligkeitswertes des Bildpunktes 220 zu beobachten. Also, the transmittance of the respective lenses 223 can be controlled. Thus, the danger of saturation of individual pixels 220 can be controlled. Thus, adaptive filters 223 can be used to avoid saturation in camera-based light systems. The saturation can be detected in the processor unit. For this purpose, the processor unit is designed to, when the brightness value of a pixel 220 has reached a determined size, slowly changing the filter characteristic of the color filter 223 and observing the corresponding behavior of the pixel value or brightness value of the pixel 220.
Fig. 4 zeigt ein Ablaufdiagramm eines Verfahrens zum Betreiben eines 4 shows a flowchart of a method for operating a
Bildaufnehmers einer Kamera eines Fahrzeugs, gemäß einem Ausführungsbeispiels der vorliegenden Erfindung. Bei der Kamera kann es sich um die anhand von Fig. 1 beschriebenen Kamera handeln. In einem Schritt 441 wird ein Bild der Kamera ausgewertet, um einen Bildbereich zu ermitteln, der in Bezug auf eine vermutlich oder sicher in dem Bildbereich vorhandene Farbe ausgewertet werden soll. In einem Schritt 443 werden Bildpunkte des Bildaufnehmers ausgewählt, die sich in dem Bildbereich befinden. Nachfolgend werden Filtereigenschaften von den im Schritt 443 ausgewählten Bildpunkten zugeordneten adaptiven Farbfiltern so eingestellt, dass von den ausgewählten Bildpunkten die in dem Bildbereich auszuwertende Farbe detektiert werden kann. Dazu können abhängig von der auszuwertenden Farbe in einem Schritt 445 erforderliche Erfassungseigenschaften der ausgewählten Bildpunkt ermittelt werden. In einem Schritt 447 können erforderliche Filtereigenschaften der Farbfilter der ausgewählten Bildpunkte be- stimmt werden, um die erforderlichen Erfassungseigenschaften der ausgewählten Bildpunkte zu realisieren. In einem Schritt 449 wird ein Einstellsignal zum Einstellen der Filtereigenschaft der Farbfilter der ausgewählten Bildpunkte entsprechend der erforderlichen Filtereigenschaften ausgegeben. Sind für die Farbfilter unterschiedliche Filtereigenschaften erforderlich, so können im Schritt 449 unterschiedliche Einstellsignale bereitgestellt werden. Das Verfahren kann für einen oder mehrere Bildbereiche des Bilds ausgeführt werden. Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Image pickup of a camera of a vehicle, according to an embodiment of the present invention. The camera may be the camera described with reference to FIG. In a step 441, an image of the camera is evaluated in order to determine an image area which is to be evaluated with regard to a color which presumably or reliably exists in the image area. In a step 443, pixels of the image pickup located in the image area are selected. Subsequently, filter characteristics of the adaptive color filters associated with the pixels selected in step 443 are adjusted such that from the selected pixels the color to be evaluated in the image area can be detected. For this purpose, depending on the color to be evaluated, in a step 445 required detection properties of the selected pixel can be determined. In a step 447, required filter characteristics of the color filters of the selected pixels may be determined to realize the required detection characteristics of the selected pixels. In a step 449, a setting signal for adjusting the filter characteristic of the color filters of the selected pixels is output according to the required filter characteristics. If different filter characteristics are required for the color filters, different adjustment signals may be provided in step 449. The method may be performed for one or more image areas of the image. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described.

Claims

Ansprüche claims
Verfahren zum Anpassen einer Filtereigenschaft eines adaptiven Farbfilters (223) eines Bildpunktes (220) eines Bildaufnehmers einer Kamera (102), das die folgenden Schritte umfasst: A method for adjusting a filter characteristic of an adaptive color filter (223) of a pixel (220) of an image sensor of a camera (102), comprising the following steps:
Ermitteln (445) einer erforderlichen Erfassungseigenschaft des Bildpunkts; Determining (445) a required capture property of the pixel;
Bestimmen (447) einer erforderlichen Filtereigenschaft des Farbfilters, um die erforderlichen Erfassungseigenschaft des Bildpunkts zu realisieren; und Determining (447) a required filter characteristic of the color filter to realize the required detection property of the pixel; and
Bereitstellen (449) eines Einstellsignals zum Einstellen der Filtereigenschaft des Farbfilters entsprechend der erforderlichen Filtereigenschaft. Providing (449) a setting signal for adjusting the filter characteristic of the color filter according to the required filter characteristic.
Verfahren gemäß Anspruch 1 , bei dem im Schritt des Bereitstellens (449) das Einstellsignal bereitgestellt wird, um die Filtereigenschaft des als Mikro- linse ausgeführten adaptiven Farbfilters (223) einzustellen. The method of claim 1, wherein in the step of providing (449), the adjusting signal is provided to set the filtering characteristic of the adaptive color filter (223) being a microlens.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermitteins (445) eine Erfassung von Licht einer bestimmten Farbe als erforderliche Erfassungseigenschaft des Bildpunkts (220) ermittelt wird und bei dem im Schritt des Bestimmens (447) die erforderliche Filtereigenschaft so bestimmt wird, das Licht der bestimmten Farbe den Farbfilter (223) passieren kann. Method according to one of the preceding claims, wherein in the step of determining (445) a detection of light of a particular color as a required detection property of the pixel (220) is determined, and in the step of determining (447) the required filter characteristic is determined the light of the particular color can pass the color filter (223).
Verfahren gemäß Anspruch 3, mit einem Schritt des Prüfens (443), ob der Bildpunkt (220) in einem Bereich des Bildaufnehmers angeordnet ist, durch den ein farbrelevantes Objekt (1 12) abgebildet wird, und bei dem im Schritt des Ermitteins (445) als erforderliche Erfassungseigenschaft eine Erfassung von Licht einer Farbe des Objekts ermittelt wird. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermitteins (445) als erforderliche Erfassungseigenschaft des Bildpunkts eine erforderliche Messempfindlichkeit des Bildpunkts (220) ermittelt wird und bei dem im Schritt des Bestimmens (447) als erforderliche Filtereigenschaft eine Durchlässigkeit des Farbfilters (223) entsprechend der erforderlichen Messempfindlichkeit bestimmt wird. The method of claim 3, further comprising the step of checking (443) whether the pixel (220) is located in a region of the imager through which a color-relevant object (1 12) is imaged and in which the determining step (445) a detection of light of a color of the object is determined as a required detection property. Method according to one of the preceding claims, wherein in the step of determining (445) as a required detection characteristic of the pixel a required measurement sensitivity of the pixel (220) is determined and in which in the step of determining (447) as a required filter characteristic a transmission of the color filter (223 ) is determined according to the required measuring sensitivity.
Verfahren gemäß Anspruch 5, mit einem Schritt des Erkennens einer bevorstehenden Sättigung des Bildpunkts (220) und bei dem im Schritt des Ermitteins (445) die erforderliche Messempfindlichkeit verringert wird, wenn die bevorstehende Sättigung erkannt wird. A method according to claim 5, further comprising the step of detecting an imminent saturation of the pixel (220) and wherein in the step of determining (445) the required measurement sensitivity is reduced when the upcoming saturation is detected.
Verfahren zum Betreiben eines Bildaufnehmers einer Kamera (102) eines Fahrzeugs (100), das die folgenden Schritte umfasst: A method of operating an imager of a camera (102) of a vehicle (100) comprising the steps of:
Auswerten (441 ) eines Bilds des Bildaufnehmers, um einen hinsichtlich einer Farbanalyse relevanten Bildbereich des Bilds zu ermitteln; und Evaluating (441) an image of the image sensor to determine a color image relevant image area of the image; and
Einstellen (445, 447, 449) der Filtereigenschaft zumindest eines adaptiven Farbfilters (223) zumindest eines in einem dem relevanten Bildbereich zugeordneten Bereich des Bildaufnehmers angeordneten Bildpunktes (220) gemäß einem der vorangegangenen Ansprüche. Adjusting (445, 447, 449) the filter characteristic of at least one adaptive color filter (223) of at least one pixel (220) arranged in a region of the image recorder assigned to the relevant image area according to one of the preceding claims.
Vorrichtung, die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 7 durchzuführen. Apparatus adapted to perform the steps of a method according to any one of claims 1 to 7.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7, wenn das Programm auf einer Vorrichtung ausgeführt wird. Computer program product with program code for carrying out the method according to one of claims 1 to 7, when the program is executed on a device.
EP12738094.7A 2011-08-23 2012-07-17 Method and device for adapting a filter property of an adaptive color filter and for operating an image sensor Ceased EP2749030A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011081358A DE102011081358A1 (en) 2011-08-23 2011-08-23 A method and apparatus for adjusting a filter characteristic of an adaptive color filter and operating an imager
PCT/EP2012/063997 WO2013026627A1 (en) 2011-08-23 2012-07-17 Method and device for adapting a filter property of an adaptive color filter and for operating an image sensor

Publications (1)

Publication Number Publication Date
EP2749030A1 true EP2749030A1 (en) 2014-07-02

Family

ID=46551535

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12738094.7A Ceased EP2749030A1 (en) 2011-08-23 2012-07-17 Method and device for adapting a filter property of an adaptive color filter and for operating an image sensor

Country Status (7)

Country Link
US (1) US20140333806A1 (en)
EP (1) EP2749030A1 (en)
JP (1) JP2014529951A (en)
KR (1) KR20140059245A (en)
CN (1) CN103891274A (en)
DE (1) DE102011081358A1 (en)
WO (1) WO2013026627A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018120128B3 (en) * 2018-08-17 2019-12-19 Motherson Innovations Company Limited Image capture device for driver assistance system, driver assistance system and method for operating an image capture device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2948855B2 (en) * 1990-03-16 1999-09-13 オリンパス光学工業株式会社 Color identification device
JPH0622207A (en) * 1992-06-29 1994-01-28 Canon Inc Image pickup device
JPH08105799A (en) * 1994-10-05 1996-04-23 Olympus Optical Co Ltd Color classification device
US6388709B1 (en) * 1995-04-21 2002-05-14 Canon Kabushiki Kaisha Image sensing apparatus with optical modulation elements having transmission characteristics controllable by pixel
JPH0951484A (en) * 1995-08-08 1997-02-18 Mazda Motor Corp Light quantity controller for electronic camera
JPH0961244A (en) * 1995-08-29 1997-03-07 Olympus Optical Co Ltd Apparatus and method for color cllasification
JPH09329497A (en) * 1996-04-11 1997-12-22 Olympus Optical Co Ltd Colorimeter and colorimetery
US7653215B2 (en) * 1997-04-02 2010-01-26 Gentex Corporation System for controlling exterior vehicle lights
DE10018444B4 (en) * 1999-05-04 2006-01-26 Soft Imaging System Gmbh Semiconductor system for registering spectra, color signals, color images and the like
JP2001333329A (en) * 2000-03-17 2001-11-30 Fuji Photo Film Co Ltd Image pickup device
US20030103151A1 (en) * 2001-12-03 2003-06-05 Xiaodong Luo Image sensor having photosensitive color filters
DE10254806B4 (en) 2002-11-22 2008-07-24 Robert Bosch Gmbh Information processing method
JP3940696B2 (en) * 2002-12-25 2007-07-04 株式会社岩根研究所 Highlight suppression image capturing device
EP1748644A3 (en) * 2005-07-25 2008-04-23 MobilEye Technologies, Ltd. A gain control method for a camera to support multiple conflicting applications concurrently
CN102436018A (en) * 2006-12-15 2012-05-02 手持产品公司 Apparatus and method comprising deformable lens element
DE102007014126A1 (en) * 2007-03-23 2008-09-25 Leopold Kostal Gmbh & Co. Kg Optical sensor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2013026627A1 *

Also Published As

Publication number Publication date
KR20140059245A (en) 2014-05-15
US20140333806A1 (en) 2014-11-13
DE102011081358A1 (en) 2013-02-28
WO2013026627A1 (en) 2013-02-28
JP2014529951A (en) 2014-11-13
CN103891274A (en) 2014-06-25

Similar Documents

Publication Publication Date Title
DE102013100327B4 (en) Vehicle driving environment detection device
DE102011106050B4 (en) Shadow removal in an image captured by a vehicle-based camera for detection of a clear path
DE102007034657B4 (en) Image processing device
DE102010062496B4 (en) Method and device for processing image information from two sensors of a stereo sensor system suitable for image acquisition
WO2007009836A1 (en) Image recording system
DE102009025545A1 (en) Method and device for detecting brake light systems
DE102019114533A1 (en) DETECTION OF VISIBLE LIGHT COMMUNICATION SOURCES OVER A HIGH DYNAMIC RANGE
DE102016220757A1 (en) Method and device for material web observation and material web inspection
EP3291172A1 (en) Method for calculating final image data
DE102019103963A1 (en) ILDGEBUNGSVORRICHTUNG
WO2014040848A1 (en) Method and device for recognising at least one pulsed light source for a vehicle
DE102006055905B4 (en) Method for vehicle environment detection and device for environment detection in a motor vehicle
DE112017004948T5 (en) An image pickup control apparatus, an image pickup control method and a recording medium on which it is recorded
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
DE102009001122A1 (en) Camera arrangement and method for determining image signals with color values
DE10146786A1 (en) Device for the automatic switching of lighting devices of a vehicle
EP2229770A1 (en) Method and device for image detection for motor vehicles
DE102014209863A1 (en) Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle
DE102014224903A1 (en) Optical environment sensor for vehicles
DE102012021736A1 (en) Image sensors for e.g. parking assistance system for providing information about three-dimensional environment of motor car, have matrices including type pixel whose sensitivity is complementary to sensitivity of another type pixel
EP2749030A1 (en) Method and device for adapting a filter property of an adaptive color filter and for operating an image sensor
WO2003066375A1 (en) Device for automatically adjusting the brightness of a luminous beam emitted by the rear lighting equipment on a vehicle
DE102010002312A1 (en) Method and device for analyzing an image of an image capture device for a vehicle
DE102020117060B4 (en) Device and method for detecting the surroundings of a vehicle
EP2103984B1 (en) Method and device for processing image files

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140324

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20150521

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20160304