[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP2181415A2 - Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen, insbesondere hinsichtlich einer tag-/nachtunterscheidung - Google Patents

Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen, insbesondere hinsichtlich einer tag-/nachtunterscheidung

Info

Publication number
EP2181415A2
EP2181415A2 EP08785731A EP08785731A EP2181415A2 EP 2181415 A2 EP2181415 A2 EP 2181415A2 EP 08785731 A EP08785731 A EP 08785731A EP 08785731 A EP08785731 A EP 08785731A EP 2181415 A2 EP2181415 A2 EP 2181415A2
Authority
EP
European Patent Office
Prior art keywords
day
night
image
environment
evaluating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP08785731A
Other languages
English (en)
French (fr)
Inventor
Andreas Kuehnle
Cathy Boon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP2181415A2 publication Critical patent/EP2181415A2/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • the invention relates to a method and an arrangement for evaluating brightness values in sensor images of an image-evaluating environment detection system, in particular with regard to a day / night distinction, as is preferably used in driver assistance systems in motor vehicles, according to the preamble of method claim 1 et seq., And the arrangement according to claim 8 ff. and a computer program product according to claim 11.
  • Such driver assistance systems are used to assist a driver of a motor vehicle in carrying out certain operations in the road and are already used for a wide variety of tasks.
  • LIDAR radar sensor a predetermined range in the direction of travel ahead of the vehicle with respect to certain objects is detected and certain security functions can be triggered in good time by a corresponding evaluation of the sensor signals.
  • vision-based or image-based driving assistance systems that attempt to interpret a road situation are well-known lane departure warning systems, lane departure warning assistants, collision warning assistants, or the like.
  • camera, video or sensor images are used in image-evaluating or so-called vision-based driver assistance systems for environment detection and detection, in the known systems from the camera images objects, obstacles, lane and lane boundaries and distances are determined for this purpose.
  • image sensors designated as imagers are used in so-called vision-based surroundings detection systems which then supply a camera image of the detected environment which can also be evaluated with regard to intensity, contrast, color or other parameters with corresponding data-processing means ,
  • the sensor images of an identical scene or the same roadway situation may look different depending on the external lighting.
  • Environment detection systems for video-assisted driver assistance systems the trying to interpret the same scene or lane situation with different lighting, therefore, may have problems dealing with these different conditions in the evaluation.
  • the different appearance due to a change in lighting often requires a readjustment or readjustment of the understanding or the
  • a particularly common example of a scene that looks different depending on the lighting is a traffic situation with vehicles traveling at night with vehicle lights on and with vehicle lights off during the day. Recognition of other vehicles by a vehicle with a picture-based driver assistance system can thereby be difficult or impaired depending on the lighting conditions. Also, in the case of a change from day to night, detection of lane and / or lane markings may be impeded or impaired by an above-mentioned driver assistance system or by the surroundings recognition system interpreting the scene or lane situation.
  • the invention is based on a method for evaluating sensor images of an image-evaluating environment detection system on a carrier, for example a vehicle on the road, possibly taking into account the vehicle's own movement, in which according to the invention in an advantageous manner to distinguish the lighting conditions in the field of image-evaluating environment detection system in terms of day or At least the night
  • Gain and / or the exposure time of the at least one environment detecting image sensor is monitored.
  • a progression of gain and / or exposure time will be over time with relatively high gain or relative long exposure times characterize light conditions of a night and a progression of the gain and / or the exposure time with relatively low gain and / or relatively short exposure times will characterize light conditions of a tag. But it can also be used to provide additional information about a day or night state.
  • At least the course of the amplification and / or the exposure time of the image sensor can thus be evaluated in a predefined period of time, for example by determining whether a significant or sufficiently large proportion of this course is a day or night Night state corresponds.
  • the method according to the invention for determining a day or night state of a scene or roadway situation detected by at least one image sensor thus makes use of a different light intensity of the scene or roadway situation during the day or at night in a simple manner Statement about a day or night condition can be taken.
  • a current day or Gaborkennung be performed in regular cycles based on the instantaneous gain and / or the current exposure time of the image sensor, wherein in addition to the current or last day or Häenterkennung also a predeterminable period corresponding number of past stored day or night detections can be evaluated, which can represent an evaluable history, wherein the time period underlying the course can also be variable.
  • a predeterminable period corresponding number of past stored day or night detections can be evaluated, which can represent an evaluable history, wherein the time period underlying the course can also be variable.
  • the time period underlying the course can also be variable.
  • Night detections can be present, which represent the course or the development of the situation in order to make a statement about a day or night state. Unless there is a difference to a previously or recently made statement about a day or night state, for example, because there is not a sufficient number of day or night detections for a new decision, the previously or recently made statement preferably remains unchanged.
  • the progression or temporal development can be ascertained by carrying out a current day or night recognition in regular cycles on the basis of the instantaneous amplification and / or the current exposure time of the image sensor, with a current or last day or night identification a predetermined period corresponding number of past day or Wegenterkennache is stored.
  • the period over which the history is tracked or the number of stored past day or night identifications is variable, for example, not necessarily to a long chain of after a vehicle is parked at night and re-used the next morning To have to fall back on past night detections, an even better statement about a day or night state can be made.
  • the method according to the invention can also be extended by providing a third setting for the image sensor in the surroundings recognition system in the case of an ambiguous assignment to a day or night state, which does not contribute to a conclusive statement about a day or night state.
  • a third setting for the image sensor in the surroundings recognition system in the case of an ambiguous assignment to a day or night state, which does not contribute to a conclusive statement about a day or night state.
  • an average value of the course of the state recognition can be used to determine a state lying between a daytime and a nighttime state, the average value being formed, in particular, proportionally to the course or by means of a lookup table.
  • the average value is preferably proportional to the course, z. B. proportional to the course of the met day or night detections.
  • This particularly advantageous embodiment of the invention therefore provides that an intermediate zone corresponds to a "neither-day-still-night-state" of the image sensor.
  • the parameters or presets can be adjusted or adjusted with a 50/90 portion of the day / night setting range
  • a proportionality not necessarily linear here between the brightness state of the environment and the parameter settings can be formed.
  • the environment detected by the environment detection system according to the invention is searched for bright objects which identify the headlights of another carrier and whose occurrence is then used as additional information.
  • additional environment-specific information for distinguishing the day or night state which in particular comprises further indication objects recognized in a detected environment whose different appearance is known by day or night. For example, reflectors mounted on the road surface shine strongly at night due to their highly reflective properties; During the day these are almost invisible or dark.
  • bright, spotlight-shaped objects can be determined, in particular on the front side of a vehicle, the occurrence of which is then used as additional information.
  • Such objects have, for example a generally round or elliptical shape and occur in pairs. As a result, they are generally easy to identify in image analysis.
  • the frequency with which the bright objects and / or further environment-specific information are found in the detected environment is determined, wherein a predetermined frequency of the occurrence of such objects in an environment is associated with a nighttime state.
  • a predetermined frequency of the occurrence of such objects in an environment is associated with a nighttime state.
  • An example are vehicle lights, which are seen more and more often at night, so that the quotient of the number of found lights and the number of vehicles found increases.
  • the area-specific knowledge thus preferably also includes one
  • an environment identifiable indication objects eg. B. used to delineate lanes and lanes used objects whose appearance is known or other lane or lane marker-like pattern in the detected situations.
  • These also differ by day and by night, z. For example, some appear larger at night than during the day.
  • the frequency of occurrence can in turn be incorporated as additional information in a statement or decision on a day or night state.
  • an increasing frequency of occurrence or observation of indication objects having a known appearance at night in a scene or in a situation may be associated with a decision tending to a night state.
  • the image-evaluating environment detection system includes an electronic camera as an image sensor, which is mounted on a vehicle as a carrier and detects the front in the direction of travel of the vehicle on a road surface so continuously, that in each case a constructed of pixels sensor image is present whose brightness and possibly color values reflect the environment. Furthermore, an evaluation unit is available, with which a distinction of the light conditions in the region of the image-evaluating environment detection system with regard to day or night due to the gain and / or the exposure time of the at least one camera detecting the environment is feasible.
  • the evaluation unit can then easily be provided with a signal from the determination of the day or night state, i.
  • parameters or presets are applied, with which a video or image-based driver assistance system with respect to the day or night state is adjustable. It is conceivable, for example, to set the parameters or presettings on a sliding scale in such a way that the best performance of a surroundings recognition system is achieved in conjunction with a video-assisted or image-assisted driving assistance system.
  • the invention thus provides a summary method, which is a classification of a lighting situation as a day or
  • a computer program product which comprises computer-readable program means stored on a computer-usable medium which, when the computer program product is executed on a microprocessor with associated storage means or on a computer, cause it to carry out the method according to the invention or the operation of the arrangement.
  • Figure 1 is a schematic representation of a vehicle with a camera as part of an environment detection system for the evaluation of day and night conditions, in addition also based on the headlights of another vehicle and
  • FIG. 2 shows a flowchart of the method features according to the invention in an evaluation unit of the environment recognition system.
  • FIG. 1 diagrammatically shows a situation of a vehicle 1 as the vehicle of a surroundings recognition system, which can move here on a roadway 2 in the direction of an arrow 3.
  • the surroundings recognition system of the vehicle 1 has a camera 4 as an image sensor, in particular a digital video camera, which detects a region between dashed lines 5 and 6.
  • the roadway 2 is separated by a marker 7 and on the other side of the road is another vehicle 8 opposite, which is equipped with front lights 9.
  • an evaluation device 10 the digital data of the consisting of pixels sensor image of the camera 4 and additionally, for example, at an input 12 and the current speed data of the vehicle 1 are evaluated at an input 11.
  • the evaluation device 10 in order to distinguish the light conditions in the region of the image-evaluating surroundings recognition system on the vehicle 1 with regard to day or night, the amplification and / or the
  • Exposure time of the camera 4 monitored.
  • a course of reinforcement and / or The exposure time over time with relatively high gain or relatively long exposure times here characterizes the lighting conditions at night and a progression of the gain and / or the exposure time with relatively low gain and / or relatively low exposure times characterizes the daytime lighting conditions here.
  • the environment detected by the camera 4 is searched for bright objects, in the embodiment shown here, the headlights 9 of the other vehicle 8 are used as additional information.
  • additional environment-specific information which is not further explained here, for distinguishing the daytime or nighttime state, which in particular comprise further indication objects recognized in a detected environment whose different appearance is known day or night.
  • At least the gain and / or the exposure time of the camera 4 are monitored.
  • a course or a development with consistently low gain or consistently low exposure times serves as an indication that is just day.
  • the course or the development of the amplification and / or the exposure times of the image sensor or similar settings are preferably evaluated and it is determined whether a substantial or sufficiently large proportion of this course or development corresponds to a day or night state.
  • the progression or temporal development which can also be described as a history, can be determined, for example, by carrying out a current day or night detection in regular cycles on the basis of the instantaneous amplification and / or the instantaneous exposure time of the image sensor.
  • a number of past day or night identifications corresponding to a specifiable period of time can be stored, which represent the course or the development of the day and night identifications.
  • the period may be variable, for example, after having parked a vehicle at night and re-use the next morning, it may not be necessary to resort to a long chain of past night detections in order to make a statement about a day or night condition.
  • - To avoid frequent switching between a determination of a day and night state, is preferably a one
  • this Neither-Nights-Nights-Night state does not contribute to a conclusive statement about a day or night state.
  • the course or development removable sufficient number or z.
  • B a percentage corresponding, sufficient proportion of past day or night detections needed to make a statement about a day or night state.
  • the previous state is preferably maintained or remains the previously or recent statement preferably unchanged.
  • additional information can be used to make a statement or decision on a day or night state.
  • search captured situations or scenes for bright, spotlight-shaped objects as shown in FIG.
  • Headlamp-shaped objects on the vehicle front of another vehicle 8 for example, have a generally round or elliptical shape and occur in pairs and at approximately the same image height.
  • the frequency with which such objects are found in the scanned detected situations or scenes can be observed.
  • An increasing frequency of the occurrence or the observation of such objects in a scene or in a situation is preferably with a decision that tends to a night state or
  • area-specific knowledge can further be used as to how a scene or situation appears differently during the day and at night.
  • the decision itself or the statement made does not necessarily have to be binary, so it does not necessarily need only two states, such as day or night. For example, an average of the day or day
  • Gaberkennache be used, for example, proportionally the rules or presets of a situation or a scene understanding or interpreting video or image-based Driver assistance system or its image recognition system to adjust or readjust. For example, in a 40% Tag Recognition, 50% Night Recognition, and 10% Neither -day-nor-night conditions, the rules or presets can be adjusted or adjusted with a 50/90 corresponding portion of the day / night range.
  • Such a setting or readjustment can also be non-linear, for example with the aid of a look-up table.
  • the method starts in a first method step 21.
  • a daytime state is set as the start or output value.
  • a so-called frame is detected, which contains at least the instantaneous amplification and the instantaneous exposure time of at least one camera 4 according to FIG. 1, at least at the time of the video-based or image-based recording of the surroundings.
  • a query can take place as to whether a sufficiently fast movement has taken place since the detection of the last frame, for B. whether since then a sufficient distance was covered on the lane 2. If this is the case, the method proceeds to a sixth method step 26. If this is not the case, a new frame is detected again in the third method step 23.
  • the method according to the invention does not necessarily require one Movement of the carrier and thus the camera 4 ahead; however, in the embodiment described here, the vehicle's own motion is taken into account.
  • the sixth method step 26 it is clarified whether the current exposure time and the instantaneous gain stored in the detected frame correspond to a current day or a night or a "neither-night-nor-night state.”
  • the result is an instantaneous day or night detection or a current "neither day nor night state”.
  • a seventh method step 27 the knowledge obtained in the sixth method step 26 is added to a profile.
  • Process step 28 takes place a query whether the course has a sufficient length. If this is the case, the method continues with a ninth method step 29. If this is not the case, the method continues with the third method step 23.
  • a query is made as to whether a sufficient number of findings added to the course are night decisions. If this is the case, then the method continues with a tenth method step 30. If this is not the case, then the method continues with an eleventh method step 31.
  • a query takes place as to whether a sufficient number of findings added to the course are day decisions. If this is the case, the method continues with a twelfth method step 32. If this is not the case, the method preferably proceeds to the third method step 23. In the twelfth method step 32, the statement is made that there is a daytime state. In a thirteenth method step 33 following the tenth or twelfth method steps 30, 32, the profile is deleted and the method continues again in the third method step 23.
  • a result obtained thereby in the form of the statement made is preferably used to determine the rules, parameters or presettings of an environment-understanding or interpreting, video-based or image-based driver assistance system or its surroundings detection system, for example. For example, adjust on a sliding scale to get the best performance.
  • the invention is particularly industrially applicable in the field of production and operation of video- or image-assisted driver assistance systems or video- or image-based video systems which can be used in traffic. It is particularly advantageous and also provided that the driver assistance system has a lane keeping assistance system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Es wird ein Verfahren und eine Anordnung zur Auswertung von Sensorbildern eines bildauswertenden Umfelderkennungssystems an einem Träger vorgeschlagen, bei dem zur Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht zumindest die Verstärkung und/oder die Belichtungszeit des mindestens eines das Umfeld erfassenden Bildsensors überwacht wird, wobei ein Verlauf der Verstärkung und/oder der Belichtungszeit über der Zeit mit relativ hoher Verstärkung oder relativ langen Belichtungszeiten Lichtverhältnisse einer Nacht kennzeichnen und ein Verlauf der Verstärkung und/oder der Belichtungszeit mit relativ niedriger Verstärkung und/oder relativ niedriger Belichtungszeiten Lichtverhältnisse eines Tags kennzeichnen. Weiterhin kann mit dem erfindungsgemäßen Umfelderkennungssystem das erfasste Umfeld nach hellen Objekten durchsucht werden, wobei zum Beispiel die Scheinwerfer eines anderen Trägers als zusätzliche Information verwendet werden.

Description

Beschreibung
Verfahren und Anordnung zur Auswertung von Helligkeitswerten in Sensorbildern bei bildauswertenden Umfelderkennungssystemen, insbesondere hinsichtlich einer Tag-/Nachtunterscheidung
Stand der Technik
Die Erfindung betrifft ein Verfahren und eine Anordnung zur Auswertung von Helligkeitswerten in Sensorbildern eines bildauswertenden Umfelderkennungssystems, insbesondere hinsichtlich einer Tag-/Nachtunterscheidung, wie es vorzugsweise bei Fahrassistenzsystemen in Kraftfahrzeugen verwendet wird, gemäß dem Oberbegriff des Verfahrensanspruchs 1 ff. und der Anordnung nach Anspruch 8 ff. sowie ein Computerprogrammprodukt gemäß Anspruch 11.
Solche Fahrassistenzsysteme dienen der Unterstützung eines Fahrers eines Kraftfahrzeugs bei der Durchführung bestimmter Vorgänge im Straßenverkehr und werden bereits für unterschiedlichste Aufgaben eingesetzt. Beispielsweise ist aus der DE 10 2004 017 890 A1 bekannt, dass mit einem sogenannten LIDAR- Radarsensor ein vorgegebener Bereich in der Fahrtrichtung voraus des Fahr- zeugs hinsichtlich bestimmter Objekte detektiert wird und durch eine entsprechende Auswertung der Sensorsignale rechtzeitig bestimmte Sicherheitsfunktionen ausgelöst werden können. Beispiele für solche visionbasierende oder bildgestützte Fahrassistenzsysteme, welche eine Fahrbahnsituation bzw. eine Szene zu verstehen bzw. zu interpretieren versuchen, sind hinlänglich bekannte Spurhalteassistenten, Spurverlasswarnungsassistenten, Kollisionswarnassistenten oder dergleichen. Diese an sich bekannten Systeme können beispielsweise im Rahmen einer adaptiven Fahrgeschwindigkeits- und/oder Abstandsregelung eines Fahrzeugs eingesetzt werden, wobei eine solche Regelung dann ohne Eingriff durch den Fahrer eine zuvor eingestellte Fahrgeschwindigkeit und/oder einen zuvor eingestellten Abstand zu einem vorausfahrenden Fahrzeug oder zu sich in Fahrtrichtung befindlichen Gegenständen und/ oder Objekten durchgeführt werden kann. Dies geschieht in der Regel unter entsprechender Berücksichtigung des Umfelds des Fahrzeuges und gegebenenfalls weiterer Parameter wie beispielsweise den Witterungs- und Sichtbedingungen. Eine solche Regelung wird oft auch als Adaptive-Cruise-Control-System (ACC-System) bezeichnet. Das ACC-System muss insbesondere mit Blick auf die steigende Verkehrsdichte der heutigen Zeit flexibel genug sein, um auf alle Fahrsituationen geeignet zu reagieren. Dies erfordert wiederum eine entsprechende Objektdetektions- sensorik, um in jeder Fahrsituation die für die Regelung notwendigen Messdaten zu liefern.
Hierzu werden auch Kamera-, Video- oder Sensorbilder bei bildauswertenden oder auch sogenannten visionbasierenden Fahrassistenzsystemen zur Umfelderfassung und -erkennung verwendet, wobei bei den bekannten Systemen aus den Kamerabildern Objekte, Hindernisse, Fahrbahn- und Fahrspurbegrenzungen sowie Abstände hierzu bestimmt werden. Zur eigentlichen Bilderfassung werden in sogenannten visionbasierenden Umfelderfassungssystemen als Imager bezeichnete Bildsensoren eingesetzt, welche dann ein auch als Sensorbild bezeichnetes Kamerabild der erfassten Umgebung liefern, deren Bildpunkte (Pixel) oder Bildbereiche hinsichtlich Intensität, Kontrast, Farbe oder sonstiger Parameter mit entsprechenden datenverarbeitenden Mitteln ausgewertet werden können.
Die Sensorbilder einer identischen Szene bzw. einer gleichen Fahrbahnsituation können dabei abhängig von der äußeren Beleuchtung unterschiedlich aussehen. Umfelderkennungssysteme bei videogestützten Fahrassistenzsystemen, die versuchen, dieselbe Szene bzw. Fahrbahnsituation bei unterschiedlicher Beleuchtung zu interpretieren, können daher Probleme haben, mit diesen unterschiedlichen Verhältnissen bei der Auswertung umzugehen. Das unterschiedliche Aussehen aufgrund einer veränderten Beleuchtung erfordert häufig ein Nachjustieren bzw. Nachstellen der für das Verständnis bzw. die
Interpretation der Szene oder Fahrbahnsituation verwendeten oder erforderlichen Regelalgorithmen, Parameter oder Voreinstellungen.
Ein besonders häufig auftretendes Beispiel für eine Szene, die abhängig von der Beleuchtung unterschiedlich aussieht, ist eine Verkehrssituation mit Fahrzeugen, die nachts mit eingeschalteter Fahrzeugbeleuchtung und tagsüber mit ausgeschalteter Fahrzeugbeleuchtung unterwegs sind. Eine Erkennung anderer Fahrzeuge durch ein Fahrzeug mit einem bildgestützten Fahrassistenzsystem kann dadurch abhängig von den Lichtverhältnissen erschwert oder beeinträchtigt sein. Auch kann bei einem Wechsel von Tag zu Nacht eine Erkennung von Fahrspur- und/oder Fahrbahnmarkierungen durch ein oben genanntes Fahrassistenzsystem bzw. durch das die Szene oder Fahrbahnsituation interpretierende Umfelderkennungssystem erschwert oder beeinträchtigt sein.
Offenbarung der Erfindung
Die Erfindung geht von einem Verfahren zur Auswertung von Sensorbildern eines bildauswertenden Umfelderkennungssystems an einem Träger aus, zum Beispiel ein Fahrzeug im Straßenverkehr, eventuell unter Berücksichtigung der fahrzeugeigenen Bewegung, bei dem erfindungsgemäß in vorteilhafter weise zur Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht zumindest die
Verstärkung und/oder die Belichtungszeit des mindestens eines das Umfeld erfassenden Bildsensors überwacht wird. Ein Verlauf der Verstärkung und/oder der Belichtungszeit wird über der Zeit mit relativ hoher Verstärkung oder relativ langen Belichtungszeiten Lichtverhältnisse einer Nacht kennzeichnen und ein Verlauf der Verstärkung und/oder der Belichtungszeit mit relativ niedriger Verstärkung und/oder relativ kurzer Belichtungszeiten wird Lichtverhältnisse eines Tags kennzeichnen. Es können dabei aber auch weitere zusätzliche Informationen verwendet werden, um eine Aussage über einen Tages- oder Nachtzustand zu treffen.
Für eine Feststellung hinsichtlich eines Tag- oder Nachtzustandes kann somit zumindest der Verlauf der Verstärkung und/oder der Belichtungszeit des Bildsensors in einem vorgegebenen Zeitraum ausgewertet werden, indem zum Beispiel ermittelt wird, ob ein wesentlicher bzw. genügend großer Anteil dieses Verlaufs einem Tages- oder Nachtzustand entspricht.
Das erfindungsgemäße Verfahren zur Feststellung eines Tag- oder Nachtzustands einer video- bzw. bildgestützt mittels mindestens eines Bildsensors erfassten Szene bzw. Fahrbahnsituation macht sich somit eine unterschiedliche Lichtintensität der Szene bzw. Fahrbahnsituation bei Tag oder bei Nacht dahingehend zunutze, dass dadurch auf einfache Weise eine Aussage über einen Tages- oder Nachtzustand getroffen werden kann.
Mit der Erfindung kann in regelmäßigen Zyklen anhand der momentanen Verstärkung und/oder der momentanen Belichtungszeit des Bildsensors eine momentane Tag- bzw. Nachtenterkennung durchgeführt werden, wobei neben der aktuellen bzw. letzten Tag- bzw. Nachtenterkennung auch eine einem vorgebbaren Zeitraum entsprechende Anzahl von zurückliegenden gespeicherten Tag- bzw. Nachterkennungen ausgewertet werden können, die einen auswertbaren Verlauf repräsentieren können, wobei der dem Verlauf zugrunde liegende Zeitraum auch veränderlich sein kann. Hierzu sollten eine dem Verlauf entnehmbare ausreichende Anzahl oder von zurückliegenden Tagbzw. Nachterkennungen vorhanden sein, die den Verlauf bzw. die Entwicklung der Situation repräsentieren, um eine Aussage über einen Tages- oder Nachtzustand zu treffen. Sofern sich kein Unterschied zu einer zuvor bzw. kürzlich getroffenen Aussage über einen Tages- oder Nachtzustand ergibt, beispielsweise weil für eine neue Entscheidung keine genügende Anzahl von Tag- bzw. Nachterkennungen vorliegt, bleibt die zuvor bzw. kürzlich getroffene Aussage vorzugsweise unverändert.
Der Verlauf bzw. die zeitliche Entwicklung kann ermittelt werden, indem in regelmäßigen Zyklen anhand der momentanen Verstärkung und/oder der momentanen Belichtungszeit des Bildsensors eine momentane Tag- bzw. Nachtenterkennung durchgeführt wird, wobei neben der aktuellen bzw. letzten Tag- bzw. Nachtenterkennung eine einem vorgebbaren Zeitraum entsprechende Anzahl von zurückliegenden Tag- bzw. Nachtenterkennungen gespeichert wird.
Wenn der Zeitraum, über den der Verlauf nachverfolgt wird, bzw. die Anzahl von gespeicherten, zurückliegenden Tag- bzw. Nachtenterkennungen veränderlich ist, beispielsweise um nach einem Abstellen eines Fahrzeugs bei Nacht und bei einer Wiederbenutzung am nächsten Morgen nicht zwingend auf eine lange Kette von zurückliegenden Nachterkennungen zurückgreifen zu müssen, kann eine noch bessere Aussage über einen Tages- oder Nachtzustand getroffen werden.
Das erfindungsgemäße Verfahren kann auch dadurch erweitert werden, dass bei einer nicht eindeutigen Zuordnung zu einem Tag- oder Nachtzustand eine dritte Einstellung für den Bildsensor im Umfelderkennungssystem vorgesehen ist, die nicht zu einer abschließenden Aussage über einen Tages- oder Nachtzustand beiträgt. Zur Festlegung der dritten Einstellung kann ein Durchschnittswert des Verlaufs der Zustandserkennung verwendet werden, um einen zwischen einem Tages- und einem Nachtzustand liegenden Zustand festzulegen, wobei der Durchschnittswert insbesondere proportional dem Verlauf oder anhand einer Nachschlagtabelle gebildet wird. Der Durchschnittswert wird vorzugsweise proportional dem Verlauf, z. B. proportional dem Verlauf der getroffenen Tagoder Nachterkennungen, gebildet. Diese besonders vorteilhafte Ausgestaltung der Erfindung sieht somit vor, dass eine Zwischenzone einem „Weder-Tag-Noch-Nacht-Zustand" des Bildsensors entspricht. Ein solcher „Weder-Tag-Noch-Nacht-Zustand" hat momentan betrachtet zunächst weder eine Tag- noch eine Nachterkennung zur Folge, d.h., der Bildsensor weist dabei eine Verstärkung und/oder eine Belichtungszeit auf, welche, wenn sie dauerhaft aufrechterhalten werden würde, zu keiner abschließenden Aussage über einen Tages- oder Nachtzustand führen würde. Dadurch, dass somit ein „Weder-Tag-Noch-Nacht-Zustand" als dritte Einstellung vorgesehen ist, kann ein häufiges Umschalten zwischen einer Feststellung eines Tages- und eines Nachtzustandes vermieden werden.
Es können beispielsweise bei einem Verlauf mit 40% Tagerkennung, 50% Nachterkennung und 10% „Weder-Tag-Noch-Nacht-Zustände" die Parameter oder Voreinstellungen mit einem 50/90 Anteil des Einstellbereichs zwischen Tag und Nacht eingestellt oder nachjustiert werden. Es kann somit eine hier nicht notwendigerweise lineare Proportionalität zwischen dem Helligkeitszustand der Umgebung und den Parametereinstellungen gebildet werden.
Besonders vorteilhaft ist es, wenn das mit dem erfindungsgemäßen Umfelderkennungssystem erfasste Umfeld nach hellen Objekten durchsucht wird, die die Scheinwerfer eines anderen Trägers kennzeichnen und deren Auftreten dann als zusätzliche Information verwendet wird. Es könne weiterhin auch zusätzliche umfeldspezifische Informationen zur Unterscheidung des Tagoder Nachtzustandes verwendet werden, die insbesondere weitere in einem erfassten Umfeld erkannte Indikationsobjekte umfassen, deren unterschiedliches Aussehen bei Tag oder Nacht bekannt ist. Beispielsweise leuchten auf der Fahrbahnoberfläche angebrachte Reflektoren durch ihre stark reflektierenden Eigenschaften nachts stark; tagsüber sind diese fast unsichtbar bzw. dunkel.
Hierzu können insbesondere helle, scheinwerferförmige Objekte insbesondere an der Frontseite eines Fahrzeugs ermittelt werden, deren Auftreten dann als zusätzliche Information verwendet wird. Solche Objekte haben beispielsweise eine im Allgemeinen runde oder elliptische Form und treten paarweise auf. Dadurch sind sie im Allgemeinen leicht bei einer Bildauswertung zu identifizieren.
Hierbei ist es ebenfalls vorteilhaft, wenn die Häufigkeit ermittelt wird, mit der die hellen Objekte und/oder weitere umfeldspezifische Informationen in dem erfassten Umfeld gefunden werden, wobei eine vorgegebene Häufigkeit des Auftretens solcher Objekte in einem Umfeld mit einem Nachtzustand in Verbindung gebracht wird. Ein Beispiel stellen Fahrzeugleuchten dar, die nachts immer häufiger gesehen werden, sodass der Quotient aus der Anzahl der gefundenen Leuchten und der Anzahl der gefundenen Fahrzeuge steigt.
Vorzugsweise umfasst das bereichsspezifische Wissen somit auch eine
Einbeziehung bestimmter, in einem Umfeld identifizierbarer Indikationsobjekte, z. B. zur Abgrenzung von Fahrbahnen und Fahrspuren verwendete Objekte, deren Aussehen bekannt ist oder sonstige fahrbahn- oder fahrspurmarkierungsartigen Muster in den erfassten Situationen. Auch diese unterscheiden sich bei Tag und bei Nacht, z. B. erscheinen einige bei Nacht größer als bei Tag.
Die Häufigkeit des Auftretens kann wiederum als zusätzliche Information in eine Aussage bzw. Entscheidung über einen Tages- oder Nachtzustand einfließen. Beispielsweise kann eine zunehmende Häufigkeit des Auftretens bzw. der Beobachtung von Indikationsobjekten mit einem bekannten Aussehen bei Nacht in einer Szene bzw. in einer Situation mit einer zu einem Nachtzustand tendierenden Entscheidung bzw. Aussage in Verbindung gebracht werden.
Bei einer vorteilhaften Anordnung zur Durchführung des zuvor beschriebenen Verfahrens enthält das bildauswertende Umfelderkennungssystems eine elektronische Kamera als Bildsensor, die an einem Fahrzeug als Träger angebracht ist und den in Fahrtrichtung vorderen Bereich des Fahrzeugs auf einer Fahrbahn derart fortlaufend erfasst, dass jeweils ein aus Pixeln aufgebautes Sensorbild vorhanden ist, deren Helligkeits- und gegebenenfalls Farbwerte die Umgebung abbilden. Ferner ist eine Auswerteeinheit vorhanden, mit der eine Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht aufgrund der Verstärkung und/oder die Belichtungszeit der mindestens einen das Umfeld erfassenden Kamera durchführbar ist.
Bei einer solchen Anordnung kann dann die Auswerteeinheit auf einfache Weise mit einem Signal aus der Feststellung des Tag- oder Nachtzustands, d.h. insbesondere mit Parametern oder Voreinstellungen beaufschlagt werden, mit denen ein video- oder bildgestützten Fahrassistenzsystems hinsichtlich des Tagoder Nachtzustands einstellbar ist. Dabei ist beispielsweise denkbar, die Parameter oder Voreinstellungen auf einer gleitenden Skala so einzustellen, dass die beste Leistung eines eine Umfeldsituation erkennenden Umfelderkennungssystems in Verbindung mit einem video- bzw. bildgestützten Fahrassistenzsystem erzielt wird.
Durch die Erfindung wird somit zusammenfassend ein Verfahren geschaffen, welches eine Einordnung einer Beleuchtungssituation als Tag- oder
Nachtsituation ermöglicht. Mit dieser Einordnung somit kann ein fehlerfreies Erkennen einer Fahrbahnsituation unabhängig von deren Beleuchtungszustand ermöglicht werden.
Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, das gespeichert auf einem computerverwendbaren Medium computerlesbare Programmmittel umfasst, welche bei Ausführung des Computerprogrammprodukts auf einem Mikroprozessor mit zugehörigen Speichermitteln oder auf einem Computer diesen zur Durchführung des erfindungsgemäßen Verfahrens oder des Betriebs der Anordnung veranlassen.
Kurze Beschreibung der Zeichnung Ein Ausführungsbeispiel der Erfindung wird in den Figuren der Zeichnung dargestellt und nachfolgend erläutert. Es zeigen:
Figur 1 eine schematische Darstellung eines Fahrzeugs mit einer Kamera als Bestandteil eines Umfelderkennungssystems zur Auswertung von Tag- und Nachtzuständen, zusätzlich auch anhand der Scheinwerfer eines anderen Fahrzeugs und
Figur 2 ein Ablaufdiagramm der erfindungsgemäßen Verfahrensmerkmale in einer Auswerteeinheit des Umfelderkennungssystems.
Beschreibung des Ausführungsbeispiels
Aus Figur 1 ist schematisch eine Situation eines Fahrzeugs 1 als Träger eines Umfelderkennungssystems erkennbar, das sich hier auf einer Fahrbahn 2 in Richtung eines Pfeiles 3 bewegen kann. Das Umfelderkennungssystem des Fahrzeugs 1 weist eine Kamera 4 als Bildsensor, insbesondere eine digitale Videokamera auf, die einen Bereich zwischen gestrichelten Linien 5 und 6 erfasst.
Die Fahrbahn 2 ist durch eine Markierung 7 getrennt und auf der anderen Fahrbahnseite kommt ein anderes Fahrzeug 8 entgegen, das mit frontseitigen Scheinwerfern 9 bestückt ist. In einer Auswerteeinrichtung 10 werden an einem Eingang 11 die digitalen Daten des aus Pixeln bestehenden Sensorbildes der Kamera 4 und zusätzlich zum Beispiel an einem Eingang 12 auch die aktuelle Geschwindigkeitsdaten des Fahrzeugs 1 ausgewertet.
In der Auswerteeinrichtung 10 nach der Figur 1 werden zur Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems am Fahrzeug 1 hinsichtlich Tag oder Nacht die Verstärkung und/oder die
Belichtungszeit der Kamera 4 überwacht. Ein Verlauf der Verstärkung und/oder der Belichtungszeit über der Zeit mit relativ hoher Verstärkung oder relativ langen Belichtungszeiten kennzeichnet hier die Lichtverhältnisse bei Nacht und ein Verlauf der Verstärkung und/oder der Belichtungszeit mit relativ niedriger Verstärkung und/oder relativ niedriger Belichtungszeiten kennzeichnet hier die Lichtverhältnisse bei Tag.
Es können dabei aber auch weitere zusätzliche Informationen verwendet werden, um eine Aussage über einen Tages- oder Nachtzustand zu treffen. Das mit der Kamera 4 erfasste Umfeld wird nach hellen Objekten durchsucht, wobei bei dem hier gezeigten Ausführungsbeispiel die Scheinwerfer 9 des anderen Fahrzeugs 8 als zusätzliche Information verwendet werden. Es können weiterhin auch zusätzliche, hier nicht weiter erläuterte umfeldspezifische Informationen zur Unterscheidung des Tag- oder Nachtzustandes verwendet werden, die insbesondere weitere in einem erfassten Umfeld erkannte Indikationsobjekte umfassen, deren unterschiedliches Aussehen bei Tag oder Nacht bekannt ist.
Um eine unterschiedliche Lichtintensität zu erfassen, die einen Rückschluss auf einen Tag- oder Nachtzustand zulässt, kann generell anhand des Ablaufdiagramms nach Figur 2 vorgegangen werden, wobei hier im Wesentlichen folgende Verfahrensschritte in der Auswerteeinheit 10 ausgeführt werden, die anschließend anhand des Ablaufdiagramms nach der Figur 2 im Einzelnen erläutert werden:
- Zumindest die Verstärkung und/oder die Belichtungszeit der Kamera 4 werden überwacht.
- Ein Verlauf bzw. eine Entwicklung mit durchweg hoher Verstärkung oder durchweg langen Belichtungszeiten dient als Indiz, dass gerade Nacht ist.
- Ein Verlauf bzw. eine Entwicklung mit durchweg niedriger Verstärkung oder durchweg niedrigen Belichtungszeiten dient als Indiz, dass gerade Tag ist. Es werden vorzugsweise der Verlauf bzw. die Entwicklung der Verstärkung und/oder der Belichtungszeiten des Bildsensors oder ähnliche Einstellungen ausgewertet und es wird ermittelt, ob ein wesentlicher bzw. genügend großer Anteil dieses Verlaufs bzw. dieser Entwicklung einem Tages- oder Nachtzustand entspricht.
- Im Folgenden kann dann ein Verlauf bzw. eine Entwicklung der Tag- und Nachtentscheidungen gespeichert werden, die dann für das Treffen einer späteren Aussage über einen Tages- oder Nachtzustand herangezogen werden kann.
- Der auch als Historie bezeichenbare Verlauf bzw. die zeitliche Entwicklung kann beispielsweise dadurch ermittelt werden, indem in regelmäßigen Zyklen anhand der momentanen Verstärkung und/oder der momentanen Belichtungszeit des Bildsensors eine momentane Tag- bzw. Nachtenterkennung durchgeführt wird. Neben der aktuellen bzw. letzten Tag- bzw. Nachtenterkennung kann eine einem vorgebbaren Zeitraum entsprechende Anzahl von zurückliegenden Tag- bzw. Nachtenterkennungen gespeichert werden, welche den Verlauf bzw. die Entwicklung der Tag- bzw. Nachtenterkennungen repräsentieren.
Der Zeitraum kann veränderlich sein, beispielsweise um nach einem Abstellen eines Fahrzeugs bei Nacht und bei einer Wiederbenutzung am nächsten Morgen nicht zwingend auf eine lange Kette von zurückliegenden Nachterkennungen zurückgreifen zu müssen, um eine Aussage über einen Tages- oder Nachtzustand zu treffen.
- Um ein häufiges Umschalten zwischen einer Feststellung eines Tages- und Nachtzustandes zu vermeiden, ist vorzugsweise ein einer
Zwischenzone entsprechender „Weder-Tag-Noch-Nacht-Zustand" vorgesehen, welcher vorzugsweise weder Tages- noch Nachteinstellungen für den Bildsensor vorsieht. Ein solcher Zustand hat momentan betrachtet zunächst weder eine Tag- noch eine Nachterkennung zur Folge, d.h. der Bildsensor weist einen Zustand auf, d.h. eine Verstärkung und/oder eine Belichtungszeit, welcher Zustand, wenn er dauerhaft aufrechterhalten werden würde, zu keiner abschließenden Aussage über einen Tages- oder Nachtzustand führen würde.
- Vorzugsweise trägt dieser Weder-Tag-Noch-Nacht-Zustand auch nicht zu einer abschließenden Aussage über einen Tages- oder Nachtzustand bei.
- Vorzugsweise ist eine beispielsweise dem Verlauf bzw. der Entwicklung entnehmbare ausreichende Anzahl oder ein z. B. einem Prozentsatz entsprechender, ausreichender Anteil von zurückliegenden Tag- bzw. Nachterkennungen vonnöten, um eine Aussage über einen Tages- oder Nachtzustand zu treffen.
- Sofern sich kein Unterschied zu einer zuvor bzw. kürzlich getroffenen Aussage über einen Tages- oder Nachtzustand ergibt, beispielsweise weil für eine neue Entscheidung keine genügende Anzahl von Tag- bzw. Nachterkennungen vorliegt, wird der bisherige Zustand vorzugsweise beibehalten bzw. bleibt die zuvor bzw. kürzlich getroffene Aussage vorzugsweise unverändert.
- Erfindungsgemäß können zusätzliche Informationen verwendet werden, um eine Aussage bzw. Entscheidung über einen Tages- oder Nachtzustand zu treffen. So ist es beispielsweise denkbar, erfasste Situationen bzw. Szenen nach hellen, scheinwerferförmigen Objekten, wie in Figur 1 dargestellt, zu durchsuchen. Scheinwerferförmige Objekte an der Fahrzeugfront eines anderen Fahrzeugs 8 haben beispielsweise eine im Allgemeinen runde oder elliptische Form und treten paarweise und in etwa der gleichen Bildhöhe auf. - Weiter kann die Häufigkeit beobachtet werden, mit der solche Objekte in den durchsuchten erfassten Situationen bzw. Szenen gefunden werden. Eine zunehmende Häufigkeit des Auftretens bzw. der Beobachtung solcher Objekte in einer Szene bzw. in einer Situation wird vorzugsweise mit einer zu einem Nachtzustand tendierenden Entscheidung bzw.
Aussage in Verbindung gebracht.
- Um eine Aussage bzw. Entscheidung über einen Tages- oder Nachtzustand zu treffen, kann weiter ein bereichsspezifisches Wissen darüber verwendet werden, wie eine Szene bzw. eine Situation bei Tag und bei Nacht unterschiedlich erscheint.
- Ein Beispiel für ein solches bereichsspezifisches Wissen ist, dass bestimmte Objekte, z. B. Reflektoren, die z. B. zur Abgrenzung von Fahrbahnen und Fahrspuren verwendet werden, bei Nacht größer erscheinen als bei Tag.
- Dabei kann dann die Häufigkeit beobachtet werden, mit der solche
Eigenschaften bzw. ein solches Erscheinen aufweisende Objekte z. B. in einem fahrbahn- oder fahrspurmarkierungsartigen Muster auftreten. Auch hier wird eine zunehmende Häufigkeit des Auftretens bzw. der Ermittlung solcher Objekte in einer Szene bzw. in einer Situation vorzugsweise mit einer zu einem Nachtzustand tendierenden Entscheidung bzw. Aussage in
Verbindung gebracht.
- Die Entscheidung selbst bzw. die getroffene Aussage braucht nicht notwendigerweise binär zu sein, braucht also nicht notwendigerweise nur zwei Zustände, wie beispielsweise es ist Tag oder es ist Nacht, haben zu müssen. So kann beispielsweise ein Durchschnittswert der Tag- oder
Nachterkennungen dazu verwendet werden, beispielsweise proportional die Regeln bzw. Voreinstellungen eines eine Situation bzw. eine Szene verstehenden oder interpretierenden video- bzw. bildgestützten Fahrassistenzsystems bzw. dessen Bilderkennungssystems einzustellen oder nachzujustieren. So können beispielsweise bei einem Verlauf mit 40% Tagerkennung, 50% Nachterkennung und 10% Weder-Tag-Noch- Nacht-Zustände die Regeln bzw. Voreinstellungen mit einem 50/90 entsprechenden Anteil des Einstellbereichs zwischen Tag und Nacht eingestellt oder nachjustiert werden.
Eine solche Einstellung bzw. Nachjustierung kann auch nichtlinear erfolgen, beispielsweise mit Hilfe einer Nachschlagtabelle.
Anhand der Figur 2 wird nun beispielhaft ein Ablaufplan des erfindungsgemäßen Verfahrens erläutert.
Das Verfahren startet in einem ersten Verfahrensschritt 21. In einem zweiten Verfahrensschritt 22 wird ein Tageszustand als Start- bzw. Ausgangswert gesetzt. In einem dritten Verfahrensschritt 23 wird ein so genannter Frame erfasst, welcher zumindest die momentane Verstärkung und die momentane Belichtungszeit mindestens der ein Umfeld als Fahrbahnsituation oder Szene erfassenden Kamera 4 nach der Figur 1 zumindest zum Zeitpunkt des video- bzw. bildgestützten Erfassens des Umfelds enthält.
In einem vierten Verfahrensschritt 24 werden die Verstärkung und die Belichtungszeit der mindestens einen Kamera 4 aus dem Frame gelesen. In einem fünften Verfahrensschritt 25 (eingefügt unter A nach dem Verfahrensschritt 24) kann eine Abfrage stattfinden, ob eine ausreichend schnelle Bewegung seit dem Erfassen des letzten Frames stattgefunden hat, z. B. ob seitdem eine ausreichende Strecke auf der Fahrbahn 2 zurückgelegt wurde. Ist dies der Fall, schreitet das Verfahren mit einem sechsten Verfahrensschritt 26 fort. Ist dies nicht der Fall, wird erneut im dritten Verfahrensschritt 23 ein neuer Frame erfasst. Das erfindungsgemäße Verfahren setzt jedoch nicht zwangsläufig eine Bewegung des Trägers und damit der Kamera 4 voraus; bei dem hier beschriebenen Ausführungsbeispiel wird jedoch die fahrzeugeigene Bewegung berücksichtigt.
Im sechsten Verfahrensschritt 26 wird abgeklärt, ob die im erfassten Frame hinterlegte momentane Belichtungszeit und momentane Verstärkung einem momentanen Tages- oder einem Nacht- oder einem „Weder-Tag-Noch-Nacht- Zustand" entsprechen. Das Ergebnis ist eine momentane Tages- oder Nachterkennung oder ein momentaner „Weder-Tag-Noch-Nacht-Zustand".
In einem siebten Verfahrensschritt 27 wird die im sechsten Verfahrensschritt 26 gewonnene Erkenntnis einem Verlauf hinzugefügt. In einem achten
Verfahrensschritt 28 findet eine Abfrage statt, ob der Verlauf eine ausreichende Länge aufweist. Ist dies der Fall, fährt das Verfahren mit einem neunten Verfahrensschritt 29 fort. Ist dies nicht der Fall, fährt das Verfahren mit dem dritten Verfahrensschritt 23 fort.
In dem neunten Verfahrensschritt 29 findet eine Abfrage statt, ob in ausreichender Zahl dem Verlauf hinzugefügte Erkenntnisse Nachtentscheidungen sind. Ist dies der Fall, so fährt das Verfahren mit einem zehnten Verfahrensschritt 30 fort. Ist dies nicht der Fall, so fährt das Verfahren mit einem elften Verfahrensschritt 31 fort.
In dem zehnten Verfahrensschritt 30 wird die Aussage getroffen, dass ein
Nachtzustand herrscht. In dem elften Verfahrensschritt 31 findet eine Abfrage statt, ob in ausreichender Zahl dem Verlauf hinzugefügte Erkenntnisse Tagentscheidungen sind. Ist dies der Fall, fährt das Verfahren mit einem zwölften Verfahrensschritt 32 fort. Ist dies nicht der Fall, fährt das Verfahren vorzugsweise mit dem dritten Verfahrensschritt 23 fort. In dem zwölften Verfahrensschritt 32 wird die Aussage getroffen, dass ein Tagzustand herrscht. In einem sich an den zehnten bzw. zwölften Verfahrensschritt 30, 32 anschließenden dreizehnten Verfahrensschritt 33 wird der Verlauf gelöscht und das Verfahren fährt erneut im dritten Verfahrensschritt 23 fort.
Wichtig ist hervorzuheben, dass es nicht das Ziel bzw. die Zielsetzung der Erfindung ist, eine Belichtungssteuerung zu erhalten. Es ist vielmehr Ziel der Erfindung eine Beleuchtungssituation eines Umfelds, einer Szene bzw. Fahrbahnsituation durch Beobachten der Kamera- und Vorfall- bzw. Vorgangsstatistiken zu beschreiben bzw. einzuordnen. Ein dadurch erhaltenes Ergebnis in Form der getroffenen Aussage wird vorzugsweise dazu verwendet, um die Regeln, Parameter bzw. Voreinstellungen eines das Umfeld verstehenden oder interpretierenden, Video- bzw. bildgestützten Fahrassistenzsystems bzw. dessen Umfelderkennungssystems z. B. auf einer gleitenden Skala so einzustellen, dass die beste Leistung erzielt wird.
Die Erfindung ist insbesondere im Bereich der Herstellung und des Betriebs video- bzw. bildgestützter Fahrassistenzsysteme bzw. video- bzw. bildgestützter Videosysteme, die im Straßenverkehr eingesetzt werden können, gewerblich anwendbar. Dabei ist es besonders vorteilhaft und auch vorgesehen, dass das Fahrerassistenzsystem ein Spurhalteunterstützungssystem hat.

Claims

Ansprüche
1. Verfahren zur Auswertung von Sensorbildern eines bildauswertenden Umfelderkennungssystems an einem ein Fahrerassistenzsystem aufweisenden Träger, dadurch gekennzeichnet, dass das
Fahrerassistenzsystem ein Spurhalteunterstützungssystem aufweist, und dass zur Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht zumindest die Verstärkung und/oder die Belichtungszeit des mindestens eines das Umfeld erfassenden Bildsensors überwacht wird, wobei ein
Verlauf der Verstärkung und/oder der Belichtungszeit über der Zeit mit relativ hoher Verstärkung oder relativ langen Belichtungszeiten Lichtverhältnisse einer Nacht kennzeichnen und ein Verlauf der Verstärkung und/oder der Belichtungszeit mit relativ niedriger Verstärkung und/oder relativ niedriger Belichtungszeiten Lichtverhältnisse eines Tags kennzeichnen.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der Verlauf dadurch ermittelt wird, indem in regelmäßigen Zyklen anhand der momentanen Verstärkung und/oder der momentanen Belichtungszeit des Bildsensors eine momentane Tag- bzw. Nachtenterkennung durchgeführt wird, wobei neben der aktuellen bzw. letzten Tag- bzw. Nachtenterkennung eine einem vorgebbaren Zeitraum entsprechende Anzahl von zurückliegenden Tag- bzw. Nachtenterkennungen gespeichert wird, welche den Verlauf repräsentieren.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer nicht eindeutigen Zuordnung zu einem Tag- oder Nachtzustand eine dritte Einstellung für den Bildsensor vorgesehen ist, die nicht zu einer abschließenden Aussage über einen Tages- oder Nachtzustand beiträgt.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zur Festlegung der dritten Einstellung ein Durchschnittswert des Verlaufs der Zustandserkennung verwendet wird, um einen zwischen einem Tagesund einem Nachtzustand liegenden Zustand festzulegen, wobei der Durchschnittswert insbesondere proportional dem Verlauf oder anhand einer Nachschlagtabelle gebildet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mit dem Umfelderkennungssystem erfasste
Umfeld nach hellen Objekten durchsucht wird, die eingeschaltete Scheinwerfer eines anderen Trägers kennzeichnen und deren Auftreten dann als zusätzliche Information verwendet wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als zusätzliche Information weitere umfeldspezifische Informationen zur
Unterscheidung des Tag- oder Nachtzustandes verwendet werden, die insbesondere weitere in einem erfassten Umfeld erkannte Indikationsobjekte umfassen, deren unterschiedliches Aussehen bei Tag oder Nacht bekannt ist.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die
Häufigkeit ermittelt wird, mit der die hellen Objekte und/oder weitere umfeldspezifische Informationen in dem erfassten Umfeld gefunden werden, wobei eine vorgegebene Häufigkeit des Auftretens solcher Objekte in einem Umfeld mit einem Nachtzustand in Verbindung gebracht wird.
8. Anordnung zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das bildauswertende Umfelderkennungssystems eine elektronische Kamera (4) als Bildsensor enthält, die an einem mit einem Spurhalteunterstützungssystem ausgestatteten Fahrzeug (1) als Träger angebracht ist und den in Fahrtrichtung vorderen Bereich des Fahrzeugs (1 ) auf einer Fahrbahn (2) derart fortlaufend erfasst, dass jeweils ein aus
Pixeln aufgebautes Sensorbild vorhanden ist, deren Helligkeits- und gegebenenfalls Farbwerte die Umgebung abbilden und dass eine Auswerteeinheit (8) vorhanden ist, mit der eine Unterscheidung der Lichtverhältnisse im Bereich des bildauswertenden Umfelderkennungssystems hinsichtlich Tag oder Nacht aufgrund der
Verstärkung und/oder die Belichtungszeit der mindestens einen das Umfeld erfassenden Kamera (4) durchführbar ist.
9. Anordnung nach Anspruch 8, dadurch gekennzeichnet, dass mit einem Signal aus der Feststellung des Tag- oder Nachtzustands die Auswerteeinheit mit Parametern oder Voreinstellungen beaufschlagt wird, mit denen ein Video- oder bildgestützten Fahrassistenzsystems hinsichtlich des Tag- oder Nachtzustands einstellbar ist.
10. Anordnung nach Anspruch 9, dadurch gekennzeichnet, dass die Auswerteeinheit (4) zusätzlich mit der mit anderen Mitteln erfassten Geschwindigkeit des Fahrzeugs (1) beaufschlagbar ist.
11. Computerprogrammprodukt gespeichert auf einem computerverwendbaren Medium, umfassend computerlesbare Programmmittel, welche bei Ausführung des Computerprogrammprodukts auf einem Mikroprozessor mit zugehörigen Speichermitteln oder auf einem Computer diesen zur Durchführung eines Verfahrens nach einem der
Ansprüche 1 bis 8 und einer Anordnung nach einem der Ansprüche 8 oder 11 veranlassen.
EP08785731A 2007-08-28 2008-08-28 Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen, insbesondere hinsichtlich einer tag-/nachtunterscheidung Ceased EP2181415A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US96671907P 2007-08-28 2007-08-28
PCT/EP2008/007033 WO2009030419A2 (de) 2007-08-28 2008-08-28 Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen, insbesondere hinsichtlich einer tag-/nachtunterscheidung

Publications (1)

Publication Number Publication Date
EP2181415A2 true EP2181415A2 (de) 2010-05-05

Family

ID=40429439

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08785731A Ceased EP2181415A2 (de) 2007-08-28 2008-08-28 Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen, insbesondere hinsichtlich einer tag-/nachtunterscheidung

Country Status (3)

Country Link
US (2) US20110211071A1 (de)
EP (1) EP2181415A2 (de)
WO (1) WO2009030419A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881849A (zh) * 2018-07-20 2018-11-23 合肥云联电子科技有限公司 一种用于视频监控的智能辅助系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013009697A1 (en) 2011-07-08 2013-01-17 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus
WO2013086543A2 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Ambient light alert for an image sensor
DE102013102087A1 (de) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
JPWO2017141414A1 (ja) * 2016-02-19 2018-11-29 パイオニア株式会社 地物データ構造、制御装置、記憶装置、制御方法、プログラム及び記憶媒体
US10083620B2 (en) * 2016-07-29 2018-09-25 Nissan North America, Inc. Smart tutorial that learns and adapts
DE102018203807A1 (de) * 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
US11518380B2 (en) * 2018-09-12 2022-12-06 Bendix Commercial Vehicle Systems, Llc System and method for predicted vehicle incident warning and evasion
EP3963550B1 (de) 2019-05-03 2023-09-13 Stoneridge Electronics, AB Fahrzeugaufzeichnungssystem mit ereignisdetektion
CN114184275B (zh) * 2021-12-18 2024-02-13 杭州视洞科技有限公司 一种软硬光敏结合的判断白天夜晚的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3339876B2 (ja) * 1992-04-28 2002-10-28 株式会社日立製作所 撮像装置
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
US20080046149A1 (en) * 1995-06-07 2008-02-21 Automotive Technologies International, Inc. Vehicle Component Control Methods and Systems Based on Vehicle Stability
DE19701484A1 (de) 1997-01-17 1998-07-23 Bosch Gmbh Robert Verfahren zur Regelung der Belichtung von Videokameras
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6611610B1 (en) * 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
US6734904B1 (en) * 1998-07-23 2004-05-11 Iteris, Inc. Imaging system and method with dynamic brightness control
JP2000050238A (ja) * 1998-07-27 2000-02-18 Matsushita Electric Ind Co Ltd 監視カメラ装置
EP1147031B1 (de) * 1999-01-25 2011-12-28 Gentex Corporation Steuerung von fahrzeuggeräten mit halbleiterlichtsensoren
EP1504276B1 (de) * 2002-05-03 2012-08-08 Donnelly Corporation Objektdetektionssystem für ein fahrzeug
JP4578795B2 (ja) * 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
DE102004017890A1 (de) 2003-12-17 2005-07-21 Daimlerchrysler Ag Kraftfahrzeug mit sensorgesteuerten Sicherungssystemen
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
JP4940639B2 (ja) * 2005-09-30 2012-05-30 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
DE102006055905B4 (de) * 2006-11-27 2020-01-30 Adc Automotive Distance Control Systems Gmbh Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
TWI306816B (en) * 2006-12-13 2009-03-01 Ind Tech Res Inst Lane departure warning method and apparatus of using the same
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Handbuch Fahrerassistenzsysteme, 3e Aufl.", 1 January 2015, SPRINGER VIEWEG, article HERMANN WINNER ET AL: "Handbuch Fahrerassistenzsysteme, 3e Aufl.", pages: 351,355,357, XP055351724 *
"Sensoren im Kraftfahrzeug", 1 January 2016, SPRINGER VIEWEG, article KONRAD REIF: "Sensoren im Kraftfahrzeug", pages: 164 - 165, XP055352909 *
BUNDESMINISTERIUM DER JUSTIZ ED - BUNDESMINISTERIUM DER JUSTIZ: "Handbuch der Rechtsförmlichkeit,Teil B: Allgemeine Empfehlungen für das Formulieren von Rechtsvorschriften; 1: Sprachliche Gestaltung von Gesetzen und Rechtsverordnungen", 1 January 2008 (2008-01-01), XP002686041, Retrieved from the Internet <URL:http://hdr.bmj.de/page_b.1.html> [retrieved on 20121025] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881849A (zh) * 2018-07-20 2018-11-23 合肥云联电子科技有限公司 一种用于视频监控的智能辅助系统
CN108881849B (zh) * 2018-07-20 2020-11-20 合肥云联电子科技有限公司 一种用于视频监控的智能辅助系统

Also Published As

Publication number Publication date
US20110211071A1 (en) 2011-09-01
WO2009030419A3 (de) 2009-09-17
US20130251208A1 (en) 2013-09-26
WO2009030419A2 (de) 2009-03-12
US8823799B2 (en) 2014-09-02

Similar Documents

Publication Publication Date Title
EP2181415A2 (de) Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen, insbesondere hinsichtlich einer tag-/nachtunterscheidung
DE102008006951B4 (de) Erfassungssystem für vorausfahrende Fahrzeuge
DE10247371B4 (de) Fahrzeuginformation-Bereitstellungsvorrichtung
DE102007043164B4 (de) Nebelerkennungsvorrichtung für Kraftfahrzeuge
DE102011088130B4 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102005045017A1 (de) Verfahren und Fahrerassistenzsystem zur sensorbasierten Anfahrtsteuerung eines Kraftfahrzeugs
EP2788245B1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
EP2581892B1 (de) Abstandsmesssystem sowie Verfahren zur Abstandsmessung insbesondere eines Fahrzeugs zu seiner Umgebung
WO2013072231A1 (de) Verfahren zur nebeldetektion
DE102013101639A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
EP3413085A1 (de) Verfahren zum unterstützen eines fahrers eines gespanns beim manövrieren mit dem gespann, totwinkelsystem sowie gespann
EP2867093B1 (de) Verfahren und system zur informationsnutzung
EP2181414B1 (de) Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen
EP3627386A1 (de) Verfahren und vorrichtung zum bereitstellen eines umfeldabbildes eines umfeldes einer mobilen einrichtung und kraftfahrzeug mit einer solchen vorrichtung
DE102008020007A1 (de) Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung
EP1298012B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102018118419A1 (de) Unterschied zwischen abbiegen des fahrzeugs und fahrspurwechsel
DE102008017833A1 (de) Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine Bildaufnahmevorrichtung
EP3293971B1 (de) Verfahren zur nachführung eines bildausschnitts
DE102007049877A1 (de) Sensormodul und Betriebsverfahren hierfür
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
EP2181416B1 (de) Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen
DE102006007550A1 (de) Vorrichtung und Verfahren zur Erkennung einer Fahrbahnmarkierung für ein Kraftfahrzeug
DE102022132836A1 (de) Fahrzeug und steuerungsverfahren davon

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20091222

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20170313

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180112