DE29811086U1

DE29811086U1 - Device for detecting influences affecting the visual quality for driving a motor vehicle

Info

Publication number: DE29811086U1
Application number: DE29811086U
Authority: DE
Original assignee: Leopold Kostal GmbH and Co KG
Current assignee: Leopold Kostal GmbH and Co KG
Priority date: 1997-08-22
Filing date: 1998-06-20
Publication date: 1998-09-17
Anticipated expiration: 2008-06-21

Description

Einrichtung zum Erfassen von sich auf die Sichtqualität zum Führen eines Kraftfahrzeuges auswirkendenDevice for detecting data affecting the quality of vision for driving a motor vehicle

EinflüssenInfluences

Die Erfindung bezieht sich auf das Gebiet des Erfassens von Umgebungsbedingungen zur Steuerung bestimmter Aktoren in einem Kraftfahrzeug. Insbesondere betrifft die Erfindung eine Einrichtung zum Erfassen von sich auf die Sichtqualität auswirkenden Einflüssen beim Führen eines Kraftfahrzeuges mit einer im Kraftfahrzeug angeordneten Aufnahmeeinheit zum Erfassen von auf die Sichtqualität Einfluß nehmenden Parametern und mit einer von dieser beaufschlagten Datenverarbeitungseinheit zum Auswerten der erfaßten Signale sowie zum Steuern von Aktoren alsThe invention relates to the field of detecting environmental conditions for controlling certain actuators in a motor vehicle. In particular, the invention relates to a device for detecting influences that affect the quality of vision when driving a motor vehicle, with a recording unit arranged in the motor vehicle for detecting parameters that influence the quality of vision and with a data processing unit acted upon by this for evaluating the detected signals and for controlling actuators as

&iacgr;&ogr; Reaktion auf geänderte Sichtverhältnisse.&iacgr;&ogr; Reaction to changing visibility conditions.

In zunehmendem Maße werden im Kraftfahrzeugbereich Sensorsteuerungen eingesetzt, um entweder dem Kraftfahrer bestimmte Informationen zur Optimierung seines Fahrverhaltens zu geben oder um unmittelbar bestimmte Aktoren im Kraftfahrzeug zu steuern. Bezüglich der letzten Fallgestaltung sind sogenannte Regensensorsysteme bekannt, mittels denen eine automatische Erfassung und Bewertung von auf der Außenseite einer Windschutzscheibe befindlichen Wassertropfen und eine entsprechende Ansteuerung des Scheibenwischermotors durchgeführt wird. Derartige Verfahren sind beispielsweise in der DE 38 25 663 A1 oder der US-PS 4 867 561 beschrieben. Beiden vorbekannten Vorrichtungen ist gemein, daß diese eine Lichtquelle verwenden, deren ausgesendetes Licht an den auf einer Windschutzscheibe befindlichen Wassertropfen oderSensor controls are increasingly being used in the automotive sector to either provide the driver with specific information to optimize his driving behavior or to directly control specific actuators in the vehicle. In the latter case, so-called rain sensor systems are known, by means of which water drops on the outside of a windshield are automatically detected and evaluated and the windshield wiper motor is controlled accordingly. Such methods are described, for example, in DE 38 25 663 A1 or US-PS 4 867 561. Both previously known devices have in common that they use a light source, the light emitted by which is directed at the water drops on a windshield or

Wassertröpfchen gebrochen und einer Aufnahmeeinheit zugeführt werden. Bei dem aus der DE 38 25 663 A1 bekannten Vorrichtung ist die Lichtquelle außenseitig auf der Motorhaube vor der Windschutzscheibe angeordnet, so daß die emittierten Lichtstrahlen spitzwinklig auf die Windschutzscheibe auftreffen. Innenseitig ist an der Windschutzscheibe ein Beugungselement angeordnet, welches aus einer holographischen Optik gebildet ist. Die Aufnahmeeinheit, die bei dieser vorbekannten Einrichtung ein Fotodetektor ist, befindet sich auf der Oberseite des Armaturenbrettes. Die Beugungseigenschaften des Beugungselementes sind so ausgebildet,Water droplets are broken up and fed to a recording unit. In the device known from DE 38 25 663 A1, the light source is arranged on the outside of the hood in front of the windshield, so that the emitted light rays hit the windshield at an acute angle. A diffraction element is arranged on the inside of the windshield, which is made of holographic optics. The recording unit, which is a photodetector in this previously known device, is located on the top of the dashboard. The diffraction properties of the diffraction element are designed in such a way that

&iacgr;&ogr; daß der emittierte Lichtstrahl in dem Fotodetektor focussiert ist. Befinden sich im optischen Weg der von der Lichtquelle emittierten Lichtstrahlen Wassertröpfchen, wird infolge der als sphärische optische Oberfläche wirkenden eingeschalteten Tröpfchen eine Abweichung des Strahlenganges verursacht. Dies führt dazu, daß die Intensität des auf den Fotodetektor auftreffenden Lichtes sich verringert und sich dementsprechend auch die Stärke des vom Fotodetektor entwickelten Signals verringert. Entsprechend der Intensität der Stromverringerung ist dann ein Scheibenwischermotor ansteuerbar.&iacgr;&ogr; that the emitted light beam is focused in the photodetector. If there are water droplets in the optical path of the light beams emitted by the light source, a deviation of the beam path is caused due to the switched-on droplets acting as a spherical optical surface. This leads to the intensity of the light hitting the photodetector being reduced and the strength of the signal developed by the photodetector being reduced accordingly. A windshield wiper motor can then be controlled according to the intensity of the current reduction.

Die Vorrichtung gemäß der US-PS 4 867 561 verwendet dagegen eine Lichtquelle, die ebenso wie die Aufnahmeeinheit im Kraftfahrzeuginnem angeordnet ist. Dadurch ist die Notwendigkeit eines Beugungselementes, welches die Sicht von innen nach außen behindern kann, vermieden. Gemäß dieser Einrichtung wird die Windschutzscheibe von innen lichtbestrahlt und es erfolgt dann eine Reflektion zu der Aufnahmeeinheit hin, wenn sich auf der Außenseite der Windschutzscheibe Wassertröpfchen befinden. In Abhängigkeit von der aufgenommenen Lichtintensität, welches auf die Anzahl der Wassertropfen bzw. auf die Größe der Wassertropfen auf der Außenseite der Windschutzscheibe schließen läßt, erfolgt die Ansteuerung eines Scheibenwischermotors.The device according to US-PS 4,867,561, on the other hand, uses a light source which, like the recording unit, is arranged in the interior of the vehicle. This avoids the need for a diffraction element which can obstruct the view from the inside to the outside. According to this device, the windshield is illuminated with light from the inside and then reflected towards the recording unit if there are water droplets on the outside of the windshield. A windshield wiper motor is controlled depending on the light intensity recorded, which allows conclusions to be drawn about the number of water droplets or the size of the water droplets on the outside of the windshield.

Beide vorbekannten Systeme erfassen jeweils einen die Sichtqualität beeinflussenden Faktor, nämlich die Benetzung und ggf. den Grad der Benetzung der Windschutzscheibe. Die Sichtqualität eines Kraftfahrers wird jedoch nicht nur von dem außenseitigen Benetzungsgrad der Windschutzscheibe beeinflußt. Vielmehr unterliegt die Sichtqualität einer Vielzahl von Faktoren, von denen der außenseitige Benetzungsgrad der Windschutzscheibe nur einer ist. Diesbezüglich seien beispielhaft er-Both previously known systems each record a factor that influences the quality of vision, namely the wetting and, if applicable, the degree of wetting of the windscreen. However, the quality of vision of a driver is not only influenced by the degree of wetting on the outside of the windscreen. Rather, the quality of vision is subject to a large number of factors, of which the degree of wetting on the outside of the windscreen is only one. Examples of this are:

wähnt: das Umgebungslicht, Gegenlichtverhältnisse, Beschlagssituation der Windschutzscheibe auf ihrer Innenseite, etc. Wollten alle diese Einflußfaktoren erfaßt und verwendet werden, würde dies eine Vielzahl einzelner Sensorsysteme benötigen.imagined: the ambient light, backlight conditions, fogging of the windshield on the inside, etc. If all of these influencing factors were to be recorded and used, this would require a large number of individual sensor systems.

Ausgehend von diesem diskutierten Stand der Technik liegt der Erfindung daher die Aufgabe zugrunde, eine Einrichtung zum Erfassen von sich auf die Sichtqualität zum Führen eines Kraftfahrzeuges auswirkenden Einflüssen vorzuschlagen, mit der eine weitestgehende Anpassung der Sichtqualitätserfassung an den menschlichen Gesichtssinn möglich ist.Based on this discussed prior art, the invention is therefore based on the task of proposing a device for detecting influences that affect the quality of vision when driving a motor vehicle, with which the greatest possible adaptation of the quality of vision detection to the human sense of sight is possible.

Die einrichtungsbezogene Aufgabe wird erfindungsgemäß dadurch gelöst, daß als Aufnahmeeinheit eine Flächenkamera vorgesehen ist und daß in dem von der Flächenkamera erfaßten Bildausschnitt ein Referenzgegenstand angeordnet ist, welcher bezüglich des von der Flächenkamera erfaßten Bildausschnittes ortsfest und außerhalb des Kraftfahrzeuginnenraumes befindlich angeordnet ist.The device-related task is solved according to the invention in that an area camera is provided as the recording unit and in that a reference object is arranged in the image section captured by the area camera, which reference object is arranged in a fixed position with respect to the image section captured by the area camera and is located outside the vehicle interior.

Durch Vorsehen einer Flächenkamera, die beispielsweise eine Videokamera sein kann, und die im Innenraum des Kraftfahrzeuges mit Blickrichtung durch die Windschutzscheibe in Fahrtrichtung angeordnet ist, ist es möglich, außerhalb des Kraftfahrzeuges befindliche Objekte zu erfassen. Der feststehende Bildausschnitt der Flächenkamera erfaßt bei jeder Aufnahme einen Referenzgegenstand, der sodann in einem Teilbereich des erfaßten Bildes abgebildet ist. Durch die Möglichkeit bestimmte dem Referenzgegenstand zugeordnete Bilddaten eines aufgenommenen Bildes mit entsprechenden Bilddaten eines zeitlich älteren Bildes vergleichen zu können, welches zu diesem Zweck in einem Speichermodul abgelegt ist, sind Veränderungen, die sich auf eine Änderung der Sichtqualität zurückführen lassen, feststellbar. Im Gegensatz zu den aus dem Stand der Technik bekannten Verfahren basiert eine Bestimmung einer Sichtqualitätsänderung nicht auf der Erfassung bestimmter sich auf der Windschutzscheibe befindlicher Objekte (Wassertropfen), welches einer unmittelbaren Qualifizierung und Quantifizierung eines bestimmten Parameters entspricht, sondern basiert auf einer Erfassung eines Referenzgegenstandes, insbesondere der Haube des Kraftfahrzeugs, dessen Abbildungsqualität mit einem älteren Bild verglichen wird. Festgestellte Änderungen hinsichtlich eines Abbildungsqualitätsunterschiedes sind unmittel-By providing an area camera, which can be a video camera, for example, and which is arranged in the interior of the motor vehicle with a view through the windshield in the direction of travel, it is possible to capture objects located outside the motor vehicle. The fixed image section of the area camera captures a reference object with each recording, which is then shown in a partial area of the captured image. The possibility of comparing certain image data of a recorded image assigned to the reference object with corresponding image data of an older image, which is stored in a memory module for this purpose, makes it possible to detect changes that can be traced back to a change in the quality of vision. In contrast to the methods known from the prior art, determining a change in the quality of vision is not based on capturing certain objects (water drops) located on the windshield, which corresponds to a direct qualification and quantification of a certain parameter, but is based on capturing a reference object, in particular the hood of the motor vehicle, the image quality of which is compared with an older image. Any changes detected with regard to a difference in image quality are immediately

bar auf geänderte Sichtverhältnisse zurückführbar. Dabei erfolgt eine gleichzeitige Erfassung sämtlicher, die Sichtqualität beeinflussenden Faktoren, so daß eine Sichtqualitätsbeurteilung im hohen Maße an den tatsächlichen Gesichtssinn eines Menschen angepaßt ist. Mit Hilfe hinsichtlich bestimmter Einflußfaktoren angepaßter Algorithmen ist eine sich ändernde Bildqualität bestimmten Einflußparametern zuschreibbar, da beispielsweise bei Nebel das Referenzbild anders erscheint als bei Nieselregen, oder bei einem Wolkenbruch oder bei einer Nachtfahrt. In Abhängigkeit von der festgestellten Sichtqualitätsänderung erfolgt eine Ansteuerung bestimmter Aktoren, die etwa der Scheibenwischermotor, die Beleuchtungsanlage des Kraftfahrzeuges oder das Gebläse, nur um einige zu nennen, sein können.can be traced back to changes in visibility conditions. All factors that influence visibility quality are recorded simultaneously, so that an assessment of visibility quality is adapted to a high degree to a person's actual sense of sight. With the help of algorithms adapted to certain influencing factors, a changing image quality can be attributed to certain influencing parameters, since, for example, the reference image appears different in fog than in drizzle, or in a cloudburst or when driving at night. Depending on the change in visibility quality detected, certain actuators are controlled, which could be the windshield wiper motor, the vehicle's lighting system or the fan, just to name a few.

Mit der erfindungsgemäßen Vorrichtung ist es daher nicht notwendig, außerhalb des Kraftfahrzeuges in der Umgebung befindliche Referenzgegenstände zu erkennen und zu klassifizieren. Ein dazu notwendiges Verfahren würde einen entsprechend großen Rechenaufwand sowie eine ausreichend große Objektdatenbank benötigen.With the device according to the invention, it is therefore not necessary to detect and classify reference objects located outside the motor vehicle in the environment. A method required for this would require a correspondingly large amount of computing effort and a sufficiently large object database.

Eine Herausfilterung des ortsfesten Referenzgegenstandes aus einer aufgenommenen Bildsequenz erfolgt mittels zeitlich-/örtlicher Filtertechniken, zweckmäßigerweise durch eine zeitliche Tiefpaßfilterung der Bildersequenz. Bei einer solchen Tiefpaßfilterung werden lediglich diejenigen Bildmerkmale hervorgehoben, die sich über einen vorgegebenen Zeitraum hinweg nicht geändert haben. Das bewegte Bild wird somit der nachfolgenden Auswertung nicht zugeführt. Aufwendige Objekterkennungsverfahren zur Identifizierung und Klassifizierung des Referenzgegenstandes sind somit nicht notwendig.The stationary reference object is filtered out of a recorded image sequence using temporal/spatial filtering techniques, preferably by temporal low-pass filtering of the image sequence. With such low-pass filtering, only those image features are highlighted that have not changed over a given period of time. The moving image is therefore not included in the subsequent evaluation. Complex object recognition processes for identifying and classifying the reference object are therefore not necessary.

Gemäß einem bevorzugten Ausführungsbeispiel ist als Referenzgegenstand eine Kontur vorgesehen, die zweckmäßigerweise die obere Kante der Motorhaube ist. Eine Verwendung der Konturen als Vergleichsbasis hat zufolge, daß die Datenmenge eines Referenzgegenstandes relativ gering ist. Entsprechend ist der benötigte Speicherbedarf und auch der Rechenaufwand zum Durchführen der Vergleiche gering.According to a preferred embodiment, a contour is provided as the reference object, which is expediently the upper edge of the hood. Using the contours as a basis for comparison means that the amount of data for a reference object is relatively small. Accordingly, the memory required and the computing effort to carry out the comparisons are low.

Weitere Vorteile und Weiterbildung der Erfindung sind Bestandteil der übrigen Unteransprüche sowie der nachfolgenden Beschreibung unter Be-Further advantages and developments of the invention are part of the remaining subclaims and the following description under

zug auf die Figuren. Es zeigen:move on the figures. Showing:

Fig. 1: Eine schematische Darstellung einer Anordnung einer Aufnahmeeinheit für eine Einrichtung zum Erfassen von sich auf die Sichtqualität zum Führen eines Kraftfahrzeuges auswir Fig. 1: A schematic representation of an arrangement of a recording unit for a device for detecting data that affect the quality of vision for driving a motor vehicle

kenden Einflüssen,ing influences,

Fig. 2: in einer schematisierten Darstellung der von der Aufnahme Fig. 2: in a schematic representation of the image

einheit erfaßte Bildausschnitt undunit captured image section and

Fig. 3: ein Flußdiagramm zum Erfassen von sich auf die Sichtqua Fig. 3: a flow chart for capturing visual quality

lität zum Führen eines Kraftfahrzeuges auswirkenden Einflüssen. influences affecting the ability to drive a motor vehicle.

Figur 1 zeigt ein Kraftfahrzeug 1, in dessen Innenraum hinter der Windschutzscheibe 2 eine Flächenkamera 3 angeordnet ist. Die Flächenkamera 3 ist mit einem Abstand d hinter der Windschutzscheibe 2 angeordnet, der ausreicht, daß eine geeignet große Fläche der Windschutzscheibe 2 durchblickt wird, damit ein repräsentativer Windschutzscheibenausschnitt in die Bildauswertung einbezogen werden kann. Der vertikale Aufnahmewinkel &agr; ist so bemessen, daß die obere Kante der Motorhaube 4 im von der Flächenkamera 3 betrachteten Bildausschnitt enthalten ist. Der erfaßte Bereich der Motorhaube 4 stellt einen Referenzgegenstand dar, anhand dem durch einen Bildvergleich Sichtqualitätsänderungen erfaßbar sind. Der oberhalb der Motorhaube 4 erfaßte Bildausschnitt dient zur Aufnahme weiterer Parameter, etwa des Fahrbahnzustandes oder einer Abstandsmessung.Figure 1 shows a motor vehicle 1 in whose interior an area camera 3 is arranged behind the windshield 2. The area camera 3 is arranged at a distance d behind the windshield 2 which is sufficient to see through a suitably large area of the windshield 2 so that a representative section of the windshield can be included in the image analysis. The vertical recording angle α is dimensioned such that the upper edge of the hood 4 is included in the image section viewed by the area camera 3. The captured area of the hood 4 represents a reference object on the basis of which changes in the quality of vision can be detected by comparing images. The image section captured above the hood 4 is used to record further parameters, such as the road surface condition or a distance measurement.

Der von der Flächenkamera 3 erfaßte Bildausschnitt ist in Figur 2 schematisch dargestellt. In diesem Bildausschnitt ist die Motorhaube 4 im unteren Bildbereich angeordnet. Insbesondere ist die Konturlinie 5 der Motorhaube 4 erkennbar, durch welche die Motorhaube 4 von der Kraftfahrzeugumgebung 6 abgegrenzt ist.The image section captured by the area camera 3 is shown schematically in Figure 2. In this image section, the hood 4 is arranged in the lower image area. In particular, the contour line 5 of the hood 4 can be seen, by which the hood 4 is delimited from the vehicle environment 6.

Das Verfahren zum Erfassen von sich auf die Sichtqualität zum Führen eines Kraftfahrzeuges auswirkenden Einflüssen funktioniert unter Bezugnahme auf Figur 3 wie folgt:The method for detecting influences affecting the quality of visibility for driving a motor vehicle works as follows with reference to Figure 3:

• · · &diams;• · · &diams;

-6--6-

In einem ersten Schritt erfolgt die Erfassung der Konturlinie 5 bei normalem Tageslichtsichtverhältnissen. Diese erfaßte Konturlinie wird als Vergleichskontur (Basiskontur) in einem Speichermodul abgelegt. Das System ist dann kalibriert.In a first step, the contour line 5 is recorded under normal daylight visibility conditions. This recorded contour line is stored as a comparison contour (base contour) in a memory module. The system is then calibrated.

Bei der Benutzung des Systems werden sukzessive weitere Bilder erfaßt, die zur Ermittlung der Konturlinie 5 zeitliclv/ortlich gefiltert werden, etwa mittels einer zeitlichen Tiefpaßfilterung und einer nachgeschalteten örtlichen Hochpaßfilterung.When using the system, additional images are successively captured, which are filtered temporally/spatially to determine the contour line 5, for example by means of a temporal low-pass filter and a subsequent local high-pass filter.

Anschließend wird die extrahierte Kontur eines zeitlich jüngeren Bildes mit der im Speichermodul hinterlegten Basiskontur in Bezug auf verschiedene Merkmale, etwa Schärfe der Abbildung, Helligkeit oder dergleichen verglichen. Dabei kann vorgesehen sein, daß ein solcher Vergleich nicht nur auf einen Vergleich mit der Basiskontur beschränkt ist, sondern daß auch vorangegangene extrahierte Konturlinien über eine gewissen Zeitraum gespeichert sind und ein Vergleich mit diesen ebenfalls erfolgt. Es läßt sich dann anhand des Unterschiedes zwischen der Basiskontur und einer zeitlich jüngeren extrahierten Kontur nicht nur eine Aussage hinsichtlich der Qualität sondern auch der Quantität einer eingetretenen Sichtqualitätsänderung ermitteln.The extracted contour of a more recent image is then compared with the base contour stored in the storage module in relation to various features, such as image sharpness, brightness or the like. It can be provided that such a comparison is not only limited to a comparison with the base contour, but that previous extracted contour lines are also stored over a certain period of time and a comparison is also made with these. The difference between the base contour and a more recent extracted contour can then be used to determine not only the quality but also the quantity of a change in the quality of vision that has occurred.

Das Ergebnis eines solchen Konturvergleiches, welcher unter Zuhilfenahme angepaßter Algorithmen für eine Merkmalsextraktion durchgeführt wird, schließt sich eine Klassifikation der extrahierten Merkmale an. Durch eine Abfrage bezüglich des Vorliegens oder nicht Vorliegens bestimmter extrahierter Merkmale wird dann entsprechend ein im Kraftfahrzeug befindlicher Aktor, etwa der Scheibenwischermotor oder die Beleuchtung angesteuert. In Figur 3 sind die merkmalsbezogenen Ergebnisse (= auf die Sichtqualität Einfluß nehmende Parameter) jeweils als &ldquor;Aussage 1", &ldquor;Aussage 2", &ldquor;Aussage 3" bezeichnet.The result of such a contour comparison, which is carried out with the help of adapted algorithms for feature extraction, is followed by a classification of the extracted features. By querying whether certain extracted features are present or not, an actuator in the vehicle, such as the windshield wiper motor or the lighting, is then controlled accordingly. In Figure 3, the feature-related results (= parameters that influence the quality of vision) are each referred to as "Statement 1", "Statement 2", "Statement 3".

Aus dem Gesamtzusammenhang der Beschreibung der Erfindung ergibt sich, daß durch die erfindungsgemäße Einrichtung in einfacher und effizienter Weise zuverlässige Ergebnisse im Hinblick auf sich ändernde Einflüsse bezüglich der Sichtqualität beim Führen eines Kraftfahrzeuges bereitgestellt ist. Dieses System ermöglicht somit eine dem menschlichen Gesichtssinn angepaßte Abschätzung der Sichtqualität und kann somitFrom the overall context of the description of the invention, it is clear that the device according to the invention provides reliable results in a simple and efficient manner with regard to changing influences on the quality of vision when driving a motor vehicle. This system thus enables an assessment of the quality of vision adapted to the human sense of sight and can therefore

-7--7-

auch als Basis und Korrektiv für weitere Auswertealgorithmen zur Bildauswertung, wie etwa eine Abstandsmessung oder eine Spurverfolgung dienen.also serve as a basis and corrective for further evaluation algorithms for image analysis, such as distance measurement or track tracking.

-8-Zusammenstellung der Bezugszeichen-8-Compilation of reference symbols

1 Kraftfahrzeug1 motor vehicle

2 Windschutzscheibe2 Windshield

3 Flächenkamera3 Area camera

4 Motorhaube4 Bonnet

5 Konturlinie5 Contour line

6 Kraftfahrzeugumgebung6 Automotive environment

&agr; vertikaler Aufnahmewinkelα vertical shooting angle

d Abstand Windschutzscheibe - Flächenkamera d Distance windscreen - area camera

Claims

-9-Protection claims

1. Device for detecting influences affecting the quality of vision when driving a motor vehicle, with a recording unit (3) arranged in the motor vehicle (1) for detecting parameters affecting the quality of vision and with a data processing unit acted upon by this for evaluating the detected signals and for controlling actuators

&iacgr;&ogr; in response to changed visibility conditions , characterized in that an area camera (3) is provided as the recording unit and that a reference object (4, 5) is arranged in the image section captured by the area camera (3), which reference object (4, 5) is arranged in a fixed position with respect to the image section captured by the area camera (3) and is located outside the motor vehicle interior.

2. Device according to claim 1, characterized in that

A contour (5) is provided for the reference object.

3. Device according to claim 2, characterized in that the upper edge of the engine hood (4) is the reference contour (5).