DE102015117610A1

DE102015117610A1 - Verfahren zum Überprüfen einer Wahrnehmung eines visuellen Warnhinweises durch einen Fahrzeugnutzer, Fahrerassistenzsystem und Kraftfahrzeug

Info

Publication number: DE102015117610A1
Application number: DE102015117610.6A
Authority: DE
Inventors: Abdulsalam Giumaa; Michael Burke
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2015-10-16
Filing date: 2015-10-16
Publication date: 2017-04-20
Also published as: WO2017063892A1; EP3362308A1

Abstract

Die Erfindung betrifft ein Verfahren zum Überprüfen einer Wahrnehmung eines visuellen Warnhinweises in einem Kraftfahrzeug (1) an einen Fahrzeugnutzer (8) des Kraftfahrzeugs (1) durch den Fahrzeugnutzer (8), bei welchem folgende Schritte durchgeführt werden: – Ausgeben des visuellen Warnhinweises an einer vorbestimmten Position (14) innerhalb des Kraftfahrzeugs (1) mittels eines in einem Innenraum (6) des Kraftfahrzeugs (1) angeordneten Anzeigeelements (3) des Kraftfahrzeugs (1); – Erfassen einer Blickrichtung (9) des Fahrzeugnutzers (8) mittels einer Kamera (4) des Kraftfahrzeugs (1); – Bestimmen einer Sichtzone (10) des Fahrzeugnutzers (8), in welcher der Fahrzeugnutzer (8) Information wahrnimmt, anhand der Blickrichtung (9); – Überprüfen, ob der visuelle Warnhinweis innerhalb der Sichtzone (10) liegt; wobei – der visuelle Warnhinweis von einem Auswertesystem (5) des Kraftfahrzeugs (1) als von dem Fahrzeugnutzer (8) als erkannt angenommen wird, wenn der visuelle Warnhinweis innerhalb der Sichtzone (10) liegt.

Description

Die Erfindung betrifft ein Verfahren zum Überprüfen einer Wahrnehmung eines visuellen Warnhinweises in einem Kraftfahrzeug an einen Fahrzeugnutzer des Kraftfahrzeugs durch den Fahrzeugnutzer. Die Erfindung betrifft auch ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
Üblicherweise ist in einem Innenraum eines Kraftfahrzeugs zumindest ein Anzeigeelement zur Ausgabe eines visuellen Warnhinweises an einen Fahrzeugnutzer des Kraftfahrzeugs angeordnet. So kann der visuelle Warnhinweis beispielsweise durch das Aufleuchten einer Ölstandskontrollleuchte in dem Kraftfahrzeug ausgegeben werden. Dabei kann es vorkommen, dass der Fahrzeugnutzer den visuellen Warnhinweis nicht wahrnimmt. Nachteilig ist dadurch der möglicherweise nicht mehr ordnungsgemäß ablaufende weitere Betrieb des Kraftfahrzeugs, wodurch auch die Sicherheit des Kraftfahrzeugs und anderer Verkehrsteilnehmer beeinträchtigt werden kann.
Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug zu schaffen, mittels welchem bzw. bei welchem das fahrzeugnutzererfolgende Wahrnehmen eines visuellen Warnhinweises, der in dem Kraftfahrzeug erzeugt wird, verbessert ist.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
Bei einem erfindungsgemäßen Verfahren wird eine Wahrnehmung eines visuellen Warnhinweises in einem Kraftfahrzeug, welcher an einen Fahrzeugnutzer des Kraftfahrzeugs ausgegeben wird, durch einen Fahrzeugnutzer, insbesondere von einem Auswertesystem des Kraftfahrzeugs, überprüft. Es wird der visuelle Warnhinweis in einer vorbestimmten Position innerhalb des Kraftfahrzeugs mittels eines in einem Innenraum des Kraftfahrzeugs angeordneten Anzeigeelements des Kraftfahrzeugs ausgegeben und es wird eine Blickrichtung des Fahrzeugnutzers mittels zumindest einer Kamera des Kraftfahrzeugs erfasst. Weiterhin wird eine Sichtzone des Fahrzeugnutzers, in welcher der Fahrzeugnutzer Informationen wahrnimmt, anhand der Blickrichtung bestimmt. Es wird überprüft ob der visuelle Warnhinweis innerhalb der Sichtzone liegt. Der visuelle Warnhinweis wird von einem Auswertesystem des Kraftfahrzeugs als erkannt angenommen, wenn der visuelle Warnhinweis innerhalb der Sichtzone liegt.
Durch das erfindungsgemäße Verfahren kann das Überprüfen der Wahrnehmung des visuellen Warnhinweises von dem Fahrzeugnutzer wesentlich verbessert wird. Es kann effektiver und zuverlässiger überprüft werden, ob der Fahrzeugnutzer den visuellen Warnhinweis wahrgenommen hat. Es wird nicht mehr nur ein Warnhinweis ausgegeben, ohne eine Aussage über die Wahrnehmungswahrscheinlichkeit des Warnhinweises durch den Fahrzeugnutzer zu erzeugen. Vielmehr wird nun grundsätzlich auch beurteilt, ob der Fahrzeugnutzer den Warnhinweis überhaupt wahrnehmen kann beziehungsweise wahrgenommen hat. Dazu wird anhand spezifischer Auswertungsweisen abgeschätzt, ob eine Wahrnehmung erfolgt sein könnte. Abhängig von diesen Wahrscheinlichkeitsabschätzungen wird dann von einer Wahrnehmung ausgegangen oder nicht.
Es wird als der visuelle Warnhinweis beispielsweise eine Ölstandskontrollleuchte, eine Navigationshinweiswarnung, eine Geschwindigkeitsbegrenzungswarnung oder eine sonstige Warnung bezüglich eines Betriebszustands des Kraftfahrzeugs ausgegeben. Der visuelle Warnhinweis wird durch das Anzeigeelement an der vorbestimmten Position innerhalb des Kraftfahrzeugs ausgegeben. So ist es beispielsweise bekannt, dass, falls eine Ölstandswarnung ausgegeben werden soll, diese beispielsweise auf dem Anzeigeelement an der vorbestimmten Position angezeigt wird. Es kann also von dem jeweiligen Typ des visuellen Warnhinweises auf die jeweilige vorbestimmte Position des Anzeigeelements geschlossen werden. Das Anzeigeelement ist insbesondere an einem Armaturenbrett des Kraftfahrzeugs oder an einem Cockpit des Kraftfahrzeugs angeordnet.
Das Erfassen der Blickrichtung des Fahrzeugnutzers mittels der Kamera kann beispielsweise durch ein Auswerten von mit der Kamera aufgenommenen Bildern erfolgen. So kann in den Bildern beispielsweise eine Ausrichtung einer Pupille des Fahrzeugnutzers erkannt werden. Anhand der Ausrichtung der Pupille kann dann beispielsweise die Blickrichtung des Fahrzeugnutzers bestimmt werden. Die Ausrichtung der Pupille kann beispielsweise mit einem gängigen Objekterkennungsverfahren aus dem Bereich des maschinellen Sehens erkannt werden. Die Ausrichtung der Pupille kann hierbei auch über mehrere Bilder, welche mit der Kamera bereitgestellt werden, verfolgt werden, wodurch auch eine Änderung der Blickrichtung des Fahrzeugnutzers erkannt werden kann. Beispielsweise kann es sein, dass zumindest ein Auge des Fahrzeugnutzers mit der Kamera erfasst wird und das zumindest eine erfasste Auge mit Augen in einer Datenbank verglichen wird. Die Datenbank kann beispielsweise Augen mit unterschiedlichen Pupillenausrichtungen aufweisen. Jede dieser Pupillenausrichtungen kann dann beispielsweise mit einer bestimmten Blickrichtung verknüpft sein. So kann dann anhand einer Ähnlichkeitsmessung festgestellt werden, mit welchem Auge aus der Datenbank das erfasste Auge am besten übereinstimmt. Die dem am besten übereinstimmenden Auge aus der Datenbank zugeordnete Blickrichtung kann dann als die Blickrichtung des Fahrzeugnutzers angenommen werden. Für das Vergleichen des erfassten Auges mit den Augen in der Datenbank kann beispielsweise ein Matching-Verfahren nach dem Prinzip der Kreuzkorrelation und/oder der Transinformation (mutual information) genutzt werden. Die Blickrichtung des Fahrzeugnutzers kann auch mittels mehreren Kameras des Kraftfahrzeugs erfasst werden.
Anhand der Blickrichtung kann dann die Sichtzone des Fahrzeugnutzers bestimmt werden. Innerhalb der Sichtzone nimmt der Fahrzeugnutzer Information wahr. Die Sichtzone kann beispielsweise als Gesichtsfeld beschrieben werden. Mit dem Gesichtsfeld bezeichnet man in der Physiologie und Augenheilkunde alle zentralen und peripheren Punkte und Gegenstände des Außenraums, die bei ruhiger, gerader Kopfhaltung und gerade ausgerichtetem, bewegungslosem Blick visuell wahrgenommen werden können, auch ohne sie direkt zu fixieren. So kann die Sichtzone beispielsweise auch aus einer Datenbank entnommen werden, in welcher beispielsweise verschiedene Sichtzonen verschiedenen Blickrichtungen zugeordnet sind.
Es wird überprüft, ob der visuelle Warnhinweis innerhalb der Sichtzone liegt. So kann beispielsweise überprüft werden, ob ein von dem Anzeigeelement ausgestrahltes Lichtsignal bis innerhalb der Sichtzone Auswirkungen hat. Überprüft wird also beispielsweise, ob Photonen von dem Anzeigeelement in die Sichtzone des Fahrzeugnutzers treffen. Ergibt die Überprüfung, dass der visuelle Warnhinweis innerhalb der Sichtzone liegt, so wird der visuelle Warnhinweis von dem Auswertesystem als von dem Fahrzeugnutzer erkannt angenommen. Es kann dann also davon ausgegangen werden, dass der Fahrzeugnutzer den visuellen Warnhinweis wahrgenommen hat. Durch die Wahrnehmung wird der Fahrzeugnutzer also auf den durch das Anzeigeelement ausgegebenen visuellen Warnhinweis aufmerksam.
Insbesondere ist es vorgesehen, dass der visuelle Warnhinweis von dem Auswertesystem als von dem Fahrzeugnutzer als nicht erkannt angenommen wird, wenn der visuelle Warnhinweis außerhalb der Sichtzone liegt, wobei dann ein Aufmerksamkeitserhöhungssignal in dem Kraftfahrzeug für den Fahrzeugnutzer erzeugt wird. Der visuelle Warnhinweis liegt insbesondere dann außerhalb der Sichtzone, wenn Photonen, welche von dem Anzeigeelement abgegeben werden, nicht in die Sichtzone gelangen. Es kann dann angenommen werden, dass der visuelle Warnhinweis von dem Fahrzeugnutzer nicht wahrgenommen wird. Die Aufmerksamkeit des Fahrzeugnutzers wird dadurch also nicht auf den visuellen Warnhinweis gelenkt. Als Folge wird insbesondere das Aufmerksamkeitserhöhungssignal in dem Kraftfahrzeug für den Fahrzeugnutzer erzeugt. Durch das Aufmerksamkeitserhöhungssignal soll die Aufmerksamkeit des Fahrzeugnutzers auf den visuellen Warnhinweis gelenkt werden. Der Fahrzeugnutzer soll also zur Wahrnehmung des visuellen Warnhinweises anhand des Aufmerksamkeitserhöhungssignals gebracht werden. Dies kann beispielsweise auch schon dadurch erfolgen, dass der Fahrzeugnutzer sich nach der Erzeugung des Aufmerksamkeitserhöhungssignals gründlich in dem Inneren des Kraftfahrzeugs umsieht, um den Grund für das Erzeugen des Aufmerksamkeitserhöhungssignals zu ermitteln.
Vorzugsweise ist es vorgesehen, dass das Aufmerksamkeitserhöhungssignal visuell und/oder akustisch und/oder haptisch ausgegeben wird. So kann das visuelle Aufmerksamkeitserhöhungssignal beispielsweise durch eine Beleuchtung und/oder eine Beleuchtungsänderung innerhalb des Kraftfahrzeugs ausgegeben werden. Das akustische Aufmerksamkeitserhöhungssignal kann beispielsweise über ein Audiosystem des Kraftfahrzeugs ausgegeben werden. So kann beispielsweise ein Warnton oder ein Warnsignal als das akustische Aufmerksamkeitserhöhungssignal in dem Kraftfahrzeug ausgegeben werden. Als das Warnsignal kann beispielsweise auch ein Text mit dem genauen Hintergrund des visuellen Warnhinweises ausgegeben werden. So kann der visuelle Warnhinweis dadurch beispielsweise in Worte gefasst werden und dem Fahrzeugnutzer dadurch mit den Worten akustisch bereitgestellt werden. Als das haptische Aufmerksamkeitserhöhungssignal kann beispielsweise das Vibrieren eines in Kontakt mit dem Fahrzeugnutzer stehenden Kraftfahrzeugteils vorgesehen sein. So kann als das vibrierende Kraftfahrzeugteil beispielsweise ein Lenkrad, ein Fahrzeugsitz oder ein Sicherheitsgurt des Kraftfahrzeugs ausgebildet sein. Insgesamt kann das Aufmerksamkeitserhöhungssignal dadurch vielfältig und durch mehrere Sinne des Fahrzeugnutzers erfassbar ausgegeben werden, sodass das die Wahrnehmung effektiver und nachdrücklicher erfolgen kann.
Weiterhin vorzugsweise ist es vorgesehen, dass als das Aufmerksamkeitserhöhungssignal ein visuelles Warnsignal mittels einer Innenraumbeleuchtung des Kraftfahrzeugs ausgegeben wird. Die Innenraumbeleuchtung dient dabei insbesondere der Erleuchtung des Innenraums. Die Innenraumbeleuchtung wird üblicherweise bei Personenkraftwagen mit geschlossenem Aufbau durch Leuchten im Fahrzeugdach ausgebildet. Die Innenraumbeleuchtung kann beispielsweise durch Soffittenlampen und/oder Leuchtdioden (LEDs) bereitgestellt werden. Die Innenraumbeleuchtung kann aber beispielsweise auch eine Handschuhfachbeleuchtung und/oder eine Gepäckraumbeleuchtung umfassen. Auch kann von der Fahrzeuginnenraumbeleuchtung eine Leseleuchte umfasst sein. Durch die Innenraumbeleuchtung kann das Aufmerksamkeitserhöhungssignal effektiver und nachdrücklicher ausgegeben werden.
Insbesondere ist es vorgesehen, dass das visuelle Farbsignal im Farbton geändert wird und/oder in der Helligkeit geändert wird. Durch den Farbton wird eine vom Menschen als grundlegend empfundene Eigenschaft einer Farbe beschrieben. Der Farbton bezeichnet in der Farbenleere die Eigenschaft, nach der man Farbempfindungen nach beispielsweise Rot, Gelb oder Grün unterscheidet. Durch die Änderung des Farbtons des visuellen Warnsignals kann das Aufmerksamkeitserhöhungssignal deutlicher und nachdrücklicher ausgegeben werden. So ist der Mensch besonders sensibel für Farbtonänderungen und/oder Helligkeitsänderungen in seiner Sichtzone. Die Innenraumbeleuchtung ist insbesondere derart ausgestaltet, dass ein von der Innenraumbeleuchtung ausgestrahltes Licht möglichst in sämtlich unterschiedlich positionierte Sichtzonen des Fahrzeugnutzers eintreffen kann. Die Helligkeit ist ein Überbegriff subjektiver Eindrücke und objektiver Messgrößen für die Stärke einer visuellen Wahrnehmung von sichtbarem Licht. Durch das Ändern der Helligkeit kann das Aufmerksamkeitserhöhungssignal deutlicher und nachdrücklicher für den Fahrzeugnutzer erzeugt werden. Ergänzend oder alternativ kann die Innenraumbeleuchtung allerdings auch blinkend ausgestaltet werden. In der blinkenden Ausgestaltung wird die Innenraumbeleuchtung beispielsweise in vorbestimmten Abständen, insbesondere in kurzen Abständen beispielsweise unter einer Sekunde, ein- und ausgeschaltet. Dadurch kann das Aufmerksamkeitserhöhungssignal wiederum effektiver und nachdrücklicher ausgegeben werden, sodass die Aufmerksamkeit des Fahrzeugnutzers auf das Vorhandensein des visuellen Warnhinweises gelenkt wird.
In einer weiteren Ausführungsform kann es vorgesehen sein, dass eine Sicherheitsrelevanz des visuellen Warnhinweises bestimmt wird, und der Farbton des visuellen Warnsignals abhängig von der Sicherheitsrelevanz eingestellt wird. So kann die Sicherheitsrelevanz beispielsweise dadurch charakterisiert sein, wie bedeutend der visuelle Warnhinweis für den sicheren Betrieb des Kraftfahrzeugs ist. Hier kann beispielsweise unterschieden werden, ob eine Temperatur eines Motors des Kraftfahrzeugs zu hoch ist und der Motor zu überhitzen droht, wodurch bleibende Schäden an dem Motor und/oder einem Kühlkreislauf des Kraftfahrzeugs entstehen können, oder ob die Sicherheitsrelevanz niedrig eingestuft wird, wie dies beispielsweise bei fehlender Wischwasserflüssigkeit der Fall sein kann. Der Farbton kann nun beispielsweise bei niedriger Sicherheitsrelevanz nur leicht geändert werden und bei hoher Sicherheitsrelevanz stark geändert werden. So kann beispielsweise bei starker Sicherheitsrelevanz ein roter Farbton durch die Innenraumbeleuchtung ausgegeben werden. Bei der niedrigen Sicherheitsrelevanz kann der Farbton beispielsweise gar nicht geändert werden oder aber lediglich in feinen Nuancen, sodass der Fahrzeugnutzer nicht durch die Innenraumbeleuchtung erschreckt und dadurch eventuell vom Verkehrsgeschehen abgelenkt wird. Dadurch kann das Kraftfahrzeug sicherer betrieben werden.
In einer weiteren Ausführungsform kann es vorgesehen sein, dass abhängig von dem Erzeugen des Aufmerksamkeitserhöhungssignals eine Geschwindigkeit des Kraftfahrzeugs angepasst wird. So kann es beispielsweise der Fall sein, dass der visuelle Warnhinweis von dem Auswertesystem als von dem Fahrzeugnutzer als nicht erkannt angenommen wird und dadurch die Geschwindigkeit des Kraftfahrzeugs angepasst wird. So kann es beispielsweise sein, dass durch den visuellen Warnhinweis eine aktuell gültige Geschwindigkeitsbegrenzung für das Kraftfahrzeug während der Fahrt des Kraftfahrzeugs ausgegeben wird und der Fahrzeugnutzer diesen visuellen Warnhinweis gemäß dem Auswertesystem nicht wahrgenommen hat. So kann dann ein Eingriff in die Geschwindigkeit des Kraftfahrzeugs durchgeführt werden, um die Geschwindigkeit des Kraftfahrzeugs beispielsweise innerhalb des vorgeschriebenen Rahmens zu halten. Ergänzend oder alternativ kann beispielsweise auch in eine Steuerung des Kraftfahrzeugs eingegriffen werden, falls der Fahrzeugnutzer gemäß dem Auswertesystem den visuellen Warnhinweis nicht wahrgenommen hat. Durch das Anpassen der Geschwindigkeit des Kraftfahrzeugs abhängig von dem Erzeugen des Aufmerksamkeitserhöhungssignals kann das Kraftfahrzeug sicherer betrieben werden.
In einer weiteren Ausführungsform kann es vorgesehen sein, dass der Fahrzeugnutzer auf das Tragen einer Augenverdeckung, wie insbesondere beispielsweise einer, insbesondere getönten, Brille, hin überprüft wird, insbesondere, falls das Erfassen der Blickrichtung des Fahrzeugnutzers fehlschlägt. So kann es vorgesehen sein, dass, falls das Erfassen der Blickrichtung des Fahrzeugnutzers fehlschlägt, eine Überprüfung des Fahrzeugnutzers hin auf das Tragen der Augenverdeckung durchgeführt wird. Die Augenverdeckung kann dabei beispielsweise als Sonnenbrille oder Augenklappe ausgebildet sein. Das Überprüfen auf das Tragen der Augenverdeckung hin kann beispielsweise ebenfalls mit einem Objekterkennungsverfahren aus dem Bereich des maschinellen Sehens durchgeführt werden. So kann das Überprüfen beispielsweise in vorbestimmten Zeitabständen durchgeführt werden oder aber lediglich, falls das Erfassen der Blickrichtung des Fahrzeugnutzers fehlschlägt. Dadurch kann für das Auswertesystem ein Grund gefunden werden, warum die Blickrichtung des Fahrzeugnutzers nicht erkannt werden kann. Das Auswertesystem kann dadurch also so lange mit dem Bestimmen der Blickrichtung aussetzen, bis das Tragen der Augenverdeckung nicht mehr nachgewiesen wird. Ein Energieverbrauch des Auswertesystems kann somit niedriger gehalten werden und/oder eine Rechenkapazität des Auswertesystems kann somit für andere Anwendungen genutzt werden.
Weiterhin kann es vorgesehen sein, dass, falls bei dem Fahrzeugnutzer das Tragen der Augenverdeckung erkannt wird, anstatt der Blickrichtung eine Ausrichtung des Kopfs des Fahrzeugnutzers mittels der Kamera erfasst wird, und die Sichtzone anhand der Ausrichtung des Kopfs bestimmt wird, und überprüft wird, ob der visuelle Warnhinweis innerhalb der Sichtzone liegt, wobei der visuelle Warnhinweis von dem Auswertesystem des Kraftfahrzeugs als von dem Fahrzeugnutzer als erkannt angenommen wird, wenn der visuelle Warnhinweis innerhalb der Sichtzone liegt. Es kann also die Sichtzone anhand der Ausrichtung des Kopfs bestimmt werden. Somit kann die Sichtzone auch bestimmt werden, falls der Fahrzeugnutzer die Augenverdeckung trägt. Nach dem Bestimmen der Sichtzone anhand der Ausrichtung des Kopfs kann dann wiederum überprüft werden, ob der visuelle Warnhinweis innerhalb der Sichtzone liegt. Falls dies der Fall ist, wird von dem Auswertesystem angenommen, dass der Fahrzeugnutzer den visuellen Warnhinweis wahrgenommen hat. Falls der visuelle Warnhinweis außerhalb der anhand der Ausrichtung des Kopfs bestimmten Sichtzone liegt, kann dann ebenfalls wiederum das Aufmerksamkeitserhöhungssignal erzeugt beziehungsweise ausgegeben werden. Dadurch kann das Kraftfahrzeug auch sicherer betrieben werden, falls der Fahrzeugnutzer die Augenverdeckung trägt.
Weiterhin kann es vorgesehen sein, dass der visuelle Warnhinweis durch eine Warnleuchte als das Anzeigeelement ausgegeben wird. Durch die Warnleuchte kann beispielsweise eine Kontrollleuchte des Kraftfahrzeugs und/oder ein sonstiger Warnhinweisgeber in dem Innenraum des Kraftfahrzeugs beschrieben werden. So kann die Warnleuchte beispielsweise als Motortemperaturkontrollleuchte oder als Ölstandskontrollleuchte ausgebildet sein.
Weiterhin kann es vorgesehen sein, dass der visuelle Warnhinweis mittels des in einem Cockpit des Kraftfahrzeugs angeordneten Anzeigeelements ausgegeben wird. So ist das Anzeigeelement also insbesondere in dem Cockpit des Kraftfahrzeugs angeordnet und nicht in einem Bereich des Innenraums, welcher von dem Fahrzeugnutzer bei üblicher Blickrichtung während des Fahrens gar nicht eingesehen werden kann. Vorteilhaft ist, dass das Darbieten der Wahrnehmung des visuellen Warnhinweises dadurch situationsgerechter an die Situation des Fahrzeugnutzers während der Fahrzeugführung angepasst werden kann.
Die Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug mit zumindest einer Kamera und einem Auswertesystem. Das Fahrerassistenzsystem ist dazu ausgebildet, ein erfindungsgemäßes Verfahren durchzuführen. Das Auswertesystem kann beispielsweise separat von der Kamera ausgebildet sein oder aber in der Kamera integriert sein.
Vorzugsweise ist vorgesehen, dass die Kamera als 3D-Kamera, insbesondere als plenoptische Kamera ausgebildet ist. Durch die 3D-Kamera kann der Fahrzeugnutzer zumindest teilweise dreidimensional erfasst werden. Ein mit der 3D-Kamera aufgenommenes Bild des Fahrzeugnutzers kann beispielsweise dadurch mit einem Tiefenwert versehen werden. Es lässt sich dadurch die Blickrichtung und/oder die Ausrichtung des Kopfs präziser und zuverlässiger bestimmen. Die 3D-Kamera kann beispielsweise als Time-of-Flight(TOF)-Kamera oder aber als plenoptische Kamera ausgebildet sein. Die plenoptische Kamera kann als Lichtfeldkamera beschrieben werden und stellt ein 4D-Lichtfeld von der erfassten Szene, insbesondere von dem Fahrzeugnutzer, bereit. Auch kann durch die 3D-Kamera präzise erkannt werden, ob der Fahrzeugnutzer die Augenverdeckung trägt.
Die Erfindung betrifft auch ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Mit Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der Kamera gegebenen Positionen und Orientierungen angegeben.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
Dabei zeigen:
1 eine schematische Draufsicht auf ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystem; und
2 eine schematische Seitenansicht des erfindungsgemäßen Kraftfahrzeugs mit dem Fahrerassistenzsystem.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
In 1 ist schematisch ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 dargestellt. Das Fahrerassistenzsystem 2 umfasst in dem Ausführungsbeispiel ein Anzeigeelement 3, eine Kamera 4 und ein Auswertesystem 5. Das Auswertesystem 5 kann beispielsweise in die Kamera 4 integriert sein oder aber separat zu der Kamera 4 ausgebildet sein. Gemäß dem Ausführungsbeispiel ist die Kamera 4 in einem Innenraum 6 des Kraftfahrzeugs 1 angeordnet. Die Kamera 4 ist vorzugsweise so angeordnet, dass ein Gesicht 7 eines Fahrzeugnutzers 8 erfasst werden kann. Die Kamera 4 kann auch als 3D-Kamera, beispielsweise als plenoptische Kamera, ausgebildet sein.
Mittels der Kamera 4 wird eine Blickrichtung 9 des Fahrzeugnutzers 8 erfasst. Die Blickrichtung 9 kann beispielsweise durch eine Hauptausrichtung der Augen des Fahrzeugnutzers 8 beschrieben werden. Anhand der Blickrichtung 9 kann eine Sichtzone 10 des Fahrzeugnutzers bestimmt werden. In der Sichtzone 10 nimmt der Fahrzeugnutzer 8 Informationen wahr. Die Sichtzone 10 entspricht beispielsweise einem Gesichtsfeld. Als das Gesichtsfeld bezeichnet man in der Physiologie und Augenheilkunde alle zentralen und peripheren Punkte und Gegenstände des Außenraums, die bei ruhiger, gerader Kopfhaltung und gerade ausgerichtetem, bewegungslosem Blick visuell wahrgenommen werden können, auch ohne sie direkt zu fixieren.
Die Blickrichtung 9 kann beispielsweise durch Verfahren aus den Bereichen des maschinellen Sehens und des maschinellen Lernens bestimmt werden. So kann beispielsweise anhand eines Trainingsdatensatzes von Blickrichtungen, welchen Augen mit bestimmten Pupillenpositionen zugeordnet sind, ein Klassifikator oder mehrere Klassifikatoren erzeugt werden, um das mit der Kamera 4 erfasste Auge des Fahrzeugnutzers 8 hinsichtlich der Blickrichtung 9 zu klassifizieren und dadurch die Richtung des Blicks des Fahrzeugnutzers 8 zu bestimmen. Die Sichtzone 10 erstreckt sich in horizontaler und vertikaler Richtung bezüglich einer Fahrzeugquerebene des Kraftfahrzeugs 1 und ist somit als dreidimensionale Zone ausgebildet.
Das Anzeigeelement 3 ist in dem Innenraum 6 angeordnet. Gemäß dem Ausführungsbeispiel von 1 ist das Anzeigeelement 3 an einem Cockpit 11 des Kraftfahrzeugs 1 angeordnet. Das Anzeigeelement 3 kann beispielsweise als Warnleuchte und/oder Kontrollleuchte des Kraftfahrzeugs 1 ausgebildet sein. So kann durch das Anzeigeelement 3 beispielsweise auch ein Beleuchtungselement auf einem Armaturenbrett 12 des Kraftfahrzeugs 1 von dem Anzeigeelement 3 umfasst sein.
Weiterhin weist das Kraftfahrzeug 1 eine Innenraumbeleuchtung 13 auf. Die Innenraumbeleuchtung 13 kann beispielsweise Soffittenlampen und/oder Leuchtdioden (LEDs) umfassen. Durch die Innenraumbeleuchtung 13 wird insbesondere der Innenraum 6 zumindest teilweise ausgeleuchtet.
Das erfindungsgemäße Verfahren läuft nun beispielsweise wie folgt ab. Es wird ein visueller Warnhinweis an einer vorbestimmten Position 14 innerhalb des Kraftfahrzeugs 1 mittels des in dem Innenraum 6 angeordneten Anzeigeelements 3 ausgegeben. Der visuelle Warnhinweis kann beispielsweise auf einen Ölstand des Kraftfahrzeugs 1 bezogen sein. Durch die vorbestimmte Position 14 ist bekannt, an welcher Stelle in dem Innenraum 6 des Kraftfahrzeugs 1 der visuelle Warnhinweis ausgegeben wird. Nun wird anhand der mit der Kamera 4 erfassten Blickrichtung 9 die Sichtzone 10 bestimmt. Weiterhin wird überprüft, ob der visuelle Warnhinweis innerhalb der Sichtzone 10 liegt. Liegt der visuelle Warnhinweis innerhalb der Sichtzone 10, so wird der visuelle Warnhinweis von dem Auswertesystem 5 als von dem Fahrzeugnutzer 8 als erkannt angenommen. Es wird also von dem Auswertesystem 5 davon ausgegangen, das der Fahrzeugnutzer 8 den visuellen Warnhinweis wahrgenommen hat. Für den Fall, dass der visuelle Warnhinweis außerhalb der Sichtzone 10 liegt, wird der visuelle Warnhinweis von dem Auswertesystem 5 als von dem Fahrzeugnutzer 8 als nicht erkannt angenommen. In diesem Fall wird dann ein Aufmerksamkeitserhöhungssignal 15 in dem Kraftfahrzeug 1 für den Fahrzeugnutzer 8 erzeugt. Durch das Aufmerksamkeitserhöhungssignal 15 wird der Fahrzeugnutzer 8 auf das Vorhandensein des visuellen Warnhinweises nachdrücklich aufmerksam gemacht.
Das Aufmerksamkeitserhöhungssignal 15 kann dabei beispielsweise visuell und/oder akustisch und/oder haptisch ausgegeben werden. So kann das Aufmerksamkeitserhöhungssignal 15 beispielsweise über ein Audiosystem des Kraftfahrzeugs 1 ausgegeben werden. Ergänzend oder alternativ kann das Aufmerksamkeitserhöhungssignal 15 beispielsweise auch mittels der Innenraumbeleuchtung 13 ausgegeben werden. So kann ein visuelles Warnsignal, welches mittels der Innenraumbeleuchtung 13 als das Aufmerksamkeitserhöhungssignal 15 ausgegeben wird, dadurch charakterisiert sein, dass ein Farbton und/oder eine Helligkeit des visuellen Warnsignals geändert wird. So kann der Fahrzeugnutzer 8 beispielsweise durch einen Farbtonwechsel der Innenraumbeleuchtung 13 von Weiß auf Rot darauf hingewiesen werden, dass der visuelle Warnhinweis ausgegeben wird. Der Fahrzeugnutzer 8 kann sodann seine Blickrichtung 9 ändern und nach dem visuellen Warnhinweis innerhalb des Innenraums 6 suchen. Bei dem akustischen Aufmerksamkeitserhöhungssignal 15 kann beispielsweise auch eine Textmeldung ausgegeben werden, welche den Warnhinweis in Worten beschreibt und/oder beschreibt, an welcher Stelle des Innenraums 6 sich das Anzeigeelement 3 befindet und somit wo sich die vorbestimmte Position 14 befindet. Ergänzend oder alternativ wird eine Sicherheitsrelevanz des visuellen Warnhinweises bestimmt. Dadurch wird bestimmt, wie wichtig beziehungsweise bedeutend der visuelle Warnhinweis für den Fahrzeugnutzer 8 beziehungsweise für die Sicherheit des Kraftfahrzeugs 1 ist. Abhängig von der Sicherheitsrelevanz wird dann der Farbton des Aufmerksamkeitserhöhungssignals 15 eingestellt. So kann beispielsweise bei einem weniger bedeutenden visuellen Warnhinweis ein grüner Farbton ausgegeben werden, während bei einem sehr bedeutenden visuellen Warnhinweis ein roter Farbton des Aufmerksamkeitserhöhungssignals 15 ausgegeben werden kann.
Darüber hinaus kann beispielsweise auch eine Geschwindigkeit des Kraftfahrzeugs 1 abhängig von dem Erzeugen des Aufmerksamkeitserhöhungssignals 15 angepasst werden. Wird beispielsweise festgestellt, dass der visuelle Warnhinweis nicht innerhalb der Sichtzone 10 liegt und dadurch das Überschreiten einer aktuell geltenden Geschwindigkeitsbegrenzung unerkannt bleibt, so kann beispielsweise die Geschwindigkeit des Kraftfahrzeugs 1 angepasst werden. Das Aufmerksamkeitserhöhungssignal 15 kann dann beispielsweise auch als Steuersignal vorliegen, durch welches die Geschwindigkeit des Kraftfahrzeugs 1 angepasst wird.
Weiterhin wird der Fahrzeugnutzer 8 vorzugsweise auf das Tragen einer Augenverdeckung hin überprüft. Dies kann beispielsweise nur dann durchgeführt werden, falls das Erfassen der Blickrichtung 9 des Fahrzeugnutzers 8 fehlschlägt. Wird das Tragen der Augenverdeckung dann beispielsweise bei dem Fahrzeugnutzer 8 erkannt, so kann anstatt der Blickrichtung 9 eine Ausrichtung eines Kopfs 16 des Fahrzeugnutzers 8 bestimmt werden. Anhand der Ausrichtung des Kopfs 16 kann dann wiederum die Sichtzone 10 bestimmt werden und es kann überprüft werden, ob der visuelle Warnhinweis innerhalb der Sichtzone 10 liegt oder nicht. Die Augenverdeckung kann dabei beispielsweise als Sonnenbrille ausgebildet sein.
2 zeigt einen Teil des Kraftfahrzeugs 1 in einer seitlichen Schnittdarstellung. Gezeigt ist der Fahrzeugnutzer 8 in einer seitlichen Darstellung mit der in einen Umgebungsbereich des Kraftfahrzeugs 1 gerichteten Blickrichtung 9. Die Blickrichtung 9 wird umgeben von der Sichtzone 10. Außerhalb der Sichtzone 10 ist das Anzeigeelement 3 angeordnet. Der Fahrzeugnutzer 8 nimmt den visuellen Warnhinweis, welcher durch das Anzeigeelement 3 ausgegeben wird, also gemäß dem Ausführungsbeispiel von 2 aus Sicht des Auswertesystems 5 nicht wahr. So wird als Folge beispielsweise das Aufmerksamkeitserhöhungssignal 15 durch die Innenraumbeleuchtung 13 erzeugt und ausgegeben. Durch das Aufmerksamkeitserhöhungssignal 15 wird der Fahrzeugnutzer 8 darauf hingewiesen, dass sich insbesondere im Bereich des Cockpits 11 und/oder des Armaturenbretts 12 der visuelle Warnhinweis befindet.
So kann es beispielsweise vorkommen, dass der Fahrzeugnutzer 8 in Richtung der Sonne mit dem Kraftfahrzeug 1 fährt und deshalb durch die Sonneneinstrahlung von dem visuellen Warnhinweis abgelenkt wird. Durch die Sonneneinstrahlung kann es schwieriger sein, den visuellen Warnhinweis wahrzunehmen. Die Sichtzone 10 kann sich also somit im Fall der Blendung durch Sonnenstrahlung und/oder extremer Helligkeit verändern, insbesondere verkleinern im Vergleich zu dem Fall ohne die Sonneneinstrahlung und/oder dem Vorhandensein der extremen Helligkeit. Es kann somit möglich sein, dass der visuelle Warnhinweis ohne die störende Sonneneinstrahlung innerhalb der Sichtzone 10 liegt und somit von dem Fahrzeugnutzer 8 erkannt wird, aber bei Vorhandensein der störenden Sonneneinstrahlung der visuelle Warnhinweis außerhalb der Sichtzone 10 liegt, obwohl die Blickrichtung 9 des Fahrzeugnutzers 8 beibehalten wird.
Weiterhin kann es vorgesehen sein, dass eine Helligkeit in dem Kraftfahrzeug 1 gemessen wird und, falls die Helligkeit einen Helligkeitsgrenzwert überschreitet, das Aufmerksamkeitserhöhungssignal 15 ergänzend oder anstatt der visuellen Ausgabe akustisch ausgegeben wird. Die akustische Ausgabe kann dann, wie bereits erwähnt, über ein Audiosystem des Kraftfahrzeugs 1 erfolgen.

Claims

Verfahren zum Überprüfen einer Wahrnehmung eines visuellen Warnhinweises in einem Kraftfahrzeug (1) an einen Fahrzeugnutzer (8) des Kraftfahrzeugs (1) durch den Fahrzeugnutzer (8), bei welchem folgende Schritte durchgeführt werden: – Ausgeben des visuellen Warnhinweises an einer vorbestimmten Position (14) innerhalb des Kraftfahrzeugs (1) mittels eines in einem Innenraum (6) des Kraftfahrzeugs (1) angeordneten Anzeigeelements (3) des Kraftfahrzeugs (1); – Erfassen einer Blickrichtung (9) des Fahrzeugnutzers (8) mittels zumindest einer Kamera (4) des Kraftfahrzeugs (1); – Bestimmen einer Sichtzone (10) des Fahrzeugnutzers (8), in welcher der Fahrzeugnutzer (8) Information wahrnimmt, anhand der Blickrichtung (9); – Überprüfen, ob der visuelle Warnhinweis innerhalb der Sichtzone (10) liegt; wobei – der visuelle Warnhinweis von einem Auswertesystem (5) des Kraftfahrzeugs (1) als von dem Fahrzeugnutzer (8) als erkannt angenommen wird, wenn der visuelle Warnhinweis innerhalb der Sichtzone (10) liegt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der visuelle Warnhinweis von dem Auswertesystem (5) als von dem Fahrzeugnutzer (8) als nicht erkannt angenommen wird, wenn der visuelle Warnhinweis außerhalb der Sichtzone (10) liegt, wobei dann ein Aufmerksamkeitserhöhungssignal (15) in dem Kraftfahrzeug (1) für den Fahrzeugnutzer (8) erzeugt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Aufmerksamkeitserhöhungssignal (15) visuell und/oder akustisch und/oder haptisch ausgegeben wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als das Aufmerksamkeitserhöhungssignal (15) ein visuelles Warnsignal mittels einer Innenraumbeleuchtung (13) des Kraftfahrzeugs (1) ausgegeben wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das visuelle Warnsignal (15) im Farbton geändert wird und/oder in der Helligkeit geändert wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass eine Sicherheitsrelevanz des visuellen Warnhinweises bestimmt wird, und der Farbton des visuellen Warnsignals (15) abhängig von der Sicherheitsrelevanz eingestellt wird.
Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass abhängig von dem Erzeugen des Aufmerksamkeitserhöhungssignals (15) eine Geschwindigkeit des Kraftfahrzeugs (1) angepasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Fahrzeugnutzer (8) auf das Tragen einer Augenverdeckung hin überprüft wird, insbesondere nur falls das Erfassen der Blickrichtung (9) des Fahrzeugnutzers (8) fehlschlägt.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass falls bei dem Fahrzeugnutzer (8) das Tragen der Augenverdeckung erkannt wird, anstatt der Blickrichtung (9) eine Ausrichtung des Kopfs (16) des Fahrzugnutzers (8) mittels der Kamera (4) erfasst wird, und die Sichtzone (10) anhand der Ausrichtung des Kopfs (16) bestimmt wird, und überprüft wird, ob der visuelle Warnhinweis innerhalb der Sichtzone (10) liegt, wobei der visuelle Warnhinweis von dem Auswertesystem (5) des Kraftfahrzeugs (1) als von dem Fahrzeugnutzer (8) als erkannt angenommen wird, wenn der visuelle Warnhinweis innerhalb der Sichtzone (10) liegt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der visuelle Warnhinweis durch eine Warnleuchte als das Anzeigeelement (3) ausgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der visuelle Warnhinweis mittels des in einem Cockpit (11) des Kraftfahrzeugs (1) angeordneten Anzeigeelements (3) ausgegeben wird.
Fahrerassistenzsystem (2) mit zumindest einer Kamera (4) und einem Auswertesystem (5), welches dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Fahrerassistenzsystem (2) nach Anspruch 12, dadurch gekennzeichnet, dass die Kamera (4) als 3D-Kamera, insbesondere als plenoptische Kamera, ausgebildet ist.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 12 oder 13.