WO2019029966A1

WO2019029966A1 - Verfahren und vorrichtung zur fahrerzustandsbewertung sowie fahrzeug

Info

Publication number: WO2019029966A1
Application number: PCT/EP2018/069594
Authority: WO
Inventors: Florian Bade; Martin BUCHNER; Julia Niemann
Original assignee: Bayerische Motoren Werke Aktiengesellschaft
Priority date: 2017-08-07
Filing date: 2018-07-19
Publication date: 2019-02-14
Also published as: US20200189602A1; CN110691726B; US11628845B2; DE102017213679A1; CN110691726A

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fahrerzustandsbewertung sowie ein Fahrzeug, wobei bei einem Erfassungsschritt sensorgestützt eine Blickrichtung des Fahrers in ein relativ zum Fahrzeug definiertes Sichtfeld erfasst wird sowie in Abhängigkeit von zumindest einem das Sichtfeld beeinflussenden Parameter ein an der Blickrichtung ausgerichteter Raumwinkel ermittelt wird und bei einem Bewertungsschritt zumindest ein Objektpunkt der dreidimensionalen Umgebung des Fahrers anhand seiner Lage bezüglich des ermittelten Raumwinkels bewertet wird und ein aufmerksamkeitsbezogener Fahrerzustand in Abhängigkeit von dieser Bewertung bestimmt und ausgegeben wird.

Description

VERFAHREN UND VORRICHTUNG ZUR FAHRERZUSTANDSBEWERTUNG SOWIE FAHRZEUG

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fahrerzustandsbewer- tung bezüglich eines Fahrers eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, sowie ein Kraftfahrzeug mit einer solchen Vorrichtung.

Zur Steuerung von Funktionalitäten, insbesondere Assistenzfunktionen, eines Fahrzeugs kann in einigen Fällen die Kenntnis der Aufmerksamkeit des Fahrers des Fahrzeugs bezüglich eines die Funktionalität betreffenden Objektes notwendig sein. Es kann etwa vorgesehen sein, dass ein Querverkehrsassistent das Wechseln einer Fahrspur verhindert, wenn der Fahrer seine Aufmerksamkeit nicht oder nur ungenügend dem sog.„toten Winkel" zuwendet. Ähnlich kann etwa vorgesehen sein, dass ein Stauassistent automatisch eine Bremsung des Fahrzeugs einleitet, wenn der Fahrer bei der Fahrt in einem Stau seine Aufmerksamkeit nicht einem vor ihm stehenden Fahrzeug zuwendet. Um die Aufmerksamkeit eines Fahrers bezüglich eines solchen Objekts zu beurteilen, ist es aus dem Stand der Technik bekannt, die visuelle Fokussierung des Fahrers zu überwachen. Dazu kann eine Kopforientierung, d.h. die Neigung des Kopfes bezüglich einer Längs-, Quer- und Vertikalachse des Fahrzeugs, erfasst werden und daraus eine Blickrichtung abgeleitet werden, anhand derer wiederum festgestellt werden kann, ob sich das Objekt im Sichtfeld des Fahrers befindet.

Es ist eine Aufgabe der vorliegenden Erfindung, eine Bewertung eines Fahrerzustands bezüglich eines Fahrers eines Fahrzeugs zu verbessern, insbesondere die Aufmerksamkeit des Fahrers bezüglich eines Punktes oder Objekts präziser und/oder zuverlässiger zu bewerten. Diese Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1 , einer Vorrichtung gemäß Anspruch 14 sowie einem Fahrzeug gemäß Anspruch 15 mit einer solchen Vorrichtung.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Fahrerzustandsbewertung bezüglich eines Fahrers eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, wobei das Verfahren die folgenden Schritte aufweist: (i) einen Erfassungsschritt, bei dem sensorgestützt eine Blickrichtung des Fahrers in ein relativ zum Fahrzeug definiertes Sichtfeld erfasst wird sowie in Abhängigkeit von zumindest einem das Sichtfeld beeinflussenden Parameter ein an der Blickrichtung ausgerichteter Raumwinkel ermit- telt wird; und (ii) einen Bewertungsschritt, bei dem zumindest ein Objektpunkt der dreidimensionalen Umgebung des Fahrers anhand seiner Lage bezüglich des ermittelten Raumwinkels bewertet wird und ein aufmerksamkeitsbezogener Fahrerzustand in Abhängigkeit von dieser Bewertung bestimmt und ausgegeben wird.

Unter einem Sichtfeld eines Fahrers ist im Sinne der Erfindung ein Bereich aus dem dreidimensionalen Umfeld des Fahrers zu verstehen, in dem Objekte vom Fahrer bei gegebener Kopforientierung visuell wahrnehmbar sind. Insbesondere kann der Bereich durch weitere Objekte eingeschränkt, etwa abgeschattet, sein. In diesem Sinne ist das Sichtfeld physikalisch mess- oder zumindest abschätzbar, und ein das Sichtfeld beeinflussender Parameter kann etwa die Anordnung von diesen weiteren Ob- jekten, etwa Komponenten eines Fahrzeugs, die den Blick des Fahrers aus dem Fahrzeug heraus behindern, betreffen. Das Sichtfeld des Fahrers ist insbesondere ein Bereich aus dem dreidimensionalen Umfeld des Fahrers, dem der Fahrer sein Gesicht und damit seine Aufmerksamkeit aktiv zuwendet. In diesem Sinne kann ein das Sichtfeld beeinflussender Parameter auch, insbesondere visuelle, Stimulationen, welche eine Änderung der Kopforientierung und damit des Sichtfelds bewirken, betreffen.

Unter einem Objektpunkt einer dreidimensionalen Umgebung eines Fahrers ist im Sinne der Erfindung ein Ort, welcher eine Position eines Objekts kennzeichnet, insbesondere relativ zum Fahrer, zu verstehen. Ein Objektpunkt kann etwa die Position eines Verkehrsteilnehmers, insbesondere relativ zum Fahrer, oder die Position eines Bedienelements im Fahrzeuginnenraum, insbesondere relativ zum Fahrer, kennzeichnen. Eine Mehrzahl von Objektpunkten kann somit auch eine Linie und/oder eine Fläche kennzeichnen, etwa einen Straßenbereich, insbesondere eine Fahrspur, oder einen Bereich eines Armaturenbretts, insbesondere einen Tachometer oder eine andere Anzeigevorrichtung. Durch die Berücksichtigung von zumindest einem Parameter, der eine Beeinflussung des Sichtfelds charakterisiert, kann ermittelt oder zumindest abgeschätzt werden, welcher Bereich aus dem dreidimensionalen Umfeld des Fahrers innerhalb des ermittelten Raumwinkels überhaupt oder jedenfalls besonders deutlich und/oder zuverlässig vom Fahrer visuell wahrgenommen wird. Die Ermittlung des Raumwinkels in Abhängigkeit von der Blickrichtung des Fahrers erlaubt dabei eine räumlich hochaufge- löste Unterscheidung von Objektpunkten, die innerhalb oder au ßerhalb des Raumwinkels liegen, und daher eine zuverlässige Bewertung der Fahreraufmerksamkeit bezüglich zumindest eines Objektpunkts.

Dabei wird insbesondere eine dynamische Überwachung der Fahreraufmerksamkeit bezüglich des zumindest einen Objektpunkts ermöglicht. Bewegt sich der Fahrer, ins- besondere sein Kopf, und damit auch seine Blickrichtung, richtet sich nach dem erfindungsgemäßen Verfahren auch der Raumwinkel entsprechend neu aus. Auch bei nur geringfügigen Korrekturen der Lage des Raumwinkels im dreidimensionalen Umfeld des Fahrers können dadurch weitere Objektpunkte in den ermittelten Raumwinkel treten bzw. diesen verlassen. Insbesondere kann somit die Aufmerksamkeit des Fahrers bezüglich zumindest eines Objektpunkts in einer im Wesentlichen räumlich kontinuierlichen Weise im dreidimensionalen Umfeld des Fahrers überwacht werden.

Insgesamt ermöglicht die Erfindung eine zuverlässigere Bewertung der Aufmerksamkeit eines Fahrers eines Fahrzeugs bezüglich bestimmter Objekte in seinem Umfeld.

In einer bevorzugten Ausführung wird der Raumwinkel beim Erfassungsschritt derart ermittelt, dass die Blickrichtung durch ein Zentrum, insbesondere den geometrischen Schwerpunkt, des Raumwinkels verläuft. Dabei kann das Zentrum, insbesondere der geometrische Schwerpunkt, einen Bereich definieren, in welchem die Aufmerksamkeit des Fahrers als besonders hoch bewertet wird. Dadurch kann der Raumwinkelbereich den Bereich zuverlässig angeben, in dem der Fahrer seine Aufmerksamkeit fokussiert.

Die Lage des zumindest einen Objektpunkts wird vorzugsweise bezüglich des Zentrums, insbesondere des geometrischen Schwerpunkts, des Raumwinkels bewertet. Eine Lage des zumindest einen Objektpunkts im Bereich, insbesondere in der Nähe, des Zentrums wird dabei in bevorzugter Weise als hohe Aufmerksamkeit des Fahrers bezüglich des zumindest einen Objektpunkts definiert, während eine Lage des zumindest einen Objektpunkts in einem Randbereich des Raumwinkels, insbesondere in gro ßer Entfernung zum Zentrum des Raumwinkels, als geringe Aufmerksamkeit des Fahrers definiert wird. Dadurch kann die Aufmerksamkeit des Fahrers bezüglich Objektpunkten dynamisch und differenziert ermittelt werden.

In einer weiteren bevorzugten Ausführung charakterisiert der zumindest eine Para- meter eine Sitzposition und/oder anatomische Eigenschaft des Fahrers. Vorzugsweise wird der zumindest eine Parameter sensorisch ermittelt oder über eine Schnittstelle bereitgestellt.

Dazu kann der Fahrer, insbesondere sein Kopf, von einer Sensoreinrichtung, etwa einer Kamera, erfasst werden, wobei neben der Kopforientierung aus den dabei er- zeugten Sensordaten vorzugsweise auch die Position des Kopfes im Fahrzeug, die relative Augenstellung, d.h. die Blickrichtung der Augen relativ zu einer senkrecht zum Gesicht des Fahrers verlaufenden Richtung, und/oder die Haltung des Fahrers abgeleitet wird. Alternativ oder zusätzlich kann der zumindest eine Parameter auch über eine Benutzerschnittstelle (Man Machine Interface, MMI) vom Fahrer eingegeben werden.

Der zumindest eine Parameter kann insbesondere die Sehfähigkeit des Fahrers charakterisieren, etwa ob der Fahrer eine Sehhilfe trägt und inwieweit die Sehhilfe sein Sichtfeld einschränkt, oder inwieweit eine anatomische Augenstellung des Fahrers, d.h. die Lage der Augen am Kopf des Fahrers, das Sichtfeld beeinflusst. Mittels jeder der vorstehend genannten Ausführungen kann der Raumwinkel besonders zuverlässig und präzise ermittelt werden, wodurch eine entsprechend genaue Bewertung eines Objektpunkts hinsichtlich seiner Lage in Bezug auf den Raumwinkel ermöglicht wird.

In einer weiteren bevorzugten Ausführung wird der zumindest eine Parameter dyna- misch in Abhängigkeit von einem Fahrzeugzustand, insbesondere von einer Fahrsituation, ermittelt. Dadurch kann berücksichtigt werden, dass bei bestimmten Fahrzeugzuständen bzw. in bestimmten Fahrsituationen das Sichtfeld des Fahrers, insbesondere physikalisch und/oder psychologisch, eingeschränkt wird. Befindet sich das Fahrzeug etwa in einem Stau, beschränkt sich das Sichtfeld des Fahrers im Wesentlichen auf das unmittelbare Fahrzeugumfeld. In anderen Worten wird die Sicht des Fahrers durch die das Fahrzeug umgebenden weiteren Fahrzeuge derart eingeschränkt, dass beispielsweise ein sich zwischen den stehenden Fahrzeu- gen hindurchschlängelnder Motorradfahrer nicht oder nur eingeschränkt visuell wahrgenommen werden kann. Ähnliches gilt etwa auch bei schwierigen Witterungsbedingungen wie Schneefall und/oder Nebel. Dementsprechend kann im Falle eines beschränkten Sichtfelds, vorzugsweise auch der Raumwinkel entsprechend beschränkt werden, so dass er nur einen entsprechend reduzierten Ausschnitt des Sichtfelds ab- deckt.

In einer weiteren bevorzugten Ausführung charakterisiert der zumindest eine Parameter die Geschwindigkeit des Fahrzeugs. Bei zunehmender Geschwindigkeit ist die Wahrnehmungsfähigkeit des Fahrer typischerweise zunehmend auf den vor ihm liegenden Straßenabschnitt fokussiert (sog. "Tunnelblick"), so dass sein Sichtbereich mit zunehmender Geschwindigkeit zunehmend eingeschränkt sein kann. Vorzugsweise wird der Raumwinkelbereich daher bei zunehmender Geschwindigkeit beschränkt.

In einer weiteren bevorzugten Ausführung wird der zumindest eine Parameter durch Innenraumkomponenten des Fahrzeugs definiert. Vorzugsweise charakterisiert der zumindest eine Parameter dabei die Position des Fahrerkopfs relativ zu der Position der Innenraumkomponenten, die den Blick des Fahrers beeinträchtigen können, etwa von Rückspiegel, A-, B- und/oder C-Säulen, Armaturenbrett, Lenkrad, Navigationsdisplay und/oder dergleichen. Dadurch kann der Raumwinkel in einer Weise ermittelt werden, dass Objektpunkte, die in Bezug auf den Kopf des Fahrers hinter einer der Innenraumkomponenten liegen, zuverlässig als nicht vom Fahrer beachtet bewertet werden.

In einer weiteren bevorzugten Ausführung ist der zumindest eine Objektpunkt der dreidimensionalen Umgebung des Fahrers durch einen vorbestimmten Punkt am Fahrzeug selbst gegeben. Insbesondere ist der zumindest ein Objektpunkt ein stati- scher, d.h. ortsfester, Objektpunkt und durch ein Bedienelement einer Funktionalität des Fahrzeugs und/oder durch eine Geometrie des Fahrzeuginnenraums gegeben. Die Position des zumindest einen Objektpunkts wird dabei vorzugsweise aus einem Modell des Fahrzeugs, etwa einem CAD-Modell, abgeleitet. In einer Ausführung kann der zumindest eine Objektpunkt von zumindest einem Knotenpunkt eines Gittermodells des Fahrzeugs gebildet werden. Vorzugsweise kann die räumliche Dichte der Gitterpunkte des Gittermodells des Fahrzeugs dabei in Abhängigkeit von einer vorgegebenen Genauigkeit der Fahrerzustandsbewertung angepasst werden.

Durch die Ausbildung des Objektpunkts als vorbestimmten Punkt am Fahrzeug selbst kann präzise und zuverlässig erfasst werden, ob der Fahrer einem einzelnen Objektpunkt, etwa einem Bedienelement, oder einer durch mehrere Objektpunkte gebildeten Bedienfläche, etwa einer Anzeige, des Fahrzeugs seine Aufmerksamkeit zugewendet hat.

In einer weiteren bevorzugten Ausführung werden ein oder mehrere fahrzeugexterne Objekte sensorisch erfasst. Insbesondere kann jedes dieser erfassten fahrzeugexternen Objekte wenigstens einen Objektpunkt der dreidimensionalen Umgebung des Fahrers definieren. Dadurch kann auch die Aufmerksamkeit des Fahrers bezüglich der fahrzeugexternen Objekte zuverlässig bewertet werden.

In einer weiteren bevorzugten Ausführung werden anhand des ermittelten Raumwinkels eine virtuelle Querschnittsfläche durch den Raumwinkel sowie eine laterale Begrenzung dieser Querschnittsfläche in Abhängigkeit von deren Entfernung zum Fah- rer definiert. Vorzugsweise wird die Bewertung des zumindest einen Objektpunkts anhand seiner Lage bezüglich des ermittelten Raumwinkels ferner auf Basis einer mathematischen Projektion des Objektpunkts auf die virtuelle Querschnittsfläche vorgenommen. Vorzugsweise wird die virtuelle Querschnittsfläche dabei derart definiert, dass sie im Wesentlichen senkrecht auf der ermittelten Blickrichtung orientiert ist. Die virtuelle Querschnittsfläche durch den Raumwinkel enthält vorzugsweise im Wesentlichen diejenige Fläche A, über die der Raumwinkel Θ gemäß der Formel Θ = A / r² definierbar ist, wobei die Entfernung vom Fahrer vorzugsweise der Radius r ist, über die der Raumwinkel gemäß der genannten Formel definierbar ist. Die laterale Begrenzung der Querschnittsfläche kann dabei durch die Schnittlinie des ermittelten Raumwinkels mit einer senkrecht auf der ermittelten Blickrichtung stehenden Ebene festgelegt werden. Die virtuelle Querschnittsfläche kann dabei, insbesondere in Abhängigkeit des Raumwinkels, kreisförmig, elliptisch, rechteckig, trapezförmig, paralle- logrammförmig oder unregelmäßig ausgebildet sein.

Durch die mathematische Projektion des zumindest einen Objektpunkts auf die virtu- eile Querschnittsfläche kann die Aufmerksamkeit des Fahrers bezüglich des zumindest einen Objektpunkts zuverlässig und präzise ermittelt werden.

In einer weiteren bevorzugten Ausführung wird der zumindest eine Objektpunkt als vom Fahrer nicht beachtet bewertet, wenn der zumindest eine Objektpunkt bei Projektion auf die virtuelle Querschnittsfläche nicht innerhalb der lateralen Begrenzung der virtuellen Querschnittsfläche liegt. Dies ermöglicht eine einfache und schnelle Bewertung von Objektpunkten bezüglich der Aufmerksamkeit des Fahrers.

In einer weiteren bevorzugten Ausführung wird der zumindest eine Objektpunkt als vom Fahrer beachtet bewertet, wenn der zumindest eine Objektpunkt bei Projektion auf die virtuelle Querschnittsfläche innerhalb der lateralen Begrenzung der virtuellen Querschnittsfläche liegt. Anhand der lateralen Begrenzung der Querschnittsfläche können Objektpunkte somit in Objektpunkte eingeteilt werden, die der Fahrer aufgrund von äußeren Gegebenheiten gar nicht beachten kann, und in Objektpunkte, die vom Fahrer, zumindest potenziell, beachtet werden können.

In einer weiteren bevorzugten Ausführung charakterisiert die Bewertung des zumin- dest einen Objektpunkts eine Wahrscheinlichkeit, mit welcher der Fahrer den zumindest einen Objektpunkt beachtet. Die Wahrscheinlichkeit kann dabei als Maß für die Beachtung des Objektpunkts durch den Fahrer dienen. In anderen Worten kann die Beachtung des Objektpunkts durch den Fahrer mittels der Wahrscheinlichkeit bewertet werden. Dabei wird die diese Wahrscheinlichkeit vorzugsweise anhand des Ab- Stands der Projektion des Objektpunkts auf die virtuelle Querschnittsflache zu einem Zentrum, insbesondere einem Mittelpunkt, etwa einem geometrischen Zentrum, des Raumwinkels ermittelt und ist insbesondere umgekehrt proportional zu diesem Abstand, d.h. umso kleiner der Abstand der Projektion zum Zentrum des Raumwinkels ist, desto höher ist die ermittelte Wahrscheinlichkeit, dass der Fahrer den Objektpunkt wahrnimmt. Dadurch kann das Sichtfeld des Fahrers in einen zentralen Sichtbereich um die Blickrichtung herum, auf welchen der Fahrer visuell fokussiert, und einen peripheren Sichtbereich am Rand des Raumwinkels eingeteilt werden. Die Bewertung zumindest eines Objektpunkts bezüglich der Aufmerksamkeit des Fahrers kann somit dynamisch und differenziert erfolgen. In einer weiteren bevorzugten Ausführung wird auf Basis des ausgegebenen auf- merksamkeitsbezogenen Fahrerzustands eine Funktionalität des Fahrzeugs gesteuert. Vorzugsweise werden auf Basis des ausgegebenen aufmerksamkeitsbezogenen Fahrerzustands ein oder mehrere Fahrerassistenzsysteme gesteuert, welche demnach in einer vorgegebenen Fahrsituation gemäß des jeweiligen Fahrerzustands un- terschiedlich reagieren können. Die Funktionalität des Fahrzeugs kann dadurch differenziert gesteuert werden.

Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zum Ermitteln eines aufmerksamkeitsbezogenen Fahrerzustands eines Fahrers eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, welche dazu eingerichtet ist, das Verfahren nach dem ers- ten Aspekt der Erfindung auszuführen.

Ein dritter Aspekt der Erfindung betrifft ein Fahrzeug, insbesondere ein Kraftfahrzeug, welches eine Vorrichtung nach dem zweiten Aspekt der Erfindung aufweist.

Die in Bezug auf den ersten Aspekt der Erfindung und dessen vorteilhafte Ausgestaltung beschriebenen Merkmale und Vorteile gelten, wo technisch sinnvoll, auch für die genannten weiteren Aspekte der Erfindung und deren jeweilige vorteilhafte Ausgestaltung sowie umgekehrt.

Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung im Zusammenhang mit den Figuren, in denen durchgängig dieselben Bezugszeichen für dieselben oder einander entspre- chende Elemente der Erfindung verwendet werden. Es zeigen, wenigstens teilweise schematisch:

Fig. 1 ein Ausführungsbeispiel eines Verfahrens zur Fahrerzustandsbewertung; Fig. 2 ein Beispiel für Objektpunkte; und Fig. 3 ein Beispiel für eine virtuelle Querschnittsfläche.

Fig. 1 zeigt ein Ausführungsbeispiel eines Verfahrens 1 zur Fahrerzustandsbewer- tung bezüglich eines Fahrers eines Fahrzeugs, insbesondere eines Kraftfahrzeugs.

In einem Erfassungsschritt S1 werden Parameter, auf deren Basis die Fahrerzu- Standsbewertung vorgenommen wird, erfasst. Mittels einer Sensorvorrichtung, etwa einer im Lenkrad des Fahrzeugs verbauten Kamera, können Kopfpose, Sitzposition, Anatomie und/oder dergleichen des Fahrers erfasst werden. Aus diesen Parametern wird zunächst eine Blickrichtung des Fahrers abgeleitet.

Die Blickrichtung des Fahrers wird vorzugsweise durch einen Ausgangspunkt, etwa einen Kopfmittelpunkt des Fahrers oder einen Punkt zwischen den beiden Augen des Fahrers, etwa im Bereich der Nasenwurzel, sowie einen Vektor, definiert. Der Ausgangspunkt und der Vektor können in einem Koordinatensystem, etwa einem Koordinatensystem des Fahrzeugs, gegeben sein. Insbesondere kann die Blickrichtung als Strahl mit einer definierten Richtung und einem definierten Ausgangspunkt ver- standen werden. Die Blickrichtung des Fahrers kann eine erste grobe Abschätzung des Sichtfelds des Fahrers liefern.

Die Bestimmung des Fahrersichtfelds wird in einem Unterschritt Sl a des Erfassungsschritts S1 weiter präzisiert, indem anhand der Parameter ein Raumwinkel, welche an der Blickrichtung ausgerichtet ist, ermittelt wird. Der Raumwinkel kann auch als Sichtkegel aufgefasst werden, wobei innerhalb des Raumwinkels liegende Objekte vom Fahrer visuell wahrgenommen werden können. Der Raumwinkel bzw. Sichtkegel wird in bevorzugter Weise derart ermittelt, dass sein Ursprung im Ausgangspunkt der Blickrichtung liegt.

Anhand der Parameter wird beispielsweise die Öffnung des Raumwinkels, d.h. ein Winkelbereich um die Blickrichtung herum, ermittelt. Der Raumwinkel ist dabei

Um auf eine mathematische Weise die Lage von Objektpunkten, welche die Position eines Objekts, bezüglich dessen die Aufmerksamkeit des Fahrers bewertet werden soll, in Bezug zum Raumwinkel beurteilen zu können, wird anhand des ermittelten Raumwinkels in einem zweiten Unterschritt S1 b des Erfassungsschritts S1 vorzugsweise eine virtuelle Querschnittsfläche durch den Raumwinkel definiert. Die virtuelle Querschnittsfläche steht dabei in bevorzugter Weise senkrecht auf der Blickrichtung und weist sowohl in horizontaler Richtung, d.h. entlang einer Querachse des Fahr- zeugs, und in vertikaler Richtung, d.h. entlang einer Vertikalachse des Fahrzeugs, eine endliche Ausdehnung auf.

Die horizontale und vertikale Begrenzung kann dabei vom Abstand der virtuellen Querschnittsfläche zum Fahrer, insbesondere zu dem Ausgangspunkt der Blickrichtung des Fahrers, etwa zu seinem Kopfmittelpunkt, abhängen. Wird die virtuelle Quer- schnittsfläche etwa in geringem Abstand zum Fahrer definiert, weist die virtuelle Querschnittsfläche nur eine kleine Fläche auf. Wird die virtuelle Querschnittsfläche dagegen in höherem Abstand zum Fahrer definiert, weist die virtuelle Querschnittsfläche eine größere Fläche auf.

Die Größe der virtuellen Querschnittsfläche, insbesondere die räumliche Begrenzung der virtuellen Querschnittsfläche, gibt dabei vorzugsweise ein Maß für die Größe des Sichtfelds des Fahrers an.

Die Bestimmung der virtuellen Querschnittsfläche, insbesondere deren räumliche Begrenzung, hängt über den Raumwinkelbereich von den sensorisch erfassten Parametern ab. Die in die Ermittlung des Raumwinkels bzw. die Definition der virtuellen Querschnittsfläche eingehenden Parameter werden auch als das Sichtfeld des Fahrers beeinflussende Parameter bezeichnet.

Aus diesen das Sichtfeld des Fahrers beeinflussenden Parametern, etwa der Anatomie und/oder der Sitzposition des Fahrers, wird eine Beschränkung des Sichtfelds abgeleitet, insbesondere eine horizontale und/oder vertikale Begrenzung der virtuel- len Querschnittsfläche. Alternativ oder zusätzlich wird anhand der das Sichtfeld des Fahrers beeinflussenden Parameter auch der Abstand der virtuellen Querschnittsfläche zum Fahrer festgelegt.

Ein das Sichtfeld des Fahrers beeinflussender Parameter kann die Anordnung, insbesondere relativ zum Kopf des Fahrers, von Objekten im Innenraum des Fahrzeugs, welche die Sicht des Fahrers aus dem Fahrzeug heraus beeinträchtigen, betreffen. Beispiele für solche Objekte sind A-, B- und/oder C-Säulen, der Rückspiegel, das Armaturenbrett oder Teile davon und/oder dergleichen. Insbesondere bilden das Armaturenbrett oder Teile davon einen Horizont, unterhalb dessen der Fahrer fahrzeugexterne Objekte nicht visuell wahrnehmen kann. Ein weiterer das Sichtfeld des Fahrers beeinflussenden Parameter kann eine Sehfähigkeit des Fahrers, insbesondere wenn das Sichtfeld durch eine Sehhilfe horizontal oder vertikal eingeschränkt wird oder wenn eine anatomische Augenstellung das Sichtfeld beeinträchtigt, betreffen.

Ein anderer das Sichtfeld des Fahrers beeinflussender Parameter kann auch durch äußere Umstände, d.h. Situationen, in denen es zu einer psychologisch bedingten Beeinflussung des Sichtfelds kommt, gegeben sein. Bei hohen Geschwindigkeiten des Fahrzeugs kann beim Fahrer etwa ein sog. Tunnelblick auftreten, durch den das Sichtfeld des Fahrers verkleinert wird. Bei höheren Geschwindigkeiten kann daher die virtuelle Querschnittsfläche näher am Kopf des Fahrers definiert werden. In einem Objekterfassungsschritt S2 werden Objektpunkte von Objekten, die bezüglich der Aufmerksamkeit des Fahrers bewertet werden sollen, erfasst. Die Objektpunkte definieren dabei eine Position der jeweiligen Objekte relativ zum Fahrzeug und/oder zum Fahrer, insbesondere zum Kopf des Fahrers. Die Objektpunkte können etwa Punkte in einem Koordinatensystem des Fahrzeugs sein. Die Objektpunkte von fahrzeugexternen Objekten, etwa anderen Verkehrsteilnehmern, werden durch sensorisches Erfassen der fahrzeugexternen Objekte, etwa mittels Kameras, Radarsensoren, Liedersensoren, Ultraschall Sensoren und/oder dergleichen, ermittelt.

Die Objektpunkte von fahrzeuginternen Objekten, etwa Komponenten der Fahrzeu- ginnenausstattung wie Lenkrad, Fahrzeugzustandsanzeigen und/oder Bedienelemente von Fahrzeugfunktionalitäten, werden vorzugsweise in einer Datenbank vorgehalten und im Objekterfassungsschritt S2 ausgelesen. In einem Abbildungsschritt S3 wird die Lage der erfassten Objektpunkte bezüglich des Raumwinkels ermittelt. Dazu können die Objektpunkte auf die virtuelle Querschnittsfläche projiziert werden, wo der Abstand von der Projektion der Objektpunkte zu der räumlichen Begrenzung der Querschnittsfläche und/oder zu einem Zentrum der Querschnittsfläche, etwa einem Schnittpunkt der Querschnittsfläche und der Blickrichtung, ermittelt wird. Das Zentrum der Querschnittsfläche kann insbesondere der geometrische Schwerpunkt des Raumwinkels sein.

Die Objektpunkte werden vorzugsweise mittels Abbildungsmatrizen, welche bei Anwendung auf die Objektpunkte eine perspektivische Abbildung der Objektpunkte be- wirken, auf die Querschnittsfläche projiziert. Dabei kann es notwendig sein, die Objektpunkte von einem Koordinatensystem, etwa dem Koordinatensystem des Fahrzeugs, in ein anderes Koordinatensystem, etwa einem Koordinatensystem des Kopfes des Fahrers bzw. der virtuellen Querschnittsfläche, zu transformieren. Unterschiedliche Objektpunkte, beispielsweise Objektpunkte fahrzeugexterner Objekt- punkte und Objektpunkte fahrzeuginterner Objekte, müssen dabei gegebenenfalls unterschiedlich transformiert werden, etwa aus einem externen Koordinatensystem des Fahrzeugumfelds oder aus einem internen Koordinatensystem des Fahrzeuginnenraums.

In einem Bewertungsschritt S4 wird die ermittelte Lage der erfassten Objektpunkte bezüglich des Raumwinkels, insbesondere der ermittelten Lage auf der virtuellen Querschnittsfläche, bewertet. Objektpunkte, welche au ßerhalb des Raumwinkels bzw. deren Projektion außerhalb der räumlichen Begrenzung der Querschnittsfläche liegt, liegen au ßerhalb des Sichtfelds des Fahrers und können daher vom Fahrer nicht visuell wahrgenommen werden. Diese Objektpunkte werden als nicht beachtet be- wertet.

Objektpunkte, welche innerhalb des Raumwinkels bzw. deren Projektion innerhalb der räumlichen Begrenzung der Querschnittsfläche liegt, werden als innerhalb des Sichtfelds des Fahrers liegend und daher als zumindest potentiell beachtet bewertet. Diese Objektpunkte können zumindest potentiell vom Fahrer visuell wahrgenommen werden. Die Bewertung der Aufmerksamkeit des Fahrers bezüglich eines Objektpunkts kann in Abhängigkeit vom Abstand der Projektion des Objektpunkts zu einem Zentrum des Raumwinkels bzw. der virtuellen Querschnittsfläche, etwa in Abhängigkeit des Ab- stands zur Blickrichtung, erfolgen. Objektpunkte, deren Projektion in der Nähe des Zentrums liegt, werden mit einer höheren Wahrscheinlichkeit vom Fahrer wahrgenommen als Objektpunkte, deren Projektionen in einem Randbereich der virtuellen Querschnittsfläche, d.h. in der Nähe der räumlichen Begrenzung der virtuellen Querschnittsfläche, liegen und daher einen größeren Abstand zum Zentrum aufweisen.

Dabei können auch von einer Mehrzahl von Objektpunkten definierte Linien und/oder Flächen bezüglich der Aufmerksamkeit des Fahrers bewertet werden. Dazu wird eine Schnittlänge bzw. -fläche der durch die Mehrzahl von Objektpunkten definierten Linien und/oder Flächen mit der virtuellen Querschnittsfläche ermittelt. In Abhängigkeit der Größe der Schnittlänge bzw. -fläche kann dann die Wahrscheinlichkeit, mit der der Fahrer die durch die Mehrzahl von Objektpunkten definierte Linien bzw. Flächen wahrnimmt, ermittelt werden.

In Fig. 2 ist ein Beispiel für Objektpunkte 2 in einem Cockpit eines Fahrzeugs gezeigt, welche die Position von Objekten in einem Koordinatensystem, etwa dem Koordinatensystem eines Fahrzeugs, definieren.

Die Objektpunkte 2 können in zwei Gruppen eingeteilt werden: Objektpunkte 2, wel- che durch Objekte im oder am Fahrzeug selbst gegeben sind und im Folgenden auch als fahrzeuginterne Objektpunkte bezeichnet werden, und Objektpunkte 2, welche durch fahrzeugexterne Objekte gegeben sind und im Folgenden auch als fahrzeugexterne Objektpunkte bezeichnet werden.

Objektpunkte 2, welche durch Objekte im oder am Fahrzeug selbst gegeben sind, können Positionen von Bedienelementen 3 des Fahrzeugs, etwa auf einem Armaturenbrett 4 des Fahrzeugs oder strukturelle Komponenten 6 des Fahrzeugs, etwa einer A-Säule des Fahrzeugs, definieren. Mehrere Objektpunkte 2 können dabei auch Flächen 5 definieren, in denen dem Fahrer etwa eine den Fahrzeugzustand betreffende Information angezeigt wird. Fahrzeuginterne Objektpunkte werden vorzugsweise von Knotenpunkten eines Drahtgittermodells des Fahrzeugs, insbesondere des Fahrzeuginnenraums, gebildet. Das Drahtgittermodell kann dabei die Kontur des Fahrzeuginnenraums wiedergeben, wobei auf der Kontur einzelne, Bedienelementen entsprechende Objektpunkte 2 an- geordnet sind.

Fahrzeugexterne Objektpunkte werden durch sensorisches Erfassen des Fahrzeugumfelds ermittelt, etwa durch das Überwachen des Fahrzeugumfelds mittels einer oder mehreren Kameras, Radarsensoren, Lasersensoren, Ultraschallsensoren und/oder dergleichen. Anhand einer ermittelten Blickrichtung und einem darauf basierenden Raumwinkel bzw. einer anhand des Raumwinkels ermittelten virtuellen Querschnittsfläche 7 durch den Raumwinkel kann bewertet werden, ob ein bestimmter Objektpunkt 2 im Sichtfeld des Fahrers liegt und insbesondere, mit welcher Wahrscheinlichkeit er vom Fahrer wahrgenommen wird. Dabei wird vorzugsweise die Lage der Objektpunkte 2 relativ zur virtuellen Querschnittsfläche 7, insbesondere zu einem Zentrum 7a der virtuellen Querschnittsfläche 7, welches etwa durch den Schnittpunkt von virtueller Querschnittsfläche 7 und Blickrichtung des Fahrers definiert wird, bewertet.

Im gezeigten Beispiel liegt der fahrzeugexterne Objektpunkt 2a, welcher die Position eines weiteren Fahrzeugs im Koordinatensystem des Fahrzeugs angibt, näher am Zentrum 7a der virtuellen Querschnittsfläche 7 als ein fahrzeuginterner Objektpunkt 2b, welcher die Position eines Bedienelements des Fahrzeugs im Koordinatensystem des Fahrzeugs angibt. Entsprechend nimmt der Fahrer das weitere Fahrzeug mit einer höheren Wahrscheinlichkeit wahr als das Bedienelement. In Fig. 3 ist ein Beispiel einer virtuellen Querschnittsfläche 7 gezeigt, welche auf Grundlage einer Blickrichtung 8 eines Fahrers 9 eines Fahrzeugs und eines anhand der Blickrichtung 8 ermittelten Raumwinkels 10 ermittelt wurde. Die virtuelle Querschnittsfläche 7 kann dabei als Sichtfeld des Fahrers 9 aufgefasst werden. Um eine Bewertung der Aufmerksamkeit bezüglich eines Objektes, dessen Position durch Objektpunkte 2a gegeben ist, zu ermitteln, werden die Objektpunkte 2a des Objekts auf die virtuelle Querschnittsfläche 7 projiziert. Die Lage der projizierten Objektpunkte 2a' bezüglich der virtuellen Querschnittsfläche 7, insbesondere auf der vir- tuellen Querschnittsfläche 7, gibt die Wahrscheinlichkeit an, mit der das Objekt vom Fahrer 9 wahrgenommen wird.

Dabei wird das Objekt, dessen projizierte Objektpunkte 2a' im Bereich eines Zentrums 7a der virtuellen Querschnittsfläche 7, insbesondere in der Nähe des Schnittpunkts von virtueller Querschnittsfläche 7 und Blickrichtung 8, liegen, mit höherer Wahrscheinlichkeit wahrgenommen als ein Objekt mit entsprechendem Objektpunkt 2b, dessen projizierter Objektpunkt 2b' im Bereich des Rands der virtuellen Querschnittsfläche 7, insbesondere im Bereich der von der durch den Raumwinkel 10 gebildeten räumlichen Begrenzung der virtuellen Querschnittsfläche 7, liegt.

Die Blickrichtung 8, der Raumwinkel 10 und/oder die virtuelle Querschnittsfläche 7 wird durch sensorisches Erfassen bzw. anhand von zumindest einem sensorisch er- fassten, das Sichtfeld des Fahrers 9 beeinflussenden Parameters, ermittelt. Der zumindest eine das Sichtfeld des Fahrers 9 beeinflussende Parameter kann dabei die Größe des Raumwinkels 10 bzw. die räumliche Begrenzung der virtuellen Sichtfläche 7 definieren. Fährt das Fahrzeug etwa mit einer erhöhten Geschwindigkeit, schränkt sich das Sichtfeld des Fahrers 9 ein. Dies wird umgangssprachlich als Tunnelblick bezeichnet. Im gezeigten Beispiel ist dies durch eine weitere virtuelle Querschnittsfläche 7' angedeutet, deren Abstand d' zum Kopf des Fahrers 9 größer ist als der Abstand d der virtuellen Querschnittsfläche 7 zum Kopf des Fahrers 9. Die weitere virtuelle Querschnitts- fläche 7', die als Sichtfeld des Fahrers 9 bei einer erhöhten Geschwindigkeit aufge- fasst werden kann, wird durch den kleineren Raumwinkel 10' räumlich begrenzt. Dadurch nimmt der Fahrer 9 das Objekt mit dem Objektpunkt 2b bei der erhöhten Geschwindigkeit nicht mehr wahr. Bezuqszeichenliste

1 Verfahren zur Fahrerzustandsbewertung

2, 2a, 2b Objektpunkte

2a', 2b' projizierte Objektpunkte

3 Bedienelemente

4 Armaturenbrett

5 Fläche

6 Komponenten des Fahrzeuginnenraums 7, 7' virtuelle Querschnittsfläche

7a Zentrum der virtuellen Querschnittsfläche

8 Blickrichtung

9 Fahrer

10 Raumwinkel

S1 - S4 Verfahrensschritte

Claims

ANSPRÜCHE

Verfahren (1 ) zur Fahrerzustandsbewertung bezüglich eines Fahrers (9) eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, wobei das Verfahren die folgenden Schritte aufweist:

einen Erfassungsschritt (S1 ), bei dem sensorgestützt eine Blickrichtung (8) des Fahrers (9) in ein relativ zum Fahrzeug definiertes Sichtfeld erfasst wird sowie in Abhängigkeit von zumindest einem das Sichtfeld beeinflussenden Parameters ein an der Blickrichtung (9) ausgerichteter Raumwinkel (10) ermittelt wird; und

einen Bewertungsschritt (S4), bei dem zumindest ein Objektpunkt (2) der dreidimensionalen Umgebung des Fahrers (9) anhand seiner Lage bezüglich des ermittelten Raumwinkels (10) bewertet wird und ein aufmerksamkeitsbezoge- ner Fahrerzustand in Abhängigkeit von dieser Bewertung bestimmt und ausgegeben wird.

Verfahren (1 ) nach Anspruch 1 , wobei beim Erfassungsschritt der Raumwinkel (10) derart ermittelt wird, dass die Blickrichtung (8) durch Zentrum des Raumwinkels (10) verläuft.

Verfahren (1 ) nach einem der vorangehenden Ansprüche, wobei der zumindest eine Parameter eine Sitzposition und/oder anatomische Eigenschaft des Fahrers (9) charakterisiert und sensorisch ermittelt oder über eine Schnittstelle bereitgestellt wird.

Verfahren (1 ) nach einem der vorangehenden Ansprüche, wobei der zumindest eine Parameter dynamisch in Abhängigkeit von einem Fahrzeugzustand ermittelt wird.

Verfahren (1 ) nach Anspruch 4, wobei der zumindest eine Parameter die Geschwindigkeit des Fahrzeugs charakterisiert.

Verfahren (1 ) nach einem der vorangehenden Ansprüche, wobei der zumindest eine Parameter durch Innenraumkomponenten (6) des Fahrzeugs definiert wird. Verfahren (1 ) nach einem der vorangehenden Ansprüche, wobei der zumindest eine Objektpunkt (2) der dreidimensionalen Umgebung des Fahrers (9) durch einen vorbestimmten Punkt am Fahrzeug selbst gegeben ist.

Verfahren (1 ) nach Anspruch 1 , wobei ein oder mehrere fahrzeugexterne Objekte sensorisch erfasst werden und jedes dieser erfassten fahrzeugexternen Objekte wenigstens einen Objektpunkt (2) der dreidimensionalen Umgebung des Fahrers (9) definiert.

Verfahren (1 ) nach einem der vorangehenden Ansprüche, wobei anhand des ermittelten Raumwinkels (10) eine virtuelle Querschnittsfläche (7) durch den Raumwinkel (10) sowie eine laterale Begrenzung dieser Querschnittsfläche (10) in Abhängigkeit von deren Entfernung (d) zum Fahrer (9) definiert werden; und

die Bewertung des zumindest einen Objektpunkts (2) anhand seiner Lage bezüglich des ermittelten Raumwinkels (10) auf Basis einer mathematischen Projektion des Objektpunkts (2) auf die virtuelle Querschnittsfläche (7) vorgenommen wird.

Verfahren (1 ) nach Anspruch 9, wobei der zumindest eine Objektpunkt (2) als vom Fahrer (9) nicht beachtet bewertet wird, wenn der zumindest eine Objektpunkt (2) bei Projektion auf die virtuelle Querschnittsfläche (7) nicht innerhalb der lateralen Begrenzung der virtuellen Querschnittsfläche (7) liegt.

Verfahren (1 ) nach Anspruch 9 oder 10, wobei der zumindest eine Objektpunkt (2) als vom Fahrer (9) beachtet bewertet wird, wenn der zumindest eine Objektpunkt (2) bei Projektion auf die virtuelle Querschnittsfläche (7) innerhalb der lateralen Begrenzung der virtuellen Querschnittsfläche (7) liegt.

Verfahren (1 ) nach Anspruch 1 1 , wobei die Bewertung des zumindest einen Objektpunkts (2) eine Wahrscheinlichkeit charakterisiert, mit welcher der Fahrer (9) den zumindest einen Objektpunkt (2) beachtet.

13. Verfahren (1 ) nach einem der vorangehenden Ansprüche, wobei auf Basis des ausgegebenen aufmerksamkeitsbezogenen Fahrerzustands eine Funktionalität des Fahrzeugs gesteuert wird.

14. Vorrichtung zum Ermitteln eines aufmerksamkeitsbezogenen Fahrerzustands eines Fahrers (9) eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, welche dazu eingerichtet ist, das Verfahren (1 ) nach einem der Ansprüche 1 bis 13 auszuführen.

15. Fahrzeug, insbesondere Kraftfahrzeug, aufweisend eine Vorrichtung nach Anspruch 13.