WO2024179862A1 - Multimodales fahrzeug-bediensystem mit adaptivem feedback - Google Patents

Abstract

Die Erfindung betrifft ein Bediensystem für ein Fahrzeug, aufweisend eine Steuereinheit (1) und eine Bedienschnittstelle (3), die Anwender-Eingaben erfasst und graphisch ein oder mehrere Objekte (5) auf einer Anzeigeoberfläche darstellt, wobei Eingaben als Sprachbefehl und als eine von einem Sprachbefehl verschiedene Eingabe vorgenommen werden können, wobei die Steuereinheit (1) dazu ausgeführt ist, abhängig von einer vom Sprachbefehl verschiedenen Eingabe ein bestimmtes Objekt (5) der Anzeigeoberfläche auszuwählen, sowie einen Sprachbefehl durch Inhaltsanalyse auf inhaltlichen Bezug zum ausgewählten Objekt (5) zu überprüfen, und die Anzeigeoberfläche zum Ausgeben einer zu allen Objekten (5) der Anzeigeoberfläche bezugslosen ersten Rückmeldungsvisualisierung (7) bezüglich des Sprachbefehls anzusteuern, wenn kein inhaltlicher Bezug festgestellt wird, und die Anzeigeoberfläche zum Ausgeben einer dem ausgewählten Objekt (5) zugeordneten zweiten Rückmeldungsvisualisierung (9) bezüglich des Sprachbefehls mit Kennzeichnung des ausgewählten Objekts (5) auf der Anzeigeoberfläche auszugeben, wenn ein inhaltlicher Bezug festgestellt wird.

Description

Multimodales Fahrzeug-Bediensystem mit adaptivem Feedback

Die Erfindung betrifft ein Bediensystem für ein Fahrzeug, sowie ein Fahrzeug mit einem solchen Bediensystem.

Die zunehmende Vielfalt und Komplexität von Fahrzeugsubsystemen, insbesondere Komfortsystemen, Unterhaltungssystemen und Navigationssystemen, erfordert ein passendes Bedienkonzept, so dass für den Anwender im Fahrzeug nachvollziehbare und leicht verständliche Bedienmöglichkeiten zur Verfügung stehen. Aus der Praxis sind verschiedene Möglichkeiten zum Vornehmen einer Eingabe bekannt, beispielsweise über eine berührende Eingabe an mechanischen Schaltern und Knöpfen oder an digitalen Schaltern und Knöpfen beispielsweise eines Touchscreens. Auch Spracheingaben sind etablierte Eingabemethoden. Eine Erweiterung dieser Möglichkeiten der Mensch- Maschine-Interaktion bilden multimodale Bedienungen. Dabei werden elementare Eingabemöglichkeiten wie die oben genannten kombiniert, sodass beispielsweise vom Anwender ein erster Teil der vollständigen zu übermittelnden Information per Spracheingabe und ein anderer Teil per Geste an ein Bediensystem übermittelt wird. Im Stand der Technik ist es bekannt, einen während oder nach einer erfassten Geste eines Fahrzeuginsassen eines Kraftfahrzeugs ausgeführten Sprachbefehl zu erfassen und Geste und Sprachbefehl funktional miteinander in Verbindung zu setzen:

Die DE 10 2012 013 503 A1 betrifft hierzu ein Verfahren zum Betreiben eines Kraftwagens, mit den Schritten: Erfassen einer auf ein Objekt gerichteten Geste eines Fahrzeuginsassen mittels einer Gestenerkennungseinheit; Interpretieren der Geste und Identifizieren des Objekts mittels einer Datenverarbeitungseinheit; Generieren eines entsprechenden Steuerbefehls in Abhängigkeit von der interpretierten Geste und des identifizierten Objekts und Ansteuern eines Assistenzsystems des Kraftwagens gemäß dem Steuerbefehl mittels der Datenverarbeitungseinheit; Erfassen eines vor, während oder nach dem Erfassen der Geste geäußerten Sprachbefehls des Fahrzeuginsassen mittels einer Spracherkennungseinheit; kombiniertes Interpretieren der Geste, des identifizierten Objekts und des Sprachbefehls sowie Generieren des Steuerbefehls in Abhängigkeit von der kombinierten Interpretation mittels der Datenverarbeitungseinheit.

Aufgabe der Erfindung ist es, eine multimodale Bedienung eines Bediensystems für ein Fahrzeug zu verbessern, welches insbesondere die Möglichkeit einer Sprachsteuerung und eine von einer Sprachsteuerung verschiedene Eingabe erlaubt.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.

Ein erster Aspekt der Erfindung betrifft ein Bediensystem für ein Fahrzeug, aufweisend eine Steuereinheit und eine Bedienschnittstelle, die dazu ausgeführt ist, durch einen Anwender vorgenommene Eingaben zu erfassen und auf Ansteuerung durch die Steuereinheit hin graphisch ein oder mehrere Objekte auf einer Anzeigeoberfläche darzustellen, wobei Eingaben als Sprachbefehl und als eine von einem Sprachbefehl verschiedene Eingabe an der Bedienschnittstelle vorgenommen werden können, wobei die Steuereinheit dazu ausgeführt ist, abhängig von einer vom Sprachbefehl verschiedenen Eingabe ein bestimmtes Objekt der Anzeigeoberfläche auszuwählen, sowie einen Sprachbefehl durch Inhaltsanalyse auf inhaltlichen Bezug zum ausgewählten Objekt zu überprüfen, und

- die Anzeigeoberfläche zum Ausgeben einer zu allen Objekten der Anzeigeoberfläche bezugslosen ersten Rückmeldungsvisualisierung bezüglich des Sprachbefehls anzusteuern, wenn kein inhaltlicher Bezug festgestellt wird, und

- die Anzeigeoberfläche zum Ausgeben einer dem ausgewählten Objekt zugeordneten zweiten Rückmeldungsvisualisierung bezüglich des Sprachbefehls mit Kennzeichnung des ausgewählten Objekts auf der Anzeigeoberfläche auszugeben, wenn ein inhaltlicher Bezug festgestellt wird.

Durch das erfindungsgemäße Bediensystem wird insbesondere die Problematik gelöst, dass grundsätzlich auf jede Eingabe eines Anwenders an einer Mensch-Maschine- Schnittstelle hin idealerweise auch eine adäquate Rückmeldung über die Vornahme der Eingabe und den Erhalt der Eingabe an der Maschine erfolgt. Indem durch das erfindungsgemäße Bediensystem eine Unterscheidung getroffen wird, ob ein vorgenommener Sprachbefehl und eine zweite, davon verschiedene Eingabe des Anwenders inhaltlich miteinander zusammengehören oder nicht, kann eine für beide Fälle jeweils passende Rückmeldung für den Anwender erfolgen.

Es wird damit insbesondere berücksichtigt, wenn eine Spracheingabe und eine zweite von der Spracheingabe verschiedene Eingabe vom Anwender vorgenommen wird, sodass die eingegebenen Informationen dementsprechend zwar mittels unterschiedlicher Modalitäten (Sprache und nicht Sprache) übertragen werden, beide Eingaben mit zueinander unterschiedlichen Modalitäten sich jedoch auf die gleiche Absicht beziehen und demnach inhaltlich miteinander verkoppelt sind. Liegt ein solcher Fall vor, wird gezielt eine zweite Rückmeldungsvisualisierung ausgegeben, die sich von einer ersten Rückmeldung unterscheidet, wobei Letztere nur dann angewendet wird, wenn kein inhaltlicher Zusammenhang feststellbar ist. Liegt der Fall vor, dass kein inhaltlicher Zusammenhang zwischen einer Spracheingabe und einer von der Spracheingabe verschiedenen Eingabe feststellbar ist, so wird mithilfe der ersten Rückmeldungsvisualisierung bezüglich des Sprachbefehls ein generelles Feedback zum Erhalt, Verarbeitung oder Ähnliches des Sprachbefehls selbst gegeben, ohne dass dabei auf die sich vom Sprachbefehl unterscheidende weitere Eingabe des Anwenders oder dessen Ergebnis durch die erste Rückmeldungsvisualisierung Bezug genommen wird. Dies schließt nicht aus, dass in einem solchen Fall eine weitere Rückmeldung in Bezug auf die sich vom Sprachbefehl verschiedene Eingabe erfolgt.

Der Begriff des Sprachbefehl ist im weiteren Sinne auch als eine an das Bediensystem gestellte Frage zu verstehen, da eine menschliche Anfrage an ein maschinelles Bediensystem immer die Aufforderung zum Ausführen einer Funktion, insbesondere zum Ausgeben einer Antwort umfasst. Das Steuergerät ermittelt die Bedeutung des Sprachbefehls vorzugsweise mittels einer semantischen Analyse. Nach einer beispielhaften Ausführungsform kann des Weiteren ein Sprachbefehl vorgegeben werden, der sich auf ein erstes Fahrzeugsubsystem bezieht, und eine vom Sprachbefehl verschiedene Eingabe durch Gestensteuerung wie einer Berührung eines Objekts aus einer Vielzahl von Objekten, die an der Anzeigeoberfläche dargestellt werden und sich auf Parameter eines anderen Fahrzeugsubsystems beziehen. In diesem Fall kann die generische erste Rückmeldungsvisualisierung bezüglich des Sprachbefehls auf der Anzeigeoberfläche dargestellt werden, während das berührte Objekt als solches markiert wird, die Rückmeldungsvisualisierung aber keinen Bezug zum markierten Objekt aufweist. Dem Anwender ist in diesem Fall eine Rückmeldung gegeben, dass auch die Mensch- Maschine-Schnittstelle seinen Sprachbefehl und seine Geste als voneinander unabhängige Befehle verstanden hat. Wird demgegenüber ein inhaltlicher Bezug festgestellt, so wird durch die Darstellung der zweiten Rückmeldungsvisualisierung explizit ein Bezug zwischen dem erfassten Sprachbefehl und zu der vom Sprachbefehl verschiedenen Eingabe hergestellt. Dies erfolgt insbesondere dadurch, dass das ausgewählte Objekt auf der Anzeigefläche markiert wird und die zweite Rückmeldungsvisualisierung dem ausgewählten Objekt mittels Visualisierung zugeordnet wird, sodass der Anwender versteht, dass vom Bediensystem der gewünschte Zusammenhang zwischen Sprachbefehl und der vom Sprachbefehl verschiedenen Eingabe berücksichtigt wird. Vorteilhaft wird in diesem Fall das ausgewählte Objekt mit einer solchen Visualisierung markiert, die es dem Anwender intuitiv verständlich macht, dass ein dem Objekt zugeordneter Sprachbefehl erfasst wird. Insbesondere erfolgt dies vorteilhaft mit entsprechenden Symbolen oder Animationen mit Darstellungen zu menschlichen Ohren, Schallwellen, Tonmuster, Musiknoten, oder andern leicht verständlichen Symbolen für den Anwender.

Die Steuereinheit ist dabei ein Hardwaregerät mit einem mit vorzugsweise als integrierte Schaltung ausgeführten Prozessor, der mit Hilfe von beispielsweise in einem ROM- (Read Only Memory), RAM- (Random Access Memory) und/oder FlashROM -Speicher gespeicherten Daten und/oder Programmen Rechenoperationen durchführt. Der von dem Mikrofon empfangen Sprachbefehl und die vom Sprachbefehl verschiedene Eingaben zur Bestimmung des Objekts werden nach Bedarf in einem Speicher des Steuergerätes zwischengespeichert und über ein internes Bussystem vom Prozessor abgerufen und verarbeitet. Die von dem Prozessor bestimmten Ausgangsdaten werden zur Ansteuerung des Bedienfeldes ausgegeben.

Die Steuereinheit ist dabei eingerichtet einen inhaltlichen Bezug zwischen dem Sprachbefehl und dem ausgewählten Objekt herzustellen.

Die Steuereinheit umfasst hierzu vorzugweise eine Recheneinheit oder ein Rechenmodul, das insbesondere eine entsprechende Rechenleistung und/oder abgespeicherte Daten aus Vorwissen aufweist, um auf inhaltlichen Bezug zwischen Sprachbefehl und der vom Sprachbefehl verschiedenen Eingabe analysieren zu können. Die Prüfung auf inhaltlichen Bezug erfolgt bevorzugt mittels vorab gespeicherter tabellarischer Informationen, besonders bevorzugt durch die Anwendung eines vorab trainierten künstlichen neuronalen Netzes. Durch die leichtere Verfügbarkeit von Rechenleistung und Speicherkapazität wird es zunehmend leichter, sehr große und komplexe künstliche neuronale Netze mit einer Vielzahl von Eingaben zu trainieren, sodass der Befehlsraum für Sprachbefehle und deren inhaltliches Verständnis für eine Steuereinheit ausreichend groß aufgebaut werden kann, sodass für den Anwender eine intuitive Interaktion zwischen dem Bediensystem und ihm möglich ist.

Ein weiterer Zweck der Steuereinheit ist es, die Inhalte der Anzeigeoberfläche zu bestimmen. Dazu verwendet die Steuereinheit entsprechende Software, um insbesondere eine grafische Oberfläche auf der Anzeigeoberfläche auszugeben, und ein oder mehrere Objekte auf der Anzeigeoberfläche darzustellen. Die Objekte sind bevorzugt Symbole, Icons, Menüs, Menüleisten, Sucheingabe-Flächen, oder andere GUI- Elemente. Die verschiedenen Objekte können sich einerseits auf verschiedene Fahrzeugsubsysteme beziehen, können jedoch auch Elemente von Inhalten darstellen, wie verschiedene Kartenelemente einer digitalen Karte.

Ein inhaltlicher Bezug bedeutet insbesondere, dass der Sprachbefehl ohne die vom Sprachbefehl verschiedene Eingabe, sowie die vom Sprachbefehl verschiedene Eingabe ohne den Sprachbefehl, eine jeweilige unvollständige Eingabe darstellt und die Paare erst in Kombination miteinander zu einer vollständigen Eingabe (auch im Sinne einer Anfrage an das Bediensystem) werden. Der inhaltliche Bezug verknüpft somit insbesondere semantisch den Sprachbefehl und die vom Sprachbefehl verschiedene Eingabe. Beispielsweise wird das Antippen eines bestimmten Objekts einer digitalen Karte mit mehreren Kartenelementen in Kombination mit dem gleichzeitigen (oder kurz vorher oder kurz nachher stattfindenden) Aussprechen einer Frage zu einer vollständigen Eingabe für das Bediensystem. Die Steuereinheit ist zur Erkennung eines solchen inhaltlichen Bezugs ausgeführt. Im oben beispielhaft erläuterten Fall des Antippens eines Objekts auf einer digitalen Karte kann beispielsweise der zeitgleich oder zeitnah in Verbindung damit ausgeführte Sprachbefehl analysiert werden, und geprüft werden, ob insbesondere ein Stichwort im Sprachbefehl zu allen verfügbaren zum Objekt zugeordneten Optionen oder möglichen Informationsausgaben passend ist, oder in einer weitergehenden Ausführungsform, ob der Sprachbefehl als Ganzes und damit über das Stichwort alleine hinausgehend syntaktisch und/oder semantisch einen sinnhaften Bezug zu irgendeiner von mit dem Objekt der Karte verknüpften Interaktionsoptionen oder Informationsmöglichkeiten für den Anwender durch das Bediensystem aufweist. Abhängig von diesem inhaltlichen Bezug erfolgt entsprechend die Reaktion auf die vollständige Eingabe durch das Bediensystem, und, was entscheidend für die Benutzererfahrung und das Verständnis des Anwenders über die Vorgänge und die Interaktion mit dem Bediensystem im Sinne einer Mensch-Maschine-Schnittstelle ist, eine adaptive Rückmeldungsvisualisierung. So wird auch dem Anwender unmittelbar bewusst, ob sein intendierter Zusammenhang zwischen Sprachbefehl und der vom Sprachbefehl verschiedenen Eingabe auch als zusammenhängend vom Bediensystem erkannt wird.

Die jeweilige Rückmeldungsvisualisierung ist eine grafisch dargestellte Rückmeldung, auch genannt Feedback, für den Anwender und kann ausgestaltet sein als statisches Symbol oder als dynamisches Symbol (Animation), insbesondere mit bewegten Elementen, dynamischen Farbänderungen, Größenänderungen etc.; in jedem Fall unterscheiden sich die erste Rückmeldungsvisualisierung und die zweite Rückmeldungsvisualisierung optisch voneinander.

Es ist daher eine vorteilhafte Wirkung der Erfindung, dass eine missverständnisfreie Eingabe ermöglicht wird. Dem Anwender ist dabei vorteilhaft klar, ob das Bediensystem die sprachliche Eingabe global verarbeitet oder bezogen auf ein Objekt verarbeitet. Die Informationsaufnahme des Anwenders während der Systemantwort des Bediensystems wird zudem verbessert. Der Anwender kann mit einem kurzen Blick erfassen, auf welches Objekt sich eine eventuelle akustische Antwort des Bediensystems bezieht bzw. ob sich die akustische Antwort überhaupt auf ein Objekt auf der Anzeigeoberfläche bezieht. Das Systemverständnis für einen neuen Anwender und/oder Beobachter kann erhöht werden. Durch dieses adaptive Feedback in Form der verschiedenen Rückmeldungsvisualisierungen kann dem Anwender die Möglichkeit einer multimodalen Eingabe erst bewusst werden. Das Bediensystem erscheint daher dem Anwender intelligenter, da die Fähigkeit der inhaltlichen Deutung von Spracheingaben noch mehr hervorgehoben wird.

Gemäß einer vorteilhaften Ausführungsform ist die vom Sprachbefehl verschiedene Eingabe eine Geste des Anwenders, wobei die Steuereinheit dazu ausgeführt ist, abhängig von der Geste des Anwenders ein bestimmtes Objekt der Anzeigeoberfläche auszuwählen, wobei die Geste insbesondere zumindest eine aus den folgenden ist: Eine mit einem Finger des Anwenders die Anzeigeoberfläche berührende Geste, eine Blick- Geste, eine Wischgeste oder Zeigegeste mit einer Hand oder einem Finger des Anwenders im Raum mit einem Abstand zur Anzeigeoberfläche, eine Zeigersteuerung durch ein physisches Eingabeelement.

Ist die Geste eine Berührung der Anzeigeoberfläche durch den Anwender mit einem seiner Finger, wird als Anzeigeoberfläche bevorzugt ein berührungsempfindlicher Bildschirm verwendet, der beispielsweise resistiv und damit druckempfindlich, besonders bevorzugt jedoch kapazitiv ausgeführt ist. Gerade bei kapazitiver Ausführung reicht unter Umständen eine leicht schwebende Annäherung des Fingers an die Anzeigeoberfläche, die jedoch wegen ihrer großen Nähe zur Anzeigeoberfläche auch als Berührung gewertet werden kann.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, die Anzeigeoberfläche zum Ausgeben der zweiten Rückmeldungsvisualisierung mit Kennzeichnung des ausgewählten Objekts nur dann anzusteuern, wenn die vom Sprachbefehl verschiedene Eingabe innerhalb einer vorgegebenen Zeitspanne und/oder zu einem vorgegebenem Zeitpunkt jeweils relativ zum Sprachbefehl erfolgt.

Die Steuereinheit weist gemäß dieser Ausführungsform eine vorgegebene Relation auf, die den zeitlichen Bezug zwischen Sprachbefehl und der vom Sprachbefehl verschiedenen Eingabe zur Prüfung des inhaltlichen Bezugs vorgibt. Diese Relation gibt bevorzugt die Dauer einer vorgegebenen Zeitspanne an sowie einen Bezugspunkt zur Spracheingabe. So kann festgelegt werden, dass die Zeitspanne einen gewissen Betrag vor dem Beginn der Sprachnachricht beginnt, und einen gewissen Betrag nach dem Beginn oder dem Ende der Sprachnachricht endet. Wird innerhalb dieser festgelegten Zeitspanne die vom Sprachbefehl verschiedene Eingabe vorgenommen, wird sie von der Steuereinheit als zur Spracheingabe zugehörig festgelegt. Die Relation dieser Bezugspunkte wird durch den vorgegebenen Zeitpunkt ausgedrückt. Die Zeitspanne an sich beschreibt eine Zeitdauer, die durch die vorgegebenen Bezugspunkte relativ zur Spracheingabe definiert werden kann.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, die vorgegebene Zeitspanne und/oder den vorgegebenen Zeitpunkt jeweils relativ zum Sprachbefehl abhängig von einer aktuell sensorisch erfassten Fahrsituation des Fahrzeugs anzupassen. Die Fahrsituation bestimmt maßgeblich die durchschnittliche Reaktionsdauer des Anwenders, insbesondere wenn der Anwender ein Fahrer des Fahrzeugs ist. Schwierige Fahrsituationen wie Kreuzungen, potentielle Kollisionsobjekte in der Umgebung des Fahrzeugs, etc. führen typischerweise dazu, dass der Anwender bzw. Fahrer des Fahrzeugs multimodale Eingaben über eine längere Zeitspanne gestreckt vornimmt. Dieser Umstand wird durch diese Ausführungsform berücksichtigt, indem bevorzugt mit zunehmender Schwierigkeit der Fahrsituationen, die eine höhere Konzentration auf das Verkehrsgeschehen erfordert, eine längere Zeitspanne definiert wird, innerhalb derer die von der Spracheingabe verschiedene Eingabe erfolgen muss, sodass beide Eingaben als zusammengehörig gewertet werden.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, die vorgegebene Zeitspanne und/oder den vorgegebenen Zeitpunkt jeweils relativ zum Sprachbefehl abhängig von einem aktuell sensorisch erfassten physischen Zustand des Fahrers des Fahrzeugs anzupassen.

Im Gegensatz zur vorherigen Ausführungsform wird mithilfe dieser Ausführungsform nicht die objektive Verkehrssituation und Fahrsituation berücksichtigt, sondern die tatsächliche Reaktion und damit der tatsächliche Zustand des Fahrers des Fahrzeugs. Dies weist den Vorteil auf, dass auf individuelle Verhalten und Reaktionen, die individuell sehr unterschiedlich ausfallen können, Rücksicht genommen wird, sodass sich Fahrer mit unterschiedlichen Reaktionsweisen und Verhaltensmustern konsistent verstanden fühlen.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, die Anzeigeoberfläche zur Darstellung der ersten Rückmeldungsvisualisierung an einer immer gleichen vorgegebenen Position auf der Anzeigeoberfläche anzusteuern.

Die Verwendung einer konstant gleichen Position auf der Anzeigeoberfläche zur Darstellung der ersten Rückmeldungsvisualisierung bietet dem Anwender die Möglichkeit zur schnellen Gewöhnung an die Erkennung, dass von der Steuereinheit kein inhaltlicher Zusammenhang zwischen dem Sprachbefehl und der von dem Sprachbefehl verschiedenen Eingabe erkannt wird. Indem immer die gleiche Position in diesem Fall zur Darstellung der ersten Rückmeldungsvisualisierung verwendet wird, ist dem Anwender augenblicklich klar, dass der Sprachbefehl isoliert von weiteren vom Sprachbefehl verschiedenen Eingaben von der Steuereinheit interpretiert wird. Gemäß einer weiteren vorteilhaften Ausführungsform ist das Aussehen der zweiten Rückmeldungsvisualisierung abhängig von einem Status einer Sprachverarbeitungsfunktion der Steuereinheit, wobei der Status zumindest einen der folgenden umfasst: Erfassen einer Sprachnachricht, Verarbeiten oder Analyse der Sprachnachricht, Ausgeben einer sprachlichen Rückmeldung durch die Bedienschnittstelle über das Ergebnis der Verarbeitung der Sprachnachricht. Die Sprachverarbeitungsfunktion ist in der Steuereinheit implementiert, wobei die in der Steuereinheit die vorab genannten Bearbeitungsschritte zur Verarbeitung der über das Mikrofon empfangenen Spracheingabe ausführt.

Die Steuereinheit des Bediensystems ist eingerichtet das Aussehen der zweiten Rückmeldungsvisualisierung bevorzugt durch eine Farbänderung und/oder Formänderung und/oder Bewegungsänderung einer Animation der zweiten Rückmeldungsvisualisierung zu verändern. Besonders bevorzugt wird jedem Status eine für ihn eindeutige Farbe zugewiesen und die zweite Rückmeldungsvisualisierung entsprechend dargestellt.

Gemäß einer weiteren vorteilhaften Ausführungsform weist die Anzeigeoberfläche eine berührungssensitive Oberfläche auf, wobei die von einer vom Sprachbefehl verschiedene Eingabe eine Berührung der Anzeigeoberfläche durch den Anwender ist, und die Steuereinheit dazu ausgeführt ist, aufgrund einer Berührung eines bestimmten Objekts das berührte Objekt der Anzeigeoberfläche auszuwählen, wobei die Anzeigeoberfläche dazu ausgeführt ist, am berührten und ausgewählten Objekt eine haptische Rückmeldung zu erzeugen.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, eine Sprachverarbeitungsfunktion der Steuereinheit erst zu aktivieren und Sprachbefehle zu verarbeiten, wenn ein Objekt mittels der vom Sprachbefehl verschiedenen Eingabe ausgewählt wurde.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem Bediensystem wie oben und im Folgenden beschrieben.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Bediensystem vorstehend gemachten Ausführungen. Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.

Es zeigen:

Fig. 1 : Ein Bediensystem für ein Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung und in skizzenhaft dargestellten zwei verschiedenen Zuständen.

Fig. 2: Ein Ablaufdiagramm zur Schaltlogik des Bediensystems der Fig. 1 gemäß einem Ausführungsbeispiel der Erfindung.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.

Fig. 1 zeigt ein Bediensystem für ein Fahrzeug. Das Bediensystem weist eine Bedienschnittstelle 3 auf, welche zum einen berührungsempfindlichen Bildschirm mit einer Anzeigeoberfläche aufweist, zum anderen ein Mikrofon zum Empfang von Sprachbefehlen des Anwenders. So kann ein Anwender einerseits nur eine Spracheingabe vornehmen, nur eine berührende Eingabe an der Anzeigeoberfläche des berührungsempfindlichen Bildschirms, oder eine multimodale Eingabe durch inhaltliche Kombination der Berührung mit einer vorgenommenen Spracheingabe. Die am berührungsempfindlichen Bildschirm sowie am Mikrofon erfassten Signale werden an eine Steuereinheit 1 weitergeleitet, um sie dort verarbeiten zu können. Die Steuereinheit 1 weist einen Rechner auf, der außerdem zur Komposition einer grafischen Benutzeroberfläche, eines sogenannten GUIs (Abkürzung für "graphical user interface"), dient. Die grafische Benutzeroberfläche umfasst eine Vielzahl von Objekten 5, wovon in der Fig. 1 jeweils sechs symbolische dargestellt sind, die beispielsweise Kartenelemente einer digitalen Karte sind. Entsprechend der Berührung eines bestimmten der Objekte 5 durch den Anwender wird von der Steuereinheit 1 das entsprechende Objekt 5 als das ausgewählte definiert. Gleichzeitig findet von der Steuereinheit 1 eine fortwährende Überprüfung statt, ob im vorgegebenen zeitlichen Zusammenhang ein Sprachbefehl stattfindet. Hierfür wird der Beginn des Sprachbefehls als Referenz verwendet und untersucht, ob die Berührung eines bestimmten Objekts 5 in einem vorgegebenen ersten Zeitabschnitt vor Beginn des Sprachbefehls, gleichzeitig mit Beginn des Sprachbefehls, oder in einem vorgegebenen zweiten Zeitabschnitt nach Be- ginn des Sprachbefehls, erfolgt. Liegt kein zeitlicher Bezug zwischen dem Sprachbefehl und der berührenden Auswahl eines bestimmten Objekts 5 vor, wird eine animierte erste Rückmeldungsvisualisierung 7 am oberen Rand der Anzeigeoberfläche dargestellt, um eine Rückmeldung für den Anwender auszugeben, dass ein Sprachbefehl erfasst wird, wobei die erste Rückmeldungsvisualisierung 7 ohne Bezug zu irgendeinem der Objekte 5 ist - dies ist beispielhaft in Teilbild (A) der Fig. 1 dargestellt. Liegt dagegen eine solche Situation vor, erfolgt eine durch die Steuereinheit 1 ausgeführte Inhaltsanalyse, die auf inhaltlichen Bezug des Sprachbefehls zum ausgewählten Objekt 5 prüft. Liegt kein inhaltlicher Zusammenhang vor, wird die erste Rückmeldungsvisualisierung 7 ausgegeben, andernfalls eine dem ausgewählten Objekt 5 zugeordnete zweite Rückmeldungsvisualisierung 9 bezüglich des Sprachbefehls mit Kennzeichnung des ausgewählten Objekts 5 auf der Anzeigeoberfläche. Die zweite Rückmeldungsvisualisierung 9 unterscheidet sich von der Hervorhebung eines angewählten Objekts 5 bei alleiniger berührender Eingabe ohne multimodalen Zusammenhang zu einem Sprachbefehl. Trotzdem erfolgt eine Kennzeichnung des angewählten Objekts 5 durch eine entsprechende Animation, die kennzeichnend für die zusammenhängende Auswahl eines bestimmten Objekts 5 mit einem verkoppelten Sprachbefehl ist. Dieser Fall ist im Teilbild (B) dargestellt.

Fig. 2 zeigt ein mögliches Ablaufdiagramm zur Schaltlogik des Bediensystems der Fig. 1 , welches in der Steuereinheit 1 implementiert werden kann. Die Schritte sind dabei wie folgt, wobei nach jedem Entscheidungsblock ,y‘ für „ja“ steht, und ,n‘ für „nein“: Mit S1 wird ein Sprachbefehl an der Bedienschnittstelle erhalten. Mit S3 wird außerdem eine berührende Eingabe erhalten. Im Entscheidungsblock D1 wird überprüft, ob die berührende Eingabe kurz vor dem Sprachbefehl erfolgt ist. Wenn ja, wird eine mit der berührenden Eingabe berührtes Objekt durch ein dem Symbol der zweiten Rückmeldungsvisualisierung entsprechendes, jedoch in einer anderen Farbe als die zweite Rückmeldungsvisualisierung (vergleiche weiter unten V4) aufweist markiert, dies erfolgt in V2. Wenn nein, wird mit V1 die erste Rückmeldungsvisualisierung ausgegeben. Nachgelagert hinter V1 wird jedoch weiterhin auf das Vorliegen einer berührenden Eingabe überprüft wiederum durch Ausführung von S3. Erfolgt eine Erkennung einer berührenden Eingabe kurz nach dem Sprachbefehl, so wird nach dem Entscheidungsblock D2 weiter im Entscheidungsblock D3 fortgefahren. Erfolgt keine Erkennung der berührenden Eingabe kurz nach dem Sprachbefehl nach Überprüfung in D2, so wird mit V3 ein visuelles Feedback für die akustische Systemantwort im Sinne der ersten Rückmeldungsvisualisierung aber in einer anderen Farbe als die erste Rückmeldungsvisualisierung aufweist ausgegeben. Wird die Überprüfung in D2 positiv beantwortet, wird mit D3 fortgefahren. Eine registrierter Sprachbefehl wird in S2 außerdem durch ein Spracherkennungsmodul inhaltlich analysiert. In Entscheidungsblock D3 wird darin überprüft, ob ein inhaltlicher Bezug zwischen dem Sprachbefehl und der berührenden Eingabe vorliegt. Wenn nein wird zu V3 gewechselt, wenn ja wird mit V4 die zweite Rückmeldungsvisualisierung als visuelles Feedback bei akustischer Systemantwort ausgegeben. Zusammengefasst sind V1 und V2 jeweils eine visuelle Rückmeldung bei der Erfassung der Nutzer-Spracheingabe in Form eines Sprachbefehls, V3 und V4 jedoch eine visuelle Rückmeldung bei akustischer Systemantwort des Bediensystems, wenn das Bediensystem nicht nur auf der Anzeigeoberfläche eine visuelle Rückmeldung gibt, sondern auch noch eine akustische Sprachform.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.

Claims

Patentansprüche

1. Bediensystem für ein Fahrzeug, aufweisend eine Steuereinheit (1) und eine Bedienschnittstelle (3), die dazu ausgeführt ist, durch einen Anwender vorgenommene Eingaben zu erfassen und auf Ansteuerung durch die Steuereinheit (1) hin graphisch ein oder mehrere Objekte (5) auf einer Anzeigeoberfläche darzustellen, wobei Eingaben als Sprachbefehl und als eine von einem Sprachbefehl verschiedene Eingabe an der Bedienschnittstelle (3) vorgenommen werden können, wobei die Steuereinheit (1) dazu ausgeführt ist, abhängig von einer vom Sprachbefehl verschiedenen Eingabe ein bestimmtes Objekt (5) der Anzeigeoberfläche auszuwählen, sowie einen Sprachbefehl durch Inhaltsanalyse auf inhaltlichen Bezug zum ausgewählten Objekt (5) zu überprüfen, und

- die Anzeigeoberfläche zum Ausgeben einer zu allen Objekten (5) der Anzeigeoberfläche bezugslosen ersten Rückmeldungsvisualisierung (7) bezüglich des Sprachbefehls anzusteuern, wenn kein inhaltlicher Bezug festgestellt wird, und

- die Anzeigeoberfläche zum Ausgeben einer dem ausgewählten Objekt (5) zugeordneten zweiten Rückmeldungsvisualisierung (9) bezüglich des Sprachbefehls mit Kennzeichnung des ausgewählten Objekts (5) auf der Anzeigeoberfläche auszugeben, wenn ein inhaltlicher Bezug festgestellt wird.

2. Bediensystem nach Anspruch 1, wobei die vom Sprachbefehl verschiedene Eingabe eine Geste des Anwenders ist, wobei die Steuereinheit (1) dazu ausgeführt ist, abhängig von der Geste des Anwenders ein bestimmtes Objekt (5) der Anzeigeoberfläche auszuwählen, wobei die Geste insbesondere zumindest eine aus den folgenden ist: Eine mit einem Finger des Anwenders die Anzeigeoberfläche berührende Geste, eine Blick-Geste, eine Wischgeste oder Zeigegeste mit einer Hand oder einem Finger des Anwenders im Raum mit einem Abstand zur Anzeigeoberfläche, eine Zeigersteuerung durch ein physisches Eingabeelement.

3. Bediensystem nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (1) dazu ausgeführt ist, die Anzeigeoberfläche zum Ausgeben der zweiten Rückmeldungsvisualisierung (9) mit Kennzeichnung des ausgewählten Objekts (5) nur dann anzusteuern, wenn die vom Sprachbefehl verschiedene Eingabe innerhalb einer vorgegebenen Zeitspanne und/oder zu einem vorgegebenen Zeitpunkt jeweils relativ zum Sprachbefehl erfolgt.

4. Bediensystem nach Anspruch 3, wobei die Steuereinheit (1) dazu ausgeführt ist, die vorgegebene Zeitspanne und/oder den vorgegebenen Zeitpunkt jeweils relativ zum Sprachbefehl abhängig von einer aktuell sensorisch erfassten Fahrsituation des Fahrzeugs anzupassen.

5. Bediensystem nach einem der Ansprüche 3 bis 4, wobei die Steuereinheit (1) dazu ausgeführt ist, die vorgegebene Zeitspanne und/oder den vorgegebenen Zeitpunkt jeweils relativ zum Sprachbefehl abhängig von einem aktuell sensorisch erfassten physischen Zustand des Fahrers des Fahrzeugs anzupassen.

6. Bediensystem nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (1) dazu ausgeführt ist, die Anzeigeoberfläche zur Darstellung der ersten Rückmeldungsvisualisierung (7) an einer immer gleichen vorgegebenen Position auf der Anzeigeoberfläche anzusteuern.

7. Bediensystem nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (1) dazu ausgeführt ist, das Aussehen der zweiten Rückmeldungsvisualisierung (9) abhängig von einem Status einer Sprachverarbeitungsfunktion zu verändern, wobei der Status zumindest einen der folgenden umfasst: Erfassen einer Sprachnachricht, Verarbeiten der Sprachnachricht, Ausgeben einer sprachlichen Rückmeldung durch die Bedienschnittstelle (3) über das Ergebnis der Verarbeitung der Sprachnachricht.

8. Bediensystem nach einem der vorhergehenden Ansprüche, wobei die Anzeigeoberfläche eine berührungssensitive Oberfläche aufweist, wobei die von einer vom Sprachbefehl verschiedene Eingabe eine Berührung der Anzeigeoberfläche durch den Anwender ist, und die Steuereinheit (1) dazu ausgeführt ist, aufgrund einer Berührung eines bestimmten Objekts (5) das berührte Objekt (5) der Anzeigeoberfläche auszuwählen, wobei die Anzeigeoberfläche dazu ausgeführt ist, am berührten und ausgewählten Objekt (5) eine haptische Rückmeldung zu erzeugen.

9. Bediensystem nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (1) dazu ausgeführt ist, eine Sprachverarbeitungsfunktion der Steuereinheit (1) erst zu aktivieren und Sprachbefehle zu verarbeiten, wenn ein Objekt (5) ausgewählt wurde.

10. Fahrzeug mit einem Bediensystem nach einem der vorhergehenden Ansprüche.