DE102014226553A1

DE102014226553A1 - Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug

Info

Publication number: DE102014226553A1
Application number: DE102014226553.3A
Authority: DE
Inventors: Stefan Andreas Kniep; Markus Langenberg; Daniel Zaum; Jens Heimsoth; Gerrit De Boer; Philippe Dreuw
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-12-19
Filing date: 2014-12-19
Publication date: 2016-06-23
Also published as: CN105718188A; FR3030798A1; ITUB20159290A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), mit wenigstens einem berührungsfrei arbeitenden Sensor (3) zum Erfassen einer Position und/oder Positionsänderung zumindest eines Fingers (8) einer Hand (6) des Benutzers und mit einer Anzeigeeinheit (4) zum Anzeigen von Informationen, wobei in Abhängigkeit von einer erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese ausgeführt wird. Es ist vorgesehen, dass, wenn durch den Sensor (3) ein durch den Finger (8) gebildeter Ring erfasst wird, in Abhängigkeit von einer Änderung des Abstands des Fingers (8) zu dem Sensor (3) und/oder zu der Anzeigeeinheit (4) die Darstellung der durch die Anzeigeeinheit (4) angezeigten Informationen verändert wird.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung, insbesondere für ein Kraftfahrzeug, mit wenigstens einem berührungsfrei arbeitenden Sensor zum Erfassen einer Position und/oder Positionsänderung zumindest eines Fingers einer Hand eines Benutzers, und mit einer Anzeigeeinheit zum Anzeigen von Informationen, wobei in Abhängigkeit von einer erfassten Position und/oder Positionsänderung des Fingers auf eine Eingabe erkannt und diese ausgeführt wird.
Ferner betrifft die Erfindung eine entsprechende Eingabevorrichtung mit wenigstens einem berührungsfrei arbeitenden Sensor und mit einer Anzeigeeinheit, sowie ein Kraftfahrzeug.
Stand der Technik
Bei heutigen Kraftfahrzeugen werden Bedienkonzepte eingesetzt, bei denen eine Eingabevorrichtung und eine Anzeigeeinheit nah beieinander angeordnet sind. Üblicherweise werden hierzu sogenannte berührungsempfindliche Bildschirme und sogenannte Touchscreens vorgesehen, bei denen Bedienung und Anzeige an der gleichen Stelle erfolgen. Häufig werden Anzeigeeinheit im oberen Bereich einer Bedienkonsole oder eines Armaturenbretts des Kraftfahrzeugs angebracht, damit der Fahrer zum Ablesen seinen Blick nicht zu stark von dem Verkehrsgeschehen abwenden muss. In anderen Fahrzeugen befinden sich ein Touchpad, also ein berührungsempfindlicher Sensor, im Bereich der Armauflage des Fahrers, und die Anzeigeeinheit an gewohnter Stelle im Bereich des Armaturenbretts. Eine visuelle Rückmeldung an den Fahrer bei der Bedienung des Sensors kann dabei in Form von einer angedeuteten durchsichtigen Hand, die durch die Anzeigeeinheit dargestellt wird, erfolgen. Dadurch kann der Fahrer bequem die Eingabevorrichtung betätigen, während ihm die Anzeige weiterhin in einem vorteilhaften Blickwinkel präsentiert wird. In diesem Fall ist es auch denkbar, die Anzeigeeinheit nicht als Bildschirm, sondern als Head-Up-Display auszubilden. Während klassische berührungsempfindliche Sensoren beziehungsweise Touchpads eine Berührung durch den Benutzer zu ihrer Bedienung benötigen, sind auch Eingabevorrichtungen bekannt, die berührungsfrei Eingaben erkennen beziehungsweise registrieren. Dabei werden beispielsweise mithilfe von Tiefensensoren die Positionen von Hand, Fingern und/oder Arm eines Benutzers im Raum erkannt und für eine Gestikbedienung ausgewertet. Für Fingergesten ist eine hohe Auflösung erforderlich, die mit Sensoren, wie beispielsweise Time-of-Flight-Sensoren, mit Stereokameras, strukturiertem Licht oder ähnlichem erreicht werden kann. Für Hand- oder Körpergesten können auch Sensoren mit einer geringeren Auflösung eingesetzt werden, wie beispielsweise Radarsensoren. Durch einen oder mehrere Sensoren wird also die Position oder Positionsänderung der Hand eines Benutzers erfasst, wobei in Abhängigkeit der erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese durchgeführt wird. Der Benutzer zeigt somit mit einer Bewegung seiner Hand beziehungsweise mit zumindest einem Finger seiner Hand der Eingabevorrichtung an, welche Eingabe er vornehmen möchte. Die Eingabevorrichtung erkennt anhand der Fingerbewegung die gewünschte Eingabe und führt diese aus, indem sie den durch die Bewegung vorgegebenen Befehl umsetzt und beispielsweise einen Betriebspararmeter des Kraftfahrzeugs verändert. So kann beispielsweise in Abhängigkeit von der Position und Positionsänderung eines Fingers des Benutzers auf die Eingabe „Lautstärke erhöhen“ erkannt und von der Eingabevorrichtung ausgeführt werden, indem sie die Lautstärke, beispielsweise eines Unterhaltungssystems des Kraftfahrzeugs, erhöht.
Offenbarung der Erfindung
Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass ein Benutzer der Eingabevorrichtung durch eine einfache Shortcut-Geste vorgeben kann, die Darstellung des Bildschirms zu verändern, um beispielsweise die Lesbarkeit der dargestellten Informationen für den Benutzer zu verbessern. Beispielsweise kann der Benutzer dadurch auf einfache Art und Weise die Helligkeit des Bildschirms variieren. Erfindungsgemäß ist dazu vorgesehen, dass, wenn durch den Sensor ein durch den Finger gebildeter, insbesondere geschlossener Ring erfasst wird, in Abhängigkeit von einem Ändern des Abstands des Fingers zu dem Sensor und/oder zu dem Bildschirm die Darstellung der durch den Bildschirm angezeigten Informationen verändert wird. Wenn der Benutzer also mit einem Finger einen Ring im Erfassungsbereich des Sensors bildet, der dabei so ausgerichtet ist, dass er vom Sensor erfassbar ist, also in einer Ebene senkrecht zur Sensorachse beziehungsweise zur optischen Achse des Sensors liegt, kann er durch Bewegen des Fingers in Richtung auf den Sensor oder auf den Bildschirm zu der Eingabevorrichtung mitteilen, dass die Darstellung der angezeigten Information auf dem Bildschirm verändert werden soll. Die Bewegung des mit dem Finger gebildeten Rings wird somit als Eingabe zum Verändern der Darstellung der angezeigten Information gewertet.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass in Abhängigkeit von der Änderung des Abstands die Größe der dargestellten Informationen verändert wird. Durch das Bewegen des Rings in dem Erfassungsbereich des Sensors auf den Sensor oder den Bildschirm zu, kann somit der Benutzer die Größe der dargestellten Information, beispielsweise eine Straßenkarte, verändern. Es wird somit dem Benutzer ein Zoom-Shortcut zur Verfügung gestellt, durch welchen der Benutzer in die am Bildschirm dargestellten Informationen hinein zoomen oder aus den dargestellten Informationen herauszoomen kann.
Besonders bevorzugt ist vorgesehen, dass mit zunehmendem Abstand die dargestellten Informationen verkleinert oder vergrößert und mit abnehmendem Abstand vergrößert oder verkleinert werden. Je nachdem, ob der Benutzer den Ring derart bewegt, sodass der Abstand verringert oder erhöht wird, werden also die Informationen, insbesondere die Straßenkarte beziehungsweise ein Straßenkartenausschnitt verkleinert oder vergrößert.
Weiterhin ist bevorzugt vorgesehen, dass eine Änderung des Abstands in Abhängigkeit von einer Veränderung eines Durchmessers des Rings erfasst wird. Bewegt der Benutzer seine Hand mit dem senkrecht zur Sensorachse liegenden Ring auf den Sensor zu, so nimmt der Durchmesser des Rings im von dem Sensor erfassten Bild zu, wodurch auf einfache Art und Weise auf eine Verringerung des Abstands des Fingers zu dem Sensor geschlossen werden kann.
Ferner ist bevorzugt vorgesehen, dass die Darstellung der Informationen nur dann verändert wird, wenn der erfasste Ring zwischen einer Handspitze und einem Handgelenk der Hand liegt. Dadurch wird sichergestellt, dass tatsächlich der Benutzer seine Hand dazu verwendet, den Ring zu bilden. Dadurch soll beispielsweise sichergestellt werden, dass ein durch die Hand des Benutzer gebildeter Ring von dem Rand beispielsweise eines Bechers oder eines anderen Gegenstands, der eine ringförmige Kontur aufweist, unterschieden werden kann. Durch bekannte Bildauswertungsverfahren lässt sich das Sensorbild entsprechend analysieren, um die Lage des Rings bezüglich der Hand des Benutzers zu ermitteln. Darüber hinaus wird hierdurch bevorzugt festgelegt, dass der Benutzer nur dann mittels dieser Geste zoomen kann, wenn die Hand in einem vorgegebenen Winkel in dem Sensorbereich eingeführt ist. Dadurch werden Fehlbedienungen der Eingabevorrichtung weiter verringert.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist außerdem vorgesehen, dass die Darstellung der Informationen nur dann verändert wird, wenn der Durchmesser mindestens eine vorgebbare Mindestgröße überschreitet. Dadurch ist der Benutzer gezwungen, die Ringgeste deutlich auszuführen, sodass Fehlbedienungen verhindert werden.
Weiterhin ist bevorzugt vorgesehen, dass die Darstellung der Informationen nur dann verändert wird, wenn der Ring durch den Finger und einen Daumen derselben Hand gebildet wird. Durch eine Bildauswertung lassen sich die Fingerspitzen der Hand des Benutzers ermitteln. Die Spitze des Daumens wird im Sinne der vorliegenden Erfindung ebenfalls als Fingerspitze verstanden. Durch das Nachverfolgen der Fingerspitzen lässt sich erkennen, dass der Ring durch einen Finger und den Daumen der Hand gebildet wird. Dadurch lässt sich sicherstellen, dass die Eingabe durch den Benutzer tatsächlich gewünscht ist.
Besonders bevorzugt wird zusätzlich zu der Mindestgröße des Durchmessers ermittelt, ob der Ring eine kreisförmige oder nahezu kreisförmige Kontur aufweist. Von dem Benutzer wird dadurch verlangt, dass er mit Daumen und Finger eine Art Lupenform beziehungsweise den Rahmen für ein kreisrundes Lupenglas symbolisch anzeigt. Damit stellt die Geste für den Benutzer auch eine intuitive Geste dar, wenn er durch das Formen des Lupenrahmens und durch das Verändern des Abstandes zu dem Bildschirm oder zu dem Sensor die Größe der Darstellung des Bildschirms verändern möchte.
Die erfindungsgemäße Eingabevorrichtung mit den Merkmalen des Anspruchs 9 zeichnet sich dadurch aus, dass sie das erfindungsgemäße Verfahren bei bestimmungsgemäßem Gebrauch durchführt. Die Eingabevorrichtung weist dazu den berührungsfrei arbeitenden Sensor, die Anzeigeeinheit und eine Recheneinheit auf, welche die von dem Sensor erfassten Daten auswertet, um auf die jeweilige Eingabe zu erkennen, und um den Bildschirm zum Anzeigen von Informationen und zum Verändern der Darstellung der Informationen anzusteuern. Es ergeben sich hierdurch die zuvor bereits genannten Vorteile. Weitere Merkmale und Vorteile ergeben sich aus dem zuvor Beschriebenen sowie aus den Ansprüchen.
Das erfindungsgemäße Kraftfahrzeug zeichnet sich durch die erfindungsgemäße Eingabevorrichtung aus, wodurch sich die bereits genannten Vorteile ergeben.
Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. Dazu zeigen
1 einen Innenraum eines Kraftfahrzeugs mit einer vorteilhaften Eingabevorrichtung und
2A bis 2C ein Ausführungsbeispiel für das Durchführen einer Eingabe an der Eingabevorrichtung in mehreren Schritten.
1 zeigt eine schematische Darstellung des Innenraums eines hier nicht näher dargestellten Kraftfahrzeugs 1, welches eine Eingabevorrichtung 2 zum berührungslosen Eingeben von Steuerbefehlen aufweist. Die Eingabevorrichtung weist hierzu einen berührungsfrei arbeitenden Sensor 3 sowie eine Anzeigeeinheit 4 auf. Die Anzeigeeinheit 4 ist in das Armaturenbrett beziehungsweise in die Bedienkonsole des Kraftfahrzeugs 1 eingebracht angeordnet. Die Anzeigeeinheit 4 weist vorliegend einen Bildschirm 10, insbesondere Display, auf und kann beispielsweise Bestandteil eines Navigationssystems oder eines Entertainmentsystems des Kraftfahrzeugs 1 sein. Auch ist es denkbar, die Anzeigeeinheit 4 alternativ oder zusätzlich als Head-Up-Display (HUD) auszubilden. Der berührungsfrei arbeitende Sensor 3 ist bevorzugt als zweidimensional arbeitende Videokamera beziehungsweise Kameraeinrichtung ausgebildet, die den mit gestrichelten Linien 7 dargestellten Erfassungsbereich aufweist. Die Videokamera ist dabei bevorzugt derart ausgerichtet, dass sie auf das frontseitige Ende einer mittleren Armauflage 5 des Kraftfahrzeugs 1 weist. Die Armauflage 5 weist selbst keine reale Eingabeoberfläche auf, auf welcher ein Fahrer mittels einer hier nur schematisch dargestellten Hand 6 durch Berührung der Eingabeoberfläche einen Befehl eingeben könnte.
Die Eingabevorrichtung 2 ist stattdessen dazu ausgebildet, eine Position und/oder Positionsänderung zumindest eines Fingers der Hand 6 im Raum zu erfassen und in Abhängigkeit davon auf eine Eingabe zu erkennen und diese auszuführen.
Vorliegend ist dabei vorgesehen, dass der Sensor 3 die in seinem Erfassungsbereich befindliche Hand 6 darauf überwacht, ob sie mit einem Finger 8 einen Ring zusammen mit dem Daumen 9 bildet. Dazu wird das von dem Sensor 3 erfasste Bild darauf geprüft, beziehungsweise überwacht, ob eine geschlossene Ringkontur erfasst wird. Wenn als Sensor 3 eine Mono-Videokamera verwendet wird, liegen die Positionen der Fingerspitzen, also auch der Fingerspitze des Daumens, als zweidimensionale Punkte vor. Für die Erkennung der zuvor beschriebenen Geste ist es von Vorteil, wenn der Finger 8 und der Daumen 9 in einer senkrecht zur optischen Achse des Kamerasensors 3 liegenden Ebene angeordnet sind, da sie dadurch besonders gut erfasst werden können. Dadurch ist eine Tiefenbestimmung, also eine Bestimmung des tatsächlichen absoluten Abstandes der Finger 8, 9 zu dem Sensor 3 nicht notwendig. In Kombination mit einem Tracking Verfahren aus dem Stand der Technik können nun der zeitliche Verlauf der einzelnen Fingerspitzen und der gesamten Hand 6 in einem gewissen Zeitfenster berechnet werden, aus dem sich wiederum eine Trajektorie und deren Richtungsvektoren ableiten lassen. Liegt nur ein einzelner Richtungsvektor vor, beispielsweise extrahiert aus der Schwerpunktverschiebung der Handkontur, so können die Länge und der Winkel des Richtungsvektors direkt als Wischgeste interpretiert werden. Liegen mehrere Richtungsvektoren vor, wird zusätzlich die Hauptachse bestimmt, beispielsweise durch eine Hauptachsentransformation, um den Gesamtvektor und dessen Winkel zu bestimmen. Das Richtungsvektorfeld kann beispielsweise auch aus dem optischen Fluss heraus berechnet werden. Bei diesem Ansatz ist eine explizite Segmentierung der Hand mitunter nicht notwendig. Die Länge, das heißt die Intensität der Wischgeste kann anschließend beispielsweise durch eine einfache Längenmittelung über die Richtungsvektoren bestimmt werden.
Vielfältige Funktionen heutiger Informationssysteme auch in Fahrzeugen, insbesondere Kraftfahrzeugen, ermöglichen es dem Benutzer Bildschirminhalte, also dargestellte Informationen eines Bildschirms zu vergrößern oder zu verkleinern (Zoom). Bei berührungsfreier Erfassung von Eingabegesten können klassische Gesten, wie sie auf berührungsempfindlichen Sensoren ausgeführt werden, nicht umgesetzt werden, da sie auf der Ausführung auf einer Oberfläche basieren. Das hier vorgeschlagene Verfahren ermöglicht es trotz fehlender realer Oberfläche mittels einer intuitiven Geste des Benutzers Bildschirminhalte der Anzeigeeinheit 4, die den Bildschirm 10, aufweist durch eine Bewegung der Hand 6 zu vergrößern und zu verkleinern.
Wie bereits erörtert, wird durch Auswertung der Bilddaten des Sensors 3 erfasst, ob mit Daumen 9 und Zeigefinger 8 ein Ring, insbesondere ein kreisförmiger Ring, gebildet wird. Dieser Ring ähnelt der Kreisform einer Lupe beziehungsweise einer Lupenfassung und ist daher für den Benutzer intuitiv zu verstehen. Wird durch die Eingabevorrichtung 2 erfasst, das der Benutzer den Ring gebildet hat, der insbesondere einen Durchmesser aufweist, der eine vorgebbare Mindestgröße überschreitet, so wird die Eingabevorrichtung 2 in einen Zoom-Modus versetzt. Es wird dann überwacht, ob der Benutzer die Hand in Richtung des Sensor 3 bewegt oder von diesem weg. Insbesondere ist vorgesehen, dass ein Verringern des Abstandes des Fingers 8 und des Daumens 9 zu dem Sensor 2 zu einer Vergrößerung der dargestellten Informationen an den Bildschirm 10 führt (Hineinzoomen), und ein Vergrößern des Abstands zu einer Verkleinerung der dargestellten Informationen (Herauszoomen). Sobald erfasst wird, dass der geschlossene Ring aufgelöst wurde, indem der Benutzer die Fingerspitzen von Daumen 9 und Zeigefinger 8 voneinander wegbewegt hat, so wird der Zoom-Modus beendet. Ein Heben und Senken der Hand 6 hat dann keinen Einfluss mehr auf die Zoom-Stufe der Darstellung der Informationen.
2A bis 2C zeigen beispielhaft die von einem Benutzer durchzuführende Geste, die von der Eingabevorrichtung 2 zu erfassen ist, um eine Veränderung der Größe der dargestellten Informationen einzustellen. Dabei zeigen die 2A bis 2C das von dem Kamerasensor 3 erfasste Bild.
Zunächst bewegt der Benutzer seine Hand 6 in den Erfassungsbereich des Sensors 3, wie in 2A gezeigt. Dabei hält der Benutzer seine Hand 6 in einer neutralen Position, beispielsweise wie dargestellt, mit ausgestreckten, aneinander anliegenden Fingern seiner flachen Hand 6.
Anschließend bewegt der Benutzer seine Hand 6 in die zuvor beschriebene Lupen-Geste, sodass der Zeigefinger 8 und der Daumen 9 zusammen einen Ring bilden, wie in 2B gezeigt. Dabei dreht der Benutzer seine Hand derart weit, dass der Ring in einer Ebene möglichst senkrecht zur optischen Achse des Sensors 3 liegt. Führt nun der Benutzer seine Hand 6 in Richtung des Sensors, wie durch einen Pfeil 11 angedeutet, oder in Richtung von dem Sensor 3 weg, wie durch einen Pfeil 12 angedeutet, so erkennt die Eingabevorrichtung 2 eine Zoom-Geste und vergrößert die dargestellten Informationen (Hineinzoomen), wenn die Hand in Richtung des Pfeils 11 bewegt wird, oder verkleinert (Herauszoomen) die dargestellten Informationen, wenn sie eine Bewegung in Richtung des Pfeils 12 erkennt.
Wenn die Bewegungsrichtung der Hand parallel zur optischen Achse des Kamerasensors 3 liegt, jedoch keine Tiefeninformationen bekannt sind, wird vorteilhafterweise ein Durchmesser des durch Daumen 9 und Zeigefinger 8 gebildeten Rings auf Veränderungen überwacht. Bewegt der Benutzer seine Hand 6 in Richtung des Kamerasensors 3, so wird im Kamerabild der Ring aus Daumen 9 und Zeigefinger 8 vergrößert. Bewegt der Benutzer seine Hand von dem Sensor weg, gemäß Pfeil 12, so wird der Ring verkleinert. Dadurch ist es auf einfache Art und Weise möglich, die Bewegungsrichtung der Hand 6 auch ohne Tiefeninformationen beziehungsweise absolute Abstandswerte zu erfassen. Eine Veränderung des Abstands führt damit zu einer Änderung, insbesondere Vergrößerung oder Verkleinerung, der Darstellung der Information auf dem Bildschirm 10. Insbesondere ist vorgesehen, dass die Vergrößerung oder Verkleinerung proportional zu der Änderung des Abstands der Hand 6 zu dem Sensor 3 eingestellt wird, sodass der Benutzer ein gutes Gefühl/Feedback bei der Bedienung der Eingabevorrichtung 2 erhält.
Wenn der Benutzer seine Eingabe abgeschlossen hat, und der Bildschirminhalt ihm in einer für ihn angenehmen Größe dargestellt wird, bewegt er seine Hand wieder in eine neutrale Lage, wie in 2C gezeigt, die beispielsweise der neutralen Lagen gemäß 2A entspricht. Sobald der Ring aus Daumen 9 und Zeigefinger 8 unterbrochen und geöffnet wird, beendet die Eingabevorrichtung 2 den Zoom-Modus, sodass weitere Bewegungen der Hand 6 auf den Sensor zu oder von dem Sensor 3 weg nicht mehr als Eingabe zum Vergrößern oder Verkleinern des Bildschirminhaltes gewertet werden.
Im Folgenden soll noch die Auswertung der Bilddaten des Sensors 3 zum Erkennen der Zoom-Geste im Detail erörtert werden:
Zunächst erfolgt eine Hintergrundmodellierung nach Zivkovic, Zoran (Zivkovic, Zoran; „Improved Adaptive Gaussian Mixture Model for Background Substration“, ICPR, 2004) des durch den Sensor 3 erfassten Bildes. Dadurch werden der Hintergrund und der Vordergrund voneinander getrennt. Als Hintergrund wird dabei das statische beziehungsweise sich nicht verändernde von dem Sensor 3 erfasste Bild in dem Kraftfahrzeug verstanden. Das statische Bild dient als Referenzbild, dass zu jedem Zeitpunkt einer Bildfolge von einem aktuell erfassten Bild abgezogen wird, so dass nur Bildelemente beziehungsweise Pixel im resultierenden Differenzbild markiert sind, die sich vom vorher definierten/ erfassten statischen Hintergrundbild unterscheiden. Der Vordergrund ist die im Erfassungsbereich des Sensors 3 bewegte Hand 6 eines Benutzers, wie sie in 1 beispielhaft dargestellt ist.
Alternativ oder zusätzlich zu der Hintergrundmodellierung ist vorgesehen, dass eine Vordergrundmodellierung nach Dadgostar und Sarrafzadeh (Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods" Pattern Recognition Letters, 2006, 1342–1352) durchgeführt wird, bei welcher relevante Vordergrundregionen für die Handerkennung durch spezielle Hautfarbmodelle erfasst werden, wobei aufgrund des Farbunterschieds zwischen der Hand und dem Hintergrund die Hand erkannt wird.
Auf Basis der der durch die Vordergrund- und/oder Hinterdgrundmodellierung gewonnenen Daten wird eine Handkontur der Hand 6 ermittelt und insbesondere auch der Handkonturschwerpunkt berechnet. Vorteilhafterweise wird dazu eine Handkontursegmentierung nach Suzuki und Abe (Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following." CVGIP, 1985, 32–46) durchgeführt. Anschließend werden Fingerspitzen der Hand 6 und damit einzelne Finger erkannt. Dies erfolgt vorzugsweise in Abhängigkeit von den erfassten Krümmungen der Handkontur, wie beispielsweise bei Malik (Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003) beschrieben wurde. Alternativ kann auch eine Handmodellierung, wie sie von Liu und Lovell (Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models", Proceedings of the Digital Image Computing on Techniques and Applications, 2005) beschrieben wurde durchgeführt werden, um sowohl die Hand als auch ihre Finger- und Fingerspitzen zu detektieren (Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture", IEEE Computer Graphics and Applications, 1995, 77–86). Auf Basis der so bestimmten Fingerspitzen werden erneut geschlossene Konturen, berechnet, wobei deren Schwerpunktzentren die Position der finalen Fingerspitze repräsentieren. Falls mehrere falsche Fingerspitzen durch eine Übersegmentierung detektiert wurden, werden diese anhand von geometrischen Heuristiken und des Abstands zum Handkonturschwerpunkt verworfen. Hierdurch lassen sich auf einfache Art und Weise einzelne Fingerspitzen der Hand 6 ermitteln.
Sowohl die gesamte Hand 6 als auch deren Fingerspitzen können mit bekannten Trackingverfahren, wie sie beispielsweise von Do, Asfour und Dillmann (Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011) beschrieben wurden, verfolgt werden. Die Erkennung statischer Zeigegesten kann durch standartisierte Klassifikationsverfahren und unabhängig zu jedem Bild einer Sequenz erfolgen, wie von Lockton und Fitzgibbon (Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting", BMVC, 2002) oder Nagi (Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA, 2011, 342–347) beschrieben. Probabilistische Sequenzmodellierungsverfahren erlauben sowohl die Erkennung einfacher statischer (Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128) als auch komplexer dynamischer Handgesten (Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System", Interspeech, Antwerp, Belgium, 2007, 2513–2516), die nicht notwendigerweise eine bereits segmentierte Handkontur als Eingabe erwarten, sondern mittels erscheinungsbasierter Merkmale auf dem gesamten Bild arbeiten. Ähnliche Verfahren, die auch angewendet können, basieren auf einer Analyse des optischen Flusses (Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998).
Aufbauend auf der Handkontur und der erkannten Fingerspitze wird die Erkennung der Lupen-Geste bevorzugt auf zwei Arten durchgeführt. Zunächst wird nach Löchern in der Vordergrundmaske, die durch geschlossene Ring umrandet sind, gesucht. Je nach Handhaltung des Benutzers ist der Hintergrund durch den geformten Kreis zu sehen. Es ergibt sich also ein Fläche aus Hintergrundpixeln, die vollständig von Vordergrundpixeln eingerahmt (ringförmig eingerahmt) ist. Um als Lupen-Geste erkannt zu werden, muss das Loch vorzugsweise eine bestimmte Mindestgröße überschreiten und sich innerhalb eines bestimmten Bereichs des Vordergrunds befinden, beispielsweise zwischen der Handspitze und einem Handkonturschwerpunkt. Die Handkontur ergibt sich dann zunächst ausschließlich aus der Kante zwischen Vorder- und Hintergrund. Zusätzlich können innere Kanten im Vordergrund mittels anderen Kantenerkennungsverfahren, beispielsweise Canny-Edge-Detection erkannt und der Handkontur hinzugefügt werden. In diesem Fall erstreck sich die resultierende Kontur auch über den geformten Kreis der Lupen-Geste. Die Fingerspitzen von Daumen 9 und Zeigefinger 8 werden nach wie vor erkannt. Ihre Fingerspitzen (Blobs) auf der Kontur enthalten dadurch gemeinsame Punkte, an denen sich die Finger 9, 8 berühren. Die Wegstrecke zwischen den Berührpunkten bildet den zu erkennenden Kreis und kann nach Größe und Form bewertet werden. Sobald der geformte Kreis beziehungsweise der geformte Ring gefunden ist, kann seine Größe oder sein Durchmesser über die Zeit beobachtet werden, um ein Annähern der Hand 6 an den Sensor 3 oder ein Wegbewegen der Hand 6 von dem Sensor 3 zu erfassen.
Ist der Sensor 3 derart ausgebildet, dass er auch Tiefeninformationen ermittelt, kann auf eine Nachverfolgung einer Größenänderung des Durchmessers auch verzichtet werden, indem direkt der Abstand beziehungsweise Abstandsänderung der Hand beziehungsweise des Fingers 8 und/oder 9 ermittelt und für die Einstellung beziehungsweise Veränderung der Größe der dargestellten Informationen verwendet wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods“ Pattern Recognition Letters, 2006, 1342–1352 [0028]
Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following.“ CVGIP, 1985, 32–46 [0029]
Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction“, Toronto: CSC2503F Project Report, University of Toronto, 2003 [0029]
Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models“, Proceedings of the Digital Image Computing on Techniques and Applications, 2005 [0029]
Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture“, IEEE Computer Graphics and Applications, 1995, 77–86 [0029]
Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features“ MVA, 2011 [0030]
Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting“, BMVC, 2002 [0030]
Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition“ ICSIPA, 2011, 342–347 [0030]
Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods“, International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128 [0030]
Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System“, Interspeech, Antwerp, Belgium, 2007, 2513–2516 [0030]
Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition“, IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 [0030]

Claims

Verfahren zum Betreiben einer Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), mit wenigstens einem berührungsfrei arbeitenden Sensor (3) zum Erfassen einer Position und/oder Positionsänderung zumindest eines Fingers (8) einer Hand (6) des Benutzers und mit einer Anzeigeeinheit (4) zum Anzeigen von Informationen, wobei in Abhängigkeit von einer erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese ausgeführt wird, dadurch gekennzeichnet, dass, wenn durch den Sensor (3) ein durch den Finger (8) gebildeter Ring erfasst wird, in Abhängigkeit von einer Änderung des Abstands des Fingers (8) zu dem Sensor (3) und/oder zu der Anzeigeeinheit (4) die Darstellung der durch die Anzeigeeinheit (4) angezeigten Informationen verändert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Abhängigkeit von der Änderung des Abstands die Größe der dargestellten Informationen verändert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit zunehmendem Abstand die dargestellten Informationen verkleinert oder vergrößert und mit abnehmendem Abstand vergrößert oder verkleinert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Änderung des Abstands in Abhängigkeit von einer Veränderung eines Durchmessers des Rings erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass die Darstellung der Informationen nur dann verändert wird, wenn der erfasste Ring zwischen einer Handspitze und einem Handgelenk der Hand (6) liegt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung der Informationen nur dann verändert wird, wenn der Durchmesser des Rings eine vorgebbare Mindestgröße überschreitet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung der Informationen nur dann verändert wird, wenn der Ring durch den Finger (8) und einen Daumen (9) der Hand (6) gebildet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung der Informationen nur dann verändert wird, wenn der Ring kreisförmig oder nahezu kreisförmig ist.
Eingabevorrichtung (2) für ein Fahrzeug, insbesondere Kraftfahrzeug (1), mit wenigstens einem berührungsfrei arbeitenden Sensor (3) zum Erfassen einer Position und/oder Positionsänderung zumindest eines Fingers (8) einer Hand (6) eines Benutzers, und mit einer Anzeigeeinheit (4) zum Anzeigen von Informationen, wobei in Abhängigkeit von einer erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese ausgeführt wird, dadurch gekennzeichnet, dass sie das Verfahren nach einem der Ansprüche 1 bis 8 durchführt.
Kraftfahrzeug (1) mit einer Eingabevorrichtung (2) nach Anspruch 9.