[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE102012205217A1 - Information indication system e.g. head-up display mounted in vehicle e.g. motor car, has photo mixture detector (PMD) light source that is arranged for PMD camera such that light of PMD light source is directed over optical unit - Google Patents

Information indication system e.g. head-up display mounted in vehicle e.g. motor car, has photo mixture detector (PMD) light source that is arranged for PMD camera such that light of PMD light source is directed over optical unit Download PDF

Info

Publication number
DE102012205217A1
DE102012205217A1 DE201210205217 DE102012205217A DE102012205217A1 DE 102012205217 A1 DE102012205217 A1 DE 102012205217A1 DE 201210205217 DE201210205217 DE 201210205217 DE 102012205217 A DE102012205217 A DE 102012205217A DE 102012205217 A1 DE102012205217 A1 DE 102012205217A1
Authority
DE
Germany
Prior art keywords
pmd
light source
camera
head
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE201210205217
Other languages
German (de)
Other versions
DE102012205217B4 (en
Inventor
Markus Kirchner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
IFM Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IFM Electronic GmbH filed Critical IFM Electronic GmbH
Priority to DE102012205217.8A priority Critical patent/DE102012205217B4/en
Publication of DE102012205217A1 publication Critical patent/DE102012205217A1/en
Application granted granted Critical
Publication of DE102012205217B4 publication Critical patent/DE102012205217B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The information indication system (120) comprises a photo mixture detector (PMD) camera (1) that is used for monitoring a virtual input zone (130). A gesture is detected as input in the virtual input zone, if the gesture takes place within a defined space. A PMD light source (121) is arranged for the PMD camera such that the light of the PMD light source is directed over an optical unit (123). An independent claim is included for method for information indication system.

Description

Die Erfindung geht aus von einem Informationsanzeigesystem, vorzugsweise einem Head-up-display in einem Fahrzeug, mit einer virtuellen Eingabezone, wobei eine PMD-Kamera die Eingabezone überwacht und eine Auswerteeinheit des Systems derart ausgestaltet ist, dass eine Geste nur dann als Eingabe in der virtuellen Eingabezone erfasst wird, wenn die Geste innerhalb eines definierten Raumbereichs erfolgt. The invention relates to an information display system, preferably a head-up display in a vehicle, having a virtual input zone, wherein a PMD camera monitors the input zone and an evaluation unit of the system is configured such that a gesture only as input in the virtual input zone is detected when the gesture is within a defined space area.

Derartige Informationsanzeigesysteme, insbesondere Head-up-displays (HUD) sind aus einer Vielzahl von Veröffentlichungen bekannt. Beispielsweise offenbart die DE 10 2009 024 192 A1 ein System für eine in Augenhöhe projizierte Anzeige. Ein derartiges HUD-System umfasst typischerweise eine Anzeigevorrichtung deren Bild über Linsen und Reflektoren auf eine Windschutzscheibe projiziert wird und so in Überlappung mit der über die Windschutzscheibe sichtbaren Szene vom Fahrer erfasst werden kann. Die Anzeigevorrichtung bildet vorzugsweise eine lichtemittierende Vorrichtung beispielsweise eine Fluoreszenzanzeige, eine Kristallanzeige oder LED-Anzeige. Die Anzeigevorrichtung nebst Optik und Reflektoren sind vorzugsweise im Armaturenbrett des Fahrzeugs untergebracht. In einer besonderen Ausgestaltung können die Optikelemente bzw. reflektierenden Spiegel und somit das projizierte Bild an die Augenpositionen des Fahrers angepasst werden. Such information display systems, in particular head-up displays (HUD) are known from a variety of publications. For example, the DE 10 2009 024 192 A1 a system for an eye-projected display. Such a HUD system typically includes a display device whose image is projected onto a windshield via lenses and reflectors and thus can be detected by the driver in overlap with the scene visible across the windshield. The display device preferably forms a light-emitting device, for example a fluorescence display, a crystal display or LED display. The display device along with optics and reflectors are preferably housed in the dashboard of the vehicle. In a particular embodiment, the optical elements or reflective mirrors and thus the projected image can be adapted to the driver's eye positions.

Aus der DE 10 2007 001 266 A1 sind weitere Ausgestaltungen eines derartigen Head-up-displays bekannt. Beispielsweise ist es vorgesehen, im Strahlengang des Head-up-displays über einen Strahlteiler einen optischen Sensor mit einer Infrarotlichtquelle anzuordnen. Auf Grundlage der Bildinformationen des optischen Sensors ist es vorgesehen, Gesten der wahrgenommenen Person zu erkennen. Darüber hinaus ist es vorgesehen, über den optischen Sensor beispielsweise anhand der Lidschlagfrequenz des Fahrers seinen Wachzustand zu überprüfen. From the DE 10 2007 001 266 A1 Further embodiments of such a head-up displays are known. For example, it is provided to arrange an optical sensor with an infrared light source in the beam path of the head-up displays via a beam splitter. Based on the image information of the optical sensor, it is provided to recognize gestures of the perceived person. In addition, it is provided to check on the optical sensor, for example based on the blinking frequency of the driver's waking state.

Hinsichtlich Gestenerkennung offenbart die EP 2 018 992 B1 ein Kraftfahrzeugcockpit mit einer Vielzahl von Anzeigeeinheiten zur Darstellung von Informationen, wobei diese Einheiten im Innenraum des Kraftfahrzeugs angeordnet sind und über eine Videokamera eine Hand des Fahrers erkannt werden kann, wobei in Abhängigkeit der Gestik die Informationsdarstellung verändert werden kann. Regarding gesture recognition reveals the EP 2 018 992 B1 a motor vehicle cockpit with a plurality of display units for displaying information, wherein these units are arranged in the interior of the motor vehicle and a hand of the driver can be detected by a video camera, wherein the information representation can be changed depending on the gesture.

Aus der EP 1 284 432 A1 ist eine Vorrichtung und ein Verfahren zur Bedienung eines Fahrerunterstützungssystems bekannt, bei dem über das Head-up-display dargebotene Menüoptionen allein durch die Blickrichtung und Augenposition des Fahrers ausgewählt werden können. Zur Erfassung der Blickrichtung ist im Innenspiegel des Fahrzeugs eine Kamera angeordnet. From the EP 1 284 432 A1 For example, an apparatus and a method for operating a driver assistance system are known in which menu options presented via the head-up display can be selected solely by the line of sight and eye position of the driver. For detecting the viewing direction, a camera is arranged in the interior mirror of the vehicle.

Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ‚ifm electronic gmbh’ als Frame-Grabber O3D zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können. In particular, PMD cameras with photonic mixer detectors (PMD) are suitable as the light transit time or 3D TOF cameras, as described, inter alia, in the applications EP 1 777 747 , US 6,587,186 and also DE 197 04 496 described and, for example, by the company, ifm electronic gmbh 'as frame grabber O3D relate. In particular, the PMD camera allows a flexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.

Aufgabe der Erfindung ist es ein Informationsanzeigesystem, insbesondere Head-up-display, in Hinblick auf eine zuverlässige und sichere Eingabe zu verbessern. The object of the invention is to improve an information display system, in particular a head-up display, with a view to reliable and reliable input.

Die Aufgabe wird durch das erfindungsgemäße Informationsanzeigesystem, dass eine virtuelle Eingabezone aufweist, dadurch vorteilhaft gelöst, dass eine PMD-Kamera die Eingabezone überwacht und eine Geste nur dann als Eingabe in der virtuellen Eingabezone erfasst wird, wenn die Geste innerhalb eines definierten Raumbereichs erfasst wird, wobei das Licht der PMD-Lichtquelle über ein Optik des Informationsanzeigesystems geleitet wird. The object is advantageously solved by the information display system according to the invention having a virtual input zone in that a PMD camera monitors the input zone and a gesture is detected as input in the virtual input zone only if the gesture is detected within a defined spatial area, wherein the light of the PMD light source is passed through an optic of the information display system.

Dieses Vorgehen hat den besonderen Vorteil, dass die Informationsprojektion und das Licht der PMD-Lichtquelle im Wesentlichen denselben Strahlengang aufweisen, so dass zuverlässig eine Dejustierung der Projektionslichtquelle und der PMD-Lichtquelle vermieden werden kann. Ferner erlaubt eine derartige Anordnung der PMD- und Projektionslichtquelle einen größeren Spielraum in der Anordnung der PMD-Kamera. Im Weiteren wird die virtuelle Eingabezone optimal beleuchtet, so dass gültige Gesteneingaben in der Eingabezone zuverlässig erkannt werden können. This approach has the particular advantage that the information projection and the light of the PMD light source have substantially the same beam path, so that reliably a misalignment of the projection light source and the PMD light source can be avoided. Furthermore, such an arrangement of the PMD and projection light source allows greater latitude in the arrangement of the PMD camera. Furthermore, the virtual input zone is optimally illuminated, so that valid gesture inputs in the input zone can be reliably detected.

Bevorzugt ist die PMD-Lichtquelle ein integraler Bestandteil der Projektionslichtquelle des Informationsanzeigesystems. Durch dieses Vorgehen ist es möglich in einfacher Art und Weise ein Beleuchtungspanel bereitzustellen, das unterschiedliche Systeme mit funktionsadäquatem Licht versorgt. Preferably, the PMD light source is an integral part of the projection light source of the information display system. By doing so, it is possible to easily provide a lighting panel that supplies different systems with functionally adequate light.

Besonders praktisch ist es, die PMD-Kamera bzw. die PMD-Lichtquelle und den PMD-Sensor in einem Gehäuse des Informationsanzeigesystems anzuordnen. It is particularly convenient to arrange the PMD camera or the PMD light source and the PMD sensor in a housing of the information display system.

In einem bevorzugten Ausführungsbeispiel ist das Informationsanzeigesystem als Head-up-Display in einem Fahrzeug ausgebildet wobei sich die virtuelle Eingabezone vorzugsweise in einem Raumbereich oberhalb des Lenkrades erstreckt. Dies hat den Vorteil, dass die Gesten in einen Raumbereich erfolgen, der typischerweise beim Führen des Fahrzeugs im Blickwinkel des Fahrers liegen. Somit braucht der Blick des Fahrers, trotz Bedienung der virtuellen Eingabezone, nicht vom Fahrgeschehen abgewendet werden. In a preferred embodiment, the information display system is designed as a head-up display in a vehicle, wherein the virtual input zone preferably extends in a space above the steering wheel. This has the advantage of making the gestures in one Spaces are made, which are typically when driving the vehicle in the driver's perspective. Thus, the driver's gaze, despite the operation of the virtual input zone, does not need to be averted from the driving situation.

Vorteilhaft ist auch möglich die PMD-Kamera im Bereich des Fahrzeugscockpits angeordnet. Aufgrund der Trennung von Kamera und Beleuchtung ist es möglich, die PMD-Kamera in einer sehr kleinen Bauform zu realisieren und an geeigneten Positionen im Fahrgastraum zu platzieren. Advantageously, the PMD camera is also possible in the area of the vehicle cockpit. Due to the separation of camera and lighting, it is possible to realize the PMD camera in a very small design and to place it in suitable positions in the passenger compartment.

Bevorzugt ist der Erfassungsbereich der PMD-Kamera derart ausgelegt, dass sowohl die virtuelle Eingabezone als zumindest auch der Kopf des Fahrers erfasst wird. Vorzugsweise wird neben der Kopfposition auch die Augenposition des Fahrers erfasst. Durch dieses Vorgehen werden nicht nur die Eingaben des Fahrers, sondern auch die Aufmerksamkeit bzw. der Wachzustand des Fahrers überwacht. Darüber hinaus kann durch die bekannte Kopf und/oder Augenposition auch die Darstellung der Informationsanzeige optimiert werden, insbesondere bei autostereoskopischen Projektionen. Preferably, the detection range of the PMD camera is designed such that both the virtual input zone and at least the head of the driver is detected. Preferably, in addition to the head position and the eye position of the driver is detected. By doing so, not only the driver's input but also the driver's attention and waking state are monitored. In addition, the representation of the information display can be optimized by the known head and / or eye position, especially in autostereoscopic projections.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert. The invention will be explained in more detail by means of embodiments with reference to the drawings.

Es zeigen: Show it:

1 das schematisch grundlegende Prinzip eines PMD-Kamerasystems, 1 the schematic basic principle of a PMD camera system,

2 eine Sicht des Fahrers auf ein Head-up-display, 2 a driver's view of a head-up display,

3 eine Ansicht des Fahrers auf ein Auswahlmenü, 3 a view of the driver on a selection menu,

4 eine Seiteansicht eines Cockpits mit einem erfindungsgemäßen Informationsanzeigesystems, 4 a side view of a cockpit with an information display system according to the invention,

5 eine Seitenansicht eines Cockpits mit einer PMD-HUD-Kombination, 5 a side view of a cockpit with a PMD-HUD combination,

6 schematisch eine Variante einer PMD-HUD-Kombination, 6 schematically a variant of a PMD-HUD combination,

7 schematisch eine Projektionslichtquelle. 7 schematically a projection light source.

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 bekannt ist. 1 shows a measurement situation for an optical distance measurement with a light time camera, as for example from the DE 197 04 496 is known.

Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung bzw. PMD-Lichtquelle 12 und einer Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitfotosensor 22. Der Lichtlaufzeitfotosensor 22 bzw. Lichtlaufzeitsensor 22 weist ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 ist vorzugsweise als Reflektor ausgebildet. The light transit time camera system 1 comprises a transmitting unit or a lighting module 10 with a lighting or PMD light source 12 and a beam shaping optics 15 as well as a receiving unit or light runtime camera 20 with a receiving optics 25 and a light time photo sensor 22 , The light time photo sensor 22 or light transit time sensor 22 has a pixel array and is designed in particular as a PMD sensor. The receiving optics 25 typically consists of improving the imaging characteristics of multiple optical elements. The beam shaping optics 15 the transmitting unit 10 is preferably formed as a reflector.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitfotosensor 22 über einen Modulator 30 gemeinsam mit einer bestimmten Modulationsfrequenz M(p1) mit einer ersten Phasenlage p1 beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal S(p1) mit der ersten Phaselage p1 aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage p2 als Empfangssignal S(p2) auf den Lichtlaufzeitfotosensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M(p1) mit dem empfangenen Signal S(p2), gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird. The measurement principle of this arrangement is essentially based on the fact that, based on the phase shift of the emitted and received light, the transit time and thus the distance covered by the received light can be determined. For this purpose, the light source 12 and the light time photo sensor 22 via a modulator 30 applied together with a certain modulation frequency M (p1) with a first phase position p1. The light source sends according to the modulation frequency 12 an amplitude modulated signal S (p1) with the first phase position p1. This signal or the electromagnetic radiation is in the illustrated case of an object 40 Reflected and due to the distance covered coincident with a second phase position p2 as a received signal S (p2) on the light transit time photo sensor 22 , In the time of flight sensor 22 the modulation signal M (p1) is mixed with the received signal S (p2), wherein the phase shift or the object distance d is determined from the resulting signal.

2 zeigt eine bereits aus dem Stand der Technik bekannte Sicht auf ein Head-up-Display auf einer Windschutzscheibe 300. Das virtuelle Bild 128, das auf die Windschutzscheibe 300 durch das System projiziert wird, kann beispielsweise wie im dargestellten Fall wichtige Sicherheit- und Navigationsinformationen darstellen. 2 shows a already known from the prior art view of a head-up display on a windshield 300 , The virtual picture 128 on the windshield 300 For example, as projected by the system, as in the illustrated case, it may represent important safety and navigation information.

3 zeigt eine Situation in der anstelle der Navigationsinformationen ein Auswahlmenü dargestellt wird. Zur Bedienung dieses Auswahlmenüs erstreckt sich über dem Lenkrad 220 eine Eingabezone 130, die in verschiedenen virtuellen Eingabefelder 131 aufgeteilt ist. Beispielsweise kann in diesen Eingabefeldern 131 zwischen verschiedenen Komfort- oder Sicherheitsfunktionen umgeschaltet werden. Die Bedienung derartiger Funktionen in einem virtuellen Eingabefeld 131 hat den Vorteil, dass der Blick des Fahrers von der Verkehrssituation nicht abgewendet werden muss. Darüber hinaus müssen für die einzelnen Funktionen keine zusätzlichen Schalter oder Wahlknöpfe im Fahrzeugraum angebracht werden. 3 shows a situation in which a selection menu is displayed instead of the navigation information. To operate this selection menu extends over the steering wheel 220 an input zone 130 in different virtual input fields 131 is divided. For example, in these input fields 131 be switched between different comfort or safety functions. The operation of such functions in a virtual input field 131 has the advantage that the driver's gaze does not have to be averted from the traffic situation. In addition, no additional switches or dials must be installed in the vehicle compartment for each function.

4 zeigt einen Innenraum eines Kraftfahrzeugs und skizzenhaft einen Querschnitt durch ein Fahrzeugcockpit 210. Auf bzw. im Fahrzeugcockpit 210 sind ein PMD-Kamerasystem 1 und ein Head-up-display 120 angeordnet. Das Head-up-display 120 projiziert auf die Windschutzscheibe 300 ein Bild in ein Projektionsbereich 125. Im dargestellten Fall werden vom Head-up-Display auf die Projektionsfläche 125 virtuelle Eingabefelder 131 projiziert. Der Fahrer 230 gewinnt den Eindruck, dass sich diese Eingabefelder 131 über dem Lenkrad schwebend befinden. Dieser Eindruck kann insbesondere durch eine autostereoskopische Projektion zusätzlich verstärkt werden. Die im Cockpit angeordnete PMD-Kamera 1 ist in Richtung des Fahrers ausgerichtet und überwacht sowohl den Kopf des Fahrers als auch die virtuelle Eingabezone 130 oberhalb des Lenkrades 220. Eine Auswerteeinheit der PMD-Kamera bzw. des Informationsanzeigesystems 120 ist derart ausgestaltet, dass nur in einem wohldefinierten Raumbereich, der virtuellen Eingabezone 130 Gesten bzw. Handpositionen als gültige Eingabe erfasst werden. Im vorliegenden Fall ist die virtuelle Eingabezone in drei übereinander liegende virtuelle Eingabefelder 131 aufgeteilt. Der Fahrer greift im dargestellten Fall mit seiner Hand in das untere Eingabefeld und kann somit beispielsweise eine Komfortfunktion oder ähnliches auslösen. 4 shows an interior of a motor vehicle and sketchy a cross section through a vehicle cockpit 210 , On or in the vehicle cockpit 210 are a PMD camera system 1 and a head-up display 120 arranged. The head-up display 120 projected onto the windshield 300 a picture in a projection area 125 , In the case shown, from the head-up display to the projection screen 125 virtual input fields 131 projected. The driver 230 Gains the impression that these input fields 131 Floating over the steering wheel. In particular, this impression can be intensified by an autostereoscopic projection. The cockpit PMD camera 1 is directed towards the driver and monitors both the driver's head and the virtual input zone 130 above the steering wheel 220 , An evaluation unit of the PMD camera or the information display system 120 is designed such that only in a well-defined space area, the virtual input zone 130 Gestures or hand positions are detected as valid input. In the present case, the virtual input zone is in three superimposed virtual input fields 131 divided up. The driver engages in the case shown with his hand in the lower input field and can thus trigger, for example, a comfort function or the like.

In einem weiteren nicht dargestellten Ausführungsbeispiel kann es auch vorgesehen sein, durch eine Handbewegung virtuelle Schieberegler oder virtuelle Drehknöpfe zu bedienen. In a further embodiment, not shown, it may also be provided to operate by a hand movement virtual sliders or virtual knobs.

5 zeigt eine Variante bei der die PMD-Kamera bzw. das Kamerasystem 1 integraler Bestandteil des Infomationsanzeigesystems 120 bzw. des Head-up-displays ist. Hierbei kann beispielsweise der PMD-Sensor 22 mitsamt seiner PMD-Lichtquelle 12 auf einer Ebene mit der Projektionslichtquelle 121 des HUD angeordnet sein, wobei sowohl der Projektionslichtquelle 121 als auch das PMD-Kamerasystem 1 über eine gemeinsame Optik 123 Licht sendet und empfängt. 5 shows a variant in which the PMD camera or the camera system 1 integral part of the information display system 120 or the head-up displays. Here, for example, the PMD sensor 22 together with its PMD light source 12 on a plane with the projection light source 121 be arranged of the HUD, wherein both the projection light source 121 as well as the PMD camera system 1 about a common look 123 Light sends and receives.

6 zeigt eine weitere mögliche Variante der Kombination eines PMD-Kamerasystems 1 mit einer Projektionslichtquelle 121 über einen Strahlteiler 124. Im dargestellten Fall sendet und empfängt das PMD-Kamerasystem 1 Licht über Reflektion am Strahlteiler 124, während die Projektionslichtquelle 121 den Strahlteiler 124 durchleuchtet. 6 shows another possible variant of the combination of a PMD camera system 1 with a projection light source 121 via a beam splitter 124 , In the case shown, the PMD camera system sends and receives 1 Light over reflection at the beam splitter 124 while the projection light source 121 the beam splitter 124 rayed.

In einer weiteren nicht gezeigten Ausführung umfasst die Projektionslichtquelle 121 auch die PMD-Lichtquelle 12. In a further embodiment not shown, the projection light source comprises 121 also the PMD light source 12 ,

7 zeigt eine mögliche gemeinsame Anordnung des PMD-Kamerasystems 1 mit Projektionslichtquelle 121 auf einer gemeinsamen Ebene. Im dargestellten Beispiel ist der PMD-Sensor 22 in einem mittleren Bereich der Projektionslichtquelle 121 sowie der PMD-Lichtquelle 12 eingebettet. Beispielsweise kann die Projektionslichtquelle 121 als LED-Matrix aufgebaut sein. Ein Teil der LED-Matrix bzw. einzelne LEDs können insbesondere auch als Infrarot-LEDs ausgebildet sein und somit für die PMD-Lichtquelle 12 zur Verfügung stehen. Diese Anordnung hat den Vorteil, dass die Projektionslichtquelle 121 sowohl Informationen an den Fahrer übermitteln kann als auch in einem für den Fahrer 230 nicht sichtbaren Spektrum als PMD-Lichtquelle 12 für den PMD-Sensor 22 dienen kann. 7 shows a possible common arrangement of the PMD camera system 1 with projection light source 121 on a common level. In the example shown, the PMD sensor is 22 in a central region of the projection light source 121 as well as the PMD light source 12 embedded. For example, the projection light source 121 be constructed as an LED matrix. A part of the LED matrix or individual LEDs can in particular also be embodied as infrared LEDs and thus for the PMD light source 12 be available. This arrangement has the advantage that the projection light source 121 can both convey information to the driver and in one for the driver 230 invisible spectrum as a PMD light source 12 for the PMD sensor 22 can serve.

In einer weiteren Ausgestaltung kann der PMD-Sensor 22 zur Verbesserung der optischen Abbildung ein zusätzlich zur gemeinsamen Optik 123 eine eigene Linse bzw. Linsenssystem 25 aufweisen. In a further embodiment, the PMD sensor 22 to improve the optical image in addition to the common look 123 a separate lens or lens system 25 exhibit.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
PMD-Kamerasystem  PMD camera system
1010
Sendeeinheit, Beleuchtungsmodul  Transmitting unit, lighting module
1212
PMD-Lichtquelle  PMD light source
1515
Strahlformungsoptik  Beam shaping optics
2020
PMD-Kamera  PMD camera
2222
PMD-Sensor  PMD sensor
2525
Empfangsoptik  receiving optics
120120
Informationsanzeigesystem, Head-up-display,  Information display system, head-up display,
121121
Projektionslichtquelle  Projection light source
123123
HUD-Optik  HUD optics
124124
Strahlteiler  beamsplitter
125125
Projektionsbereich,  Projection area,
128128
Informationseinblendungen,  Information overlays,
130130
virtuelle Eingabezone,  virtual input zone,
131131
virtuelle Eingabefelder,  virtual input fields,
300300
Windschutzscheibe,  Windshield,
210210
Cockpit,  Cockpit,
215215
Cockpit-Instrumente  Cockpit instruments
220220
Lenkrad,  Steering wheel,
230230
Fahrer  driver

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102009024192 A1 [0002] DE 102009024192 A1 [0002]
  • DE 102007001266 A1 [0003] DE 102007001266 A1 [0003]
  • EP 2018992 B1 [0004] EP 2018992 B1 [0004]
  • EP 1284432 A1 [0005] EP 1284432 A1 [0005]
  • EP 1777747 [0006] EP 1777747 [0006]
  • DE 19704496 [0006, 0024] DE 19704496 [0006, 0024]

Claims (8)

Informationsanzeigesystem (120) mit einer virtuellen Eingabezone (130), dadurch gekennzeichnet, dass eine PMD-Kamera (20) die virtuelle Eingabenzone (130) überwacht, wobei eine Geste nur dann als Eingabe in der virtuellen Eingabezone (130) erfasst wird, wenn die Geste innerhalb eines definierten Raumbereichs erfolgt, und dass eine PMD-Lichtquelle (12) für die PMD-Kamera (20) derart angeordnet ist, dass das Licht der PMD-Lichtquelle (12) über eine Optik (123) des Informationsanzeigesystems (120) geleitet wird. Information display system ( 120 ) with a virtual input zone ( 130 ), characterized in that a PMD camera ( 20 ) the virtual input zone ( 130 ), where a gesture is only input to the virtual input zone ( 130 ) is detected when the gesture is within a defined area of space, and that a PMD light source ( 12 ) for the PMD camera ( 20 ) is arranged such that the light of the PMD light source ( 12 ) via an optic ( 123 ) of the information display system ( 120 ). System (120) nach Anspruch 1, bei dem die PMD-Lichtquelle (12) ein integraler Bestandteil der Projektionslichtquelle (121) des Informationsanzeigesystems (120) ist. System ( 120 ) according to claim 1, wherein the PMD light source ( 12 ) an integral part of the projection light source ( 121 ) of the information display system ( 120 ). System (120) nach einem der vorhergehenden Ansprüche, bei dem das Informationsanzeigesystem (120), die PMD-Lichtquelle (12) und die PMD-Kamera (20) ein einem gemeinsamen Gehäuse angeordnet sind. System ( 120 ) according to one of the preceding claims, in which the information display system ( 120 ), the PMD light source ( 12 ) and the PMD camera ( 20 ) are arranged in a common housing. System nach einem der vorhergehenden Ansprüche, bei dem das Informationsanzeigesystem als Head-up-display (120) in einem Fahrzeug ausgebildet ist und die virtuelle Eingabezone (130) sich in einem Raumbereich oberhalb des Lenkrades (220) erstreckt. System according to one of the preceding claims, in which the information display system is used as a head-up display ( 120 ) is formed in a vehicle and the virtual input zone ( 130 ) in a space above the steering wheel ( 220 ). System nach einem der vorhergehenden Ansprüche, bei dem die Erfassungsbereich der PMD-Kamera (1) derart ausgelegt ist, dass sowohl die virtuelle Eingabezone (130) als zumindest auch der Kopf des Fahrers (230) erfasst wird. System according to one of the preceding claims, wherein the detection range of the PMD camera ( 1 ) is designed such that both the virtual input zone ( 130 ) as at least the head of the driver ( 230 ) is detected. Verfahren zum Betreiben eines Informationsanzeigesystems (120) in einem Fahrzeug, bei dem über eine Projektionsvorrichtung und über Reflektion an einer Windschutzscheibe (300) einem Fahrer (230) Informationen dargeboten werden, dadurch gekennzeichnet, dass dem Fahrer (230) virtuelle Auswahlfelder (131) angeboten werden, die durch eine Zeige- oder Gestenbewegung ausgewählt werden können, wobei diese Bewegung durch eine PMD-Kamera (1) in einem definierten Raumbereich erfasst werden. Method for operating an information display system ( 120 ) in a vehicle in which a projection device and a reflection on a windshield ( 300 ) a driver ( 230 ) Information, characterized in that the driver ( 230 ) virtual selection fields ( 131 ), which can be selected by a pointing or gesture movement, this movement being controlled by a PMD camera ( 1 ) are detected in a defined area of space. Verfahren nach Anspruch 5, bei dem durch die PMD-Kamera (1) auch die Position des Kopfs und/oder Augenposition des Fahrers (230) erfasst wird. Method according to Claim 5, in which the PMD camera ( 1 ) also the position of the driver's head and / or eye position ( 230 ) is detected. Verfahren nach Anspruch 6, bei dem anhand der erfassten Kopf- und/oder Augenposition die Darstellung der Informationsanzeige (120) optimiert wird. Method according to Claim 6, in which, based on the detected head and / or eye position, the representation of the information display ( 120 ) is optimized.
DE102012205217.8A 2012-03-30 2012-03-30 Information display system with a virtual input zone Active DE102012205217B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102012205217.8A DE102012205217B4 (en) 2012-03-30 2012-03-30 Information display system with a virtual input zone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012205217.8A DE102012205217B4 (en) 2012-03-30 2012-03-30 Information display system with a virtual input zone

Publications (2)

Publication Number Publication Date
DE102012205217A1 true DE102012205217A1 (en) 2013-10-02
DE102012205217B4 DE102012205217B4 (en) 2015-08-20

Family

ID=49154740

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012205217.8A Active DE102012205217B4 (en) 2012-03-30 2012-03-30 Information display system with a virtual input zone

Country Status (1)

Country Link
DE (1) DE102012205217B4 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014015087A1 (en) 2014-10-11 2016-04-14 Daimler Ag Operating a control system for a motor vehicle and control system for a motor vehicle
DE102014116292A1 (en) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System for transmitting information in a motor vehicle
DE102015213424A1 (en) * 2015-07-16 2017-01-19 Audi Ag Method and operating system for operating at least one function in a vehicle
DE102017205277A1 (en) * 2017-03-29 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Method for interaction between a means of transportation and an occupant, driver assistance system and means of transportation
DE102017211462A1 (en) * 2017-07-05 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Method for supporting a user of a means of locomotion, driver assistance system and means of transportation
WO2019030032A1 (en) * 2017-08-07 2019-02-14 Bayerische Motoren Werke Aktiengesellschaft User interface, door operating module, roof operating module and propulsion means for displaying operating element inscriptions facing the user
DE102014208327B4 (en) 2013-05-17 2024-07-11 pmdtechnologies ag System for controlling a media output device

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
EP1284432A1 (en) 2001-08-14 2003-02-19 Ford Global Technologies, Inc., A subsidiary of Ford Motor Company Device and process for operating a driver assistance system
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
US20080059915A1 (en) * 2006-09-05 2008-03-06 Marc Boillot Method and Apparatus for Touchless Control of a Device
DE102006059068A1 (en) * 2006-12-14 2008-06-19 Robert Bosch Gmbh Method for a driver assistance system and driver assistance system
DE102007001266A1 (en) 2007-01-08 2008-07-10 Metaio Gmbh Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
DE102009024192A1 (en) 2008-06-09 2009-12-10 Yazaki Corp. System for an eye-level projected display
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
EP2018992B1 (en) 2007-07-27 2010-11-17 Continental Automotive GmbH Motor vehicle cockpit
DE102009036368A1 (en) * 2009-08-06 2011-02-10 Volkswagen Ag User interface providing method for use in motor vehicle, involves selecting one of widget-representatives of list, and displaying widget-object assigned to widget-representatives on display area of display device
DE102009046376A1 (en) * 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel
DE102011089195A1 (en) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1284432A1 (en) 2001-08-14 2003-02-19 Ford Global Technologies, Inc., A subsidiary of Ford Motor Company Device and process for operating a driver assistance system
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
US20080059915A1 (en) * 2006-09-05 2008-03-06 Marc Boillot Method and Apparatus for Touchless Control of a Device
DE102006059068A1 (en) * 2006-12-14 2008-06-19 Robert Bosch Gmbh Method for a driver assistance system and driver assistance system
DE102007001266A1 (en) 2007-01-08 2008-07-10 Metaio Gmbh Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
EP2018992B1 (en) 2007-07-27 2010-11-17 Continental Automotive GmbH Motor vehicle cockpit
DE102009024192A1 (en) 2008-06-09 2009-12-10 Yazaki Corp. System for an eye-level projected display
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
DE102009036368A1 (en) * 2009-08-06 2011-02-10 Volkswagen Ag User interface providing method for use in motor vehicle, involves selecting one of widget-representatives of list, and displaying widget-object assigned to widget-representatives on display area of display device
DE102009046376A1 (en) * 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel
DE102011089195A1 (en) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014208327B4 (en) 2013-05-17 2024-07-11 pmdtechnologies ag System for controlling a media output device
DE102014015087A1 (en) 2014-10-11 2016-04-14 Daimler Ag Operating a control system for a motor vehicle and control system for a motor vehicle
DE102014116292A1 (en) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System for transmitting information in a motor vehicle
JP2016088513A (en) * 2014-11-07 2016-05-23 ビステオン グローバル テクノロジーズ インコーポレイテッド System for information transmission in motor vehicle
DE102015213424A1 (en) * 2015-07-16 2017-01-19 Audi Ag Method and operating system for operating at least one function in a vehicle
DE102017205277A1 (en) * 2017-03-29 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Method for interaction between a means of transportation and an occupant, driver assistance system and means of transportation
DE102017211462A1 (en) * 2017-07-05 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Method for supporting a user of a means of locomotion, driver assistance system and means of transportation
DE102017211462B4 (en) 2017-07-05 2023-05-17 Bayerische Motoren Werke Aktiengesellschaft Method for supporting a user of a means of transportation, driver assistance system and means of transportation
WO2019030032A1 (en) * 2017-08-07 2019-02-14 Bayerische Motoren Werke Aktiengesellschaft User interface, door operating module, roof operating module and propulsion means for displaying operating element inscriptions facing the user

Also Published As

Publication number Publication date
DE102012205217B4 (en) 2015-08-20

Similar Documents

Publication Publication Date Title
DE102013203925B4 (en) Control system for vehicle headlights
DE102012205217B4 (en) Information display system with a virtual input zone
DE112013007216B4 (en) Information display device
DE102016111783B4 (en) Display device for superimposing a virtual image in the field of view of a user
DE69618809T2 (en) DISPLAY DEVICE
DE69430506T2 (en) Head-up display device for motor vehicles
EP2894509A1 (en) Field of vision display for a vehicle for displaying image information in two independent images to a viewer
EP2026117A1 (en) Projection display
DE102012211729A1 (en) Camera system for detecting the position of a driver of a motor vehicle
DE112015001200T5 (en) Light emitting vehicle display device and vehicle display system
DE102011084618A1 (en) Driver assistance system
DE102009002979A1 (en) Projection display device for vehicles, comprises sensor units formed to generate projection data from sensor values and location information, where control unit is formed to perform filtering of projection data
DE102011083662A1 (en) Display device for occupant of vehicle such as passenger car, has holographic projection which is connected over area with output surface and is formed in order to generate display for occupant from light guide to uncoupled light
DE102010002956A1 (en) Head-up display for vehicles, particularly for use as display area for displaying information by imaging unit of lucent surface in vehicle, has imaging lens that is arranged between imaging unit and display area
DE102009010623A1 (en) Device for issuing visual warning information to driver of vehicle, particularly motor vehicle, has vehicle window pane, through which vehicle driver visually captures area of environment of vehicle
DE102008055186B4 (en) Projection display device for vehicles
DE19802220A1 (en) Information display device used with computer or onboard automobile
DE10257484A1 (en) Information system for road vehicles, provides display relating to objects near to vehicle on a display foil on the windscreen
DE102012221310A1 (en) Display arrangement for a motor vehicle, comprising an imager and a screen separator
DE102012205212B4 (en) Information display system with a virtual input zone and method for operating an information display system
DE102016111119A1 (en) Laser projection device and method for generating virtual images
DE102004007802A1 (en) Display device for motor vehicle has projection system consisting of individual, independent projection units arranged in row that is horizontal relative to bottom of vehicle and transverse to direction of travel
DE102007042966A1 (en) Parking aid information representing device for use in motor vehicle i.e. car, represents distance of motor vehicle to barrier by head-up displays, and represents information of sensor of front region of vehicle on displays
DE102017208339A1 (en) A projection display device for displaying a virtual display image in different display planes and a method for operating a projection display device
DE102005041535A1 (en) Night-vision-system e.g. infrared camera, for recording motor vehicle surrounding, has laser detection device detecting position of objects from laser pulse that is reflected by objects, where position of objects is displayed on wind shield

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G02B0027010000

Ipc: B60R0016020000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: IFM ELECTRONIC GMBH, 45128 ESSEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE