DE102022203800A1

DE102022203800A1 - Optical system for pupil detection of a user of data glasses

Info

Publication number: DE102022203800A1
Application number: DE102022203800.2A
Authority: DE
Inventors: Johannes Meyer; Johannes Fischer; Tobias Wilm
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-04-14
Filing date: 2022-04-14
Publication date: 2023-10-19

Abstract

Die Erfindung betrifft ein optisches System (1) für eine Pupillendetektion eines Nutzers einer Datenbrille. Das optische System (1) umfasst ein erstes (6a) und ein zweites holographisches optisches Element (6b). Zusätzlich umfasst das optische System (1) eine Projektoreinheit (2) mit wenigstens einer Lichtquelle (3) zum Generieren mindestens eines Lichtstrahls (19) und mit einer ansteuerbaren Ablenkeinrichtung (4) für den mindestens einen Lichtstrahl (19). Außerdem umfasst das optische System (1) einen Photodetektor (25). Die Projektoreinheit (2) ist dazu ausgebildet, den Lichtstrahl (19) auf das erste holographische optische Element (6a) zu projizieren, wobei das erste holographische optische Element (6a) dazu ausgebildet ist, den mindestens einen Lichtstrahl (19) beim Auftreffen auf das erste holographische optische Element (6a) derart umzulenken, dass der vom ersten holographischen optischen Element (6a) umgelenkte Lichtstrahl vollständig eine Pupille (30) des Nutzers der Datenbrille überstreicht. Zusätzlich ist die Projektoreinheit (2) dazu ausgebildet, den Lichtstrahl (19) auf das zweite holographische optische Element (6b) zu projizieren, wobei das zweite holographische optische Element (6b) dazu ausgebildet ist, den mindestens einen Lichtstrahl (19) beim Auftreffen auf das zweite holographische optische Element (6b) derart umzulenken, dass der vom zweiten holographischen optischen Element (6b) umgelenkte Lichtstrahl vollständig die Pupille (30) des Nutzers der Datenbrille überstreicht. Der Photodetektor (25) dient dazu, von der Pupille (30) zurückgestreute Lichtstrahlen zu detektieren.The invention relates to an optical system (1) for pupil detection of a user of data glasses. The optical system (1) comprises a first (6a) and a second holographic optical element (6b). In addition, the optical system (1) comprises a projector unit (2) with at least one light source (3) for generating at least one light beam (19) and with a controllable deflection device (4) for the at least one light beam (19). The optical system (1) also includes a photodetector (25). The projector unit (2) is designed to project the light beam (19) onto the first holographic optical element (6a), the first holographic optical element (6a) being designed to project the at least one light beam (19) when it hits the to redirect the first holographic optical element (6a) in such a way that the light beam deflected by the first holographic optical element (6a) completely sweeps over a pupil (30) of the user of the data glasses. In addition, the projector unit (2) is designed to project the light beam (19) onto the second holographic optical element (6b), the second holographic optical element (6b) being designed to project the at least one light beam (19) upon impact to redirect the second holographic optical element (6b) in such a way that the light beam deflected by the second holographic optical element (6b) completely passes over the pupil (30) of the user of the data glasses. The photodetector (25) is used to detect light rays backscattered by the pupil (30).

Description

Die Erfindung betrifft ein optisches System für eine Pupillendetektion eines Nutzers einer Datenbrille. Zusätzlich betrifft die Erfindung eine Datenbrille und ein Verfahren zur Pupillendetektion eines Nutzers einer Datenbrille.The invention relates to an optical system for pupil detection of a user of data glasses. In addition, the invention relates to data glasses and a method for pupil detection of a user of data glasses.

Stand der TechnikState of the art

Aus dem Dokument US10852817B1 ist ein optisches System bekannt, welches ein abbildendes System verwendet, um ein Bild des Auges mittels einer Kamera zu erzeugen. Hierbei wird die gesamte Augenregion von einem Detektor eingefangen und folgend auf einen Kamera-Sensor abgebildet.From the document US10852817B1 an optical system is known which uses an imaging system to generate an image of the eye using a camera. The entire eye region is captured by a detector and then imaged on a camera sensor.

Der Erfindung liegt davon ausgehend die Aufgabe zugrunde, ein optisches System zu entwickeln, welches bei der Pupillendetektion eines Nutzers einer Datenbrille auf eine solche separate Kamera verzichtet.Based on this, the invention is based on the object of developing an optical system which dispenses with such a separate camera when detecting the pupils of a user of data glasses.

Offenbarung der ErfindungDisclosure of the invention

Zur Lösung der Aufgabe wird ein optisches System für eine Pupillendetektion eines Nutzers einer Datenbrille gemäß Anspruch 1 vorgeschlagen. Zusätzlich wird eine Datenbrille gemäß Anspruch 11 und ein Verfahren zur Pupillendetektion eines Nutzers einer Datenbrille gemäß Anspruch 13 vorgeschlagen.To solve the problem, an optical system for pupil detection of a user of data glasses is proposed according to claim 1. In addition, data glasses according to claim 11 and a method for pupil detection of a user of data glasses according to claim 13 are proposed.

Das optische System für eine Pupillendetektion eines Nutzers einer Datenbrille umfasst ein erstes und ein zweites holographisches optisches Element. Hierbei sind nicht zwingend zwei räumlich voneinander getrennte holographische optische Elemente gemeint, sondern die beiden holographischen optischen Elemente weisen lediglich zueinander unterschiedliche optische Funktionen auf. Das optische System weist zusätzlich eine Projektoreinheit mit wenigstens einer Lichtquelle zum Generieren mindestens eines, insbesondere für ein menschliches Auge unsichtbaren, Lichtstrahls auf. Bevorzugt handelt es sich bei dem unsichtbaren Lichtstrahl um einen infraroten Lichtstrahl. Außerdem weist die Projektoreinheit eine ansteuerbare Ablenkeinrichtung für den mindestens einen Lichtstrahl auf. Insbesondere dient die Ablenkeinrichtung zur scannenden Projektion des Lichtstrahls. Vorzugsweise ist die Ablenkeinrichtung als ein erster und/oder zweiter, insbesondere um eine erste und/oder zweite Drehachse, verstellbarer Mikrospiegel ausgebildet. Zusätzlich weist das optische System einen Photodetektor auf. Die Projektoreinheit ist dazu ausgebildet, den Lichtstrahl auf das erste holographische optische Element zu projizieren. Das erste holographische optische Element dient hierbei dazu, den mindestens einen, insbesondere gescannten, Lichtstrahl beim Auftreffen auf das erste holographische optische Element derart umzulenken, dass der vom ersten holographischen optischen Element umgelenkte Lichtstrahl vollständig eine Pupille des Nutzers der Datenbrille überstreicht oder abtastet. Die Projektoreinheit ist weiterhin dazu ausgebildet, den Lichtstrahl auf das zweite holographische optische Element zu projizieren. Das zweite holographische optische Element dient dazu, den mindestens einen, insbesondere gescannten, Lichtstrahl beim Auftreffen auf das zweite holographische optische Element derart umzulenken, dass der vom zweiten holographischen optischen Element umgelenkte Lichtstrahl vollständig die Pupille des Nutzers der Datenbrille überstreicht oder abtastet. Der Photodetektor ist dazu ausgebildet, von der Pupille zurückgestreute Lichtstrahlen zu detektieren.The optical system for pupil detection of a user of data glasses includes a first and a second holographic optical element. This does not necessarily mean two spatially separated holographic optical elements, but rather the two holographic optical elements simply have optical functions that differ from one another. The optical system additionally has a projector unit with at least one light source for generating at least one light beam, in particular invisible to a human eye. The invisible light beam is preferably an infrared light beam. In addition, the projector unit has a controllable deflection device for the at least one light beam. In particular, the deflection device serves for scanning projection of the light beam. The deflection device is preferably designed as a first and/or second micromirror that is adjustable, in particular about a first and/or second axis of rotation. In addition, the optical system has a photodetector. The projector unit is designed to project the light beam onto the first holographic optical element. The first holographic optical element serves to deflect the at least one, in particular scanned, light beam when it hits the first holographic optical element in such a way that the light beam deflected by the first holographic optical element completely sweeps over or scans a pupil of the user of the data glasses. The projector unit is further designed to project the light beam onto the second holographic optical element. The second holographic optical element serves to deflect the at least one, in particular scanned, light beam when it hits the second holographic optical element in such a way that the light beam deflected by the second holographic optical element completely sweeps over or scans the pupil of the user of the data glasses. The photodetector is designed to detect light rays scattered back from the pupil.

Vorzugsweise weist das erste holographische optische Element erste holographische Gitterebenen auf. Das zweite holographische optische Element wiederum weist gegenüber den ersten holographischen Gitterebenen unterschiedliche zweite holographische Gitterebenen auf. Somit ergibt sich eine unterschiedliche erste optische Funktion des ersten holographischen optischen Elements gegenüber einer zweiten optischen Funktion des zweiten holographischen optischen Elements.Preferably, the first holographic optical element has first holographic grating planes. The second holographic optical element in turn has second holographic grating levels that are different from the first holographic grating levels. This results in a different first optical function of the first holographic optical element compared to a second optical function of the second holographic optical element.

Bevorzugt sind das erste und das zweite holographische optische Element nebeneinander in einer gemeinsamen ersten holographischen Schicht angeordnet. Eine solche Anordnung zweier holographischer optischer Elemente in einer gemeinsamen ersten holographischen Schicht wird auch als Multiplexing-HOE bezeichnet. Bevorzugt sind in diesem Zusammenhang das erste und zweite holographische optische Element benachbart angeordnet. Insbesondere sind das erste und zweite holographische optische Element benachbart, insbesondere in einer gemeinsamen Ebene, zueinander angeordnet. Alternativ hierzu ist das erste holographische optische Element in einer ersten holographischen Schicht und das zweite holographische optische Element in einer, gegenüber der ersten holgraphischen Schicht unterschiedlichen zweiten holographischen Schicht angeordnet. Bevorzugt sind in diesem Zusammenhang die erste und zweite holographische Schicht benachbart angeordnet. Insbesondere sind die erste und zweite holographische Schicht benachbart in einer gemeinsamen Ebene zueinander angeordnet. Alternativ hierzu sind die erste und zweite holographische Schicht hintereinander, in zwei zueinander im Wesentlichen parallelen Ebenen zueinander angeordnet. Weiterhin können die holographischen optischen Elemente in einen Hologrammstack zur Farbprojektion integriert werden oder flächig auf einen Wellenkombinierer beispielsweise einen Wellenleiterdisplay aufgebracht werden.The first and second holographic optical elements are preferably arranged next to one another in a common first holographic layer. Such an arrangement of two holographic optical elements in a common first holographic layer is also referred to as multiplexing HOE. In this context, the first and second holographic optical elements are preferably arranged adjacently. In particular, the first and second holographic optical elements are arranged adjacent to one another, in particular in a common plane. Alternatively, the first holographic optical element is arranged in a first holographic layer and the second holographic optical element is arranged in a second holographic layer that is different from the first holographic layer. In this context, the first and second holographic layers are preferably arranged adjacently. In particular, the first and second holographic layers are arranged adjacent to one another in a common plane. Alternatively, the first and second holographic layers are arranged one behind the other in two planes that are essentially parallel to one another. Furthermore, the holographic optical elements can be integrated into a hologram stack for color projection or applied flatly to a wave combiner, for example a waveguide display.

Vorzugsweise umfasst die Projektoreinheit des optischen Systems eine erste Lichtquelle, insbesondere eine erste Laserdiode, zur Erzeugung eines ersten Lichtstrahls. Zusätzlich umfasst die Projektoreinheit eine zweite Lichtquelle, insbesondere eine zweite Laserdiode, zur Erzeugung eines zweiten Lichtstrahls. Der erste Lichtstrahl weist hierbei eine erste Wellenlänge und der zweite Lichtstrahl eine zu der ersten Wellenlänge unterschiedliche zweite Wellenlänge auf. Die Projektoreinheit ist dazu ausgebildet, den ersten Lichtstrahl auf das erste holographische optische Element und, insbesondere simultan, den zweiten Lichtstrahl auf das zweite holographische optische Element zu projizieren. In diesem Zusammenhang ist die Projektoreinheit vorzugsweise dazu ausgebildet, den ersten Lichtstrahl beim Auftreffen auf das erste holographische optische Element derart umzulenken, dass der vom ersten holographischen optischen Element umgelenkte erste Lichtstrahl vollständig die Pupille des Nutzers der Datenbrille überstreicht. Weiterhin ist das zweite holographische optische Element vorzugsweise dazu ausgebildet, den zweiten Lichtstrahl beim Auftreffen auf das zweite holographische optische Element derart umzulenken, dass der vom zweiten holographischen optischen Element umgelenkte zweite Lichtstrahl vollständig die Pupille des Nutzers der Datenbrille überstreicht. Vorzugsweise sind in diesem Zusammenhang ein erster Photodetektor zur Detektion der von der Pupille zurückgestreuten ersten Lichtstrahlen und ein zweiter Photodetektor zur Detektion der von der Pupille zurückgestreuten zweiten Lichtstrahlen vorgesehen.The projector unit of the optical system preferably comprises a first light source, in particular a first laser diode, for generating a first light beam. In addition, the projector unit comprises a second light source, in particular a second laser diode, for generating a second light beam. The first light beam has a first wavelength and the second light beam has a second wavelength that is different from the first wavelength. The projector unit is designed to project the first light beam onto the first holographic optical element and, in particular simultaneously, the second light beam onto the second holographic optical element. In this context, the projector unit is preferably designed to deflect the first light beam when it hits the first holographic optical element in such a way that the first light beam deflected by the first holographic optical element completely passes over the pupil of the user of the data glasses. Furthermore, the second holographic optical element is preferably designed to deflect the second light beam when it hits the second holographic optical element in such a way that the second light beam deflected by the second holographic optical element completely passes over the pupil of the user of the data glasses. In this context, a first photodetector is preferably provided for detecting the first light rays backscattered by the pupil and a second photodetector for detecting the second light rays backscattered by the pupil.

Bevorzugt ist die wenigstens eine Lichtquelle der Projektoreinheit modulierbar ausgebildet. Auch auf diese Art und Weise können den von der Lichtquelle ausgesendeten Lichtstrahlen die für die zwei holographischen optischen Elemente unterschiedlichen Charakteristiken aufgeprägt werden.Preferably, the at least one light source of the projector unit is designed to be modulated. In this way, too, the light rays emitted by the light source can be given different characteristics for the two holographic optical elements.

Vorzugsweise ist der Photodetektor als Fotodiode oder CCD-Sensor ausgebildet.The photodetector is preferably designed as a photodiode or CCD sensor.

Bevorzugt weist das optische System zusätzlich eine Recheneinheit auf, welche dazu ausgebildet ist, aus den mittels des ersten holographischen optischen Elements umgelenkten und mittels des Photodetektors detektierten rückgestreuten Lichtstrahlen ein erstes Abbild einer ersten Augenregion mit der Pupille des Nutzers zu erstellen. Weiterhin ist die Recheneinheit dazu ausgebildet, aus den mittels des zweiten holographischen optischen Elements umgelenkten und mittels des Photodetektors detektierten rückgestreuten Lichtstrahlen ein zweites Abbild einer zweiten Augenregion mit der Pupille des Nutzers zu erstellen. Hierbei überlappen sich das erste und zweite Abbild zumindest teilweise. Bei der ersten und/oder zweiten Augenregion des Nutzers handelt es sich vorzugsweise um ein Teil des Auges, welches zumindest die Pupille des Nutzers umfasst. Weiterhin kann die erste und/oder zweite Augenregion auch über das Auge des Nutzers hinausgehen und darüber hinaus die Umgebung des Auges, insbesondere Teile des Gesichts, des Nutzers umfassen. Bevorzugt entspricht die erste Augenregion im Wesentlichen der zweiten Augenregion. Das optische System ermöglicht somit die Erzeugung wenigstens zweier virtueller Stereokameras. Vorzugsweise umfasst der überlappende Bereich des ersten und zweiten Abbilds zumindest die Pupille des Nutzers. Somit kann ein Stereobild der Pupille des Nutzers erzeugt werden. Bevorzugt ist die Recheneinheit dazu ausgebildet, in Abhängigkeit des überlappenden Bereichs des ersten und zweiten Abbilds, insbesondere zusätzlich, einen Blickvektor des Nutzers der Datenbrille zu ermitteln. Insbesondere basierend auf bekannter Geometrie der virtuellen Stereokameras bzw. des virtuellen Kamerasystems lassen sich aus dem Ursprung der jeweiligen virtuellen Lichtquelle sowie der Pupillenellipse in der Bildebene für jede virtuelle Stereokamera ein 3D Kegel bestimmen. Aus dem Kegelschnitt der zwei Kegel lässt sich folgend aus den beiden Teilbildern die Pupille im Raum rekonstruieren. Dabei kann neben dem Blickvektor weiterhin der Durchmesser der Pupille sowie die Ausrichtung der Pupille im Bezug zum virtuellen Kamerasystem bestimmt werden.The optical system preferably additionally has a computing unit which is designed to create a first image of a first eye region with the user's pupil from the backscattered light rays deflected by means of the first holographic optical element and detected by the photodetector. Furthermore, the computing unit is designed to create a second image of a second eye region with the user's pupil from the backscattered light rays deflected by means of the second holographic optical element and detected by the photodetector. The first and second images at least partially overlap. The user's first and/or second eye region is preferably a part of the eye which includes at least the user's pupil. Furthermore, the first and/or second eye region can also extend beyond the user's eye and can also include the area surrounding the eye, in particular parts of the user's face. Preferably, the first eye region essentially corresponds to the second eye region. The optical system thus enables the creation of at least two virtual stereo cameras. Preferably, the overlapping region of the first and second images includes at least the user's pupil. This allows a stereo image of the user's pupil to be generated. The computing unit is preferably designed to determine, in particular additionally, a gaze vector of the user of the data glasses depending on the overlapping area of the first and second images. In particular, based on the known geometry of the virtual stereo cameras or the virtual camera system, a 3D cone can be determined for each virtual stereo camera from the origin of the respective virtual light source and the pupil ellipse in the image plane. From the conic section of the two cones, the pupil can be reconstructed in space from the two partial images. In addition to the gaze vector, the diameter of the pupil and the orientation of the pupil in relation to the virtual camera system can also be determined.

Ein weiterer Gegenstand der vorliegenden Erfindung ist eine Datenbrille mit dem zuvor beschriebenen optischen System. Die Datenbrille weist vorzugsweise wenigstens ein erstes Brillenglas auf. Das erste und das zweite holographische optische Element des optischen Systems sind hierbei in oder auf dem ersten Brillenglas angeordnet.Another subject of the present invention is data glasses with the optical system described above. The data glasses preferably have at least one first lens. The first and second holographic optical elements of the optical system are arranged in or on the first lens.

Bevorzugt weist die Datenbrille einen Brillenrahmen mit einem Brillenbügel auf. Der Photodetektor des optischen Systems ist vorzugsweise an oder in dem Brillenrahmen angeordnet. Alternativ oder zusätzlich ist der Photodetektor an oder in dem Brillenbügel angeordnet. Vorzugsweise ist der Photodetektor in der Projektoreinheit angeordnet, welche wiederum vorzugsweise an oder in dem Brillenbügel angeordnet ist. Weiterhin alternativ oder zusätzlich ist der Photodetektor an oder in dem wenigstens ersten Brillenglas angeordnet.The data glasses preferably have a glasses frame with a glasses temple. The photodetector of the optical system is preferably arranged on or in the spectacle frame. Alternatively or additionally, the photodetector is arranged on or in the temple of the glasses. The photodetector is preferably arranged in the projector unit, which in turn is preferably arranged on or in the temple of the glasses. Furthermore, alternatively or additionally, the photodetector is arranged on or in the at least first spectacle lens.

Ein weiterer Gegenstand der vorliegenden Erfindung ist ein Verfahren zur Pupillendetektion eines Nutzers einer Datenbrille. Hierbei wird ein, insbesondere für ein menschliches Auge unsichtbarer, Lichtstrahl mittels einer Projektoreinheit eines optischen Systems auf ein erstes holographisches optisches Element des optischen Systems projiziert. Insbesondere wird der Lichtstrahl mittels scannender Projektion auf das erste holographische optische Element projiziert. Weiterhin wird der mindestens eine Lichtstrahl beim Auftreffen auf das erste holographische optische Element derart umgelenkt, dass der vom ersten holographischen optischen Element umgelenkte Lichtstrahl vollständig eine Pupille des Nutzers der Datenbrille überstreicht. Weiterhin wird der, insbesondere für das menschliches Auge unsichtbare, Lichtstrahl mittels der Projektoreinheit auf ein zweites holographisches optisches Element des optischen Systems projiziert. Insbesondere wird der Lichtstrahl mittels scannender Projektion auf das zweite holographische optische Element projiziert. Beim Auftreffen auf das zweite holographische optische Element wird der mindestens eine Lichtstrahl derart umgelenkt, dass der vom zweiten holographischen optischen Element umgelenkte Lichtstrahl vollständig die Pupille des Nutzers der Datenbrille überstreicht. Die von der Pupille zurückgestreuten Lichtstrahlen werden mittels wenigstens eines Photodetektors detektiert.Another subject of the present invention is a method for pupil detection of a user of data glasses. Here, a light beam, particularly invisible to a human eye, is projected onto a first holographic optical element of the optical system by means of a projector unit of an optical system. In particular, the light beam is projected onto the first holographic optical element by means of scanning projection. Furthermore, the at least a light beam is deflected when it hits the first holographic optical element in such a way that the light beam deflected by the first holographic optical element completely passes over a pupil of the user of the data glasses. Furthermore, the light beam, which is invisible to the human eye in particular, is projected onto a second holographic optical element of the optical system by means of the projector unit. In particular, the light beam is projected onto the second holographic optical element by means of scanning projection. When striking the second holographic optical element, the at least one light beam is deflected in such a way that the light beam deflected by the second holographic optical element completely passes over the pupil of the user of the data glasses. The light rays scattered back by the pupil are detected using at least one photodetector.

Bevorzugt wird mittels einer Recheneinheit des optischen Systems ein erstes Abbild einer ersten Augenregion mit der Pupille des Nutzers in Abhängigkeit der mittels des ersten holographischen optischen Elements umgelenkten und mittels des Photodetektors detektierten rückgestreuten Lichtstrahlen erstellt. Weiterhin wird mittels der Recheneinheit ein, das erste Abbild zumindest teilweise überlappendes zweites Abbild einer zweiten Augenregion mit der Pupille des Nutzers in Abhängigkeit der mittels des zweiten holographischen optischen Elements umgelenkten und mittels des Photodetektors detektierten rückgestreuten Lichtstrahlen erstellt. Der überlappende Bereich des ersten und zweiten Abbilds umfasst zumindest die Pupille des Nutzers.Preferably, a first image of a first eye region with the user's pupil is created by means of a computing unit of the optical system depending on the backscattered light rays deflected by the first holographic optical element and detected by the photodetector. Furthermore, by means of the computing unit, a second image of a second eye region with the pupil of the user, which at least partially overlaps the first image, is created as a function of the backscattered light rays deflected by means of the second holographic optical element and detected by means of the photodetector. The overlapping area of the first and second images includes at least the user's pupil.

Vorzugsweise wird das erste Abbild zu einem ersten Zeitpunkt und das zweite Abbild zu einem, auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt erzeugt. Diese Systematik ergibt sich insbesondere durch die scannende Projektion der Lichtstrahlen auf das jeweilige holographische optische Element.Preferably, the first image is generated at a first time and the second image at a second time following the first time. This system results in particular from the scanning projection of the light rays onto the respective holographic optical element.

Bevorzugt wird ein Blickvektor des Nutzers der Datenbrille in Abhängigkeit des überlappenden Bereichs des ersten und zweiten Abbilds mittels der Recheneinheit ermittelt.Preferably, a gaze vector of the user of the data glasses is determined by means of the computing unit depending on the overlapping area of the first and second images.

Beschreibung der ZeichnungenDescription of the drawings

1 shows a first embodiment of the optical system for pupil detection of a user of data glasses.
2 shows the first embodiment of the optical system in another view.
3a shows a second embodiment of the optical system.
3b shows a third embodiment of the optical system.
4 shows partially overlapping images of the user's eye regions.
5 shows data glasses with the optical system.
6 shows a method for pupil detection of a user of data glasses.

Beschreibung der AusführungsbeispieleDescription of the exemplary embodiments

Die 1 zeigt schematisch ein optisches System 1 für eine Pupillendetektion eines Nutzers einer Datenbrille. Das optische System 1 umfasst hierbei ein erstes holographisches optisches Element 6a und ein zweites holographisches optisches Element 6b. Zusätzlich umfasst das optische System 1 eine Projektoreinheit 2 mit wenigstens einer Lichtquelle 3 zum Generieren mindestens eines, insbesondere für ein menschliches Auge unsichtbaren, Lichtstrahls 19 und mit einer ansteuerbaren Ablenkeinrichtung 4 für den mindestens einen Lichtstrahl 19. In dem dargestellten Ausführungsbeispiel dient die Projektoreinheit 2 zur scannenden Projektion des Lichtstrahls 19 über einen Gesamt-Projektionsbereich 8. Die Projektoreinheit 2 dient dazu, den Lichtstrahl 19 auf das erste holographische optische Element 6a zu projizieren. Das erste holographische optische Element 6a wiederum dient dazu, den mindestens einen Lichtstrahl 19 beim Auftreffen auf das erste holographische optische Element 6a derart umzulenken, dass der vom ersten holographischen optischen Element 6a umgelenkte Lichtstrahl vollständig eine Pupille 30 des Nutzers der Datenbrille überstreicht. Hierbei wird das Licht von dem ersten holographischen optischen Element 6a so umgelenkt, als wenn eine erste virtuelle Lichtquelle 7a einen ersten Lichtkegel 10a in Richtung des Nutzerauges 9 aussenden würde. Weiterhin ist die Projektoreinheit 2 dazu ausgebildet, den Lichtstrahl 19 auf das zweite holographische optische Element 6b zu projizieren. Das zweite holographische optische Element 6b dient dazu, den mindestens einen Lichtstrahl 19 beim Auftreffen auf das zweite holographische optische Element 6b derart umzulenken, dass der vom zweiten holographischen optischen Element 6b umgelenkte Lichtstrahl vollständig die Pupille 30 des Nutzers der Datenbrille überstreicht. Hierbei wird das Licht von dem zweiten holographischen optischen Element 6b so umgelenkt, als wenn eine zweite virtuelle Lichtquelle 7b einen zweiten Lichtkegel 10b in Richtung des Nutzerauges 9 aussenden würde. Zusätzlich umfasst das optische System 1 einen Photodetektor 25, welcher dazu ausgebildet ist, von der Pupille 30 zurückgestreute Lichtstrahlen zu detektieren. Der Photodetektor 25 ist in diesem Ausführungsbeispiel als Fotodiode ausgebildet.The 1 shows schematically an optical system 1 for pupil detection of a user of data glasses. The optical system 1 here comprises a first holographic optical element 6a and a second holographic optical element 6b. In addition, the optical system 1 comprises a projector unit 2 with at least one light source 3 for generating at least one light beam 19, in particular invisible to a human eye, and with a controllable deflection device 4 for the at least one light beam 19. In the exemplary embodiment shown, the projector unit 2 is used for scanning projection of the light beam 19 over an overall projection area 8. The projector unit 2 serves to project the light beam 19 onto the first holographic optical element 6a. The first holographic optical element 6a in turn serves to deflect the at least one light beam 19 when it hits the first holographic optical element 6a in such a way that the light beam deflected by the first holographic optical element 6a completely passes over a pupil 30 of the user of the data glasses. Here, the light from the first holographic optical element 6a is redirected as if a first virtual light source 7a were to emit a first light cone 10a in the direction of the user's eye 9. Furthermore, the projector unit 2 is designed to project the light beam 19 onto the second holographic optical element 6b. The second holographic optical element 6b serves to redirect the at least one light beam 19 when it hits the second holographic optical element 6b in such a way that the light beam deflected by the second holographic optical element 6b completely passes over the pupil 30 of the user of the data glasses. Here, the light from the second holographic optical element 6b is redirected as if a second virtual light source 7b were to emit a second light cone 10b in the direction of the user eye 9. In addition, the optical system 1 includes a photodetector 25, which is designed to detect light rays backscattered by the pupil 30. The photodetector 25 is designed as a photodiode in this exemplary embodiment.

Das erste holographische optische Element 6a weist hier nicht dargestellte erste holographische Gitterebenen und das zweite holographische optische Element 6b hier ebenfalls nicht dargestellte, gegenüber den ersten holographischen Gitterebenen unterschiedliche zweite holographische Gitterebenen auf.The first holographic optical element 6a has first holographic grating planes, not shown here, and the second holographic opti cal element 6b, also not shown here, has second holographic lattice levels that are different from the first holographic lattice levels.

In diesem Ausführungsbeispiel sind das erste holographische optische Element 6a und das zweite holographische optische Element 6b nebeneinander in einer gemeinsamen ersten holographischen Schicht 27 angeordnet.In this exemplary embodiment, the first holographic optical element 6a and the second holographic optical element 6b are arranged next to one another in a common first holographic layer 27.

Weiterhin weist die Projektoreinheit 2 in diesem Ausführungsbeispiel eine erste Lichtquelle 29a zur Erzeugung eines ersten Lichtstrahls und eine zweite Lichtquelle 29b zur Erzeugung eines zweiten Lichtstrahls auf. Die ersten und zweiten Lichtstrahlen sind hierbei zur Vereinfachung der Darstellung unter dem Lichtstrahl 19 zusammengefasst und somit nicht einzeln dargestellt. Der erste Lichtstrahl weist eine erste Wellenlänge und der zweite Lichtstrahl eine zu der ersten Wellenlänge unterschiedliche zweite Wellenlänge auf. Die Projektoreinheit 2 ist dazu ausgebildet, den ersten Lichtstrahl auf das erste holographische optische Element 6a und den zweiten Lichtstrahl auf das zweite holographische optische Element 6b zu projizieren. Alternativ oder zusätzlich ist die Lichtquelle 3 modulierbar ausgebildet.Furthermore, the projector unit 2 in this exemplary embodiment has a first light source 29a for generating a first light beam and a second light source 29b for generating a second light beam. To simplify the illustration, the first and second light beams are combined under the light beam 19 and are therefore not shown individually. The first light beam has a first wavelength and the second light beam has a second wavelength that is different from the first wavelength. The projector unit 2 is designed to project the first light beam onto the first holographic optical element 6a and the second light beam onto the second holographic optical element 6b. Alternatively or additionally, the light source 3 is designed to be modulable.

Das optische System 1 weist in dem Ausführungsbeispiel weiterhin eine Recheneinheit 5 auf, welche dazu ausgebildet ist, aus den mittels des ersten holographischen optischen Elements 6a umgelenkten und mittels des Photodetektors 25 detektierten rückgestreuten Lichtstrahlen ein erstes Abbild einer ersten Augenregion mit der Pupille 30 des Nutzers zu erstellen. Zusätzlich dient die Recheneinheit 5 dazu, aus den mittels des zweiten holographischen optischen Elements 6b umgelenkten und mittels des Photodetektors 25 detektierten rückgestreuten Lichtstrahlen ein zweites Abbild einer zweiten Augenregion mit der Pupille 30 des Nutzers zu erstellen.In the exemplary embodiment, the optical system 1 further has a computing unit 5, which is designed to assign a first image of a first eye region with the pupil 30 of the user from the backscattered light rays deflected by means of the first holographic optical element 6a and detected by the photodetector 25 create. In addition, the computing unit 5 serves to create a second image of a second eye region with the pupil 30 of the user from the backscattered light rays deflected by means of the second holographic optical element 6b and detected by the photodetector 25.

2 zeigt die erste Ausführungsform des optischen Systems 1 in einer weiteren Ansicht. Hierbei wurden im Unterschied gegenüber 1 zur besseren Veranschaulichung der Erstellung der Abbilder der Augenregionen das erste und zweite holographische optische Element herausgelassen. Wie auf 2 zu erkennen ist, überlappen sich die beiden Lichtkegel im Überlappungsbereich 13 zumindest teilweise. In den Bereichen 14a und 14b kommt es jedoch nicht zur Überlappung der jeweiligen Lichtkegel. Wie anhand der beiden Teil-Lichtkegel 11a und 11b zu erkennen ist, überlappen sich diese beiden Lichtkegel zumindest im Bereich der Pupille 30 des Nutzers vollständig, sodass die beiden, mittels der Recheneinheit 5 erstellten Abbilder der Augenregionen des Nutzers zumindest jeweils die Pupille 30 des Nutzers umfassen. Somit kann ein Stereobild der Pupille 30 des Nutzers erzeugt werden. Weiterhin ist die Recheneinheit 5 in diesem Ausführungsbeispiel dazu ausgebildet, in Abhängigkeit des überlappenden Bereichs 13 des ersten und zweiten Abbilds der Augenregionen einen Blickvektor 18 des Nutzers der Datenbrille zu ermitteln. Insbesondere basierend auf der bekannten Geometrie der virtuellen Stereokameras bzw. des virtuellen Kamerasystems lassen sich aus dem Ursprung der jeweiligen virtuellen Lichtquellen 7a und 7b, sowie der Pupillenellipse in der Bildebene für jede virtuelle Stereokamera jeweils der auf 1 dargestellte dreidimensionale Lichtkegel 10a oder 10b bestimmen. Aus dem Kegelschnitt der zwei Kegel 10a und 10b lässt sich folgend aus den beiden Teilbildern die Pupille 30 im Raum rekonstruieren. 2 shows the first embodiment of the optical system 1 in another view. The difference here was compared to: 1 To better illustrate the creation of the images of the eye regions, the first and second holographic optical elements have been left out. How on 2 can be seen, the two light cones in the overlap area 13 at least partially overlap. However, in the areas 14a and 14b there is no overlap of the respective light cones. As can be seen from the two partial light cones 11a and 11b, these two light cones completely overlap at least in the area of the user's pupil 30, so that the two images of the user's eye regions created by the computing unit 5 at least each represent the user's pupil 30 include. A stereo image of the user's pupil 30 can thus be generated. Furthermore, the computing unit 5 in this exemplary embodiment is designed to determine a gaze vector 18 of the user of the data glasses depending on the overlapping area 13 of the first and second images of the eye regions. In particular, based on the known geometry of the virtual stereo cameras or the virtual camera system, the origin of the respective virtual light sources 7a and 7b, as well as the pupil ellipse in the image plane, can be determined for each virtual stereo camera 1 Determine the three-dimensional light cones 10a or 10b shown. From the conic section of the two cones 10a and 10b, the pupil 30 can be reconstructed in space from the two partial images.

3a zeigt schematisch eine zweite Ausführungsform des optischen Systems 40a. Hierbei sind zur Vereinfachung lediglich das erste holographische optische Element 21a und das zweite holographische optische Element 21b des optischen Systems 40a dargestellt. Das erste holographische optische Element 21a und das zweite holographische optische Element 21b sind in diesem zweiten Ausführungsbeispiel nebeneinander und beabstandet voneinander auf einem Brillenglas 20 angeordnet. Zwischen dem ersten holographischen optischen Element 21a und dem zweiten holographischen optischen Element 21b ist ein weiteres drittes holographisches optisches Element 22 angeordnet. Dieses dritte holographische optische Element 22 dient dazu, dem Nutzer mittels der Projektoreinheit Nutzerinhalte, insbesondere mittels scannender Projektion, auf dessen Pupille einzublenden. 3a shows schematically a second embodiment of the optical system 40a. For the sake of simplicity, only the first holographic optical element 21a and the second holographic optical element 21b of the optical system 40a are shown. In this second exemplary embodiment, the first holographic optical element 21a and the second holographic optical element 21b are arranged next to one another and at a distance from one another on a spectacle lens 20. A further third holographic optical element 22 is arranged between the first holographic optical element 21a and the second holographic optical element 21b. This third holographic optical element 22 serves to display user content to the user's pupil using the projector unit, in particular using scanning projection.

3b zeigt schematisch ein drittes Ausführungsbeispiel des optischen Systems 40b. Das erste holographische optische Element 37 und das zweite holographische optische Element 36 sind hierbei im Unterschied zu den vorherigen Ausführungsbeispielen hintereinander angeordnet. Das erste holographische optische Element 37 ist hierbei in einer zweiten holographischen Schicht 45a und das zweite holographische optische Element 36 in einer, gegenüber der zweiten holgraphischen Schicht 45a unterschiedlichen dritten holographischen Schicht 45b angeordnet. Die Projektoreinheit 34 projiziert zunächst erste Lichtstrahlen über den Projektionsbereich 35 auf das erste holographische optische Element 37. Das erste holographische optische Element 37 ist hierbei sensitiv für die Wellenlänge der ersten Lichtstrahlen und lenkt den mindestens einen ersten Lichtstrahl beim Auftreffen auf das erste holographische optische Element 37 derart um, dass der vom ersten holographischen optischen Element 37 umgelenkte Lichtstrahl vollständig eine Pupille 30 des Nutzers der Datenbrille überstreicht. Hierbei wird das Licht von dem ersten holographischen optischen Element 37 so umgelenkt, als wenn eine erste virtuelle Lichtquelle 38 einen ersten Lichtkegel 41a in Richtung des Nutzerauges 42 aussenden würde. Darauf folgend oder auch simultan zu der Projektion der ersten Lichtstrahlen projiziert die Projektoreinheit 34 zweite Lichtstrahlen über den Projektionsbereich auf das erste holographische optische Element 37 und das zweite holographische optische Element 36. Das erste holographische optische Element 37 ist hierbei jedoch transmissiv für die zweiten Lichtstrahlen ausgebildet und lässt diese ohne Umlenkung in Richtung des zweiten holographischen optischen Elements 36 passieren. Das zweite holographische optische Element ist wiederum sensitiv für die Wellenlänge der zweiten Lichstrahlen ausgebildet und lenkt den mindestens einen zweiten Lichtstrahl beim Auftreffen auf das zweite holographische optische Element 36 derart um, dass der vom zweiten holographischen optischen Element 36 umgelenkte Lichtstrahl vollständig die Pupille 30 des Nutzers der Datenbrille überstreicht. Hierbei wird das Licht von dem zweiten holographischen optischen Element 36 so umgelenkt, als wenn eine zweite virtuelle Lichtquelle 39 einen zweiten Lichtkegel 41b in Richtung des Nutzerauges 42 aussenden würde. Der erste Lichtkegel 41a und der zweite Lichtkegel 41b überlappen sich zumindest im Bereich der Pupille 30 des Nutzers. In den Bereichen 32 und 33 kommt es hingegen zu keiner Überlappung der Lichtkegel 41a und 41b. Weiterhin weist das optische System 40b einen ersten Photodetektor 43a zur Detektion der von der Pupille zurückgestreute ersten Lichtstrahlen auf. Darüber hinaus weist das optische System 40b einen zweiten Photodetektor 43b zur Detektion der von der Pupille zurückgestreute zweiten Lichtstrahlen auf. 3b shows schematically a third exemplary embodiment of the optical system 40b. In contrast to the previous exemplary embodiments, the first holographic optical element 37 and the second holographic optical element 36 are arranged one behind the other. The first holographic optical element 37 is arranged in a second holographic layer 45a and the second holographic optical element 36 is arranged in a third holographic layer 45b that is different from the second holographic layer 45a. The projector unit 34 first projects first light beams over the projection area 35 onto the first holographic optical element 37. The first holographic optical element 37 is sensitive to the wavelength of the first light beams and directs the at least one first light beam when it hits the first holographic optical element 37 in such a way that the light beam deflected by the first holographic optical element 37 completely sweeps over a pupil 30 of the user of the data glasses. Here the light comes from the first holographic optical element 37 is deflected as if a first virtual light source 38 were to emit a first light cone 41a in the direction of the user eye 42. Following this or simultaneously with the projection of the first light rays, the projector unit 34 projects second light rays over the projection area onto the first holographic optical element 37 and the second holographic optical element 36. However, the first holographic optical element 37 is designed to be transmissive for the second light rays and allows it to pass without deflection in the direction of the second holographic optical element 36. The second holographic optical element is in turn designed to be sensitive to the wavelength of the second light beams and deflects the at least one second light beam when it hits the second holographic optical element 36 in such a way that the light beam deflected by the second holographic optical element 36 completely covers the pupil 30 of the user the data glasses sweep over. Here, the light from the second holographic optical element 36 is redirected as if a second virtual light source 39 were to emit a second light cone 41b in the direction of the user's eye 42. The first light cone 41a and the second light cone 41b overlap at least in the area of the user's pupil 30. In the areas 32 and 33, however, there is no overlap of the light cones 41a and 41b. Furthermore, the optical system 40b has a first photodetector 43a for detecting the first light rays backscattered by the pupil. In addition, the optical system 40b has a second photodetector 43b for detecting the second light rays backscattered by the pupil.

4 zeigt schematisch in einer Pupillenebene das zumindest teilweise Überlappen von in diesem Fall vier, auf die Pupille 51 des Nutzers umgelenkten Lichtkegeln 53a, 53b, 53c und 53d. Jeder Lichtkegel 53a, 53b, 53c und 53d ist einem jeweiligen, hier nicht dargestellten holographischen optischen Element bzw. einer jeweiligen virtuellen Lichtquelle zugeordnet. In dem Überlappungsbereich 55 der vier Lichtkegel 53a, 53b, 53c und 53d ist zumindest die Pupille 51 des Nutzers angeordnet. 4 shows schematically in a pupil plane the at least partial overlap of, in this case, four light cones 53a, 53b, 53c and 53d deflected onto the user's pupil 51. Each light cone 53a, 53b, 53c and 53d is assigned to a respective holographic optical element (not shown here) or a respective virtual light source. At least the user's pupil 51 is arranged in the overlap area 55 of the four light cones 53a, 53b, 53c and 53d.

5 zeigt schematisch eine Datenbrille 68a mit einem optischen System 66a. Das optische System 66a weist hierbei ein erstes 48a und ein zweites holographisches optisches Element 48b auf. Die beiden holographischen optischen Elemente 48a und 48b sind in diesem Ausführungsbeispiel in ein erstes Brillenglas 72a der Datenbrille 68a integriert. Zusätzlich weist das optische System 66a eine Projektoreinheit 78a mit wenigstens einer Lichtquelle zum Generieren mindestens eines, insbesondere für ein menschliches Auge unsichtbaren, Lichtstrahls 80 und mit einer ansteuerbaren Ablenkeinrichtung für den mindestens einen Lichtstrahl 80 auf. Die Projektoreinheit 78a ist hierbei dazu ausgebildet, den Lichtstrahl 80 auf das erste holographische optische Element 48a zu projizieren. Das erste holographische optische Element 48a dient dazu, den Lichtstrahl 80 beim Auftreffen auf das erste holographische optische Element 48a derart umzulenken, dass der vom ersten holographischen optischen Element 48a umgelenkte Lichtstrahl vollständig eine Pupille des Nutzers der Datenbrille 68a überstreicht. Zusätzlich dient die Projektoreinheit 78a dazu, den Lichtstrahl 80 auf das zweite holographische optische Element 48b zu projizieren. Das zweite holographische optische Element 48b dient dazu, den Lichtstrahl 80 beim Auftreffen auf das zweite holographische optische Element 48b derart umzulenken, dass der vom zweiten holographischen optischen Element 48b umgelenkte Lichtstrahl vollständig die Pupille des Nutzers der Datenbrille 68a überstreicht. Zusätzlich weist das optische System 66a einen Photodetektor 60a auf, welcher in diesem Ausführungsbeispiel in einem ersten Brillenbügel 74a integriert ist. Das optische System 66a weist außerdem eine Recheneinheit 17 auf, welche in diesem Fall separat zu der Projektoreinheit angeordnet ist. Die Datenbrille 68a weist weiterhin ein zweites Brillenglas 70a, sowie einen zweiten Brillenbügel 76a auf. 5 schematically shows data glasses 68a with an optical system 66a. The optical system 66a has a first 48a and a second holographic optical element 48b. In this exemplary embodiment, the two holographic optical elements 48a and 48b are integrated into a first lens 72a of the data glasses 68a. In addition, the optical system 66a has a projector unit 78a with at least one light source for generating at least one light beam 80, in particular invisible to a human eye, and with a controllable deflection device for the at least one light beam 80. The projector unit 78a is designed to project the light beam 80 onto the first holographic optical element 48a. The first holographic optical element 48a serves to redirect the light beam 80 when it hits the first holographic optical element 48a in such a way that the light beam deflected by the first holographic optical element 48a completely passes over a pupil of the user of the data glasses 68a. In addition, the projector unit 78a serves to project the light beam 80 onto the second holographic optical element 48b. The second holographic optical element 48b serves to redirect the light beam 80 when it hits the second holographic optical element 48b in such a way that the light beam deflected by the second holographic optical element 48b completely passes over the pupil of the user of the data glasses 68a. In addition, the optical system 66a has a photodetector 60a, which in this exemplary embodiment is integrated in a first temple 74a. The optical system 66a also has a computing unit 17, which in this case is arranged separately from the projector unit. The data glasses 68a also have a second lens 70a and a second temple 76a.

6 zeigt anhand eines Ablaufdiagramms ein Verfahren zur Pupillendetektion eines Nutzers einer Datenbrille. Hierbei wird in einem Verfahrensschritt 200 ein, insbesondere für ein menschliches Auge unsichtbarer, Lichtstrahl mittels einer Projektoreinheit eines optischen Systems auf ein erstes holographisches optisches Element des optischen Systems projiziert. In einem folgenden Verfahrensschritt 210 wird der mindestens eine Lichtstrahl beim Auftreffen auf das erste holographische optische Element derart umgelenkt, dass der vom ersten holographischen optischen Element umgelenkte Lichtstrahl vollständig eine Pupille des Nutzers der Datenbrille überstreicht. In einem Verfahrensschritt 220 wird der Lichtstrahl mittels der Projektoreinheit auf ein zweites holographisches optisches Element des optischen Systems projiziert. In einem Verfahrensschritt 230 wird der mindestens eine Lichtstrahl beim Auftreffen auf das zweite holographische optische Element derart umgelenkt, dass der vom zweiten holographischen optischen Element umgelenkte Lichtstrahl vollständig die Pupille des Nutzers der Datenbrille überstreicht. In einem weiteren Verfahrensschritt 240 werden die von der Pupille zurückgestreuten Lichtstrahlen mittels wenigstens eines Photodetektors detektiert. Daraufhin wird das Verfahren beendet. 6 shows a method for pupil detection of a user of data glasses using a flow chart. Here, in a method step 200, a light beam, in particular invisible to a human eye, is projected onto a first holographic optical element of the optical system by means of a projector unit of an optical system. In a subsequent method step 210, the at least one light beam is deflected when it hits the first holographic optical element in such a way that the light beam deflected by the first holographic optical element completely passes over a pupil of the user of the data glasses. In a method step 220, the light beam is projected onto a second holographic optical element of the optical system using the projector unit. In a method step 230, the at least one light beam is deflected when it hits the second holographic optical element in such a way that the light beam deflected by the second holographic optical element completely passes over the pupil of the user of the data glasses. In a further method step 240, the light rays scattered back from the pupil are detected using at least one photodetector. The procedure is then ended.

In einem optionalen Verfahrensschritt 250 wird ein erstes Abbild einer ersten Augenregion mit der Pupille des Nutzers mittels einer Recheneinheit des optischen Systems in Abhängigkeit der mittels des ersten holographischen optischen Elements umgelenkten und mittels des Photodetektors detektierten rückgestreuten Lichtstrahlen erstellt. In einem folgenden Verfahrensschritt 260 wird ein, das erste Abbild zumindest teilweise überlappendes zweites Abbild einer zweiten Augenregion mit der Pupille des Nutzers mittels der Recheneinheit des optischen Systems in Abhängigkeit der mittels des zweiten holographischen optischen Elements umgelenkten und mittels des Photodetektors detektierten rückgestreuten Lichtstrahlen erstellt. Optional wird das erste Abbild zu einem ersten Zeitpunkt und das zweite Abbild zu einem, auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt erzeugt. In einem weiteren optionalen, auf den Verfahrensschritt 260 folgenden Verfahrensschritt 270 wird ein Blickvektor des Nutzers der Datenbrille in Abhängigkeit des überlappenden Bereichs des ersten und zweiten Abbilds mittels der Recheneinheit ermittelt.In an optional method step 250, a first image of a first eye region with the user's pupil is created using a computing unit of the optical system depending on the means of the first holographic optical element and backscattered light rays detected by the photodetector. In a following method step 260, a second image of a second eye region with the user's pupil, at least partially overlapping the first image, is created by means of the computing unit of the optical system depending on the backscattered light rays deflected by the second holographic optical element and detected by the photodetector. Optionally, the first image is generated at a first time and the second image at a second time following the first time. In a further optional method step 270 following method step 260, a gaze vector of the user of the data glasses is determined by means of the computing unit depending on the overlapping area of the first and second images.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 10852817 B1 [0002]

Claims

Optical system (1, 40a, 40b, 66a) for pupil detection of a user of data glasses (68a), at least comprising - a first (6a, 21a, 37, 48a) and a second holographic optical element (6b, 21b, 36, 48b), and - a projector unit (2, 34, 78a) with at least one light source (3) for generating at least one light beam (19, 80), in particular invisible to the human eye, and with a controllable deflection device (4) for the at least one light beam (19 , 80), in particular for the scanning projection of the light beam (19, 80), and - a photodetector (25, 43a, 43b), the projector unit (2, 34, 78a) being designed to project the light beam (19, 80) onto the first holographic optical element (6a, 21a, 37, 48a), wherein the first holographic optical element (6a, 21a, 37, 48a) is designed to deflect the at least one light beam (19, 80) when it hits the first holographic optical element (6a, 21a, 37, 48a) in such a way that the the light beam deflected by the first holographic optical element (6a, 21a, 37, 48a) completely sweeps over a pupil (30, 51) of the user of the data glasses (68a), the projector unit (2, 34, 78a) being designed to project the light beam ( 19, 80) onto the second holographic optical element (6b, 21b, 36, 48b), the second holographic optical element (6b, 21b, 36, 48b) being designed to project the at least one light beam (19, 80) when striking the second holographic optical element (6b, 21b, 36, 48b) in such a way that the light beam deflected by the second holographic optical element (6b, 21b, 36, 48b) completely reaches the pupil (30, 51) of the user of the data glasses (68a), the photodetector (25, 43a, 43b) being designed to detect light rays backscattered by the pupil (30, 51).

Optical system (1, 40a, 40b, 66a) according to Claim 1 , characterized in that the first holographic optical element (6a, 21a, 37, 48a) has first holographic grating levels, and the second holographic optical element (6b, 21b, 36, 48b) has second holographic grating levels that are different from the first holographic grating levels.

Optical system (1, 40a, 40b, 66a) according to one of Claims 1 or 2 , characterized in that the first (6a, 21a, 37, 48a) and the second holographic optical element (6b, 21b, 36, 48b) are arranged next to one another, in particular adjacent to one another, in a common first holographic layer (27).

Optical system (1, 40a, 40b, 66a) according to one of Claims 1 or 2 , characterized in that the first holographic optical element (6a, 21a, 37, 48a) in a second holographic layer (45a) and the second holographic optical element (6b, 21b, 36, 48b) in a layer opposite the second holographic layer (45a) different third holographic layer (45b) are arranged.

Optical system (1, 40a, 40b, 66a) according to one of Claims 1 until 4 , characterized in that the projector unit (2, 34, 78a) of the optical system (1, 40a, 40b, 66a) has a first light source (29a), in particular a first laser diode, for generating a first light beam and a second light source (29b) , in particular a second laser diode, for generating a second light beam, wherein the first light beam has a first wavelength and the second light beam has a second wavelength that is different from the first wavelength, the projector unit (2, 34, 78a) being designed to produce the first to project the light beam onto the first holographic optical element (6a, 21a, 37, 48a), the projector unit (2, 34, 78a) being designed to project the second light beam onto the second holographic optical element (6b, 21b, 36, 48b ) to project.

Optical system (1, 40a, 40b, 66a) according to one of Claims 1 until 5 , characterized in that the at least one light source (3) of the projector unit (2, 34, 78a) is designed to be modulated.

Optical system (1, 40a, 40b, 66a) according to one of Claims 1 until 6 , characterized in that the photodetector (25, 43a, 43b) is designed as a photodiode or CCD sensor.

Optical system (1, 40a, 40b, 66a) according to one of Claims 1 until 7 , characterized in that the optical system (1, 40a, 40b, 66a) additionally has a computing unit (5, 17), which is designed to be redirected from the data deflected by means of the first holographic optical element (6a, 21a, 37, 48a). and to create a first image of a first eye region with the user's pupil (30, 51) from backscattered light rays detected by means of the photodetector (25, 43a, 43b), and from the backscattered light rays detected by means of the second holographic optical element (6b, 21b, 36, 48b ) deflected and backscattered light rays detected by the photodetector (25, 43a, 43b) to create a second image of a second eye region with the pupil (30, 51) of the user, the first and second images at least partially overlapping.

Optical system (1, 40a, 40b, 66a) according to Claim 8 , characterized in that the overlapping area of the first and second images includes at least the pupil (30, 51) of the user.

Optical system (1, 40a, 40b, 66a) according to one of Claims 8 or 9 , characterized in that the computing unit (5, 17) is designed to determine a gaze vector (18) of the user of the data glasses (68a) depending on the overlapping area of the first and second images, in particular additionally.

Data glasses (68a) with an optical system (1, 40a, 40b, 66a) according to one of Claims 1 until 10 .

Data glasses (68a) according to Claim 11 , characterized in that the data glasses (68a) additionally comprise at least one first lens (72a), the first (6a, 21a, 37, 48a) and the second holographic optical element (6b, 21b, 36, 48b) of the optical system (1, 40a, 40b, 66a) are arranged in or on the first lens (72a).

Method for pupil detection of a user of data glasses (68a), the method having the following method steps: - Projection (200), in particular scanning projection, of a light beam (19, 80), in particular invisible to a human eye, onto a first one by means of a projector unit (2, 34, 78a) of an optical system (1, 40a, 40b, 66a). holographic optical element (6a, 21a, 37, 48a) of the optical system (1, 40a, 40b, 66a), and - Deflecting (210) the at least one light beam (19, 80) when it hits the first holographic optical element (6a, 21a, 37, 48a) in such a way that it is deflected by the first holographic optical element (6a, 21a, 37, 48a). Light beam (19, 80) completely sweeps over a pupil (30, 51) of the user of the data glasses (68a), - Projection (220), in particular scanning projection, of the light beam (19, 80), in particular invisible to a human eye, onto a second one by means of the projector unit (2, 34, 78a) of the optical system (1, 40a, 40b, 66a). holographic optical element (6b, 21b, 36, 48b) of the optical system (6b, 21b, 36, 48b), and - Deflecting (230) the at least one light beam (19, 80) when it hits the second holographic optical element (6b, 21b, 36, 48b) in such a way that it is deflected by the second holographic optical element (6b, 21b, 36, 48b). The light beam completely sweeps over the pupil (30, 51) of the user of the data glasses (68a), and - Detection (240) of the light rays backscattered by the pupil (30, 51) by means of at least one photodetector (25, 43a, 43b).

Procedure according to Claim 13 , characterized in that the method has the following additional method steps: - Creating (250) a first image of a first eye region with the user's pupil (30, 51) by means of a computing unit (5, 17) of the optical system (1, 40a, 40b , 66a) depending on the backscattered light rays deflected by means of the first holographic optical element (6a, 21a, 37, 48a) and detected by means of the photodetector (25, 43a, 43b), - creating (260) one that at least partially overlaps the first image second image of a second eye region with the pupil (30, 51) of the user by means of the computing unit (5, 17) of the optical system (1, 40a, 40b, 66a) depending on the second holographic optical element (6b, 21b, 36 , 48b) deflected and backscattered light rays detected by the photodetector (25, 43a, 43b).

Procedure according to Claim 14 , characterized in that the first image is created at a first time and the second image is created at a second time following the first time.

Procedure according to one of the Claims 14 or 15 , characterized in that the method comprises the following additional method step: - Determining (270) a gaze vector (18) of the user of the data glasses (68a) depending on the overlapping area of the first and second images by means of the computing unit (5, 17).