-
Die Erfindung betrifft ein Verfahren zum Betreiben einer kopftragbaren Darstellungsvorrichtung wie bspw. eines Head-Mounted Displays. Ferner betrifft die Erfindung ein Computerprogrammprodukt zur Durchführung eines derartigen Verfahrens, eine kopftragbare Darstellungsvorrichtung und ein medizinisch optisches Beobachtungssystem mit einer kopftragbaren Darstellungsvorrichtung.
-
Der Mikrochirurgie-Markt befindet sich aktuell im Wandel der Digitalisierung. Angetrieben von ergonomischen Vorteilen und elektronischer Bildverbesserung/Erweiterung und immer neuen digitalen Bildgebenden-, Intraoperativen-Verfahren wird immer häufiger ein 2D- oder 3D-Monitor als primäre Bildquelle verwendet. Diese Verfahren haben allerdings auch technische Nachteile, wie z.B. abstandsabhängige Tiefeneindrücke, blickwinkelabhängige Farbwiedergabe, große Flächenanforderungen im OP, Leitungen als Stolperfallen und hygienische Herausforderungen bei der der Reinigung. Daher zeichnet sich mittel- bzw. langfristig die Verwendung von HMD-Systemen ab (Head-Mounted-Display-Systemen).
-
Für die Verwendung eines derartigen HMD-Systems in der Mikrochirurgie ist ein flexibler Wechsel zwischen Augmented Reality, Virtual Reality und „freier“ Sicht für einen Operateur wünschenswert, damit er situationsbedingt die Vorteile des jeweiligen Modus nutzen kann, um seine Arbeit effizient, effektiv und sicher durchführen zu können.
-
Virtual Reality (VR) bietet den Vorteil einer vollständigen Immersion. Der Operateur wird nicht durch die Umgebung abgelenkt und es ist z.B. eine kontrastreiche Darstellung von Informationen (z.B. Bilddaten von einen digitalen chirurgischen Mikroskop oder von präoperativen Radiologiedaten) möglich, da Umgebungslicht keinen Einfluss hat. Jedoch verliert der Operateur gleichzeitig den Bezug zu seiner Umwelt: Handlungen in seiner Umgebung können visuell nicht mehr wahrgenommen werden. Ggf. muss die Umgebung durch zusätzliche Kameras erfasst und eingeblendet werden (sog. VR see through), was jedoch einen eingeschränkten Blick (Latenzen, Farbdarstellung, Auflösung etc.) auf die reale Umgebung darstellt, da der Operateur die Kameras ggf. bewegen muss, um sein Umfeld wie gewünscht wahrnehmen zu können. Beim Tragen einer VR-Brille könnte der Operateur auch nicht gezielt Personen oder Geräte im Raum betrachten, um weitere Informationen abzulesen oder mit diesen zu interagieren.
-
Bei Augmented Reality (AR) Systemen ist keine Immersion möglich, d.h. unter Umständen können wichtige Informationen, wie etwa Bilddaten bspw. wegen geringem Kontrast nur mangelhaft dargestellt werden, da die Umgebungsbeleuchtung einen direkten Einfluss hat. Ferner kann der Operateur leichter von seiner Umwelt abgelenkt werden, wenn er hochkonzentriert einen Arbeitsschritt durchführen muss (Beispiel: Chirurg beim Setzen eines Clips zur Behandlung eines Aneurysmas). AR-Systems haben jedoch den Vorteil, dass der Operateur seine Umgebung weiterhin wie gewohnt wahrnehmen kann (auch peripheres Sehen genannt). Ein AR-Display in Form einer Stereobrille ist bspw. in
DE 103 35 369 A1 beschrieben. Mit diesem AR-Display können virtuelle Tasten derart angezeigt werden, dass sie vom Betrachten nur zu sehen sind, wenn er in eine bestimmte Richtung schaut, so dass die virtuellen Tasten als im realen Raum fixiert erscheinen.
-
Während des Verlaufs eines chirurgischen Eingriffs gibt es verschiedene Phasen mit unterschiedlichen Anforderungen an ein Visualisierungssystem. Unter Verwendung eines digitalen chirurgischen Mikroskops, welches meist für schwierige Arbeitsschritte eingesetzt wird, wäre für den Operateur ein VR-System vorteilhaft, um sich voll auf seine Aufgabe konzentrieren zu können.
-
In anderen Phasen, wie bspw. zu Beginn eines chirurgischen Eingriffs, würde ein AR-System vorteilhaft für den Operateur sein, um z.B. die Umrisse einer Kraniotomie direkt auf dem Patientenkopf sehen zu können oder die radiologischen Daten der Wirbelsäule des Patienten auf dem Patientenrücken visualisiert zu bekommen, damit der richtige Bereich des Patientenrückens freigelegt werden kann. Während einer Operation ist es für den Operateur insbesondere von Bedeutung ständig mit der Sterilschwester oder der Umgebung interagieren zu können, um z.B. Instrumente anzunehmen oder abzugeben oder um ein Gerät repositionieren zu können. Hierzu benötigt der Operateur eine „freie Sicht“ ohne Beeinträchtigungen.
-
Es wäre möglich, den Transparenzgrad des Displays von der Position auf dem Display abhängig zu machen. Beispielsweise könnte ein Display bspw. im oberen Bereich opak und im unteren Bereich transparent sein, so dass ein schräger Blick nach unten mit hoher Transparenz möglich ist, etwa um noch die Hände und/oder Operationsinstrumente erkennen zu können. Bei Geradeausblick würde dagegen auf den opaken oberen Bereich des Displays, also auf den Bereich mit Transparenzgrad 0%, geschaut, der als reiner VR-Bereich fungieren würde.
-
Vorteilhafter ist es jedoch, situativ zwischen freier Sicht, AR und VR umschalten zu können. Um die Vorteile sowohl von AR- als auch von VR-Systemen zu nutzen, kann eine AR Brille mit Displays ausgestattet werden, deren Transparenzgrad zwischen 0% (opak) und 100% (durchsichtig) eingestellt werden kann. Eine derartige Vorrichtung ist z.B. aus der
US 2012/0086624 A1 bekannt. Dies erlaubt es einem Nutzer, je nach Situation zwischen VR, AR und no-AR („freie Sicht“) wechseln zu können. Das Umschalten zwischen den Einstellungen des Transparenzgrades erfordert jedoch eine Interaktion durch den Träger mittels einer Tastatur, einer Maus, eines Joysticks oder dergleichen. Die genannte Lösung hat daher den Nachteil, dass sie den Workflow des Operateurs (z.B. eines Chirurgen) unterbrechen würde, da zum Bedienen der Tastatur, der Maus, des Joysticks ,etc. chirurgische Instrumente aus dem Situs nehmen oder gar ablegen muss. Eine Unterbrechung des Workflows kann zu einem höheren Risiko für den Patienten führen (längere OP Zeit, Sterilität, etc.).
-
Mit Bezug auf den geschilderten Stand der Technik ist es Aufgabe der vorliegenden Erfindung, ein vorteilhaftes Verfahren zum Betreiben einer kopftragbaren Darstellungsvorrichtung, insbesondere eines Head-Mounted Displays, sowie ein entsprechendes Computerprogrammprodukt zur Verfügung zu stellen. Es ist eine weitere Aufgabe der vorliegenden Erfindung, eine kopftragbare Darstellungsvorrichtung zur Verfügung zu stellen, die ohne Unterbrechung des Workflows einfach zu bedienen ist.
-
Die erste Aufgabe wird durch ein Verfahren nach Anspruch 1 und ein Computerprogrammprodukt nach Anspruch 7 gelöst. Die zweite Aufgabe wird durch eine Darstellungsvorrichtung nach Anspruch 8 gelöst. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.
-
Bei dem erfindungsgemäßen Verfahren zum Betrieb einer kopftragbaren Darstellungsvorrichtung, werden die folgenden Schritte ausgeführt:
- - Erfassen von Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes einer die kopftragbare Darstellungsvorrichtung tragenden Person,
- - Auswerten der erfassten Daten, um die wenigstens eine Zustandsgröße des Kopfes zu bestimmen, und
- - Verändern eines Transparenzgrads zumindest einer Wiedergabeanordnung der kopftragbaren Darstellungsvorrichtung, wenn die bestimmte wenigstens eine Zustandsgröße des Kopfes einer vorbestimmten Zustandsgröße entspricht.
-
Die kopftragbare Darstellungsvorrichtung, die bspw. mittels eines Kopfbügels oder eines Kopfbands am Kopf fixiert werden kann, kann als Head-Mounted Display ausgebildet sein. Dabei wird unter einem Head-Mounted Display (auch als HMD bezeichnet) ein auf dem Kopf getragenes visuelles Ausgabegerät verstanden. Es präsentiert Bilder auf einem Display der Wiedergabeanordnung. Das Display kann bspw. ein vor den Augen angeordnetes Display sein, dessen Transparenzgrad für optische Signale bzw. durch Anlegen einer elektrischen Spannung verändert werden kann und dessen Bild über eine zwischen dem Display und dem Auge angeordnete geeignete Optik betrachtet werden kann. Ein solches Display lässt sich bspw. mittels LCD-Shutter-Technologie herstellen. Alternativ kann ein konventionelles Display Verwendung finden, dessen Bildinhalt über eine Reflektionsfläche, deren Transparenzgrad für optische Signale bspw. durch Anlegen einer elektrischen Spannung verändert werden kann, zu dem Auge reflektiert wird. Als weitere Alternative kann ein konventionelles Display Verwendung finden, dessen Bildinhalt über einen konventionellen Strahlteiler zu dem Auge reflektiert wird, wobei dem Strahlteiler dann eine Einrichtung zugeordnet ist, mit der sich die Intensität von auf den Strahlteiler einfallendem Umgebungslicht reduzieren lässt. Das Head-Mounted Display kann dabei auch für rechte Auge und das linke Auge je ein Display mit variablem Transparenzgrad, je ein konventionelles Display zusammen mit einer Reflektionsfläche mit variablem Transparenzgrad oder je ein konventionelles Display zusammen je einem konventionellen Strahlteiler und einer Einrichtung zum Reduzieren von auf den bzw. die Strahlteiler einfallendem Umgebungslicht aufweisen, wobei der Transparenzgrad des Displays, der Reflektionsfläche bzw. der Einrichtung zum Reduzieren von auf den Strahlteiler einfallendem Umgebungslicht vorzugsweise unabhängig für das rechte und das linke Aue eingestellt werden kann. Der Transparenzgrad des Displays, der Reflektionsfläche bzw. der Einrichtung zum Reduzieren von auf den Strahlteiler einfallendem Umgebungslicht kann insbesondere in einem Bereich von 0% (opak) bis 100% (durchsichtig) in gewünschter Weise eingestellt werden. Als Displays können in der kopftragbaren Darstellungsvorrichtung auch holografische Displays Verwendung.
-
Alternativ zur Verwendung von gegenständlichen Displays besteht auch die Möglichkeit, in der kopftragbaren Darstellungsvorrichtung virtuelle Displays zu verwenden. In einem virtuellen Display wird ein Bild direkt auf die Netzhaut projiziert. Die kopftragbare Darstellungsvorrichtung umfasst dann neben wenigstens einem virtuellen Display eine Einrichtung zum Reduzieren von zu den Augen gelangendem Umgebungslicht, wobei der Grad der Reduzierung von zu den Augen gelangendem Umgebungslicht einstellbar ist. Der Transparenzgrad der Einrichtung zum Reduzieren von zu den Augen gelangendem Umgebungslicht kann dabei vorzugsweise im Bereich von 0% (opak) bis 100% (durchsichtig) in gewünschter Weise eingestellt werden.
-
Die kopftragbare Darstellungsvorrichtung kann aber auch eine Lupenbrille sein. In diesem Fall kann die Wiedergabeanordnung einen Strahlteiler umfassen, über den ein Bild in den Strahlengang der Lupenbrille eingeblendet werden kann und dessen Transparenz verändert werden kann, insbesondere im Bereich von 100% Durchsichtig und zu 0% durchsichtig. Wie beim Head-Mounted Display besteht aber auch die Möglichkeit, einen konventionellen Strahlteiler zusammen mit einer Einrichtung, mit der sich die Intensität von auf den Strahlteiler einfallendem Umgebungslicht reduzieren lässt, zu verwenden.
-
Die von den erfassten Daten repräsentierte wenigstens eine Zustandsgröße des Kopfes kann die Blickrichtung des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person beinhalten. Als Blickrichtung soll herbei nicht die Augenposition, sondern die Orientierung des Kopfes angesehen werden, wobei davon ausgegangen wird, dass die Augen geradeaus schauen. In diesem Fall sind die erfassten Daten Orientierungsdaten, welche die Orientierung des Kopfes des Nutzers wiederspiegeln. Neben den Orientierungsdaten können als Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes auch Positionsdaten des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person erfasst werden. Die wenigstens eine Zustandsgröße des Kopfes beinhaltet dann neben der Blickrichtung auch die Position des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person. So kann nicht nur die Blickrichtung, sondern die Blickrichtung ausgehend von einer bestimmten Position im Raum ermittelt werden.
-
Wenn nicht nur die Position der kopftragbaren Darstellungsvorrichtung, sondern auch des Patienten erfasst wird, kann die relative Orientierung zwischen Patient bzw. Operationssitus einerseits und der Darstellungsvorrichtung andererseits ermittelt werden, so dass die Position des Patienten bzw. des Operationssitus im Koordinatensystem der Darstellungsvorrichtung ermittelt werden kann und z.B. immer ein Livebild eines digitalen Operationsmikroskops angezeigt werden kann, wenn der Operateur auf den Operationssitus blickt. Werden zudem auch die Positionen von Geräten wie bspw. dem Operationsmikroskop erfasst, können die Informationen über diese Positionen dazu verwendet werden, beim Blicken in Richtung eines der Geräte die kopftragbare Darstellungsvorrichtung bspw. in den AR-Modus zu schalten und ein User-Interface des Gerätes anzeigen, wenn der Operateur auf das Gerät blickt.
-
Mit dem erfindungsgemäßen Verfahren kann also durch den Vergleich der bestimmten Blickrichtung mit einer vorbestimmten Richtung eine blickrichtungsabhängige Steuerung der kopftragbaren Darstellungsvorrichtung erreicht werden. So kann die kopftragbare Darstellungsvorrichtung ohne Unterbrechung des Workflows einfach und intuitiv bedient werden.
-
In einer speziellen Ausgestaltung des erfindungsgemäßen Verfahrens können Referenzdaten für die die wenigstens eine Zustandsgröße des Kopfes repräsentierenden Daten durch anvisieren eines Referenzpunktes erfasst werden. Als Referenzpunkt kann z.B. ein Bildschirm, ein IR-Beacon oder ein anderer Marker wie bspw. ein in Richtung Patient weisender Marker verwendet werden. Das Anvisieren des Referenzpunktes legt dann die Referenzdaten für die wenigstens eine Zustandsgröße des Kopfes fest. Somit kann eine Information über die relative Lage zwischen einem dem Referenzpunkt zugeordneten Koordinatensystem und einem der kopftragbaren Darstellungsvorrichtung zugeordneten Koordinatensystem bereitgestellt werden. Dies erlaubt es, bspw. nach einer Neupositionierung des Operateurs anhand der Referenzdaten die Orientierung der kopftragbaren Darstellungsvorrichtung in Bezug auf ein vorgegebenes Bezugskoordinatensystem neu zu ermitteln.
-
Gemäß einer alternativen Ausführungsvariante des erfindungsgemäßen Verfahrens beinhalten die Daten repräsentativ für die wenigstens eine Zustandsgröße des Kopfes Bewegungsdaten und/oder Beschleunigungsdaten der kopftragbaren Darstellungsvorrichtung, und die wenigstens eine Zustandsgröße des Kopfes beinhaltet eine Kopfbewegung der die kopftragbare Darstellungsvorrichtung tragenden Person. So kann bspw. der VR-Modus durch Kopfschütteln als einer vorbestimmten Zustandsgröße des Kopfes ausgeschaltet und durch Nicken als einer anderen einer vorbestimmten Zustandsgröße des Kopfes eingeschaltet werden oder umgekehrt.
-
Gemäß noch einer alternativen Ausführungsvariante des erfindungsgemäßen Verfahrens werden als Daten repräsentativ für die wenigstens eine Zustandsgröße Bilddaten mit wenigstens einer der kopftragbaren Darstellungsvorrichtung zugeordneten Kamera, insbesondere wenigstens einer an der kopftragbaren Darstellungsvorrichtung angeordneten oder am Kopf getragenen Kamera, erfasst. Die wenigstens eine Zustandsgröße des Kopfes beinhaltet wiederum die Blickrichtung der die die kopftragbare Darstellungsvorrichtung tragenden Person. Zum Bestimmen der Blickrichtung werden die Bilddaten ausgewertet, um einen vorbestimmten Bildinhalt zu bestimmen, und bei Vorliegen des vorbestimmten Bildinhalts wird auf eine vorbestimmte Blickrichtung als einer vorbestimmten Zustandsgröße des Kopfes geschlossen. Vorbestimmte Bildinhalte können dabei bestimmte im Rahmen der Auswertung wiedererkennbare Gegenstände im Bereich des die kopftragbare Darstellungsvorrichtung tragenden Nutzers sein. Beispielsweise wenn der Operateur auf eine passend positionierte Mattscheibe schaut, wird diese und die entsprechende Blickrichtung von bei der Auswertung erkannt und der Situs im VR Modus eingeblendet. Andere Gegenstände können bspw. Geräte sein. Wenn diese in der Blickrichtung des Operateurs erkannt werden, kann bspw. in den AR-Modus umgeschaltet werden, damit bspw. deren Bedienelemente erkennbar sind. Die Bilddaten können aber auch dazu Verwendung finden, eine Karte der Umgebung zu erstellen, in der die Orientierung und Lage des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person (O) - und somit ihre Blickrichtung - bekannt ist. Die Bilddaten können dabei neben Graustufen oder Farbwerten für die einzelnen Pixel auch den Pixeln zugeordnete Abstandswerte enthalten, die den Abstand von einem bestimmten Punkt angeben. Derartige Abstandsdaten können mittels Stereokameras oder mittels ToF-Kameras (ToF: Time of Flight) gewonnen werden. Zum Erstellen der Karte der Umgebung können unterschiedliche Ansätze zum Einsatz kommen, bspw. ein sog. SLAM-Ansatz, wobei SLAM für „Simultaneous Localization and Mapping“, zu Deutsch: „Simultanes Lokalisieren und Kartographieren steht. In dem SLAM-Ansatz wird aus Aufnahmen der Umgebung der an der Darstellungsvorrichtung befestigten Kamera inkrementell eine Karte der Umgebung erstellt, in der die Position und Orientierung des Head-Mounted Displays - und damit des Kopfes des Trägers der kopftragbaren Darstellungsvorrichtung - bekannt ist. Aus der Orientierung des Kopfes ergibt sich dann die Blickrichtung des Trägers.
-
Die genannten Ausführungsvarianten des erfindungsgemäßen Verfahrens können einzeln oder in Kombination zur Anwendung kommen. So lässt sich bspw. die Anzahl der steuerbaren Aktionen erhöhen, wenn sowohl die Blickrichtung als auch die Kopfbewegung als Zustandsgrößen des Kopfes ermittelt werden.
-
Ferner gehört zur Erfindung ein Computerprogrammprodukt mit Programmcode zum Durchführen des erfindungsgemäßen, wenn der Programmcode in einen Computer geladen und/oder in einem Computer ausgeführt wird.
-
Erfindungsgemäß wird außerdem eine kopftragbare Darstellungsvorrichtung zum Durchführen des erfindungsgemäßen Verfahrens zur Verfügung gestellt. Diese umfasst
- - eine Erfassungseinheit mit Mitteln zum Erfassen von Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes einer die kopftragbare Darstellungsvorrichtung tragenden Person,
- - eine Auswerteeinheit zum Auswerten der erfassten Daten, um aus diesen die wenigstens eine Zustandsgröße des Kopfes zu bestimmen, und
- - eine Ansteuereinheit zum Verändern eines Transparenzgrads zumindest einer Wiedergabeanordnung der kopftragbaren Darstellungsvorrichtung, wenn die die wenigstens eine Zustandsgröße des Kopfes einer vorbestimmten Zustandsgröße entspricht.
-
Die Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes können Orientierungsdaten repräsentieren, wobei die wenigstens eine Zustandsgröße des Kopfes dann die Blickrichtung der der die kopftragbare Darstellungsvorrichtung tragenden Person beinhaltet. Als Blickrichtung soll herbei nicht die Augenposition sondern die Orientierung des Kopfes angesehen werden, wobei davon ausgegangen wird, dass die Augen geradeaus schauen. Neben den Orientierungsdaten können die Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes auch Positionsdaten der kopftragbaren Darstellungsvorrichtung repräsentieren. In diesem Fall beinhaltet die wenigstens eine Zustandsgröße des Kopfes neben der Blickrichtung auch die Position des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person. Außerdem kann ein Referenzpunkt zum Erfassen von Referenzdaten für die die wenigstens eine Zustandsgröße des Kopfes repräsentierenden Daten vorhanden sein.
-
Zusätzlich oder alternativ können die Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes Bewegungsdaten und/oder Beschleunigungsdaten des Kopfes beinhalten. Die wenigstens eine Zustandsgröße des Kopfes beinhaltet dann eine Kopfbewegung der die kopftragbare Darstellungsvorrichtung tragenden Person.
-
Die Auswerteeinheit und/oder die Ansteuereinheit können in die kopftragbare Darstellungsvorrichtung integriert oder als Software auf einem Computer realisiert sein.
-
Mittel zum Erfassen der Orientierung des Kopfes oder der Bewegung des Kopfes eines Trägers der kopftragbaren Darstellungsvorrichtung sein wie etwa Beschleunigungssensoren, Lagesensoren (bspw. Gyroskope), Marker zum Erfassen der Orientierung und/oder der Position des Kopfes mittels eines Positionserfassungssystems, etc.
-
Weiter zusätzlich oder alternativ kann die kopftragbare Darstellungsvorrichtung dazu ausgebildet sein, als Daten repräsentativ für die wenigstens eine Zustandsgröße des Kopfes Bilddaten mit einer an der kopftragbaren Darstellungsvorrichtung angeordneten oder am Kopf tragbaren Kamera zu erfassen, wobei die wenigstens eine Zustandsgröße des Kopfes die Blickrichtung der die kopftragbare Darstellungsvorrichtung tragenden Person beinhaltet, und zum Bestimmen der Blickrichtung die Bilddaten auszuwerten, um den Bildinhalt zu bestimmen, und bei Vorliegen eines vorbestimmten Bildinhalts auf eine vorbestimmte Blickrichtung zu schließen.
-
Mögliche Ausgestaltungen der kopftragbaren Darstellungsvorrichtung als Head-Mounted Display oder als Lupenbrille wurden bereits mit Bezug auf das erfindungsgemäße Verfahren beschrieben. Auf diese Beschreibung wird verwiesen.
-
Die mit der erfindungsgemäßen kopftragbaren Darstellungsvorrichtung erzielbaren Vorteile ergeben sich unmittelbar aus den mit Bezug auf das erfindungsgemäße Verfahren beschriebenen Vorteilen.
-
Gemäß der vorliegenden Erfindung wird außerdem ein medizinisch optisches Beobachtungssystem mit einem medizinisch optischen Beobachtungsgerät und einer erfindungsgemäßen kopftragbaren Darstellungsvorrichtung zur Verfügung gestellt. Das einem medizinisch optische Beobachtungsgerät kann dabei bspw. ein Operationsmikroskop sein, das mittels Bildsensoren Objektbilder aufnimmt, die dann an die kopftragbare Darstellungsvorrichtung übermittelt werden, um geeignet dargestellt zu werden, wenn die wenigstens eine Zustandsgröße des Kopfes einer bestimmten Zustandsgröße entspricht. Bspw. kann das mit dem medizinisch optischen Beobachtungsgerät aufgenommene Bild als VR-Bild in der kopftragbaren Darstellungsvorrichtung angezeigt werden, wenn die Zustandsgröße einen Blick in Richtung auf den Operationssitus oder eine bestimmte Kopfbewegung signalisiert. Das medizinisch optische Beobachtungsgerät kann aber auch einfach nur eine Kamera sein, deren Bilder an die kopftragbare Darstellungsvorrichtung übermittelt werden, um bspw. dargestellt zu werden, wenn der Träger der Darstellungsvorrichtung in eine bestimmte Richtung schaut oder eine bestimmte Kopfbewegung ausführt. Weiter besteht die Möglichkeit, dass das medizinisch optische Beobachtungsgerät ein mit wenigstens einem Bildsensor ausgestattetes Endoskop oder Endomikroskop ist, dessen Bilder an die kopftragbare Darstellungsvorrichtung übermittelt werden, um bspw. dargestellt zu werden, wenn der Träger der Darstellungsvorrichtung in eine bestimmte Richtung schaut oder eine bestimmte Kopfbewegung ausführt.
-
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Figuren.
- 1 zeigt ein Head-Mounted Display als ein Ausführungsbeispiel für eine kopftragbare Darstellungsvorrichtung zusammen mit einem Operationsmikroskop.
- 2 zeigt in schematischer Darstellung Komponenten des in 1 gezeigten Head-Mounted Displays.
- 3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels für das erfindungsgemäße Verfahren.
- 4 zeigt das in 1 gezeigte Head-Mounted Display im Betrieb.
- 5 zeigt ein Head-Mounted Display gemäß einem alternativen ein Ausführungsbeispiel für die kopftragbare Darstellungsvorrichtung.
-
Es wird zunächst auf 1 Bezug genommen. In dieser ist eine kopftragbare Darstellungsvorrichtung dargestellt, die im vorliegenden Ausführungsbeispiel als Head-Mounted Display 1 ausgebildet ist. Das Head-Mounted Display 1 fungiert im vorliegenden Ausführungsbeispiel sowohl als VR-Brille als auch als AR-Brille. Im vorliegenden Ausführungsbeispiel empfängt das Head-Mounted Display 1 drahtlos Bilder von Bildsensoren 2A, 2B eines medizinisch optischen Beobachtungsgeräts, nämlich eines Operationsmikroskops 2, die mit dem Head-Mounted Display 1 als VR-Bilder oder AR-Bilder dargestellt werden, wenn bestimmte Zustandsgrößen des Head-Mounted Displays 1 vorliegen. Zusätzlich oder alternativ kann das Head-Mounted Display 1 aber auch Bilder aus anderen Quellen, insbesondere von anderen medizinisch optischen Beobachtungsgeräten empfangen und diese als VR-Bilder oder AR-Bilder darstellen, wenn bestimmte Zustandsgrößen des Head-Mounted Displays 1 vorliegen. Mögliche andere Quellen sind gewöhnliche Kameras, Endoskope, Endomikroskope, Bildspeicher mit präoperative Daten oder Patientendaten enthaltenden Bildern, etc.
-
Das Head-Mounted Display 1 weist für jedes Auge je eine Wiedergabeanordnung 3A, 3B mit einem Display 5A, 5B und Kopfbügeln 4 auf. Mit den Kopfbügeln 4 kann das Head-Mounted Display 1 auf dem Kopf 13 des Trägers des Head-Mounted Displays 1, im vorliegenden Ausführungsbeispiel eines Operateurs O (siehe 4), befestigt und getragen werden. Mit dem beiden Displays 5A, 5B kann eine Bilddatenwiedergabe erfolgen, bei der Bilddaten in das Sichtfeld des Operateurs O abgebildet werden. Die Displays 5A, 5B sind je einem Auge des Operateurs O zugeordnet und können unterschiedlich angesteuert werden um auch 3D-Bilddaten räumlich, d.h. mit Tiefeneindruck, bereitstellen zu können. Als Displays 5A, 5B kommen im vorliegenden Ausführungsbeispiel LCD-Displays mit LCD-Shutter-Technologie zur Anwendung. Die LCD-Shutter-Technologie ermöglicht es, den Transparenzgrad der LCD-Displays durch Anlegen einer elektrischen Steuerspannung beliebig zwischen 0% (opak) und 100% (durchsichtig) einzustellen.
-
Es werden nun unter zusätzlicher Bezugnahme auf 2 weitere Komponenten des Head-Mounted Displays 1 beschrieben. Diese sind im vorliegenden Ausführungsbeispiel eine Erfassungseinheit 6, eine Auswerteeinheit 10 und eine Ansteuereinheit 11.
-
Die Erfassungseinheit 6 ist dazu ausgebildet, Daten D repräsentativ für eine Zustandsgröße des Kopfes 13 des Operateurs O, zu erfassen (siehe 4). Als Daten werden im vorliegenden Ausführungsbeispiel Orientierungsdaten, bspw. in Form von Winkelwerten, die die Orientierung des Kopfes 13 des Operateurs O beschreiben (z.B. Azimutwinkel und Polarwinkel), erfasst. Hierzu kommen im vorliegenden Ausführungsbeispiel drei an dem Head-Mounted Display 1 angeordnete Marker 8 zum Einsatz, deren Positionen mittels eines Trackingsystems (nicht dargestellt) laufend erfasst werden. In anderen Varianten finden lediglich zwei Marker Verwendung. Diese reichen Grundsätzlich aus, um den Azimutwinkel und den Polarwinkel zu ermitteln. Mit drei Markern 8 kann zusätzlich noch eine Kopfdrehung um die Blickrichtung erfasst werden. Aus der erfassten Position der drei Marker 8 kann dann die Orientierung des Head-Mounted Displays 1 und damit die Orientierung des Kopfes 13 ermittelt werden.
-
Alternativ zur beschriebenen Ermittlung der Orientierungsdaten anhand der Marker 8 können die Orientierungsdaten auch mittels eines an dem Head-Mounted Display 1 angeordneten Gyrosensors erfasst werden.
-
Im vorliegenden Ausführungsbeispiel ist neben den Markern 8 auch ein Beschleunigungssensor 9 am Head-Mounted Display 1 angeordnet. Mit dem Beschleunigungssensor 9 können Kopfbewegungen wie bspw. ein Kopfschütteln oder ein Kopfnicken als weitere Zustandsgrößen des Kopfes 13 erfasst werden.
-
Die Orientierungsdaten des Head-Mounted Displays 1 sind indikativ für die Blickrichtung eines Operateurs O, der das des Head-Mounted Displays 1 auf seinem Kopf 13 trägt und dessen Augen geradeaus gerichtet sind. Die Auswerteeinheit 10 ist im vorliegenden Ausführungsbeispiel dazu ausgebildet, die erfassten Orientierungsdaten D auszuwerten, um unter der Annahme des Geradeausschauens die Blickrichtung des Operateurs O zu bestimmen.
-
Zusätzlich ist die Auswerteeinheit 10 im vorliegenden Ausführungsbeispiel dazu ausgebildet, anhand der mit dem Beschleunigungssensor 9 erfassten Beschleunigungsdaten Kopfbewegungen zu erfassen und diese mit bestimmten vorgegeben Kopfbewegungen zu vergleichen, um festzustellen, ob der Operateur O den Kopf 13 schüttelt oder mit dem Kopf 13 nickt.
-
Die Ansteuereinheit 11 ist dazu ausgebildet, auf Empfang eines von der Auswerteeinheit 10 bereitgestellten, die Blickrichtung des Operateurs oder ggf. ein Kopfschütteln oder -nicken angebenden Signals S den Transparenzgrad der Displays 5A, 5B des Head-Mounted Displays 1 zu verändern, wenn die Blickrichtung in einer vorbestimmten Richtung liegt. Durch das Verändern des Transparenzgrads der Displays 5A, 5B in Abhängigkeit der ermittelten Blickrichtung (die aus der Orientierung des Kopfes 13 und Annahme geradeaus schauender Augen ermittelt wird) oder ggf. eines Kopfschüttelns oder -nickens wird eine intuitive Steuerung des Head-Mounted Displays 1 zum situativen Umschalten zwischen verschiedenen Modi wie bspw. freie Sicht, AR und/oder VR möglich. Beispiele für derartige Modi sind:
- - keine Transparenz der Displays 5A, 5B bei einer Blickrichtung zentral nach vorne mit Darstellung des Livebildes eines Operationsmikroskops als VR-Darstellung;
- - volle Transparenz im unteren Bereich der Displays 5A, 5B bei Blick nach vorne unten, um Instrumente sehen zu können;
- - volle Transparenz der Displays 5A, 5B bei Blickrichtung rechts, um mit der Sterilschwester interagieren zu können und/oder AR-Darstellung präoperativer Daten, bspw. radiologischer 3D-Daten;
- - volle Transparenz der Displays 5A, 5B bei Blickrichtung Links, um mit Besuchern interagieren zu können und/oder AR-Darstellung von Patientendaten wir bspw. Puls, Sauerstoffsättigung, etc.
- - volle Transparenz der Displays 5A, 5B unabhängig von der Blickrichtung bei Kopfschütteln,
- - keine Transparenz der Displays 5A, 5B unabhängig von der Blickrichtung bei Kopfnicken.
-
Die aufgezählten Beispiele sind nicht abschließend und sollen lediglich die Möglichkeiten der Erfindung aufzeigen.
-
Die den Blickrichtungen und/oder Kopfbewegungen und/oder ggf. anderen Zustandsgrößen des Kopfes 13 zugeordneten Modi können für einen Operateur in einem Konfigurationsprofil hinterlegt sein. In dem Konfigurationsprofil ist dann hinterlegt, welche Transparenzeinstellung bei welcher Zustandsgröße des Kopfes 13 also im vorliegenden Ausführungsbeispiel bei welcher Blickrichtung und/oder bei welcher Kopfbewegung gelten soll und welche Informationsquelle überlagert/angezeigt werden soll.
-
Die Auswerteeinheit 10 und die Ansteuereinheit 11 sind im vorliegenden Ausführungsbeispiel als Software auf einem Computer realisiert. Die Daten des Trackingsystems und die Daten des Beschleunigungssensors 9 werden dabei drahtlos an den Computer übertragen. Ebenso werden Steuersignale zum Steuern des Transparenzgrads der Displays 5A, 5B von der Ansteuereinheit 11 drahtlos an die Displays 5A, 5B übertragen. Alternativ zur Realisierung als Software auf einem Computer können die Auswerteeinheit 10 und/oder die Ansteuereinheit 11 auch in das Head-Mounted Display 1 integriert sein, bspw. in Form von ASICs (Application Specific Integrated Circuits). Wenn lediglich eine der beiden Einheiten in das Head-Mounted Display 1 integriert ist und die andere als Software auf eine Computer realisiert ist, erfolgt die Kommunikation zwischen der in das Head-Mounted Display 1 integrierten Einheit und der als Software auf eine Computer realisierten Einheit vorzugsweise drahtlos.
-
Es wird nun unter zusätzliche Bezugnahme auf 3 der Betrieb des Head-Mounted Displays 1 erläutert.
-
In einem ersten Schritt S100 wird im vorliegenden Ausführungsbeispiel eine Referenzrichtung festgelegt. Hierzu kann der Operateur O bspw. in Richtung auf ein vorgegeben Referenzpunkt schauen. Als Referenzpunkt kann z.B. ein Bildschirm, ein IR-Beacon oder ein in Richtung Patient weisender Marker verwendet werden. Damit wird eine Information über die relative Lage und/oder Orientierung des Koordinatensystems der kopftragbaren Darstellungsvorrichtung 1 und einem festen Koordinatensystem, in dem vorzugsweise auch die Position und Orientierung des Patienten festgelegt ist, bereitgestellt. Wenn das Trackingsystems feststellt, dass die Blickrichtung des Operateurs O in Richtung auf den Referenzunkt weist, kann diese Richtung als Referenzrichtung festgelegt werden, die bspw. zum Festlegen von rechts und links im Koordinatensystem des Operateurs dienen kann.
-
In Schritt S200 werden dann Orientierungsdaten D des Head-Mounted Displays 1 erfasst. Im vorliegenden Ausführungsbeispiel können in Schritt S200 zusätzlich zu den Orientierungsdaten D auch Beschleunigungsdaten des Beschleunigungssensors 9 erfasst werden.
-
In Schritt S300 werden dann die erfassten Orientierungsdaten D in Bezug auf die Referenzrichtung ausgewertet, um die Blickrichtung des Operateurs O zu bestimmen. Zusätzlich können ggf. die Beschleunigungsdaten im Hinblick auf eine Kopfbewegung ausgewertet werden.
-
Schließlich wird in Schritt S400 der Transparenzgrad der Displays 5A, 5B verändert, wenn die Blickrichtung in einer vorbestimmten Richtung liegt oder ggf. eine bestimmte Kopfbewegung vorliegt.
-
Es wird nun unter zusätzlicher Bezugnahme auf 4 eine beispielhafte Zuordnung von Blickrichtungen zu verschiedenen Transparenzgraden erläutert.
-
Bei einem Blick des Operateurs 0 nach vorne (wie in 4 dargestellt) innerhalb eines Winkelbereichs I sind die Displays 5A, 5B opak, d.h. sie weisen einen Transparenzgrad von 0% auf. Dreht der Operateur O seinen Kopf 13 13 - und damit seine Blickrichtung - nach unten, werden die Displays 5A, 5B voll transparent, d.h. sie weisen einen Transparenzgrad von 100% auf,, z.B. um Instrumente sehen zu können. Wendet der Operateur O danach seinen Kopf nach rechts in den Winkelbereich II bleiben die Displays 5A, 5B voll transparent, so dass der Operateur mit einer Sterilschwester interagieren kann. Zusätzlich können präoperative radiologische Daten auf den Displays 5A, 5B dargestellt werden. Wendet der Operateur O danach den Blick nach links in den Winkelbereich III bleiben die Displays 5A, 5B ebenfalls voll transparent, um mit weiteren Personen interagieren zu können, und es werden ggf. Patientendaten wie z.B. Vitaldaten, wie Puls und/oder Sauerstoffsättigung durch Einblendung auf den Displays 5A, 5B dargestellt. Blickt des Operateurs wandert danach wieder nach vorne und geradeaus, d.h. nicht nach unten, werden die Displays 5A, 5B wider opak. Außerdem wird bspw. ein mit einem digitalen Operationsmikroskop gewonnenes Bild als VR-Bild dargestellt. Unabhängig von der Blickrichtung kann der Operateur O im vorliegenden Ausführungsbeispiel zudem durch Kopfschütteln die volle Transparenz der Displays 5A, 5B herbeiführen. Durch Nicken mit dem Kopf 13 kann er im Gegenzug die Displays 5A , 5B unabhängig von der Blickrichtung opak machen.
-
Ein alternatives Ausführungsbeispiel des Head-Mounted Displays 100 ist in 5 gezeigt. Das Head-Mounted Display 100 gemäß dem zweiten Ausführungsbeispiel unterscheidet sich vom ersten Ausführungsbeispiel in der Art der Blickrichtungsbestimmung. Statt der Marker 8 oder eines Gyrosensors ist in dem in 5 dargestellten Ausführungsbeispiel eine Kamera 108 vorhanden, mit der ein der Orientierung des Kopfes 13 des Operateurs O entsprechendes Blickfeld aufgenommen wird. Die Auswerteeinheit 10 wertet die in der Aufnahme enthaltenen Bilddaten bspw. mittels einer Mustererkennungseinheit aus, um vordefinierte Bildinhalte zu ermitteln. Diese können bspw. bestimmte im Operationssaal vorhandene Elemente sein, etwa eine passend positionierte Mattscheibe oder bestimmte im Operationssaal vorhandene Geräte. Wird in den Bilddaten einer oder mehrere dieser vordefinierten Bildinhalte erkannt, kann aus der Anordnung der entsprechenden Elemente im aufgenommenen Blickfeld die Blickrichtung des Operateurs ermittelt werden. Alternativ besteht auch die Möglichkeit, mittels einer Weißlichtkamera einen SLAM-Ansatz aus der Robotik zu verfolgen. Dabei steht SLAM für „Simultaneous Localization and Mapping“, zu Deutsch: „Simultanes Lokalisieren und Kartographieren“. In dem SLAM-Ansatz wird aus Aufnahmen der Umgebung des Head-Mounted Displays 100 inkrementell eine Karte der Umgebung erstellt, in der die Position und Orientierung des Head-Mounted Displays 100 bekannt ist. Als Alternativen zu gewöhnlichen Kameras können auch Tiefensensoren wie bspw. ToF-Kameras zum Einsatz kommen, um eine Karte der Umgebung zu erstellen, in der die Position und Orientierung des Head-Mounted Displays 100 bekannt ist.
-
Die vorliegende Erfindung wurde anhand von Ausführungsbeispielen zu Erläuterungszwecken im Detail beschrieben. Ein Fachmann erkennt jedoch, dass im Rahmen der vorliegenden Erfindung von den Ausführungsbeispielen abgewichen werden kann. So kann die kopftragbare Darstellungsvorrichtung statt als Head-Mounted Display als Lupenbrille ausgestaltet sein, bei der mittels eines Spiegels mit einstellbarer Transparenz auf wenigstens einem Display dargestellte Inhalte in den Lupenstrahlengang eingespiegelt werden können. Dabei wird unter einer Lupenbrille eine an einer Art Brillengestell angeordnete Lupe verstanden. Lupenbrillen finden ihre Verwendung hauptsächlich im Bereich der Medizin und der Technik. So ist bspw. in der Allgemein-, Herz- und Viszeral- oder Augenmuskelchirurgie eine Lupenbrille zur vergrößernden Darstellung des Operationsgebietes für den Operateur von großem Vorteil. Durch Wechsel der Transparenz des Spiegels von transparent zu opak kann zwischen einem AR-Modus und einem VR-Modus der Einspiegelung der auf dem wenigstens Displays dargestellten Inhalte hin und her geschaltet werden. Der Transparenzgrad kann dabei wie am Beispiel des Head-Mounted Displays beschrieben anhand der Blickrichtung und/oder anhand von Kopfbewegungen gesteuert werden. Die vorliegende Erfindung soll daher nicht auf die beschriebenen Ausführungsbeispiele beschränkt sein, sondern lediglich durch die beigefügten Ansprüche.
-
Bezugszeichenliste
-
- 1
- Head-Mounted Display
- 2.
- Operationsmikroskop
- 2A, B
- Bildsensoren
- 3A,B
- Wiedergabeanordnung
- 4
- Kopfbügel
- 5A,B
- Bildschirm
- 6
- Erfassungseinheit
- 8
- Marker
- 9
- Beschleunigungssensor
- 10
- Auswerteeinheit
- 11
- Ansteuereinheit
- 13
- Kopf
- 100
- Head-Mounted Display
- 108
- Kamera
- I
- Winkelbereich
- II
- Winkelbereich
- III
- Winkelbereich
- D
- Daten
- O
- Operateur
- S
- Signal
- S100
- Festlegen Referenzrichtung
- S200
- Erfassen Orientierungsdaten
- S300
- Auswerten Orientierungsdaten
- S400
- Verändern Transparenzgrad
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 10335369 A1 [0005]
- US 2012/0086624 A1 [0009]