-
Die Erfindung betrifft ein Bildaufnahmeverfahren, bei welchem eine Bildsequenz, insbesondere in Form eines Videobilddatenstroms, mit einem Bildsensor eines medizinischen Bildaufnahmesystems aufgenommen wird und wobei mithilfe von Bedienelementen Funktionen von Komponenten des Bildaufnahmesystems eingestellt beziehungsweise bedient werden.
-
Dabei kann die Bildsequenz beispielsweise eine Sequenz aus Einzelbildern sein, die insbesondere in Form eines Videobilddatenstroms vorliegen kann. Ein solches Bildaufnahmesystem kann beispielsweise ein Endoskopiesystem sein. Dieses kann als eine Komponente ein Endoskop mit einem Bildsensor, insbesondere in Form eines Videoendoskops, umfassen. Ein wie eingangs beschriebenes Bildaufnahmesystem kann aber beispielsweise auch als ein Exoskop oder ein Digitalmikroskop, jeweils mit zugehörigem Bildsensor, ausgestaltet sein.
-
Die mit den Bedienelementen einstellbaren beziehungsweise bedienbaren Funktionen können entsprechend beispielsweise Funktionen eines solchen Endoskops / Exoskops / Digitalmikroskops oder aber einer zugehörigen Kamerasteuerungseinheit sein.
-
Die Erfindung betrifft ferner ein zugehöriges medizinisches Bildaufnahmesystem mit einem Bildsensor sowie mehreren Bedienelementen zum Steuern des Bildaufnahmesystems. Ein solches Bildaufnahmesystem kann dabei insbesondere als ein Endoskopiesystem ausgestaltet sein und somit ein Endoskop mit einem Bildsensor umfassen; es kann aber beispielsweise auch in Form eines Exoskops oder eines Digitalmikroskops vorliegen.
-
Anwender von derartigen Bildaufnahmesystemen, insbesondere derartigen Endoskopiesystemen, sind oft nicht in der Lage, die technischen Möglichkeiten der Systeme voll auszunutzen. Ein banaler Grund hierfür ist oftmals, dass die Bedienung, insbesondere die Einstellung von notwendigen Bildaufnahmeparametern, kompliziert und langwierig ist. Denn bei vorbekannten Endoskopiesystemen ist gerade die Bedienung des Kamerakopfes, der den Bildsensor des Endoskops ausliest und steuert, beziehungsweise des gesamten Videoendoskops oftmals wenig intuitiv und häufig sehr komplex, insbesondere dann, wenn das Endoskopiesystem mit Funktionalität überladen ist.
-
Aus
WO 2018 / 017 625 A1 sowie
WO 2016 / 168 838 A2 ist ein Kameragerät bekannt, welches zunächst eine Serie von Vorschaubildern bei unterschiedlichen voreingestellten Bildaufnahmeparametern automatisiert aufnimmt und diese einem Benutzer anzeigt. Anschließend wird der Benutzer mittels transparenter Objekte auf einem Touchscreen bei der Auswahl gewünschter Parameter angeleitet. Danach folgt eine Benutzereingabe über das Touchscreen und hierauf ein erneutes Aufnehmen von Bildern mit den vom Benutzer ausgewählten Parametern.
-
Aus
US 2015 / 0 334 292 A1 ist eine Methode bekannt, haptisches feedback an einen Benutzer zu senden, um dadurch den Benutzer bei der Aufnahme von Bildern zu assistieren, wobei hierzu Objekte im Bild erkannt und eine Umgebungslichtmessung durchgeführt wird.
-
Weiter ist es bekannt, etwa aus der Publikation von HIANG, D. und KIM, J.-W. (2019) „A Scene Change Detection Framework Based on Deep Learning and Image Matching“, MUE/FutureTech 2018, S.623-629, dass „deep learning networks“, also eine bestimmte Klasse künstlicher Intelligenz, eingesetzt werden kann, um eine automatische Detektion von Änderungen einer Bildaufnahme-Szene zu implementieren.
-
Von diesem Hintergrund ausgehend, liegt der Erfindung die Aufgabe zugrunde, die Bedienbarkeit von medizinischen Bildaufnahmesystemen im Allgemeinen und von Endoskopiesystemen im Speziellen zu erhöhen, damit der volle Funktionsumfang auch tatsächlich, gerade in medizinischen Anwendungssituation zum Beispiel von Operateuren, genutzt werden kann.
-
Zur Lösung dieser Aufgabe sind erfindungsgemäß bei einem Bildaufnahmeverfahren die Merkmale von Anspruch 1 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Bildaufnahmeverfahren der eingangs genannten Art vorgeschlagen, dass in Reaktion auf eine durch das Bildaufnahmesystem detektierte Änderung einer Bildaufnahmesituation wenigstens einem der Bedienelemente wenigstens eine Funktion neu zugewiesen wird. Hierbei wird eine momentane Funktionsneubelegung der Bedienelemente auf einer Anzeigeeinheit angezeigt und die Bedienelemente sind an einer der Komponenten angeordnet, die baulich von der Anzeigeeinheit getrennt ist. Dadurch wird erreicht, dass über die Bedienelemente ohne Berührung der Anzeigeeinheit gewünschte Einstellungen vorgenommen werden können.
-
Ist das Bildaufnahmesystem beispielsweise als ein Endoskopiesystem ausgestaltet, so kann das Endoskopiesystem, also verallgemeinert das medizinische Bildaufnahmesystem, die Neuzuweisung automatisch, also insbesondere selbsttätig, vornehmen.
-
Diese automatisierte Neuzuweisung beziehungsweise Neubelegung von mindestens einem der Bedienelemente mit mindestens einer neuen Funktion ordnet dem wenigstens einen Bedienelement somit mindestens eine Funktion zu, die vor der Belegung nicht mit dem mindestens einen Bedienelement steuerbar war.
-
Dabei kann die neue mindestens eine Funktion auch mehreren der Bedienelemente zugewiesen werden, sodass die neue Funktion durch mehrere Bedienelemente bedienbar wird.
-
Werden durch die Neubelegung mehrere der Bedienelemente mit einer neuen Funktion belegt, so können gleichzeitig auch mehrere unterschiedliche Funktionen auf mehrere Bedienelemente verteilt werden. Bei einer solchen Ausgestaltung werden also mehrere Funktionen durch die Neubelegung neu zugewiesen. Auch bei dieser Variante kann eine dieser Funktionen wiederum mehreren der Bedienelemente zugewiesen werden.
-
Es versteht sich, dass dadurch mannigfaltige Variationen von Neuzuweisungen beziehungsweise Neubelegungen der Bedienelemente möglich sind. Hierbei kann auch vorgesehen sein, dass berücksichtigt wird, ob der Benutzer ein Linkshänder oder ein Rechtshänder ist. Denn nach einer einmaligen Benutzereingabe kann sich das Bildaufnahmesystem, insbesondere das besagte Endoskopiesystem, entsprechend anpassen und die Neubelegung der Bedienelemente jeweils angepasst für einen Linkshänder oder einen Rechtshänder vornehmen.
-
Ferner können auch durch entsprechende Benutzereingaben bestimmte Vorlieben von Anwendern hinsichtlich der je nach erkannter Bildaufnahmesituation vorzunehmenden Funktionsneubelegung berücksichtigt werden. Es kann also vorgesehen sein, dass bei der Neuzuweisung eine vorab erfolgte Benutzereingabe berücksichtigt wird, insbesondere derart, dass die Neuzuweisung einem individuellen Wunsch eines Benutzers des Bildaufnahmesystems entspricht.
-
Eine Änderung der Bildaufnahmesituation im Sinne der Erfindung kann insbesondere dann vorliegen, wenn eine Bildverarbeitungseinheit des Bildaufnahmesystems, insbesondere des Endoskopiesystems, eine spezifische Bildaufnahmesituation erkennt / detektiert. Es kann also alternativ oder ergänzend vorgesehen sein, dass die Bedienelemente in Reaktion auf eine erkannte spezifische Bildaufnahmesituation mit Funktionen neu belegt werden.
-
Solche spezifischen Bildaufnahmesituationen können gemäß der Erfindung zum Beispiel durch eine Parametrisierung vordefiniert sein. Entsprechend kann auch ein bestimmter Katalog an vordefinierten Bildaufnahmesituationen, etwa in Form vordefinierter Parametersätze, von dem Bildaufnahmesystem / dem Endoskopiesystem vorgehalten werden, um die Erkennung dieser vordefinierten Bildaufnahmesituationen zu ermöglichen.
-
Die Grundidee der Erfindung besteht folglich darin, aus einem sehr umfangreichen gesamten Funktionsumfang des Bildaufnahmesystems situationsabhängig nur die jeweils sinnvollen, da in der jeweiligen Situation benötigten, Funktionen, beispielsweise zur Einstellung bzw. Parametrisierung von Einstellparamatern, zur Verfügung zu stellen.
-
Mit anderen Worten nimmt somit das Bildaufnahmesystem dem Benutzer Arbeit ab, indem es - auf Grundlage einer eigenen Intelligenz - dem Benutzer eine situationsangepasste Auswahl an mit den Bedienelementen einstellbaren Funktionen anbietet. Diese momentan mit den Bedienelementen einstellbaren Funktionen können dabei typischerweise nur einen Teil einer Gesamtheit von Einstellmöglichkeiten bzw. Funktionen des Bildaufnahmesystems und ggf. weiterer mit den Bedienelementen steuerbarer oder einstellbarer externer Geräte ausmachen.
-
Diese zeitveränderliche Selektion an mit den Bedienelementen einstellbarer Funktionalität kann somit insbesondere einen momentan einstellbaren Funktionsumfang in Abhängigkeit einer erkannten Bildaufnahmesituation verändern, insbesondere reduzieren, nämlich durch die besagte Neubelegung, was zu einer Entlastung des Benutzers führt. Die Reduktion des Funktionsumfangs wird hierbei ersichtlich, wenn man den jeweiligen momentan mit den Bedienelementen einstellbaren Funktionsumfang mit dem vollen Funktionsumfang des Bildaufnahmesystems vergleicht, welcher nur nach Neubelegung der Bedienelemente mit vor der Neubelegung nicht mit den Bedienelementen einstellbaren Funktionen genutzt werden kann.
-
Eine Neubelegung der Bedienelemente mit Funktionen macht beispielsweise dann Sinn, wenn eine neue Bildaufnahmesituation eine jeweilige Anpassung einer Darstellung / einer Aufnahme / einer Verarbeitung der Bildsequenz erfordert und/oder dann, wenn zusätzliche Funktionalität benötigt wird, die in einer vorangegangenen Bildaufnahmesituation noch nicht benötigt und daher auch noch nicht angeboten wurde.
-
Die Bildsequenz kann grundsätzlich aus Einzelbildern bestehen. Sie kann aber auch in Form eines Videobilddatenstroms von dem Bildaufnahmesystem, insbesondere von einem Endoskop, aufgezeichnet werden. In diesem Fall handelt es sich demnach um ein Videobildaufnahmesystem beziehungsweise um ein Videoendoskopiesystem.
-
Die Bedienelemente können wie im Stand der Technik bekannt zum Beispiel als Tasten, Knöpfe, Schieberegler, oder als Drehregler ausgestaltet sein. Sie können aber auch durch berührungsempfindliche Flächen gebildet sein, etwa als virtuelle Tasten auf einem berührungsempfindlichen Touchdisplay.
-
Die Vorteile des erfindungsgemäßen Verfahrens sind insbesondere:
- - der Anwender kann einfach und schnell auf benötigte Befehle zugreifen, da ihm diese vom Bildaufnahmesystem situationsgerecht angeboten werden;
- - ein aufwendiges Suchen in Untermenüs kann somit entfallen;
- - auch ein aufwendiges Verstehen der Wechselwirkungen zwischen einzelnen Einstellfunktionen kann entfallen, denn diese kennt und berücksichtigt das Bildaufnahmesystem;
- - der Anwender wird von aufwändiger Bedienung und Suche nach passenden Einstellmöglichkeiten entlastet; er kann sich somit auf die eigentliche Arbeit mit dem Bildaufnahmesystem konzentrieren.
- - die Ablenkung durch eine aufwändige Bedienung wird minimiert; dies dient nicht zuletzt der Sicherheit des Patienten.
- - gleichzeitig kann der volle Funktionsumfang ausgenutzt werden und damit eine bessere Performanz erzielt werden.
- - die technischen Möglichkeiten des Bildaufnahmesystems können somit optimal ausgenutzt werden; damit wird der technische Nutzen des Systems für den Patienten maximiert;
- - die Anzahl der Bedienelemente kann reduziert werden; damit wird eine einfachere und intuitivere Bedienung möglich.
- - es ergeben sich ein verbesserter Workflow und damit reduzierte OP-Zeiten.
- - eine Unterstützung bei der OP-Dokumentation ist durch angebotene Funktionen implementierbar.
-
Gerade bei medizinischen Anwendungen ergibt sich zudem der Vorteil, dass ein Operateur, der ein erfindungsgemäßes Bildaufnahmesystem in Form eines Videoendoskopiesystems benutzt, während einer Operation nur eine vergleichsweise geringe Anzahl an Bedienelementen anfassen muss, um den vollen Funktionsumfang des Endoskopiesystems nutzen zu können. Dies ist von großem Vorteil, da der Operateur steril bleiben muss und daher mit möglichst wenigen Gegenständen in Kontakt kommen darf.
-
Erfindungsgemäß kann die Aufgabe auch durch weitere vorteilhafte Ausführungen gemäß den Unteransprüchen gelöst werden.
-
Beispielsweise kann die Detektion der Änderung der Bildaufnahmesituation anhand einer computerimplementierten Auswertung der aufgenommenen Bildsequenz erfolgen. Eine solche Auswertung, insbesondere durch Bildanalyse, kann beispielsweise Aufschluss darüber geben, welche OP-Situation gerade vorliegt. Die Auswertung der mit dem Bildsensor aufgenommenen Bildsequenz kann dabei zum Beispiel auf eine Farbanalyse gestützt sein, oder Informationen über in der Bildsequenz sichtbare Operationsinstrumente liefern. Hierzu kann auch eine Strukturerkennung eingesetzt werden, wodurch sich insbesondere auch bestimmte Organe oder Gewebetypen und hieraus wiederum bestimmte Typen von Operationen erkennen lassen. Mit anderen Worten kann die Auswertung somit der Identifizierung einer spezifischen Bildaufnahmesituation anhand von charakteristischen Strukturen, Farben, oder sonstigen Informationen dienen, die aus der Bildsequenz abgeleitet worden sind.
-
Besonders vorteilhaft ist es in allen diesen Situationen, wenn die Belegung mit einer Funktion erfolgt, die in der jeweils erkannten Bildaufnahmesituation vom Benutzer des Bildaufnahmesystems gebraucht wird.
-
Alternativ oder ergänzend kann die Detektion der Änderung der Bildaufnahmesituation auch anhand einer erfolgten Ansteuerung, beispielsweise eines Einschaltens, eines externen Geräts und/oder anhand eines Signals eines Sensors erfolgen. Dadurch wird es beispielsweise möglich, bestimmte Phasen einer Operation zu erkennen, zum Beispiel eine Geweberesektion mit Hilfe eines elektrochirurgischen HF-Skalpells. In Reaktion kann dann entsprechend sinnvolle Funktionalität angeboten werden, beispielsweise eine auf Bildverarbeitung basierende Rauchunterdrückung, die über eines der Bedienelemente aktiviert werden kann.
-
Die Funktionsneubelegung der Bedienelemente kann derart erfolgen, dass einem Benutzer des Bildaufnahmesystems adaptiv eine auf eine momentane Bildaufnahmesituation angepasste Auswahl von mit den Bedienelementen momentan bedienbaren Funktionen angeboten wird. Dieses Angebot kann vorzugsweise durch einen optischen oder sonstigen Hinweis erfolgen.
-
Die Bedienelemente können beispielsweise als virtuelle Tasten, insbesondere auf einem Touchscreen, zum Beispiel einem Mini-Touchscreen auf einem Kamerakopf eines erfindungsgemäßen Bildaufnahmesystems in Form eines Endoskopiesystems, realisiert sein. In diesem Fall kann der Hinweis schlicht dadurch erfolgen, dass sich die Darstellung der jeweiligen virtuellen Taste ändert, sobald eine neue Funktion auf die virtuelle Taste gelegt ist und/oder sobald eine Funktionsneubelegung der virtuellen Taste dem Benutzer angeboten wird.
-
Dabei ist es wünschenswert gemäß der Erfindung, wenn ein momentan mit den Bedienelementen bedienbarer Funktionsumfang, im Vergleich zu einem durch mehrmalige Neubelegung der Bedienelemente nutzbaren Funktionsumfang, reduziert ist. Denn gerade diese Reduktion führt zu einer Entlastung des Benutzers, wobei eine jeweilige situationsabhängige Neubelegung der Bedienelemente mit Funktionen weiterhin den vollen Funktionsumfang zugänglich macht.
-
Für medizinische Anwendungen schlägt die Erfindung ferner vor, dass die Bedienelemente als mechanische Manipulatoren und nicht etwa mittels einer graphischen Benutzeroberfläche (graphical user interfaces - GUI) ausgebildet sind. Dies hat den Vorteil, dass die Manipulatoren während der Einstellung der jeweiligen Funktion haptisch wahrgenommen, insbesondere ertastet, werden können. Dadurch kann sich der Operateur voll auf ein Videolivebild konzentrieren ohne durch die Bedienung einer GUI abgelenkt zu werden.
-
Die Erfindung schlägt somit insbesondere vor, manuelle Bedienelemente, welche haptisch erfassbar sind, situationsangepasst neu mit Funktionen zu belegen. Die haptische Erfassbarkeit ist dabei von zentraler Bedeutung, da sie dem Operateur ermöglicht, blind die Bedienelemente zu bedienen ohne dabei - wie etwa bei adaptiven graphischen Benutzeroberflächen - nicht-sterile Oberflächen berühren zu müssen und zudem optisch abgelenkt zu werden. Die Geschwindigkeit mit der sich durch diese spezifische Ausgestaltung Einstellungen vornehmen lassen, ist weit höher, als wenn der Operateur jedes neu erscheinende Anzeigeelement in einer GUI aufwändig antippen muss, was zudem aus Gründen der Sterilität oftmals gar nicht möglich ist.
-
Ferner ist es vorteilhaft in medizinischen Anwendungen, wenn die Bedienelemente so an einer der Komponenten des Bildaufnahmesystems angeordnet sind, dass sie in einer medizinischen Aufnahmesituation mittels einzelner Finger oder Fingerpaare bedienbar sind und/oder sterilisierbar sind. Denn dies ermöglicht dem Operateur eine einfache und sterile Bedienung des Bildaufnahmesystems. Besonders gut gelingt dies, wenn die Bedienelemente beispielsweise an einem Kamerakopf eines Endoskops des Bildaufnahmesystems ausgestaltet sind.
-
Um die Bedienung des Bildaufnahmesystems weiter zu verbessern schlägt die Erfindung, wie oben erwähnt, vor, eine momentane Funktionsneubelegung der Bedienelemente auf einer Anzeigeeinheit anzuzeigen. Dies kann vorzugsweise mittels eines Piktogramms geschehen, welches eine räumliche Anordnung der Bedienelemente an einer jeweiligen Komponente des Bildaufnahmesystems und/oder eine momentan auf ein jeweiliges der Bedienelemente gelegte Funktion anzeigt. Hierdurch kann der Operateur durch einen kurzen Blick auf die Anzeigeeinheit die momentane Funktionsneubelegung erfassen und dennoch blind über die Bedienelemente und ohne Berührung der Anzeigeeinheit gewünschte Einstellungen vornehmen.
-
Besonders bevorzugt ist es hierbei, wenn die Anzeige der momentanen Funktionsneubelegung parallel zu einem aus der Bildsequenz erzeugten und auf der Anzeigeeinheit angezeigten Live-Bild geschieht. Die momentane Funktionsneubelegung, insbesondere das erwähnte Piktogramm, kann hierzu beispielsweise als Überlagerung auf dem Live-Bild oder in einem separaten Fenster angezeigt werden.
-
Gemäß einer weiteren Ausführung kann zudem eine gerade eingestellte und angebotene Funktionsneubelegung von dem Bildaufnahmesystem, insbesondere dem besagten Endoskopiesystem, wieder zurückgenommen werden, nämlich dann, wenn ein Benutzer die angebotene Funktionsneubelegung nicht quittiert. Dies vermeidet Fehlbedienungen und entlastet den Operateur zusätzlich.
-
Aufgrund der erfolgten Funktionsneubelegung kann in bestimmten Fällen mit den Bedienelementen einer Komponente des Bildaufnahmesystems, vorzugsweise mit Bedienelementen eines Kamerakopfes eines Endoskops des besagten Endoskopiesystems, mindestens eine Funktion von mindestens einer weiteren Komponente des Bildaufnahmesystems / des Endoskopiesystems, also beispielsweise einer Lichtquelle oder einer Kamerasteuerungseinheit, und/oder von mindestens einem externen Gerät, beispielsweise einem chirurgischen Operationsinstrument, einer Fluidpumpe oder einem Insufflator, eingestellt werden.
-
Mit anderen Worten kann also durch die Funktionsneubelegung der Bedientasten eine Funktionalität einer zweiten Komponente des Bildaufnahmesystems / des Endoskopiesystems oder eines externen Geräts mit Bedientasten einer ersten Komponente des Bildaufnahmesystems / des Endoskopiesystems bedienbar sein. Durch diesen Ansatz kann die Anzahl der Bedienelemente, die während einer OP steril gehalten werden müssen, beispielsweise nur die des Kamerakopfes, reduziert werden. Dies ist vorteilhaft, da in diesem Fall weniger Komponenten steril gehalten werden müssen.
-
Die Belegung der Bedienelemente erfolgt bevorzugt computerimplementiert, um den Benutzer zu entlasten. Sie kann ferner insbesondere fortlaufend während einer Aufnahme der Bildsequenz erfolgen, und zwar insbesondere derart, dass einem Benutzer des Bildaufnahmesystems, insbesondere des Endoskopiesystems, auf einer, insbesondere der zuvor erläuterten, Anzeigeeinheit stets eine auf eine momentane Aufnahmesituation angepasste Auswahl von auf die Bedienelemente gelegter Funktionen angezeigt wird, ohne dass der Benutzer die Belegung selbst vornehmen muss.
-
Die Funktionen, die den Bedienelementen zugewiesen werden, können beispielsweise eine Einstellung einer Bearbeitung und/oder Verarbeitung der Bildsequenz und/oder eine Einstellung von mindestens einem Bildaufnahmeparameter der Bildsequenz, wie beispielsweise einer Bildhelligkeit, Bildfarbe, Bildkontrast, oder Bildschärfe, betreffen. Dadurch wird eine enorme Vielfalt an Funktionen mit nur wenigen Bedienelementen steuerbar.
-
Die Funktionsneubelegung kann ferner - zusätzlich oder alternativ zur Auswertung der Bildsequenz - auf Basis von aus der Bildsequenz, insbesondere aus einem aus der Bildsequenz erzeugten Videobilddatenstrom, erzeugten Metadaten und/oder auf Basis von externen Daten von externen Geräten und/oder von externen Daten von Sensoren vorgenommen werden. Diese Sensoren können Teil des Bildaufnahmesystems sein oder in externen Geräten verbaut sein. In jedem Fall sollte das Bildaufnahmesystem aber über Möglichkeiten verfügen, Sensorsignale abfragen zu können.
-
Wie bereits eingangs erläutert, kann die computerimplementierte Auswertung der aufgenommenen Bildsequenz der Erkennung einer spezifischen Bildaufnahmesituation dienen. Eine solche Bildaufnahmesituation kann beispielsweise eine bestimmte Phase innerhalb eines medizinischen Eingriffs oder eine bestimmte Szene mit charakteristischem Bildinhalt, beispielsweise eine Blutansammlung, sein. Eine solche Bildaufnahmesituation erfordert in der Regel einen spezifischen einstellbaren Funktionsumfang des Bildaufnahmesystems. Daher kann in vorteilhafter Weise die Belegung der Bedienelemente gerade diesen spezifischen Funktionsumfang mit den Bedienelementen bedienbar machen.
-
Die computerimplementierte Auswertung der aufgenommenen Bildsequenz kann ferner eine kontextbasierte Datenanalyse der Bildsequenz umfassen. Unter einer kontextbasierten Datenanalyse werden im Allgemeinen Analysen verstanden, die dem Entdecken von Konstellationen in inhaltlich zusammenhängenden Daten dienen, also beispielsweise der Sequenz von Einzelbildern, die mit dem Bildsensor aufgenommen wird. Im Sinne der Erfindung kann unter einer kontextbasierten Datenanalyse insbesondere eine Auswertung von Bilddaten, insbesondere in Kombination mit einer Auswertung von aus der Bildsequenz erzeugten Metadaten und/oder von externen Daten von externen Geräten und/oder von Sensoren, verstanden werden, bei der eine bestimmte, insbesondere antrainierte Bildaufnahmesituation, beispielsweise eine bestimmte Phase eines medizinischen Eingriffs, computerimplementiert, vorzugsweise ohne Zutun des Benutzers, identifiziert wird.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung kann die computerimplementierte Auswertung, insbesondere besagte Datenanalyse, auf eine künstliche Intelligenz (KI) gestützt werden.
-
Diese KI kann beispielsweise auf einem neuronalen Netzwerk und/oder auf einem Algorithmus basieren, der mit Hilfe von Beispielbildsequenzen, vorzugsweise unter menschlicher Anleitung, trainiert worden ist. Denn eine solche Datenanalyse kann gemäß der Erfindung dazu genutzt werden, eine spezifische, insbesondere vordefinierte, Bildaufnahmesituation zu erkennen, um dann eine entsprechende Funktionsneubelegung vornehmen zu können.
-
Der verwendete Algorithmus kann somit eine künstliche Intelligenz zur Erkennung von typischen Bildaufnahmesituationen, beispielsweise von zeitlich aufeinander folgenden einzelnen Phasen eines chirurgischen Eingriffs, realisieren. Dadurch kann der Algorithmus, insbesondere auf Basis des vorab durchgeführten Trainings, anhand charakteristischer Eigenschaften eines momentanen Abschnitts eines mit dem Bildaufnahmesystem aufgezeichneten Videobilddatenstroms erkennen, welche spezifische Bildaufnahmesituation vorliegt. Gegebenenfalls kann der Algorithmus anschließend einen für diese Bildaufnahmesituation hinterlegten Parametersatz selektieren, der die Funktionsneubelegung der Bedienelemente bestimmt.
-
Somit ist es besonders vorteilhaft, wenn der Algorithmus vor Anwendung des Verfahrens auf dem Bildaufnahmesystem, mittels von einem Menschen überwachtem Lernen anhand von Beispielbilddaten trainiert worden ist. Diese Beispieldaten können beispielsweise Videoaufnahmen sein, insbesondere von chirurgischen Eingriffen. Das Training kann darin bestehen, dass ein Operateur die Videoaufnahmen in Klassen einteilt, wobei der Algorithmus anhand charakteristischer Eigenschaften des jeweiligen Videobilddatenstroms und der Rückmeldung (feedback) des Operateurs lernt, die Klassen in den Videoaufnahmen zu erkennen.
-
Durch diese Art von künstlicher Intelligenz (KI) wird der Algorithmus also in die Lage versetzt, typische Bildaufnahmesituationen automatisiert zu klassifizieren. Ferner kann der Algorithmus dann eine, beispielsweise von einem Mediziner für die jeweils identifizierte Klasse als optimal empfundene, Funktionsneubelegung der Bedienelemente vorgeben. Mit anderen Worten stellt die KI somit sicher, dass in jeder trainierten Klasse von Bildaufnahmesituationen, die beispielsweise jeweils typisch für eine bestimmte Klasse von chirurgischen Eingriffen sein kann, stets die optimale Funktionsneubelegung der Bedienelemente automatisch vom Bildaufnahmesystem eingestellt wird. Dadurch kann für jede erkannte Klasse stets eine optimale Bedienung des Bildaufnahmesystems sichergestellt werden.
-
Die computerimplementierte Auswertung der aufgenommenen Bildsequenz kann ferner auf einem Vergleich von mindestens einer aus der Bildsequenz gewonnenen Wahrscheinlichkeitskennzahl mit einem zugehörigen Schwellwert beruhen. Bevorzugt beruht die Auswertung jedoch auf einem Vergleich von mehreren voneinander unabhängigen Wahrscheinlichkeitskennzahlen mit jeweils zugehörigen Schwellwerten.
-
Solche Wahrscheinlichkeitskennzahlen können zum Beispiel durch eine Parametrisierung der Bildsequenz, beispielsweise basierend auf einer Farb-, Bewegungs-, Struktur-, oder Mustererkennung gewonnen werden. Diese Parametrisierung kann von einer geeigneten Bildverarbeitung bereitgestellt werden.
-
Gemäß einer bevorzugten Ausgestaltung wird die mindestens eine Wahrscheinlichkeitskennzahl mit Hilfe eines Algorithmus gewonnen, der eine künstliche Intelligenz (KI) implementiert. Diese KI kann insbesondere trainierbar beziehungsweise trainiert sein, insbesondere anhand von BeispielBildsequenzen.
-
Bei einer solchen Ausgestaltung ist es vorzuziehen, wenn das Bildaufnahmesystem nur bei Überschreiten des zugehörigen Schwellwerts eine neue Funktionsneubelegung der Bedienelemente vorschlägt. Werden mehrere unabhängige Wahrscheinlichkeitskennzahlen verwendet, so ist es vorzuziehen, wenn nur bei Überschreiten aller verwendeten Schwellwerte eine neue Funktionsneubelegung der Bedienelemente von dem Bildaufnahmesystem vorgeschlagen wird. Durch solche Ausgestaltungen wird eine Überlastung des Operateurs durch zu häufige Vorschläge vermieden. Denn eine Funktionsneubelegung kann dann unterbleiben, wenn die Schwellwerte nicht überschritten werden. Somit wird die Funktionsneubelegung nur durchgeführt, wenn eine Änderung der Bildaufnahmesituation mit einer voreingestellten statistischen Sicherheit, bestimmt durch mindestens eine Wahrscheinlichkeitskennzahl, erkannt worden ist.
-
Gemäß der Erfindung kann ferner in Reaktion auf eine Ansteuerung, beispielsweise ein Einschalten, eines externen Geräts wie beispielsweise einem elektrochirurgischen Operationsinstrument, eine auf das externe Gerät angepasste Funktion auf eines der Bedienelemente gelegt werden. Eine solche Funktion kann beispielsweise eine auf Bildverarbeitung beruhende Rauchunterdrückung oder eine Anpassung von Bildaufnahmeparametern sein. Diese Belegung kann insbesondere derart erfolgen, dass ein Benutzer des Bildaufnahmesystems die angebotene Funktion über ein jeweiliges Bedienelement aktivieren beziehungsweise einstellen kann, um die Darstellung der Bildsequenz entsprechend anzupassen. Hierzu kann das Bildaufnahmesystem in ständigem Kontakt zu dem externen Gerät stehen, beispielsweise über ein Kabel oder eine drahtlose Verbindung.
-
Mindestens eine der Funktionen, die auf eines der Bedienelemente gelegt werden kann beziehungsweise gelegt wird, kann der Ansteuerung einer Komponente des Bildaufnahmesystems, insbesondere des Endoskopiesystems, oder eines externen Geräts, beispielsweise einem Operationsinstrument, einer Fluidpumpe oder einem Insufflator, dienen. Dadurch können diese Geräte bzw. Komponenten somit über die Bedienelemente direkt gesteuert werden, wobei die jeweiligen Bedienelemente zum Beispiel am Kamerakopf angeordnet sein können.
-
Bei einer solchen Ausgestaltung ist es besonders vorteilhaft, wenn ein jeweiliges Bedienelement mit einer Steuerfunktion, beispielsweise das Betätigen eines Spülkanals, in Abhängigkeit einer erkannten spezifischen Bildaufnahmesituation, beispielsweise eine Operations-Szene mit einer Blutansammlung, belegt wird. Denn dadurch kann die jeweilige Steuerfunktion bedarfsgerecht angeboten werden, während in Fällen, in denen die Steuerfunktion nicht benötigt wird, beispielsweise wenn keine Blutansammlung im Videobild zu erkennen ist, diese gerade nicht angeboten wird.
-
Zur Lösung der genannten Aufgabe sind ferner erfindungsgemäß die Merkmale des unabhängigen Vorrichtungsanspruchs 16 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Bildaufnahmesystem der eingangs beschriebenen Art vorgeschlagen, dass das Bildaufnahmesystem eine Bildverarbeitungseinheit zur Auswertung einer mit dem Bildsensor aufgenommenen Bildsequenz sowie eine Steuereinheit umfasst. Hierbei ist die Bildverarbeitungseinheit dazu eingerichtet, mindestens eine spezifische Bildaufnahmesituation durch Auswertung der Bildsequenz zu erkennen und die Steuereinheit ist dazu eingerichtet, anhand der erkannten Bildaufnahmesituation mindestens eine Funktion mindestens einem der Bedienelemente zuzuweisen. Auch bei diesem Bildaufnahmesystem ist zudem vorgesehen, dass die Anzeigeeinheit räumlich getrennt von den Bedienelementen angeordnet ist, sodass über die Bedienelemente ohne Berührung der Anzeigeeinheit gewünschte Einstellungen vorgenommen werden können.
-
Im Falle der Ausgestaltung des Bildaufnahmesystems als ein Endoskopiesystem ist es für eine besonders einfache Bedienung vorzuziehen, wenn die Bedienelemente als manuelle Bedienelemente an einem Kamerakopf ausgestaltet sind.
-
Ferner ist es besonders vorteilhaft, wenn das Bildaufnahmesystem, also insbesondere das besagte Endoskopiesystem, vorzugsweise die besagte Bildverarbeitungseinheit und/oder Steuereinheit, dazu eingerichtet ist/sind, ein erfindungsgemäßes Verfahren wie zuvor beschrieben oder gemäß einem der auf ein Bildaufnahmeverfahren gerichteten Ansprüche 1 bis 15 auszuführen.
-
Die Bildverarbeitungseinheit kann beispielsweise lokal in einer Kamerasteuerungseinheit des Bildaufnahmesystems oder etwa in einer externen lokalen Recheneinheit realisiert sein. Die Bildverarbeitungseinheit kann aber auch ausgelagert sein. Somit kann die Bildverarbeitungseinheit beispielsweise auch mittels eines lokalen Servernetzwerks oder mittels einer „Cloud-Lösung“, also mittels einer IT-Infrastruktur, die über das Internet verfügbar ist, realisiert sein.
-
Die besagten Bedienelemente können beispielsweise als manuelle Bedienelemente, also zum Beispiel durch Tasten, Knöpfe oder Einstellräder und/oder durch virtuelle Bedienelemente ausgestaltet sein. Ein solches virtuelles Bedienelement kann beispielsweise eine virtuelle Taste sein, die graphisch auf einem berührungsempfindlichen Bildschirm realisiert ist.
-
Diejenigen Bedienelemente, auf die neuen Funktionen gelegt werden können, sind gemäß einer besonders vorteilhaften Ausgestaltung an einem Kamerakopf eines Endoskops ausgestaltet. Denn dadurch lässt sich eine besonders intuitive Bedienung des gesamten Endoskopiesystems erreichen, bei der der Operateur seine Hände nicht vom Endoskop nehmen muss, um den vollen Funktionsumfang des Endoskopiesystems steuern zu können.
-
Die Steuereinheit des Bildaufnahmesystems / des Endoskopiesystems kann beispielsweise dazu eingerichtet sein, eine Anzeigeeinheit so anzusteuern, dass die Anzeigeeinheit eine momentane Funktionsneubelegung des mindestens einen manuellen Bedienelements des Kamerakopfes anzeigt. Wie bereits im Zusammenhang mit dem erfindungsgemäßen Verfahren erläutert, kann dies vorzugsweise mittels eines Piktogramms geschehen. Das Piktogramm, welches von der Anzeigeeinheit dargestellt wird, kann demnach insbesondere eine räumliche Anordnung der manuellen Bedienelemente des Kamerakopfes und/oder eine momentan auf ein jeweiliges dieser Bedienelemente gelegte Funktion anzeigen.
-
Das Anzeigen einer momentanen Funktionsneubelegung der Bedienelemente ermöglicht dabei eine Kontrolle durch den Benutzer des Bildaufnahmesystems, welchen Bedienelementen gerade welche momentane Funktion zugewiesen ist.
-
Die dem mindestens einen manuellen Bedienelement zugewiesene mindestens eine Funktion kann zum Beispiel eine Funktion des Endoskops sein und/oder eine Funktion einer weiteren Komponente des Bildaufnahmesystems / des Endoskopiesystems, beispielsweise einer Lichtquelle oder einer Kamerasteuerungseinheit. Ferner kann die zugewiesene mindestens eine Funktion auch eine Funktion von mindestens einem externen Gerät wie beispielsweise einem Operationsinstrument sein.
-
Daraus ergibt sich, dass über die Bedienelemente, vorzugsweise über manuelle Bedienelemente eines Kamerakopfes des Bildaufnahmesystems, eine Vielzahl von Funktionen des Bildaufnahmesystems / des Endoskopiesystems, also beispielsweise nicht nur Funktionen des Endoskops selbst, sondern auch von weiteren Komponenten des Bildaufnahmesystems / des Endoskopiesystems oder aber von externen Geräten, steuerbar sein können.
-
Bei solchen Ausgestaltungen kann der Kamerakopf somit die Rolle eines zentralen Steuerelements übernehmen, sodass der Benutzer zum Bedienen dieser Komponenten und/oder Geräte die Hand nicht vom Kamerakopf nehmen muss, wodurch das Arbeiten mit dem Endoskopiesystem stark vereinfacht wird. Insbesondere müssen, wie bereits erläutert wurde, nur noch die Bedienelemente am Kamerakopf steril gehalten werden, aber nicht mehr weitere Bedienelemente an anderen Komponenten, da diese durch die Erfindung überflüssig sind.
-
Besonders vorteilhaft für eine vereinfachte Bedienung des Bildaufnahmesystems ist es demnach, wenn die mindestens eine Funktion der Steuerung und/oder Einstellung einer Komponente des Bildaufnahmesystems und/oder eines externen Geräts dient.
-
Ferner kann die mindestens eine Funktion auch eine Einstellung einer Bearbeitung und/oder eine Verarbeitung der Bildsequenz und/oder eine Einstellung von mindestens einem Bildaufnahmeparameter der Bildsequenz, beispielsweise eine Bildhelligkeit, Bildfarbe, Bildkontrast, oder Bildschärfe, betreffen. Hierdurch wird deutlich, dass durch die Erfindung ein enormes Funktionsspektrum mit nur sehr wenigen manuellen Bedienelementen erschlossen wird.
-
An dem Endoskop und/oder an einer Lichtquelle und/oder an einer Kamerasteuerungseinheit, jeweils des Bildaufnahmesystems beziehungsweise des Endoskopiesystems, können selbstverständlich weitere manuelle Bedienelemente ausgebildet sein. In diesem Fall ist es vorteilhaft, wenn die Steuereinheit dazu eingerichtet ist, in Abhängigkeit einer erkannten Bildaufnahmesituation mindestens eine weitere Funktion auf mindestens eines dieser weiteren manuellen Bedienelemente zu legen. Denn hierdurch kann das grundlegende Konzept der Erfindung ausgehend vom Kamerakopf auf weitere Komponenten des Bildaufnahmesystems / des Endoskopiesystems ausgeweitet werden.
-
Die jeweilige Funktion kann dabei vorzugsweise gerade eine Funktion derjenigen Komponente sein, deren weiteres manuelles Bedienelement durch die Steuereinheit belegt wird. Ist etwa an der Lichtquelle ein weiteres Bedienelement ausgestaltet, so macht es Sinn, wenn die Steuereinheit in Abhängigkeit einer erkannten Bildaufnahmesituation eine Funktion der Lichtquelle auf das Bedienelement der Lichtquelle legt.
-
Angenommen das Bildaufnahmesystem / das Endoskopiesystem weist eine Anzahl von als zuweisbar hinterlegten Funktionen auf. Dann ist es gemäß der Erfindung zur Erzielung einer intuitiven Bedienung sinnvoll, wenn eine Anzahl der Bedienelemente, auf die die Steuereinheit die hinterlegten Funktionen legen kann, um mindestens den Faktor 2, vorzugsweise jedoch um mindestens den Faktor 5, übersteigt. Diese Designregel gibt somit eine Anleitung, wie viele Bedienelemente für eine intuitive Bedienung als notwendig erscheinen, ausgehend von einem vorgegebenen gewünschten Funktionsumfang des Bildaufnahmesystems / des Endoskopiesystems.
-
Die Erfindung wird nun anhand von Ausführungsbeispielen näher beschrieben, ist aber nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausbildungen der Erfindung können aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels in Verbindung mit der allgemeinen Beschreibung, den Ansprüchen sowie den Zeichnungen gewonnen werden.
-
Bei der folgenden Beschreibung verschiedener bevorzugter Ausführungsformen der Erfindung erhalten in ihrer Funktion übereinstimmende Elemente auch bei abweichender Gestaltung oder Formgebung übereinstimmende Bezugszahlen.
-
Es zeigt:
- 1 eine schematische Ansicht eines erfindungsgemäßen Bildaufnahmesystems in Form eines Endoskopiesystems,
- 2 ein Signalflussdiagramm zur Erläuterung eines erfindungsgemäßen Verfahrens,
- 3 eine Illustration einer Anzeigeeinheit des Endoskopiesystems aus 1 in einer bestimmten Anzeigesituation,
- 4 eine weitere Anzeigesituation der Anzeigeeinheit aus 3,
- 5 eine wiederum andere Anzeigesituation der Anzeigeeinheit aus 3 und
- 6 eine vierte Anzeigesituation der Anzeigeeinheit aus 3.
-
Die 1 zeigt ein erfindungsgemäßes Bildaufnahmesystem 1 in Form eines Endoskopiesystems 1, welches mehrere Komponenten 8 umfasst, nämlich: Ein Endoskop 2 mit einem Kamerakopf 12, der einen Bildsensor 3 des Endoskops 2 ausliest und an dem Bedienelemente 7 in Form mehrerer Tasten und Drehknöpfe, also mechanischer Manipulatoren 11, ausgebildet sind; eine zugehörige Kamerasteuerungseinheit 6 zum Verarbeiten einer mit dem Bildsensor 3 in Form eines Videobilddatenstroms aufgenommenen Bildsequenz; sowie eine Lichtquelle 4 zur Beleuchtung einer „region of interest“ (ROI), also desjenigen Objektbereichs, der von Interesse ist und mit dem Endoskop 2 inspiziert wird, wie in 1 illustriert ist. Hierzu ist die Lichtquelle 4 mittels Lichtfasern optisch mit dem Endoskop 2 verbunden.
-
Wie in 1 ferner zu sehen, ist das Endoskopiesystem 1 mit einer Anzeigeeinheit 5 in Form eines externen Monitors über ein Kabel verbunden, sowie mit einem externen Gerät 9 in Form eines OP-Instruments 16 über ein weiteres Kabel 13. Auf der Anzeigeeinheit 5 wird der Videobilddatenstrom als Live-Videobild 19 dargestellt.
-
Ferner sind die Komponenten 8 des Endoskopiesystems 1 mittels mehrerer Kabel 13 untereinander verbunden, über die Steuersignale ausgetauscht werden können. Somit kann beispielsweise das Endoskop 2 über die Kamerasteuerungseinheit 6 auf die Lichtquelle 4 zugreifen und umgekehrt. Daneben kann die Kamerasteuerungseinheit 6 Bild- und Steuerungssignale an die Anzeigeeinheit 5 senden, sowie von dem OP-Instrument 16 ausgesandte Signale detektieren.
-
Wird das Endoskopiesystem 1 in Betrieb genommen, so sind die Bedienelemente 7 am Kamerakopf 12 zunächst in einer Grundeinstellung mit jeweiligen Grundfunktionen belegt. Diese Grundfunktionen erlauben die Einstellung/Bedienung von Funktionen des Endoskops 2 mit den Tasten und Einstellrädern am Kamerakopf 12, nämlich unter anderem das Nachregeln eines Zoom-Faktors und das Einstellen einer Bildhelligkeit, also jeweils das Einstellen von Bildaufnahmeparametern.
-
Das Endoskopiesystem 1, genauer die Kamerasteuerungseinheit 6, umfasst ferner eine Bildverarbeitungseinheit 17 zur Auswertung der mit dem Bildsensor 3 aufgenommenen Bildsequenz sowie eine Steuereinheit 18.
-
Die Bildverarbeitungseinheit 17 ist nun dazu eingerichtet, mindestens eine spezifische Bildaufnahmesituation durch Auswertung der Bildsequenz zu erkennen. Ändert sich somit die durch die Bildsequenz abgebildete Bildaufnahmesituation von einer ersten in eine zweite Bildaufnahmesituation, so kann diese Änderung von der Bildverarbeitungseinheit 17 detektiert werden.
-
Beispielsweise ist die Bildverarbeitungseinheit 17 in der Lage, die Entstehung von Rauch in der region of interest 10 anhand einer computerimplementierten Auswertung der aufgenommenen Bildsequenz zu erkennen. Wird diese spezifische Bildaufnahmesituation „Rauch im Bild“ von der Bildverarbeitungseinheit 17 erkannt, so weist die Steuereinheit 18 einem der Bedienelemente 7 am Kamerakopf 12 eine neue Funktion zu.
-
Diese Funktion besteht in der Aktivierung bzw. Deaktivierung (durch erneutes Drücken der Taste) eines Bildbearbeitungsalgorithmus, welcher den Rauch in der Bildsequenz unterdrückt. Im Ergebnis kann der Benutzer des Endoskops somit unverzüglich diese Rauchunterdrückungsfunktion durch Betätigen desjenigen Bedienelements 7, dessen Funktion durch die Steuereinheit 18 des Endoskopiesystems 1 in Reaktion auf die von der Bildverarbeitungseinheit 17 detektierte Änderung der Bildaufnahmesituation neu belegt wurde, aktivieren, sobald Rauch im Live-Videobild 19 zu sehen ist.
-
Damit der Benutzer informiert ist, welches der am Kamerakopf 12 ausgestalteten Bedienelemente 7 mit der neuen Funktion belegt worden ist, wird auf der Anzeigeeinheit 5, wie in 3 illustriert, neben dem Live-Videobild 19 in einem separaten Fenster 15 ein Piktogramm 14 angezeigt, welches eine schematische Darstellung des Endoskops 2 samt Kamerakopf 12 wiedergibt und insbesondere die räumliche Anordnung der Bedienelemente 7 an dem Kamerakopf 12, wie ein Vergleich der als Kreise illustrierten Bedienelemente 7 in den 3 und 1 zeigt.
-
Mittels mehrerer einblendbarer Anzeigeelemente 20 wird dabei dem Benutzer angezeigt, welche Funktion welchem Bedienelement 7 momentan vom Endoskopiesystem 1 zugewiesen ist. Durch diesen Ansatz wird dem Benutzer adaptiv, nämlich in Reaktion auf die veränderte Bildaufnahmesituation, eine auf die momentane Bildaufnahmesituation „Rauch im Bild“ angepasste Auswahl von mit den Bedienelementen 7 momentan steuerbaren Funktionen visuell angeboten, nämlich durch die optischen Hinweise, die durch die einblendbaren Anzeigeelemente 20 erzeugt werden.
-
Da eine der vier Tasten am Kamerakopf 12 durch die Steuereinheit 18 mit der Rauchunterdrückungsfunktion belegt wurde, kann die Grundfunktion, die in der Grundeinstellung mit dieser Taste einstellbar war, zunächst nicht mehr bedient werden. Mit anderen Worten ist demnach jeweils der momentan mit den Bedientasten steuerbare Funktionsumfang kleiner, als ein gesamter Funktionsumfang, der durch mehrmalige Funktionsneubelegungen der Bedienelemente 7 nutzbar ist. Das Endoskopiesystem 1 bietet dem Benutzer somit situationsangepasst jeweils nur einen reduzierten Funktionsumfang an. Dies entlastet den Benutzer und vereinfacht so die Bedienung. Gleichzeitig kann aber weiterhin der volle Funktionsumfang genutzt werden.
-
Alternativ zu der Erkennung der Bildaufnahmesituation „Rauch im Bild“ durch die Bildverarbeitungseinheit 17 kann eine Änderung der Bildaufnahmesituation von dem Endoskopiesystem 1 auch anhand eines Signals des OP-Instruments 16 erkannt werden. Wird das OP-Instrument 16, ein HF-Skalpell, eingeschalten, so wird dieses Einschalten von der Kamerasteuerungseinheit 6 über das Kabel 13 detektiert. Da in diesem Fall zu erwarten ist, dass in naher Zukunft Rauch entsteht, nämlich dann, wenn Gewebe mit dem HF-Skalpell resektiert wird, nimmt die Steuereinheit 18 in Reaktion auf die anhand des Signals des OP-Instruments 16 erkannte Änderung der Bildaufnahmesituation bereits präventiv die Neubelegung eines der Bedienelemente 7 mit der Rauchunterdrückungsfunktion vor.
-
Gleichzeitig wird dem Benutzer mittels des Piktogramms 14 die Neubelegung der Funktionstaste angezeigt, sodass der Benutzer bereits vor der Rauchentstehung, die Rauchunterdrückungsfunktion einschalten kann. Dazu muss der Benutzer aber zunächst die über das Piktogramm 14 angebotene Funktionsneubelegung mittels eines der Bedienelemente 7 quittieren.
-
Tut er dies nicht innerhalb eines vorgegebenen Zeitintervalls, nimmt das Endoskopiesystem 1 die angebotene Funktionsneubelegung zurück, sodass dann nicht mehr die Rauchunterdrückungsfunktion, sondern die zuvor dem betroffenen Bedienelement 7 zugewiesene Funktion wieder mit dem Bedienelement 7 bedienbar ist. Entsprechend wird nach der Rücknahme der Funktionsneubelegung auch die Anzeige des Piktogramms 14 aktualisiert. Somit bleibt der Benutzer trotz der Funktionsneubelegung Herr über die momentan über die Bedienelemente 7 steuerbaren Funktionen.
-
Anhand des Signals des OP-Instruments 16 legt die Steuereinheit 18 aber nicht nur die Rauchunterdrückungsfunktion auf eines der Bedienelemente 7, sondern zudem eine Funktion zum Steuern des OP-Instruments 16, nämlich die Regelung der elektrischen Leistung des HF-Skalpells, auf ein weiteres der Bedienelemente 7 des Kamerakopfes 12. Dadurch kann aufgrund dieser zusätzlichen Funktionsneubelegung mit diesem weiteren Bedienelement 7 des Kamerakopfes 12 die Leistung des OP-Instruments 16 eingestellt werden.
-
Ferner hat die Steuereinheit 18 einem wiederum anderen der Bedienelemente 7 am Kamerakopf 12 die neue Funktion „Bildkontrast regeln“ zugewiesen, mit der der Bildaufnahmeparameter Bildkontrast durch Bearbeitung der aufgenommenen Bildsequenz eingestellt werden kann. Auch diese Funktionsneubelegung wird automatisch unverzüglich in dem Piktogramm 14 mit Hilfe eines Anzeigeelements 20 visualisiert.
-
Im Ergebnis wird dem Benutzer damit auf der Anzeigeeinheit 5 eine auf die Situation „Rauch im Bild“ angepasste Auswahl von drei neuen auf die Bedienelemente 7 gelegter Funktionen angezeigt. Damit verfügt der Benutzer über einen mittels den Bedienelementen 7 steuerbaren Funktionsumfang, der für die erkannte Bildaufnahmesituation „Rauch im Bild“ als optimal angesehen werden kann. Denn der Benutzer kann die Rauchunterdrückung einschalten, die Leistung des HF-Skalpells regeln und gleichzeitig den Bildkontrast unverzüglich anpassen, ohne dass er diese Neufunktionsbelegung der Bedienelemente 7 selbst durch langwierige Einstellungen vornehmen muss.
-
Vielmehr genügt hierfür ein einfaches Quittieren mit einem der Bedienelemente 7 ohne aufwändiges Durchsuchen von Untermenüs, wie bei herkömmlichen Endoskopiesystemen. Damit wird die Bedienung des Endoskopiesystems 1 entscheidend verbessert. Denn durch die automatische Funktionsneubelegung wird gerade derjenige Funktionsumfang des Endoskopiesystems 1 über die Bedienelemente 7 steuerbar, der in der erkannten Bildaufnahmesituation erforderlich / sinnvoll ist.
-
Die Belegung der Bedienelemente 7 geschieht während des Betriebs des Endoskopiesystems 1 fortlaufend und computerimplementiert durch die Steuereinheit 18, da die Bildverarbeitungseinheit 17 den Videobilddatenstrom fortlaufend auf Änderungen der Bildaufnahmesituation hin analysiert.
-
Die Detektion der Änderung der Bildaufnahmesituation durch Erkennen einer spezifischen Bildaufnahmesituation beruht, wie bereits erwähnt wurde, auf einer computerimplementierten Auswertung der aufgenommenen Bildsequenz mittels der Bildverarbeitungseinheit 17. Diese wendet dazu einen Algorithmus an, der mit Hilfe von Beispielbildsequenzen unter menschlicher Anleitung trainiert wurde. Dadurch wird die Bildverarbeitungseinheit 17 in die Lage versetzt, eine Anzahl an vordefinierten Bildaufnahmesituationen anhand vordefinierter Parameter zu erkennen, die jeweils zuvor anhand der Beispielbildsequenzen trainiert worden sind. Durch den Algorithmus wird somit eine künstliche Intelligenz zur Bestimmung von bestimmten Bildaufnahmesituationen implementiert.
-
Genauer berechnet der Algorithmus Bildparameter aus der Bildsequenz und gewinnt aus diesen mehrere Wahrscheinlichkeitskennzahlen, die er jeweils mit zugehörigen Schwellwerten vergleicht. Werden alle Schwellwerte überschritten, so wird dies so gewertet, dass die durch die Bildparameter und Schwellwerte charakterisierte Bildaufnahmesituation mit einer gewissen statistischen Mindestsicherheit erkannt worden ist.
-
Beispielsweise erkennt die Bildverarbeitungseinheit 17 anhand eines berechneten Farbwerts und eines zugehörigen berechneten Bildanteils von Pixeln dieses Farbwerts durch Vergleich mit entsprechenden Schwellwerten, ob die Bildsequenz momentan eine größere Blutansammlung zeigt. In Abhängigkeit der dadurch erkannten Bildaufnahmesituation „Blutansammlung im Bild“ legt die Steuereinheit 18 dann eine Funktion „Spülkanal an/ausschalten“ auf eines der Bedienelemente 7, sodass mit diesem Bedienelement 7 dann eine externe Spülwasserpumpe angesteuert werden kann, mit der die Blutansammlung in der mit dem Endoskop 2 beobachteten region of interest 10 beseitigt werden kann.
-
Wird hingegen bereits einer der Schwellwerte unterschritten, so unterbleibt diese Funktionsneubelegung. Dadurch können fehlerhafte Bilderkennungen reduziert werden, sodass der Benutzer nicht durch unnötige Funktionsneubelegungen wiederholt in seiner Arbeit gestört wird.
-
Die Tatsache, dass die manuellen Bedienelemente 7 an dem Kamerakopf 12 als mechanische Manipulatoren 11 in Form von Drehknöpfen und Tasten ausgestaltet sind, hat den entscheidenden Vorteil, dass der Benutzer die Bedienelemente 7 haptisch wahrnehmen kann, wenn er die mit dem jeweiligen Bedienelement 7 verknüpfte Funktion bedient. Er kann sich so voll auf die Beobachtung des Live-Videobilds 19 konzentrieren, da er die Bedienelemente 7 blind bedienen kann. Die Bedienelemente 7 sind ferner gerade so angeordnet, dass sie in der in 1 gezeigten medizinischen Aufnahmesituation mittels einzelner Finger bedienbar sind. Dies alles führt dazu, dass der Benutzer gerade nicht die Anzeigeeinheit 5 berühren muss, um dort Einstellungen der Funktionen vorzunehmen, sodass die Sterilität gewährleistet werden kann.
-
Wie die 4 zeigt, kann das Endoskopiesystem 1 in Reaktion auf die Erkennung bestimmter Aufnahmesituationen auch Bedienelemente 7 an anderen Komponenten 8 neu mit Funktionen belegen, etwa die Bedienelemente 7 der Lichtquelle 4, die in 1 als auch in dem Piktogramm 14 der Lichtquelle 4 in dem linken Fenster 15 der 4 zu erkennen sind. Auch hier wird erneut die Funktionsneubelegung dem Benutzer zunächst mit Hilfe des Piktogramms 14 und optischer Hinweise durch Anzeigeelemente 20 auf der Anzeigeeinheit 5 angeboten und der Benutzer muss diese angebotene Funktionsneubelegung quittieren, damit diese auch tatsächlich vom Endoskopiesystem 1 realisiert wird.
-
Je nach erkannter Bildaufnahmesituation kann auch das linke Fenster ausgeblendet werden, wie in 5 illustriert ist, sodass fast der gesamte Bildschirm von dem Live-Videobild 19 eingenommen wird. In diesem Fall kann die momentane Funktionsneubelegung wie in 5 dargestellt mittels jeweiliger Dropdown-Menüs 22 visualisiert werden, wobei jeder der in 5 dargestellten Reiter 21 die Funktionsbelegung der Bedienelemente einer Komponente 8 des Endoskopiesystems 1 wiedergibt.
-
6 zeigt eine weitere Möglichkeit zur Visualisierung der momentanen Funktionsneubelegung bzw. zum visuellen Anbieten einer noch zu quittierenden Funktionsneubelegung. Hierbei ist das Piktogramm 14 auf die räumliche Anordnung der Bedienelemente 7 beschränkt und als overlay über dem Live-Videobild im selben Fenster 15 eingeblendet. Auch hier wird die jeweilige momentane, beziehungsweise angebotene, neue Funktion des jeweiligen Bedienelements 7 mittels eingeblendeter Anzeigenelemente 20 dem Benutzer angezeigt.
-
Schließlich erläutert 2 anhand des dargestellten Signalflussdiagramms eine praktische Implementierung eines erfindungsgemäßen Verfahrens durch folgende Verfahrensschritte:
- A. Aufnehmen der Bildsequenz mit dem Endoskopiesystem in Form eines Videobilddatenstroms;
- B. Computerimplementierte Auswertung der aufgenommenen Bildsequenz mit Hilfe der Bildverarbeitungseinheit 17;
- C. Berechnung von Bildparametern und Wahrscheinlichkeitskennzahlen anhand der Auswertung;
- D. Vergleich der Wahrscheinlichkeitskennzahlen mit Schwellwerten (optionaler Schritt);
- E. Erzeugen eines Vorschlags für eine Funktionsneubelegung von mindestens einem der Bedienelemente 7; (dieser Schritt erfolgt nicht, sofern keine Änderung der Bildaufnahmesituation detektiert wurde oder nur mit einer unzureichenden Sicherheit, was anhand des Schwellwertvergleichs festgestellt wird);
- F. Anbieten des Vorschlags (visuell, z.B. mit Hilfe eines Piktogramms 14, oder akustisch)
- G. Anwender quittiert den visuellen Vorschlag durch Annehmen, Ablehnen oder Nichtstun (wird als Ablehnen gewertet) - dies kann durch Sprachbefehle, Gesten, oder mittels der Bedienelemente 7 geschehen; Bei Annahme, wird der Vorschlag implementiert, d.h. die neue Funktion wird dem Bedienelement 7 zugewiesen.
-
Der in 2 illustrierte optionale Schritt X umfasst schließlich den Einsatz einer künstlichen Intelligenz bei der computerimplementierten Auswertung der aufgenommenen Bildsequenz.
-
Zusammenfassend wird zur Vereinfachung der Bedienung eines medizinischen Bildaufnahmesystems 1 vorgeschlagen, dass das Bildaufnahmesystem 1 fortlaufend eine momentane Bildaufnahmesituation überwacht und in Reaktion auf eine Änderung der Bildaufnahmesituation mindestens einem, vorzugsweise manuellen, Bedienelement 7 mindestens eine neue Funktion zuweist, die auf eine detektierte neue Bildaufnahmesituation angepasst ist, sodass diese neu zugewiesene Funktion mit dem mindestens einen Bedienelement 7 einstellbar beziehungsweise bedienbar ist. Zu diesem Zweck kann das Bildaufnahmesystem 1 die Änderung der Bildaufnahmesituation anhand vordefinierter Parameter mittels Sensorik und/oder durch Kommunikation mit Peripheriegeräten und/oder vorzugsweise durch Bildanalyse einer Bildsequenz, die mit einem Bildsensor 3 des Bildaufnahmesystems 1 aufgezeichnet wird, detektieren (Vgl. 1)
-
Bezugszeichenliste
-
- 1
- medizinisches Bildaufnahmesystem / Endoskopiesystem
- 2
- Endoskop
- 3
- Bildsensor
- 4
- Lichtquelle
- 5
- Anzeigeeinheit
- 6
- Kamerasteuerungseinheit
- 7
- Bedienelement
- 8
- Komponente (von 1)
- 9
- externes Gerät
- 10
- ROI - region of interest
- 11
- Manipulator
- 12
- Kamerakopf
- 13
- Kabel
- 14
- Piktogramm
- 15
- Fenster
- 16
- Operationsinstrument
- 17
- Bildverarbeitungseinheit
- 18
- Steuereinheit
- 19
- Live-Videobild
- 20
- Anzeigeelement
- 21
- Reiter
- 22
- Dropdown-Menü