[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE102019118752B4 - Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem - Google Patents

Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem Download PDF

Info

Publication number
DE102019118752B4
DE102019118752B4 DE102019118752.4A DE102019118752A DE102019118752B4 DE 102019118752 B4 DE102019118752 B4 DE 102019118752B4 DE 102019118752 A DE102019118752 A DE 102019118752A DE 102019118752 B4 DE102019118752 B4 DE 102019118752B4
Authority
DE
Germany
Prior art keywords
image recording
image
operating elements
function
recording system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019118752.4A
Other languages
English (en)
Other versions
DE102019118752A1 (de
Inventor
Stefan Schröer
Matthias Kühn
Alexander Köhler
Daniel Härter
Joachim Jauss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schoelly Fiberoptic GmbH
Original Assignee
Schoelly Fiberoptic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=74102838&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE102019118752(B4) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Schoelly Fiberoptic GmbH filed Critical Schoelly Fiberoptic GmbH
Priority to DE102019118752.4A priority Critical patent/DE102019118752B4/de
Priority to US16/925,624 priority patent/US11974719B2/en
Publication of DE102019118752A1 publication Critical patent/DE102019118752A1/de
Application granted granted Critical
Publication of DE102019118752B4 publication Critical patent/DE102019118752B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/015Control of fluid supply or evacuation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

Bildaufnahmeverfahren, bei welchem eine Bildsequenz, insbesondere in Form eines Videobilddatenstroms, mit einem Bildsensor (3) eines medizinischen Bildaufnahmesystems (1) aufgenommen wird und wobei mithilfe von Bedienelementen (7) Funktionen von Komponenten (8) des Bildaufnahmesystems (1) eingestellt beziehungsweise bedient werden, dadurch gekennzeichnet,- dass in Reaktion auf eine durch das Bildaufnahmesystem (1) detektierte Änderung einer Bildaufnahmesituation wenigstens einem der Bedienelemente (7) wenigstens eine Funktion neu zugewiesen wird,- wobei eine momentane Funktionsneubelegung der Bedienelemente (7) auf einer Anzeigeeinheit (5) angezeigt wird und- wobei die Bedienelemente (7) an einer der Komponenten (8) angeordnet sind, die baulich von der Anzeigeeinheit (5) getrennt ist,- sodass über die Bedienelemente (7) ohne Berührung der Anzeigeeinheit (5) gewünschte Einstellungen vorgenommen werden können.

Description

  • Die Erfindung betrifft ein Bildaufnahmeverfahren, bei welchem eine Bildsequenz, insbesondere in Form eines Videobilddatenstroms, mit einem Bildsensor eines medizinischen Bildaufnahmesystems aufgenommen wird und wobei mithilfe von Bedienelementen Funktionen von Komponenten des Bildaufnahmesystems eingestellt beziehungsweise bedient werden.
  • Dabei kann die Bildsequenz beispielsweise eine Sequenz aus Einzelbildern sein, die insbesondere in Form eines Videobilddatenstroms vorliegen kann. Ein solches Bildaufnahmesystem kann beispielsweise ein Endoskopiesystem sein. Dieses kann als eine Komponente ein Endoskop mit einem Bildsensor, insbesondere in Form eines Videoendoskops, umfassen. Ein wie eingangs beschriebenes Bildaufnahmesystem kann aber beispielsweise auch als ein Exoskop oder ein Digitalmikroskop, jeweils mit zugehörigem Bildsensor, ausgestaltet sein.
  • Die mit den Bedienelementen einstellbaren beziehungsweise bedienbaren Funktionen können entsprechend beispielsweise Funktionen eines solchen Endoskops / Exoskops / Digitalmikroskops oder aber einer zugehörigen Kamerasteuerungseinheit sein.
  • Die Erfindung betrifft ferner ein zugehöriges medizinisches Bildaufnahmesystem mit einem Bildsensor sowie mehreren Bedienelementen zum Steuern des Bildaufnahmesystems. Ein solches Bildaufnahmesystem kann dabei insbesondere als ein Endoskopiesystem ausgestaltet sein und somit ein Endoskop mit einem Bildsensor umfassen; es kann aber beispielsweise auch in Form eines Exoskops oder eines Digitalmikroskops vorliegen.
  • Anwender von derartigen Bildaufnahmesystemen, insbesondere derartigen Endoskopiesystemen, sind oft nicht in der Lage, die technischen Möglichkeiten der Systeme voll auszunutzen. Ein banaler Grund hierfür ist oftmals, dass die Bedienung, insbesondere die Einstellung von notwendigen Bildaufnahmeparametern, kompliziert und langwierig ist. Denn bei vorbekannten Endoskopiesystemen ist gerade die Bedienung des Kamerakopfes, der den Bildsensor des Endoskops ausliest und steuert, beziehungsweise des gesamten Videoendoskops oftmals wenig intuitiv und häufig sehr komplex, insbesondere dann, wenn das Endoskopiesystem mit Funktionalität überladen ist.
  • Aus WO 2018 / 017 625 A1 sowie WO 2016 / 168 838 A2 ist ein Kameragerät bekannt, welches zunächst eine Serie von Vorschaubildern bei unterschiedlichen voreingestellten Bildaufnahmeparametern automatisiert aufnimmt und diese einem Benutzer anzeigt. Anschließend wird der Benutzer mittels transparenter Objekte auf einem Touchscreen bei der Auswahl gewünschter Parameter angeleitet. Danach folgt eine Benutzereingabe über das Touchscreen und hierauf ein erneutes Aufnehmen von Bildern mit den vom Benutzer ausgewählten Parametern.
  • Aus US 2015 / 0 334 292 A1 ist eine Methode bekannt, haptisches feedback an einen Benutzer zu senden, um dadurch den Benutzer bei der Aufnahme von Bildern zu assistieren, wobei hierzu Objekte im Bild erkannt und eine Umgebungslichtmessung durchgeführt wird.
  • Weiter ist es bekannt, etwa aus der Publikation von HIANG, D. und KIM, J.-W. (2019) „A Scene Change Detection Framework Based on Deep Learning and Image Matching“, MUE/FutureTech 2018, S.623-629, dass „deep learning networks“, also eine bestimmte Klasse künstlicher Intelligenz, eingesetzt werden kann, um eine automatische Detektion von Änderungen einer Bildaufnahme-Szene zu implementieren.
  • Von diesem Hintergrund ausgehend, liegt der Erfindung die Aufgabe zugrunde, die Bedienbarkeit von medizinischen Bildaufnahmesystemen im Allgemeinen und von Endoskopiesystemen im Speziellen zu erhöhen, damit der volle Funktionsumfang auch tatsächlich, gerade in medizinischen Anwendungssituation zum Beispiel von Operateuren, genutzt werden kann.
  • Zur Lösung dieser Aufgabe sind erfindungsgemäß bei einem Bildaufnahmeverfahren die Merkmale von Anspruch 1 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Bildaufnahmeverfahren der eingangs genannten Art vorgeschlagen, dass in Reaktion auf eine durch das Bildaufnahmesystem detektierte Änderung einer Bildaufnahmesituation wenigstens einem der Bedienelemente wenigstens eine Funktion neu zugewiesen wird. Hierbei wird eine momentane Funktionsneubelegung der Bedienelemente auf einer Anzeigeeinheit angezeigt und die Bedienelemente sind an einer der Komponenten angeordnet, die baulich von der Anzeigeeinheit getrennt ist. Dadurch wird erreicht, dass über die Bedienelemente ohne Berührung der Anzeigeeinheit gewünschte Einstellungen vorgenommen werden können.
  • Ist das Bildaufnahmesystem beispielsweise als ein Endoskopiesystem ausgestaltet, so kann das Endoskopiesystem, also verallgemeinert das medizinische Bildaufnahmesystem, die Neuzuweisung automatisch, also insbesondere selbsttätig, vornehmen.
  • Diese automatisierte Neuzuweisung beziehungsweise Neubelegung von mindestens einem der Bedienelemente mit mindestens einer neuen Funktion ordnet dem wenigstens einen Bedienelement somit mindestens eine Funktion zu, die vor der Belegung nicht mit dem mindestens einen Bedienelement steuerbar war.
  • Dabei kann die neue mindestens eine Funktion auch mehreren der Bedienelemente zugewiesen werden, sodass die neue Funktion durch mehrere Bedienelemente bedienbar wird.
  • Werden durch die Neubelegung mehrere der Bedienelemente mit einer neuen Funktion belegt, so können gleichzeitig auch mehrere unterschiedliche Funktionen auf mehrere Bedienelemente verteilt werden. Bei einer solchen Ausgestaltung werden also mehrere Funktionen durch die Neubelegung neu zugewiesen. Auch bei dieser Variante kann eine dieser Funktionen wiederum mehreren der Bedienelemente zugewiesen werden.
  • Es versteht sich, dass dadurch mannigfaltige Variationen von Neuzuweisungen beziehungsweise Neubelegungen der Bedienelemente möglich sind. Hierbei kann auch vorgesehen sein, dass berücksichtigt wird, ob der Benutzer ein Linkshänder oder ein Rechtshänder ist. Denn nach einer einmaligen Benutzereingabe kann sich das Bildaufnahmesystem, insbesondere das besagte Endoskopiesystem, entsprechend anpassen und die Neubelegung der Bedienelemente jeweils angepasst für einen Linkshänder oder einen Rechtshänder vornehmen.
  • Ferner können auch durch entsprechende Benutzereingaben bestimmte Vorlieben von Anwendern hinsichtlich der je nach erkannter Bildaufnahmesituation vorzunehmenden Funktionsneubelegung berücksichtigt werden. Es kann also vorgesehen sein, dass bei der Neuzuweisung eine vorab erfolgte Benutzereingabe berücksichtigt wird, insbesondere derart, dass die Neuzuweisung einem individuellen Wunsch eines Benutzers des Bildaufnahmesystems entspricht.
  • Eine Änderung der Bildaufnahmesituation im Sinne der Erfindung kann insbesondere dann vorliegen, wenn eine Bildverarbeitungseinheit des Bildaufnahmesystems, insbesondere des Endoskopiesystems, eine spezifische Bildaufnahmesituation erkennt / detektiert. Es kann also alternativ oder ergänzend vorgesehen sein, dass die Bedienelemente in Reaktion auf eine erkannte spezifische Bildaufnahmesituation mit Funktionen neu belegt werden.
  • Solche spezifischen Bildaufnahmesituationen können gemäß der Erfindung zum Beispiel durch eine Parametrisierung vordefiniert sein. Entsprechend kann auch ein bestimmter Katalog an vordefinierten Bildaufnahmesituationen, etwa in Form vordefinierter Parametersätze, von dem Bildaufnahmesystem / dem Endoskopiesystem vorgehalten werden, um die Erkennung dieser vordefinierten Bildaufnahmesituationen zu ermöglichen.
  • Die Grundidee der Erfindung besteht folglich darin, aus einem sehr umfangreichen gesamten Funktionsumfang des Bildaufnahmesystems situationsabhängig nur die jeweils sinnvollen, da in der jeweiligen Situation benötigten, Funktionen, beispielsweise zur Einstellung bzw. Parametrisierung von Einstellparamatern, zur Verfügung zu stellen.
  • Mit anderen Worten nimmt somit das Bildaufnahmesystem dem Benutzer Arbeit ab, indem es - auf Grundlage einer eigenen Intelligenz - dem Benutzer eine situationsangepasste Auswahl an mit den Bedienelementen einstellbaren Funktionen anbietet. Diese momentan mit den Bedienelementen einstellbaren Funktionen können dabei typischerweise nur einen Teil einer Gesamtheit von Einstellmöglichkeiten bzw. Funktionen des Bildaufnahmesystems und ggf. weiterer mit den Bedienelementen steuerbarer oder einstellbarer externer Geräte ausmachen.
  • Diese zeitveränderliche Selektion an mit den Bedienelementen einstellbarer Funktionalität kann somit insbesondere einen momentan einstellbaren Funktionsumfang in Abhängigkeit einer erkannten Bildaufnahmesituation verändern, insbesondere reduzieren, nämlich durch die besagte Neubelegung, was zu einer Entlastung des Benutzers führt. Die Reduktion des Funktionsumfangs wird hierbei ersichtlich, wenn man den jeweiligen momentan mit den Bedienelementen einstellbaren Funktionsumfang mit dem vollen Funktionsumfang des Bildaufnahmesystems vergleicht, welcher nur nach Neubelegung der Bedienelemente mit vor der Neubelegung nicht mit den Bedienelementen einstellbaren Funktionen genutzt werden kann.
  • Eine Neubelegung der Bedienelemente mit Funktionen macht beispielsweise dann Sinn, wenn eine neue Bildaufnahmesituation eine jeweilige Anpassung einer Darstellung / einer Aufnahme / einer Verarbeitung der Bildsequenz erfordert und/oder dann, wenn zusätzliche Funktionalität benötigt wird, die in einer vorangegangenen Bildaufnahmesituation noch nicht benötigt und daher auch noch nicht angeboten wurde.
  • Die Bildsequenz kann grundsätzlich aus Einzelbildern bestehen. Sie kann aber auch in Form eines Videobilddatenstroms von dem Bildaufnahmesystem, insbesondere von einem Endoskop, aufgezeichnet werden. In diesem Fall handelt es sich demnach um ein Videobildaufnahmesystem beziehungsweise um ein Videoendoskopiesystem.
  • Die Bedienelemente können wie im Stand der Technik bekannt zum Beispiel als Tasten, Knöpfe, Schieberegler, oder als Drehregler ausgestaltet sein. Sie können aber auch durch berührungsempfindliche Flächen gebildet sein, etwa als virtuelle Tasten auf einem berührungsempfindlichen Touchdisplay.
  • Die Vorteile des erfindungsgemäßen Verfahrens sind insbesondere:
    • - der Anwender kann einfach und schnell auf benötigte Befehle zugreifen, da ihm diese vom Bildaufnahmesystem situationsgerecht angeboten werden;
    • - ein aufwendiges Suchen in Untermenüs kann somit entfallen;
    • - auch ein aufwendiges Verstehen der Wechselwirkungen zwischen einzelnen Einstellfunktionen kann entfallen, denn diese kennt und berücksichtigt das Bildaufnahmesystem;
    • - der Anwender wird von aufwändiger Bedienung und Suche nach passenden Einstellmöglichkeiten entlastet; er kann sich somit auf die eigentliche Arbeit mit dem Bildaufnahmesystem konzentrieren.
    • - die Ablenkung durch eine aufwändige Bedienung wird minimiert; dies dient nicht zuletzt der Sicherheit des Patienten.
    • - gleichzeitig kann der volle Funktionsumfang ausgenutzt werden und damit eine bessere Performanz erzielt werden.
    • - die technischen Möglichkeiten des Bildaufnahmesystems können somit optimal ausgenutzt werden; damit wird der technische Nutzen des Systems für den Patienten maximiert;
    • - die Anzahl der Bedienelemente kann reduziert werden; damit wird eine einfachere und intuitivere Bedienung möglich.
    • - es ergeben sich ein verbesserter Workflow und damit reduzierte OP-Zeiten.
    • - eine Unterstützung bei der OP-Dokumentation ist durch angebotene Funktionen implementierbar.
  • Gerade bei medizinischen Anwendungen ergibt sich zudem der Vorteil, dass ein Operateur, der ein erfindungsgemäßes Bildaufnahmesystem in Form eines Videoendoskopiesystems benutzt, während einer Operation nur eine vergleichsweise geringe Anzahl an Bedienelementen anfassen muss, um den vollen Funktionsumfang des Endoskopiesystems nutzen zu können. Dies ist von großem Vorteil, da der Operateur steril bleiben muss und daher mit möglichst wenigen Gegenständen in Kontakt kommen darf.
  • Erfindungsgemäß kann die Aufgabe auch durch weitere vorteilhafte Ausführungen gemäß den Unteransprüchen gelöst werden.
  • Beispielsweise kann die Detektion der Änderung der Bildaufnahmesituation anhand einer computerimplementierten Auswertung der aufgenommenen Bildsequenz erfolgen. Eine solche Auswertung, insbesondere durch Bildanalyse, kann beispielsweise Aufschluss darüber geben, welche OP-Situation gerade vorliegt. Die Auswertung der mit dem Bildsensor aufgenommenen Bildsequenz kann dabei zum Beispiel auf eine Farbanalyse gestützt sein, oder Informationen über in der Bildsequenz sichtbare Operationsinstrumente liefern. Hierzu kann auch eine Strukturerkennung eingesetzt werden, wodurch sich insbesondere auch bestimmte Organe oder Gewebetypen und hieraus wiederum bestimmte Typen von Operationen erkennen lassen. Mit anderen Worten kann die Auswertung somit der Identifizierung einer spezifischen Bildaufnahmesituation anhand von charakteristischen Strukturen, Farben, oder sonstigen Informationen dienen, die aus der Bildsequenz abgeleitet worden sind.
  • Besonders vorteilhaft ist es in allen diesen Situationen, wenn die Belegung mit einer Funktion erfolgt, die in der jeweils erkannten Bildaufnahmesituation vom Benutzer des Bildaufnahmesystems gebraucht wird.
  • Alternativ oder ergänzend kann die Detektion der Änderung der Bildaufnahmesituation auch anhand einer erfolgten Ansteuerung, beispielsweise eines Einschaltens, eines externen Geräts und/oder anhand eines Signals eines Sensors erfolgen. Dadurch wird es beispielsweise möglich, bestimmte Phasen einer Operation zu erkennen, zum Beispiel eine Geweberesektion mit Hilfe eines elektrochirurgischen HF-Skalpells. In Reaktion kann dann entsprechend sinnvolle Funktionalität angeboten werden, beispielsweise eine auf Bildverarbeitung basierende Rauchunterdrückung, die über eines der Bedienelemente aktiviert werden kann.
  • Die Funktionsneubelegung der Bedienelemente kann derart erfolgen, dass einem Benutzer des Bildaufnahmesystems adaptiv eine auf eine momentane Bildaufnahmesituation angepasste Auswahl von mit den Bedienelementen momentan bedienbaren Funktionen angeboten wird. Dieses Angebot kann vorzugsweise durch einen optischen oder sonstigen Hinweis erfolgen.
  • Die Bedienelemente können beispielsweise als virtuelle Tasten, insbesondere auf einem Touchscreen, zum Beispiel einem Mini-Touchscreen auf einem Kamerakopf eines erfindungsgemäßen Bildaufnahmesystems in Form eines Endoskopiesystems, realisiert sein. In diesem Fall kann der Hinweis schlicht dadurch erfolgen, dass sich die Darstellung der jeweiligen virtuellen Taste ändert, sobald eine neue Funktion auf die virtuelle Taste gelegt ist und/oder sobald eine Funktionsneubelegung der virtuellen Taste dem Benutzer angeboten wird.
  • Dabei ist es wünschenswert gemäß der Erfindung, wenn ein momentan mit den Bedienelementen bedienbarer Funktionsumfang, im Vergleich zu einem durch mehrmalige Neubelegung der Bedienelemente nutzbaren Funktionsumfang, reduziert ist. Denn gerade diese Reduktion führt zu einer Entlastung des Benutzers, wobei eine jeweilige situationsabhängige Neubelegung der Bedienelemente mit Funktionen weiterhin den vollen Funktionsumfang zugänglich macht.
  • Für medizinische Anwendungen schlägt die Erfindung ferner vor, dass die Bedienelemente als mechanische Manipulatoren und nicht etwa mittels einer graphischen Benutzeroberfläche (graphical user interfaces - GUI) ausgebildet sind. Dies hat den Vorteil, dass die Manipulatoren während der Einstellung der jeweiligen Funktion haptisch wahrgenommen, insbesondere ertastet, werden können. Dadurch kann sich der Operateur voll auf ein Videolivebild konzentrieren ohne durch die Bedienung einer GUI abgelenkt zu werden.
  • Die Erfindung schlägt somit insbesondere vor, manuelle Bedienelemente, welche haptisch erfassbar sind, situationsangepasst neu mit Funktionen zu belegen. Die haptische Erfassbarkeit ist dabei von zentraler Bedeutung, da sie dem Operateur ermöglicht, blind die Bedienelemente zu bedienen ohne dabei - wie etwa bei adaptiven graphischen Benutzeroberflächen - nicht-sterile Oberflächen berühren zu müssen und zudem optisch abgelenkt zu werden. Die Geschwindigkeit mit der sich durch diese spezifische Ausgestaltung Einstellungen vornehmen lassen, ist weit höher, als wenn der Operateur jedes neu erscheinende Anzeigeelement in einer GUI aufwändig antippen muss, was zudem aus Gründen der Sterilität oftmals gar nicht möglich ist.
  • Ferner ist es vorteilhaft in medizinischen Anwendungen, wenn die Bedienelemente so an einer der Komponenten des Bildaufnahmesystems angeordnet sind, dass sie in einer medizinischen Aufnahmesituation mittels einzelner Finger oder Fingerpaare bedienbar sind und/oder sterilisierbar sind. Denn dies ermöglicht dem Operateur eine einfache und sterile Bedienung des Bildaufnahmesystems. Besonders gut gelingt dies, wenn die Bedienelemente beispielsweise an einem Kamerakopf eines Endoskops des Bildaufnahmesystems ausgestaltet sind.
  • Um die Bedienung des Bildaufnahmesystems weiter zu verbessern schlägt die Erfindung, wie oben erwähnt, vor, eine momentane Funktionsneubelegung der Bedienelemente auf einer Anzeigeeinheit anzuzeigen. Dies kann vorzugsweise mittels eines Piktogramms geschehen, welches eine räumliche Anordnung der Bedienelemente an einer jeweiligen Komponente des Bildaufnahmesystems und/oder eine momentan auf ein jeweiliges der Bedienelemente gelegte Funktion anzeigt. Hierdurch kann der Operateur durch einen kurzen Blick auf die Anzeigeeinheit die momentane Funktionsneubelegung erfassen und dennoch blind über die Bedienelemente und ohne Berührung der Anzeigeeinheit gewünschte Einstellungen vornehmen.
  • Besonders bevorzugt ist es hierbei, wenn die Anzeige der momentanen Funktionsneubelegung parallel zu einem aus der Bildsequenz erzeugten und auf der Anzeigeeinheit angezeigten Live-Bild geschieht. Die momentane Funktionsneubelegung, insbesondere das erwähnte Piktogramm, kann hierzu beispielsweise als Überlagerung auf dem Live-Bild oder in einem separaten Fenster angezeigt werden.
  • Gemäß einer weiteren Ausführung kann zudem eine gerade eingestellte und angebotene Funktionsneubelegung von dem Bildaufnahmesystem, insbesondere dem besagten Endoskopiesystem, wieder zurückgenommen werden, nämlich dann, wenn ein Benutzer die angebotene Funktionsneubelegung nicht quittiert. Dies vermeidet Fehlbedienungen und entlastet den Operateur zusätzlich.
  • Aufgrund der erfolgten Funktionsneubelegung kann in bestimmten Fällen mit den Bedienelementen einer Komponente des Bildaufnahmesystems, vorzugsweise mit Bedienelementen eines Kamerakopfes eines Endoskops des besagten Endoskopiesystems, mindestens eine Funktion von mindestens einer weiteren Komponente des Bildaufnahmesystems / des Endoskopiesystems, also beispielsweise einer Lichtquelle oder einer Kamerasteuerungseinheit, und/oder von mindestens einem externen Gerät, beispielsweise einem chirurgischen Operationsinstrument, einer Fluidpumpe oder einem Insufflator, eingestellt werden.
  • Mit anderen Worten kann also durch die Funktionsneubelegung der Bedientasten eine Funktionalität einer zweiten Komponente des Bildaufnahmesystems / des Endoskopiesystems oder eines externen Geräts mit Bedientasten einer ersten Komponente des Bildaufnahmesystems / des Endoskopiesystems bedienbar sein. Durch diesen Ansatz kann die Anzahl der Bedienelemente, die während einer OP steril gehalten werden müssen, beispielsweise nur die des Kamerakopfes, reduziert werden. Dies ist vorteilhaft, da in diesem Fall weniger Komponenten steril gehalten werden müssen.
  • Die Belegung der Bedienelemente erfolgt bevorzugt computerimplementiert, um den Benutzer zu entlasten. Sie kann ferner insbesondere fortlaufend während einer Aufnahme der Bildsequenz erfolgen, und zwar insbesondere derart, dass einem Benutzer des Bildaufnahmesystems, insbesondere des Endoskopiesystems, auf einer, insbesondere der zuvor erläuterten, Anzeigeeinheit stets eine auf eine momentane Aufnahmesituation angepasste Auswahl von auf die Bedienelemente gelegter Funktionen angezeigt wird, ohne dass der Benutzer die Belegung selbst vornehmen muss.
  • Die Funktionen, die den Bedienelementen zugewiesen werden, können beispielsweise eine Einstellung einer Bearbeitung und/oder Verarbeitung der Bildsequenz und/oder eine Einstellung von mindestens einem Bildaufnahmeparameter der Bildsequenz, wie beispielsweise einer Bildhelligkeit, Bildfarbe, Bildkontrast, oder Bildschärfe, betreffen. Dadurch wird eine enorme Vielfalt an Funktionen mit nur wenigen Bedienelementen steuerbar.
  • Die Funktionsneubelegung kann ferner - zusätzlich oder alternativ zur Auswertung der Bildsequenz - auf Basis von aus der Bildsequenz, insbesondere aus einem aus der Bildsequenz erzeugten Videobilddatenstrom, erzeugten Metadaten und/oder auf Basis von externen Daten von externen Geräten und/oder von externen Daten von Sensoren vorgenommen werden. Diese Sensoren können Teil des Bildaufnahmesystems sein oder in externen Geräten verbaut sein. In jedem Fall sollte das Bildaufnahmesystem aber über Möglichkeiten verfügen, Sensorsignale abfragen zu können.
  • Wie bereits eingangs erläutert, kann die computerimplementierte Auswertung der aufgenommenen Bildsequenz der Erkennung einer spezifischen Bildaufnahmesituation dienen. Eine solche Bildaufnahmesituation kann beispielsweise eine bestimmte Phase innerhalb eines medizinischen Eingriffs oder eine bestimmte Szene mit charakteristischem Bildinhalt, beispielsweise eine Blutansammlung, sein. Eine solche Bildaufnahmesituation erfordert in der Regel einen spezifischen einstellbaren Funktionsumfang des Bildaufnahmesystems. Daher kann in vorteilhafter Weise die Belegung der Bedienelemente gerade diesen spezifischen Funktionsumfang mit den Bedienelementen bedienbar machen.
  • Die computerimplementierte Auswertung der aufgenommenen Bildsequenz kann ferner eine kontextbasierte Datenanalyse der Bildsequenz umfassen. Unter einer kontextbasierten Datenanalyse werden im Allgemeinen Analysen verstanden, die dem Entdecken von Konstellationen in inhaltlich zusammenhängenden Daten dienen, also beispielsweise der Sequenz von Einzelbildern, die mit dem Bildsensor aufgenommen wird. Im Sinne der Erfindung kann unter einer kontextbasierten Datenanalyse insbesondere eine Auswertung von Bilddaten, insbesondere in Kombination mit einer Auswertung von aus der Bildsequenz erzeugten Metadaten und/oder von externen Daten von externen Geräten und/oder von Sensoren, verstanden werden, bei der eine bestimmte, insbesondere antrainierte Bildaufnahmesituation, beispielsweise eine bestimmte Phase eines medizinischen Eingriffs, computerimplementiert, vorzugsweise ohne Zutun des Benutzers, identifiziert wird.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung kann die computerimplementierte Auswertung, insbesondere besagte Datenanalyse, auf eine künstliche Intelligenz (KI) gestützt werden.
  • Diese KI kann beispielsweise auf einem neuronalen Netzwerk und/oder auf einem Algorithmus basieren, der mit Hilfe von Beispielbildsequenzen, vorzugsweise unter menschlicher Anleitung, trainiert worden ist. Denn eine solche Datenanalyse kann gemäß der Erfindung dazu genutzt werden, eine spezifische, insbesondere vordefinierte, Bildaufnahmesituation zu erkennen, um dann eine entsprechende Funktionsneubelegung vornehmen zu können.
  • Der verwendete Algorithmus kann somit eine künstliche Intelligenz zur Erkennung von typischen Bildaufnahmesituationen, beispielsweise von zeitlich aufeinander folgenden einzelnen Phasen eines chirurgischen Eingriffs, realisieren. Dadurch kann der Algorithmus, insbesondere auf Basis des vorab durchgeführten Trainings, anhand charakteristischer Eigenschaften eines momentanen Abschnitts eines mit dem Bildaufnahmesystem aufgezeichneten Videobilddatenstroms erkennen, welche spezifische Bildaufnahmesituation vorliegt. Gegebenenfalls kann der Algorithmus anschließend einen für diese Bildaufnahmesituation hinterlegten Parametersatz selektieren, der die Funktionsneubelegung der Bedienelemente bestimmt.
  • Somit ist es besonders vorteilhaft, wenn der Algorithmus vor Anwendung des Verfahrens auf dem Bildaufnahmesystem, mittels von einem Menschen überwachtem Lernen anhand von Beispielbilddaten trainiert worden ist. Diese Beispieldaten können beispielsweise Videoaufnahmen sein, insbesondere von chirurgischen Eingriffen. Das Training kann darin bestehen, dass ein Operateur die Videoaufnahmen in Klassen einteilt, wobei der Algorithmus anhand charakteristischer Eigenschaften des jeweiligen Videobilddatenstroms und der Rückmeldung (feedback) des Operateurs lernt, die Klassen in den Videoaufnahmen zu erkennen.
  • Durch diese Art von künstlicher Intelligenz (KI) wird der Algorithmus also in die Lage versetzt, typische Bildaufnahmesituationen automatisiert zu klassifizieren. Ferner kann der Algorithmus dann eine, beispielsweise von einem Mediziner für die jeweils identifizierte Klasse als optimal empfundene, Funktionsneubelegung der Bedienelemente vorgeben. Mit anderen Worten stellt die KI somit sicher, dass in jeder trainierten Klasse von Bildaufnahmesituationen, die beispielsweise jeweils typisch für eine bestimmte Klasse von chirurgischen Eingriffen sein kann, stets die optimale Funktionsneubelegung der Bedienelemente automatisch vom Bildaufnahmesystem eingestellt wird. Dadurch kann für jede erkannte Klasse stets eine optimale Bedienung des Bildaufnahmesystems sichergestellt werden.
  • Die computerimplementierte Auswertung der aufgenommenen Bildsequenz kann ferner auf einem Vergleich von mindestens einer aus der Bildsequenz gewonnenen Wahrscheinlichkeitskennzahl mit einem zugehörigen Schwellwert beruhen. Bevorzugt beruht die Auswertung jedoch auf einem Vergleich von mehreren voneinander unabhängigen Wahrscheinlichkeitskennzahlen mit jeweils zugehörigen Schwellwerten.
  • Solche Wahrscheinlichkeitskennzahlen können zum Beispiel durch eine Parametrisierung der Bildsequenz, beispielsweise basierend auf einer Farb-, Bewegungs-, Struktur-, oder Mustererkennung gewonnen werden. Diese Parametrisierung kann von einer geeigneten Bildverarbeitung bereitgestellt werden.
  • Gemäß einer bevorzugten Ausgestaltung wird die mindestens eine Wahrscheinlichkeitskennzahl mit Hilfe eines Algorithmus gewonnen, der eine künstliche Intelligenz (KI) implementiert. Diese KI kann insbesondere trainierbar beziehungsweise trainiert sein, insbesondere anhand von BeispielBildsequenzen.
  • Bei einer solchen Ausgestaltung ist es vorzuziehen, wenn das Bildaufnahmesystem nur bei Überschreiten des zugehörigen Schwellwerts eine neue Funktionsneubelegung der Bedienelemente vorschlägt. Werden mehrere unabhängige Wahrscheinlichkeitskennzahlen verwendet, so ist es vorzuziehen, wenn nur bei Überschreiten aller verwendeten Schwellwerte eine neue Funktionsneubelegung der Bedienelemente von dem Bildaufnahmesystem vorgeschlagen wird. Durch solche Ausgestaltungen wird eine Überlastung des Operateurs durch zu häufige Vorschläge vermieden. Denn eine Funktionsneubelegung kann dann unterbleiben, wenn die Schwellwerte nicht überschritten werden. Somit wird die Funktionsneubelegung nur durchgeführt, wenn eine Änderung der Bildaufnahmesituation mit einer voreingestellten statistischen Sicherheit, bestimmt durch mindestens eine Wahrscheinlichkeitskennzahl, erkannt worden ist.
  • Gemäß der Erfindung kann ferner in Reaktion auf eine Ansteuerung, beispielsweise ein Einschalten, eines externen Geräts wie beispielsweise einem elektrochirurgischen Operationsinstrument, eine auf das externe Gerät angepasste Funktion auf eines der Bedienelemente gelegt werden. Eine solche Funktion kann beispielsweise eine auf Bildverarbeitung beruhende Rauchunterdrückung oder eine Anpassung von Bildaufnahmeparametern sein. Diese Belegung kann insbesondere derart erfolgen, dass ein Benutzer des Bildaufnahmesystems die angebotene Funktion über ein jeweiliges Bedienelement aktivieren beziehungsweise einstellen kann, um die Darstellung der Bildsequenz entsprechend anzupassen. Hierzu kann das Bildaufnahmesystem in ständigem Kontakt zu dem externen Gerät stehen, beispielsweise über ein Kabel oder eine drahtlose Verbindung.
  • Mindestens eine der Funktionen, die auf eines der Bedienelemente gelegt werden kann beziehungsweise gelegt wird, kann der Ansteuerung einer Komponente des Bildaufnahmesystems, insbesondere des Endoskopiesystems, oder eines externen Geräts, beispielsweise einem Operationsinstrument, einer Fluidpumpe oder einem Insufflator, dienen. Dadurch können diese Geräte bzw. Komponenten somit über die Bedienelemente direkt gesteuert werden, wobei die jeweiligen Bedienelemente zum Beispiel am Kamerakopf angeordnet sein können.
  • Bei einer solchen Ausgestaltung ist es besonders vorteilhaft, wenn ein jeweiliges Bedienelement mit einer Steuerfunktion, beispielsweise das Betätigen eines Spülkanals, in Abhängigkeit einer erkannten spezifischen Bildaufnahmesituation, beispielsweise eine Operations-Szene mit einer Blutansammlung, belegt wird. Denn dadurch kann die jeweilige Steuerfunktion bedarfsgerecht angeboten werden, während in Fällen, in denen die Steuerfunktion nicht benötigt wird, beispielsweise wenn keine Blutansammlung im Videobild zu erkennen ist, diese gerade nicht angeboten wird.
  • Zur Lösung der genannten Aufgabe sind ferner erfindungsgemäß die Merkmale des unabhängigen Vorrichtungsanspruchs 16 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Bildaufnahmesystem der eingangs beschriebenen Art vorgeschlagen, dass das Bildaufnahmesystem eine Bildverarbeitungseinheit zur Auswertung einer mit dem Bildsensor aufgenommenen Bildsequenz sowie eine Steuereinheit umfasst. Hierbei ist die Bildverarbeitungseinheit dazu eingerichtet, mindestens eine spezifische Bildaufnahmesituation durch Auswertung der Bildsequenz zu erkennen und die Steuereinheit ist dazu eingerichtet, anhand der erkannten Bildaufnahmesituation mindestens eine Funktion mindestens einem der Bedienelemente zuzuweisen. Auch bei diesem Bildaufnahmesystem ist zudem vorgesehen, dass die Anzeigeeinheit räumlich getrennt von den Bedienelementen angeordnet ist, sodass über die Bedienelemente ohne Berührung der Anzeigeeinheit gewünschte Einstellungen vorgenommen werden können.
  • Im Falle der Ausgestaltung des Bildaufnahmesystems als ein Endoskopiesystem ist es für eine besonders einfache Bedienung vorzuziehen, wenn die Bedienelemente als manuelle Bedienelemente an einem Kamerakopf ausgestaltet sind.
  • Ferner ist es besonders vorteilhaft, wenn das Bildaufnahmesystem, also insbesondere das besagte Endoskopiesystem, vorzugsweise die besagte Bildverarbeitungseinheit und/oder Steuereinheit, dazu eingerichtet ist/sind, ein erfindungsgemäßes Verfahren wie zuvor beschrieben oder gemäß einem der auf ein Bildaufnahmeverfahren gerichteten Ansprüche 1 bis 15 auszuführen.
  • Die Bildverarbeitungseinheit kann beispielsweise lokal in einer Kamerasteuerungseinheit des Bildaufnahmesystems oder etwa in einer externen lokalen Recheneinheit realisiert sein. Die Bildverarbeitungseinheit kann aber auch ausgelagert sein. Somit kann die Bildverarbeitungseinheit beispielsweise auch mittels eines lokalen Servernetzwerks oder mittels einer „Cloud-Lösung“, also mittels einer IT-Infrastruktur, die über das Internet verfügbar ist, realisiert sein.
  • Die besagten Bedienelemente können beispielsweise als manuelle Bedienelemente, also zum Beispiel durch Tasten, Knöpfe oder Einstellräder und/oder durch virtuelle Bedienelemente ausgestaltet sein. Ein solches virtuelles Bedienelement kann beispielsweise eine virtuelle Taste sein, die graphisch auf einem berührungsempfindlichen Bildschirm realisiert ist.
  • Diejenigen Bedienelemente, auf die neuen Funktionen gelegt werden können, sind gemäß einer besonders vorteilhaften Ausgestaltung an einem Kamerakopf eines Endoskops ausgestaltet. Denn dadurch lässt sich eine besonders intuitive Bedienung des gesamten Endoskopiesystems erreichen, bei der der Operateur seine Hände nicht vom Endoskop nehmen muss, um den vollen Funktionsumfang des Endoskopiesystems steuern zu können.
  • Die Steuereinheit des Bildaufnahmesystems / des Endoskopiesystems kann beispielsweise dazu eingerichtet sein, eine Anzeigeeinheit so anzusteuern, dass die Anzeigeeinheit eine momentane Funktionsneubelegung des mindestens einen manuellen Bedienelements des Kamerakopfes anzeigt. Wie bereits im Zusammenhang mit dem erfindungsgemäßen Verfahren erläutert, kann dies vorzugsweise mittels eines Piktogramms geschehen. Das Piktogramm, welches von der Anzeigeeinheit dargestellt wird, kann demnach insbesondere eine räumliche Anordnung der manuellen Bedienelemente des Kamerakopfes und/oder eine momentan auf ein jeweiliges dieser Bedienelemente gelegte Funktion anzeigen.
  • Das Anzeigen einer momentanen Funktionsneubelegung der Bedienelemente ermöglicht dabei eine Kontrolle durch den Benutzer des Bildaufnahmesystems, welchen Bedienelementen gerade welche momentane Funktion zugewiesen ist.
  • Die dem mindestens einen manuellen Bedienelement zugewiesene mindestens eine Funktion kann zum Beispiel eine Funktion des Endoskops sein und/oder eine Funktion einer weiteren Komponente des Bildaufnahmesystems / des Endoskopiesystems, beispielsweise einer Lichtquelle oder einer Kamerasteuerungseinheit. Ferner kann die zugewiesene mindestens eine Funktion auch eine Funktion von mindestens einem externen Gerät wie beispielsweise einem Operationsinstrument sein.
  • Daraus ergibt sich, dass über die Bedienelemente, vorzugsweise über manuelle Bedienelemente eines Kamerakopfes des Bildaufnahmesystems, eine Vielzahl von Funktionen des Bildaufnahmesystems / des Endoskopiesystems, also beispielsweise nicht nur Funktionen des Endoskops selbst, sondern auch von weiteren Komponenten des Bildaufnahmesystems / des Endoskopiesystems oder aber von externen Geräten, steuerbar sein können.
  • Bei solchen Ausgestaltungen kann der Kamerakopf somit die Rolle eines zentralen Steuerelements übernehmen, sodass der Benutzer zum Bedienen dieser Komponenten und/oder Geräte die Hand nicht vom Kamerakopf nehmen muss, wodurch das Arbeiten mit dem Endoskopiesystem stark vereinfacht wird. Insbesondere müssen, wie bereits erläutert wurde, nur noch die Bedienelemente am Kamerakopf steril gehalten werden, aber nicht mehr weitere Bedienelemente an anderen Komponenten, da diese durch die Erfindung überflüssig sind.
  • Besonders vorteilhaft für eine vereinfachte Bedienung des Bildaufnahmesystems ist es demnach, wenn die mindestens eine Funktion der Steuerung und/oder Einstellung einer Komponente des Bildaufnahmesystems und/oder eines externen Geräts dient.
  • Ferner kann die mindestens eine Funktion auch eine Einstellung einer Bearbeitung und/oder eine Verarbeitung der Bildsequenz und/oder eine Einstellung von mindestens einem Bildaufnahmeparameter der Bildsequenz, beispielsweise eine Bildhelligkeit, Bildfarbe, Bildkontrast, oder Bildschärfe, betreffen. Hierdurch wird deutlich, dass durch die Erfindung ein enormes Funktionsspektrum mit nur sehr wenigen manuellen Bedienelementen erschlossen wird.
  • An dem Endoskop und/oder an einer Lichtquelle und/oder an einer Kamerasteuerungseinheit, jeweils des Bildaufnahmesystems beziehungsweise des Endoskopiesystems, können selbstverständlich weitere manuelle Bedienelemente ausgebildet sein. In diesem Fall ist es vorteilhaft, wenn die Steuereinheit dazu eingerichtet ist, in Abhängigkeit einer erkannten Bildaufnahmesituation mindestens eine weitere Funktion auf mindestens eines dieser weiteren manuellen Bedienelemente zu legen. Denn hierdurch kann das grundlegende Konzept der Erfindung ausgehend vom Kamerakopf auf weitere Komponenten des Bildaufnahmesystems / des Endoskopiesystems ausgeweitet werden.
  • Die jeweilige Funktion kann dabei vorzugsweise gerade eine Funktion derjenigen Komponente sein, deren weiteres manuelles Bedienelement durch die Steuereinheit belegt wird. Ist etwa an der Lichtquelle ein weiteres Bedienelement ausgestaltet, so macht es Sinn, wenn die Steuereinheit in Abhängigkeit einer erkannten Bildaufnahmesituation eine Funktion der Lichtquelle auf das Bedienelement der Lichtquelle legt.
  • Angenommen das Bildaufnahmesystem / das Endoskopiesystem weist eine Anzahl von als zuweisbar hinterlegten Funktionen auf. Dann ist es gemäß der Erfindung zur Erzielung einer intuitiven Bedienung sinnvoll, wenn eine Anzahl der Bedienelemente, auf die die Steuereinheit die hinterlegten Funktionen legen kann, um mindestens den Faktor 2, vorzugsweise jedoch um mindestens den Faktor 5, übersteigt. Diese Designregel gibt somit eine Anleitung, wie viele Bedienelemente für eine intuitive Bedienung als notwendig erscheinen, ausgehend von einem vorgegebenen gewünschten Funktionsumfang des Bildaufnahmesystems / des Endoskopiesystems.
  • Die Erfindung wird nun anhand von Ausführungsbeispielen näher beschrieben, ist aber nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausbildungen der Erfindung können aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels in Verbindung mit der allgemeinen Beschreibung, den Ansprüchen sowie den Zeichnungen gewonnen werden.
  • Bei der folgenden Beschreibung verschiedener bevorzugter Ausführungsformen der Erfindung erhalten in ihrer Funktion übereinstimmende Elemente auch bei abweichender Gestaltung oder Formgebung übereinstimmende Bezugszahlen.
  • Es zeigt:
    • 1 eine schematische Ansicht eines erfindungsgemäßen Bildaufnahmesystems in Form eines Endoskopiesystems,
    • 2 ein Signalflussdiagramm zur Erläuterung eines erfindungsgemäßen Verfahrens,
    • 3 eine Illustration einer Anzeigeeinheit des Endoskopiesystems aus 1 in einer bestimmten Anzeigesituation,
    • 4 eine weitere Anzeigesituation der Anzeigeeinheit aus 3,
    • 5 eine wiederum andere Anzeigesituation der Anzeigeeinheit aus 3 und
    • 6 eine vierte Anzeigesituation der Anzeigeeinheit aus 3.
  • Die 1 zeigt ein erfindungsgemäßes Bildaufnahmesystem 1 in Form eines Endoskopiesystems 1, welches mehrere Komponenten 8 umfasst, nämlich: Ein Endoskop 2 mit einem Kamerakopf 12, der einen Bildsensor 3 des Endoskops 2 ausliest und an dem Bedienelemente 7 in Form mehrerer Tasten und Drehknöpfe, also mechanischer Manipulatoren 11, ausgebildet sind; eine zugehörige Kamerasteuerungseinheit 6 zum Verarbeiten einer mit dem Bildsensor 3 in Form eines Videobilddatenstroms aufgenommenen Bildsequenz; sowie eine Lichtquelle 4 zur Beleuchtung einer „region of interest“ (ROI), also desjenigen Objektbereichs, der von Interesse ist und mit dem Endoskop 2 inspiziert wird, wie in 1 illustriert ist. Hierzu ist die Lichtquelle 4 mittels Lichtfasern optisch mit dem Endoskop 2 verbunden.
  • Wie in 1 ferner zu sehen, ist das Endoskopiesystem 1 mit einer Anzeigeeinheit 5 in Form eines externen Monitors über ein Kabel verbunden, sowie mit einem externen Gerät 9 in Form eines OP-Instruments 16 über ein weiteres Kabel 13. Auf der Anzeigeeinheit 5 wird der Videobilddatenstrom als Live-Videobild 19 dargestellt.
  • Ferner sind die Komponenten 8 des Endoskopiesystems 1 mittels mehrerer Kabel 13 untereinander verbunden, über die Steuersignale ausgetauscht werden können. Somit kann beispielsweise das Endoskop 2 über die Kamerasteuerungseinheit 6 auf die Lichtquelle 4 zugreifen und umgekehrt. Daneben kann die Kamerasteuerungseinheit 6 Bild- und Steuerungssignale an die Anzeigeeinheit 5 senden, sowie von dem OP-Instrument 16 ausgesandte Signale detektieren.
  • Wird das Endoskopiesystem 1 in Betrieb genommen, so sind die Bedienelemente 7 am Kamerakopf 12 zunächst in einer Grundeinstellung mit jeweiligen Grundfunktionen belegt. Diese Grundfunktionen erlauben die Einstellung/Bedienung von Funktionen des Endoskops 2 mit den Tasten und Einstellrädern am Kamerakopf 12, nämlich unter anderem das Nachregeln eines Zoom-Faktors und das Einstellen einer Bildhelligkeit, also jeweils das Einstellen von Bildaufnahmeparametern.
  • Das Endoskopiesystem 1, genauer die Kamerasteuerungseinheit 6, umfasst ferner eine Bildverarbeitungseinheit 17 zur Auswertung der mit dem Bildsensor 3 aufgenommenen Bildsequenz sowie eine Steuereinheit 18.
  • Die Bildverarbeitungseinheit 17 ist nun dazu eingerichtet, mindestens eine spezifische Bildaufnahmesituation durch Auswertung der Bildsequenz zu erkennen. Ändert sich somit die durch die Bildsequenz abgebildete Bildaufnahmesituation von einer ersten in eine zweite Bildaufnahmesituation, so kann diese Änderung von der Bildverarbeitungseinheit 17 detektiert werden.
  • Beispielsweise ist die Bildverarbeitungseinheit 17 in der Lage, die Entstehung von Rauch in der region of interest 10 anhand einer computerimplementierten Auswertung der aufgenommenen Bildsequenz zu erkennen. Wird diese spezifische Bildaufnahmesituation „Rauch im Bild“ von der Bildverarbeitungseinheit 17 erkannt, so weist die Steuereinheit 18 einem der Bedienelemente 7 am Kamerakopf 12 eine neue Funktion zu.
  • Diese Funktion besteht in der Aktivierung bzw. Deaktivierung (durch erneutes Drücken der Taste) eines Bildbearbeitungsalgorithmus, welcher den Rauch in der Bildsequenz unterdrückt. Im Ergebnis kann der Benutzer des Endoskops somit unverzüglich diese Rauchunterdrückungsfunktion durch Betätigen desjenigen Bedienelements 7, dessen Funktion durch die Steuereinheit 18 des Endoskopiesystems 1 in Reaktion auf die von der Bildverarbeitungseinheit 17 detektierte Änderung der Bildaufnahmesituation neu belegt wurde, aktivieren, sobald Rauch im Live-Videobild 19 zu sehen ist.
  • Damit der Benutzer informiert ist, welches der am Kamerakopf 12 ausgestalteten Bedienelemente 7 mit der neuen Funktion belegt worden ist, wird auf der Anzeigeeinheit 5, wie in 3 illustriert, neben dem Live-Videobild 19 in einem separaten Fenster 15 ein Piktogramm 14 angezeigt, welches eine schematische Darstellung des Endoskops 2 samt Kamerakopf 12 wiedergibt und insbesondere die räumliche Anordnung der Bedienelemente 7 an dem Kamerakopf 12, wie ein Vergleich der als Kreise illustrierten Bedienelemente 7 in den 3 und 1 zeigt.
  • Mittels mehrerer einblendbarer Anzeigeelemente 20 wird dabei dem Benutzer angezeigt, welche Funktion welchem Bedienelement 7 momentan vom Endoskopiesystem 1 zugewiesen ist. Durch diesen Ansatz wird dem Benutzer adaptiv, nämlich in Reaktion auf die veränderte Bildaufnahmesituation, eine auf die momentane Bildaufnahmesituation „Rauch im Bild“ angepasste Auswahl von mit den Bedienelementen 7 momentan steuerbaren Funktionen visuell angeboten, nämlich durch die optischen Hinweise, die durch die einblendbaren Anzeigeelemente 20 erzeugt werden.
  • Da eine der vier Tasten am Kamerakopf 12 durch die Steuereinheit 18 mit der Rauchunterdrückungsfunktion belegt wurde, kann die Grundfunktion, die in der Grundeinstellung mit dieser Taste einstellbar war, zunächst nicht mehr bedient werden. Mit anderen Worten ist demnach jeweils der momentan mit den Bedientasten steuerbare Funktionsumfang kleiner, als ein gesamter Funktionsumfang, der durch mehrmalige Funktionsneubelegungen der Bedienelemente 7 nutzbar ist. Das Endoskopiesystem 1 bietet dem Benutzer somit situationsangepasst jeweils nur einen reduzierten Funktionsumfang an. Dies entlastet den Benutzer und vereinfacht so die Bedienung. Gleichzeitig kann aber weiterhin der volle Funktionsumfang genutzt werden.
  • Alternativ zu der Erkennung der Bildaufnahmesituation „Rauch im Bild“ durch die Bildverarbeitungseinheit 17 kann eine Änderung der Bildaufnahmesituation von dem Endoskopiesystem 1 auch anhand eines Signals des OP-Instruments 16 erkannt werden. Wird das OP-Instrument 16, ein HF-Skalpell, eingeschalten, so wird dieses Einschalten von der Kamerasteuerungseinheit 6 über das Kabel 13 detektiert. Da in diesem Fall zu erwarten ist, dass in naher Zukunft Rauch entsteht, nämlich dann, wenn Gewebe mit dem HF-Skalpell resektiert wird, nimmt die Steuereinheit 18 in Reaktion auf die anhand des Signals des OP-Instruments 16 erkannte Änderung der Bildaufnahmesituation bereits präventiv die Neubelegung eines der Bedienelemente 7 mit der Rauchunterdrückungsfunktion vor.
  • Gleichzeitig wird dem Benutzer mittels des Piktogramms 14 die Neubelegung der Funktionstaste angezeigt, sodass der Benutzer bereits vor der Rauchentstehung, die Rauchunterdrückungsfunktion einschalten kann. Dazu muss der Benutzer aber zunächst die über das Piktogramm 14 angebotene Funktionsneubelegung mittels eines der Bedienelemente 7 quittieren.
  • Tut er dies nicht innerhalb eines vorgegebenen Zeitintervalls, nimmt das Endoskopiesystem 1 die angebotene Funktionsneubelegung zurück, sodass dann nicht mehr die Rauchunterdrückungsfunktion, sondern die zuvor dem betroffenen Bedienelement 7 zugewiesene Funktion wieder mit dem Bedienelement 7 bedienbar ist. Entsprechend wird nach der Rücknahme der Funktionsneubelegung auch die Anzeige des Piktogramms 14 aktualisiert. Somit bleibt der Benutzer trotz der Funktionsneubelegung Herr über die momentan über die Bedienelemente 7 steuerbaren Funktionen.
  • Anhand des Signals des OP-Instruments 16 legt die Steuereinheit 18 aber nicht nur die Rauchunterdrückungsfunktion auf eines der Bedienelemente 7, sondern zudem eine Funktion zum Steuern des OP-Instruments 16, nämlich die Regelung der elektrischen Leistung des HF-Skalpells, auf ein weiteres der Bedienelemente 7 des Kamerakopfes 12. Dadurch kann aufgrund dieser zusätzlichen Funktionsneubelegung mit diesem weiteren Bedienelement 7 des Kamerakopfes 12 die Leistung des OP-Instruments 16 eingestellt werden.
  • Ferner hat die Steuereinheit 18 einem wiederum anderen der Bedienelemente 7 am Kamerakopf 12 die neue Funktion „Bildkontrast regeln“ zugewiesen, mit der der Bildaufnahmeparameter Bildkontrast durch Bearbeitung der aufgenommenen Bildsequenz eingestellt werden kann. Auch diese Funktionsneubelegung wird automatisch unverzüglich in dem Piktogramm 14 mit Hilfe eines Anzeigeelements 20 visualisiert.
  • Im Ergebnis wird dem Benutzer damit auf der Anzeigeeinheit 5 eine auf die Situation „Rauch im Bild“ angepasste Auswahl von drei neuen auf die Bedienelemente 7 gelegter Funktionen angezeigt. Damit verfügt der Benutzer über einen mittels den Bedienelementen 7 steuerbaren Funktionsumfang, der für die erkannte Bildaufnahmesituation „Rauch im Bild“ als optimal angesehen werden kann. Denn der Benutzer kann die Rauchunterdrückung einschalten, die Leistung des HF-Skalpells regeln und gleichzeitig den Bildkontrast unverzüglich anpassen, ohne dass er diese Neufunktionsbelegung der Bedienelemente 7 selbst durch langwierige Einstellungen vornehmen muss.
  • Vielmehr genügt hierfür ein einfaches Quittieren mit einem der Bedienelemente 7 ohne aufwändiges Durchsuchen von Untermenüs, wie bei herkömmlichen Endoskopiesystemen. Damit wird die Bedienung des Endoskopiesystems 1 entscheidend verbessert. Denn durch die automatische Funktionsneubelegung wird gerade derjenige Funktionsumfang des Endoskopiesystems 1 über die Bedienelemente 7 steuerbar, der in der erkannten Bildaufnahmesituation erforderlich / sinnvoll ist.
  • Die Belegung der Bedienelemente 7 geschieht während des Betriebs des Endoskopiesystems 1 fortlaufend und computerimplementiert durch die Steuereinheit 18, da die Bildverarbeitungseinheit 17 den Videobilddatenstrom fortlaufend auf Änderungen der Bildaufnahmesituation hin analysiert.
  • Die Detektion der Änderung der Bildaufnahmesituation durch Erkennen einer spezifischen Bildaufnahmesituation beruht, wie bereits erwähnt wurde, auf einer computerimplementierten Auswertung der aufgenommenen Bildsequenz mittels der Bildverarbeitungseinheit 17. Diese wendet dazu einen Algorithmus an, der mit Hilfe von Beispielbildsequenzen unter menschlicher Anleitung trainiert wurde. Dadurch wird die Bildverarbeitungseinheit 17 in die Lage versetzt, eine Anzahl an vordefinierten Bildaufnahmesituationen anhand vordefinierter Parameter zu erkennen, die jeweils zuvor anhand der Beispielbildsequenzen trainiert worden sind. Durch den Algorithmus wird somit eine künstliche Intelligenz zur Bestimmung von bestimmten Bildaufnahmesituationen implementiert.
  • Genauer berechnet der Algorithmus Bildparameter aus der Bildsequenz und gewinnt aus diesen mehrere Wahrscheinlichkeitskennzahlen, die er jeweils mit zugehörigen Schwellwerten vergleicht. Werden alle Schwellwerte überschritten, so wird dies so gewertet, dass die durch die Bildparameter und Schwellwerte charakterisierte Bildaufnahmesituation mit einer gewissen statistischen Mindestsicherheit erkannt worden ist.
  • Beispielsweise erkennt die Bildverarbeitungseinheit 17 anhand eines berechneten Farbwerts und eines zugehörigen berechneten Bildanteils von Pixeln dieses Farbwerts durch Vergleich mit entsprechenden Schwellwerten, ob die Bildsequenz momentan eine größere Blutansammlung zeigt. In Abhängigkeit der dadurch erkannten Bildaufnahmesituation „Blutansammlung im Bild“ legt die Steuereinheit 18 dann eine Funktion „Spülkanal an/ausschalten“ auf eines der Bedienelemente 7, sodass mit diesem Bedienelement 7 dann eine externe Spülwasserpumpe angesteuert werden kann, mit der die Blutansammlung in der mit dem Endoskop 2 beobachteten region of interest 10 beseitigt werden kann.
  • Wird hingegen bereits einer der Schwellwerte unterschritten, so unterbleibt diese Funktionsneubelegung. Dadurch können fehlerhafte Bilderkennungen reduziert werden, sodass der Benutzer nicht durch unnötige Funktionsneubelegungen wiederholt in seiner Arbeit gestört wird.
  • Die Tatsache, dass die manuellen Bedienelemente 7 an dem Kamerakopf 12 als mechanische Manipulatoren 11 in Form von Drehknöpfen und Tasten ausgestaltet sind, hat den entscheidenden Vorteil, dass der Benutzer die Bedienelemente 7 haptisch wahrnehmen kann, wenn er die mit dem jeweiligen Bedienelement 7 verknüpfte Funktion bedient. Er kann sich so voll auf die Beobachtung des Live-Videobilds 19 konzentrieren, da er die Bedienelemente 7 blind bedienen kann. Die Bedienelemente 7 sind ferner gerade so angeordnet, dass sie in der in 1 gezeigten medizinischen Aufnahmesituation mittels einzelner Finger bedienbar sind. Dies alles führt dazu, dass der Benutzer gerade nicht die Anzeigeeinheit 5 berühren muss, um dort Einstellungen der Funktionen vorzunehmen, sodass die Sterilität gewährleistet werden kann.
  • Wie die 4 zeigt, kann das Endoskopiesystem 1 in Reaktion auf die Erkennung bestimmter Aufnahmesituationen auch Bedienelemente 7 an anderen Komponenten 8 neu mit Funktionen belegen, etwa die Bedienelemente 7 der Lichtquelle 4, die in 1 als auch in dem Piktogramm 14 der Lichtquelle 4 in dem linken Fenster 15 der 4 zu erkennen sind. Auch hier wird erneut die Funktionsneubelegung dem Benutzer zunächst mit Hilfe des Piktogramms 14 und optischer Hinweise durch Anzeigeelemente 20 auf der Anzeigeeinheit 5 angeboten und der Benutzer muss diese angebotene Funktionsneubelegung quittieren, damit diese auch tatsächlich vom Endoskopiesystem 1 realisiert wird.
  • Je nach erkannter Bildaufnahmesituation kann auch das linke Fenster ausgeblendet werden, wie in 5 illustriert ist, sodass fast der gesamte Bildschirm von dem Live-Videobild 19 eingenommen wird. In diesem Fall kann die momentane Funktionsneubelegung wie in 5 dargestellt mittels jeweiliger Dropdown-Menüs 22 visualisiert werden, wobei jeder der in 5 dargestellten Reiter 21 die Funktionsbelegung der Bedienelemente einer Komponente 8 des Endoskopiesystems 1 wiedergibt.
  • 6 zeigt eine weitere Möglichkeit zur Visualisierung der momentanen Funktionsneubelegung bzw. zum visuellen Anbieten einer noch zu quittierenden Funktionsneubelegung. Hierbei ist das Piktogramm 14 auf die räumliche Anordnung der Bedienelemente 7 beschränkt und als overlay über dem Live-Videobild im selben Fenster 15 eingeblendet. Auch hier wird die jeweilige momentane, beziehungsweise angebotene, neue Funktion des jeweiligen Bedienelements 7 mittels eingeblendeter Anzeigenelemente 20 dem Benutzer angezeigt.
  • Schließlich erläutert 2 anhand des dargestellten Signalflussdiagramms eine praktische Implementierung eines erfindungsgemäßen Verfahrens durch folgende Verfahrensschritte:
    1. A. Aufnehmen der Bildsequenz mit dem Endoskopiesystem in Form eines Videobilddatenstroms;
    2. B. Computerimplementierte Auswertung der aufgenommenen Bildsequenz mit Hilfe der Bildverarbeitungseinheit 17;
    3. C. Berechnung von Bildparametern und Wahrscheinlichkeitskennzahlen anhand der Auswertung;
    4. D. Vergleich der Wahrscheinlichkeitskennzahlen mit Schwellwerten (optionaler Schritt);
    5. E. Erzeugen eines Vorschlags für eine Funktionsneubelegung von mindestens einem der Bedienelemente 7; (dieser Schritt erfolgt nicht, sofern keine Änderung der Bildaufnahmesituation detektiert wurde oder nur mit einer unzureichenden Sicherheit, was anhand des Schwellwertvergleichs festgestellt wird);
    6. F. Anbieten des Vorschlags (visuell, z.B. mit Hilfe eines Piktogramms 14, oder akustisch)
    7. G. Anwender quittiert den visuellen Vorschlag durch Annehmen, Ablehnen oder Nichtstun (wird als Ablehnen gewertet) - dies kann durch Sprachbefehle, Gesten, oder mittels der Bedienelemente 7 geschehen; Bei Annahme, wird der Vorschlag implementiert, d.h. die neue Funktion wird dem Bedienelement 7 zugewiesen.
  • Der in 2 illustrierte optionale Schritt X umfasst schließlich den Einsatz einer künstlichen Intelligenz bei der computerimplementierten Auswertung der aufgenommenen Bildsequenz.
  • Zusammenfassend wird zur Vereinfachung der Bedienung eines medizinischen Bildaufnahmesystems 1 vorgeschlagen, dass das Bildaufnahmesystem 1 fortlaufend eine momentane Bildaufnahmesituation überwacht und in Reaktion auf eine Änderung der Bildaufnahmesituation mindestens einem, vorzugsweise manuellen, Bedienelement 7 mindestens eine neue Funktion zuweist, die auf eine detektierte neue Bildaufnahmesituation angepasst ist, sodass diese neu zugewiesene Funktion mit dem mindestens einen Bedienelement 7 einstellbar beziehungsweise bedienbar ist. Zu diesem Zweck kann das Bildaufnahmesystem 1 die Änderung der Bildaufnahmesituation anhand vordefinierter Parameter mittels Sensorik und/oder durch Kommunikation mit Peripheriegeräten und/oder vorzugsweise durch Bildanalyse einer Bildsequenz, die mit einem Bildsensor 3 des Bildaufnahmesystems 1 aufgezeichnet wird, detektieren (Vgl. 1)
  • Bezugszeichenliste
  • 1
    medizinisches Bildaufnahmesystem / Endoskopiesystem
    2
    Endoskop
    3
    Bildsensor
    4
    Lichtquelle
    5
    Anzeigeeinheit
    6
    Kamerasteuerungseinheit
    7
    Bedienelement
    8
    Komponente (von 1)
    9
    externes Gerät
    10
    ROI - region of interest
    11
    Manipulator
    12
    Kamerakopf
    13
    Kabel
    14
    Piktogramm
    15
    Fenster
    16
    Operationsinstrument
    17
    Bildverarbeitungseinheit
    18
    Steuereinheit
    19
    Live-Videobild
    20
    Anzeigeelement
    21
    Reiter
    22
    Dropdown-Menü

Claims (22)

  1. Bildaufnahmeverfahren, bei welchem eine Bildsequenz, insbesondere in Form eines Videobilddatenstroms, mit einem Bildsensor (3) eines medizinischen Bildaufnahmesystems (1) aufgenommen wird und wobei mithilfe von Bedienelementen (7) Funktionen von Komponenten (8) des Bildaufnahmesystems (1) eingestellt beziehungsweise bedient werden, dadurch gekennzeichnet, - dass in Reaktion auf eine durch das Bildaufnahmesystem (1) detektierte Änderung einer Bildaufnahmesituation wenigstens einem der Bedienelemente (7) wenigstens eine Funktion neu zugewiesen wird, - wobei eine momentane Funktionsneubelegung der Bedienelemente (7) auf einer Anzeigeeinheit (5) angezeigt wird und - wobei die Bedienelemente (7) an einer der Komponenten (8) angeordnet sind, die baulich von der Anzeigeeinheit (5) getrennt ist, - sodass über die Bedienelemente (7) ohne Berührung der Anzeigeeinheit (5) gewünschte Einstellungen vorgenommen werden können.
  2. Bildaufnahmeverfahren nach Anspruch 1, wobei die Detektion der Änderung der Bildaufnahmesituation anhand einer computerimplementierten Auswertung der aufgenommenen Bildsequenz und/oder anhand einer erfolgten Ansteuerung, beispielsweise eines Einschaltens, eines externen Geräts (9) und/oder anhand eines Signals eines Sensors erfolgt.
  3. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei bei der Neuzuweisung eine vorab erfolgte Benutzereingabe berücksichtigt wird, - insbesondere derart, dass die Neuzuweisung einem individuellen Wunsch eines Benutzers des Bildaufnahmesystems (1) entspricht.
  4. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die Funktionszuweisung beziehungsweise Funktionsneubelegung derart erfolgt, dass einem Benutzer des Bildaufnahmesystems (1) adaptiv eine auf eine momentane Bildaufnahmesituation angepasste Auswahl von mit den Bedienelementen (7) momentan bedienbaren Funktionen angeboten wird, vorzugsweise durch einen optischen oder sonstigen Hinweis, - insbesondere wobei ein momentan mit den Bedienelementen (7) bedienbarer Funktionsumfang, im Vergleich zu einem durch mehrmalige Neubelegung der Bedienelemente (7) nutzbaren Funktionsumfang, reduziert ist.
  5. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die Bedienelemente (7) als mechanische Manipulatoren (11) ausgebildet sind, insbesondere die während der Einstellung der jeweiligen Funktion haptisch wahrgenommen, insbesondere ertastet, werden, und/oder - wobei die Bedienelemente (7) so an einer der Komponenten (8), vorzugsweise an einem Kamerakopf (12) eines/des Endoskops (2), angeordnet sind, dass sie in einer medizinischen Aufnahmesituation mittels einzelner Finger oder Fingerpaare bedienbar sind und/oder sterilisierbar sind.
  6. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die momentane Funktionsneubelegung der Bedienelemente (7) auf der Anzeigeeinheit (5) mittels eines Piktogramms (14) angezeigt wird, welches eine räumliche Anordnung der Bedienelemente (7) an einer jeweiligen Komponente (8) des Bildaufnahmesystems (1) und/oder eine momentan auf ein jeweiliges der Bedienelemente (7) gelegte Funktion anzeigt, - besonders bevorzugt parallel zu einem aus der Bildsequenz erzeugten und auf der Anzeigeeinheit (5) angezeigten Live-Bild, beispielsweise als Überlagerung auf dem Live-Bild oder in einem separaten Fenster (15) und/oder - dass eine gerade eingestellte und angebotene Funktionsneubelegung von dem Bildaufnahmesystem (1) wieder zurückgenommen wird, sofern ein Benutzer die angebotene Funktionsneubelegung nicht quittiert.
  7. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei aufgrund der Funktionsneubelegung mit den Bedienelementen (7) einer Komponente (8) des Bildaufnahmesystems (1), insbesondere des Endoskopiesystems (1), vorzugsweise mit Bedienelementen (7) eines Kamerakopfes (12) des Endoskops (2), mindestens eine Funktion von mindestens einer weiteren Komponente (8) des Bildaufnahmesystems (1) / des Endoskopiesystems (1), beispielsweise einer Lichtquelle (4) oder einer Kamerasteuerungseinheit (6), und/oder von mindestens einem externen Gerät (9), beispielsweise einem chirurgischen Operationsinstrument (16) / einer Fluidpumpe / einem Insufflator, eingestellt wird.
  8. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die Belegung der Bedienelemente (7) computerimplementiert und/oder fortlaufend während einer Aufnahme der Bildsequenz erfolgt, insbesondere derart, dass einem Benutzer des Bildaufnahmesystems (1) auf einer, insbesondere der, Anzeigeeinheit (5) stets eine auf eine momentane Aufnahmesituation angepasste Auswahl von auf die Bedienelemente (7) gelegter Funktionen angezeigt wird, ohne dass der Benutzer die Belegung vornehmen muss.
  9. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei eine den Bedienelementen (7) zugewiesene Funktion eine Einstellung einer Bearbeitung und/oder Verarbeitung der Bildsequenz und/oder eine Einstellung von mindestens einem Bildaufnahmeparameter der Bildsequenz, beispielsweise eine Bildhelligkeit, Bildfarbe, Bildkontrast, oder Bildschärfe, betrifft.
  10. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die Funktionsneubelegung - zusätzlich oder alternativ zur Auswertung der Bildsequenz - auf Basis von aus der Bildsequenz, insbesondere aus einem aus der Bildsequenz erzeugten Videobilddatenstrom, erzeugten Metadaten und/oder auf Basis von externen Daten von externen Geräten und/oder von Sensoren vorgenommen wird.
  11. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die computerimplementierte Auswertung der aufgenommenen Bildsequenz der Erkennung einer spezifischen Bildaufnahmesituation, beispielsweise einer Phase innerhalb eines medizinischen Eingriffs oder einer bestimmten Szene mit charakteristischem Bildinhalt, beispielsweise eine Blutansammlung, dient, die einen spezifischen einstellbaren Funktionsumfang des Bildaufnahmesystems (1) erfordert, - insbesondere wobei die Belegung der Bedienelemente (7) diesen spezifischen Funktionsumfang mit den Bedienelementen (7) bedienbar macht.
  12. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die computerimplementierte Auswertung der aufgenommenen Bildsequenz eine kontextbasierte Datenanalyse der Bildsequenz umfasst, die auf eine künstliche Intelligenz, beispielsweise basierend auf einem neuronalen Netzwerk und/oder einem Algorithmus, der mit Hilfe von Beispielbildsequenzen, vorzugsweise unter menschlicher Anleitung, trainiert worden ist, gestützt wird und/oder die der Bestimmung einer bestimmten Bildaufnahmesituation dient.
  13. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die computerimplementierte Auswertung der aufgenommenen Bildsequenz auf einem Vergleich von mindestens einer aus der Bildsequenz gewonnenen Wahrscheinlichkeitskennzahl mit einem zugehörigen Schwellwert beruht, wobei das Bildaufnahmesystem (1) nur bei Überschreiten des Schwellwerts eine neue Funktionsneubelegung der Bedienelemente (7) vorschlägt, insbesondere und andernfalls eine Funktionsneubelegung unterbleibt, vorzugsweise wobei die mindestens eine Wahrscheinlichkeitskennzahl mit Hilfe eines Algorithmus gewonnen wird, der eine künstliche, insbesondere trainierbare, Intelligenz implementiert.
  14. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei in Reaktion auf eine Ansteuerung, beispielsweise ein Einschalten, eines externen Geräts (9) wie beispielsweise einem elektrochirurgischen Operationsinstrument (16), eine auf das externe Gerät (9) angepasste Funktion, beispielsweise eine auf Bildverarbeitung beruhende Rauchunterdrückung oder eine Anpassung von Bildaufnahmeparametern, auf eines der Bedienelemente (7) gelegt wird, insbesondere derart, dass ein Benutzer des Bildaufnahmesystems (1) die angebotene Funktion über das jeweilige Bedienelement (7) aktivieren beziehungsweise einstellen kann, um die Darstellung der Bildsequenz entsprechend anzupassen, vorzugsweise wobei hierzu das Bildaufnahmesystem (1) in ständigem Kontakt zu dem externen Gerät (9) steht, beispielsweise über ein Kabel (13) .
  15. Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei mindestens eine der Funktionen, die auf eines der Bedienelemente (7) gelegt werden kann beziehungsweise gelegt wird, der Ansteuerung einer Komponente (8) des Bildaufnahmesystems (1) oder eines externen Geräts (9), beispielsweise einem Operationsinstrument (16), einer Fluidpumpe oder einem Insufflator, dient, insbesondere wobei ein jeweiliges Bedienelement (7) mit einer Steuerfunktion, beispielsweise das Betätigen eines Spülkanals, in Abhängigkeit einer erkannten spezifischen Bildaufnahmesituation, beispielsweise eine Operations-Szene mit einer Blutansammlung, belegt wird.
  16. Medizinisches Bildaufnahmesystem (1), insbesondere Endoskopiesystem (1), umfassend einen Bildsensor (3) sowie mehrere Bedienelemente (7) zum Steuern des Bildaufnahmesystems (1), dadurch gekennzeichnet, dass das Bildaufnahmesystem (1) - eine Bildverarbeitungseinheit (17) zur Auswertung einer mit dem Bildsensor (3) aufgenommenen Bildsequenz sowie - eine Anzeigeeinheit (5) zum Anzeigen einer momentanen Funktionsneubelegung der Bedienelemente (7) und - eine Steuereinheit (18) umfasst, wobei - die Bildverarbeitungseinheit (17) dazu eingerichtet ist, mindestens eine spezifische Bildaufnahmesituation durch Auswertung der Bildsequenz zu erkennen, und - die Steuereinheit (18) dazu eingerichtet ist, anhand der erkannten Bildaufnahmesituation mindestens eine Funktion mindestens einem der Bedienelemente (7) zuzuweisen, und - wobei die Anzeigeeinheit (5) räumlich getrennt von den Bedienelementen (7) angeordnet ist, sodass über die Bedienelemente (7) ohne Berührung der Anzeigeeinheit (5) gewünschte Einstellungen vorgenommen werden können.
  17. Bildaufnahmesystem (1) gemäß Anspruch 16, wobei die Bildverarbeitungseinheit (17) in einer Kamerasteuerungseinheit des Bildaufnahmesystems (1) oder in einer externen lokalen Recheneinheit oder mittels eines lokalen Servernetzwerks oder mittels einer IT-Infrastruktur, die über das Internet verfügbar ist (cloud), realisiert ist.
  18. Bildaufnahmesystem (1) gemäß Anspruch 16 oder 17, wobei diejenigen Bedienelemente (7), auf die neuen Funktionen gelegt werden können, an einem Kamerakopf (12) des Bildaufnahmesystems (1) ausgestaltet sind, und/oder - wobei die Steuereinheit (18) dazu eingerichtet ist, eine Anzeigeeinheit (5) so anzusteuern, dass diese eine momentane Funktionsneubelegung des mindestens einen manuellen Bedienelements (7) des Kamerakopfes (12) anzeigt, vorzugsweise mittels eines Piktogramms, welches eine räumliche Anordnung der manuellen Bedienelemente (7) des Kamerakopfes (12) und/oder eine momentan auf ein jeweiliges dieser Bedienelemente (7) gelegte Funktion anzeigt.
  19. Bildaufnahmesystem (1) gemäß einem der Ansprüche 16 bis 18, wobei die dem mindestens einen manuellen Bedienelement (7) zugewiesene mindestens eine Funktion, eine Funktion eines Endoskops (2) / Exoskops / Mikroskops und/oder eine Funktion einer weiteren Komponente (8) des Bildaufnahmesystems (1), insbesondere des Endoskopiesystems (1), beispielsweise einer Lichtquelle (4) oder einer Kamerasteuerungseinheit (6), und/oder von mindestens einem externen Gerät (9), beispielsweise einem Operationsinstrument (16), ist.
  20. Bildaufnahmesystem (1) gemäß einem der Ansprüche 16 bis 19, wobei die mindestens eine Funktion der Steuerung und/oder Einstellung einer Komponente (8) des Bildaufnahmesystems, insbesondere des Endoskopiesystems (1), und/oder eines externen Geräts (9) dient und/oder eine Einstellung einer Bearbeitung und/oder Verarbeitung der Bildsequenz und/oder eine Einstellung von mindestens einem Bildaufnahmeparameter der Bildsequenz, beispielsweise eine Bildhelligkeit, Bildfarbe, Bildkontrast, oder Bildschärfe, betrifft.
  21. Bildaufnahmesystem (1) gemäß einem der Ansprüche 16 bis 20, wobei weitere manuelle Bedienelemente (7) an dem Endoskop (2) / Exoskop / Mikroskop und/oder an einer Lichtquelle (4) und/oder an einer Kamerasteuerungseinheit (6) jeweils des Bildaufnahmesystems (1) ausgebildet sind und die Steuereinheit (18) dazu eingerichtet ist, in Abhängigkeit einer erkannten Bildaufnahmesituation mindestens eine weitere Funktion auf mindestens eines dieser weiteren manuellen Bedienelemente (7) zu legen, - vorzugsweise wobei die jeweilige Funktion eine Funktion derjenigen Komponente (8) ist, deren weiteres manuelles Bedienelement (7) durch die Steuereinheit (18) belegt wird.
  22. Bildaufnahmesystem (1) gemäß einem der Ansprüche 16 bis 21, wobei eine Anzahl von als zuweisbar hinterlegten Funktionen, eine Anzahl der Bedienelemente (7), auf die die Steuereinheit (18) die hinterlegten Funktionen legen kann, um mindestens den Faktor 2, vorzugsweise mindestens den Faktor 5, übersteigt.
DE102019118752.4A 2019-07-10 2019-07-10 Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem Active DE102019118752B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102019118752.4A DE102019118752B4 (de) 2019-07-10 2019-07-10 Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem
US16/925,624 US11974719B2 (en) 2019-07-10 2020-07-10 Method for adaptive functional reconfiguration of operating elements of an image acquisition system and corresponding image acquisition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019118752.4A DE102019118752B4 (de) 2019-07-10 2019-07-10 Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem

Publications (2)

Publication Number Publication Date
DE102019118752A1 DE102019118752A1 (de) 2021-02-25
DE102019118752B4 true DE102019118752B4 (de) 2023-06-15

Family

ID=74102838

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019118752.4A Active DE102019118752B4 (de) 2019-07-10 2019-07-10 Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem

Country Status (2)

Country Link
US (1) US11974719B2 (de)
DE (1) DE102019118752B4 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021101410A1 (de) 2021-01-22 2022-07-28 Olympus Winter & Ibe Gmbh Verfahren und System zur Steuerung eines chirurgischen HF-Generators sowie Softwareprogrammprodukt
DE102022123045A1 (de) 2022-09-09 2024-03-14 Schölly Fiberoptic GmbH Verfahren und System zur Anzeige von Bilddaten

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334292A1 (en) 2014-05-13 2015-11-19 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
WO2016168838A2 (en) 2015-04-17 2016-10-20 mPerpetuo, Inc. A digital camera
WO2018017625A1 (en) 2016-07-18 2018-01-25 mPerpetuo, Inc. User interface for smart digital camera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6062484B2 (ja) * 2015-05-12 2017-01-18 京セラ株式会社 電子機器、制御方法及び制御プログラム
JP2017127443A (ja) * 2016-01-19 2017-07-27 オリンパス株式会社 内視鏡
US10932650B2 (en) * 2017-11-27 2021-03-02 Karl Storz Imaging, Inc. Medical scope button system providing user feedback without the need for direct sight or activation test
WO2020036121A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
JP2020107066A (ja) * 2018-12-27 2020-07-09 ソニー株式会社 操作制御装置、撮像装置、操作制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334292A1 (en) 2014-05-13 2015-11-19 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
WO2016168838A2 (en) 2015-04-17 2016-10-20 mPerpetuo, Inc. A digital camera
WO2018017625A1 (en) 2016-07-18 2018-01-25 mPerpetuo, Inc. User interface for smart digital camera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANG, D., KIM, J.-W. (2019). A Scene Change Detection Framework Based on Deep Learning and Image Matching: MUE/FutureTech 2018, S. 623-629DOI: 10.1007/978-981-13-1328-8_80URL: https://www.researchgate.net/publication/329262974_A_Scene_Change_Detection_Framework_Based_on_Deep_Learning_and_Image_Matching_MUEFutureTech_2018[abgerufen am 25.03.2020]

Also Published As

Publication number Publication date
US20210007588A1 (en) 2021-01-14
DE102019118752A1 (de) 2021-02-25
US11974719B2 (en) 2024-05-07

Similar Documents

Publication Publication Date Title
EP2449997B1 (de) Medizinischer Arbeitsplatz
EP0827002B1 (de) Operationsmikroskopsystem mit Datenaufbereitungseinheit
EP2108328B1 (de) Bildbasiertes Ansteuerungsverfahren für medizintechnische Geräte
EP3791774B1 (de) Beobachtungsvorrichtung, insbesondere medizinische beobachtungsvorrichtung, mit einer bedieneinheit sowie verwendung eines eingabemoduls
DE102004058911B4 (de) Reaktives Arbeitsablaufsystem und -verfahren
DE19961971A1 (de) Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem Endoskopführungssystem (EFS) für die minimal invasive Chirurgie
DE102008041709A1 (de) Medizinischer Arbeitsplatz und Bedienvorrichtung zum manuellen Bewegen eines Roboterarms eines medizinischen Arbeitsplatzes
DE112018001478T5 (de) Steuervorrichtung, steuerverfahren, steuersystem und programm
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
DE102019118752B4 (de) Verfahren zur adaptiven Funktionsneubelegung von Bedienelementen eines Bildaufnahmesystems sowie zugehöriges Bildaufnahmesystem
EP3639782A1 (de) Steuerungsanordnung zur steuerung einer bewegung eines roboterarms und behandlungsvorrichtung mit steuerungsanordnung
DE102013104429A1 (de) Vorrichtungen zum Steuern einer medizinischen Vorrichtung mittels Gesten und Verfahren
DE112018006430T5 (de) Medizinisches beobachtungssystem, medizinische signalverarbeitungsvorrichtung und verfahren zur ansteuerung der medizinischen signalverarbeitungsvorrichtung
DE102008050542A1 (de) Medizinisches Bildaufnahmesystem, Bedieneinrichtung und Verfahren zum Steuern einer Bildaufnahmevorrichtung
DE102020213035A1 (de) Verfahren zur Ansteuerung eines Röntgengerätes und medizinisches System
DE102019118750A1 (de) Medizinisches Bildaufnahmesystem, welches situationsabhängig Anpassungsvorschläge unterbreitet, sowie zugehöriges Bildaufnahmeverfahren
WO2023161193A2 (de) Medizinische bildgebungsvorrichtung, medizinisches system, verfahren zum betrieb einer medizinischen bildgebungsvorrichtung und verfahren zur medizinischen bildgebung
EP3027105A1 (de) Assistenzeinrichtung zur bildgebenden unterstützung eines operateurs während eines chirurgischen eingriffs
DE102007026120B4 (de) Verfahren zur selbsttätigen Steuerung eines Zeigerelements in graphischen Nutzerschnittstellen eines digitalen Bildinformationssystems
DE102018206405B3 (de) Mikroskopiesystem sowie Verfahren zum Betrieb eines Mikroskopiesystems
DE102020130805A1 (de) Kontext-abhängige Steuerung eines Operationsmikroskops
WO2024115724A1 (de) Verfahren zur markierung von information in digitalen bildern
WO2024018011A1 (de) Steuervorrichtung und system, sowie system mit einem medizinischen operationsinstrument, einer datenerfassungsvorrichtung und einer datenverarbeitungseinrichtung
DE202021102512U1 (de) Robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, Verwendung eines robotischen Telemanipulationssystems, autonomes medizinisches Robotersystem
DE102014207699A1 (de) Verfahren zur Bildüberwachung eines Eingriffs mit einer Magnetresonanzeinrichtung, Magnetresonanzeinrichtung und Computerprogramm

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R026 Opposition filed against patent