DE102012220116A1

DE102012220116A1 - Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung

Info

Publication number: DE102012220116A1
Application number: DE102012220116.5A
Authority: DE
Inventors: Sebastian Engel; Erwin Keeve; Christian Winne; Eckart Uhlmann
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Charite Universitaetsmedizin Berlin
Priority date: 2012-06-29
Filing date: 2012-11-05
Publication date: 2014-01-02
Also published as: WO2014001536A1; US20150223725A1; EP2867855A1

Abstract

Die Erfindung betrifft eine mobil handhabbare Vorrichtung 1000 mit einem mobilen Vorrichtungskopf 100, insbesondere einem medizinischen mobilen Vorrichtungskopf 100 mit einem distalen Ende zur Anordnung relativ zu einem Körper, insbesondere Ein- oder Anbringung am Körper, mit wenigstens einem zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf 100, und einer zur Navigation ausgebildeten Führungseinrichtung 400.

Description

Die Erfindung betrifft eine mobil handhabbare Vorrichtung wie ein Werkzeug, ein Instrument oder einen Sensor oder dergleichen, insbesondere zur Bearbeitung oder Beobachtung eines Körpers. Vorzugsweise betrifft die Erfindung eine mobil handhabbare medizinische Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines biologischen Körpers, insbesondere Gewebes. Vorzugsweise betrifft die Erfindung eine mobil handhabbare nicht-medizinische Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines technischen Körpers, insbesondere Gegenstandes. Die Erfindung betrifft auch ein Verfahren zur Handhabung, insbesondere Kalibrierung, der Vorrichtung, insbesondere im medizinischen oder nicht-medizinischen Bereich.
Eine eingangs genannte mobile handhabbare Vorrichtung kann insbesondere ein Werkzeug, Instrument oder Sensor oder dergleichen Gerät sein. Insbesondere kann eine eingangs genannte mobil handhabbare Vorrichtung – vorzugsweise medizinische oder nicht-medizinische Vorrichtung – ein Endoskop, ein Zeigerinstrument oder ein Instrument oder Werkzeug – vorzugsweise ein nicht-medizinisches Instrument oder Werkzeug oder ein medizinisches Instrument oder Werkzeug, insbesondere ein chirurgisches Instrument oder Werkzeug – sein. Die mobil handhabbare Vorrichtung weist wenigstens einen zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf auf und eine Führungseinrichtung, die zur Navigation ausgebildet ist, um eine automatische Führung des mobilen Vorrichtungskopfes zu ermöglichen.
In der Robotik, insbesondere im medizinischen oder nicht-medizinischen Bereich, haben sich Ansätze zur mobil handhabbaren Vorrichtung der eingangsgenannten Art entwickelt. Zur Zeit wird zur Darstellung einer Führungseinrichtung insbesondere der Ansatz einer endoskopischen Navigation bzw. Instrumentennavigation verfolgt, bei dem optische oder elektromagnetische Tracking-Verfahren zur Navigation verwendet werden; bekannt sind beispielsweise modulare Systeme für eine Endoskop mit erweiternden Systemmodulen wie einer Trackingkamera, einer Recheneinheit und einer visuellen Darstellungseinheit zur Darstellung einer klinischen Navigation.
Unter Tracking ist grundsätzlich ein Verfahren zur Spurbildung bzw. Nachführung zu verstehen, was die Verfolgung von bewegten Objekten – nämlich vorliegend dem mobilen Vorrichtungskopf – dient. Ziel dieser Verfolgung ist meist das Abbilden der beobachteten tatsächlichen Bewegung, insbesondere relativ zu einer kartographierten Umgebung, zur technischen Verwendung. Dies kann das Zusammenführen des getrackten (geführten) Objekts – nämlich dem mobilen Vorrichtungskopf – mit einem anderen Objekt (z. B. ein Zielpunkt oder eine Zieltrajektorie in der Umgebung) sein oder schlicht die Kenntnis der momentanen “Pose“ – d. h. Position und/oder Orientierung – und/oder Bewegungszustand des getrackten Objektes.
Bislang werden zum Tracken regelmäßig Absolutdaten betreffend die Position und/oder Orientierung (Pose) des Objektes und/oder der Bewegung des Objektes herangezogen, wie beispielsweise bei dem obengenannten System. Die Güte der bestimmten Pose und/oder Bewegungsinformation hängt zunächst von der Güte der Beobachtung, dem verwendetem Tracking-Algorithmus sowie von der Modellbildung ab, die der Kompensation unvermeidlicher Messfehler dient. Ohne Modellbildung ist die Güte der bestimmten Lage- und Bewegungsinformation jedoch meist vergleichsweise schlecht. Derzeit werden absolute Koordinaten eines mobilen Vorrichtungskopfes – z. B. im Rahmen einer medizinischen Anwendung – auch beispielsweise aus der Relativbeziehung zwischen einem Patienten-Tracker und einem Tracker für den Vorrichtungskopf geschlossen. Grundsätzlich problematisch bei solchen als Tracking-Absolut-Module bezeichneten modularen Systemen ist der zusätzliche Aufwand – räumlich und zeitlich – zur Darstellung der erforderlichen Tracker. Der Platzbedarf ist enorm und erweist sich als höchst problematisch in einem Operationssaal mit einer Vielzahl von Akteuren.
So muss darüberhinaus eine ausreichende Navigationsinformation zur Verfügung stehen; d. h. bei Tracking-Verfahren muss regelmäßig eine Signalverbindung zwischen Tracker und einer Bilddatenerfassungseinheit erhalten sein, beispielsweise zu einer Tracking-Kamera erhalten bleiben. Dies kann beispielsweise eine optische oder elektromagnetische oder dergleichen Signalverbindung sein. Bricht eine solche insbesondere optische Signalverbindung ab – z. B. wenn ein Akteur in die Bildaufnahmelinie zwischen Tracking-Kamera und einem Patiententracker gerät – fehlt die nötige Navigationsinformation und die Führung des mobilen Vorrichtungskopfes muss unterbrochen werden. Insbesondere bei der optischen Signalverbindung ist diese Problematik als sogenannte „Line of Sight“-Problematik bekannt.
Eine stabilere Signalverbindung kann zwar beispielsweise mittels elektromagnetischer Tracking-Verfahren zur Verfügung gestellt werden, die weniger anfällig ist als eine optische Signalverbindung. Anderseits sind solche elektromagnetischen Tracking-Verfahren zwangsläufig jedoch ungenauer und empfindlicher gegenüber elektrisch oder ferromagnetisch leitfähigen Objekten im Messraum; dies ist insbesondere im Falle medizinischer Anwendungen relevant, da die mobil handhabbare Vorrichtung regelmäßig zur Unterstützung bei chirurgischen Eingriffen oder dergleichen dienen soll, sodass die Anwesenheit von elektrisch oder ferromagnetisch leitfähigen Objekten im Messraum, d. h. an der Operationsstelle, die Regel sein kann. Wünschenswert ist eine mobil handhabbare Vorrichtung, die eine mit vorbeschriebener klassischer Tracking-Sensorik zur Navigation verbundene Problematik weitgehend vermeidet. Insbesondere betrifft dies die Probleme vorgenannten optischer oder elektromagnetischer Tracking-Verfahren. Dennoch sollte eine Genauigkeit einer Führungseinrichtung zur Navigation möglichst hoch sein, um eine möglichst präzise Robotikanwendung näher der mobil handhabbaren Vorrichtung, insbesondere medizinische Anwendung der mobil handhabbaren Vorrichtung, zu ermöglichen.
Darüberhinaus besteht aber auch das Problem, dass die Beständigkeit einer ortsfesten Position eines Patiententrackers oder Lokators bei der Patientenregistrierung maßgeblich für die Genauigkeit des Trackens ist; dies kann ebenfalls in der Praxis eines Operationssaals mit einer Vielzahl von Akteuren nicht immer gewährleistet werden. Grundsätzlich ist eine dahingehend verbesserte mobil handhabbare Vorrichtung mit einem Tracking-System aus WO 2006/131373 A2 bekannt, wobei die Vorrichtung zum berührungslosen Ermitteln und Vermessen einer Raumposition und/oder Raumorientierung von Körpern vorteilhaft ausgebildet ist.
Neue Ansätze, insbesondere im medizinischen Bereich, versuchen mit Hilfe einer intraoperativen Magnetresonanz Tomographie oder allgemein Computertomographie die Navigation eines mobilen Vorrichtungskopfes zu unterstützen, indem diese mit einer bildgebenden Einheit gekoppelt werden. Die Registrierung von beispielsweise mittels endoskopischen Videodaten gewonnenen Bilddaten mit einer präoperativen CT-Aufnahme ist beschrieben in dem Artikel von Mirota et al. „A System for Video-Based Navigation for Endoscopic Endonasal Skull Base Surgery" IEEE Transactions on Medical Imaging, Vol. 31, No. 4, April 2012 oder in dem Artikel von Burschka et al. "Scaleinvariant registration of monocular endoscopic images to CT-scans for sinus surgery" in Medical Image Analysis 9 (2005) 413–426. Ein wesentliches Ziel der Registrierung von beispielsweise mittels endoskopischen Videodaten gewonnenen Bilddaten ist eine Genauigkeitsverbesserung der Registrierung.
Solche Ansätze sind andererseits jedoch vergleichsweise unflexibel, da immer eine zweite Bilddatenquelle vorbereitet werden muss, z. B. in einem präoperativen CT-Scan. Zudem sind CT-Daten mit hohem Aufwand und hohen Kosten verbunden. Die akute und flexible Verfügbarkeit solcher Ansätze zu einem beliebigen gewünschten Zeitpunkt, z. B. spontan während einer Operation, ist daher nicht bzw. nur begrenzt und mit Vorbereitung möglich.
Neueste Ansätze prognostizieren die Möglichkeit, Verfahren zur simultanen Lokalisierung und Kartographierung “in vivo“ zur Navigation einzusetzen. Eine grundsätzliche Studie dazu ist beispielsweise beschrieben worden, in dem Artikel von Mountney et al. zur 31st Annual International Conference of the IEEE EMBS Minneapolis, Minnesota, USA, September 2–6, 2009 (978-1-4244-3296-7/09). In dem Artikel von Grasa et al. „EKF monocular SLAM with relocalization for laparoscopic sequences" in 2011 IEEE International Conference on Robotics and Automation, Shanghai. May 9–13, 2011 (978-1-61284-385-8/11) ist eine Echtzeitanwendung bei 30 Hz für ein 3D-Modell im Rahmen einer visuellen SLAM mit einem erweitertem Kaiman Filter (EKF) beschrieben. Die Pose (Position und/oder Orientierung) einer Bilddatenerfassungseinheit wird in einem Drei-Punkt-Algorithmus berücksichtigt. Eine Echtzeitverwendbarkeit und die Robustheit hinsichtlich eines moderaten Pegels an Objektbewegung wurden geprüft.
Grundsätzlich erweisen sich diese Ansätze als Erfolg versprechend, sind jedoch noch verbesserbar.
An dieser Stelle setzt die Erfindung an, deren Aufgabe es ist eine mobile handhabbare Vorrichtung und ein Verfahren anzugeben, die in verbesserter Weise eine Navigation ermöglichen und dennoch eine verbesserte Genauigkeit zur Führung eines mobilen Vorrichtungskopfes erlauben. Insbesondere ist es Aufgabe eine Vorrichtung und ein Verfahren anzugeben, bei welcher eine Navigation mit vergleichsweise wenig Aufwand und erhöhter Flexibilität, insbesondere in situ möglich ist.
Insbesondere soll ein nicht-medizinischer mobiler Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem technischen Körper, insbesondere Gegenstand, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper automatisch führbar sein. Insbesondere soll ein nicht-medizinisches Verfahren zur Handhabung, insbesondere Kalibrierung, der Vorrichtung angegeben werden.
Insbesondere soll ein medizinischer mobiler Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem biologischen Körper, insbesondere gewebeartigen Körper, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper automatisch führbar sein. Insbesondere soll ein medizinisches Verfahren zur Handhabung, insbesondere Kalibrierung, der Vorrichtung angegeben werden.
Die Aufgabe betreffend die Vorrichtung wird durch die Erfindung mit einer Vorrichtung des Anspruchs 1 mit einem mobilen Vorrichtungskopf gelöst. Bevorzugt ist die Vorrichtung eine mobil handhabbare Vorrichtung wie ein Werkzeug, Instrument oder Sensor oder dgl., insbesondere zur Bearbeitung oder Beobachtung eines Körpers.
Insbesondere ist die Vorrichtung eine medizinische mobile Vorrichtung mit einem medizinischen mobilen Vorrichtungskopf, wie ein Endoskop, ein Zeigerinstrument oder ein chirurgisches Instrument oder dgl., mit einem distalen Ende zur Anordnung relativ zu einem Körper, insbesondere Körpergewebe, vorzugsweise Ein- oder Anbringung am Körper, insbesondere an einem Körpergewebe, insbesondere zur Bearbeitung oder Beobachtung eines biologischen Körpers, wie ein gewebeartiger Körper od. dgl. Körpergewebe.
Insbesondere ist die Vorrichtung eine nicht-medizinische mobile Vorrichtung mit einem nicht-medizinischen mobilen Vorrichtungskopf, wie ein Endoskop, ein Zeigerinstrument oder ein Werkzeug oder dgl., mit einem distalen Ende zur Anordnung relativ zu einem Körper, insbesondere technischen Gegenstand wie einer Vorrichtung oder einem Gerät, vorzugsweise Ein- oder Anbringung am Körper, insbesondere an einem Gegenstand, insbesondere zur Bearbeitung oder Beobachtung eines technischen Körpers, wie einem Gegenstand oder Gerät oder dgl. Vorrichtung.
Unter einem distalen Ende des Vorrichtungskopfes ist ein von einer Führungseinrichtung weit entferntes Ende des Vorrichtungskopfes, insbesondere am weitesten entferntes Ende des Vorrichtungskopfes, zu verstehen. Entsprechend ist unter einem proximalen Ende des Vorrichtungskopfes ein zu einer Führungseinrichtung nahe gelegenes Ende des Vorrichtungskopfes, insbesondere am nächsten gelegenes Ende des Vorrichtungskopfes, zu verstehen.
Erfindungsgemäß weist die Vorrichtung auf:

– wenigstens einen zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf,
– eine Führungseinrichtung, wobei die Führungseinrichtung zur Bereitstellung von Navigationsinformationen zur Führung des mobilen Vorrichtungskopf ausgebildet ist, wobei dessen distales Ende in einer Nahumgebung (NU) führbar ist,
– eine Bilddatenerfassungseinheit, die ausgebildet ist, Bilddaten einer Umgebung (U) des Vorrichtungskopfes, insbesondere kontinuierlich, zu erfassen und bereitzustellen
– eine Bilddatenverarbeitungseinheit, die ausgebildet ist mittels der Bilddaten eine Karte der Umgebung (U) zu erstellen,
– eine Navigationseinheit, die ausgebildet ist, mittels der Bilddaten und einem Bilddatenfluss wenigstens eine Position des Vorrichtungskopfes in der Nahumgebung (NU) anhand der Karte anzugeben, derart, dass der mobile Vorrichtungskopf anhand der Karte führbar ist.

Weiter ist erfindungsgemäß ein Führungsmittel vorgesehen, das einen Positionsbezug zum Vorrichtungskopf hat und diesem zugeordnet ist, wobei das Führungsmittel ausgebildet ist, Angaben zur Position des Vorrichtungskopfes in Bezug auf die Umgebung (U) in der Karte zu machen, wobei die Umgebung (U) über die Nahumgebung (NU) hinausgeht.
Der Positionsbezug des Führungsmittels zum Vorrichtungskopf kann vorteilhaft starr sein. Der Positionsbezug muss jedoch nicht starr sein solange der Positionsbezug determiniert veränderlich oder beweglich ist oder jedenfalls kalibrierbar ist. Dies kann beispielsweise der Fall sein, wenn der Vorrichtungskopf am distalen Ende eines Roboterarms als Teil eines Handhabungsapparates ist und das Führungsmittel am Roboterarm angebracht ist; die z. B. durch Fehler oder Dehnungen hervorgerufene Varianz in dem nicht starren aber grundsätzlich deterministischen Positionsbezug zwischen Führungsmittel und Vorrichtungskopf ist in diesem Falle kalibrierbar.
Unter einem Bilddatenfluss ist der Fluss von Bilddatenpunkten in zeitlicher Veränderung zu verstehen, der entsteht, wenn man eine Anzahl von Bilddatenpunkten zu einem ersten und einem zweiten Zeitpunkt unter Veränderung der Position, Richtung und/oder Geschwindigkeit derselben für eine definierte Durchtrittsfläche betrachtet; ein Beispiel ist in 5 erläutert.
Bevorzugt, jedoch nicht notwendigerweise umfasst das Führungsmittel die Bilddatenerfassungseinheit. Beispielsweise in dem Falle dass der Vorrichtungskopf ein einfaches Zeigerinstrument ohne Zieloptik ist, umfasst das Führungsmittel vorteilhaft eine separate Führungsoptik. Bevorzugt umfasst das Führungsmittel wenigstens eine Optik, insbesondere eine Ziel- und/oder Führungsoptik und/oder eine externe Optik.
Das Führungsmittel kann auch zusätzlich oder alternativ ein weiteres Orientierungsmodul – z. B. ein Bewegungsmodul und/oder einen Beschleunigungssensor oder dgl. Sensorik – umfassen, das ausgebildet ist, eine weitere Angabe zur Position, insbesondere Pose (Position und/oder Orientierung), und/oder Bewegung des Vorrichtungskopfes in Bezug auf die Karte bereitzustellen.
Ein Bewegungsmodul, insbesondere in Form einer Bewegungssensorik wie einem Beschleunigungssensor, einem Geschwindigkeitssensor, einem Gyroskopsensor oder dergleichen, ist vorteilhaft ausgebildet, eine weitere Angabe zur Pose und/oder Bewegung des Vorrichtungskopfes in Bezug auf die Karte bereitzustellen.
Vorteilhaft ist weiter vorgesehen, dass wenigstens ein, ggfs. auch mehrere mobile Vorrichtungsköpfe anhand der Karte führbar sind.
Unter Navigation ist grundsätzlich jede Art der Kartenerstellung unter Angabe einer Position in der Karte und/oder die Angabe eines Zielpunktes in der Karte, vorteilhaft in Relation zur Position zu verstehen; im weiteren Sinne also das Feststellen einer Position in Bezug auf ein Koordinatensystem und/oder die Angabe eines Zielpunktes, insbesondere die Angabe einer vorteilhaft auf der Karte ersichtlichen Route zwischen Position und Zielpunkt.
Die Erfindung führt auch auf ein Verfahren des Anspruchs 30, insbesondere zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung mit einem mobilen Vorrichtungskopf.
Die Erfindung geht aus von einer im Wesentlichen bilddaten-basierten Kartographie und Navigation in einer Karte für die Umgebung des Vorrichtungskopfes im weiteren Sinne; also einer Umgebung, die nicht an eine Nahumgebung des distalen Endes des Vorrichtungskopfes, wie etwa der visuell erfassbaren Nahumgebung am distalen Endes eines Endoskops gebunden ist. Das Verfahren ist mit einem nicht-medizinischen mobilen Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem technischen Körper durchführbar oder mit einem medizinischen mobilen Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem gewebeartigen Körper, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper durchführbar.
Insbesondere eignet sich das Verfahren in einer Weiterbildung lediglich zur Kalibrierung, einer Vorrichtung mit einem mobilen Vorrichtungskopf.
Das Konzept der Erfindung sieht mit den Führungsmitteln, die Möglichkeit vor, eine Umgebung zu kartographieren, aus einer anderen Perspektive des distalen Endes des Vorrichtungskopfes, z. B. aus dessen proximalen Ende, etwa aus der Perspektive eines proximalen Endes des Vorrichtungskopfes. Dies könnte z. B. die Perspektive einer am Griff eines Endoskops angebrachten Führungsoptik einer externen Kamera sein. Da für das Führungsmittel vorgesehen ist, dass ein Positionsbezug zum Vorrichtungskopf besteht, kann eine Kartographie der Umgebung des Vorrichtungskopfes und eine Navigation in Bezug auf eine solche Karte der Umgebung dennoch eine sichere Führung des distalen Endes des Vorrichtungskopfes in der Nahumgebung desselben erlauben.
Die Umgebung (im medizinischen Bereich z. B. eine Gesichtsoberfläche oder im nicht-medizinischen Bereich z. B. eine Kraftfahrzeugkarosserie) kann disjunkt zur Nahumgebung sein (z. B. ein Naseninnenraum oder im nicht-medizinischen Bereich z. B. eine Motorraum). Insbesondere in diesem Fall ist die Vorrichtung bzw. ein Verfahren nicht-invasiv d. h. ohne physischen Eingriff am Körper.
Gleichwohl kann eine Umgebung auch eine Nahumgebung umfassen. Z. B. kann eine Nahumgebung ein Operationsgebiet umfassen, in dem eine Läsion behandelt wird, wobei die Führung eines distalen Endes des Endoskops in der Nahumgebung anhand einer Navigation in einer Karte erfolgt, die von einer zur Nahumgebung benachbarten Umgebung erstellt wurde. Auch in diesem Fall ist die Vorrichtung bzw. ein Verfahren weitest gehend nicht-invasiv d. h. ohne physischen Eingriff am Körper, insbesondere wenn die Umgebung nicht eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopf umfasst.
Die Nahumgebung kann eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopf sein und die Nahumgebung kann diejenigen Bilddaten umfassen, die in visueller Reichweite einer ersten Optik der Bilddatenerfassungseinheit am distalen Ende des mobilen Vorrichtungskopf erfasst sind.
Im Falle einer möglichen unmittelbaren Nachbarschaft der Nahumgebung und der Umgebung kann diese Vorgehensweise synergetisch genutzt werden, um Bilddaten der Nahumgebung und einer etwaigen Ausdehnung derselben zu sammeln und gleichzeitig die gesamte Umgebung zu kartographieren. So kann die Umgebung ein Gebiet umfassen, das in der Nahumgebung und jenseits der Operationsumgebung des distalen Endes des mobilen Vorrichtungskopfes liegt.
Zunächst ergibt sich der besondere Vorteil, dass verkürzt ausgedrückt, vergleichsweise aufwendige und unflexible klassische Tracking-Sensoren weitgehend vermieden werden.
Darüberhinaus bietet das Konzept die Möglichkeit, die Genauigkeit der Karte mit einem zusätzlichen Führungsmittel, z. B. einem Bewegungsmodul oder einer Optik oder dergleichen Orientierungsmodul zu erhöhen; dies schafft gemäß dem Konzept der Erfindung die Voraussetzung, dass der wenigstens eine mobile Vorrichtungskopf nur anhand der Karte führbar wird. Insbesondere werden gemäß dem Konzept die Bilddaten selbst zur Erstellung einer Karte genutzt; insofern also ein rein bilddaten-basiertes Kartographieren und Navigieren einer Oberfläche eines Körpers ermöglicht. Dies kann außen- als auch innenliegende Oberflächen eines Körpers betreffen. Insbesondere im medizinischen Bereich können beispielsweise Oberflächen von Augen, Nasen, Ohren oder Zehen zur Patientenregistrierung verwendet werden. Eine zur Nahumgebung disjunkte Umgebung zur Kartographie und Navigation zu nutzen, hat auch den Vorteil, dass die Umgebung ausreichend Referenzstellen aufweist, die als Marker dienen können und genauer erfasst werden könne; dagegen können die Eigenschaften zur Aufnahme von Bilddaten einer Nahumgebung, insbesondere einer Operationsumgebung zur verbesserten bildlichen Darstellung der Läsion genutzt werden.
Die Erfindung ist in einem medizinischen Bereich und in einem nicht-medizinischen Bereich gleichermaßen anwendbar, insbesondere nicht-invasiv und ohne physischen Eingriff an einem Körper.
Das Verfahren kann vorzugsweise auf einen nicht-medizinischen Bereich beschränkt sein.
Vorzugsweise ist die Erfindung, insbesondere im Rahmen der Vorrichtung, nicht beschränkt auf eine Anwendung im medizinischen Bereich sondern kann vielmehr auch in einem nicht-medizinischen Bereich sinnvoll eingesetzt werden; insbesondere in der Montage oder Instandsetzung von technischen Gegenständen wie z. B. Kraftfahrzeugen oder Elektronik ist das vorgestellte Konzept besonders vorteilhaft anwendbar. Beispielsweise können Werkzeuge mit dem vorgestellten System ausgestattet und darüber navigiert werden. Das System kann bei der Montage mit Industrierobotern die Genauigkeit erhöhen bzw. bisherige – mit Robotern nicht mögliche – Montagetätigkeiten realisierbar machen. Außerdem kann einem Arbeiter/Mechaniker – z. B. durch Anweisungen einer an dessen Werkzeug befestigten Datenverarbeitung auf Basis des vorgestellten Konzepts – die Montagetätigkeit erleichtert werden. Beispielhaft kann, durch die Verwendung dieser Navigationsmöglichkeit in Verbindung mit einem Montagewerkzeug (beispielsweise Akkuschrauber) an einem Aufbau (z. B. Kraftfahrzeugkarosserie), die Montage (z. B. Schraubverbindung von Zündkerzen) eines Bauteils (z. B. Zündkerze od. Schraube) mithilfe einer Datenverarbeitung der Arbeitsumfang durch Hilfestellung verringert und/oder die Qualität der ausführten Tätigkeit durch Überprüfung erhöht werden.
Die Vorrichtung und ein Verfahren erweist sich bevorzugt als echtzeitfähig, insbesondere bei kontinuierlicher Bereitstellung und Echtzeitverarbeitung der Bilddaten.
Im Rahmen einer besonders bevorzugten Weiterbildung basiert die Navigation auf einem SLAM-Verfahren, insbesondere einem 6D-SLAM-Verfahren, vorzugsweise eines SLAM-Verfahrens kombiniert mit einem KF (Kalman-Filter), insbesondere vorzugsweise eines 6D-SLAM-Verfahrens kombiniert mit einem EKF (erweiterter Kalman-Filter). Beispielsweise Videobilder einer Kamera oder dergleichen Bilddatenerfassungseinheit werden zur Erstellung der Karte verwendet. Die Navigation und Führung des Vorrichtungskopfes erfolgt anhand der Karte, insbesondere nur anhand der Karte. Es zeigt sich, dass die weitere Bewegungssensorik zur Genauigkeitssteigerung ausreichend ist, um eine erhebliche Genauigkeitsverbesserung zu erreichen, insbesondere bis in den Submillimeter-Bereich.
Die Erfindung hat erkannt, dass ein grundsätzliches Problem der rein bilddatenbasierten Navigation und Führung anhand einer Karte darin besteht, dass die Genauigkeit bisheriger Bilddaten bezogener Ansätze, bei der Navigation und Führung des Vorrichtungskopfes von der Auflösung des bei der Bilddatenerfassungseinheit zum Einsatz gekommenen Objektivs abhängig ist; die Anforderungen hinsichtlich Echtzeitfähigkeit, Genauigkeit und Flexibilität sind ggf. gegenläufig. Die Erfindung hat erkannt, dass sich diese Anforderungen gleichwohl übereinstimmend befriedigen lassen unter Einsatz eines Führungsmittels, das ausgebildet ist, eine weitere Angabe zur Pose und/oder Bewegung des Vorrichtungskopfes in Bezug auf die Karte bereit zu stellen.
Die Erfindung hat erkannt, dass ein grundsätzliches Problem der rein bilddatenbasierten Navigation und Führung anhand einer Karte darin besteht, dass die Genauigkeit bisheriger Bilddaten bezogener Ansätze, bei der Navigation und Führung der Vorrichtung von der Anzahl der bilddatenerfassende Einheiten und dem Umfang der gleichzeitig erfassten Umgebungsbereiche abhängt. Gleichwohl sind weitere Führungsmittel, wie z. B. Bewegungsmodule, wie Sensorik zur Beschleunigungsmessung, wie z. B. Beschleunigungssensoren oder Gyroskope, in der Lage, die Genauigkeit weiter zu erhöhen, insbesondere in Bezug auf eine zur Instrumentennavigation besonders gut geeigneten Karte der Umgebung, umfassend die Nahumgebung.
Soweit das Konzept der Erfindung darauf basiert eine Navigation und Führung nur anhand der Karte zu ermöglichen, so bedeutet dies, dass gleichwohl – z. B. initial oder in besonderen Situationen – die Führungseinrichtung ein Tracking-Absolutmodul aufweisen kann, insbesondere Sensorik oder dergleichen, das zum Erstellen der Karte der Nahumgebung temporär beschränkt aktivierbar und zeitlich überwiegend deaktiviert ist. Dies widerspricht dem Konzept, einen mobilen Vorrichtungskopf nur anhand der Karte zu führen nicht, denn im Unterschied zu bisher bekannten Verfahrens kann ein Tracking-Absolutmodul auf optischer oder elektromagnetischer Basis beispielsweise nicht ständig aktiviert sein, um eine ausreichende Navigation und Führung des Vorrichtungskopfes zu ermöglichen.
Vorteilhafte Weiterbildungen in der Erfindung sind den Unteransprüchen zu entnehmen und geben im Einzelnen vorteilhafte Möglichkeiten an, dass oben erläuterte Konzept im Rahmen der Aufgabenstellung, sowie hinsichtlich weiterer Vorteile zu realisieren.
Im Rahmen einer besonders bevorzugten Weiterbildung der Erfindung weist die mobil handhabbare Vorrichtung weiter eine Steuerungs- und eine Handhabungsapparat auf, die gemäß einer Pose und/oder Bewegung des Vorrichtungskopfes und anhand der Karte zur Führung des mobilen Vorrichtungskopfes ausgebildet sind. So lässt sich besonders bevorzugt der Handhabungsapparat mittels der Steuerung über einen Steueranschluss zur automatischen Führung des mobilen Vorrichtungskopfes ausbilden und die Steuerung ist bevorzugt mittels der Führungseinrichtung über eine Datenkopplung zur Navigation des Vorrichtungskopfes ausgebildet. Beispielsweise kann auf diese Weise eine geeignete Regelschleife zur Verfügung gestellt werden, bei der der Steueranschluss zur Übergabe einer SOLL-Pose und/oder SOLL-Bewegung des Vorrichtungskopfes und die Datenkopplung zur Übergabe einer IST-Pose und/oder IST-Bewegung des Vorrichtungskopfes ausgebildet ist. Grundsätzlich ist es möglich, aufgrund der gesteigerten Genauigkeit der Karte und Navigation sowie Führung die gewonnenen Kartendaten bei der Navigation des Instrumentes oder zum Matchen mit weiteren Bilddaten wie z. B. CT-Daten oder MRT-Daten einzusetzen.
Besonders bevorzugt weist die Bilddatenerfassungseinheit wenigstens eine Anzahl von Optiken auf, die ausgebildet ist, Bilddaten einer Nahumgebung zu erfassen. Die Anzahl von Optiken kann eine einzige Optik aber auch zwei, drei oder mehr Optiken umfassen. Insbesondere kann ein monokulares oder binokulares Prinzip zur Anwendung kommen. Die Bilddatenerfassungseinheit kann insgesamt grundsätzlich in Form einer Kamera gebildet sein, insbesondere Teil eines Kamerasystems mit einer Anzahl von Kameras. Beispielsweise im Fall eines Endoskops hat sich eine in dem Endoskop verbaute Kamera als vorteilhaft erwiesen. Allgemein kann die Bilddatenerfassungseinheit eine Zieloptik aufweisen, die an einem distalen Ende des Vorrichtungskopfes sitzt, wobei die Zieloptik ausgebildet ist, Bilddaten einer Nahumgebung an einem distalen Ende des Vorrichtungskopfes zu erfassen, insbesondere als in dem Vorrichtungskopf eingebaute Zieloptik.
Insbesondere kann eine Kamera oder andere Art einer Führungsoptik an einer anderen Position des Vorrichtungskopfes sitzen, beispielsweise an einem Schaft, insbesondere an einem Schaft eines Endoskops. Allgemein kann die Bilddatenerfassungseinheit eine Führungsoptik aufweisen, die an einer Führungsstelle von einem distalen Ende entfernt, insbesondere an einem proximalen Ende des Vorrichtungskopfes und/oder an der Führungseinrichtung sitzt. Dabei ist die Führungsoptik vorteilhaft ausgebildet, die Bilddaten einer Nahumgebung einer Führungsstelle – also eine Umgebung, die disjunkt zur Nahumgebung an einem distalen Ende des Vorrichtungskopfes ist – zu erfassen. Da das Gebiet der zur Navigation verwendeten Bilddaten grundsätzlich unerheblich ist, kann die Führungsoptik grundsätzlich an jeder geeigneten Stelle des Vorrichtungskopfes bzw. Werkzeugs, Instrumentes oder Sensors oder dergleichen Stelle montiert werden, sodass die Bewegung des Vorrichtungskopfes, beispielsweise eines Endoskops, und die Zuordnung der Position weiterhin oder genauer möglich ist.
Das System ist auch funktionsfähig, wenn die Kamera nie in einen Körper eindringt. Grundsätzlich können eine Mehrzahl von Kameras bzw. Optiken vorgesehen sein, die alle auf dieselbe Karte zugreifen, denkbar ist aber auch dass verschiedene Karten erstellt werden, z. B. beim Einsatz unterschiedlicher Sensorik wie Ultraschall, Radar und Kamera, und diese verschiedenen Karten kontinuierlich durch Form, Verlauf oder etc. zugeordnet bzw. registriert werden
Grundsätzlich ist eine Führungseinrichtung mit einer Bilddatenerfassungseinheit dann mit höherer Genauigkeit versehen, wenn mehrere Kameras oder Optiken gleichzeitig an einem Vorrichtungskopf oder einem beweglichen Teil der automatischen Führung betrieben werden. Insbesondere führt dies allgemein auf eine Weiterbildung, bei welcher vorteilhaft eine erste Optik Bilddaten und eine zweite Optik zweite Bilddaten erfasst, die räumlich versetzt sind. Insbesondere sind die ersten und zweiten Bilddaten zeitgleich erfasst. Die Genauigkeit der Lokalisation und Kartenerstellung kann durch weitere Optiken gesteigert werden, z. B. durch zwei oder mehr Optiken. Durch die Nutzung verschiedener bildgebender Einheiten, z. B. 2D-optische Bilddaten mit Radardaten, kann außerdem die genannte Genauigkeit gesteigert werden.
In einer Variante ist vorgesehen, dass die gleiche Optik erste Bilddaten und zweite Bilddaten erfasst, insbesondere erste und zweite raumgleiche Bilddaten erfasst, die zeitlich verschoben sind. Insbesondere eignet sich eine solche Weiterbildung in Kombination mit einer weitergebildeten Bilddatenverarbeitungseinheit. Die weitergebildete Bilddatenverarbeitungseinheit weist vorteilhaft ein Modul auf, das ausgebildet ist, Zielbewegungen zu erkennen und bei der Erstellung einer Karte der Nahumgebung zu berücksichtigen. Vorteilhaft handelt es sich bei den Zielbewegungen um Zielkörperbewegungen, vorteilhaft nach einem physiologischen Muster erkennbar; beispielsweise rhythmische Zielkörperbewegungen wie eine Atembewegung, eine Herzschlagbewegung oder eine Zitterbewegung.
Erfassen mehr als eine Optik unterschiedliche Umgebungen oder teilweise unterschiedlichen Umgebungen, ist eine Bewegungserkennung aufgrund des Vergleichs der verschiedenen Umgebungsinformationen möglich. Dabei werden die sich bewegenden Bereiche von den festen Bereichen getrennt und die Bewegung errechnet bzw. geschätzt.
Besonders bevorzugt ist eine Pose (d. h. Position und/oder Orientierung) und/oder Bewegung des Vorrichtungskopfes anhand der Karte relativ zu einer Referenzstelle an einem Objekt an einer Umgebung des Vorrichtungskopfes angebbar. Vorteilhaft weist eine Führungseinrichtung ein Modul zur Markierung einer Referenzstelle an dem Objekt auf, sodass diese besonders vorteilhaft zur Navigation verwendbar ist. Die Referenzstelle ist in besonders bevorzugter Weise Teil der Karte der Nahumgebung, d. h. der Nahumgebung im Zielbereich wie beispielsweise am distalen Ende eines Endoskops oder einem distalen Ende eines Werkzeugs oder Sensors.
Grundsätzlich ist das Gebiet der Navigation bzw. der zur Navigation verwendeten Bilddaten jedoch unerheblich; die Bewegung des Vorrichtungskopfes und die Zuordnung der Position kann weiterhin oder genauer auch anhand anderer Umgebungen des Vorrichtungskopfes erfolgen. Insbesondere kann die Referenzstelle außerhalb der Karte der Nahumgebung liegen und als Marker dienen. Vorzugsweise kann eine bestimmte Relation zwischen der Referenzstelle und einer Kartenposition angebbar sein. Damit kann aufgrund der festen Beziehung gleichwohl eine Navigation des Vorrichtungskopfes erfolgen, auch wenn eine Führungsoptik Bilddaten einer Nahumgebung liefert, die nicht einer Bearbeitungsstelle unter einem Endoskop, einem Mikroskop oder einem chirurgischen Instrument oder dergleichen liegt. Indem der Umgebung bestimmte Objekte, z. B. bedruckte Flächen, hinzugefügt werden, kann das System genauer in Hinsicht auf die Lokalisation und Kartenerstellung arbeiten.
Besonders bevorzugt kann die Bilddatenverarbeitungseinheit ausgebildet sein, eine Referenzstelle an einem Objekt an einem Sichtbild mit einer Fixstelle eines Fremdbildes nach einem vorbestimmten Test zu identifizieren. Die Überlagerung der Karte mit externen Bildern im Rahmen eines an sich bekannten Matching-, Markierungs- oder Registrierungs-Verfahren dient insbesondere der Patientenregistrierung bei medizinischen Anwendungen. Es hat sich gezeigt, dass aufgrund des oben erläuterten Konzepts im Rahmen der vorliegenden Weiterbildung eine verlässlichere Registrierung erfolgen kann.
Insbesondere kann ein Sichtbild mit einem Fremdbild registriert und/oder ergänzt werden. Dies erfolgt nicht kontinuierlich oder dergleichen essentiell zur Durchführung des Verfahrens sondern ist ein initiales oder in regelmäßigen Abständen zur Verfügung stehendes Hilfsmittel. Es ist abhängig von einer verfügbaren Rechenleistung auch eine kontinuierliche Aktualisierung vorstellbar.
Ein Sichtbild auf Grundlage der nach dem erfindungsgemäßen Konzept erstellten Karte erweist sich als qualitativ hochwertig, um auch mit hochauflösenden Fremdbildern identifiziert zu werden oder registriert zu werden. Ein Fremdbild kann insbesondere ein CToder MRT-Bild sein.
Vorteilhaft führt eine Weiterbildung auf ein Verfahren zur visuellen Navigation eines Instrumentes, aufweisend die Schritte:

– Kartographieren der Umgebung zur Erstellung einer Landkarte, insbesondere Erstellung von außenliegenden und innenliegenden Oberflächen der Umgebung,
– simultanes Lokalisieren eines Objektes in der Umgebung – wenigstens zur Feststellung einer Position und/oder Orientierung (POSE) des Objektes in der Umgebung, insbesondere mit einem SLAM-Verfahren – mittels einer Bilddatenerfassungseinheit wie einer Aufnahme-Einheit, insbesondere einer 2D- oder 3D-Kamera oder dgl. zur bildgebenden Datenaufnahme der Umgebung, und mittels einer Navigationseinheit und einem Bewegungsmodul zur Bewegungsnavigation in der Umgebung, insbesondere zur Distanz und Geschwindigkeitsmessung.

Eine Führungseinrichtung ist insbesondere ausgebildet, aus der Datenaufnahme der Umgebung eine Lokalisierung des Objektes besonders genau zu generieren, wobei
die Verarbeitung der Datenaufnahme aus der Aufnahme-Einheit in Echtzeit erfolgen kann. Damit ist der wenigstens eine mobile Vorrichtungskopf praktisch ohne weitere Hilfsmittel anhand der Karte “in situ“ führbar.
Das Konzept oder eine der Weiterbildungen erweist sich in einer Vielzahl von technischen Anwendungsgebieten wie beispielsweise der Robotik als vorteilhaft; insbesondere in der Medizintechnik oder in einem nicht-medizinischen Bereich. So umfasst der Gegenstand der Ansprüche insbesondere eine mobile handhabbare medizinische Vorrichtung und ein insbesondere nicht-invasives Verfahren zur Bearbeitung oder Beobachtung eines biologischen Körpers wie ein Gewebe oder dgl.. Dies kann insbesondere ein Endoskop, ein Zeigerinstrument oder ein chirurgisches Instrument oder dgl. medizinische Vorrichtung zur Bearbeitung oder Beobachtung eines Körpers sein oder zur Erfassung der eigenen Position, bzw. der Instrumentenposition, relativ zur Umgebung.
So umfasst der Gegenstand der Ansprüche insbesondere eine mobile handhabbare nicht-medizinische Vorrichtung und ein insbesondere nicht-invasives Verfahren zur Bearbeitung oder Beobachtung eines technischen Körpers wie einen Gegenstand oder eine Vorrichtung od. dgl.. Beispielsweise kann das Konzept bei industriellen Bearbeitungs-, Positionier- oder Monitorprozessen erfolgreich angewendet werden. Aber auch für andere Anwendungen, in denen eine beanspruchte mobile handhabbare Vorrichtung – etwa im Rahmen eines Instrumenten-, Werkzeug oder Sensor-ähnlichen Systems – nach dem beschriebenen Prinzip verwendet werden, ist das beschriebene im wesentlichen auf Bilddaten beruhende Konzept vorteilhaft. Verkürzt ausgedrückt umfasst diese Anwendungen einer Vorrichtung bei denen mit Bilddaten eine Bewegung eines Vorrichtungskopfes erkannt und eine Karte erstellt wird mit Unterstützung einer Bewegungssensorik. Nur diese Karte wird gemäß dem Konzept überwiegend zur Navigation verwendet. Werden mehrere Vorrichtungsköpfe, wie Instrumenten-, Werkzeug oder Sensoren, insbesondere oder Endoskop, ein Zeigerinstrument oder ein chirurgische Instrumente mit jeweils mindestens einer montierten Bildkamera verwendet, so ist möglich, dass alle zur Navigation auf dieselbe Bildkarte zugreifen bzw. diese aktualisieren.
Ausführungsbeispiele der Erfindung werden nun nachfolgend anhand der Zeichnung im Vergleich zum Stand der Technik, welcher zum Teil ebenfalls dargestellt ist, beschrieben – dies im medizinischen Anwendungsrahmen, bei dem das Konzept in Bezug auf einen biologischen Körper umgesetzt ist; gleichwohl gelten die Ausführungsbeispiele auch für einen nicht-medizinische Anwendungsrahmen, bei dem das Konzept in Bezug auf einen technischen Körper umgesetzt ist.
Die Zeichnung soll die Ausführungsbeispiele nicht notwendigerweise maßstäblich darstellen, vielmehr ist die Zeichnung, wo zur Erläuterung dienlich, in schematisierter und/oder leicht verzerrter Form ausgeführt. Im Hinblick auf Ergänzungen der aus der Zeichnung unmittelbar erkennbaren Lehren wird auf den einschlägigen Stand der Technik verwiesen. Dabei ist zu berücksichtigen, dass vielfältige Modifikationen und Änderungen betreffend die Form und das Detail einer Ausführungsform vorgenommen werden können, ohne von der allgemeinen Idee der Erfindung abzuweichen. Die in der Beschreibung, in der Zeichnung sowie in den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebiger Kombination für die Weiterbildung der Erfindung wesentlich sein. Zudem fallen in den Rahmen der Erfindung alle Kombinationen aus zumindest zwei der in der Beschreibung, der Zeichnung und/oder den Ansprüchen offenbarten Merkmale. Die allgemeine Idee der Erfindung ist nicht beschränkt auf die exakte Form oder das Detail der im Folgenden gezeigten und beschriebenen bevorzugten Ausführungsform oder beschränkt auf einen Gegenstand, der eingeschränkt wäre im Vergleich zu dem in den Ansprüchen beanspruchten Gegenstand. Bei angegebenen Bemessungsbereichen sollen auch innerhalb der genannten Grenzen liegende Werte als Grenzwerte Offenbart und beliebig einsetzbar und beanspruchbar sein. Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der bevorzugten Ausführungsbeispiele sowie anhand der Zeichnung; diese zeigt in:
1 beispielhafte Ausführungsformen mobil handhabbarer Vorrichtungen in einer Relativposition zu einer Körperoberfläche – in einer Ansicht (A) mit einem Vorrichtungskopf in Form eines Greifinstruments, in Ansicht (B) mit einem Vorrichtungskopf in Form eines handgeführten Instruments, wie beispielsweise eines Endoskops, in Ansicht (C) in Form eines robotergeführten Instruments, wie einem Endoskop oder dergleichen;
2 ein allgemeines Schema zur Darstellung eines grundsätzlichen Systems und der funktionalen Komponenten einer mobil handhabbaren Vorrichtung gemäß dem Konzept der Erfindung;
3 ein Basiskonzept unter Verwendung der mobil handhabbaren Vorrichtung zur medizinischen visuellen Navigation gemäß dem Konzept der Erfindung aufbauend auf dem System der 2;
4 eine Anwendung zur Umsetzung eines Patientenregistrierungsverfahrens mit einer mobil handhabbaren Vorrichtung wie sie in 1(B) gezeigt ist;
5 eine Prinzipskizze zur Erläuterung des SLAM-Verfahrens, bei dem ein sogenanntes Feature-Point-Matching genutzt wird um einen Bewegungszustand eines Objektes, z. B. des Vorrichtungskopfes, zu schätzen;
6 eine weitere bevorzugte Ausführungsform zur Verarbeitung von zeitunterschiedlichen Bildern bei einer mobil handhabbaren Vorrichtung;
7 noch eine weitere bevorzugte Ausführungsform einer mobil handhabbaren Vorrichtung mit einem mobilen Vorrichtungskopf, in Ansicht (A) mit einer internen und externen Kamera, in Ansicht (B) nur mit einer externen Kamera in Form eines Endoskops bzw. eines Zeigerinstrumentes;
8 eine schematische Darstellung verschiedener durch eine oder mehrere Kameras realisierte Konstellationen einer eine Operationsumgebung umfassenden Nahumgebung sowie einer Umgebung, wobei insbesondere erste visualisiert wird und zum Eingriff in ein Körpergewebe oder allgemein einen Körper dient und insbesondere letztere ohne Visualisierung, aber vor allem zur Kartographierung und Navigation dient.
Es sind in der Figurenbeschreibung unter Verweis auf die korrespondierenden Beschreibungsteile durchweg für identische oder ähnliche Merkmale oder Merkmale identischer oder ähnlicher Funktion gleiche Bezugszeichen verwendet.
1 zeigt beispielhaft als Teil einer in 2 und 3 näher erläuterten, mobil handhabbaren Vorrichtung 1000 einen zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf 101 in Bezug auf einen Körper 300. Der Körper 300 weist ein Anwendungsgebiet 301 auf, an welches der mobile Vorrichtungskopf 101 herangeführt werden soll; dies zur Bearbeitung oder Beobachtung des Anwendungsgebiets 301. Vorliegend ist der Körper im Rahmen einer medizinischen Anwendung mit einem Gewebe eines menschlichen oder tierischen Körpers gebildet, das im Anwendungsgebiet 301 eine Vertiefung 302, das heißt vorliegend einen gewebefreien Bereich, aufweist. Der Vorrichtungskopf 101 ist vorliegend als ein Instrument mit einer am distalen Ende 101D gebildeten Zange oder Greifvorrichtung versehen – bezeichnet als Instrumentenkopf 110 – und einer am proximalen Ende 101P angebrachten, in Ansicht (A) nicht näher dargestellten Handhabungseinrichtung, wie etwa einem Griff (Ansicht (B)) oder einem Rotorarm (Ansicht (C)).
Der Vorrichtungskopf weist als Werkzeug am distalen Ende 101D somit einen Instrumentenkopf 110 auf, der als Zange oder Greifer, aber auch als ein anderer Werkzeugkopf, wie ein Fräser, eine Schere, ein Bearbeitungslaser oder dergleichen, gebildet sein kann. Das Werkzeug hat einen Schaft 101S, der sich zwischen distalem Ende 101D und dem proximalen Ende 101P erstreckt. Außerdem weist der Vorrichtungskopf 101 zur Bildung einer zur Navigation ausgebildeten Führungseinrichtung 400 eine Bilddatenerfassungseinheit 410 und ein Bewegungsmodul 421 in Form einer Sensorik, hier ein Beschleunigungssensor oder Gyroskop, auf. Die Bilddatenerfassungseinheit 410 und das Bewegungsmodul 420 sind vorliegend über eine Datenkabel 510 mit weiteren Einheiten der Führungseinrichtung 400 zur Übermittlung von Bilddaten und Bewegungsdaten verbunden. Die Bilddatenerfassungseinheit umfasst in dem in 1 (Ansicht (A)) gezeigten Beispiel eine externe, am Schaft 101S fixierte 2D- oder 3D-Kamera, während der mobile Vorrichtungskopf 101 – egal, ob außerhalb oder innerhalb des Körpers 300 – bewegt wird, nimmt die verbaute Kamera kontinuierlich Bilder auf. Die Bewegungsdaten des Bewegungsmoduls 420 werden ebenso kontinuierlich geliefert und können die Genauigkeit der nachfolgenden Auswertung der mit dem Datenkabel 510 übermittelten Daten verwendet werden.
Ansicht (B) der 1 zeigt eine weitere Ausführungsform eines mobilen Vorrichtungskopfes 102 mit einem distalen Ende 102D und einem proximalen Ende 102P. Am distalen Ende 102D ist eine Optik einer Bilddatenerfassungseinheit 412 und ein Bewegungsmodul 422 verbaut; der mobile Vorrichtungskopf 102 ist somit mit einer integrierten 2D- oder 3D-Kamera versehen. Am proximalen Ende 102P weist der Vorrichtungskopf einen Griff 120 auf, an dem eine Bedienperson 201, z. B. ein Arzt, das Instrument in Form eines Endoskops greifen und führen kann. Das distale Ende 102D ist so mit einer internen Bilddatenerfassungseinheit 412 versehen und im Schaft 102S ist ein Datenkabel 510 bis zum proximalen Ende 102P geführt und verbindet den Vorrichtungskopf 102 datenkommunizierend mit weiteren Einheiten der in 2 und 3 näher erläuterte Führungseinrichtung 400.
Ansicht (C) der 1 zeigt im Wesentlichen die gleiche Situation wie in Ansicht (B); diesmal jedoch für einen automatisch geführten mobilen Vorrichtungskopf 103 in Form eines Endoskops. Vorliegend ist ein Handhabungsapparat in Form eines Roboters 202 mit einem Roboterarm vorgesehen, der den mobilen Vorrichtungskopf 103 hält. Das Datenkabel 510 ist entlang des Roboterarms geführt.
2 zeigt in verallgemeinerter Form eine mobil handhabbare Vorrichtung 1000 mit einem Vorrichtungskopf 100, beispielsweise einem mobilen Vorrichtungskopf, der zur manuellen oder automatischen Führung ausgebildet ist, wie beispielsweise einer der in 1 gezeigten Vorrichtungsköpfe 101, 102, 103. Um eine manuelle oder automatische Führung des Vorrichtungskopfes 100 zu ermöglichen, ist eine Führungseinrichtung 400 vorgesehen. Der Vorrichtungskopf 100 kann mittels eines Handhabungsapparats 200, beispielsweise einer Bedienperson 201 oder einem Roboter 202, geführt werden. Im Falle einer automatischen Führung der 2 wird der Handhabungsapparat 200 über eine Steuerung 500 gesteuert.
Im Einzelnen weist die Führungseinrichtung zur Navigation im Vorrichtungskopf 100 eine Bilddatenerfassungseinheit 410 und ein Bewegungsmodul 420 auf. Weiter weist die Führungseinrichtung eine außerhalb des Vorrichtungskopfes 100 befindliche Bilddatenverarbeitungseinheit 430 und eine Navigationseinheit 440 auf, die beide in Bezug auf die folgende 3 näher erläutert sind.
Weiter kann optional, aber nicht notwendiger Weise, die Führungseinrichtung eine externe Bilddatenerfassungseinheit 450 und einen externen Tracker 460 aufweisen. Die externe Bilddatenerfassungseinheit wird mit Verweis auf 3 und 4 insbesondere im präoperativen Bereich eingesetzt, um ein Fremdbild, beispielsweise auf Basis von CT oder MRT, zu liefern, das initial oder unregelmäßig zur Ergänzung der Bilddatenverarbeitungseinheit 430 herangezogen werden kann.
Die Bilddatenerfassungseinheit 410 ist ausgebildet, Bilddaten einer Nahumgebung des Vorrichtungskopfes 100 insbesondere kontinuierlich zu erfassen und bereitzustellen. Die Bilddaten werden anschließend einer Navigationseinheit 440 zur Verfügung gestellt, die ausgebildet ist, mittels der Bilddaten und einem Bilddatenfluss eine Pose und/oder Bewegung des Vorrichtungskopfes anhand einer von der Bilddatenerfassungseinheit erstellten Karte 470 zu erstellen, 480.
Die Funktionsweise der mobil handhabbaren Vorrichtung 1000 ergibt sich damit wie folgt. Bilddaten der Bilddatenerfassungseinheit 410 werden über eine Bilddatenverbindung 511, beispielsweise Datenkabel 510, der Bilddatenerfassungseinheit 430 zugeführt. Die Datenkabel 510 übermittelt ein Kamerasignal der Kamera.
Bewegungsdaten des Bewegungsmoduls 420 werden über eine Bewegungsdatenverbindung 512, beispielsweise mittels des Datenkabels 510, der Navigationseinheit 440 zugeführt. Die Bilddatenerfassungseinheit ist ausgebildet, Bilddaten einer Nahumgebung des Vorrichtungskopfes 100 zu erfassen und bereitzustellen zur weiteren Verarbeitung. Insbesondere werden vorliegend die Bilddaten der Bilddatenerfassungseinheit 410 kontinuierlich erfasst und bereitgestellt. Die Bilddatenverarbeitungseinheit 430 weit ein Modul 431 zur Kartographierung der Bilddaten, nämlich zur Erstellung einer Karte der Nahumgebung mittels der Bilddaten, auf. Die Karte 470 dient als Vorlage für eine Navigationseinheit 440, die ausgebildet ist, mittels der Bilddaten und einem Bilddatenfluss eine Pose (Position und/oder Orientierung) und/oder Bewegung des Vorrichtungskopfes 100 anzugeben. Die Karte 470 kann zusammen mit der Pose und/oder Bewegung 480 des Vorrichtungskopfes 100 an eine Steuerung 500 gegeben werden. Die Steuerung 500 ist ausgebildet, gemäß einer Pose und/oder Bewegung des Vorrichtungskopfes 100 und anhand der Karte einen Handhabungsapparat 200 anzusteuern, der den Vorrichtungskopf 100 führt. Dazu ist der Handhabungsapparat 200 über einen Steueranschluss 510 mit der Steuerung 500 verbunden. Der Vorrichtungskopf 100 ist mit dem Handhabungsapparat über eine Datenkopplung 210 gekoppelt zur Navigation des Vorrichtungskopfes 100.
Die Navigationseinheit 440 weist ein geeignetes Modul 441 zur Navigation, das heißt insbesondere Auswertung einer Pose und/oder Bewegung des Vorrichtungskopfes 100 relativ zur Karte, auf.
Auch wenn die Einheiten 430, 440, hier mit den Modulen 431, 441, als einzelne Bausteine dargestellt sind, so ist dennoch klar, dass diese auch als Vielzahl von Bausteinen über die gesamte Vorrichtung 1000 verteilt und insbesondere in Kombination zusammenwirken können.
Werden mehrere Vorrichtungsköpfe, wie 302 Instrumenten-, Werkzeug oder Sensoren, insbesondere oder Endoskop, ein Zeigerinstrument oder ein chirurgische Instrumente mit jeweils mindestens einer montierten Bildkamera verwendet, so ist möglich, dass alle zur Navigation auf dieselbe Bildkarte zugreifen bzw. diese aktualisieren.
Beispielhaft ist vorliegend ein Verfahren zur Erstellung der Karte 470 und der Navigation, das heißt zur Erstellung einer Pose und/oder Bewegung 480 in der Karte 470 zu nennen, das auch als simultanes Lokalisierungs- und Kartographier-Verfahren bekannt ist (SLAM Simultaneous Localization and Mapping). Der SLAM-Algorithmus des Moduls 431 wird vorliegend mit einem erweiterten Kalman-Filter EKF (Extended Kalman Filter) zusammen, was einer Echtzeitauswertung zur Navigation zuträglich ist. Die Navigation wird also durch eine Bewegungserkennungsauswertung auf Basis der Bilddaten vorgenommen und zur Positionsauswertung (Navigation) verwendet. Während der Vorrichtungskopf 100 also außerhalb oder innerhalb eines Körpers 300 (1A bzw. 1B, C) bewegt wird, nimmt die Bilddatenerfassungseinheit 410 kontinuierlich Bilder auf. Das gleichzeitig angewendete SLAM-Verfahren ermittelt aufgrund der Bilddaten die Bewegung der Kamera relativ zur Umgebung und erstellt eine Karte 470, hier eine 3D-Karte in Form einer Punktfolge oder in Form eines Oberflächenmodells, mit Hilfe der Bilder aus verschiedenen Positionen und Orientierungen; letzteres Verfahren unter Berücksichtigung verschiedener Positionen und Orientierungen wird auch als 6D-Verfahrens, insbesondere 6D SLAM-Verfahren, bezeichnet. Ist bereits eine Karte des Anwendungsgebiets 301 vorhanden, wird die Karte entweder aktualisiert oder zur Navigation auf dieser Karte 470, 480 verwendet.
Die vorliegend als Bewegungsmodul 420 bezeichnete Bewegungssensorik, wie beispielsweise Beschleunigungs- und Gyroskop-Sensoren, können dem Konzept der Erfindung folgend die Genauigkeit der Karte 470 an sich als auch die Genauigkeit der Navigation 480 erheblich steigern. Gleichzeitig ist das Konzept derart ausgelegt, dass die aufzuwendende Rechenzeit für eine Echtzeitrealisierung ausreichend ist. Die Datenverarbeitung errechnet aus zeitlich unterschiedlichen Aufnahmen die Bewegungsrichtung im Raum. Diese Daten werden z. B. redundant mit den Daten der kombinierten weiteren Bewegungssensorik, insbesondere Beschleunigungs- und Gyroskop-Sensoren verglichen. Denkbar ist, die Daten des Beschleunigungssensors bei der Datenverarbeitung der Aufnahmen zu berücksichtigen. Dabei ergänzen sich beide Sensorwerte und die Bewegung des Instrumentes kann genauer errechnet werden.
Damit eine Bildkartengestützte Navigation im Zielgebiet möglich ist, sollte initial eine Bildkarte des Zielgebietes erstellt werden. Dies geschieht primär anhand der Karte 470 und Pose oder Navigation 480 durch das Bewegen des Instrumentes samt Kamera entlang des gesamten oder in Teilen des Zielbereichs, d. h. praktisch allein anhand der Bilddaten.
Sekundär besteht zusätzlich die Möglichkeit durch externe, mobile oder stationäre Kamerasysteme wie die externe Bilddatenerfassungseinheit 450 die Bildkarte anfänglich zu erstellen oder stetig zu aktualisieren. Insbesondere kann eine initiale oder anderweitige Bildkartenerstellung vorteilhaft sein. Auch ist es möglich die externen Bilddaten einer externen Bilddatenquelle oder Bilddatenerfassungseinheit 450 zu verwenden, um das Instrument oder Teile des Instrumentes visuell zu erfassen. Beispielsweise können Bildkarten anhand präoperativer Bildquellen, wie z. B. CT, DVT oder MRT, oder intraoperativer 3D-Bilddaten des Patienten generiert werden.
Auch kann, ebenfalls sekundär, jedenfalls temporär beschränkt eine gemeinsame Nutzung mit klassischen Tracking-Verfahren vorteilhaft sein. Da das Navigieren 480 mithilfe der Bildkarte 470 ein „Henne-Ei"-Problem ist, in dem nur Relativpositionen bestimmbar sind, kann die absolute Position ohne ein weiteres Verfahren nur geschätzt werden. Das Konzept der Erfindung liefert dazu einen flexiblen, genauen und echtzeitfähigen Lösungsansatz. Ergänzend kann in einer Weiterbildung die Feststellung der Absolutposition mithilfe bekannter Navigationsverfahren, wie z. B. des optischen Trackings erfolgen in einem Trackermodul 460. Dabei ist die Feststellung der Absolutposition eben nur initial oder regelmäßig nötig, sodass diese Sensorik während der navigierten Anwendung nur temporär eingesetzt wird. Beispielsweise ist so die optische Verbindung zwischen Markern und optischer Trackingkamera nicht mehr dauerhaft notwendig. Sobald die relative Position zwischen Kamera bzw. Kamerabilddaten und verwendeten Trackingsystem besser bekannt ist, können außerdem die berechneten Kartendaten der Oberflächen zur Bilddatenregistrierung verwendet werden.
Grundsätzlich sind die Module 450, 460 jedoch optional. Bei der vorliegend dargestellten Vorrichtung wird auf den Einsatz von zusätzlichen Modulen, wie eine externe Bilddatenquelle 450 – insbesondere externe Bilder aus CT, MRT oder dergleichen – und/oder externe Trackermodule 460 nur eingeschränkt zurückgegriffen werden bzw. die Vorrichtung kommt ganz ohne diese aus. Insbesondere kommt die vorliegend beschriebene Vorrichtung 1000 also ohne klassische Navigationssensorik, wie optisches oder elektromagnetisches Tracking, aus.
Was die Navigation 480 sowie die Erstellung der Karte 470 und die Steuerung 500 der Handhabungsapparatur 200 anbetrifft, erfolgt diese in ausreichender Weise primär, insbesondere allein maßgeblich unter Nutzung der Bilddaten zur Erstellung der Karte 470 und der Navigation 480 auf der Karte 470. Das anhand von 2 beschriebene Verfahren bzw. die Vorrichtung kann insbesondere, wie anhand von 1 beispielhaft erläutert, im Hinblick auf ein Werkzeug, Instrument oder einen Sensor zur Vorrichtungsnavigation ohne klassische Messsysteme verwendet werden.
Durch die bild- bzw. kartengestützte Navigation sind typische Tracking-Verfahren nicht mehr erforderlich. Insbesondere bei der Endoskop-Navigation ist es möglich, die integrierte Endoskopkamera-Daten zu verwenden (1B, C). Auch können beispielsweise medizinische Werkzeuge mit Kameras ausgestattet (1A) werden, um auf Basis der gewonnen Bilder des Instruments zu navigieren und gegebenenfalls eine Karte zu erstellen; es lässt sich im besten Fall sogar das Endoskop zur Bildgebung einsparen.
Weiter lässt sich eine Positions- und Bilddatenakquise der Oberflächen eines Körpers durchführen. Es lässt sich ein intraoperatives Patientenmodell, bestehend aus Daten der Oberfläche samt Texturierung des Operationsgebietes, generieren.
Das Verfahren und die Vorrichtung 1000 dient der Kollisionsvermeidung, so dass die erstellte Karte 470 auch zum kollisionsfreien Führen des Vorrichtungskopfes 100 mit Hilfe eines Roboterarms 202 oder dergleichen automatischen Führung oder Handhabungsapparatur 200 verwendet werden kann. Durch den anhand von 2 beispielhaft beschriebene Feedback-Mechanismus oder derartige Regelschleifen ist es einem Arzt bzw. Anwender möglich, Kollisionen etc. zu vermeiden oder jedenfalls mitgeteilt zu bekommen. In einer Kombination der automatischen und manuellen Führung – beispielhaft 1C und 1B – lässt sich auch eine halbautomatische Betriebsweise realisieren.
Auch ein MCR-Modul 432 zur Registrierung einer Bewegung von Oberflächen und zur Bewegungskompensation hat sich z. B. in der Bilddatenverarbeitungseinheit 430 als vorteilhaft erwiesen (MCR – Motion Clutter Removal). Die stetige Aufnahme von Bilddaten derselben Region durch das Endoskop kann durch eine Bewegung derselben Oberfläche, z. B. durch Atmung und Herzschlag, verfälscht werden. Da viele organische Bewegungen mit harmonischen, gleichförmigen und/oder wiederkehrenden Bewegungen beschrieben werden können, kann die Bildverarbeitung solche Bewegungen erkennen. Die Navigation kann dementsprechend angepasst werden. Dem Arzt werden diese Bewegungen visuell und/oder als Feedback mitgeteilt. Eine Vorhersage der Bewegung kann errechnet, angegeben und verwendet werden.
Gleichwohl lässt sich die Vorrichtung optimal erweitern zur automatischen 3D-Bildregistrierung, wie dies beispielsweise anhand von 3 und 4 beschrieben ist. Mit Hilfe von Bildregistrierungsverfahren bzw. 3D-Matching-Algorithmen zur Erkennung von gleichen 3D-Daten bzw. Oberflächen durch unterschiedliche bildgebende Verfahren kann bei der vorgestellten Instrumenten-Navigation 480 die 3D-Karte 470 mit Volumendatensätzen des Patienten verbunden werden. Dies können CT- oder MRT-Datensätze sein. So sind dem Arzt die Oberfläche wie auch das darunterliegende Gewebe und Strukturen bekannt. Außerdem können diese Daten zur OP-Planung berücksichtigt werden.
Im Einzelnen zeigt dazu 3 das Basiskonzept der hier vorgestellten medizinischen visuellen Navigation in Bezug auf das Beispiel von 1B. Wiederum sind für identische oder ähnliche Merkmale oder Merkmale identischer oder ähnlicher Funktion gleiche Bezugszeichen verwendet. Die Bilddatenerfassungseinheit 412 in Form einer Kamera liefert Bilddaten einer Nahumgebung U, nämlich dem Aufnahmebereich der Kamera. Die Bilddaten betreffen eine Oberfläche des Anwendungsgebietes 301. Diese werden als Bild B301 in einem Bildkartenspeicher als Bildkarte 470 hinterlegt. Die Karte 470 kann auch in einem anderen Speicher hinterlegt sein. Insofern stellt der Kartenspeicher die bisher gespeicherte Bildkarte 470 dar.
Eine unter der Oberfläche liegende Struktur 302 kann als Bild B302 in einer präoperativen Quelle 450 als CT-, MRT- oder dergleichen Bild hinterlegt sein. Die präoperative Quelle 450 kann einen 3D-Bilddatenspeicher umfassen. Insofern stellt die präoperative Quelle 3D-Bilddaten der Nahumgebung U bzw. der darunterliegenden Strukturen dar. Die Zusammenführung der Karte 470 mit den Daten der präoperativen Quelle 450 erfolgt mit Hilfe der Bilddatenverarbeitungseinheit und der Navigationseinheit 430, 440 zu einer visuellen Zusammenschau der Karte 470 und einer Navigationsinformation 480 über den mobilen Vorrichtungskopf, hier in Form des Endoskops bzw. die Feststellung der Pose und Bewegung im Aufnahmebereich der Kamera, das heißt der Nahumgebung U. Die Ausgabe kann auf einer in 2 dargestellten visuellen Erfassungseinheit 600 erfolgen. Die visuelle Erfassungseinheit 600 kann eine Ausgabevorrichtung zur positionsüberlagerten Darstellung von Bilddaten und aktuellen Instrumentenpositionen umfassen.
Die Zusammenschau der Bilder B301 und B302 ist eine Kombination aus aktueller Oberflächenkarte der Instrumentenkamera und den 3D-Bilddaten der präoperativen Quelle. Die Verbindung 471 zwischen Bild- und Datenverarbeitungseinheit und Bildkartenspeicher umfasst auch eine Verbindung zwischen Bilddatenverarbeitungseinheit und Navigationseinheit 430, 440. Diese umfassen die zuvor erläuterten Module eines SLAM und EKF.
Die erkannte aktuelle Lage des Instruments wird auch als Matching des Instrumentes bezeichnet. Auch andere Bildaspekte lassen sich matchen; z. B. eine Schar von markanten Punkten. 4 zeigt beispielhaft eine bevorzugte Anordnung der mobilen Vorrichtung der 1(B) zur Registrierung eines Patienten 2000 wobei auch eine vorbeschriebene Überlagerung mit externen Bilddaten vorgesehen ist. Beispielsweise können in einem Anwendungsgebiet 301, 302 eines Körpers 300 des Patienten 2000 die Oberflächen von Augen, Nase, Ohren oder Zähnen zur Patientenregistrierung verwendet werden. Automatisch oder manuell können externe Bilddaten (z. B. CT-Daten des Gebietes) mit den Bildkartendaten der Nahumgebung und die im Wesentlichen dem Aufnahmebereich der Kamera entspricht, dieses Verfahrens kombiniert werden. Das automatische Verfahren ist beispielsweise mit 3D-Matching-Verfahren realisierbar.
Eine manuelle Überlagerung externer Bilddaten mit den Bildkartendaten kann beispielsweise dadurch geschehen, dass der Verwender eine Schar an markanten Punkten 701, 702 (z. B. Subnasale und Augenwinkel) sowohl in den CT-Daten wie auch in den Kartendaten markiert.
5 zeigt schematisch das Prinzip des SLAM-Verfahrens zur simultanen Lokalisierung und Kartenerstellung. Dies geschieht vorliegend anhand des sogenannten Feature-Point-Matching bei markanten Punkten (z. B. 701, 702 der 4 oder andere markante Punkte 703, 704, 705, 706), und einer Schätzung der Bewegung. Zur Umsetzung des erläuterten Konzepts der Erfindung ist das SLAM-Verfahren jedoch nur eine mögliche Option. Das Verfahren nutzt ausschließlich die Sensorsignale zur Orientierung in einem ausgedehnten Gebiet, das sich aus einer Vielzahl von Nahumgebungen zusammensetzt. Dabei wird anhand der Sensordaten (typischerweise Bilddaten BU) die eigene Bewegung geschätzt sowie kontinuierlich eine Karte 470.1, 470.2 des erfassten Gebiets erstellt. Neben der Kartenerstellung sowie Bewegungserkennung werden gleichzeitig die aktuell erfassten Sensorinformationen auf Übereinstimmungen mit den bisher gespeicherten Bildkartendaten geprüft. Wird eine Übereinstimmung festgestellt ist dem System die eigene aktuelle Position und Orientierung innerhalb der Karte bekannt. Es lassen sich auf dieser Basis vergleichsweise robuste Algorithmen angeben und erfolgreich einsetzen. Für die Nutzung von 2D-Kamerabildem als Informationsquelle wurde das „Monocular SLAM"-Verfahren vorgestellt. Dabei werden kontinuierlich Merkmalspunkte 701, 702, 703, 704, 705, 706 eines Objekts 700 im Videobild erfasst und deren Bewegung im Bild ausgewertet. 5 zeigt dazu im in Ansicht (A) die Merkmalspunkte 701, 702, 703, 704, 705, 706 eines Objekts 700 und in Ansicht (B) eine Bewegung derselben nach hinten rechts (701‘, 702‘, 703‘, 704‘, 705‘, 706‘) eines Objektes 700, wobei die Länge des Vektors zum versetzten Objekt 700‘ ein Maß für die Bewegung, insbesondere Distanz und Geschwindigkeit, ist.
Im Einzelnen zeigt 5 also zwei Bilder einer Nahumgebung BU, BU‘ zu einem ersten Aufnahmezeitpunkt T1 und einem zweiten AufnahmezeitpunktT2. Dem ersten Aufnahmezeitpunkt T1 sind die markanten Punkte 701 bis 706 und dem zweiten Aufnahmezeitpunkt T2 sind die markanten Punkte 701‘ bis 706‘ zugeordnet, d. h. Objekt 700 zum Zeitpunkt T1 erscheint zum Zeitpunkt T2 als Objekt 700‘ mit anderen Objektposition und/oder Orientierung. Die nicht näher bezeichneten Vektoren zwischen den Zeitpunkt zugeordneten markanten Punkten (d. h. Vektoren zwischen Punkten 701, 701‘ sowie 702, 702‘ sowie 703, 703‘ sowie 704, 704‘ sowie 705, 705‘ sowie 706, 706‘) beispielhaft Vektor V geben die Distanz und über die Zeitdifferenz zwischen den Zeitpunkten T1 und T2, die Geschwindigkeit der Relation zwischen Objekten 700 und 700‘ an.
In der eben in 5 gezeigten Form lässt sich somit erkennen, dass sich das Objekt 700 zum Zeitpunkt T1 offensichtlich nach hinten rechts verschoben hat mit einer aus den Zeitpunkten T1 und T2 ermittelbaren Geschwindigkeit. Entsprechend lässt sich daraus die Bewegung einer Bilddatenerfassungseinheit 410, insbesondere ein Objektiv am distalen Ende 101D oder 102D eines Vorrichtungskopfes bestimmen.
6 zeigt, wie mit Hilfe dieses Verfahrens Kamerabilder (hier die Endoskopkamera) zu einer Karte zusammengefasst und als Patientenmodell in einer gemeinsamen 3D-Ansicht dargestellt werden können.
Dazu zeigt 6 eine mobil handhabbare Vorrichtung 1000 wie sie grundsätzlich anhand von 2 und 3 erläutert wurde, wobei wiederum für identische oder ähnliche Teile oder Teile identischer oder ähnlicher Funktion gleiche Bezugszeichen verwendet sind, sodass diesbezüglich auf die Beschreibung der vorgenannten 2 und 3 verwiesen wird. 6 zeigt die Vorrichtung mit einem mobilen Vorrichtungskopf 300 zu drei verschiedenen Zeitpunkten T1, T2, T3; nämlich zeitlich versetzt die mobilen Vorrichtungsköpfe 100T1, 100T2 und 100T3. Die im Wesentlichen durch einen Aufnahmebereich einer Kamera oder dergleichen mit Datenerfassungseinheit 410 bestimmte Nahumgebung U des mobilen Vorrichtungskopfes 100 ist mittels der vorliegend exemplarisch gezeigten drei Zeitpunkte T1, T2, T3 in der Lage, ein bestimmtes zu kartographierendes Gebiet 303 des Körpers 300 abzufahren, indem der Vorrichtungskopf 100 verschoben wird und zu den Zeitpunkten T1, T2, T3 unterschiedliche Positionen einnimmt. Das zu kartographierende Gebiet 303 setzt sich damit zusammen aus einem Aufnahmebereich der Nahumgebung U1 zum Zeitpunkt T1 und einem Aufnahmebereich zum Zeitpunkt T2 entsprechend der Nahumgebung U2 und einem Aufnahmebereich der Nahumgebung U3 zum Zeitpunkt T3. Entsprechende über das Datenkabel 510 an die visuelle Erfassungseinheit 600 oder dergleichen Monitor übermittelten Bilddaten geben das zu kartographierende Gebiet als Bild B303 wieder; dieses setzt sich somit zusammen aus einer Sequenz von Bildern von denen drei den Zeitpunkt T1, T2, T3 entsprechende Bilder BU1, BU2, BU3 gezeigt sind. Beispielshaft könnte dies ein Bild B301 des Anwendungsgebiets 301 oder der Vertiefung 302 der 1 sein oder eine andere Bilddarstellung der Struktur 310. Grundsätzlich lässt sich in dem zu kartographierenden Gebiet 303 als Bild B303 die Oberfläche des Körpers 300 in Form der Struktur 310 wiedergeben; also dasjenige das etwa durch eine Kamera erfasst werden kann. Das Erfassbare ist dabei nicht notwendiger Weise auf die Oberfläche beschränkt sondern kann zum Teil auch in die Tiefe gehen, je nach Eigenschaft der Bilddatenerfassungseinheit, insbesondere der Kamera.
Als Kamerasystem kann prinzipiell die im Endoskop verbaute Kamera, insbesondere bei Endoskopen, zum Einsatz kommen. Bei 2D-Kameras können, aus Bildsequenzen und einer Bewegung der Kamera, die 3D-Bildinformationen errechnet bzw. geschätzt werden.
Insbesondere bei Instrumenten sind Kameras auch an anderen Positionen des Instrumentes bzw. Endoskops denkbar, wie beispielsweise am Schaft. Als Kamera kommen alle bekannten Kameratypen in Frage, insbesondere unidirektionale sowie omnidirektionale 2D-Kameras oder 3D-Kamerasysteme, beispielsweise mit Stereoskopieoder Time-Of-Flight-Verfahren. Außerdem können mithilfe mehrerer am Instrument verbauten 2D-Kameras 3D-Bilddaten errechnet werden oder mithilfe mehrerer 2D- und 3D-Kameras die Qualität der Bilddaten verbessert werden. Kamerasysteme erfassen im häufigsten Falle Licht sichtbarer Wellenlängen zwischen 400 und 800 Nanometern. In Verwendung mit diesem System können darüber hinaus aber auch weitere Wellenlängenbereiche, wie Infrarot oder UV, verwendet werden. Denkbar ist auch die Nutzung weiterer Sensorik zur
Bilddatengewinnung, wie z. B. Radar- oder Ultraschall-Systeme, zur Erfassung der Oberfläche oder ggf. tiefer liegenden, reflektierenden oder emittierenden Schichten. Gerade um schnelle Bewegungen des Instrumentes zu erfassen, sind Kamerasysteme mit einer besonders hohen Bildaufnahmefrequenz bis hin zu High-Speed Kameras besonders vorteilhaft.
7 zeigt beispielhaft bevorzugte Möglichkeiten einer weiteren externen Kamerapositionen an einem Instrument. Da das Gebiet der zur Navigation verwendeten Bilddaten grundsätzlich unerheblich ist, kann eine Kamera auch an weiteren Stellen des Instruments montiert werden, sodass die Bewegung des Endoskops und die Zuordnung der Position weiterhin oder genauer möglich ist.
7 zeigt in Ansicht (A) ein weiteres Beispiel eines Vorrichtungskopfes 104 in Form eines Endoskops, wobei für identische oder ähnliche Teile bzw. Teile identischer oder ähnlicher Funktion gleiche Bezugszeichen wie in 1B und 1C verwendet sind. Der Vorrichtungskopf weist vorliegend eine erste Bilddatenerfassungseinheit 411 in Form einer externen am Schaft 102S oder am Griff 120 des Endoskops befestigten Kamera auf und eine interne im Endoskop integrierte zweite Bilddatenerfassungseinheit 412 in Form einer weiteren Kamera, nämlich der Endoskopkamera auf. Die externe Kamera 411 hat einen ersten Aufnahmebereich U411 und die interne Kamera hat einen zweiten Aufnahmebereich U412. Die im ersten Aufnahmebereich U411 bzw. einer dadurch bestimmten ersten Nahumgebung aufgenommenen Bilddaten werden über ein erstes Datenkabel 510.1 an eine Führungseinrichtung 400 übermittelt. Ebenso werden Bilddaten eines zweiten Aufnahmebereichs U412 bzw. einer dadurch bestimmten zweiten Nahumgebung durch ein zweites Datenkabel 510.2 des Endoskops an die Führungseinrichtung 400 übermittelt. Betreffend die Führungseinrichtung 400 wird auf die Beschreibung der 2 und 3 verwiesen, bei welcher die über das Datenkabel dargestellte Bilddatenverbindung 511 gezeigt ist zur Verbindung der Bilddatenerfassungseinheit 410 und einer Bilddatenverarbeitungseinheit und/oder Navigationseinheit 430, 440; dementsprechend kann die in 2 dargestellte Bilddatenerfassungseinheit 410 wie beispielhaft in 7A dargestellt, zwei Bilddatenerfassungseinheiten, beispielsweise Bilddatenerfassungseinheiten 411, 412 wie in 7A dargestellt, umfassen.
Die Verfügbarkeit von zwei zeitgleichen Bildern einer ersten und einer zweiten Nahumgebung mit einem, jedenfalls teilweise überlappenden Aufnahmebereich aus unterschiedlichen Perspektiven kann in einer Bilddatenverarbeitungseinheit und/der Navigationseinheit 430, 440 rechentechnisch zur Genauigkeitsverbesserung umgesetzt werden.
Das System ist auch funktionsfähig, wenn die Kamera nie in den Körper eindringt. Zur Steigerung der Genauigkeit können selbstverständlich auch mehrere Kameras gleichzeitig an einem Instrument betrieben werden. Darüber hinaus ist die Verwendung von Instrumenten und Zeigerinstrumenten zusammen mit einer verbauten Kamera denkbar. Ist beispielsweise die relative Lage der Spitze des Zeigerinstrumentes zur Kamera bzw. zu den 3D-Bilddaten bekannt, kann eine Patientenregistrierung mithilfe dieses Zeigerinstrumentes oder eines ähnlich nutzbaren Instrumentes durchgeführt werden.
Dazu zeigt 7B eine weitere Ausführungsform eines mobilen Vorrichtungskopfes 105 in Form eines Zeigerinstrumentes, bei dem wiederum für identische oder ähnliche Merkmale oder Merkmale identischer oder ähnlicher Funktionen gleiche Bezugszeichen wie in den vorhergehenden Figuren verwendet sind. Das Zeigerinstrument hat eine Zeigerspitze S105 am distalen Ende 105D des Schaftes 105S des Zeigerinstruments 105. Das Zeigerinstrument hat auch am proximalen Ende 105P einen Griff 120. Vorliegend ist am Griff 120 eine Bilddatenerfassungseinheit 411 als einzige Kamera des Zeigerinstruments befestigt. In dem Aufnahmebereich der Bilddatenerfassungseinheit 411 fällt im Wesentlichen zur Bestimmung der Nahumgebung die Spitze S105 bzw. das distale Ende 105D des Zeigerinstruments 105 als auch das Anwendungsgebiet 301. Damit ist eine Struktur 302 auf welche die Spitze S105 des Zeigerinstruments 105 weist mit Hilfe der Kamera erfassbar und kartographierbar zusammen mit der relativen Lage der Spitze S105 und der Struktur 302; also einer Pose der Spitze 105 relativ zur Struktur 302.
In 7A sind die Aufnahmebereiche U411, U412 der ersten und zweiten Kamera 411, 412 derart überlappend, dass die Struktur 302 im Überlappungsgebiet liegt.
Es ist zu verstehen, dass ein mit Positionsbezug zum Vorrichtungskopf, diesem zugeordnetes Führungsmittel, ausgebildet ist, Angaben zur Position des Vorrichtungskopfes 100 in Bezug auf die Umgebung U in der Karte 470 zu machen, wobei die Umgebung U über die Nahumgebung NU hinausgeht allein vorgesehen sein kann, um eine Karte zu erstellen; dies ist z. B. der Fall bei 7(B).
Gleichwohl wird es besonders bevorzugt sein Führungsmittel zusätzlich z. B. zu einer Bilddatenerfassungseinheit 412 vorzusehen, wenn letztere im Vorrichtungskopf installiert ist.
In einer Abwandlung kann einer Bilddatenerfassungseinheit 412 auch ein Doppelrolle insofern zukommen, als dass diese der Kartographierung einer Umgebung dient als auch der visuellen Erfassung einer Nahumgebung. Dies kann beispielsweise der Fall sein, wenn die Nahumgebung eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopf 100 ist; beispielsweise mit einer Läsion. Die Nahumgebung NU kann dann weiter diejenigen Bilddaten umfassen, die in visueller Reichweite einer ersten Optik 412 der Bilddatenerfassungseinheit 410 am distalen Ende des mobilen Vorrichtungskopf 100 erfasst sind. Die Umgebung U kann ein Gebiet umfassen, das in der Nahumgebung NU und jenseits der Operationsumgebung des distalen Endes des mobilen Vorrichtungskopfes 100 liegt.
Grundsätzlich können an verschiedenen und beliebigen Positionen am Instrument Bildaufnahmeeinheiten (wie z. B. die Kameras 411, 412 in 7(A)) verbaut werden und dabei in gleiche oder aber auch verschiedene Richtungen zeigen, um in letzterem Falle verschiedene Nah- und (Fern)-Umgebungen erfassen zu können.
Eine Nahumgebung umfasst dabei regelmäßig eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopfes 100, in dem der Operateur eingreift. Das Operationsgebiet bzw. die Nahumgebung ist aber eben nicht notwendigerweise das kartographierte Gebiet. Insbesondere kann dem Beispiel nach 7(B) folgend die Nahumgebung nicht in unmittelbarer Nähe des distalen Endes des mobilen Vorrichtungskopfes 100 visualisiert bzw. aufgenommen werden (z. B. wenn statt des Endoskops nur ein Zeiger- oder ein Chirurgieinstrument verwendet wird); dann kann wie an 7(B) oben erläutert die Umgebung U über die Nahumgebung NU hinausgehen und allein vorgesehen sein, um eine Karte zu erstellen.
8 zeigt in Ansicht (A) eine unter anderen für die Situation der 7(A) repräsentative Anordnung einer Umgebung U mit einer vollständig innerhalb dieser angeordneten Nahumgebung NU, welche jeweils einem Sichtbereich einer internen Kamera 412 bzw. externen Kamera 411 zugeordnet sind. Der schraffierte Bereich der Nahumgebung dient dabei zum Eingriff in ein Körpergewebe als Operationsumgebung OU; der gesamte Bereich der Umgebung U dient zur Kartographierung und damit zur Navigation eines Instruments, wie hier der internen Sichtkamera 412 am distalen Ende des Endoskops.
8(A) visualisiert in abgewandelter Form auch ein Beispiel gemäß 1(A), bei dem eine Umgebung U zur Kartographierung dient, eine Operationsumgebung OU, aber nicht visualisiert wird (insofern eine Nahumgebung NU nicht vorhanden ist), da am distalen Ende des Vorrichtungskopfes keine interne Kamera sondern hier lediglich im Beispiel der 1(A) ein chirurgischer Instrumentenkopf angebracht ist.
8(B) zeigt, dass die Bereiche einer Umgebung U, einer Nahumgebung NU und der Operationsumgebung OU auch mehr oder weniger kongruent zusammenfallen können; dies kann insbesondere bei einem Beispiel der 1(B) oder 1(C) der Fall sein; dabei wird nämlich eine interne Sichtkamera 412 des Endoskops genutzt, um auf einer Operationsumgebung OU im Bereich der Nahumgebung NU (d. h. im Sichtfeld der internen Kamera 412) Gewebe zu monitoren; der gleiche Bereich dient als Umgebung U auch zur Kartographierung und damit zur Navigation des distalen Endes 101D des Endoskops.
8(C) veranschaulicht eine bereits oben beschriebene Situation, in welcher die Nahumgebung NU und die Umgebung U nebeneinander liegen und sich dabei berühren oder teilweise überlagern, wobei die Umgebung U zur Kartographierung dient und nur die Nahumgebung NU die Operationsumgebung OU umfasst. Dies kann beispielsweise auftreten für einen Knorpel- oder Knochenbereich der Umgebung U und einen Schleimhautbereich der Nahumgebung NU, wobei die Schleimhaut gleichzeitig die Operationsumgebung umfasst. In dem Fall zeigt sich, dass die Schleimhaut nur schlecht Ansatzpunkte zur Kartographierung gibt, da sie vergleichsweise diffus ist während ein Knorpel oder ein Knochen der Umgebung U Sichtpositionen aufweist, die als Marker dienen können und damit Grundlage einer Navigation sein können.
Ähnlich kann es sich bei dem oben erläuterten Beispiel der 8(A) verhalten, bei dem in einem in etwa ringförmig angeordneten Bereich einer Umgebung U festes Gewebe wie Knorpel oder Knochen vorhanden ist, die sich gut zur Kartographierung eignen während in einem darin liegenden Bereich einer Nahumgebung NU Blut oder Nervengefäße angeordnet sind.
Wie in 8(D) zeigt, kann die Situation jedoch auch derart sein, dass eine Umgebung U und eine Nahumgebung NU disjunkt sind, d. h. völlig unabhängig voneinander lokalisierte Bildbereiche darstellen. Eine Umgebung U kann im Extremfall, aber besonders bevorzugt, beispielsweise im Sichtfeld einer externen Kamera liegen und Operationsgeräte, einen Operationsraum oder Orientierungsgegenstände in einem Raum deutlich jenseits der Nahumgebung NU umfassen. Auch kann dies in einem weniger extremen Fall die Umgebung U an der Oberfläche eines Gesichts eines Patienten sein. Das Gesicht eignet sich aufgrund markanter Positionen wie einer Augenpupille oder einer Nasenöffnung oftmals dazu Markerpositionen zur Verfügung zustellen, anhand derer eine vergleichsweise gute Navigation möglich ist. Das Operationsgebiet in der Nahumgebung NU kann deutlich davon abweichen, z. B. eine Nasenhöhle oder einen Bereich im Rachen eines Patienten umfassen bzw. unterhalb der Oberfläche des Gesichts, also im Kopfinneren, liegen.
Bezugszeichenliste

B301, B302, B303: Bilder
BU: Bilddaten
EKF: Extended Kalman Filter
S105: Spitze
T1: erster Zeitpunkt
T2: zweiter Zeitpunkt
T3: dritter Zeitpunkt
U, U1, U2, U3: Umgebung
NU: Nahumgebung
U411, U412,: Aufnahmebereich
V: Vektor
100, 100T1, 100T2, 100T3: Vorrichtungskopf
101, 102, 103: mobiler Vorrichtungskopf
101D, 102D, 105D: distales Ende
101P, 102P, 105P: proximales Ende
101S, 102S, 105S: Schaft
105: Zeigerinstrument
110: Instrumentenkopf
120: Griff
200: Handhabungsapparat
201: Bedienperson
202: Roboter, Roboterarm
210: Datenkopplung
300: Körper
301: Anwendungsgebiet
302: Vertiefung, Struktur
303: kartographierendes Gebiet
400: Führungseinrichtung
410, 411, 412, 450: Bilddatenerfassungseinheit
420, 421, 422: Bewegungsmodul
430: Bilddatenverarbeitungseinheit
431, 441: Modul
432: MCR-Modul (Motion clutter removal)
440: Navigationseinheit
450, 460: Trackermodul
450: externe Bilddatenquelle, präoperative Quelle
470, 470.1, 470.2: Karte, Bildkarte
471: Verbindung
480: Pose und/oder Bewegung
500: Steuerung
510, 510.1, 510.2: Datenkabel
511: Bilddatenverbindung
512: Bewegungsdatenverbindung
600: visuelle Erfassungseinheit
700: Objekt
701, 702, 703, 704, 705, 706,: markante Punkte (Merkmalspunkte)
701‘, 702‘, 703‘, 704‘, 705‘, 706‘: markante Punkte (Merkmalspunkte)
1000: mobil handhabbare Vorrichtung
2000: Patienten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2006/131373 A2 [0008]

Zitierte Nicht-Patentliteratur

Mirota et al. „A System for Video-Based Navigation for Endoscopic Endonasal Skull Base Surgery“ IEEE Transactions on Medical Imaging, Vol. 31, No. 4, April 2012 [0009]
Burschka et al. “Scaleinvariant registration of monocular endoscopic images to CT-scans for sinus surgery” in Medical Image Analysis 9 (2005) 413–426 [0009]
Mountney et al. zur 31st Annual International Conference of the IEEE EMBS Minneapolis, Minnesota, USA, September 2–6, 2009 (978-1-4244-3296-7/09 [0011]
Grasa et al. „EKF monocular SLAM with relocalization for laparoscopic sequences“ in 2011 IEEE International Conference on Robotics and Automation, Shanghai. May 9–13, 2011 (978-1-61284-385-8/11) [0011]

Claims

Mobil handhabbare, insbesondere kalibrierbare, Vorrichtung (1000) mit einem mobilen Vorrichtungskopf (100), insbesondere einem nicht-medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem technischen Körper oder einem medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem gewebeartigen Körper, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper, aufweisend: – wenigstens einen zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf (100), – eine Führungseinrichtung (400), wobei die Führungseinrichtung (400) zur Bereitstellung von Navigationsinformationen zur Führung des mobilen Vorrichtungskopfes (100) ausgebildet ist, wobei dessen distales Ende in einer Nahumgebung (NU) führbar ist, – eine Bilddatenerfassungseinheit (410), die ausgebildet ist, Bilddaten einer Umgebung (U) des Vorrichtungskopfes (100), insbesondere kontinuierlich, zu erfassen und bereitzustellen – eine Bilddatenverarbeitungseinheit (430), die ausgebildet ist mittels der Bilddaten eine Karte (470) der Umgebung (U) zu erstellen, – eine Navigationseinheit (440), die ausgebildet ist, mittels der Bilddaten und einem Bilddatenfluss wenigstens eine Position (480) des Vorrichtungskopfes (100) in der Nahumgebung (NU) anhand der Karte (470) anzugeben, derart, dass der mobile Vorrichtungskopf (100) anhand der Karte (470) führbar ist, wobei – ein mit Positionsbezug zum Vorrichtungskopf, diesem zugeordnetes Führungsmittel, das ausgebildet ist, Angaben zur Position des Vorrichtungskopfes (100) in Bezug auf die Umgebung (U) in der Karte (470) zu machen, wobei die Umgebung (U) über die Nahumgebung (NU) hinausgeht.
Vorrichtung (1000) nach Anspruch 1 dadurch gekennzeichnet, dass der Positionsbezug des Führungsmittels zum Vorrichtungskopf starr oder determiniert beweglich ist, insbesondere kalibrierbar ist.
Vorrichtung (1000) nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass das Führungsmittel die Bilddatenerfassungseinheit (410) und/oder ein weiteres Orientierungsmodul umfasst, das ausgebildet ist, eine weitere Angabe zur Position, insbesondere Pose (Position und/oder Orientierung), und/oder Bewegung des Vorrichtungskopfes (100) in Bezug auf die Karte (470) bereitzustellen.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Orientierungsmodul ein Bewegungsmodul (422) und/oder Beschleunigungssensor oder dgl. Sensorik umfasst und/oder das Orientierungsmodul wenigstens eine Optik (411, 412), insbesondere eine Ziel- und/oder Führungsoptik (412) und/oder eine externe Optik (411) umfasst.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Position, insbesondere Pose und/oder Bewegung (480) des Vorrichtungskopfes (100) in der Nahumgebung (NU) anhand der Karte (470) angebbar ist, derart, dass eine Steuerung (500) und ein Handhabungsapparat 200 gemäß der Position, insbesondere Position und/oder Orientierung (Pose) und/oder Bewegung (480) des Vorrichtungskopfes (100) und anhand der Karte (470) der Umgebung (U) den mobilen Vorrichtungskopf (100) führen können.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass, der Handhabungsapparat (200) mittels der Steuerung (500) über einen Steueranschluss zur automatischen Führung des mobilen Vorrichtungskopfes (100) ausgebildet ist, und die Steuerung mittels der Führungseinrichtung (400) über eine Datenkopplung zur Navigation des Vorrichtungskopfes (100) ausgebildet ist, insbesondere der Steueranschluss zur Übergabe einer SOLL-Position, insbesondere Pose, und/oder SOLL-Bewegung des Vorrichtungskopfes (100) und die Datenkopplung zur Übergabe einer IST-Position, insbesondere Pose, und/oder IST-Bewegung des Vorrichtungskopfes (100) ausgebildet ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Navigationseinheit (440) einen erweiterten Kalman Filter (EKF) und/oder ein Modul zur Durchführung eines SLAM-Algorithmus aufweist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Führungseinrichtung (400) weiter ausgebildet ist, den wenigstens einen mobilen Vorrichtungskopf (101) nur anhand der Karte (470) zu führen, insbesondere die Führungseinrichtung (400) ein Tracking-Absolutmodul, insbesondere eine weitere Sensorik, aufweist, die zum Erstellen der Karte der Nahumgebung (U) temporär beschränkt aktivierbar oder deaktivierbar und/oder teilweise aktivierbar oder deaktivierbar ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der mobile Vorrichtungskopf (100) ein erster mobiler Vorrichtungskopf ist und wenigstens ein zweiter mobiler Vorrichtungskopf (101, 102), insbesondere eine Mehrzahl mobiler Vorrichtungsköpfe, anhand der Karte (470), insbesondere dergleichen einzigen Karte, führbar ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Karte (470) Marker enthält und das Führungsmittel ausgebildet ist, mindestens eine unbekannte oder bekannte Köperform in der Umgebung (U) als Marker zu erkennen und die relative Position, insbesondere relative Pose, des Vorrichtungskopfes zu einer Position, insbesondere Position, der erkannten Körperform ermittelbar ist, insbesondere gleichzeitig eine relative Position, insbesondere relative Pose, einer Anzahl von Körperformen zueinander und/oder zum Vorrichtungskopf ermittelbar ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Karte (470) Marker enthält, wobei Objekte als Marker in die Umgebung eingebracht werden, welche besonders geeignet sind von der Bilddatenerfassungseinheit erfasst zu werden, insbesondere das Führungsmittel ausgebildet ist, ein feststehendes Objekt einmalig und zur mehrmaligen Verwendung als Marker zu vermessen oder kontinuierlich zu vermessen.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Position, insbesondere Pose und/oder Bewegung (480), des Vorrichtungskopfes (100) anhand der Karte (470) relativ zu einer Referenzstelle an einer Körperform oder einem Objekt in der Umgebung des Vorrichtungskopfes (100) angebbar ist, wobei die Referenzstelle Teil der Karte (470) der Umgebung, insbesondere der Nahumgebung (NU), ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass eine Referenzstelle außerhalb der Nahumgebung (NU) liegt, wobei eine determinierte Relation zwischen der Referenzstelle und einer Kartenposition angebbar ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis13, dadurch gekennzeichnet, dass das Führungsmittel ausgebildet ist, eine bewegliche Mechanik oder Bewegungskinematik auf Positionierabweichungen einmalig, regelmäßig oder kontinuierlich zu vermessen.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (430) ausgebildet ist, eine Referenzstelle an einem Objekt in einem Sichtbild mit einer Fixstelle eines Fremdbildes nach einem vorbestimmten Test zu identifizieren.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (430) ausgebildet ist, ein Sichtbild, insbesondere die Karte (470), mit einem Fremdbild, insbesondere einem Computertomografie- oder Magnetresonanztomografie-Bild (CT- oder MRT-Bild) oder dgl. Bild, zu registrieren und/oder zu ergänzen, insbesondere initial, regelmäßig oder kontinuierlich.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (430) ein Modul (431) aufweist, das ausgebildet ist, Zielbewegungen, insbesondere Zielkörperbewegungen, insbesondere nach einem physiologischen Muster erkennbare, vorzugsweise rhythmische, Zielkörperbewegungen zu erkennen und bei der Erstellung einer Karte (470) der Nahumgebung (U) zu berücksichtigen.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass die Umgebung (U) die Nahumgebung (NU) umfasst.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass die Umgebung (U) disjunkt zur Nahumgebung (NU) ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass die Nahumgebung eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopf (100) ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass die Nahumgebung (NU) diejenigen Bilddaten umfasst, die in visueller Reichweite einer ersten Optik (412) der Bilddatenerfassungseinheit (410) am distalen Ende des mobilen Vorrichtungskopf (100) erfasst sind.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 21, dadurch gekennzeichnet, dass die Umgebung (U) ein Gebiet umfasst, das in der Nahumgebung (NU) und jenseits der Operationsumgebung des distalen Endes des mobilen Vorrichtungskopfes (100) liegt.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 22, dadurch gekennzeichnet, dass mindestens ein erster und ein zweiter Bereich der Umgebung (U) durch die Führungsmittel und/oder die Bilderfassungseinheit (430) erfassbar ist, wobei wenigstens der erste Bereich ein Teil einer Operationsumgebung ist, in welcher eine Bewegung detektierbar ist, insbesondere eine Bewegung einer Körperform und/oder eines distalen Endes des Vorrichtungskopfes (100).
Vorrichtung (1000) nach einem der Ansprüche 1 bis 23, dadurch gekennzeichnet, dass mindestens ein erster und ein zweiter Bereich der Umgebung (U) durch die Führungsmittel und/oder die Bilderfassungseinheit (430) erfassbar ist, wobei in mindestens dem ersten erfassten Bereich Fehler, Ausfälle oder Signallosigkeit od. dgl. Störungen mittels der Auswertung wenigstens des zweiten Bereichs durch die Führungsmittel detektierbar und/oder kompensierbar sind.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 24, dadurch gekennzeichnet, dass die Führungsmittel, insbesondere die Bilddatenerfassungseinheit (410) und/oder das Orientierungsmodul, ausgebildet ist, die Bilddaten der Umgebung (U) des Vorrichtungskopfes (100) kontinuierlich zu erfassen und die Bilddatenverarbeitungseinheit (430), ausgebildet ist, mittels der Bilddaten eine Karte (470) der Umgebung (U), insbesondere eine weitere Angabe zur Position – insbesondere Pose und/oder Bewegung des Vorrichtungskopfes(100) in Bezug auf die Karte (470) – in Echtzeit, insbesondere während einer Operation, zu erstellen.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 25, dadurch gekennzeichnet, dass die Bilddatenerfassungseinheit (410) wenigstens eine, insbesondere zwei, drei oder eine andere Anzahl von Optiken aufweist, die ausgebildet sind, denselben Bereich oder weitere Bereiche der Umgebung (U) – insbesondere Bereiche in einer Nahumgebung (NU) und/oder zusätzlich zur Nahumgebung (NU) – mittels Bilddaten gleichzeitig erfassen, insbesondere eine Bewegung eines in sich beweglichen Instrumentes aufgrund mindestens zweier Optiken ermittelbar ist.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 26, dadurch gekennzeichnet, dass eine erste Optik erste Bilddaten und eine zweite Optik zweite Bilddaten erfasst, wobei erste und zweite Bilddaten zeitgleich erfasst werden, die räumlich versetzt sind oder wobei erste und zweite raumgleiche Bilddaten erfasst werden, die zeitlich versetzt sind.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 27, dadurch gekennzeichnet, dass die Bilddatenerfassungseinheit (410) eine Zieloptik aufweist, die an einem distalen Ende (101D) des Vorrichtungskopfes (100) sitzt, wobei die Zieloptik ausgebildet ist, Bilddaten einer Nahumgebung (U) an einem distalen Ende des Vorrichtungskopfes zu erfassen.
Vorrichtung (1000) nach einem der Ansprüche 1 bis 28, dadurch gekennzeichnet, dass die Führungsmittel, insbesondere die Bilddatenerfassungseinheit (410) und/oder das Orientierungsmodul, eine Führungsoptik aufweist, die an einer Führungsstelle – von einem distalen Ende (101D) entfernt, insbesondere an einem proximalen Ende (101P) des Vorrichtungskopfes (100) und/oder an der Führungseinrichtung (400) – sitzt, wobei die Führungsoptik ausgebildet ist, Bilddaten einer Umgebung (U) des Vorrichtungskopfes (100), insbesondere in der Nähe der Führungsstelle, zu erfassen.
Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung (1000) mit einem mobilen Vorrichtungskopf (100), insbesondere einem nicht-medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem technischen Körper oder einem medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem gewebeartigen Körper, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper, aufweisend die Schritte: – manuelle oder automatische Führung des mobilen Vorrichtungskopfes (100), – Bereitstellung von Navigationsinformationen zur Führung des mobilen Vorrichtungskopfes (100), wobei dessen distales Ende in einer Nahumgebung (NU) geführt wird, – Erfassen und Bereitstellen von Bilddaten einer Umgebung (U) des Vorrichtungskopfes (100), insbesondere kontinuierlich, – Erstellen einer Karte (470) der Umgebung (U) mittels der Bilddaten, – Angeben wenigstens einer Position (480) des Vorrichtungskopfes (100) in der Nahumgebung (NU) anhand der Karte (470) mittels der Bilddaten und einem Bilddatenfluss, derart, dass der mobile Vorrichtungskopf (100) anhand der Karte (470) führbar ist, wobei – mit Positionsbezug zum Vorrichtungskopf Angaben zur Position des Vorrichtungskopfes (100) in Bezug auf die Umgebung (U) in der Karte (470) gemacht werden, wobei die Umgebung (U) über die Nahumgebung (NU) hinausgeht.
Verfahren nach Anspruch 30 dadurch gekennzeichnet, dass der Positionsbezug zum Vorrichtungskopf starr oder determiniert bewegt wird, insbesondere kalibriert wird.
Verfahren nach Anspruch 30 oder 31 dadurch gekennzeichnet, dass eine weitere Angabe zur Position, insbesondere Pose (Position und/oder Orientierung), und/oder Bewegung des Vorrichtungskopfes (100) in Bezug auf die Karte (470) bereitgestellt wird.
Verfahren nach einem der Ansprüche 30 bis 32, dadurch gekennzeichnet, dass, der mobile Vorrichtungskopf (100) automatisch geführt wird, wobei eine SOLL-Position, insbesondere Pose, und/oder SOLL-Bewegung des Vorrichtungskopfes (100) übergeben wird und eine IST-Position, insbesondere Pose, und/oder IST-Bewegung des Vorrichtungskopfes (100) übergeben wird.