IT201800004552A1 - Sistema di visione tridimensionale multi-tracking per navigazione virtuale - Google Patents
Sistema di visione tridimensionale multi-tracking per navigazione virtuale Download PDFInfo
- Publication number
- IT201800004552A1 IT201800004552A1 IT102018000004552A IT201800004552A IT201800004552A1 IT 201800004552 A1 IT201800004552 A1 IT 201800004552A1 IT 102018000004552 A IT102018000004552 A IT 102018000004552A IT 201800004552 A IT201800004552 A IT 201800004552A IT 201800004552 A1 IT201800004552 A1 IT 201800004552A1
- Authority
- IT
- Italy
- Prior art keywords
- marker
- patient
- instrument
- optical markers
- coordinates
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 claims description 68
- 239000003550 marker Substances 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 238000011477 surgical intervention Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 239000000825 pharmaceutical preparation Substances 0.000 description 1
- 229940127557 pharmaceutical product Drugs 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0818—Redundant systems, e.g. using two independent measuring systems and comparing the signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Robotics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
DESCRIZIONE
del brevetto per invenzione industriale dal titolo:
“SISTEMA DI VISIONE TRIDIMENSIONALE MULTI-TRACKING PER NAVIGAZIONE VIRTUALE”
SETTORE TECNICO DELL’INVENZIONE
La presente invenzione è relativa ad un sistema di visione tridimensionale per la guida di uno strumento chirurgico/diagnostico nel corpo di un paziente.
STATO DELL’ARTE
Come è noto molti interventi chirurgici e/o diagnostici vengono oggi condotti con l’ausilio di uno strumento chirurgico/diagnostico (“tool operatorio”) in grado di raggiungere, per via percutanea, una zona interessata da patologia (spesso indicata come zona target). Segnaliamo, a titolo di esempio, interventi di biopsia, termo ablazione, asportazione di tessuti lesi, introduzione di prodotti chimici/farmaceutici nel corpo umano. L’introduzione ed il successivo raggiungimento del target da parte dello strumento chirurgico/diagnostico può essere facilitato da sistemi di guida, o navigazione, di tipo virtuale, basati su immagini del target e delle zone circostanti al target in modo da pianificare ed eseguire l’intervento percutaneo in modo possibilmente poco invasivo.
Sistemi noti di navigazione / guida per interventi del tipo sopra detto sono basati sull’elaborazione di immagini precedentemente acquisite tramite tomografia computerizzata TC o risonanza magnetica RM e prevedono la definizione di una ricostruzione tridimensionale in realtà virtuale della zona target del corpo umano.
Una rappresentazione tridimensionale dello strumento chirurgico/diagnostico viene sovrapposta alla ricostruzione tridimensionale e si muove sull’immagine seguendo i reali movimenti dello strumento.
È evidente che per potere visualizzare la posizione nello spazio dello strumento chirurgico/diagnostico questo deve essere provvisto di opportuni sensori, ad esempio sensori ottici, in modo tale da conoscere in tempo reale la posizione dello strumento chirurgico/diagnostico.
Ad esempio, il brevetto EP09425116 della stessa richiedente illustra un sistema assistito da calcolatore per la guida di uno strumento chirurgico/diagnostico nel corpo di un paziente comprendente un primo dispositivo marcatore configurato per essere disposto solidale ad una regione del corpo di un paziente e includente primi e secondi marcatori paziente aventi una data disposizione reciproca; un secondo marcatore configurato per essere accoppiato allo strumento chirurgico/diagnostico e includente terzi elementi marcatori strumento; un sensore ottico di localizzazione configurato per localizzare i secondi e i terzi elementi marcatori in un primo sistema di riferimento; e un’unità di elaborazione configurata per acquisire almeno un’immagine tomografica della regione del corpo del paziente comprendente i primi elementi marcatori in un secondo sistema di riferimento differente dal primo, acquisire la posizione dei secondi e terzi elementi marcatori nel primo sistema di riferimento, determinare la posizione di detti terzi elementi marcatori nel secondo sistema di riferimento sulla base di una correlazione fra il primo ed il secondo sistema di riferimento.
Il sensore ottico comprende generalmente una coppia di telecamere atte a prelevare, da angolazioni diverse, una immagine di una zona di visione in cui si trova lo strumento operario/diagnostico.
Il cammino ottico tra sensore ottico e gli elementi marcatori paziente e strumento può essere interrotto in molte condizioni operative, ad esempio quando il personale medico è disposto attorno al paziente a cerchio ed oscura da molti lati i marcatori ottici non rendendoli visibili alle telecamere.
Scopo delle presente invenzione è quello di realizzare un sistema di visione che risolva gli inconvenienti dei sistemi noti e che permetta una migliore visione dei marcatori ottici.
Il precedente scopo è raggiunto dalla presente invenzione in quanto questa è relativa ad un sistema di visione tridimensionale per la guida di uno strumento chirurgico/diagnostico nel corpo di un paziente comprendente: almeno un primo ed un secondo dispositivo di visione di tipo ottico disponibili in posizioni angolari diverse attorno ad una zona comune di intervento operatorio in cui è disponibile un paziente da sottoporre ad intervento al fine di osservare il paziente da diversi punti di vista: ciascun dispositivo di visione essendo provvisto di un dispositivo illuminatore, in particolare un dispositivo illuminatore ad infrarossi, e di una coppia di telecamere con assi ottici convergenti in un punto comune e realizzanti un sistema stereoscopico di visione atto ad individuare primi marcatori ottici portati da un marcatore paziente che viene disposto in una posizione stabile e prefissata sul corpo del paziente e secondi marcatori ottici portati da un marcatore strumento che è portato da uno strumento che viene utilizzato per realizzare un intervento diagnostico / chirurgico sul paziente; i detti primi marcatori ottici comprendendo una pluralità di primi corpi riflettenti disposti in posizioni stabili e prefissate uno rispetto all’altro e i detti secondi marcatori ottici comprendendo una pluralità di secondi corpi riflettenti disposti in posizioni stabili e prefissate uno rispetto all’altro; caratterizzato dal fatto di comprendere primi mezzi di elaborazione immagine che per ogni sistema di visione presente sono configurati per a svolgere ciclicamente sull’immagine rilevata le seguenti operazioni: rilevare la presenza e la posizione nello spazio dei primi marcatori ottici; rilevare la presenza e la posizione nello spazio dei secondi marcatori ottici; qualora almeno uno dei primi marcatori ottici o secondi marcatori ottici non venga rilevato le operazioni di rilevazione sono ripetute ed il rispettivo dispositivo di visione non fornisce alcuna informazione sulla posizione nello spazio del marcatore paziente e del marcatore strumento; i detti primi mezzi di elaborazione immagine, qualora siano rilevati entrambi i primi marcatori ottici ed i secondi marcatori ottici, sono atti a memorizzare le coordinate spaziali del marcatore paziente e del marcatore strumento; detti primi mezzi di elaborazione immagine essendo atti a calcolare per ogni rispettivo dispositivo di visione, un primo errore marcatore εm che rappresenta l’errore tra la posizione teorica geometrica dei primi marcatori ottici e la posizione dei marcatori ottici come rilevata sulle immagini utilizzate per ottenere la posizione spaziale del marcatore paziente; detti primi mezzi di elaborazione immagine essendo inoltre atti a calcolare un secondo errore strumento εs che rappresenta l’errore tra la posizione teorica geometrica dei secondi marcatori ottici e la posizione dei marcatori ottici come rilevata sulle immagini utilizzate per ottenere la posizione spaziale del marcatore strumento; essendo inoltre previsti secondi mezzi di elaborazione immagine che ricevono in ingresso, quando disponibili, le coordinate del marcatore strumento e del marcatore paziente ed il primo errore marcatore εm ed il secondo errore strumento εs rilevate dai diversi sistemi di visione; detti secondi mezzi di elaborazione immagine sono configurati ad elaborare i dati di ingresso per calcolare le coordinate complessive Cg del marcatore strumento che tengono conto delle informazioni elaborate dai diversi dispositivi di visione operanti in parallelo; le coordinate complessive Cg sono rese disponibili ad un sistema di navigazione virtuale atto a rappresentare una immagine tridimensionale del corpo del paziente sulla quale viene rappresentato un modello tridimensionale dello strumento posizionato ed orientato in base alle coordinate complessive Cg determinate.
In questo modo, il sistema secondo la presente invenzione rileva in modo estremamente preciso ed affidabile le posizioni tridimensionali dei sensori ottici applicati allo strumento chirurgico/diagnostico; il sistema si configura pertanto come componente essenziale nella chirurgia guidata basata su immagini.
L’invenzione sarà ora illustrata con riferimento ai disegni allegati che ne rappresentano una preferita forma di realizzazione non limitativa in cui:
la figura 1 illustra, in vista prospettica un sistema di visione tridimensionale per la guida di uno strumento chirurgico/diagnostico nel corpo di un paziente realizzato secondo i dettami della presente invenzione;
la figura 2 illustra un diagramma a blocchi di funzionamento del sistema di figura 1;
la figura 3 illustra un marcatore paziente utilizzato dal sistema della presente invenzione; e
la figura 4 illustra un marcatore strumento utilizzato dal sistema della presente invenzione.
Nella figura 1, è indicato con 1, nel suo insieme, un sistema di visione tridimensionale per la guida di uno strumento chirurgico/diagnostico nel corpo di un paziente realizzato secondo i dettami della presente invenzione.
Il sistema 1 comprende una pluralità di dispositivi di visione 3 di tipo ottico disponibili in posizioni angolari diverse attorno ad una zona comune di intervento operatorio 5 in cui è disponibile un paziente 6 da sottoporre ad intervento al fine di osservare il paziente 6 da diversi punti di vista. Nell’esempio rappresentato sono illustrati quattro dispositivi di visione 3 disposti sostanzialmente equi spaziati attorno alla zona 5; risulta comunque chiaro che il numero dei dispositivi di visione 3 può essere diverso da quello rappresentato.
Nell’esempio illustrato il paziente 6 è disposto orizzontatele su un piano 7 di un tavolo operatorio 8 attorno al quale si dispone personale medico e paramedico (per semplicità non illustrati).
Ciascun dispositivo di visione 3 è provvisto di una testa 10 che alloggia un dispositivo illuminatore 11 (o una coppia di dispositivi illuminatori), in particolare un dispositivo illuminatore ad infrarossi, e di una coppia di telecamere 12 con assi ottici R1, R2 convergenti in un punto O e realizzanti un sistema stereoscopico di visione (operante in un rispettivo volume di misura) di tipo noto e pertanto non ulteriormente illustrato. Convenientemente i punti O dei diversi dispositivi di visione 3 sono comuni tra di loro e sono disposti al centro della zona comune 5 di intervento operatorio.
Ciascun dispositivo di visione coopera con una unità di elaborazione comune 13 la quale è atta ad individuare – mediante algoritmi di tipo noto – nelle immagini rilevate dalle telecamere 12 primi marcatori ottici 17 portati da un marcatore paziente 18 (si veda anche la figura 3) che viene disposto in una posizione stabile e prefissata sul corpo del paziente 6 (ad esempio appoggiato al centro del capo come illustrato nello esempio) e secondi marcatori ottici 19 portati da un marcatore strumento 20 (si veda anche la figura 4) che è portato da uno strumento 21 che viene utilizzato per realizzare un intervento diagnostico / chirurgico sul paziente 6. Nell’esempio illustrato è descritto, per semplicità, un solo strumento 21 provvisto di un rispettivo marcatore strumento 20. Risulta comunque chiaro che il sistema può operare con un numero superiore di strumenti provvisti di rispettivi marcatori.
Nell’esempio illustrato la unita di elaborazione 13 è realizzata da un personal computer provvisto di video 14, tastiera 15 e mouse 16.
I primi marcatori ottici 17 comprendono una pluralità di sfere riflettenti portate da una base B realizzata in materiale plastico e disposte in posizioni stabili e prefissate uno rispetto all’altra. Ad esempio le sfere 17 possono essere quattro e disposte in corrispondenza dei vertici di un trapezio.
I secondi marcatori ottici 19 comprendono una pluralità di sfere riflettenti portate da una base B2 e disposte in posizioni stabili e prefissate uno rispetto all’altra. Ad esempio le sfere 19 possono essere quattro e disposte in corrispondenza dei vertici di un rombo.
La figura 2 illustra un diagramma logico delle operazioni svolte dalla unità di elaborazione 13 secondo la presente invenzione.
Ciascun blocco rettangolare 100 illustra un primo processo relativo ad un rispettivo dispositivo di visione 3, nell’esempio di figura 2 sono illustrati tre processi che hanno luogo in parallelo. Ciascun passo di ogni processo 100 è sincronizzato ad un riferimento temporale comune (CLOCK) della unità di elaborazione 13.
Il processo 100 comprende un primo blocco 110 in cui viene rilevata, sulle immagini provenienti dalle telecamere 12, la presenza e la posizione nello spazio dei primi marcatori ottici 17 del paziente 6. La disposizione dei marcatori ottici è infatti nota all’unità di elaborazione 13 e possono essere utilizzati degli algoritmi di riconoscimento immagini che ricercano forme prefissate al fine di ritrovare l’insieme dei marcatori ottici 17.
In seguito al rilevamento dei primi marcatori ottici 17, il sistema riconosce la presenza del marcatore paziente 18 ed il blocco 110 è seguito da un blocco 120.
Il blocco 120 rileva, sulle immagini rilevate dalle telecamere 12, la presenza e la posizione nello spazio dei secondi marcatori ottici 19 dello strumento 21. La disposizione dei marcatori ottici è nota all’unità di elaborazione 13 e possono essere utilizzati degli algoritmi di riconoscimento immagine che ricercano forme prefissate al fine di ritrovare l’insieme dei marcatori ottici 19.
Il blocco 120 è seguito da un blocco 130 che fornisce la posizione nello spazio (x,y,z) del marcatore paziente 18 rispetto ad un sistema di rifermento del sistema (terna cartesiana, figura 1) di visione e la posizione nello spazio (x,y,z) e l’orientamento (coseni direttori) del marcatore strumento 20 più la rotazione assiale. Lo strumento 20 è infatti provvisto di una porzione rettilinea 22d (figura 4) impugnabile ed i coseni direttori individuano la disposizione spaziate di tale porzione rettilinea 22d.
Qualora almeno uno dei primi marcatori ottici 17 o secondi marcatori ottici 19 non venga rilevato le operazioni di rilevazione (blocchi 110 e 120) sono ripetute ed il rispettivo dispositivo di visione 3 non fornisce alcuna informazione sulla posizione nello spazio del marcatore paziente 18 e del marcatore strumento 20.
Qualora invece i blocchi 110 e 120 rilevino entrambi rispettivamente la posizione dei i primi marcatori ottici ed i secondi marcatori ottici, il blocco 120 è seguito da un blocco 130 atto a memorizzare le coordinate spaziali del marcatore paziente 18 e del marcatore strumento 20.
Il blocco 130 è seguito da un blocco 140 che è atto a calcolare, per il rispettivo dispositivo di visione, un primo errore marcatore εm che rappresenta l’errore tra la posizione teorica geometrica dei primi marcatori ottici 17 e la posizione dei marcatori ottici come rilevata sulle immagini utilizzate per ottenere la posizione tridimensionale del marcatore paziente 18. Ad esempio l’errore marcatore εm può essere calcolato determinando la posizione teorica geometrica del baricentro del marcatori ottici 17 e determinando la posizione del baricentro del marcatori ottici 17 come risulta dalle immagini; la distanza (scalare) tra i due baricentri rappresenta l’errore.
Il blocco 140 è seguito da un blocco 150 che è atto a calcolare, per il rispettivo dispositivo di visione, un secondo errore strumento εs che rappresenta l’errore tra la posizione teorica geometrica dei secondi marcatori ottici 19 e la posizione dei marcatori ottici come rilevata sulla immagine utilizzate per ottenere la posizione tridimensionale del strumento 20. Anche in questo caso, l’errore strumento εs può essere calcolato determinando la posizione teorica geometrica del baricentro del marcatori ottici 19 e determinando la posizione del baricentro del marcatori ottici 19 come risulta dalle immagini; la distanza (scalare) tra i due baricentri rappresenta l’errore.
Tutti i blocchi 150 confluiscono ad un secondo processo comune 200 che riceve in ingresso, quando disponibili, per ogni dispositivo di visione 3 le coordinate spaziali del marcatore paziente 18 e del marcatore strumento 20 ed il primo errore marcatore εm ed il secondo errore strumento εs. Il secondo processo 200 è atto ad elaborare i dati di ingresso per calcolare le coordinate complessive Cg (posizione ed orientamento) del marcatore strumento 20 che tengono conto delle informazioni elaborate dai diversi dispositivi di visione 3 operanti in parallelo.
Le coordinate complessive Cg sono rese disponibili ad un sistema di navigazione virtuale (di tipo noto) atto a rappresentare una immagine tridimensionale del corpo del paziente 6 sulla quale viene rappresentato un modello tridimensionale dello strumento 21 utilizzato posizionato ed orientato in base alle coordinate complessive Cg così determinate.
Il sistema di navigazione tridimensionale può operare una fase di calibrazione secondo strategie diverse e cioè:
a) Modalità A - vengono precedentemente importate una pluralità di immagini bidimensionali TC o RM (sezioni assiali) del paziente, tali immagini sono ricostruite con un algoritmo per realizzare una immagine tridimensionale di una zona di interesse del paziente, la corrispondente zona di interesse del paziente viene scansionata mediante un sensore (ad esempio laser oppure un sensore a contatto) rilevando curve che definiscono la posizione tridimensionale di punti scansionati sulla superficie del paziente, le curve scansionate sono confrontate con corrispondenti curve estratte sulla immagine tridimensionale per trovare la relazione di rototraslazione che lega la immagine tridimensionale ricostruita e l’immagine rilevata del paziente. La immagine tridimensionale riposizionata nel sistema di riferimento dei dispositivi di visione viene utilizzata nel sistema di navigazione virtuale sovrapponendo a questa l’immagine di un modello dello strumento 21. Tale procedura è descritta nella domanda di brevetto europea EP-A-2.799.029; e
b) Modalità B - vengono rilevate una pluralità di immagini bidimensionali TC o RM (sezioni assiali) del paziente nelle quali sono visibili dei marcatori rilevabili dalla TC o RM disposte in posizioni corrispondenti dei marcatori ottici 18 del paziente (ad esempio utilizzando sfere concentriche), tali immagini sono ricostruite con un algoritmo per realizzare una immagine tridimensionale di una zona di interesse del paziente, il paziente viene sottoposto all’analisi del sistema di visione 1 che rileva solamente la posizione dei marcatori ottici paziente 18, vene trovare la relazione di rototraslazione che lega la immagine tridimensionale ricostruita (sulla quale sono visibili i marcatori rilevati dal sistema TC o RM) e l’immagine rilevata del paziente (sulla quale sono visibili i marcatori ottici). La immagine tridimensionale riposizionata nel sistema di riferimento dei dispositivi di visione viene utilizzata nel sistema di navigazione virtuale sovrapponendo a questa l’immagine di un modello dello strumento 21. Tale procedura è descritta nella domanda di brevetto europea EP-A- 2.233.099.
Per il calcolo delle coordinate complessive Cg sono possibili una pluralità di strategie alternative selezionabili da un operatore (blocco 205) tra cui:
il blocco 210 è atto a calcolare le coordinate complessive Cg selezionando le coordinate del marcatore paziente 20 fornite dal dispositivo di visione 3 che presenta il minimo valore del secondo errore strumento εs.
il blocco 220 è atto a calcolare le coordinate complessive Cg calcolando una media pesata delle coordinate del marcatore paziente 20 fornite dai vari dispositivi di visione 3: ciascun peso avendo valore che è inversamente proporzionale al rispettivo secondo errore strumento εs. In questo modo i dispositivi di visione che hanno maggiore errore vengono sottostimati.
il blocco 230 è atto a calcolare le coordinate complessive Cg calcolando una media aritmetica delle coordinate del marcatore paziente 20 fornite dai vari dispositivi di visione 3.
Il blocco 240 è atto a calcolare le coordinate complessive Cg selezionando le coordinate del marcatore strumento 20 fornite dal dispositivo di visione 3 che presenta globalmente il minimo valore complessivo di primo errore marcatore εm e di secondo errore strumento εs. Per determinare il tale valore complessivo il primo errore marcatore εm ed il secondo errore strumento εs possono essere sommati tra di loro come valori assoluti oppure moltiplicati.
In base alla modalità di calcolo selezionata le coordinate complessive Cg sono disponibili in un blocco 250 che provvede a memorizzarle. Per ogni segnale di clock e pertanto disponibile un valore Cg. Convenientemente il blocco 250 è seguito da un blocco 260 che provvede a filtrare i valori delle coordinate complessive Cg prima di fornirle al sistema di navigazione virtuale. Il filtraggio migliora la rappresentazione della posizione del modello strumento impedendo che questa possa essere soggetta a “discontinuità”.
Il sistema 1 descritto ed illustrato ha il vantaggio di estendere il campo di misura dei singoli dispositivi di visione 3 e di potenziare la lettura e la visibilità del marcatore strumento 20 minimizzando il pericolo della interruzione della “line of sight” tra dispositivo di visione e marcatore strumento.
Claims (1)
- RIVENDICAZIONI 1.- Sistema di visione tridimensionale per la guida di uno strumento chirurgico/diagnostico nel corpo di un paziente comprendente: - almeno un primo ed un secondo dispositivo di visione (3) di tipo ottico disponibili in posizioni angolarmente diverse attorno ad una zona comune di intervento operatorio (5) in cui è disponibile un paziente da sottoporre ad intervento al fine di osservare il paziente (6) da diversi punti di vista: ciascun dispositivo di visione (3) essendo provvisto di un dispositivo illuminatore (11), in particolare un dispositivo illuminatore ad infrarossi, e di una coppia di telecamere (12) con assi ottici convergenti in un punto comune (O) e realizzanti un sistema stereoscopico di visione atto ad individuare primi marcatori ottici (17) portati da un marcatore paziente (18) che viene disposto in una posizione stabile e prefissata sul corpo del paziente (6) e secondi marcatori ottici (19) portati da un marcatore strumento (20) che è portato da uno strumento (21) che viene utilizzato per realizzare un intervento diagnostico / chirurgico sul paziente; i detti primi marcatori ottici (17) comprendendo una pluralità di primi corpi disposti in posizioni stabili e prefissate uno rispetto all’altro e i detti secondi marcatori ottici (19) comprendendo una pluralità di secondi corpi disposti in posizioni stabili e prefissate uno rispetto all’altro; caratterizzato dal fatto di comprendere primi mezzi di elaborazione immagine che per ogni sistema di visione presente sono configurati per a svolgere ciclicamente sull'immagine rilevata le seguenti operazioni: rilevare la presenza e la posizione nello spazio (110) dei primi marcatori ottici (17); rilevare la presenza e la posizione nello spazio (120) dei secondi marcatori ottici (19); qualora almeno uno dei primi marcatori ottici o secondi marcatori ottici non venga rilevato le operazioni di rilevazione (110,120) sono ripetute ed il rispettivo dispositivo di visione (3) non fornisce alcuna informazione sulla posizione nello spazio del marcatore paziente (18) e del marcatore strumento (20); i detti primi mezzi di elaborazione immagine, qualora siano rilevati entrambi i primi marcatori ottici ed i secondi marcatori ottici, sono atti a memorizzare le coordinate spaziali (130) del marcatore paziente (18) e del marcatore strumento (20); detti primi mezzi di elaborazione immagine (100) essendo atti a calcolare (140) per ogni rispettivo dispositivo di visione (3), un primo errore marcatore εm che rappresenta l'errore tra la posizione teorica geometrica dei primi marcatori ottici (17) e la posizione dei marcatori ottici come rilevata sulle immagini utilizzate per ottenere la posizione spaziale del marcatore paziente (18); detti primi mezzi di elaborazione immagine (100) essendo inoltre atti a calcolare un secondo errore strumento εs che rappresenta l’errore tra la posizione teorica geometrica dei secondi marcatori ottici (19) e la posizione dei marcatori ottici come rilevata sulle immagini utilizzate per ottenere la posizione spaziale del marcatore strumento (20); essendo inoltre previsti secondi mezzi di elaborazione immagine che ricevono in ingresso, quando disponibili, le coordinate del marcatore strumento e del marcatore paziente ed il primo errore marcatore εm ed il secondo errore strumento εs rilevate dai diversi sistemi di visione; detti secondi mezzi di elaborazione immagine (200) sono configurati ad elaborare i dati di ingresso per calcolare le coordinate complessive Cg del marcatore strumento (20) che tengono conto delle informazioni elaborate dai diversi dispositivi di visione (3) operanti in parallelo; le coordinate complessive Cg sono rese disponibili ad un sistema di navigazione virtuale atto a rappresentare una immagine tridimensionale del corpo del paziente (6) sulla quale viene rappresentato un modello tridimensionale dello strumento (21) posizionato ed orientato in base alle coordinate complessive Cg determinate. 2.- Sistema secondo la rivendicazione 1, in cui i detti secondi mezzi di elaborazione immagine (210) sono atti a calcolare le coordinate complessive Cg selezionando le coordinate del marcatore paziente (20) fornite dal dispositivo di visione (3) che presenta il minimo valore del secondo errore strumento εs. 3.- Sistema secondo la rivendicazione 1, in cui i detti secondi mezzi di elaborazione immagine (220) sono atti a calcolare le coordinate complessive Cg calcolando una media pesata delle coordinate del marcatore paziente (20) fornite dai vari dispositivi di visione (3): ciascun peso avendo valore che è inversamente proporzionale al rispettivo secondo errore strumento εs. 4.- Sistema secondo la rivendicazione 1, in cui i detti secondi mezzi di elaborazione immagine (230) sono atti a calcolare le coordinate complessive Cg calcolando una media aritmetica delle coordinate del marcatore paziente (20) fornite dai vari dispositivi di visione (3). 5.- Sistema secondo la rivendicazione 1, in cui i detti secondi mezzi di elaborazione immagine sono atti a calcolare (240) le coordinate complessive Cg selezionando le coordinate del marcatore strumento (20) fornite dal dispositivo di visione (3) che presenta globalmente il minimo valore complessivo di primo errore marcatore εm e di secondo errore strumento εs s. 6.- Sistema secondo le rivendicazioni precedenti in cui i secondi mezzi di elaborazione immagine forniscono per cicli successivi una pluralità’ di coordinate complessive le quali vengono filtrate mediante un algoritmo di media mobile prima di essere fornite al sistema di navigazione virtuale.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000004552A IT201800004552A1 (it) | 2018-04-16 | 2018-04-16 | Sistema di visione tridimensionale multi-tracking per navigazione virtuale |
| EP19169669.9A EP3556312B1 (en) | 2018-04-16 | 2019-04-16 | A three-dimensional vision system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102018000004552A IT201800004552A1 (it) | 2018-04-16 | 2018-04-16 | Sistema di visione tridimensionale multi-tracking per navigazione virtuale |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT201800004552A1 true IT201800004552A1 (it) | 2019-10-16 |
Family
ID=62952220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102018000004552A IT201800004552A1 (it) | 2018-04-16 | 2018-04-16 | Sistema di visione tridimensionale multi-tracking per navigazione virtuale |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3556312B1 (it) |
| IT (1) | IT201800004552A1 (it) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111658065A (zh) * | 2020-05-12 | 2020-09-15 | 北京航空航天大学 | 一种下颌骨切削手术的数字化引导系统 |
| CN113662662B (zh) * | 2021-07-30 | 2023-10-27 | 北京天智航医疗科技股份有限公司 | 数据精度检测方法、装置、存储介质及电子设备 |
| CN113520619A (zh) * | 2021-08-26 | 2021-10-22 | 重庆市妇幼保健院 | 用于三维医疗影像系统与双目视觉系统配准的标记元件及其装配方法 |
| CN116407274A (zh) * | 2021-12-30 | 2023-07-11 | 北京和华瑞博医疗科技有限公司 | 反光定位装置及外科器械 |
| CN114288023B (zh) * | 2022-01-26 | 2024-05-31 | 北京柏惠维康科技股份有限公司 | 手术导航设备中定位导板的标定方法、装置、设备及介质 |
| US20230255694A1 (en) * | 2022-02-15 | 2023-08-17 | Mazor Robotics Ltd. | Systems and methods for validating a pose of a marker |
| EP4238523A1 (en) * | 2022-03-01 | 2023-09-06 | Stryker European Operations Limited | Technique for determining a marker arrangement that defines marker positions of a tracker |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1096268A2 (en) * | 1999-10-28 | 2001-05-02 | Northern Digital Inc. | System for determining the spatial position and/or orientation of one or more objects |
| US20060058604A1 (en) * | 2004-08-25 | 2006-03-16 | General Electric Company | System and method for hybrid tracking in surgical navigation |
| US7567833B2 (en) * | 2004-03-08 | 2009-07-28 | Stryker Leibinger Gmbh & Co. Kg | Enhanced illumination device and method |
| WO2011128766A2 (en) * | 2010-04-13 | 2011-10-20 | Picard Frederic | Methods and systems for object tracking |
| US20170069073A1 (en) * | 2013-03-15 | 2017-03-09 | Gal Sela | System and method detecting and adjusting for reference marker errors in surgical navigation systems |
| WO2017208186A2 (en) * | 2016-06-02 | 2017-12-07 | Atracsys Sàrl | Mobile surgical navigation system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2641598T3 (es) | 2009-03-24 | 2017-11-10 | Masmec S.P.A. | Sistema asistido por ordenador para guiar un instrumento quirúrgico durante operacioes percutáneas de diagnóstico o terapéuticas |
| ITTO20130349A1 (it) | 2013-04-30 | 2014-10-31 | Masmec S P A | Guida assistita da calcolatore di uno strumento chirurgico durante interventi diagnostici o terapeutici |
-
2018
- 2018-04-16 IT IT102018000004552A patent/IT201800004552A1/it unknown
-
2019
- 2019-04-16 EP EP19169669.9A patent/EP3556312B1/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1096268A2 (en) * | 1999-10-28 | 2001-05-02 | Northern Digital Inc. | System for determining the spatial position and/or orientation of one or more objects |
| US7567833B2 (en) * | 2004-03-08 | 2009-07-28 | Stryker Leibinger Gmbh & Co. Kg | Enhanced illumination device and method |
| US20060058604A1 (en) * | 2004-08-25 | 2006-03-16 | General Electric Company | System and method for hybrid tracking in surgical navigation |
| WO2011128766A2 (en) * | 2010-04-13 | 2011-10-20 | Picard Frederic | Methods and systems for object tracking |
| US20170069073A1 (en) * | 2013-03-15 | 2017-03-09 | Gal Sela | System and method detecting and adjusting for reference marker errors in surgical navigation systems |
| WO2017208186A2 (en) * | 2016-06-02 | 2017-12-07 | Atracsys Sàrl | Mobile surgical navigation system |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3556312A1 (en) | 2019-10-23 |
| EP3556312B1 (en) | 2022-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| IT201800004552A1 (it) | Sistema di visione tridimensionale multi-tracking per navigazione virtuale | |
| US20220346886A1 (en) | Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery | |
| US20230073041A1 (en) | Using Augmented Reality In Surgical Navigation | |
| KR101572487B1 (ko) | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 | |
| US20220039876A1 (en) | Sensored surgical tool and surgical intraoperative tracking and imaging system incorporating same | |
| CA2892554C (en) | System and method for dynamic validation, correction of registration for surgical navigation | |
| US11986252B2 (en) | ENT image registration | |
| JPH11309A (ja) | 画像処理装置 | |
| WO2017008137A1 (en) | System and method for providing a contour video with a 3d surface in a medical navigation system | |
| WO2014068106A1 (de) | Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung | |
| ITTV20100133A1 (it) | Apparato e metodo per effettuare la mappatura di uno spazio tridimensionale in applicazioni medicali a scopo interventistico o diagnostico | |
| KR101650821B1 (ko) | 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 트래킹 방법 | |
| CN106108951A (zh) | 一种医用实时三维定位追踪系统及方法 | |
| Reiter et al. | Surgical structured light for 3D minimally invasive surgical imaging | |
| JP2020516408A (ja) | 内視鏡測定の方法および器具 | |
| EP3292835B1 (en) | Ent image registration | |
| CN111417353A (zh) | 外科手术形状传感光纤光学设备及其方法 | |
| CN115105204A (zh) | 一种腹腔镜增强现实融合显示方法 | |
| JP2002360574A (ja) | 可視化した医学的な測定結果を空間的な情報を含む別のデータセットと共に調整するための方法および装置 | |
| US20240307125A1 (en) | Method for tracking a medical tool during a medical procedure using deep learning | |
| EP3944254A1 (en) | System for displaying an augmented reality and method for generating an augmented reality | |
| EP3457406B1 (en) | Patient face as touchpad user interface | |
| Naik et al. | Feature-based registration framework for pedicle screw trajectory registration between multimodal images | |
| Kail et al. | Three-dimensional display in the evaluation and performance of neurosurgery without a stereotactic frame: More than a pretty picture? | |
| Konietschke et al. | Accuracy identification of markerless registration with the dlr handheld 3d-modeller in medical applications |