WO2021063617A1 - Verfahren zur bildunterstützung bei der navigation und system - Google Patents
Verfahren zur bildunterstützung bei der navigation und system Download PDFInfo
- Publication number
- WO2021063617A1 WO2021063617A1 PCT/EP2020/074378 EP2020074378W WO2021063617A1 WO 2021063617 A1 WO2021063617 A1 WO 2021063617A1 EP 2020074378 W EP2020074378 W EP 2020074378W WO 2021063617 A1 WO2021063617 A1 WO 2021063617A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- catheter tip
- projection image
- catheter
- orientation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000000007 visual effect Effects 0.000 title abstract 2
- 210000000056 organ Anatomy 0.000 claims abstract description 74
- 210000004789 organ system Anatomy 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 description 8
- 230000002792 vascular Effects 0.000 description 8
- 239000011800 void material Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 210000000709 aorta Anatomy 0.000 description 3
- 208000007474 aortic aneurysm Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010968 computed tomography angiography Methods 0.000 description 3
- 229940039231 contrast media Drugs 0.000 description 3
- 238000002594 fluoroscopy Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 210000002254 renal artery Anatomy 0.000 description 3
- 206010002329 Aneurysm Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 208000002223 abdominal aortic aneurysm Diseases 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 210000000702 aorta abdominal Anatomy 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 238000012084 abdominal surgery Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000001765 aortic valve Anatomy 0.000 description 1
- 239000002473 artificial blood Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011796 hollow space material Substances 0.000 description 1
- 238000002697 interventional radiology Methods 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4085—Cone-beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
Definitions
- the invention relates to a method for image support when navigating a medical catheter inserted into a patient's cavity organ system into a cavity organ outlet according to claim 1 and a system for performing such a method according to claim 9.
- An abdominal aortic aneurysm 2 - see FIG. 1 - is a vascular sac on the abdominal aorta 1, the extension of which into the leg arteries is referred to as an illiacal aneurysm.
- This is treated either in an open abdominal surgery or in a minimally invasive manner by inserting a so-called stent graft 3.
- Guide wires 4 and catheters are introduced into the abdominal aorta 1 via the guide wires 4 and catheters, via which one or more stent grafts 3 (combination of a stent and an artificial blood vessel) are introduced.
- FIG. 2 shows a typical fusion image 6 from a superposition of a volume image 5 and a projection image.
- the vascular outlets are probed with the catheters by, for example, a doctor "by feeling” or according to the "trial & error” method, possibly using the additional information that is superimposed.
- EVAR procedures are performed on angiography systems under fluoroscopic control.
- CTs are generally segmented (usually in centerlines and surface grids) and the planning of EVAR procedures and registration to the angiosystem are carried out on them.
- Circular or oval markers are automatically placed on the vascular branches (syngo EVAR Guidance).
- the object is achieved according to the invention by a method for image support when navigating a medical catheter inserted into a cavity organ system of a patient into a cavity organ outlet according to claim 1 and by a device according to claim 9.
- Advantageous embodiments of the invention are each the subject of the associated subclaims .
- the method according to the invention for image support when navigating a medical catheter inserted into a cavity organ system of a patient into a cavity organ passage comprises the following steps: Provision of an in particular pre-segmented volume image (or volume image data set) of the cavity organ system and the cavity organ exit, which is recorded by means of an X-ray device provision of information on the geometric shape of the catheter tip, recording of a current projection image of the catheter tip, in particular by means of a cone beam X-ray device, registration of the volume image and the projection image in the event that there is no pre-registration, determination of the current position and current len Orientation of the catheter tip on the projection image based on the projection image, determination of the relative position and relative orientation of the catheter tip in relation to the cavity organ exit, and display of information regarding the determined relative position and / or relative orientation of the catheter tip in relation to the cavity organ exit.
- the method according to the invention provides the doctor performing an intervention with support to navigate faster and more safely through cavity organs and especially in small cavity organ exits and thus make the intervention gentler and less risk of injury for the patient. Due to the faster navigation, both radiation and contrast media can be saved, thus further reducing the burden on the patient.
- the projection image is updated by recording a further current projection image, the determination of the current position and current orientation of the catheter tip on the projection image based on the projection image, the determination of the relative position and relative orientation of the catheter tip in relation to the void organ outlet, and the Display can be updated. This can be repeated as often as desired or required.
- the method is particularly advantageous when navigating in vessels such as arteries or veins or in bronchial systems.
- the orientation of an object is understood to mean the three-dimensional alignment of the object in space with respect to a coordinate system.
- an essentially two-dimensionally extended object such as, for example, a typical partially circular catheter tip (for example shapes, see below)
- Under the relative position and Rela tivorient ist of the catheter tip in relation to the hollow space organ outlet is the difference or the amount of the difference between the position of the catheter tip and the position of the hollow organ outlet and the difference or the amount of the difference between the orientation of the catheter tip and understood the orientation of the cavity organ outlet in relation to the same coordinate system.
- a relative angle of rotation difference between the angle of rotation of the catheter tip and the angle of rotation of the cavity organ outlet relative to an axis (e.g. parallel to / in the image plane) can be used.
- the volume image is a 3D data set relevant to the procedure, for example a CT angiography carried out before the procedure or a CT recorded with a C-arm X-ray device during the intervention (for example Siemens syngo DynaCT), for example with the administration of Contrast medium, which shows the essential anatomy of the cavity organs to be deformed (in the case of EVAR aorta and / or the Illiacal arteries).
- the volume image is segmented with regard to the cavity organ system and its cavity organ exit, in particular in the event that there is no pre-segmentation. Segmentation of this kind is a well-known method that significantly facilitates the further processing of 2D or 3D images by recognizing certain structures (e.g. the hollow organ) and, for example, marking or highlighting them.
- the hollow organ segmented in this way can then be displayed as a grid or centerline, for example. If there is already a suitable pre-segmentation, this step can also be omitted.
- void organ outlet which was taken from the volume image or obtained in another way.
- these can for example, in the form of circular or oval (ostium) markers or faded into the volume image or a fusion image.
- the (ostium) markers can be placed automatically or manually (e.g. as part of the Siemens product "syngo EVAR Guidance").
- a registration of the volume image and the current projection image is carried out in accordance with known registration methods, usually via a 2D3D or 3D3D registration. If the volume image to be overlaid was recorded using the same X-ray device as the (live) projection image, this registration step can be omitted. If the volume image and the current projection image are registered (pre-registered or registered as part of a registration process), a merged image of volume image and projection image can be shown on a display unit, for example. If the projection image is updated by recording a further current projection image, the fusion image can also be updated, e.g. by replacing the first projection image or by additional fading.
- the information on the geometric shape of the catheter tip can in particular be taken from a database or a memory.
- the information can be, for example, as a segmented image or numerically, for example as a spline, polygonal curve or the like.
- the shape of the catheter tip of known catheters used for such interventions usually extends almost in one plane (i.e. almost two-dimensional with only a very small one Expansion into the third dimension) and is also partially rounded or circular, for example as a spiral ("pigtail"), with a single curvature or with a double curvature ("shepherd hook").
- the presentation of such a catheter in the projection image changes with a so-called angle of rotation of the catheter tip re relative to an axis in the image or projection plane.
- volume image and the current projection image By superimposing the volume image and the current projection image, it is generally possible to determine the position of the catheter in two dimensions within the image plane using simple geometric calculations, possibly including image recognition and image processing methods. There are several options for determining or calculating the orientation that can be used alone or combined. A simple estimate can also be made.
- the current orientation of the catheter tip is calculated from the projection image using the projected image of the catheter tip on the projection image and / or from the beam geometry of the X-ray beam recording the projection image.
- the projected image if the shape of the catheter is known, can be used to pinpoint the orientation of the (partially ge rounded or circular) catheter tip or the angle of rotation of the catheter tip are closed to the image plane or these are calculated mathematically from the geometric relationships of the projected figure.
- the actual width TB of the rounded Kathe terspitze is known, the projected width PB is determined by image recognition from the current projection image. It may additionally or alternatively be necessary, for example in the event that the projection takes place along the shape of the catheter tip, to include the beam geometry of the X-ray beam recording the projection image, especially if it is a cone beam projection. In the case of a cone beam projection, the projections of the individual beams are different because of the asymmetry, so that the orientation or the angle of rotation of the Käthe- terspitze can be calculated. Details are described below.
- the current orientation of the catheter tip is determined from the projection image by means of a pre-trained machine-learning algorithm.
- a pre-trained machine-learning algorithm can be pre-trained on the basis of a large number of projection images of catheter tips and the associated orientations.
- the display is optically of an image (e.g. the catheter tip and the cavity organ outlet are shown schematically) or a graphic symbol (e.g. arrow (s) or circle (s), which indicate a direction of rotation, are displayed) or a numerical information (e.g. a degree is shown) or a color display (e.g.
- a traffic light display is displayed, which is colored red, yellow or green depending on the relative rotation angle).
- An approach can also be displayed optically or acoustically in the event of a change, e.g. after recording a new current projection image, e.g. in the form of different tones or colors when approaching, i.e. a reduction in the relative angle of rotation.
- markers are used to determine the position and orientation of the Hohlraumorganab transition and, if necessary, displayed.
- markers are used to determine the position and orientation of the Hohlraumorganab transition and, if necessary, displayed.
- these are permanently displayed in the projection image (live fluoroscopy image) or the fusion image superimposed from the volume image and the current projection image, for example as circles or ovals, depending on their orientation.
- the invention also claims a system for implementing a method for image support when navigating a medical catheter introduced into a cavity organ system of a patient, having an imaging device for recording projection images, a storage device for storing data and image data , an image processing device for performing segmentations of medical volume images and / or projection images, a computing unit for determining the position and orientation of the catheter tip and for determining the relative position and relative orientation of the catheter tip in relation to the Hohlraumor ganabgang, a display device for displaying Information regarding the determined relative position and / or relative orientation and a system control for controlling the system.
- the system can also have a pre-trained machine-learning algorithm which is designed to determine the current orientation of the catheter tip from the projection image.
- the invention also comprises a computer program product which comprises a program and can be loaded directly into a memory of a programmable computing unit, with program means to carry out a method according to the invention when the program is executed in the computing unit.
- FIG. 2 shows a view of a 2D3D overlay according to the prior art
- FIG. 4 shows a sequence of a method according to the invention for image support when navigating a catheter into a cavity organ outlet
- FIG. 5 shows a view of a 2D3D superimposition of volume image and projection image with inserted markers for the void organs
- FIG. 6 shows a view of a catheter in a cavity organ on a projection image
- FIG. 7 shows a view of the catheter in the cavity organ or thogonal to the projection view of the projection image in FIG. 6;
- FIGS. 8 to 10 are views of a catheter tip on a projection image corresponding to FIG. 6;
- FIGS. 8 to 10 are views of the angle of rotation of the catheter tips of FIGS. 8 to 10 orthogonal to the projection views of the projection image in FIG. 6;
- 15 shows a view of a display of information with regard to the determined relative orientation; and 16 shows a system for carrying out the method according to the invention.
- the method according to the invention is particularly advantageous as image support during the navigation of a medical catheter introduced into a cavity organ system of a patient into a cavity organ outlet.
- An example of such navigations are the minimally invasive treatment of aortic aneurysms (EVAR), the replacement of aortic valves, interventions in the coronary arteries, interventions in interventional radiology or neuroradiology.
- EVAR minimally invasive treatment of aortic aneurysms
- interventions in the coronary arteries interventions in interventional radiology or neuroradiology.
- FIG 3 various catheters 7 with typical catheter tips 8 for use in cavity organs, in particular special when probing smaller cavity organs or Gefäßab exits (eg the renal arteries), are shown.
- the shape of the catheter tip 8 of known catheters 7 usually extends almost in one plane (ie two-dimensionally expanded with only a very small extension into the third dimension), and the catheter tip 8 is partially rounded or even circular, e.g. as a spiral ("Pigtail", middle catheter), formed with a single curve or with a double curve ("Shepherd Hook", left catheter).
- the representation of the catheter 7 in the projection image changes with an angle of rotation of the catheter tip re relative to an axis in / parallel to the image or projection plane.
- the spiral 8 ' This is shown by way of example for the spiral 8 '. If the plane of the spiral 8 'lies completely in the image plane, the actual width TB of the spiral 8' corresponds exactly to the projected width PB of the spiral 8 '. In the event of deviations, that is to say if the plane of the spiral 8 'is tilted by an angle of rotation a about the image plane, the projected width PB of the spiral 8' is reduced.
- the partially round catheter tips are also used for the gentlest possible movement within hollow organs. However, other forms can also be used within the scope of the method according to the invention used by catheter tips. However, these should have an expansion in at least two dimensions.
- a volume image or a 3D data set of the cavity organ system and the cavity organ exit which was recorded by means of an X-ray device, is provided.
- the volume image can, for example, be retrieved from a storage unit or from a database and / or transmitted by a communication unit. It can also be recorded and made available directly.
- the volume image or the 3D data set can be generated, for example, from a CT angiography or a C-arm CT (e.g. with the administration of contrast media).
- the volume image can depict part of the aorta and / or the illiacal arteries.
- the volume image can already be pre-segmented, for example, automatically or segmented by a user in a preliminary step. If this is not the case, the volume image is segmented in an optional second step 11, in particular with regard to the cavity organs and cavity organ outlets. Segmentation methods are well known and are often used to recognize medical structures. For example, an image processing unit can be used to carry out the segmentation. Segmentation results in segmented medical structures.
- information about the organ discharge from the cavity, which was taken from the volume image or obtained in some other way, may already be available.
- the void organ exits of the void organ 20 can be drawn or faded into the volume image in the form of circular or oval markers 21 - see, for example, FIG. 5.
- the markers 21 can be placed automatically or manually (e.g. as part of the Siemens product "syngo EVAR Guidance" ).
- information on the geometric shape of the catheter tip is provided.
- the information can in particular be taken from a database or a storage unit and / or transmitted by a communication unit.
- the information can be present, for example, as a segmented image, numerically, for example as a spline, polygon, or the like, or in any other possible form.
- a current projection image of the catheter tip is recorded, in particular by means of a cone-beam X-ray device.
- a projection image or several projection images are often recorded live before and / or during an intervention.
- fluoroscopic x-ray images are created, for example, with a C-arm x-ray device (e.g. a mobile or permanently installed C-arm x-ray device).
- a schematic view of such a projection image is shown in FIG. It shows a cavity organ 20 with the catheter 7 located therein, the catheter tip 8 and a Hohlraumor ganabgang 21 (which is shown by means of markers for better visibility).
- a three-dimensional coordinate system with a first axis x, a second axis y and a third axis z is shown.
- the image or projection plane is formed by the first axis x and the second axis y, i.e. the main ray of the X-ray radiation RS is projected in the direction of the third axis z.
- 7 shows the geometry of the arrangement from a direction orthogonal to the image plane, with a view "into the cavity organ 20" onto a plane which is formed by the third axis z and the first axis x X-ray radiation RS is also indicated.
- the current projection image and the provided volume image are registered with one another, in particular in the event that there is no pre-registration.
- a registration of the volume image and the current projection image is carried out in accordance with known registration methods, usually via a 2D3D (or 3D3D) registration. If the volume image to be superimposed was recorded using the same X-ray device as the projection image or if a pre-registration is already available, this registration step can be omitted. If the volume image and the current projection image are registered, a merged image of volume image and projection image can be displayed on a display unit (see, for example, FIG. 2).
- the current position and current orientation of the catheter tip on the projection image is determined using the projection image.
- the general position of the catheter tip in two dimensions within the image plane can generally be carried out by simple geometric calculations, possibly with the inclusion of image recognition and image processing methods.
- the orientation of the catheter tip can in many cases be determined from the projection of the shape of the catheter tip on the projection image if the geometrical shape of the catheter tip is known, for example by calculation or estimation, also here with the inclusion of image recognition and image processing methods, which takes the geometric lengths and widths (for example the projected width PB of the catheter tip) from the projection image.
- the determination of an angle of rotation relative to an axis (e.g. to the first axis x) in the image plane (or parallel to it) to the Be mood of orientation will be sufficient.
- the cosine of the angle of rotation of the catheter tip around an axis in / parallel to the image plane can be calculated as the ratio between the actual width TB and the projected width PB of the partially rounded catheter tip: cos (a)
- FIGS. 8 to 10 projected widths PB of a spiral catheter tip 8 are shown by way of example, together with the coordinate system. For clarification, corresponding views into the cavity organ with the associated angles of rotation a are shown in FIGS. 11 to 13.
- the void organ outlet lies in the image plane. However, this is not normally the case and the cavity organ outlet itself has an angle of rotation ⁇ to the image plane - see FIG. 14. This is described in more detail below.
- the projected width PB of the catheter tip is very small, it may be necessary to include the beam geometry of the X-ray radiation RS recording the projection image, especially if it is a cone beam projection.
- the projections of the individual beams are different because of the asymmetry, so that the orientation or the angle of rotation of the catheter tip can also be calculated from them.
- the current orientation of the catheter tip is determined from the projection image by means of a pre-trained machine-learning algorithm.
- the machine-learning algorithm can have been pre-trained on the basis of a large number of projection images of catheter tips and the associated orientations and within the framework of the Procedure are made available.
- the machine-learning algorithm is based, for example, on neural networks; a deep learning algorithm can be used, for example.
- machine-learning algorithms can be particularly advantageous when it is difficult to resolve the geometrical relationships with normal image recognition methods.
- Conventional X-ray devices that are used for minimally invasive interventions, e.g. angiography systems do not work with parallel radiation but with cone radiation.
- the projections of the individual beams are different because of the asymmetry, so that the orientation or the angle of rotation of the catheter tip can be calculated from this even if the projected width of the catheter tip is very small.
- inaccuracies due to the deviation from the parallel geometry can be better recognized, but ambiguities in the case of symmetrical angles of rotation can also be resolved.
- Such an assignment can be easily trained by making a large number of projection images of corresponding catheter tips and the algorithm learns to assign the angle of rotation to the respective projection image relative to the image plane.
- the relative position and / or relative orientation of the catheter tip is determined in relation to the cavity organ exit.
- the second rotation angle ⁇ of the cavity organ outlet (e.g. the marked ostium to be probed) is relative for the image plane is generally known or can be derived from the segmentation.
- an eighth step 17 at least one piece of information is displayed with regard to the determined relative position and / or relative orientation of the catheter tip in relation to the outlet of the cavity organ.
- the difference angle m can be displayed to give the doctor or user support, since he can then easily see the angle by which he has to turn the catheter in order to be able to navigate into the cavity organ outlet without injury or resistance .
- an optical display can be faded into the displayed fusion image or shown in an extra window.
- the two angles of rotation ⁇ and ⁇ and / or the cavity organ can be shown by means of a schematic representation. FIG.
- FIG. 15 shows an exemplary display in which in an extra display window 22 which is superimposed on the fusion image 6, the angle of rotation a is shown symbolized by an arrow relative to the cavity organ outlet, in a view orthogonal to the fusion image.
- the angles of rotation ⁇ and ⁇ and / or the differential angle of rotation m can also simply be displayed numerically.
- the rotation angles ⁇ and ⁇ and / or the difference rotation angle m can also be displayed in the fusion image by means of a color code, for example by coloring the catheter tip and the marker showing the cavity organ outlet, depending on how large the corresponding rotation angles are.
- the coloring can be red, for example, when the differential angle of rotation is large, yellow when the differential angle of rotation is large, and green when the differential angle is small.
- a traffic light display can simply be present and / or acoustically different tones can symbolize different rotational angles. It is also possible to simply display a graphic symbol, such as an arrow, which shows the direction of rotation.
- the method can be ended if necessary.
- the projection image can also be updated by recording another current projection image.
- the sixth step 15, the seventh step 16 and the eighth step 17 are also repeated in order to provide the doctor or the operator with an updated display of information regarding the specific relative position and / or relative orientation of the catheter tip in relation to the void organ outlet gen.
- This update can be repeated as often as necessary if necessary.
- the doctor or the operator is thus provided with helpful support during navigation in a cavity organ, so that he can navigate faster and safer in, in particular, smaller cavity organ branches.
- the merged image can also be updated, e.g. by replacing the first projection image or by additional cross-fading.
- Some of the steps of the method can also be carried out in a different order than specified, insofar as it makes sense, for example the information on the geometric shape of the catheter tip can be provided first.
- the 16 shows a system 30 for performing the method for image support when navigating a medical instrument, in particular a catheter, introduced into a cavity organ system of a patient, into a cavity organ outlet.
- the system 30 has an imaging device 31 such as an X-ray device for recording projection images. It can be formed, for example, by a C-arm X-ray device, which is designed to be mobile or permanently installed.
- the system 30 has a computing unit 34 with a Processor, the arithmetic unit 34 being designed to determine the position and orientation of a catheter tip using a projection image and to determine the relative position and orientation of the catheter tip in relation to the void organ outlet.
- the arithmetic unit can use a pre-trained machine-learning algorithm 24, which in turn is designed to determine the current orientation of the catheter tip from the projection image.
- the machine-learning algorithm can be pre-trained on the basis of a large number of projection images of catheter tips and the associated orientations.
- the system has a memory unit 32 for storing various image data and information.
- the system can also have a communication device (not shown) for querying medical data or information from external data stores.
- the system 30 comprises an image processing device 33 which is designed to carry out segmentation of medical volume images and / or projection images.
- the system 30 is assigned a display unit 36 for displaying image data and an input unit 37 for receiving user input.
- the system 30 is controlled by a system controller 38.
- the invention comprises a system for image-based assistance in the navigation of instruments such as catheters in cavity organs, particularly helpful in probing smaller cavity organ branches (e.g. renal arteries, etc.).
- This includes an image-based determination (e.g. estimation or calculation) of the rotation of an instrument relative to the image plane, e.g. with learning-based methods, a calculation of the rotation of the instrument relative to the vascular outlet to be probed and a display of the rotation to be performed for the user.
- the invention can be briefly summarized in the following way: For a particularly fast and error-reduced navigation in vascular branches is a method for image support when navigating a medical catheter inserted into a patient's cavity organ system into a cavity organ outlet with the following steps: Provision of an in particular pre-segmented volume image of the cavity organ system and the cavity organ outlet, which was recorded by means of an X-ray device, provision of information on the geometric shape the catheter tip, recording of a current projection image of the catheter tip, in particular by means of a cone-beam X-ray device, registration of the volume image and the projection image in the event that there is no pre-registration, determination of the current position and current orientation of the catheter tip on the projection image using the Projection image, determination of the relative position and relative orientation of the catheter tip in relation to the cavity organ exit, and display of information regarding the determined relative position and / or Rel ative orientation of the catheter tip in relation to the cavity organ exit.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Für eine besonders schnelle und fehlerreduzierte Navigation in Gefäßabgänge ist ein Verfahren zur Bildunterstützung bei der Navigation eines in ein Hohlraumorgansystem eines Patienten eingeführten medizinischen Katheters in einen Hohlraumorganabgang mit den folgenden Schritten vorgesehen: Bereitstellung eines insbesondere vorsegmentierten Volumenbildes des Hohlraumorgansystems und des Hohlraumorganabgangs, welches mittels eines Röntgengerätes aufgenommen wurde, Bereitstellung von Informationen zur geometrischen Form der Katheterspitze, Aufnahme eines aktuellen Projektionsbildes der Katheterspitze, insbesondere mittels eines KegelstrahlRöntgengerätes, Registrieren des Volumenbildes und des Projektionsbildes für den Fall, dass keine Vorregistrierung vorliegt, Bestimmung der aktuellen Position und aktuellen Orientierung der Katheterspitze auf dem Projektionsbild anhand des Projektionsbildes, Bestimmung der Relativposition und Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang, und Anzeige einer Information hinsichtlich der bestimmten Relativposition und/oder Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang.
Description
Beschreibung
Verfahren zur Bildunterstützung bei der Navigation und System
Die Erfindung betrifft ein Verfahren zur Bildunterstützung bei der Navigation eines in ein Hohlraumorgansystem eines Pa tienten eingeführten medizinischen Katheters in einen Hohl raumorganabgang gemäß dem Patentanspruch 1 sowie ein System zur Durchführung eines derartigen Verfahrens gemäß dem Pa tentanspruch 9.
Ein abdominelles Aortenaneurysma 2 - siehe FIG 1 - ist eine Gefäßaussackung an der abdominellen Aorta 1, deren Verlänge rung in die Beinarterien wird als Illiacal-Aneurysma bezeich net. Behandelt wird dies entweder in einer offenen Bauch-OP oder minimalinvasiv durch Einsetzen eines sogenannten Stent grafts 3. Ein solches minimalinvasives Verfahren wird als EVAR = endovascular aneurysm repair bezeichnet. Über die bei den Leisten werden Führungsdrähte 4 und Katheter in die abdo minelle Aorta 1 eingebracht, über die ein oder mehrere Stent grafts 3 (Kombination aus einem Stent und einem künstlichen Blutgefäß) eingebracht werden. Dies geschieht häufig unter Röntgenkontrolle (Fluoroskopie). Um dabei die Applikation von jodhaltigem (potenziell nierenschädigendem) Kontrastmittel zu minimieren, sind verschiedene Verfahren bekannt, die einem zweidimensionalen Fluoroskopie-Bild (Projektionsbild) re gistrierte prä-operative Datensätze (dreidimensionale Volu menbilder, z.B. CT-Angiographien) überlagern. In der FIG 2 ist ein typisches Fusionsbild 6 aus einer Überlagerung eines Volumenbilds 5 und eines Projektionsbildes gezeigt.
Insbesondere ist jedoch das Sondieren kleinerer Gefäßabgänge (z.B. der Nierenarterien) dennoch schwierig und langwierig. Zwar existieren als Hilfsmittel eine Vielzahl von verschieden geformten Kathetern, um je nach Situation die einzelnen Ab gänge besser sondieren zu können und auch die Überlagerung der Bilder ist hilfreich, da die Abgänge zur Orientierung permanent eingeblendet werden. Für eine erfolgreiche Sondie-
ren muss der Katheter jedoch nicht nur in der Bildebene, son dern auch in der Tiefe richtig ausgerichtet bzw. insbesondere richtig gedreht werden, was mitunter in dem Projektionsbild nur bedingt zu erkennen ist.
Bei bekannten Verfahren werden die Gefäßabgänge von z.B. ei nem Arzt „nach Gefühl" bzw. nach dem „Trial & Error" Verfah ren mit den Kathetern sondiert, eventuell anhand der überla gerten Zusatzinformation. EVAR Prozeduren werden auf Angio graphiesystemen unter Durchleuchtungskontrolle durchgeführt. Dazu werden im Allgemeinen CTs segmentiert (üblicherweise in Centerlines und Oberflächengitternetze) und darauf die Pla nung von EVAR Prozeduren und Registrierung zum Angiosystem durchgeführt. Dabei werden kreisförmige bzw. ovale Marker auf Gefäßabgängen automatisch platziert (syngo EVAR Guidance).
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren be reitzustellen, welches eine Unterstützung gewährleistet, wel che eine besonders schnelle und fehlerreduzierte Navigation in Gefäßabgänge ermöglicht; des Weiteren ist es Aufgabe der Erfindung, ein für die Durchführung des Verfahrens geeignetes System bereitzustellen.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Bildunterstützung bei der Navigation eines in ein Hohl raumorgansystem eines Patienten eingeführten medizinischen Katheters in einen Hohlraumorganabgang gemäß dem Patentan spruch 1 und von einer Vorrichtung gemäß dem Patentanspruch 9. Vorteilhafte Ausgestaltungen der Erfindung sind jeweils Gegenstand der zugehörigen Unteransprüche.
Das erfindungsgemäße Verfahren zur Bildunterstützung bei der Navigation eines in ein Hohlraumorgansystem eines Patienten eingeführten medizinischen Katheters in einen Hohlraumorgana bgang umfasst die folgenden Schritte: Bereitstellung eines insbesondere vorsegmentierten Volumenbildes (bzw. Volumen- Bilddatensatz) des Hohlraumorgansystems und des Hohlraumor ganabgangs, welches mittels eines Röntgengerätes aufgenommen
wurde, Bereitstellung von Informationen zur geometrischen Form der Katheterspitze, Aufnahme eines aktuellen Projekti onsbildes der Katheterspitze, insbesondere mittels eines Ke gelstrahl-Röntgengerätes, Registrieren des Volumenbildes und des Projektionsbildes für den Fall, dass keine Vorregistrie rung vorliegt, Bestimmung der aktuellen Position und aktuel len Orientierung der Katheterspitze auf dem Projektionsbild anhand des Projektionsbildes, Bestimmung der Relativposition und Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang, und Anzeige einer Information hinsicht lich der bestimmten Relativposition und/oder Relativorientie rung der Katheterspitze in Relation zu dem Hohlraumorganab gang. Durch das erfindungsgemäße Verfahren wird dem einen Eingriff durchführenden Arzt eine Unterstützung bereitge stellt, um schneller und sicherer durch Hohlraumorgane und besonders in kleine Hohlraumorganabgänge zu navigieren und damit den Eingriff schonender und verletzungsrisikoärmer für den Patienten zu gestalten. Es kann durch die schnellere Na vigation sowohl Strahlung als auch Kontrastmittel gespart werden und damit die Belastung für den Patienten weiter ge senkt werden. Wird das Projektionsbild aktualisiert durch Aufnahme eines weiteren aktuellen Projektionsbildes, so kön nen entsprechend die Bestimmung der aktuellen Position und aktuellen Orientierung der Katheterspitze auf dem Projekti onsbild anhand des Projektionsbildes, die Bestimmung der Re lativposition und Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang, und die Anzeige aktuali siert werden. Dies kann so oft wie gewünscht bzw. erforder lich wiederholt werden. Das Verfahren ist besonders vorteil haft bei der Navigation in Gefäßen wie z.B. Arterien oder Ve nen oder in Bronchialsystemen.
Unter der Orientierung eines Objektes wird dabei die dreidi mensionale Ausrichtung des Objektes im Raum bezüglich eines Koordinatensystems verstanden. Bei einem im Wesentlichen zweidimensional ausgedehnten Objekt wie z.B. einer typischen teilweise kreisförmigen Katheterspitze (beispielhafte Formen siehe weiter unten) kann auch die Angabe eines Drehwinkels
relativ zu einer Achse (z.B. in der Bildebene oder parallel dazu) sinnvoll sein. Unter der Relativposition und Rela tivorientierung der Katheterspitze in Relation zu dem Hohl raumorganabgang wird dabei die Differenz bzw. der Betrag der Differenz zwischen der Position der Katheterspitze und der Position des Hohlraumorganabgangs und die Differenz bzw. der Betrag der Differenz zwischen der Orientierung der Katheter spitze und der Orientierung des Hohlraumorganabgangs in Bezug auf dasselbe Koordinatensystem verstanden. Bei dem im Wesent lichen zweidimensional ausgedehnten Objekt wie z.B. der typi schen, teilweise kreisförmigen oder gerundeten Katheterspitze (siehe unten) kann ein Relativ-Drehwinkel (Differenz zwischen dem Drehwinkel der Katheterspitze und dem Drehwinkel des Hohlraumorganabgangs relativ zu einer Achse (z.B. parallel zu/ in der Bildebene)) verwendet werden.
Bei dem Volumenbild handelt es sich um einen für die Prozedur relevanten 3D Datensatz, z.B. eine vor der Prozedur durchge führte CT-Angiographie oder ein während der Intervention mit einem C-Bogen-Röntgengerät aufgenommenes CT (z.B. Siemens syngo DynaCT), z.B. unter Gabe von Kontrastmittel, welcher die wesentliche Anatomie der zu verformenden Hohlraumorgane zeigt (bei EVAR also Aorta und/oder der Illiacal-Arterien). Nach einer Ausgestaltung der Erfindung wird das Volumenbild hinsichtlich des Hohlraumorgansystems und seines Hohlraumor ganabgangs segmentiert, insbesondere für den Fall, dass keine Vorsegmentierung vorliegt. Eine derartige Segmentierung ist ein bekanntes Verfahren, welches die weitere Bearbeitung von 2D- oder 3D-Bildern deutlich erleichtert, indem bestimmte Strukturen (also z.B. das Hohlorgan) erkannt und z.B. mar kiert oder hervorgehoben werden. Anschließend kann das so segmentierte Hohlorgan z.B. als Gitternetz oder Centerline dargestellt werden. Liegt bereits eine passende Vorsegmentie rung vor, kann dieser Schritt auch weggelassen werden.
Zusätzlich können bereits weitere Informationen über den Hohlraumorganabgang vorliegen, welche aus dem Volumenbild entnommen oder auf andere Weise erhalten wurden. Diese können
z.B. in Form von kreisförmigen oder ovalen (Ostiums-)Markern angezeigt oder in das Volumenbild oder ein Fusionsbild einge blendet werden. Die (Ostiums-)Marker können automatisch oder manuell platziert werden (z.B. als Bestandteil des Siemens Produktes „syngo EVAR Guidance").
Eine Registrierung des Volumenbildes und des aktuellen Pro jektionsbildes wird gemäß bekannten Registrierungsverfahren durchgeführt, üblicherweise über eine 2D3D oder 3D3D Regist rierung. Falls das zu überlagernde Volumenbild mittels des selben Röntgengeräts aufgenommen wurde wie das (Live-) Pro jektionsbild, so kann dieser Schritt der Registrierung ent fallen. Sind das Volumenbild und das aktuelle Projektionsbild registriert (vorregistriert oder im Rahmen eines Registrati- onsverfahrens registriert), so kann z.B. an einer Anzeigeein heit ein Fusionsbild aus Volumenbild und Projektionsbild an gezeigt werden. Wird das Projektionsbild aktualisiert durch Aufnahme eines weiteren aktuellen Projektionsbildes, so kann auch das Fusionsbild aktualisiert werden, z.B. durch Ersetzen des ersten Projektionsbild oder durch zusätzliches Überblen den.
Die Informationen zur geometrischen Form der Katheterspitze können insbesondere aus einer Datenbank oder einem Speicher entnommen werden. Die Information kann z.B. als segmentiertes Bild oder numerisch, z.B. als Spline, Polygonzug o.ä. vorlie gen. Die Form der Katheterspitze von bekannten, für derartige Eingriffe verwendeten Kathetern erstreckt sich üblicherweise nahezu in einer Ebene (also fast zweidimensional mit einer nur sehr geringen Ausdehnung in die dritte Dimension) und ist außerdem teilweise gerundet oder kreisförmig ausgebildet, z.B. als Spirale („Pigtail"), mit einer einfachen Krümmung oder mit einer Doppel-Krümmung („Shepherd Hook"). Die Dar stellung eines derartigen Katheters im Projektionsbild ändert sich mit einem sogenannten Drehwinkel der Katheterspitze re lativ zu einer Achse in der Bild- bzw. Projektionsebene.
Durch die Überlagerung von Volumenbild und aktuellem Projek tionsbild ist eine Bestimmung der Position des Katheters in zwei Dimensionen innerhalb der Bildebene im Allgemeinen durch einfache geometrische Berechnungen möglich, eventuell unter Einbeziehung von Bilderkennungs- und Bildbearbeitungsverfah ren. Zur Bestimmung oder Berechnung der Orientierung gibt es mehrere Möglichkeiten, die allein verwendet oder kombiniert werden können. Es kann auch einfach eine Schätzung erfolgen.
Nach einer Ausgestaltung der Erfindung wird die aktuelle Ori entierung der Katheterspitze aus dem Projektionsbild unter Verwendung der projizierten Abbildung der Katheterspitze auf dem Projektionsbild und/oder aus der Strahlengeometrie des das Projektionsbild aufnehmenden Röntgenstrahls berechnet. In vielen Fällen, also insbesondere dann, wenn die Projektion nicht exakt entlang der zweidimensionalen Form der Katheter spitze (also nicht in der Ebene der Katheterspitze) erfolgt, kann aus der projizierten Abbildung bei Kenntnis der Form des Katheters sehr exakt auf die Orientierung der (teilweise ge rundeten oder kreisförmigen) Katheterspitze bzw. den Drehwin kel der Katheterspitze zu der Bildebene geschlossen werden bzw. diese aus den geometrischen Verhältnissen der projizier ten Abbildung mathematisch berechnet werden. So lässt sich der Kosinus des Drehwinkels der Katheterspitze um eine Ach se in der/ parallel zur Bildebene als Verhältnis zwischen tatsächlicher Breite TB und projizierter Breite PB der teil weise gerundeten Katheterspitze berechnen: cos(a) =
(PB)/(TB). Die tatsächliche Breite TB der gerundeten Kathe terspitze ist bekannt, die projizierte Breite PB wird durch eine Bilderkennung aus dem aktuellen Projektionsbild be stimmt. Es kann zusätzlich oder alternativ nötig sein, z.B. für den Fall, dass die Projektion entlang der Form der Kathe terspitze erfolgt, die Strahlengeometrie des das Projektions bild aufnehmenden Röntgenstrahls miteinzubeziehen, insbeson dere wenn es sich um eine Kegelstrahlprojektion handelt. Bei einer Kegelstrahlprojektion sind die Projektionen der einzel nen Strahlen wegen der Asymmetrie unterschiedlich, so dass daraus auch die Orientierung bzw. der Drehwinkel der Käthe-
terspitze berechnet werden kann. Details dazu werden weiter unten beschrieben.
Nach einer weiteren Ausgestaltung der Erfindung wird die ak tuelle Orientierung der Katheterspitze aus dem Projektions bild mittels eines vortrainierten maschinenlernenden Algo rithmus bestimmt. Dieser kann alternativ oder zusätzlich zu den oben beschriebenen Bestimmungsmöglichkeiten verwendet werden. Der maschinenlernende Algorithmus kann anhand von ei ner Vielzahl von Projektionsbildern von Katheterspitzen und den zugehörigen Orientierungen vortrainiert sein.
Aus der Position und/oder Orientierung der Katheterspitze und der Position und/oder Orientierung des Hohlraumabgangs (wel che aus dem Volumenbild bestimmt werden können) wird an schließend die Relativposition und Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang be stimmt und dazu eine Information angezeigt. Eine solche An zeige einer Information ist in vielen Formen möglich. So kann eine optische oder eine akustische oder eine haptische Anzei ge durchgeführt werden. Nach einer Ausgestaltung der Erfin dung wird die Anzeige optisch von einer Abbildung (z.B. die Katheterspitze und der Hohlraumorganabgang werden schematisch angezeigt) oder einem grafischen Symbol (z.B. Pfeil(e) oder Kreis (e), welche eine Drehrichtung angeben, werden angezeigt) oder einer numerischen Angabe (z.B. eine Gradangabe wird an gezeigt) oder einer Farbanzeige (z.B. die Abbildung wird far big überblendet oder es wird eine Ampelanzeige, welche abhän gig vom Relativ-Drehwinkels rot, gelb oder grün gefärbt ist, angezeigt) gebildet. Es kann auch bei einer Veränderung, z.B. nach Aufnahme eines neuen aktuellen Projektionsbildes, op tisch oder akustisch eine Annäherung angezeigt werden, z.B. in Form von verschiedenen Tönen oder Farben bei einer Annähe rung, also Verringerung des Relativ-Drehwinkels.
Nach einer weiteren Ausgestaltung der Erfindung werden zur Bestimmung der Position und Orientierung des Hohlraumorganab gangs Marker verwendet und gegebenenfalls angezeigt. Hierbei
handelt es sich um ein bekanntes Verfahren zur Bestimmung der Position/Orientierung von Gefäßabgängen. Diese werden dabei während eines Eingriffs permanent in das Projektionsbild (Li- ve-Fluoroskopiebild) bzw. das aus dem Volumenbild und dem ak tuellen Projektionsbild überlagerte Fusionsbild eingeblendet, z.B. als Kreise bzw. Ovale, abhängig von ihrer Orientierung.
Außerdem beansprucht die Erfindung ein System zur Durchfüh rung eines Verfahrens zur Bildunterstützung bei der Navigati on eines in ein Hohlraumorgansystem eines Patienten einge führten medizinischen Katheters in einen Hohlraumorganabgang, aufweisend ein bildgebendes Gerät zur Aufnahme von Projekti onsbildern, eine Speichervorrichtung zur Speicherung von Da ten und Bilddaten, eine Bildverarbeitungsvorrichtung zur Durchführung von Segmentierungen von medizinischen Volumen bildern und/oder Projektionsbildern, eine Recheneinheit zur Bestimmung der Position und der Orientierung der Katheter spitze und zur Bestimmung der Relativposition und Relativori entierung der Katheterspitze in Relation zu dem Hohlraumor ganabgang, eine Anzeigevorrichtung zur Anzeige von Informati onen hinsichtlich der bestimmten Relativposition und/oder Re lativorientierung und eine Systemsteuerung zur Ansteuerung des Systems. Das System kann außerdem einen vortrainierten maschinenlernenden Algorithmus aufweisen, der dazu ausgebil det ist, die aktuelle Orientierung der Katheterspitze aus dem Projektionsbild zu bestimmen.
Die Erfindung umfasst zudem ein Computerprogrammprodukt, wel ches ein Programm umfasst und direkt in einen Speicher einer programmierbaren Recheneinheit ladbar ist, mit Programmmit teln, um ein erfindungsgemäßes Verfahren auszuführen, wenn das Programm in der Recheneinheit ausgeführt wird.
Die Erfindung sowie weitere vorteilhafte Ausgestaltungen ge mäß Merkmalen der Unteransprüche werden im Folgenden anhand schematisch dargestellter Ausführungsbeispiele in der Zeich nung näher erläutert, ohne dass dadurch eine Beschränkung der Erfindung auf diese Ausführungsbeispiele erfolgt. Es zeigen:
FIG 1 eine Ansicht eines abdominellen Aortenaneurysmas mit eingebrachtem Stent nach dem Stand der Technik;
FIG 2 eine Ansicht einer 2D3D-Überlagerung nach dem Stand der Technik;
FIG 3 eine Ansicht verschiedener typischer Katheterspitzen nach dem Stand der Technik;
FIG 4 eine Abfolge eines erfindungsgemäßen Verfahrens zur Bildunterstützung bei der Navigation eines Katheters in einen Hohlraumorganabgang;
FIG 5 eine Ansicht einer 2D3D-Überlagerung von Volumenbild und Projektionsbild mit eingeblendeten Markern für die Hohlraumorganabgänge;
FIG 6 eine Ansicht eines Katheters in einem Hohlraumorgan auf einem Projektionsbild;
FIG 7 eine Ansicht des Katheters in dem Hohlraumorgan or thogonal zu der Projektionsansicht des Projektions bilds in FIG 6;
FIG 8 bis 10 Ansichten einer Katheterspitze auf einem Pro jektionsbild entsprechend FIG 6;
FIG 11 bis 13 Ansichten des Drehwinkels der Katheterspitzen der FIG 8 bis 10 orthogonal zu den Projektionsansich ten des Projektionsbilds in FIG 6;
FIG 14 eine Ansicht eines Drehwinkel einer Katheterspitze und den Drehwinkel des Hohlraumorganabgangs relativ zur Bildebene;
FIG 15 eine Ansicht einer Anzeige einer Information hin sichtlich der bestimmten Relativorientierung; und
FIG 16 ein System zur Durchführung des erfindungsgemäßen Verfahrens.
Das erfindungsgemäße Verfahren ist insbesondere vorteilhaft als Bildunterstützung während der Navigation eines in ein Hohlraumorgansystem eines Patienten eingeführten medizini schen Katheters in einen Hohlraumorganabgang. Ein Beispiel für solche Navigationen sind die minimalinvasive Behandlung von Aortenaneurysmen (EVAR), der Austausch von Aortenklappen, Interventionen der Herzkranzgefäße, Interventionen in der in terventioneilen Radiologie oder der Neuroradiologie.
In der FIG 3 sind verschiedene Katheter 7 mit typischen Ka theterspitzen 8 für einen Einsatz in Hohlraumorganen, insbe sondere beim Sondieren kleinerer Hohlraumorgan- bzw. Gefäßab gänge (z.B. der Nierenarterien), gezeigt. Die Form der Kathe terspitze 8 von bekannten Kathetern 7 erstreckt sich übli cherweise nahezu in einer Ebene (also zweidimensional ausge dehnt mit einer nur sehr geringen Ausdehnung in die dritte Dimension), und außerdem ist die Katheterspitze 8 teilweise gerundet oder gar kreisförmig, z.B. als Spirale („Pigtail", mittlerer Katheter), mit einer einfachen Krümmung oder mit einer Doppel-Krümmung („Shepherd Hook", linker Katheter), ausgebildet. Die Darstellung des Katheters 7 im Projektions bild ändert sich mit einem Drehwinkel der Katheterspitze re lativ zu einer Achse in der/ parallel zu der Bild- bzw. Pro jektionsebene. Beispielhaft ist dies für die Spirale 8' ge zeigt. Liegt die Ebene der Spirale 8' vollständig in der Bildebene, so entspricht die tatsächliche Breite TB der Spi rale 8' exakt der projizierten Breite PB der Spirale 8'. Bei Abweichungen, also wenn die Ebene der Spirale 8' um einen Drehwinkel a um die Bildebene gekippt ist, so verringert sich die projizierte Breite PB der Spirale 8'. Die teilweise runden Katheterspitzen dienen auch der möglichst schonenden Fortbewegung innerhalb von Hohlraumorganen. Es können jedoch auch im Rahmen des erfindungsgemäßen Verfahrens andere Formen
von Katheterspitzen verwendet werden. Diese sollten jedoch eine Ausdehnung in zumindest zwei Dimensionen aufweisen.
In der FIG 4 sind die wichtigsten Schritte des Verfahrens ge zeigt. In einem ersten Schritt 10 wird ein Volumenbild bzw. ein 3D-Datensatz des Hohlraumorgansystems und des Hohlraumor ganabgangs, welches mittels eines Röntgengerätes aufgenommen wurde, bereitgestellt. Das Volumenbild kann z.B. aus einer Speichereinheit oder aus einer Datenbank abgerufen werden und/oder von einer Kommunikationseinheit übermittelt werden. Es kann auch direkt aufgenommen und bereitgestellt werden.
Das Volumenbild bzw. der 3D Datensatz kann z.B. von einer CT- Angiographie oder einem C-Arm CT (z.B. unter Gabe von Kon trastmittel) gebildet werden. Z.B. im Rahmen einer EVAR Pro zedur kann das Volumenbild einen Teil der Aorta und/oder der Illiacal-Arterien abbilden.
Das Volumenbild kann bereits vorsegmentiert sein, also z.B. in einem Vorschritt automatisch oder von einem Nutzer segmen tiert worden sein. Ist dies nicht der Fall, so erfolgt in ei nem optionalen zweiten Schritt 11 eine Segmentierung des Vo lumenbildes, insbesondere hinsichtlich der Hohlraumorgane und Hohlraumorganabgänge. Segmentierungsverfahren sind allgemein bekannt und werden häufig zum Erkennen von medizinischen Strukturen eingesetzt. Zur Durchführung der Segmentierung kann z.B. eine Bildbearbeitungseinheit verwendet werden. Das Resultat einer Segmentierung sind segmentierte medizinische Strukturen. Zusätzlich können bereits Informationen über den Hohlraumorganabgang vorliegen, welche aus dem Volumenbild entnommen oder auf andere Weise erhalten wurden. So können z.B. die Hohlraumorganabgänge des Hohlraumorgans 20 in Form von kreisförmigen oder ovalen Markern 21 in das Volumenbild eingezeichnet oder eingeblendet sein - siehe z.B. FIG 5. Die Marker 21 können automatisch oder manuell platziert werden (z.B. als Bestandteil des Siemens Produktes „syngo EVAR Guidance") .
In einem dritten Schritt 12 werden Informationen zur geomet rischen Form der Katheterspitze bereitgestellt. Die Informa tionen können insbesondere aus einer Datenbank oder einer Speichereinheit entnommen werden und/oder von einer Kommuni kationseinheit übermittelt werden. Die Information kann z.B. als segmentiertes Bild, numerisch, z.B. als Spline, Polygon zug o.ä. oder in jeder anderen möglichen Form vorliegen.
In einem vierten Schritt 13 wird ein aktuelles Projektions bild der Katheterspitze aufgenommen, insbesondere mittels ei nes Kegelstrahl-Röntgengerätes. So werden häufig zur Überwa chung der Vorgehensweise ein Projektionsbild oder mehrere Projektionsbilder (z.B. in regelmäßigen zeitlichen Abständen) live aufgenommenen, bevor und/oder während ein Eingriff er folgt. Derartige fluoroskopische Röntgenbilder werden z.B. mit einem C-Bogen-Röntgengerät (z.B. einem mobilen oder fest installierten C-Bogen-Röntgengerät) erstellt. Eine schemati sche Ansicht eines solchen Projektionsbildes ist in der FIG 6 gezeigt. Es zeigt ein Hohlraumorgan 20 mit dem darin befind lichen Katheter 7, die Katheterspitze 8 und einen Hohlraumor ganabgang 21 (welcher zur besseren Sichtbarkeit mittels Mar ker dargestellt ist). Zur Verdeutlichung der geometrischen Verhältnisse ist ein dreidimensionales Koordinatensystem mit einer ersten Achse x, einer zweiten Achse y und einer dritten Achse z dargestellt. Die Bild- bzw. Projektionsebene wird von der ersten Achse x und der zweiten Achse y gebildet, d.h. der Hauptstrahl der Röntgenstrahlung RS projiziert in Richtung der dritten Achse z. In der FIG 7 ist die Geometrie der An ordnung aus einer zu der Bildebene orthogonalen Richtung ge zeigt, mit Sicht „in das Hohlraumorgan 20 hinein" auf eine Ebene, welche von der dritten Achse z und der ersten Achse x gebildet wird. Der Verlauf der Röntgenstrahlung RS ist eben falls angedeutet.
In einem optionalen fünften Schritt 14 werden das aktuelle Projektionsbild und das bereitgestellte Volumenbild miteinan der registriert, insbesondere für den Fall, dass keine Vorre gistrierung vorliegt. Eine Registrierung des Volumenbildes
und des aktuellen Projektionsbildes wird gemäß bekannten Re gistrierungsverfahren durchgeführt, üblicherweise über eine 2D3D (oder 3D3D) Registrierung. Falls das zu überlagernde Vo lumenbild mittels desselben Röntgengeräts aufgenommen wurde wie das Projektionsbild oder bereits eine Vorregistrierung vorliegt, so kann dieser Schritt der Registrierung entfallen. Sind das Volumenbild und das aktuelle Projektionsbild regis triert, so kann z.B. an einer Anzeigeeinheit ein Fusionsbild aus Volumenbild und Projektionsbild angezeigt werden (siehe z.B. FIG 2).
In einem sechsten Schritt 15 wird die aktuelle Position und aktuelle Orientierung der Katheterspitze auf dem Projektions bild anhand des Projektionsbildes bestimmt. Die generelle Po sition der Katheterspitze in zwei Dimensionen innerhalb der Bildebene kann im Allgemeinen durch einfache geometrische Be rechnungen durchgeführt werden, eventuell unter Einbeziehung von Bilderkennungs- und Bildbearbeitungsverfahren. Die Orien tierung der Katheterspitze kann bei Kenntnis der geometri schen Form der Katheterspitze in vielen Fällen aus der Pro jektion der Form der Katheterspitze auf dem Projektionsbild bestimmt werden, zum Beispiel durch Berechnung oder Schät zung, auch hier unter Einbeziehung von Bilderkennungs- und Bildbearbeitungsverfahren, welche die geometrischen Längen und Breiten (z.B. die projizierte Breite PB der Katheterspit ze) aus dem Projektionsbild entnimmt. So kann bei einer typi schen Katheterspitze, welche eine Ausdehnung in einer Ebene aufweist, wie z.B. einer Spirale oder Krümmung, die Bestim mung eines Drehwinkels relativ zu einer Achse (z.B. zu der ersten Achse x) in der Bildebene (oder parallel dazu) zur Be stimmung der Orientierung ausreichend sein.
So lässt sich der Kosinus des Drehwinkels der Katheterspit ze um eine Achse in der/ parallel zur Bildebene als Verhält nis zwischen tatsächlicher Breite TB und projizierter Breite PB der teilweise gerundeten Katheterspitze berechnen: cos(a)
= (PB)/(TB). Die tatsächliche Breite TB der gerundeten Kathe terspitze ist bekannt, die projizierte Breite PB wird durch
eine Bilderkennung aus dem aktuellen Projektionsbild be stimmt. In den Figuren 8 bis 10 sind beispielhaft projizierte Breiten PB einer spiralförmigen Katheterspitze 8 gezeigt, zu sammen mit dem Koordinatensystem. Zur Verdeutlichung sind entsprechende Ansichten in das Hohlraumorgan hinein mit den zugehörigen Drehwinkeln a in den Figuren 11 bis 13 gezeigt. Dabei entspricht eine Projektion wie in FIG 8 gezeigt, mit sehr kleiner projizierter Breite PB der Spirale, einem Dreh winkel a wie in FIG 11 gezeigt, nahe der 90°. Eine Projekti on wie in FIG 10 gezeigt, mit einer projizierten Breite PB, die in etwa gleich der tatsächlichen Breite TB ist, ent spricht einem Drehwinkel von etwa 0°, wie in FIG 13 gezeigt. Eine Projektion wie in FIG 9 gezeigt, mit einer projizierten Breite PB, die in etwa 1/3 der tatsächlichen Breite TB ist, entspricht einem Drehwinkel von etwa 30°, wie in FIG 12 ge zeigt. Zur Vereinfachung liegt in den Figuren 11 bis 13 der Hohlraumorganabgang in der Bildebene. Dies ist jedoch im Nor malfall nicht der Fall und der Hohlraumorganabgang weist selbst einen Drehwinkel ß zur Bildebene auf - siehe FIG 14. Dies wird weiter unten noch näher beschrieben.
Für den Fall, dass die projizierte Breite PB der Katheter spitze sehr gering ist, kann es notwendig sein, die Strahlen geometrie der das Projektionsbild aufnehmenden Röntgenstrah lung RS miteinzubeziehen, insbesondere wenn es sich um eine Kegelstrahlprojektion handelt. Bei einer Kegelstrahlprojekti on sind die Projektionen der einzelnen Strahlen wegen der Asymmetrie unterschiedlich, so dass daraus auch die Orientie rung bzw. der Drehwinkel der Katheterspitze berechnet werden kann.
Alternativ oder zusätzlich zur Berechnung oder Schätzung nach dem oben beschriebenen Verfahren wird die aktuelle Orientie rung der Katheterspitze aus dem Projektionsbild mittels eines vortrainierten maschinenlernenden Algorithmus bestimmt. Der maschinenlernende Algorithmus kann anhand von einer Vielzahl von Projektionsbildern von Katheterspitzen und den zugehöri gen Orientierungen vortrainiert worden sein und im Rahmen des
Verfahrens zur Verfügung gestellt werden. Der maschinenler nenden Algorithmus basiert z.B. auf Neuronalen Netzen, es kann z.B. ein Deep Learning Algorithmus verwendet werden.
Die Verwendung von maschinenlernenden Algorithmen kann beson ders dann von Vorteil sein, wenn eine Auflösung der geometri schen Verhältnisse mit normalen Bilderkennungsverfahren schwierig ist. Übliche Röntgengeräte, welche bei minimalinva siven Eingriffen eingesetzt werden, also z.B. Angiographie- Systeme arbeiten nicht mit Parallelstrahlung sondern mit Ke gelstrahlung. Bei einer Kegelstrahlprojektion sind die Pro jektionen der einzelnen Strahlen wegen der Asymmetrie unter schiedlich, so dass daraus auch dann die Orientierung bzw. der Drehwinkel der Katheterspitze berechnet werden kann, wenn die projizierte Breite der Katheterspitze sehr gering ist. Durch maschinenlernende Verfahren können Ungenauigkeiten durch die Abweichung zur Parallelgeometrie besser erkannt werden, aber auch Doppeldeutigkeiten bei symmetrischen Dreh winkeln aufgelöst werden. Eine solche Zuordnung kann einfach trainiert werden, indem eine Vielzahl von Projektionsbildern entsprechender Katheterspitzen angefertigt werden und der Al gorithmus lernt, dem jeweiligen Projektionsbild den Drehwin kel relativ zur Bildebene zuzuordnen.
In einem siebten Schritt 16 wird die Relativposition und/oder Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang bestimmt. Unter der Relativposition und Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang wird dabei die Differenz bzw. der Betrag der Differenz zwischen der Position der Katheterspitze und der Position des Hohlraumorganabgangs und die Differenz bzw. der Betrag der Differenz zwischen der Orientierung der Kathe terspitze und der Orientierung des Hohlraumorganabgangs in Bezug auf dasselbe Koordinatensystem verstanden. Die Relativ position kann wiederum einfach durch Differenz der zuvor be stimmten Positionen bestimmt werden.
Da häufig der zweite Drehwinkel ß des zu treffenden Hohlraum- organabgangs relativ zur Bildebene nicht gleich 0 ist, muss auch hier eine Differenz zwischen dem zweiten Drehwinkel des Hohlraumorganabgangs und dem Drehwinkel a der Katheterspitze gebildet werden, m=b-a - siehe z.B. in FIG 14. Der Differenz winkel m=b-a entspricht dem Betrag, um den der Arzt den Ka theter drehen muss, um den Hohlraumorganabgang (z.B. Ostium bei der Aorta) zu „treffen". Der zweite Drehwinkel ß des Hohlraumorganabgangs (z.B. des markierten zu sondierenden Ostiums) relativ zur Bildebene ist im Allgemeinen aus der Segmentierung bekannt bzw. zu entnehmen.
Anschließend wird in einem achten Schritt 17 zumindest eine Information hinsichtlich der bestimmten Relativposition und/oder Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang angezeigt. Es kann z.B. der Diffe renzwinkel m angezeigt werden, um dem Arzt bzw. Nutzer eine Unterstützung zu geben, da er dann leicht sehen kann, um wel chen Winkel er den Katheter drehen muss, um ohne Verletzung oder Widerstand in den Hohlraumorganabgang navigieren zu kön nen. So kann eine optische Anzeige z.B. in das angezeigte Fu sionsbild eingeblendet oder in einem Extrafenster gezeigt werden. Es können z.B. durch schematische Darstellung die beiden Drehwinkel a und ß und/oder das Hohlraumorgans gezeigt werden. In der FIG 15 ist eine beispielhafte Anzeige gezeigt, bei der in einem extra Anzeigefenster 22, welches dem Fusi onsbild 6 überblendet ist, der Drehwinkel a durch einen Pfeil symbolisiert relativ zu dem Hohlraumorganabgang gezeigt ist, in einer Ansicht orthogonal zum Fusionsbild. Es kann auch einfach eine numerische Anzeige der Drehwinkel a und ß und/oder des Differenzdrehwinkels m erfolgen. Die Drehwinkel a und ß und/oder der Differenzdrehwinkel m können auch durch einen Farbcode in das Fusionsbild eingeblendet werden, z.B. indem die Katheterspitze und der den Hohlraumorganabgang an zeigende Marker eingefärbt sind, je nachdem, wie groß die entsprechenden Drehwinkel sind. Die Einfärbung kann z.B. rot sein, wenn der Differenzdrehwinkel groß ist, bei mittelgroßem Differenzdrehwinkel gelb und bei kleinem grün sein. In ähnli-
eher Art kann einfach eine Ampelanzeige vorhanden sein und/oder akustisch können verschiedene Töne unterschiedliche Differenzdrehwinkel symbolisieren. Es kann auch einfach ein grafisches Symbol, wie z.B. ein Pfeil, angezeigt werden, wel ches die Drehrichtung anzeigt.
Nach dem achten Schritt 17, der Anzeige, kann das Verfahren bei Bedarf beendet werden. Es kann aber auch z.B. das Projek tionsbild aktualisiert werden durch Aufnahme eines weiteren aktuellen Projektionsbildes. Dann werden die der sechste Schritt 15, der siebte Schritt 16 und der achte Schritt 17 ebenfalls wiederholt, um dem Arzt oder der Bedienperson eine aktualisierte Anzeige einer Information hinsichtlich der be stimmten Relativposition und/oder Relativorientierung der Ka theterspitze in Relation zu dem Hohlraumorganabgang zu zei gen. Diese Aktualisierung kann bei Bedarf so oft wie nötig wiederholt werden. Dem Arzt oder der Bedienperson steht somit während einer Navigation in einem Hohlraumorgan eine hilfrei che Unterstützung zur Verfügung, wodurch er schneller und si cherer in insbesondere kleinere Hohlraumorganabgänge navigie ren kann. Bei Bedarf kann auch das Fusionsbild aktualisiert werden, z.B. durch Ersetzen des ersten Projektionsbild oder durch zusätzliches Überblenden.
Einige der Schritte des Verfahrens können soweit sinnvoll auch in einer anderen Reihenfolge als angegeben durchgeführt werden, so kann z.B. die Informationen zur geometrischen Form der Katheterspitze als erstes bereitgestellt werden.
In der FIG 16 ist ein System 30 zur Durchführung des Verfah rens zur Bildunterstützung bei der Navigation eines in ein Hohlraumorgansystem eines Patienten eingeführten medizini schen Instruments, insbesondere Katheters, in einen Hohlraum organabgang, gezeigt. Das System 30 weist ein bildgebendes Gerät 31 wie z.B. ein Röntgengerät zur Aufnahme von Projekti onsbildern auf. Es kann z.B. von einem C-Bogen-Röntgengerät gebildet werden, welches mobil oder festinstalliert ausgebil det ist. Das System 30 weist eine Recheneinheit 34 mit einem
Prozessor auf, wobei die Recheneinheit 34 dazu ausgebildet ist, eine Bestimmung von Position und Orientierung einer Ka theterspitze anhand eines Projektionsbildes und eine Bestim mung der Relativposition und Relativorientierung der Kathe terspitze in Relation zu dem Hohlraumorganabgang durchzufüh ren. Die Recheneinheit kann einen vortrainierten maschinen lernenden Algorithmus 24 aufweisen, der wiederum dazu ausge bildet ist, die aktuelle Orientierung der Katheterspitze aus dem Projektionsbild zu bestimmen. Der maschinenlernende Algo rithmus kann anhand von einer Vielzahl von Projektionsbildern von Katheterspitzen und den zugehörigen Orientierungen vor trainiert sein. Außerdem weist das System eine Speicherein heit 32 zur Speicherung von verschiedenen Bilddaten und In formationen auf. Das System kann außerdem eine - nicht ge zeigte - Kommunikationsvorrichtung zur Abfrage von medizini schen Daten oder Informationen aus externen Datenspeichern aufweisen. Außerdem umfasst das System 30 eine Bildverarbei tungsvorrichtung 33, welche dazu ausgebildet ist, Segmentie rungen von medizinischen Volumenbildern und/oder Projektions bildern durchzuführen. Außerdem ist dem System 30 eine Anzei geeinheit 36 zur Anzeige von Bilddaten und eine Eingabeein heit 37 zur Entgegennahme von Usereingaben zugeordnet. Das System 30 wird von einer Systemsteuerung 38 angesteuert.
Die Erfindung umfasst ein System zur bildbasierten Unterstüt zung bei der Navigation von Instrumenten wie z.B. Kathetern in Hohlraumorganen, insbesondere hilfreich beim Sondieren kleinerer Hohlraumorganabgänge (z.B. Nierenarterien usw.). Umfasst ist eine bildbasierter Bestimmung (z.B. Schätzung o- der Berechnung) der Drehung eines Instrumentes relativ zur Bildebene, z.B. mit lernbasierten Verfahren, eine Berechnung der Drehung des Instrumentes relativ zum zu sondierenden Ge fäßabgang und eine Anzeige der durchzuführenden Drehung für den Benutzer.
Die Erfindung lässt sich in folgender Weise kurz zusammenfas sen: Für eine besonders schnelle und fehlerreduzierte Naviga tion in Gefäßabgänge ist ein Verfahren zur Bildunterstützung
bei der Navigation eines in ein Hohlraumorgansystem eines Pa tienten eingeführten medizinischen Katheters in einen Hohl raumorganabgang mit den folgenden Schritten vorgesehen: Bereitstellung eines insbesondere vorsegmentierten Volumen- bildes des Hohlraumorgansystems und des Hohlraumorganabgangs, welches mittels eines Röntgengerätes aufgenommen wurde, Be reitstellung von Informationen zur geometrischen Form der Ka theterspitze, Aufnahme eines aktuellen Projektionsbildes der Katheterspitze, insbesondere mittels eines Kegelstrahl- Röntgengerätes, Registrieren des Volumenbildes und des Pro jektionsbildes für den Fall, dass keine Vorregistrierung vor liegt, Bestimmung der aktuellen Position und aktuellen Orien tierung der Katheterspitze auf dem Projektionsbild anhand des Projektionsbildes, Bestimmung der Relativposition und Rela- tivorientierung der Katheterspitze in Relation zu dem Hohl raumorganabgang, und Anzeige einer Information hinsichtlich der bestimmten Relativposition und/oder Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang.
Claims
1. Verfahren zur Bildunterstützung bei der Navigation eines in ein Hohlraumorgansystem eines Patienten eingeführten medi zinischen Instruments, insbesondere Katheters, in einen Hohl raumorganabgang mit den folgenden Schritten: a.Bereitstellung eines insbesondere vorsegmentierten Volu menbildes des Hohlraumorgansystems und des Hohlraumor ganabgangs, welches mittels eines Röntgengerätes aufge nommen wurde, b.Bereitstellung von Informationen zur geometrischen Form der Instrumentenspitze, insbesondere Katheterspitze, c.Aufnahme eines aktuellen Projektionsbildes der Instru mentenspitze, insbesondere Katheterspitze, insbesondere mittels eines Kegelstrahl-Röntgengerätes, d.Registrieren des Volumenbildes und des Projektionsbildes für den Fall, dass keine Vorregistrierung vorliegt, e.Bestimmung der aktuellen Position und/oder aktuellen Orientierung der Instrumentenspitze, insbesondere Kathe terspitze, auf dem Projektionsbild anhand des Projekti onsbildes, f.Bestimmung der Relativposition und/oder Relativorientie rung der Instrumentenspitze, insbesondere Katheterspit ze, in Relation zu dem Hohlraumorganabgang, und g.Anzeige einer Information hinsichtlich der bestimmten Relativposition und/oder Relativorientierung der Instru mentenspitze, insbesondere Katheterspitze, in Relation zu dem Hohlraumorganabgang.
2. Verfahren nach Anspruch 1, wobei das Volumenbild hinsicht lich des Hohlraumorgansystems und seines Hohlraumorganabgangs segmentiert wird, insbesondere für den Fall, dass keine Vor segmentierung vorliegt.
3. Verfahren nach Anspruch 1 oder 2, wobei die aktuelle Ori entierung der Katheterspitze aus dem Projektionsbild unter Verwendung der projizierten Abbildung der Katheterspitze auf dem Projektionsbild und/oder aus der Strahlengeometrie des
das Projektionsbild aufnehmenden Röntgenstrahls berechnet wird.
4. Verfahren nach einem der vorangehenden Ansprüche, wobei die aktuelle Orientierung der Katheterspitze aus dem Projek tionsbild mittels eines vortrainierten maschinenlernenden Al gorithmus bestimmt wird.
5. Verfahren nach einem der vorangehenden Ansprüche, wobei bei Aufnahme jedes weiteren aktuellen Projektionsbildes die Schritte e, f und g wiederholt werden.
6. Verfahren nach einem der vorangehenden Ansprüche, wobei die Anzeige der Relativorientierung der Katheterspitze in Re lation zu dem Hohlraumorganabgang von einer Abbildung oder einem grafischen Symbol oder einer numerischen Angabe oder einer Farbanzeige gebildet wird.
7. Verfahren nach einem der vorangehenden Ansprüche, wobei der maschinenlernende Algorithmus anhand von einer Vielzahl von Projektionsbildern von Katheterspitzen und den zugehöri gen Orientierungen trainiert wird.
8. Verfahren nach einem der vorangehenden Ansprüche, wobei die Informationen zur geometrischen Form der Katheterspitze aus einer Datenbank entnommen werden.
9. System (30) zur Durchführung eines Verfahrens zur Bildun terstützung bei der Navigation eines in ein Hohlraumorgansys tem eines Patienten eingeführten medizinischen Katheters in einen Hohlraumorganabgang nach einem der Ansprüche 1 bis 8, aufweisend ein bildgebendes Gerät (31) zur Aufnahme von Pro jektionsbildern, eine Speichervorrichtung (32) zur Speiche rung von Daten und Bilddaten, eine Bildverarbeitungsvorrich tung (33) zur Durchführung von Segmentierungen von medizini schen Volumenbildern und/oder Projektionsbildern, eine Re cheneinheit (34) zur Bestimmung von Position und Orientierung einer Katheterspitze anhand eines Projektionsbildes und zur
Bestimmung der Relativposition und Relativorientierung der Katheterspitze in Relation zu dem Hohlraumorganabgang, eine Anzeigevorrichtung (36) zur Anzeige von Information hinsicht lich der bestimmten Relativposition und/oder Relativorientie- rung und eine Systemsteuerung (38) zur Ansteuerung des Sys tems (30).
10. System nach Anspruch 9, aufweisend einen vortrainierten maschinenlernenden Algorithmus (35), der dazu ausgebildet ist, die aktuelle Orientierung der Katheterspitze aus dem Projektionsbild zu bestimmen.
11. Computerprogrammprodukt, welches ein Programm umfasst und direkt in eine Speichervorrichtung (32) einer programmierba- ren Recheneinheit (34) ladbar ist, mit Programmmitteln, um ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen, wenn das Programm in der Recheneinheit (34) ausgeführt wird.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/764,973 US20220401152A1 (en) | 2019-09-30 | 2020-09-02 | Method for visual support in navigation and system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019215001.2A DE102019215001B4 (de) | 2019-09-30 | 2019-09-30 | Verfahren zur Bildunterstützung bei der Navigation und System |
| DE102019215001.2 | 2019-09-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021063617A1 true WO2021063617A1 (de) | 2021-04-08 |
Family
ID=72473515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2020/074378 WO2021063617A1 (de) | 2019-09-30 | 2020-09-02 | Verfahren zur bildunterstützung bei der navigation und system |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220401152A1 (de) |
| DE (1) | DE102019215001B4 (de) |
| WO (1) | WO2021063617A1 (de) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102023206678B3 (de) | 2023-07-13 | 2024-08-29 | Siemens Healthineers Ag | Verfahren und System zur visuellen Unterstützung bei einem medizinischen Eingriff an einem Hohlorgan |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090281418A1 (en) * | 2006-04-03 | 2009-11-12 | Koninklijke Philips Electomics N.V. | Determining tissue surrounding an object being inserted into a patient |
| EP3384846A1 (de) * | 2017-04-03 | 2018-10-10 | Siemens Healthcare GmbH | Verfahren zur bestimmung einer steifigkeitsinformation eines medizinischen instruments, verfahren zur bildgebungsunterstützung während eins minimalinvasiven interventionellen eingriffs, röntgenvorrichtung, computerprogramm und elektronisch lesbares speichermedium |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6389104B1 (en) * | 2000-06-30 | 2002-05-14 | Siemens Corporate Research, Inc. | Fluoroscopy based 3-D neural navigation based on 3-D angiography reconstruction data |
| US9424648B2 (en) * | 2011-07-07 | 2016-08-23 | Siemens Aktiengesellschaft | Method and system for device detection in 2D medical images |
| DE102012213456A1 (de) * | 2012-07-31 | 2014-02-06 | Siemens Aktiengesellschaft | Katheter mit Ultraschallsensor und Verfahren zum Erzeugen einer Volumengrafik mittels des Katheters |
| EP3092479A4 (de) | 2014-01-06 | 2017-11-22 | Body Vision Medical Ltd. | Chirurgische instrumente und verfahren zur verwendung davon |
| WO2015173069A1 (en) * | 2014-05-16 | 2015-11-19 | Koninklijke Philips N.V. | Device for modifying an imaging of a tee probe in x-ray data |
| EP3413830B1 (de) | 2016-02-12 | 2022-06-15 | Intuitive Surgical Operations, Inc. | Computerprogramm zur verwendung registrierter fluoroskopischer bilder in der bildgeführten chirurgie |
| US10825177B2 (en) * | 2016-05-16 | 2020-11-03 | TrackX Technology, LLC | Imaging system and method for image localization of effecters during a medical procedure |
| EP3515310B1 (de) | 2016-09-23 | 2020-05-20 | Koninklijke Philips N.V. | Volumenpräsentation zur planung eines standorts für einen injektionspunkt |
-
2019
- 2019-09-30 DE DE102019215001.2A patent/DE102019215001B4/de active Active
-
2020
- 2020-09-02 US US17/764,973 patent/US20220401152A1/en active Pending
- 2020-09-02 WO PCT/EP2020/074378 patent/WO2021063617A1/de active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090281418A1 (en) * | 2006-04-03 | 2009-11-12 | Koninklijke Philips Electomics N.V. | Determining tissue surrounding an object being inserted into a patient |
| EP3384846A1 (de) * | 2017-04-03 | 2018-10-10 | Siemens Healthcare GmbH | Verfahren zur bestimmung einer steifigkeitsinformation eines medizinischen instruments, verfahren zur bildgebungsunterstützung während eins minimalinvasiven interventionellen eingriffs, röntgenvorrichtung, computerprogramm und elektronisch lesbares speichermedium |
Non-Patent Citations (1)
| Title |
|---|
| HAASE C ET AL: "3D ablation catheter localisation using individual C-arm x-ray projections", PHYSICS IN MEDICINE AND BIOLOGY, INSTITUTE OF PHYSICS PUBLISHING, BRISTOL GB, vol. 59, no. 22, 28 October 2014 (2014-10-28), pages 6959 - 6977, XP020273112, ISSN: 0031-9155, [retrieved on 20141028], DOI: 10.1088/0031-9155/59/22/6959 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102023206678B3 (de) | 2023-07-13 | 2024-08-29 | Siemens Healthineers Ag | Verfahren und System zur visuellen Unterstützung bei einem medizinischen Eingriff an einem Hohlorgan |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102019215001A1 (de) | 2021-04-01 |
| DE102019215001B4 (de) | 2022-11-03 |
| US20220401152A1 (en) | 2022-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1659967B1 (de) | Verfahren und vorrichtung zur visuellen unterstützung einer elektrophysiologischen katheteranwendung im herzen | |
| DE10340546B4 (de) | Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen | |
| DE102007013407B4 (de) | Verfahren und Vorrichtung zur Bereitstellung einer Korrekturinformation | |
| DE102005032523B4 (de) | Verfahren zur prä-interventionellen Planung einer 2D-Durchleuchtungsprojektion | |
| DE102005007893B4 (de) | Verfahren zur Positionsbestimmung eines Instrumentes mit einem Röntgensystem | |
| WO2002009611A9 (de) | Verfahren zum navigieren im körperinneren anhand dreidimensional visualisierter strukturen | |
| DE102010018460B4 (de) | Verfahren zur Ermittlung wenigstens einer Änderung einer tubulären Gewebestruktur eines Lebewesens, Recheneinheit und Datenträger | |
| DE102013211239A1 (de) | Verfahren zur Bildunterstützung und Vorrichtung | |
| DE102009006414B3 (de) | Verfahren und Mittellinien-Ermittlungseinrichtung sowie Bildbearbeitungseinrichtung und Computerprogramm zur Ermittlung einer Mittellinie eines Abschnitts eines Hohlorgans | |
| DE102005039657A1 (de) | Verfahren zur Darstellung einer Vorrichtung in einem 3-D-Bild eines Volumendatensatzes | |
| DE102012224057B4 (de) | Verfahren und Vorrichtung zur Bildunterstützung | |
| DE102005045602B4 (de) | Verfahren zum Unterstützen eines interventionellen medizinischen Eingriffs | |
| DE102006032990A1 (de) | Verfahren und Vorrichtung zur Bestimmung des räumlichen Verlaufs einer Gefäßachse in Volumendatensätzen der medizinischen Bildgebung | |
| DE102013226975A1 (de) | Verfahren zur Bildüberwachung bei einem interventionellen Eingriff, Röntgeneinrichtung, Computerprogramm und Datenträger | |
| DE102019215001B4 (de) | Verfahren zur Bildunterstützung bei der Navigation und System | |
| DE102019200786A1 (de) | Bildgebendes medizinisches Gerät, Verfahren zum Unterstützen von medizinischem Personal, Computerprogrammprodukt und computerlesbares Speichermedium | |
| DE102011075419A1 (de) | Verfahren zum Unterstützen eines optimalen Positionierens einer Verschlussstelle in einem Blutgefäß bei einer Tumor-Embolisation | |
| DE10108947A1 (de) | Verfahren und Vorrichtung zum Abgleichen von wenigstens einem visualisierten medizinischen Messergebnis mit wenigstens einem weiteren, eine räumliche Information enthaltenden Datensatz | |
| EP3287077A1 (de) | Angulationsplanung für eine dreidimensionale angiographie | |
| EP3590427B1 (de) | Verfahren zum ermitteln einer geeigneten angulation und vorrichtung | |
| DE102016215966A1 (de) | Röntgenaufnahme mit einer überlagerten Planungsinformation | |
| DE102019214556B4 (de) | Fluoroskopieverfahren mit einem Röntgengerät und Röntgengerät | |
| DE102010039598B4 (de) | Verfahren zur Bildüberwachung eines medizinischen Eingriffs mit einer Nadel und Röntgeneinrichtung | |
| DE102013224883B4 (de) | Verfahren zum Planen einer Intervention und Interventionssystem | |
| DE102023206678B3 (de) | Verfahren und System zur visuellen Unterstützung bei einem medizinischen Eingriff an einem Hohlorgan |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20771471 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20771471 Country of ref document: EP Kind code of ref document: A1 |