WO2024100052A2 - Verfahren zum einblenden eines einblendbildes, computerimplementiertes verfahren zum optimieren des einblendens eines einblendbildes sowie computerprogramm, datenverarbeitungseinheit und optisches beobachtungssystem - Google Patents
Verfahren zum einblenden eines einblendbildes, computerimplementiertes verfahren zum optimieren des einblendens eines einblendbildes sowie computerprogramm, datenverarbeitungseinheit und optisches beobachtungssystem Download PDFInfo
- Publication number
- WO2024100052A2 WO2024100052A2 PCT/EP2023/081018 EP2023081018W WO2024100052A2 WO 2024100052 A2 WO2024100052 A2 WO 2024100052A2 EP 2023081018 W EP2023081018 W EP 2023081018W WO 2024100052 A2 WO2024100052 A2 WO 2024100052A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- property
- stereoscopic
- overlay
- digital
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 title claims description 14
- 238000004590 computer program Methods 0.000 title claims description 9
- 230000008569 process Effects 0.000 title abstract description 5
- 238000012544 monitoring process Methods 0.000 title abstract 2
- 238000003384 imaging method Methods 0.000 claims abstract description 185
- 230000006978 adaptation Effects 0.000 claims abstract description 79
- 230000009466 transformation Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 19
- 238000005562 fading Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims 2
- 238000013507 mapping Methods 0.000 claims 2
- 238000012806 monitoring device Methods 0.000 abstract 1
- 238000005286 illumination Methods 0.000 description 25
- 230000008447 perception Effects 0.000 description 20
- 239000011521 glass Substances 0.000 description 6
- 238000012014 optical coherence tomography Methods 0.000 description 5
- 230000035790 physiological processes and functions Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000004308 accommodation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002432 robotic surgery Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Definitions
- the present invention relates to a method for superimposing an overlay image representing at least one digital 2D or 3D object into an object image obtained with an optical observation device and depicting an observation object.
- the invention relates to an optical observation system with an optical observation device for generating an object image of an observation object, an overlay image generating device for generating an overlay image representing at least one digital 2D or 3D object and an overlay device for superimposing the overlay image into the object image in order to superimpose the at least one digital 2D or 3D object on the observation object represented in the object image.
- the invention relates to a computer-implemented method for optimizing the fading in of a fade-in image representing at least one digital 2D or 3D object into an object image obtained with an optical observation device and depicting an observation object, as well as a computer program for optimizing the fading in of a fade-in image representing at least one digital 2D or 3D object into an object image obtained with an optical observation device and depicting an observation object, and a data processing system for optimizing the fading in of a fade-in image representing at least one digital 2D or 3D object into an object image obtained with an optical observation device and depicting an observation object.
- Stereomicroscopes such as analogue or digital surgical microscopes should provide the best possible 3D impression of the object being observed and should enable the surgeon to view the object being observed comfortably and with as little fatigue as possible, even during long treatment periods. This requires a 3D impression of the object being observed that leads to as natural a 3D perception as possible.
- natural 3D perception is not always easy to achieve.
- the representation of an object close to the eyes on a display using stereoscopic partial images requires a large disparity of the object in the stereoscopic partial images. The disparity indicates the difference in position of the object in one partial image relative to the position of the same object in the other partial image, which means that the right eye viewing the right partial image and the left eye viewing the left partial image see the object from a different viewing angle.
- the accommodation of the eye matches the object distance given by the disparity. If, on the other hand, the stereoscopic partial images are presented on a screen at a relatively large distance from the eye, the eyes are accommodated to the distance, even though the object shown with the large disparity is perceived to be close to the eyes.
- the partial images are presented close to the eye and imaged to infinity with an eyepiece so that they can be viewed with relaxed eyes, i.e. with eyes accommodated to the distance, as is the case, for example, in purely optical surgical microscopes.
- the physiological state of the eyes, and the perceived object distance is stressful for the eyes and can therefore lead to the viewer tiring more quickly.
- the angular position of the eyes when accommodating an object in the distance differs from the angular position of the eyes when accommodating an object close up. If a 3D object that is If an object that is displayed on a distant monitor or projected to infinity using an eyepiece is shown close to the eyes, the viewer will be viewing this object with a vergence that corresponds to looking into the distance, but not to looking up close. This also represents a discrepancy between the physiological state of the eyes and the perceived object distance, which can lead to the viewer tiring more quickly.
- the accommodation of the eyes and the vergence of the eyes are examples of physiological depth cues that exist in addition to the stereoscopic impression of depth determined by the disparity of the object representation in the stereoscopic overlay images.
- This comfort zone is also called the stereo comfort zone. Leaving the stereo comfort zone can lead to the viewer tiring more quickly.
- US 10262453 B2 proposes to provide a digital shadow to a digital object that is to be superimposed on an image obtained with a laparoscopic or endoscopic camera.
- WO 2007/120351 A2 discloses a robotic surgery system that includes a first receiver and a second receiver for receiving a graphic representation.
- the robotic surgery system creates a disparity map from the received stereoscopic partial images.
- the system uses the disparity map to determine the depth at which the graphic representation should be displayed.
- WO 2021/149056 A1 discloses a system for electronically assisted surgical procedures in which a digital stereoscopic overlay image with a certain disparity is superimposed on an intraoperative stereoscopic image of an object under observation during an ophthalmological medical procedure. The disparity is determined by comparing the stereoscopic partial images of the intraoperative stereoscopic image.
- the published patent applications DE 10 2014 210 121 A1 , US 2015/0346472 A1 and WO 2013/103870 A1 describe the creation of depth maps using time of flight sensors (DE 10 2014 210 121 A1 and US 2015/0346472 A1 ) or from stereoscopic images (WO 2013/103870 A1 ).
- an optical observation system comprising an optical observation device which enables working to be carried out with as little fatigue as possible.
- the first object is achieved by a method according to claim 1 and a method according to claim 7, the second object by an optical observation system according to claim 12 and an optical observation system according to claim 18 and the third object by a computer-implemented method according to claim 23 and a computer-implemented method according to claim 26, a Computer program according to claim 27 and a data processing system according to claim 28.
- the dependent claims contain advantageous embodiments of the invention.
- a method for superimposing an overlay image representing at least one digital 2D or 3D object into an object image obtained with an optical observation device and depicting an object under observation.
- An object image is to be understood here as an image obtained exclusively with the optical observation device and showing the object under observation.
- the overlay image and the object image can each be a monoscopic or, in particular, a stereoscopic image, as long as the superimposed image is a stereoscopic image.
- the object under observation in the object image is depicted with at least one imaging property that at least co-determines the imaging. At least one imaging property of the object image is determined, and before the overlay image is superimposed into the object image, at least one adjustment from the group of the following adjustments is made:
- display properties of the overlay image are the color representation of the at least one digital 2D or 3D object, the representation of the entire object or only parts thereof, the sharpness of the representation of the at least one digital 2D or 3D object or parts thereof, the degree of transparency of the at least one digital 2D or 3D object or parts thereof, the disparity with which the digital 2D or 3D object is represented in the stereoscopic overlay partial images, the extent of the disparity interval over which the overlay of the 3D object extends in the stereoscopic overlay partial images, etc.
- Adaptation of at least one display property of the overlay image to the at least one determined image property of the object image can also be changed directly when the overlay is created. Alternatively or additionally, the adjustment or further adjustment can be made to an overlay that has already been created.
- the at least one imaging property is at least one of the following group of imaging properties: (a) the position of the focal plane of the image, (b) the extent of the depth of field of the image, i.e. the extent of that depth range in the object being observed that is sharply shown in the object image, (c) the extent of the disparity interval with which the object being observed is shown in the case of a stereoscopic object image.
- the at least one imaging property can be or include in particular the imaging property (b) and/or the imaging property (c).
- the extent of the disparity interval is given by the difference between the disparity of the part of the object being observed that is shown closest and the disparity of the part of the object being observed that is shown furthest away.
- the imaging property that is adapted when adapting at least one imaging property of the object image to at least one display property of the overlay image can be the/one of the determined imaging property(s) or another imaging property.
- the position of the focal plane of the image can be adapted in order to shift the depth of field with the determined extent without changing the extent of the depth of field.
- the object image is a stereoscopic object image having stereoscopic partial images and the at least one imaging property of the stereoscopic object image includes the extension of the disparity interval of the stereoscopic object partial images
- the overlay image is a is a stereoscopic fade-in image having stereoscopic fade-in partial images and the at least one display property of the stereoscopic fade-in image includes the extent of the disparity interval of the stereoscopic fade-in partial images
- at least one of the following adjustments can be made: (i) adjustment of the extent of the disparity interval of the stereoscopic fade-in image to the extent of the disparity interval of the stereoscopic object image, (ii) adjustment of the extent of the disparity interval of the stereoscopic object image to the extent of the disparity interval of the stereoscopic fade-in image.
- a digital 3D object hereinafter also referred to as a “3D object” for short, is an object that has a depth extension.
- 3D object To represent the depth extension, different object sections of the 3D object are assigned different depth values (z-values), which indicate the depth of a stereoscopic object image at which the corresponding object section should be displayed.
- z-values depth values
- a digital 2D object hereinafter also referred to as a “2D object” for short, on the other hand, is an object that has no depth extension.
- the 2D object can be assigned a single, arbitrarily selected depth value (z-value) that applies equally to all object sections.
- the 2D or 3D object can be, for example, a preoperative or intraoperative image, such as an MRI image, an X-ray image, an endoscope image, a fluorescence image, an image obtained from OCT data, etc.
- the 2D or 3D object can also be a marking or pure information or pure data, such as navigation aids, markings of tumor borders, markings of anatomical structures, information or data on blood flow, information or data on structures that can be recognized in the object image, etc.
- the 2D or 3D object can also be a Combination of a preoperative or intraoperative image and the above-mentioned markings and/or information.
- Determining at least one of the above-mentioned imaging properties in conjunction with adapting the at least one imaging property of the object image to at least one display property of the overlay image and/or at least one display property of the overlay image to the at least one determined imaging property of the object image makes it possible to optimize the overlay of the 2D or 3D object into the image of the object being observed in such a way that a discrepancy between the physiological state of the eyes and the perceived object distance is avoided or at least reduced to such an extent that longer, fatigue-free working is possible.
- the method can also include a step of comparing the at least one determined image property with at least one intended display property of the overlay image, wherein the at least one adjustment is made on the basis of the comparison result.
- the display property of the overlay image determines the display with which the 2D or 3D object is to be overlaid in the object image. With the aid of the comparison, a check can be made as to whether the combination of the at least one determined image property with the at least one intended display property in the object image with the overlaid overlay image leads to a discrepancy between the physiological state of the eyes and the perceived object distance.
- the intended display property of the overlay image which is compared with the determined image property, does not have to be identical to the display property that is adapted to the at least one determined image property of the object image. For example, at least one of the following checks can be made:
- (A) Checking whether the sharpness with which the 2D or 3D object or parts thereof corresponds to the sharpness of the object under observation at the display depth with which the 2D or 3D object is to be displayed in the object image.
- Any suitable measure of image sharpness can be used.
- One measure of sharpness can be, for example, how abrupt the transition from a light to a dark image area occurs at edges. The more abrupt the transition, the sharper the corresponding image area is displayed.
- At least the intended disparity with which a 2D object is to be faded into the object image, or at least the extent of the disparity interval over which the fade-in of a 3D object in the stereoscopic fade-in partial images is to extend can be compared as a display property of the fade-in image with the imaging property “extension of the depth of field of the image” with which the object under observation is to be imaged.
- the disparity or the extent of the disparity interval with which the 2D or 3D object is to be faded into the object image determines the depth of the 2D or 3D object or parts thereof in relation to the object being observed. If the comparison shows, for example, that the 2D or 3D object or part of it with the intended disparity would be shown sharply in a depth range of the object being observed in which the representation of the object being observed itself is blurred, the disparity or the disparity interval of the fade-in image can be changed in such a way that the representation of the 2D or 3D object is shifted to the depth range in which the object being observed is shown sharply.
- the imaging properties of the object image can be changed in such a way that the extent of the depth of field in which the object being observed is shown sharply is increased. Furthermore, in addition or as an alternative, it is possible to reduce the sharpness of that part of the 2D or 3D object that is displayed in a depth range in which the object being observed is not sharply displayed, in order to adapt it to the sharpness of the object being observed. Even further, in addition or as an alternative, it is possible to reduce the sharpness of that part or those parts of the 2D or 3D object that are displayed in a depth range of the object being observed that is not sharply displayed. observation object is/are omitted or its color representation is/are changed.
- Changing the color representation can, for example, include displaying the part or parts of the 2D or 3D object that is displayed in the non-sharply displayed depth range of the observation object with paler colors, with reduced contrast or in grayscale.
- displaying the part or parts of the 2D or 3D object that is displayed in the non-sharply displayed depth range of the observation object with paler colors, with reduced contrast or in grayscale there is also the option, without changing the extent of the depth of field, of changing the imaging property "position of the focal plane of the image" with which the observation object is imaged, in order to shift the position of the depth of field so that the 2D or 3D object, when displayed, lies in the sharply displayed depth range of the observation object with the intended disparity or the intended extent of the disparity interval.
- the extent of the disparity interval in the object image with the overlay image is so large that it leads to an unpleasant visual impression for the user.
- the extent of the disparity interval from which an unpleasant visual impression arises for a user can be specified, for example, by a maximum permissible extent of the disparity interval.
- the maximum permissible extent of the disparity interval can be fixed on the basis of physiological standards.
- the maximum permissible extent of the disparity interval represents the stereo comfort zone, which can, however, be different for different users. It is therefore advantageous if the maximum permissible extent of the disparity interval can be individually adapted by the user to his or her needs.
- the intended disparity of a stereoscopic overlay image representing a 2D object can be compared as the display property of the overlay image with the imaging property “Extension of the disparity interval” with which the object under observation is imaged.
- the disparity of the stereoscopic overlay image determines the depth at which the 2D object is overlaid into the stereoscopic object image.
- the disparity of the stereoscopic overlay image can be adjusted to the disparity interval of the stereoscopic object image.
- the disparity interval of the stereoscopic object image can also be increased, provided that the enlargement does not lead to the maximum permissible extent of the disparity interval being exceeded. The adjustment of the disparity of the stereoscopic overlay image can then be smaller.
- the adaptation of the at least one imaging property of the object image to at least one display property of the overlay image and/or the adaptation of at least one display property of the overlay image to the at least one determined imaging property of the object image can be used specifically to reduce a discrepancy determined in the comparison, which enables optimal adaptation.
- the at least one imaging property can be determined by detecting the value of at least one setting parameter of the optical observation device and determining the at least one imaging property based on the detected value of the at least one setting parameter of the optical observation device.
- Setting parameters are, for example, the working distance of the optical observation device from the object being observed, the object-side focal length of the optical observation device, the aperture diameter of the optical observation device, the magnification factor set on the optical observation device, etc.
- the working distance is the distance of the object-side lens vertex of the objective of the optical observation device from the surface of the object being observed and the focus distance is the distance of the object-side lens vertex of the objective from the focal plane of the objective.
- the position of the focal plane in the object being observed is determined from the working distance and the object-side focal length.
- the extent of the depth of field can be determined from knowledge of the aperture opening and the magnification factor.
- the extent of the disparity interval of stereoscopic partial images can be determined, for example, from the magnification factor and the angle of the partial observation beam paths in relation to the optical axis of the main objective. The latter results from the known distance of the partial beam paths inside the optical observation device and the object-side focal length of the optical observation device.
- the at least one imaging property of the object image can also be adapted to at least one display property of the overlay image by adjusting the value of at least one of the setting parameters.
- the value of the at least one setting parameter can be adjusted in such a way that the extent of the depth of field and/or the position of the focal plane in the object being observed and/or the extent of the disparity interval in the case of a stereoscopic object image is or are adjusted.
- the numerical apparatus of the optical observation device can be reduced by means of an adjustable aperture in order to increase the extent of the depth of field in the object image and thus to adapt to the depth of a digital 3D object.
- the zoom position can be adjusted to the intended position of a digital 2D or 3D object in the object image so that the entire digital 2D or 3D object is shown in focus, at least if the depth of the digital 2D or 3D object is not greater than the depth of field in the object image.
- the described adjustment of the numerical apparatus and, if applicable, the selected zoom position can also be carried out. Since the setting parameters can usually be influenced via the control device of an optical observation device anyway, the adaptation of the at least one determined imaging property of the object image to at least one display property of the overlay image can be accomplished without structural changes to the optical observation device.
- the adjustment of the at least one imaging property of the object image to at least one display property of the overlay image can also be carried out by means of a digital image transformation.
- the disparity interval of the object image can be increased or decreased by means of a linear transformation.
- a non-linear transformation can also be used if different areas of the disparity interval are to be increased or decreased to different degrees.
- Adapting at least one display property of the overlay image to the determined display properties of the object image may include at least one of the following adjustments of a display property:
- Adjusting the position of the focal plane of the overlay image by introducing or changing an offset between the position of the focal plane of the image and the position of the focal plane of the overlay image.
- the depth distribution of the object being observed i.e. the depth values (z-values) of the sections of the object being observed shown in the object image
- the current display properties of the observed area of the object being observed can be determined precisely.
- the position of the displayed areas of the The size of the object being observed can only be estimated based on the focus distance of the microscope and the extent of the depth of field.
- the depth distribution of the displayed area of the observation object can be recorded, for example, by means of triangulation using stereoscopic images, by means of a depth sensor such as a time-of-flight sensor, by moving through the focus and analyzing which areas of the observation object are shown sharply in the image content (“depth from defocus”), etc.
- the recorded depth distribution can be represented, for example, by the distance distribution of the observation object sections to a plane of the microscope, such as the object-side main plane of the main lens, a point on the microscope, such as the object-side vertex of the main lens, or by the position of the observation object sections in a global three-dimensional coordinate system, such as the coordinate system of a navigation system.
- a depth value can be assigned to a 2D object that is to be superimposed on a specific observation object section, which corresponds to the depth value of the specific observation object section.
- its depth values can be assigned disparity values based on the determined depth distribution such that when the 3D object is displayed in a stereoscopic object image, a certain depth value of the 3D object corresponds to a certain depth value of the object being observed. This allows the depth position of the 3D object to be precisely determined in the object image.
- an optical observation system is provided.
- the optical observation system is equipped with an optical observation device for generating an object image of an observation object, an overlay image generating device for generating an overlay image representing at least one digital 2D or 3D object; a fade-in device for fading the fade-in image into the object image in order to superimpose the at least one digital 2D or 3D object on the observation object shown in the object image, and an adjustment device which is designed to enable adjustment of at least one image property influencing the image of the observation object in the object image, an image property determination device which is designed to determine at least one set image property of the image of the observation object in the object image, and an adjustment device which is designed to carry out at least one of the following actions before fading the fade-in image into the object image:
- Influence on the overlay image generation device for adapting at least one display property of the overlay image to the at least one determined image property of the object image.
- the adaptation of the at least one display property of the overlay image can in particular also take place directly when the overlay image is created. Alternatively or additionally, the adaptation or a further adaptation can take place on an overlay image that has already been created.
- the optical observation system is characterized in that the at least one imaging property is at least one of the following group of imaging properties: (a) the position of the focal plane of the image, (b) the extent of the depth of field of the image, (c) the extent of the disparity interval with which the object under observation is represented in the case of a stereoscopic object image.
- the at least one imaging property can in particular be or include the imaging property (b) and/or the imaging property (c).
- the imaging property that is adapted when adapting at least one imaging property of the object image to at least one display property of the overlay image can be the/one of the determined imaging property(s) or another imaging property.
- the imaging property on which the adjustment device acts to adapt at least one imaging property of the object image to the at least one display property of the overlay image does not necessarily have to be the imaging property determined by the imaging property determination device.
- the adjustment device can act on the position of the focal plane of the image in order to shift the depth of field with the extent determined by the imaging property determination device without changing the extent of the depth of field.
- the optical observation device can be, for example, an analog or digital microscope and in particular an analog or digital surgical microscope and the object image generated by the optical observation device can be a monoscopic image or in particular a stereoscopic image. Accordingly, the optical observation system is then preferably an optical microscope system or an optical surgical microscope system.
- the image created can be a monoscopic image or a stereoscopic image.
- the image can be faded into the object image digitally if the object image is available digitally, or optically into the beam path of the optical observation device.
- the optical observation device is designed to generate a stereoscopic object image of an observation object comprising stereoscopic object image sub-images
- the at least one imaging property of the stereoscopic object image includes the extension of the disparity interval of the stereoscopic object sub-images
- the overlay image generating device is designed to generate a stereoscopic overlay image comprising stereoscopic overlay sub-images
- the at least one Display property of the stereoscopic fade-in image includes the extension of the disparity interval of the stereoscopic fade-in partial images
- the adaptation device can be set up to carry out at least one of the following actions before the stereoscopic fade-in image is faded into the stereoscopic object image: (i) action on the fade-in image generation device to adapt the extension of the disparity interval of the stereoscopic fade-in image to the extension of the disparity interval of the stereoscopic object image, (ii) action on the adjustment device to adapt the extension of the disparity interval of the stereoscopic object image to the extension
- optical observation system enables the implementation of the method according to the invention and thus the realization of the properties and advantages to be achieved with reference to the method according to the invention.
- the optical observation system can also comprise a comparison device which is designed to compare the at least one determined imaging property with at least one intended display property of the overlay image, and the adaptation device can be designed to carry out the at least one adaptation depending on the comparison result.
- a check can be carried out as to whether the combination of the at least one determined imaging property with the at least one intended display property in the object image with the overlay image leads to a discrepancy between the physiological state of the eyes and the perceived object distance
- the adaptation of the at least one imaging property of the object image to at least one display property of the overlay image and/or the adaptation of at least one display property of the overlay image to the at least one determined imaging property of the object image can be used specifically to reduce a discrepancy identified in the comparison, which enables optimal adjustment.
- the adaptation device can be set up to act on the overlay image generation device in such a way that in order to adapt the display properties of the overlay image to the at least one determined image property of the object image, at least one of the following adaptations is carried out: an adaptation of the display sharpness of the at least one digital 2D or 3D object or parts thereof,
- Adjusting the position of the focal plane of the overlay image by introducing or changing an offset between the position of the focal plane of the image and the position of the focal plane of the overlay image.
- this includes a setting parameter detection device which is designed to detect the value of at least one setting parameter of the optical observation device.
- the imaging property determination device is designed in this development to detect the at least one to determine the set imaging property based on the value of the at least one setting parameter recorded by the setting parameter recording device.
- the setting device can also be set up to set the value of at least one setting parameter of the optical observation device, and the adaptation device can be set up to act on the setting device in such a way that the at least one imaging property of the object image is adapted to at least one display property of the overlay image by adjusting the value of at least one setting parameter.
- the setting parameters of the optical observation device can be, for example, the working distance of the optical observation device from the object being observed, the object-side focal length of the optical observation device, the aperture diameter of the optical observation device, the magnification factor set on the optical observation device, etc. If the values of the setting parameters of the optical observation device are known, its imaging properties can be determined from this, as has been explained with reference to the method according to the invention. In addition, due to the relationship between the setting parameters and the imaging properties, the adaptation of at least one imaging property of the object image to at least one display property of the overlay image can also be carried out by adapting the value of at least one of the setting parameters. Both were explained with reference to the method according to the invention. Reference is made to the corresponding paragraphs of the description.
- the optical observation system can also comprise a digital image transformation unit for transforming the object image.
- a digital image transformation unit for transforming the object image.
- the microscope system can also include a depth distribution detection device that is set up to detect the depth distribution of the object being observed.
- the adjustment device is then set up to take the detected depth distribution of the object being observed into account when influencing the adjustment device for adapting the at least one imaging property of the object image to at least one display property of the overlay image and/or when influencing the overlay image generation device for adapting the display properties of the at least one overlay image to the at least one determined imaging property of the object image.
- the current display properties of the observed area of the object being observed can be precisely determined, as has already been explained with reference to the method according to the invention.
- the depth distribution detection device can, for example, perform triangulation based on stereoscopic images showing the object being observed, which are recorded using cameras in partial beam paths of a stereoscopic optical observation device such as a surgical microscope.
- a stereoscopic optical observation device such as a surgical microscope.
- Alternatives to stereoscopic detection of the depth distribution consist in detecting the depth distribution using structured illumination of the object being observed, with the depth distribution then being determined from the distortion of the illumination structures on the object being observed, or in equipping the depth distribution detection device with at least one depth sensor such as a time-of-flight sensor (TOF sensor), a lidar system (lidar: light imaging, detection and ranging), etc.
- TOF sensor time-of-flight sensor
- lidar system lidar: light imaging, detection and ranging
- the depth distribution detection device can, in a further alternative, also cause the adaptation device to vary the position of the focal plane over a certain depth range.
- the image contents displayed during the variation of the position of the focal plane are analyzed by the depth distribution detection device with regard to which areas of the object under observation are in focus. are shown.
- the depth distribution detection device can determine the depth distribution of the areas of the observation object (“Depth from Defocus”).
- the recorded depth distribution can be represented, for example, by the distance distribution of the observation object sections to a plane of the optical observation device, e.g. to the object-side main plane of the main lens, to a point of the optical observation device such as the object-side vertex of the main lens or by the position of the observation object sections in a global three-dimensional coordinate system, such as the coordinate system of a navigation system.
- a computer-implemented method for optimizing the blending of a blending image representing at least one digital 2D or 3D object into an object image obtained with an optical observation device and depicting an object under observation, wherein the object under observation is depicted in the object image with at least one imaging property that at least co-determines the imaging.
- the computer-implemented method comprises the steps
- Adaptation of at least one display property of the overlay image to the at least one received or retrieved display property of the object image can in particular also take place directly when the overlay image is created. Alternatively or additionally, the adaptation or a further adaptation can take place on an overlay image that has already been created.
- the at least one received or retrieved image property is at least one of the following group of image properties: (a) the position of the focal plane of the image, (b) the extent of the depth of field of the image, (c) the extent of the disparity interval with which the object being observed is displayed in the case of a stereoscopic object image.
- the at least one image property can be or include in particular the image property (b) and/or the image property (c).
- the at least one image property that is adapted to at least one display property of the overlay image does not necessarily have to be the received or retrieved image property.
- the position of the focal plane of the image can be adapted in order to shift the depth of field with the received or retrieved extent without changing the extent of the depth of field.
- the computer-implemented method makes it possible to set up a computer to carry out the method according to the invention for superimposing an overlay image into an object image obtained with an optical observation device, and thus to achieve the properties and advantages described with reference to the method according to the invention in a computer-assisted manner.
- a computer program comprising instructions which, when executed by a computer are carried out, causing it to carry out the steps of the computer-implemented method according to the invention, and a data processing device with a memory and a processor, wherein the processor is set up to carry out the steps of the computer-implemented method according to the invention by means of a computer program according to the invention stored in the memory.
- Figure 1 shows the components of a microscope system in a schematic representation
- Figure 2 shows the essential optical components of a surgical microscope in a schematic representation.
- Figure 3 shows an example of a lens with variable focus distance.
- Figure 4 shows an example of a digital surgical microscope.
- Figure 5 shows a first example of adapting the display properties of a 2D or 3D object displayed in an overlay image to the determined imaging properties of an object image.
- Figure 6 shows an example of setting parameters of a microscope that are not adapted to the intended position of a digital 3D object in relation to the observation object and to the depth extension of the digital 3D object.
- Figure ? shows a first example of adapting at least one imaging property of the object image to the display properties of the overlay image.
- Figure 8 shows an example of adjusting the display properties of a pop-up image that contains a digital 3D object 200 shows the imaging properties of a stereoscopic object image.
- Figure 9 shows an example of adapting the display properties of an overlay image representing a 2D object to the display properties of the object image.
- Figure 10 shows an example of a linear transformation that maps initial disparity values Da to new disparity values Dn.
- Figure 11 shows an example of a nonlinear transformation that maps initial disparity values Da to new disparity values Dn.
- Figure 12 shows an example of adapting the display properties of an overlay image showing a digital 3D object 200 to the imaging properties of a stereoscopic object image.
- Figure 13 shows a further example of adapting the display properties of an overlay image showing a digital 3D object 200 to the imaging properties of a stereoscopic object image.
- FIG. 1 A microscope system is described below with reference to Figures 1 to 4, which represents an exemplary embodiment of an optical observation device system according to the invention. While Figure 1 shows the microscope system including its electronic components, Figures 2 and 3 show the essential optical components of a surgical microscope, such as can be used as a microscope in the microscope system.
- the microscope system of Figure 1 comprises a microscope 2, which in the present exemplary embodiment is a surgical microscope 2, as shown in Figures 2 to 4. Furthermore, it comprises a Microscope control 100, which generates control signals with which controllable components of the surgical microscope can act, in particular to set values for setting parameters of the surgical microscope 2, such as a value for the current zoom position, a value for the focus distance, a value for the working distance, a value for the numerical aperture, etc.
- Controllable components of the surgical microscope 2 can be, for example, controllable motors for setting the zoom system, controllable motors for setting an objective lens system with adjustable object focal length, controllable motors for setting aperture openings, controllable motors of a stand supporting the surgical microscope 2, etc.
- the values for the setting parameters can be set automatically by the microscope control 100 using a control routine.
- the microscope controller 100 can use a control routine to generate values for setting parameters that lead to desired imaging properties of the surgical microscope 2, such as a specific extension of the depth of field at a specific focus position and - in the case of stereoscopic partial images - with a specific disparity interval.
- desired imaging properties of the surgical microscope 2 such as a specific extension of the depth of field at a specific focus position and - in the case of stereoscopic partial images - with a specific disparity interval.
- the imaging properties of the object image are determined by the imaging properties of the surgical microscope 2 and thus reflect the imaging properties of the surgical microscope 2. If digital images are generated by the surgical microscope 2, the imaging properties of the object image are determined not only by the imaging properties of the optical components of the surgical microscope 2, but also by the properties of the units that generate the digital images from the optical images.
- Such units include the image sensor or sensors used to capture the images, the display or displays on which they are shown, and possibly an image processing unit used to manipulate pixel values in the digital image or values of the digital sub-images in the case of a stereoscopic image after capture by the image sensor and before display on the display.
- the microscope control 100 converts the appropriate values for the setting parameters of the surgical microscope 2 into corresponding control signals, which it then outputs it to the corresponding controllable components of the surgical microscope 2.
- the values of the setting parameters to be set can be specified externally, for example manually via a human-machine interface, with the microscope control 100 then generating the appropriate control signals for the controllable components of the surgical microscope 2 on the basis of the specified values for the setting parameters.
- the microscope control 100 thus also represents an adjustment device which is set up to enable an adjustment of at least one imaging property which influences the image of the observation object 3 in the object image.
- a surgical microscope 2 which generates digital images, it can also generate signals for controlling the image sensor or sensors, the display or displays and/or the image processing unit and output them to them.
- the microscope controller 100 also includes a setting parameter detection device 110 and an imaging property determination device 115.
- the setting parameter detection device 110 serves to detect the currently set values of the setting parameters of the surgical microscope 2 or to derive the currently set values of the setting parameters from control signals sent to the above-described motors and detected by the setting parameter detection device 110 using a model of the respective controlled component and to pass the values of the setting parameters on to the imaging property determination device 115.
- the position of the movable members of the above-mentioned controllable motors can be detected, for example, using sensors if they are clearly linked to a value for one of the setting parameters.
- the imaging property determination device 115 can then derive the imaging properties of the object image, i.e. those imaging properties with which the observation object 3 is imaged in the object image.
- the position of the focal plane F in the observation object The imaging property determination device 115 can derive this, for example, from the value for the set distance of the objective lenses in an objective lens system, as shown in Figure 3, and the working distance of the surgical microscope 2 from the observation object 3. It can derive the extent of the depth of field of the image from the value for the diameter of the set aperture diaphragm and the value for the zoom factor, where the aperture diaphragm can be a real or a virtual aperture diaphragm.
- the setting parameter detection device 110 can detect the aperture diaphragm diameter directly or derive it from the control signals for an adjustable aperture diaphragm. In the case of a virtual aperture diaphragm, it must calculate the aperture diaphragm diameter on the basis of values of the set setting parameters of the surgical microscope 2. The extent of the disparity interval of stereoscopic partial images can be derived on the basis of the focus distance F of the zoom position and the distance of the stereoscopic partial beam paths from each other in the surgical microscope 2.
- the setting parameter detection device 110 is not necessary.
- the imaging property determination device 115 can then obtain the values for the setting parameters directly from the microscope control 100.
- An overlay image can be overlaid into the image of the object being observed generated by the observation beam path of the surgical microscope 2, which can in particular also be a stereoscopic overlay image.
- the overlay image represents a digital 2D or 3D object, but it can also represent several digital 2D or 3D objects.
- the microscope system has an overlay image generation device 120, which outputs the generated overlay image to displays 37A, 37B of the surgical microscope 2 (see Figure 2), with the aid of which the overlay image can be divided into beam splitters, which in the present exemplary Embodiment are designed as beam splitter prisms 15A, 15B, are inserted into the observation beam path of the surgical microscope 2.
- the 2D or 3D objects to be displayed in the overlay image can either come from an external data source 130 such as an MRI system (MRI: magnetic resonance imaging), a CT system (CT: computer tomography), an external OCT system (OCT: optical coherence tomography), etc., with the 2D or 3D objects to be displayed then being generated preoperatively, or they can come from an internal data source 140 integrated into the microscope system, such as a system integrated into the surgical microscope 2 with which fluorescence images can be generated, an OCT system integrated into the microscope system or an endoscope that can be part of the microscope system. In the case of an internal data source 140, the 2D or 3D objects can also be generated intraoperatively.
- an external data source 130 such as an MRI system (MRI: magnetic resonance imaging), a CT system (CT: computer tomography), an external OCT system (OCT: optical coherence tomography), etc.
- CT computer tomography
- OCT optical coherence tomography
- the microscope system further comprises an adaptation device 150 which can adapt the display properties of the at least one digital 2D or 3D object to its intended position in the object under observation.
- This is connected to at least one of the data sources 130, 140 to receive 2D or 3D objects and to the imaging property determination device 115 to receive the determined imaging properties of the object image. It is also connected to the overlay image generation device 120.
- the adaptation device 150 adapts the display properties of the overlay images, i.e.
- the overlay image generation device 120 which then overlays the overlay images into the observation beam path using the displays 37A, 37B and the beam splitter prisms 15A, 15B.
- the Adaptation device 150 can act on microscope control 100 in order to adapt the value of at least one setting parameter of surgical microscope 2 on the basis of the determined imaging properties in order to adapt the position of the focal plane in the object image and/or the extent of the depth of field in the object image and/or the extent of the disparity interval in the case of a stereoscopic object image to the display properties of the overlay image via this adaptation.
- surgical microscope 2 is a digital surgical microscope, i.e. one in which a digital object image is generated, alternatively or additionally at least one imaging property of the object image can be digitally adapted to the display properties of the overlay image.
- the extent of the disparity interval can be adapted to the display properties of the overlay image.
- disparity values of the stereoscopic object image can be transformed into new disparity values by the image processing unit using a linear or non-linear transformation. This makes it possible, for example, to compress or stretch the extent of the disparity interval.
- the microscope system also has a depth distribution detection device, which in the present exemplary embodiment is implemented by a time-of-flight sensor 4.
- a depth distribution detection device which in the present exemplary embodiment is implemented by a time-of-flight sensor 4.
- the depth distribution T of the observation object 3 which in the present exemplary embodiment is represented by the distribution of the distances of different observation object sections from the object-side lens vertex of the microscope objective, can be determined.
- the determined depth distribution T can then be passed on to the microscope controller 100 and/or to the adaptation device 150, which can take the depth distribution T into account when adapting the imaging properties of the object image or when adapting the display properties of the overlay image.
- the surgical microscope 2 shown in Figure 2 comprises as essential components an objective 5 which is directed towards an object field 3 and which can be designed in particular as an achromatic or apochromatic objective.
- the objective 5 consists of two partial lenses cemented together, which form an achromatic objective.
- the object field 3 is arranged in the focal plane of the objective 5 so that it is imaged by the objective 5 to infinity.
- a divergent beam 7 emanating from the object field 3 is converted into a parallel beam 9 as it passes through the objective 5.
- a magnification changer 11 is arranged on the observer side of the objective 5, which can be designed either as a zoom system for continuously changing the magnification factor, as in the embodiment shown, or as a so-called Galilean changer for gradually changing the magnification factor.
- a zoom system which is made up of a lens combination with three lenses, for example, the two lenses on the object side can be moved in order to vary the magnification factor.
- the zoom system can also have more than three lenses, for example four or more lenses, whereby the outer lenses can then also be fixed.
- a Galilean changer on the other hand, there are several fixed lens combinations that represent different magnification factors and can be alternately introduced into the beam path.
- Both a zoom system and a Galilean changer convert a parallel beam on the object side into a parallel beam on the observer side with a different beam diameter.
- the magnification changer 11 is in the present In the present embodiment, the magnification changer 11 is already part of the binocular beam path of the surgical microscope 2, ie it has its own lens combination for each stereoscopic partial beam path 9A, 9B of the surgical microscope 2.
- the setting of a magnification factor by means of the magnification changer 11 takes place via a motor-driven actuator which, together with the magnification changer 11, is part of a magnification change unit for setting the magnification factor.
- the magnification changer 11 is connected to an interface arrangement 13A, 13B, via which external devices can be connected to the surgical microscope 1 and which in the present embodiment comprises beam splitter prisms 15A, 15B.
- the interfaces 13A, 13B serve to mirror digital 2D or 3D objects into the respective partial beam path 9A, 9B of the surgical microscope 2 with the aid of displays 37A, 37B, for example a digital mirror device (DMD) or an LCD display, and associated optics 39A, 39B via the beam splitter prisms 15A, 15B.
- DMD digital mirror device
- LCD LCD display
- the displays 37A, 37B, the optics 39A, 39B and the beam splitter prisms 15A, 15B thus form a display device for displaying display images.
- a binocular tube 27 is connected to the interfaces 13A, 13B on the observer side.
- This has two tube lenses 29A, 29B, which focus the respective parallel beam 9A, 9B on an intermediate image plane 31, i.e. image the object 3 under observation on the respective intermediate image plane 31A, 31B.
- the intermediate images located in the intermediate image planes 31A, 31B are finally imaged to infinity by eyepiece lenses 35A, 35B, so that an observer can see the The intermediate image can be viewed with a relaxed eye.
- the distance between the two partial beams 9A, 9B is increased in the binocular tube 27 by means of a mirror system or prisms 33A, 33B in order to adapt it to the distance between the observer's eyes.
- the mirror system or the prisms 33A, 33B also serve to erect the image.
- the surgical microscope 2 is also equipped with an illumination device with which the object field 3 can be illuminated with broadband illumination light.
- the illumination device in the present embodiment has a white light source 41, such as a halogen bulb or a gas discharge lamp.
- the light emitted by the white light source 41 is directed towards the object field 3 via a deflection mirror 43 or a deflection prism in order to illuminate it.
- the illumination device also has an illumination optics 45 which ensures uniform illumination of the entire observed object field 3.
- the illumination beam path shown in Figure 2 is highly schematic and does not necessarily reflect the actual course of the illumination beam path.
- the illumination beam path can be designed as so-called oblique illumination, which is closest to the schematic representation in Figure 2.
- the beam path runs at a relatively large angle (6° or more) to the optical axis of the objective 5 and, as shown in Figure 2, can run completely outside the objective.
- it is also possible to let the illumination beam path of the oblique illumination run through an edge region of the objective 5.
- the illumination beam path is the so-called 0° illumination, in which the illumination beam path runs through the objective 5 and is coupled into the objective 5 between the two partial beam paths 9A, 9B along the optical axis of the objective 5 in the direction of the object to be observed 3.
- the illumination beam path is also possible to design the illumination beam path as a so-called coaxial Illumination in which a first and a second illumination partial beam path are present.
- the partial beam paths are coupled into the surgical microscope 2 via one or more beam splitters parallel to the optical axes of the observation partial beam paths 9A, 9B, so that the illumination runs coaxially to the two observation partial beam paths 9A, 9B.
- the lighting can be influenced.
- a filter 47 can be introduced into the illumination beam path, which only allows a narrow spectral range of the broad spectrum of the white light source 41 to pass through, for example a spectral range with which the fluorescence of a fluorescent dye located in the object field 3 can be excited.
- filters 37A, 37B can be introduced into the partial observation beam paths, which filter out the spectral range used to excite the fluorescence in order to be able to observe the fluorescence.
- digital 2D or 3D objects can be created for insertion into the observation beam path.
- the objective 5 consists of only one achromatic lens.
- an objective lens system comprising several lenses can also be used, in particular a so-called varifocal objective, with which the focus distance of the surgical microscope 2, i.e. the distance of the object-side focal plane from the vertex of the first object-side lens surface of the objective 5, also called the object back focal length, can be varied.
- the object field 3 arranged in the focal plane is also imaged towards infinity by the varifocal objective 50, so that a parallel beam of rays is present on the observer side.
- the zoom lens 50 comprises a positive element 51, i.e. an optical element with positive refractive power, which is shown schematically in Figure 3 as a convex lens.
- the zoom lens 50 comprises a negative element 52, i.e. an optical element with negative refractive power, which is shown schematically in Figure 3 as Concave lens is shown.
- the negative element 52 is located between the positive element 51 and the object field 3.
- the negative element 52 is fixed, whereas the positive element 51 is arranged so as to be displaceable along the optical axis OA, as indicated by the double arrow 53.
- the positive element 51 When the positive element 51 is displaced into the position shown in dashed lines in Figure 3, the focal length is extended, so that the focus distance of the surgical microscope 2 and thus the position of the focal plane in the observation object 3 changes.
- the positive element 51 is displaced by means of a motor (not shown) controlled by the microscope control 100.
- a fixed negative element 52 therefore offers the advantage that the interior of the surgical microscope 2 can be sealed more easily against external influences.
- the positive element 51 and the negative element 52 are shown in Figure 3 only as individual lenses, each of these elements can also be realized in the form of a lens group or a cemented element instead of in the form of an individual lens, for example in order to make the zoom lens achromatic or apochromatic.
- Figure 4 shows an example of a digital surgical microscope 2' in a schematic representation.
- the main objective 5, the magnification changer 11, which is only an option in the digital surgical microscope and therefore does not necessarily have to be present, and the illumination system 41, 43, 45 do not differ from the surgical microscope 2 with optical viewing shown in Figure 1.
- the surgical microscope 2' shown in Figure 4 does not include an optical binocular tube.
- the surgical microscope 2' from Figure 4 includes focusing lenses 49A, 49B with which the binocular observation beam paths 9A, 9B can be focused on digital Image sensors 61A, 61B are used to image the images.
- the digital image sensors 61A, 61B can be CCD sensors or CMOS sensors, for example.
- the images recorded by the image sensors 61A, 61B are sent digitally to digital displays 63A, 63B, which can be designed as LED displays, LCD displays or displays based on organic light-emitting diodes (OLEDs).
- the displays 63A, 63B can be assigned eyepiece lenses 65A, 65B, with which the images shown on the displays 63A, 63B are projected to infinity so that a viewer can look at them with relaxed eyes.
- the displays 63A, 63B and the eyepiece lenses 65A, 65B can be part of a digital binocular tube, but they can also be part of a head-mounted display (HMD), such as data glasses. It is also possible to display the recorded images as stereoscopic images on a large monitor, which is viewed by the staff in the operating room with suitable 3D glasses, such as polarized glasses or shutter glasses. To distinguish the stereoscopic partial images, these can be displayed on the monitor, for example with different polarizations of the light emitted by the monitor.
- the 3D glasses then contain switchable polarizers that are switched synchronously with the display of the partial images on the monitor.
- the partial images can also be displayed two sequentially without defined polarization, with the lenses of the 3D glasses then being synchronized and switched between translucent and opaque.
- the surgical microscope 2' shown in Figure 3 can comprise a varioscope lens instead of the objective lens 5.
- a transmission of the images recorded by the image sensors 61A, 61B to the displays 63A, 63B by means of cables 67A, 67B is shown.
- the images can also be transmitted wirelessly to the displays 63A, 63B, in particular when the displays 63A, 63B are part of a head-mounted display.
- a time delay can be set between the recording of the images and their Representation can be digitally processed by means of a digital image processing unit 66.
- FIG. 5 a first example of adapting the display properties of a 2D or 3D object shown in an overlay image to the determined imaging properties of the object image with which the observation object 3 is shown in its intended position in the superimposed image is described.
- the figure schematically shows the observation object 3 as it is shown in the object image, the focal plane FE in the observation object 3, the depth distribution T of the observation object 3 in the object image and the extent of the depth of field S realized with the surgical microscope 2.
- the 3D object 200 to be overlaid is shown in Figure 5 with three object sections 200A-C to better illustrate the method.
- the observation object 3 and the 3D object 200 are shown schematically as they are shown in the object image superimposed with the overlay image. The process of superposition is symbolized in the figure by a “+”.
- the extent of the 3D object 200, which is sharp in its entirety, in the direction of the depth distribution T is greater than the extent of the depth of field S, which is achieved with the imaging parameters set in the surgical microscope 2.
- the extent of the depth of field S is the extent of that depth range in the observation object 3 which is sharply shown in the object image.
- the fact that the extent of the 3D object 200 in the direction of the depth distribution T is greater than the extent of the depth of field S leads, without further measures, when the object image is superimposed on the overlay image, i.e. when the 3D object 200 is faded into the observation object 3, to the object sections 200A and 200C of the 3D object being shown as sharply shown object sections 200A and 200C being superimposed on areas of the observation object 3 which are shown blurred.
- the displayed object can be displayed sharply, even though the corresponding image sections of the observation object 3 are blurred.
- the sharp display of a displayed 2D object or an object section 200A, 200C of a displayed 3D object 200 in a blurred area of the observation object 3 would be disadvantageous for the viewer of the image superimposed with the displayed 2D or 3D object, since the appearance of sharp structures in otherwise blurred areas confuses the depth assignment.
- the image sharpness provides a so-called monoscopic depth indication, ie the user unconsciously associates a certain depth position with the appearance of a certain sharpness of an object. If the sharpness of a displayed 2D object or an object section 200A, 200C of a displayed 3D object 200 does not match the sharpness of the area of the displayed observation object 3 on which it is superimposed, this leads to confusion for the user, and he can only estimate the height of a displayed 2D object with difficulty and possibly even incorrectly. In the case of a displayed 3D object 200, the sharp representation of the object sections 200A, 200C in blurred image areas also leads to irritation, since the stereoscopic depth indication indicates a different height than the monoscopic depth indication.
- the object sections 200A and 200C are therefore adjusted in their sharpness to the sharpness of the representation of those areas of the observation object 3 on which they are to be superimposed, based on the determined imaging properties of the surgical microscope 2 and the representation property “intended position of the 3D object 200 in the superimposed image”, so that the adjusted object sections 200A, 2000 in the adjusted 3D object 200' are displayed in the object image superimposed with the overlay image with the same sharpness as the corresponding areas of the observation object 3. In this way, the described confusion due to an incorrect monoscopic depth indication can be avoided.
- the sharpness display property was adjusted for the adjusted object sections 200A' and 200C, it is possible to additionally or alternatively adjust other display properties.
- the adjusted object sections 200A' and 200C can be adjusted to the determined imaging properties of the surgical microscope 2 not only in their sharpness (or in addition to their sharpness) but also in their color display.
- the color design of the adjusted object sections 200A' and 200C could be changed by reducing their color saturation compared to the original object sections 200A and 200C and/or changing their color tone.
- 2D objects can also be adjusted in terms of their color representation or their degree of transparency in addition to their sharpness.
- the depth distribution T in the observation object 3 is not known and a 2D object to be displayed is to be located close to the local surface of the observation object 3, it is possible to determine the sharpness of the representation of the local surface and to adapt the sharpness of the displayed 2D object to the determined sharpness of the local surface.
- the adaptation of the imaging properties of the object image is carried out by adapting the values of setting parameters of the surgical microscope 2, and serves to adapt the current imaging properties of the surgical microscope 2 - and thus the imaging properties of the object image - to the intended position of a digital 3D object 200 to be displayed in relation to the observation object 3 and to the depth extension TA of the digital 3D object 200 to be displayed.
- Figure 6 shows schematically the observation object 3 as it is shown in the object image, the focal plane FE in the observation object 3, the depth distribution T of the observation object 3 in the object image and the extent of the depth of field S realized with the surgical microscope 2.
- Figure 6 shows the observation object 3 superimposed with the 3D object 200 to be faded in, as it would appear without adjustment in the object image superimposed with the fade-in image.
- the depth extent TA of the digital 3D object 200 to be faded in has a slightly larger extent than the extent of the depth of field S in the object image.
- the intended position of the digital 3D object 200, with which it is to be faded into the object image is such that the lower object section 200B lies within the focal plane FE and the upper object section 200A is so far above the focal plane FE that, with the intended position of the 3D object in the object image, it is located outside the extent of the depth of field range S without further measures and is therefore faded in sharply in an area of the object image in which the observation object 3 is shown blurred.
- the lower object section 200B of the digital 3D object 200 is located within the area of the observation object 3 that is sharply displayed by the surgical microscope 2 when it is displayed.
- the upper object section 200A of the digital 3D object 200 is located above the area of the observation object 3 that is sharply displayed. As a result of the sharp display of the upper object section, the displayed 3D object would not convey a correct impression of depth.
- the display properties of the 3D object 200 to be displayed are not adapted to the recorded imaging properties of the surgical microscope 2 in order to to convey the correct impression of depth, but the imaging properties of the object image are adapted by adjusting its imaging properties to the display properties “position of the digital 3D object 200 in the observation object 3” and “depth extension TA of the 3D object 200”.
- the imaging properties are adapted by adjusting the values of the setting parameters of the surgical microscope 2.
- the current values of the setting parameters are recorded and from this the imaging properties with which the observation object 3 is currently represented in the object image (imaging properties of the object image) are determined.
- the determined imaging properties of the object image are then compared with the position of the digital 3D object 200 in the observation object 3 and the depth extension TA of the 3D object (step 300 in Figure 7) in order to determine how the focal plane FE is located in relation to the position of the digital 3D object 200 in the observation object 3 and how large the extent of the depth of field S is in relation to the depth extension TA of the 3D object.
- the comparison can be carried out, for example, by the control unit 100, which receives or retrieves the display properties of the 3D object 200, for example from the external data source 130 or the internal data source 140. Based on the comparison result, the control unit 100 then determines by how much it must increase the extent of the depth of field S and/or shift the focal plane FE in order to ensure that the 3D object 200 with its depth of field TA in its intended position in relation to the observation object 3 lies completely within the extent of the depth of field S of the object image.
- the control unit 100 determines, in step 310, new values for the setting parameters "working distance", "focus distance” and "diameter of the aperture", with which the extent of the depth of field S and the position of the focal plane are adapted to the intended position of the 3D object 200 in relation to the Observation object 3 and the depth extension TA of the 3D object are adjusted.
- the values of the setting parameters of the surgical microscope 2 the focus distance and/or the working distance of the surgical microscope 2 are adjusted in the present example in order to shift the focus position of the surgical microscope 2, i.e. the position of its focal plane FE, slightly upwards and thereby move it to the center of the digital 3D object 200.
- the diameter of the aperture diaphragm of the surgical microscope 2 is adjusted such that the extent of the depth of field S symmetrical about the focal plane FE is increased so that the displayed 3D object is completely in the depth of field S of the surgical microscope 2.
- the sharpness of the displayed 3D object 200 and the areas of the observation object 3 onto which the 3D object is superimposed match.
- the adjustment described is shown schematically in Figure 7.
- the zoom position can still be adjusted in such a way that the image section shown in the object image is expanded to such an extent that the reduced resolution is no longer noticeable as a disturbance. If the display is made on the observer side of the zoom system, as in the surgical microscope 2 shown in Figure 2, the displayed 3D object would still have to be adjusted to the displayed image section. However, this is not necessary if the 3D object is displayed on the object side of the zoom system.
- Figure 8 shows an example of adapting the display properties of a fade-in image showing a digital 3D object 200 to the display properties of a stereoscopic object image in which the depth range shown in the object image is displayed within the stereo comfort zone of the user.
- the fact that a depth range shown in the object image is displayed within the stereo comfort zone of the user is achieved by specifying a predetermined maximum permissible extension of the Disparity interval MDI, with which the depth range is represented, is not exceeded in the stereoscopic object image.
- the specified maximum permissible extent of the disparity interval MDI can optionally have been previously adapted by a user to his needs. For this purpose, it is advantageous if, for example, the adaptation device 150 offers the possibility of setting the maximum permissible extent of the disparity interval MDI.
- the maximum permissible extent of the disparity interval MDI can optionally also depend on the distance at which the depth range represented in the stereoscopic object image is to be perceived by the user.
- the imaging properties of the object image are selected such that the entire depth extent of the observation object 3 lies within the maximum permissible extent of the disparity interval MDI.
- the fact that the entire depth extent of the object being observed 3 lies within the maximum permissible extent of the disparity interval MDI can be achieved, for example, by suitable values for the setting parameters "focus distance", "working distance” and "zoom position". In the case of a digital surgical microscope 2', this can also be achieved by a transformation of the disparity values in the stereoscopic object image carried out in the digital image processing unit 66 instead of a suitable setting of the values of the aforementioned setting parameters of the surgical microscope. In this way, disparity values from a disparity interval whose extent is greater than the maximum permissible extent of the disparity interval can be mapped by means of a linear or non-linear transformation to a disparity interval whose extent corresponds to the maximum permissible extent of the disparity interval.
- Figure 10 shows an example in which the initial disparity values Da of an object image lie in a disparity interval Dia whose extent is larger than the maximum permissible extent of the disparity interval MDI.
- the initial disparity values Da are mapped to new disparity values Dn in such a way that the new disparity values Dn of the stereoscopic object image are all in a new Disparity interval Din, the extent of which corresponds to the maximum permissible extent of the disparity interval MDI.
- the extent of the disparity interval is compressed by means of the linear transformation, which weakens the spatial impression in the object image.
- the extent of the new disparity interval Dn is less than the maximum permissible extent of the disparity interval MDI.
- Figure 11 shows another example in which output disparity values Da of an object image lie in a disparity interval Dia whose extent is greater than the maximum permissible extent of the disparity interval MDI.
- a non-linear transformation is carried out instead of a linear transformation.
- the small output disparity values Da of the output disparity interval Da are compressed less than the large output disparity values Da of the output disparity interval Da.
- the spatial impression of object sections perceived further away is reduced less than the spatial impression of object sections perceived closer.
- the extent of the disparity interval can also be stretched by means of a linear or non-linear transformation in order to enhance the spatial impression in the object image.
- the 3D object has a depth extension TA which means that when it is displayed in its intended position in relation to the observation object 3, the object section 200A in the object image superimposed with the display image would be perceived above the observation object 3, which means that the disparity values in the superimposed image would extend over a disparity interval that is larger than the maximum permissible disparity interval. This would leave the user's stereo comfort zone.
- Cutting off creates an abrupt transition.
- a decision can be made as to whether image content or compliance with the stereo comfort zone takes priority.
- fading out could only begin outside the disparity interval with the maximum permissible extent, so that no object sections within the disparity interval with the maximum permissible extent are faded out.
- the fading could already begin within the disparity interval with the maximum permissible extent, so that it is already finished at the edge of the disparity interval with the maximum permissible extent and thus no object section of the 3D object is displayed outside the stereo comfort zone SKZ.
- the gradual fading can also begin within the disparity interval with the maximum permissible extent and only end outside the disparity interval with the maximum permissible extent. Which variant is chosen can also depend on the preferences of the user of the surgical microscope 2. It is therefore advantageous if the adjustment device 150 offers the possibility of setting where the gradual fading should begin and end.
- the disparity values in the stereoscopic To change the overlay image by means of a linear transformation, as shown by way of example in Figure 10, or by means of a non-linear transformation, as shown by way of example in Figure 11, in such a way that the changed disparity values when the stereoscopic overlay image is faded into the stereoscopic object image all lie within the disparity interval with its maximum permissible extent.
- the spatial impression of the 3D object can be compressed to such an extent that it lies within the user's stereo comfort zone. This is particularly advantageous if the representation of all object sections of the 3D object is important to the user.
- the spatial perception of the 3D object is more important than the representation of all object sections, it can be advantageous to omit object sections, as has been described with reference to Figure 8.
- Figure 9 shows an example of adapting the display properties of a fade-in image representing a 2D object to the display properties of the object image.
- the 2D object is faded into a stereoscopic object image using a stereoscopic fade-in image, so that the faded-in 2D object, which can represent markings or text information, for example, is perceived by the viewer of the stereoscopic object image superimposed with the stereoscopic fade-in image in a specific fade-in plane.
- the position of this fade-in plane in relation to the observation object 3 can be determined.
- markings, text information or other 2D objects are perceived completely or partially behind the areas of the observation object 3 that they are intended to mark or label, for example.
- Such a perception of markings or text information behind the areas of the observation object 3 that they are intended to mark or label is perceived as irritating by most users.
- the adaptation described with reference to Figure 9 assumes that the surface of the observation object 3 lies within the stereo comfort zone, i.e. within the maximum extent of the disparity interval MDI representing the stereo comfort zone.
- the adjustment device 150 To adjust the disparity of the stereoscopic partial images of the stereoscopic overlay image reproducing the 2D object, the adjustment device 150 first receives the 2D object to be overlaid from one of the external or internal data sources in step 320. In step 330, it receives the determined imaging properties of the object image from the imaging property determination device 115, in particular the position and extent of the disparity interval. The position and extent of the disparity interval can be specified, for example, relative to the main plane of the main lens or in a global three-dimensional coordinate system, such as the coordinate system of a navigation system. In addition, in step 330 the adjustment device 150 also receives the depth distribution T of the observation object 3 from a depth distribution detection device, such as the time-of-flight sensor 4.
- a depth distribution detection device such as the time-of-flight sensor 4.
- the depth distribution T can be specified relative to the main plane of the main lens or in a global three-dimensional coordinate system.
- the adjustment device 150 determines in step 340 an adjusted disparity with which the 2D object is to be displayed in the stereoscopic overlay image so that it is perceived just above the surface of the observation object 3 in the object image superimposed with the overlay image, i.e. the overlay plane EE in which the 2D object is overlaid lies just above the surface of the observation object 3 within the stereo comfort zone.
- the adjusted disparity is then output to the overlay image generating device 120, which generates stereoscopic overlay subimages with the adjusted disparity in step 350.
- This adjustment of the disparity allows Avoid 2D objects such as markings or text information being perceived as lying completely or partially beneath the areas of the object being observed that they are intended to mark or label.
- the disparity values in the stereoscopic object image can be transformed by the digital image processing unit 66 by means of a linear or non-linear transformation, as described with reference to Figure 10 or Figure 11.
- the disparity values of the stereoscopic object image can be transformed in such a way that the extent of the disparity interval which includes the surface no longer exceeds the maximum permissible extent of the disparity interval MDI after the transformation.
- the disparity values of the stereoscopic overlay image can then be adjusted as described above in such a way that the overlay plane EE in which the 2D object is overlaid lies just above the surface of the observation object 3 and still within the disparity interval with the maximum permissible extent.
- the 2D object is only to be faded into a specific lateral section LA of the stereoscopic object image
- This fade-in plane EE' can also lie below the surface of areas of the observation object 3 that are outside a specific lateral section LA, as is also shown in Figure 9. In this case, it is therefore not necessary for the entire surface of the observation object 3 to lie within the maximum permissible extent of the disparity interval MDI, i.e. within the stereo comfort zone.
- the surface of the lateral section LA lies within the maximum permissible extent of the disparity interval MDI, i.e. within the stereo comfort zone.
- 3D objects 200 to be superimposed on an object image obtained with an optical observation device 2, 2' are often larger in a direction along the optical axis of the optical observation device 2, 2' than the extent of the depth of field S of the image obtained with the optical observation device 2, 2'. Therefore, in the present exemplary embodiment, there is a possibility of adapting at least one display property of the superimposed image to at least one determined imaging property of the object image.
- the position of the focal plane FE and the extent of the depth of field S of the object image are determined as imaging properties of the object image, and at least one display property of the superimposed image is adapted to the position of the focal plane FE and to the extent of the depth of field S.
- the adjustment of the display property of the overlay image can consist, for example, in restricting the display of the 3D object 200 in the overlay image to the depth of field S of the object image, for example by cropping the 3D object 200 in the overlay image.
- FIG. 12 shows a highly schematic view of a surgical microscope 2, 2' as well as the focal plane FE of the surgical microscope 2, 2' and the extent of the depth of field S around the focal plane FE.
- a 3D object 200 displayed by means of a fade-in image.
- the 3D object 200 partially extends into the depth of field S of the surgical microscope 2, 2', but lies mostly below the depth of field S, i.e. most part along the optical axis (z-direction) further away from the surgical microscope 2, 2' than the depth of field S of the surgical microscope 2, 2'.
- the section of the 3D object 200 lying outside the depth of field S is shown in dashed lines in Figure 12 to signal that a display property of the overlay image is adapted to the position of the focal plane FE and the extent of the depth of field S in such a way that the 3D object outside the depth of field S is displayed differently than within the depth of field S.
- the overlay image is adapted to the position of the focal plane and the extent of the depth of field S in such a way that the 3D object outside the depth of field S is displayed with increased transparency.
- the other adjustments described such as displaying the 3D object 200 with less color saturation, displaying the 3D object 200 with less sharpness or cutting off the 3D object 200 outside the depth of field S, are also possible.
- the adjustments described can also be combined with one another.
- the adjustment device 150 can make it possible to act on the overlay image generation device 120 in such a way that the overlay image has a virtual focal plane vFE that is shifted along the optical axis by an amount Az relative to the focal plane FE of the object image, as shown schematically in Figure 13.
- the adjustment device 150 can be designed to set a freely selectable value for the shift Az.
- the 3D object 200 is to be shown sharply in a different plane than the real observation object, which can be freely selected by the user.
- the shift Az of the virtual focal plane vFE of the overlay image in relation to the focal plane FE of the object image also represents an adaptation of a display property of the overlay image to an imaging property of the object image, namely the introduction or modification of an offset of the (virtual) focal plane vFE of the overlay image (display property of the superimposed image) in relation to the (real) focal plane FE of the image generated with the surgical microscope 2, 2' (imaging property of the object image).
- the representation of the 3D object 200 in the overlay image is adjusted in order, for example, to prevent the sections of the 3D object 200 lying in the virtual depth of field vS from being covered by sections of the 3D object 200 above them in the overlay image.
- the adaptation which is symbolized in Figure 13 by a dashed representation of the 3D object 200, is carried out in the present exemplary embodiment in that the 3D object 200 is only sharply displayed in the overlay image in an area that lies between two cutting planes SE running parallel to the virtual focal plane vFE.
- the representation of the 3D object 200 in the overlay image can be cropped along the cutting planes SE, so that only the sharply displayed section of the 3D object 200 lying between the cutting planes SE can be seen.
- Alternative possibilities for adaptation consist in providing all sections of the 3D object 200 in the overlay image that lie outside the parallel cutting planes SE with a higher transparency and/or a lower color saturation and/or a lower sharpness of the display in order to emphasize the area of the 3D object 200 that lies between the cutting planes compared to the areas of the 3D object 200 that lie outside the cutting planes SE.
- the cutting plane SE facing the depth of field S of the object image can coincide with the boundary of the depth of field S in the object image, giving the impression that the representation of the 3D object 200 is directly adjacent to the real representation of the object being observed.
- the depth of field S of the object image overlaps with the virtual depth of field vS of the overlay image.
- it can be useful to adapt the representation of the 3D object 200 in the overlap area for example to hide it, to provide it with high transparency, low color saturation or low representation sharpness, even though this area lies between the two cutting planes SE of the virtual depth of field vS.
- This also represents an adaptation of a display property of the overlay image to an imaging property of the object image, namely to the position of the focal plane FE and to the extent of the depth of field S.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Es werden ein optisches Beobachtungssystem und ein Verfahren zum Einblenden eines wenigstens ein digitales 2D- oder 3D-0bjekt (200) darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät (2, 2') gewonnenes und ein Beobachtungsobjekt (3) abbildendes Objektbild zur Verfügung gestellt, wobei die Abbildung des Beobachtungsobjekts (3) im Objektbild mit wenigstens einer die Abbildung zumindest mitbestimmenden Abbildungseigenschaft erfolgt. Es wird wenigstens eine Abbildungseigenschaft des Objektbildes ermittelt. Vor dem Einblenden des Einblendbilds in das Objektbild wird dann wenigstens eine Anpassung aus der Gruppe der folgenden Anpassungen vorgenommen wird: - Anpassung wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes auf der Basis der wenigstens einen ermittelten Abbildungseigenschaft, - Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes. Die wenigstens eine Abbildungseigenschaft ist wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften: (a) die Lage der Fokusebene der Abbildung, (b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung, (c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt (3) im Falle eines stereoskopischen Objektbildes dargestellt wird.
Description
Verfahren zum Einblenden eines Einblendbildes, computerimplementiertes Verfahren zum Optimieren des Einblendens eines Einblendbildes sowie Computerprogramm, Datenverarbeitungseinheit und optisches Beobachtungssystem
Die vorliegende Erfindung betrifft ein Verfahren zum Einblenden eines wenigstens ein digitales 2D- oder 3D-Objekt darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät gewonnenes und ein Beobachtungsobjekt abbildendes Objektbild. Daneben betrifft die Erfindung ein optisches Beobachtungssystem mit einem optischen Beobachtungsgerät zum Erzeugen eines Objektbildes von einem Beobachtungsobjekt, einer Einblendbild-Erzeugungsvorrichtung zum Erzeugen eines wenigstens ein digitales 2D- oder 3D-Objekt darstellenden Einblendbildes und einer Einblendvorrichtung zum Einblenden des Einblendbildes in das Objektbild, um das wenigstens eine digitale 2D- oder 3D-Objekt dem in dem Objektbild dargestellten Beobachtungsobjekt zu überlagern. Darüber hinaus betrifft die Erfindung ein computerimplementiertes Verfahren zum Optimieren des Einblendens eines wenigstens ein digitales 2D- oder 3D-Objekt darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät gewonnenes und ein Beobachtungsobjekt abbildendes Objektbild sowie ein Computerprogramm zum Optimieren des Einblendens eines wenigstens ein digitales 2D- oder 3D-Objekt darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät gewonnenes und ein Beobachtungsobjekt abbildendes Objektbild und ein Datenverarbeitungssystem zum Optimieren des Einblendens eines wenigstens ein digitales 2D- oder 3D-Objekt darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät gewonnenes und ein Beobachtungsobjekt abbildendes Objektbild.
Stereomikroskope wie etwa analoge oder digitale Operationsmikroskope sollen einen möglichst guten 3D-Eindruck des abgebildeten Beobachtungsobjekts bieten und sollen auch bei langen Behandlungsdauern dem Chirurgen eine angenehme und möglichst ermüdungsfreie Betrachtung des Beobachtungsobjekts ermöglichen. Hierzu ist es erforderlich, dass ein 3D- Eindruck des abgebildeten Objekts entsteht, der zu einer möglichst natürlichen 3D-Wahrnehmung führt. Eine natürliche 3D-Wahrnehmung ist jedoch nicht immer leicht zu erzielen. Beispielsweise erfordert die Darstellung eines nahe vor den Augen befindlichen Objekts auf einem Display mittels stereoskopischer Teilbilder eine große Disparität des Objekts in den stereoskopischen Teilbildern. Die Disparität gibt dabei die Positionsdifferenz des Objekts in dem einen Teilbild relativ zur Position desselben Objekts in dem anderen Teilbild an, die dazu führt, dass das das rechte Teilbild betrachtende rechte Auge und das linke Teilbild betrachtende linke Auge das Objekt unter einem unterschiedlichen Betrachtungswinkel sehen. Solange sich die die Teilbilder darbietenden Displays im Nahsichtbereich des Auges befinden und das Auge auf den Nahbereich fokussiert ist, stimmt die Akkommodation des Auges mit dem durch die Disparität gegebenen Objektabstand überein. Wenn die stereoskopischen Teilbilder dagegen auf einem Bildschirm mit einem relativ großen Abstand zum Auge dargeboten werden, sind die Augen an die Ferne akkommodiert, obwohl das mit der großen Disparität dargestellte Objekt nahe vor den Augen wahrgenommen wird. Dieselbe Situation tritt auf, wenn die Teilbilder nahe vor dem Auge dargeboten und mit einem Okular nach Unendlich abgebildet werden, um sie mit entspannten Augen, d.h. mit an die Ferne akkommodierten Augen, betrachten zu können, wie dies beispielsweise auch in rein optischen Operationsmikroskopen der Fall ist. Die Diskrepanz zwischen der Akkommodation der Augen, also dem physiologischen Zustand der Augen, und der wahrgenommenen Objektentfernung ist für die Augen anstrengend und kann daher zu einem schnelleren Ermüden des Betrachters führen. Je ausgeprägter diese Diskrepanz ist, desto rascher ermüden die Augen. Eine weitere Diskrepanz ergibt sich für die Winkelstellung der Augen, die sog. Vergenz. Die Winkelstellung der Augen beim Akkommodieren an ein Objekt in der Feme unterscheidet sich von der Winkelstellung der Augen beim Akkommodieren an ein Objekt in der Nähe. Wenn nun ein 3D-0bjekt, das auf
einem entfernt angeordneten Monitor angezeigt oder mit einem Okular nach Unendlich abgebildet wird, nahe vor den Augen dargestellt wird, erfolgt die Betrachtung dieses Objekts mit einer Vergenz, die dem Blick in die Feme entspricht, nicht aber dem Blick in die Nähe. Auch dies stellt eine Diskrepanz zwischen dem physiologischen Zustand der Augen, und der wahrgenommenen Objektentfernung dar, die zu einem schnelleren Ermüden des Betrachters führen kann.
Die Akkommodation der Augen und die Vergenz der Augen sind Beispiele für physiologische Tiefenhinweise, die neben dem durch die Disparität der Objektdarstellung in den stereoskopischen Einblendbildern bestimmten stereoskopischen Tiefeneindruck vorliegen. Es existiert ein gewisser „Komfortbereich“ für stereoskopische Tiefeneindrücke, der nicht oder zumindest nicht dauerhaft überschritten werden soll, um keine zu große Diskrepanz zwischen der Akkommodation der Augen und insbesondere der Vergenz der Augen einerseits und dem stereoskopischen Tiefeneindruck andererseits entstehen zu lassen. Dieser Komfortbereich wird auch Stereokomfortzone genannt. Ein Verlassen der Stereokomfortzone kann zu einem schnelleren Ermüden des Betrachters führen.
Eine weitere Diskrepanz zwischen der natürlichen 3D-Wahrnehmung und der Wahrnehmung einer 3D-Szene in einem stereoskopischen Bild kann entstehen, wenn eine in einem stereoskopischen Bild dargestellte 3D-Szene mit nahen und fernen Objekten über den gesamten Tiefenbereich scharf dargestellt ist. In der Regel können bei einer natürlichen 3D-Wahrnehmung nahe Objekte und ferne Objekte nämlich nicht gleichzeitig scharf wahrgenommen werden. Auch diese Diskrepanz kann zu einem rascheren Ermüden des Betrachters führen.
Ebenso führen bspw. fehlende oder falsche Schatten in einer in einem stereoskopischen Bild dargestellten 3D-Szene zu einer Diskrepanz zwischen der natürlichen 3D-Wahrnehmung und der Wahrnehmung der 3D-Szene im stereoskopischen Bild.
Insbesondere, wenn in ein stereoskopisches Bild 2D- oder 3D-Objekte eingeblendet werden sollen, besteht das Risiko, dass es dadurch zu einer
Diskrepanz zwischen der natürlichen 3D-Wahrnehmung und der Wahrnehmung der 3D-Szene in einem stereoskopischen Bild oder zu einem Verlassen der Stereokomfortzone und dadurch zu einer raschen Ermüdung des Betrachters kommt. Es gibt daher Bestrebungen, die Diskrepanz zwischen der natürlichen 3D-Wahrnehmung und der Wahrnehmung einer 3D-Szene in einem stereoskopischen Bild zu verringern.
In Kalia, M., Schulte zu Berge, C., Roodaki, H., Chakraborty, C., Navab, N. (2016), Interactive Depth of Focus for Improved Depth Perception. In: Zheng, G., Liao, H., Jannin, P., Cattin, P., Lee, SL. (eds) Medical Imaging and Augmented Reality. MIAR 2016. Lecture Notes in Computer Science, vol 9805. Springer, Cham, https://doi.org/10.1007/978-3-319-43775-0_20 ist die Verbesserung der Tiefenwahrnehmung von in ein Mikroskopbild eingeblendeten 3D-0bjekten beschrieben. Zur Verbesserung der Tiefenwahrnehmung werden 3D-0bjekte je nach Objektabstand mit unterschiedlichen Graden an Unschärfe versehen.
Die US 10262453 B2 schlägt vor, ein digitales Objekt, das in ein mit einer laparoskopischen oder endoskopischen Kamera gewonnenes Bild eingeblendet werden soll, mit einem digitalen Schatten zu versehen.
Aus WO 2007/120351 A2 ist ein robotisches Chirurgiesystem bekannt, das einen ersten Empfänger und einen zweiten Empfänger zum Empfang einer graphischen Darstellung umfasst. Aus den empfangenen stereoskopischen Teilbildern erstellt das robotische Chirurgiesystem eine Disparitätskarte. Anhand der Disparitätskare ermittelt das System dann, in welcher Tiefe die graphische Darstellung eingeblendet werden soll.
Aus WO 2021/149056 A1 ist ein System für elektronisch assistierte chirurgische Prozeduren bekannt, in dem während einer ophthalmologischen medizinischen Prozedur ein digitales stereoskopisches Einblendbild mit einer bestimmten Disparität in ein intraoperatives stereoskopischen Bild eines Beobachtungsobjekts eingeblendet wird. Die Disparität wird dabei anhand eines Vergleiches der stereoskopischen Teilbilder des intraoperatives stereoskopischen Bild ermittelt.
Die Offenlegungsschriften DE 10 2014 210 121 A1 , US 2015/0346472 A1 und WO 2013/103870 A1 beschreiben das Erstellen von Tiefenkarten mittels Time of Flight-Sensoren (DE 10 2014 210 121 A1 und US 2015/0346472 A1 ) oder aus stereoskopische Bildern (WO 2013/103870 A1 ).
Die im zitierten Stand der Technik genannten Maßnahmen sind zum Teil geeignet, die Diskrepanz zwischen der natürlichen 3D-Wahrnehmung und der Wahrnehmung der 3D-Szene in einem stereoskopischen Bild mit einem eingeblendeten Objekt zu verringern. Dennoch ist es wünschenswert, die Diskrepanz zwischen der natürlichen 3D-Wahrnehmung und der Wahrnehmung der 3D-Szene in einem stereoskopischen Bild mit einem eingeblendeten Objekt weiter zu verringern.
Es ist daher eine erste Aufgabe der vorliegenden Erfindung, ein Verfahren zum Einblenden eines wenigstens ein digitales 2D- oder 3D-0bjekt darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät gewonnenes und ein Beobachtungsobjekt abbildendes Objektbild zur Verfügung zu stellen, das im Hinblick auf ein möglichst ermüdungsfreies Arbeiten optimiert ist.
Darüber hinaus ist es eine zweite Aufgabe der vorliegenden Erfindung, ein ein optisches Beobachtungsgerät umfassendes optisches Beobachtungssystem zur Verfügung zu stellen, das ein möglichst ermüdungsfreies Arbeiten ermöglicht.
Weiterhin ist es eine dritte Aufgabe der vorliegenden Erfindung, ein computerimplementiertes Verfahren, ein Computerprogramm und ein Datenverarbeitungssystem zum Optimieren des Einblendens eines wenigstens ein digitales 2D- oder 3D-0bjekt darstellenden Einblendbildes in Hinblick auf ein möglichst ermüdungsfreien Arbeiten zur Verfügung zu stellen.
Die erste Aufgabe wird durch ein Verfahren nach Anspruch 1 und ein Verfahren nach Anspruch 7 gelöst, die zweite Aufgabe durch ein optisches Beobachtungssystem nach Anspruch 12 und ein optisches Beobachtungssystem nach Anspruch 18 und die dritte Aufgabe durch ein computerimplementiertes Verfahren nach Anspruch 23 und ein computerimplementiertes Verfahren nach Anspruch 26, ein
Computerprogramm nach Anspruch 27 sowie ein Datenverarbeitungssystem nach Anspruch 28. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zum Einblenden eines wenigstens ein digitales 2D- oder 3D-0bjekt darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät gewonnenes und ein Beobachtungsobjekt abbildendes Objektbild zur Verfügung gestellt. Unter einem Objektbild soll hierbei ein ausschließlich mit dem optischen Beobachtungsgerät gewonnenes, das Beobachtungsobjekt zeigendes Bild zu verstehen sein. Das Einblendbild und das Objektbild können hierbei jeweils ein monoskopisches oder insbesondere ein stereoskopisches Bild sein, solange das überlagerte Bild ein stereoskopisches Bild ist. Die Abbildung des Beobachtungsobjekts im Objektbild erfolgt dabei mit wenigstens einer die Abbildung zumindest mitbestimmenden Abbildungseigenschaft. Wenigstens eine Abbildungseigenschaft des Objektbildes wird ermittelt, und vor dem Einblenden des Einblendbilds in das Objektbild wird wenigstens eine Anpassung aus der Gruppe der folgenden Anpassungen vorgenommen:
Anpassung wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes auf der Basis der wenigstens einen ermittelten Abbildungseigenschaft. Beispiele für Darstellungseigenschaften des Einblendbildes sind die Farbdarstellung des wenigstens einen digitalen 2D- oder 3D-0bjekts, die Darstellung des gesamten Objekts oder nur von Teilen davon, die Schärfe der Darstellung des wenigstens einen digitalen 2D- oder 3D- Objekts oder von Teilen davon, der Transparenzgrad des wenigstens einen digitalen 2D- oder 3D-0bjekts oder von Teilen davon, die Disparität, mit der das digitale 2D- oder 3D-0bjekt in den stereoskopischen Einblendteilbildern dargestellt wird, die Ausdehnung des Disparitätsintervalls, über das sich die Einblendung des 3D-0bjekt den stereoskopischen Einblendteilbildern erstreckt, etc.
Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes. Die Anpassung der wenigstens einen
Darstellungseigenschaft des Einblendbildes kann dabei insbesondere auch direkt beim Erstellen des Einblendbildes erfolgen. Alternativ oder zusätzlich kann die Anpassung oder eine weitere Anpassung an einem bereits erstellten Einblendbild erfolgen.
In dem erfindungsgemäßen Verfahren ist die wenigstens eine Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften: (a) die Lage der Fokusebene der Abbildung, (b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung, also die Ausdehnung desjenigen Tiefenbereiches im Beobachtungsobjekt, der im Objektbild scharf dargestellt ist, (c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt im Falle eines stereoskopischen Objektbildes dargestellt wird. Hierbei kann die wenigstens eine Abbildungseigenschaft insbesondere die Abbildungseigenschaft (b) und/oder die Abbildungseigenschaft (c) sein bzw. umfassen. Die Ausdehnung des Disparitätsintervalls ist dabei durch die die Differenz der Disparität des am nächsten dargestellten Teils des Beobachtungsobjekts und der Disparität des am entferntesten dargestellten Teils des Beobachtungsobjekts gegeben.
Die Abbildungseigenschaft, die bei der Anpassung wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes angepasst wird, kann die / eine der ermittelte(n) Abbildungseigenschaft(en) oder eine andere Abbildungseigenschaft sein. Mit anderen Worten heißt das, dass die Abbildungseigenschaft, die bei der Anpassung wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes angepasst wird, dabei nicht zwingend die ermittelte Abbildungseigenschaft sein muss. Bspw. kann die Lage der Fokusebene der Abbildung angepasst werden, um den Tiefenschärfenbereich mit der ermittelten Ausdehnung zu verschieben, ohne die Ausdehnung des Tiefenschärfenbereichs zu verändern.
Wenn das Objektbild ein stereoskopische Teilbilder aufweisendes stereoskopisches Objektbild ist und die wenigstens eine Abbildungseigenschaft des stereoskopischen Objektbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Objektteilbilder beinhaltet, und wenn das Einblendbild ein
stereoskopische Einblendteilbilder aufweisendes stereoskopisches Einblendbild ist und die wenigstens eine Darstellungseigenschaft des stereoskopischen Einblendbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Einblendteilbilder beinhaltet, kann im Rahmen des erfindungsgemäßen Verfahrens vor dem Einblenden des stereoskopischen Einblendbilds in das stereoskopische Objektbild insbesondere wenigstens einer der folgenden Anpassungen vorgenommen werden: (i) Anpassung der Ausdehnung des Disparitätsintervalls des stereoskopischen Einblendbildes an die Ausdehnung des Disparitätsintervalls des stereoskopischen Objektbildes, (ii) Anpassung der Ausdehnung des Disparitätsintervalls des stereoskopischen Objektbildes an die Ausdehnung des Disparitätsintervalls des stereoskopischen Einblendbildes.
Im Rahmen der vorliegenden Beschreibung ist ein digitales 3D-0bjekt, im Folgenden auch kurz „3D-0bjekt“, ein Objekt, das eine Tiefenausdehnung aufweist. Zur Darstellung der Tiefenausdehnung sind unterschiedlichen Objektabschnitten des 3D-0bjekts unterschiedliche Tiefenwerte (z-Werte) zugeordnet, die angeben, in welcher Tiefe eines stereoskopischen Objektbildes der entsprechende Objektabschnitt dargestellt werden soll. Für die Darstellung eines 3D-0bjekts in einem stereoskopischen Bild, wird jedem Tiefenwert eine Disparität zugeordnet. Ein digitales 2D-0bjekt, im Folgenden auch kurz „2D-0bjekt“, ist dagegen ein Objekt, das keine Tiefenausdehnung aufweist. Um das 2D-0bjekt in einem stereoskopischen Objektbild in einer bestimmten Tiefenlage darzustellen, kann dem 2D-0bjekt eine einziger, willkürlich gewählter und für alle Objektabschnitte gleichermaßen geltender Tiefenwert (z-Wert) zugeordnet werden. Im erfindungsgemäßen Verfahren kann das 2D- oder 3D-0bjekt bspw. ein präoperativ oder intraoperativ gewonnenes Bild sein, etwa ein MRT-Bild, ein Röntgenbild, ein Endoskopbild, ein Fluoreszenzbild, ein aus OCT-Daten gewonnenes Bild etc. Das 2D- oder 3D-0bjekt kann aber auch eine Markierung oder eine reine Information oder reine Daten sein wie bspw. Navigationshilfen, Markierungen von Tumorgrenzen, Markierungen anatomischer Strukturen, Informationen oder Daten zum Blutfluss, Informationen oder Daten zu im Objektbild zu erkennenden Strukturen, etc. Zudem kann das 2D- oder 3D-0bjekt auch eine
Kombination aus einem präoperativ oder intraoperativ gewonnenen Bild und den genannten Markierungen und/oder Information sein.
Das Ermitteln wenigstens einer der genannten Abbildungseigenschaften in Verbindung mit dem Anpassen der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes und/oder wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes, ermöglicht es, das Einblenden des 2D- oder 3D-0bjekts in das Bild des Beobachtungsobjekts derart zu optimieren, dass eine Diskrepanz zwischen dem physiologischen Zustand der Augen und der wahrgenommenen Objektentfernung vermieden wird oder zumindest so weit reduziert wird, dass ein längeres ermüdungsfreies Arbeiten ermöglicht wird.
Das Verfahren kann außerdem einen Schritt des Vergleichens der wenigstens einen ermittelten Abbildungseigenschaft mit wenigsten einer vorgesehenen Darstellungseigenschaft des Einblendbildes umfassen, wobei die wenigstens eine Anpassung auf der Basis des Vergleichsergebnisses erfolgt. Die Darstellungseigenschaft des Einblendbildes bestimmt dabei die Darstellung, mit der das 2D- oder 3D-0bjekt in das Objektbild eingeblendet werden soll. Mit Hilfe des Vergleichs kann eine Überprüfung dahingehend erfolgen, ob die Kombination der wenigstens einen ermittelten Abbildungseigenschaft mit der wenigstens einen vorgesehenen Darstellungseigenschaft in dem Objektbild mit dem eingeblendeten Einblendbild zu einer Diskrepanz zwischen dem physiologischen Zustand der Augen und der wahrgenommenen Objektentfernung führt. Die vorgesehene Darstellungseigenschaft des Einblendbildes, die mit der ermittelten Abbildungseigenschaft verglichen wird, muss dabei nicht mit der Darstellungseigenschaft identisch sein, die an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes angepasst wird. Beispielsweise kann dabei wenigstens eine der folgenden Überprüfungen erfolgen:
(A) Überprüfung, ob die Schärfe, mit der das 2D- oder 3D-0bjekt oder Teile desselben mit der Schärfe des Beobachtungsobjekts in derjenigen Darstellungstiefe, mit der das 2D- oder 3D-0bjekts das Objektbild eingeblendet werden soll, übereinstimmt. Für die Durchführung des Vergleichs
kann jedes geeignete Maß für die Bildschärfe herangezogen werden. Als Maß für die Schärfe kann bspw. dienen, wie abrupt bei Kanten der Übergang von einem hellen zu einem dunklen Bildbereich erfolgt. Je abrupter der Übergang ist, desto schärfer ist der entsprechende Bildbereich dargestellt.
In einem Beispiel für die Überprüfung, ob die Schärfe, mit der das 2D- oder 3D-0bjekt oder Teile desselben mit der Schärfe des Beobachtungsobjekts in derjenigen Darstellungstiefe, mit der das 2D- oder 3D-Objekts das Objektbild eingeblendet werden soll, übereinstimmt, kann als Darstellungseigenschaft des Einblendbildes wenigstens die vorgesehene Disparität, mit der ein 2D- Objekt in das Objektbild eingeblendet werden soll, oder wenigstens die Ausdehnung des Disparitätsintervalls, über das sich die Einblendung eines 3D-Objekts in den stereoskopischen Einblendteilbildern erstrecken soll, mit der Abbildungseigenschaft „Ausdehnung des Tiefenschärfenbereiches der Abbildung“ mit der die Abbildung des Beobachtungsobjekts erfolgt, verglichen werden. Die Disparität oder die Ausdehnung des Disparitätsintervalls, mit der das des 2D- bzw. 3D-0bjekt in das Objektbild eingeblendet werden soll, bestimmt dabei die Tiefenlage des 2D- oder 3D-0bjekt bzw. von Teilen desselben in Bezug auf das Beobachtungsobjekt. Falls der Vergleich bspw. ergibt, dass das 2D- oder 3D-0bjekt oder ein Teil davon mit der vorgesehenen Disparität scharf in einem Tiefenbereich des Beobachtungsobjekts dargestellt würde, in dem die Darstellung des Beobachtungsobjekts selbst unscharf ist, kann bspw. die Disparität bzw. das Disparitätsintervall des Einblendbildes so verändert werden, dass die Darstellung des 2D- oder 3D-Objekts in denjenigen Tiefenbereich verschoben wird, in dem das Bobachtungsobjekt scharf dargestellt wird. Zusätzlich oder alternativ können die Abbildungseigenschaften des Objektbildes derart geändert werden, dass die Ausdehnung des Tiefenschärfenbereiches, in dem das Bobachtungsobjekt scharf dargestellt wird, vergrößert wird. Weiter zusätzlich oder alternativ besteht die Möglichkeit, denjenigen Teil des 2D- oder 3D-Objekts, der in einem Tiefenbereich dargestellt wird, in dem das Beobachtungsobjekt nicht scharf dargestellt wird, in seiner Schärfe zu reduzieren, um sie an die Schärfe des Beobachtungsobjekts anzupassen. Noch weiter zusätzlich oder alternativ besteht die Möglichkeit, denjenigen Teil oder diejenigen Teile des 2D- oder 3D-Objekts, der bzw. die in einen nicht scharf dargestellten Tiefenbereich des
Beobachtungsobjekts eingeblendet würde, weggelassen wird bzw. werden oder in seiner bzw. ihrer Farbdarstellung verändert wird bzw. werden. Das Verändern der Farbdarstellung kann beispielsweise beinhalten, denjenigen Teil bzw. diejenigen Teile des 2D- oder 3D-Objekts, der in den nicht scharf dargestellten Tiefenbereich des Beobachtungsobjekts eingeblendet wird, mit blasseren Farben, mit verringertem Kontrast oder in Graustufen darzustellen. Außerdem besteht zusätzlich oder alternativ die Möglichkeit, ohne Änderung der Ausdehnung des Tiefenschärfebereichs die Abbildungseigenschaft „Lage der Fokusebene der Abbildung“ mit der das Beobachtungsobjekt abgebildet wird, zu verändern, um damit die Lage des Tiefenschärfebereich so zu verschieben, dass das 2D- oder 3D-0bjekt bei Einblendung mit der vorgesehenen Disparität bzw. der vorgesehenen Ausdehnung des Disparitätsintervalls im scharf dargestellten Tiefenbereich des Beobachtungsobjekts liegt.
(B) Überprüfung, ob die Ausdehnung des Disparitätsintervalls in dem Objektbild mit dem eingeblendeten Einblendbild so groß ist, dass sie zu einem für den Nutzer unangenehmen Seheindruck führt. Die Ausdehnung des Disparitätsintervalls, ab der für einen Nutzer ein unangenehmer Seheindruck entsteht, kann bspw. durch eine maximal zulässige Ausdehnung des Disparitätsintervalls angegeben sein. Dabei kann die maximal zulässige Ausdehnung des Disparitätsintervalls auf der Basis physiologischer Standarte fest vorgegeben sein. Die maximal zulässige Ausdehnung des Disparitätsintervalls repräsentiert dabei die Stereokomfortzone, die jedoch für unterschiedliche Nutzer unterschiedlich sein kann. Es ist daher vorteilhaft, wenn die maximal zulässige Ausdehnung des Disparitätsintervalls vom Nutzer individuell an seine Bedürfnisse angepasst werden kann.
In einem Beispiel für die Überprüfung, ob die Ausdehnung des Disparitätsintervalls in dem Objektbild mit dem eingeblendeten Einblendbild die maximal zulässige Ausdehnung des Disparitätsintervalls überschreitet, kann als Darstellungseigenschaft des Einblendbildes die vorgesehene Disparität eines ein 2D-0bjekt darstellenden stereoskopischen Einblendbildes mit der Abbildungseigenschaft „Ausdehnung des Disparitätsintervalls“, mit der die Abbildung des Beobachtungsobjekts erfolgt, verglichen werden. Die
Disparität des stereoskopischen Einblendbildes bestimmt dabei die Tiefe, in der das 2D-0bjekt in das stereoskopische Objektbild eingeblendet wird. Falls der Vergleich ergibt, dass das die vorgesehene Disparität des stereoskopischen Einblendbildes außerhalb des Disparitätsintervalls des stereoskopischen Objektbildes liegt und dadurch die maximal zulässige Ausdehnung des Disparitätsintervalls überschritten wird, kann die Disparität des stereoskopischen Einblendbildes an das Disparitätsintervall des stereoskopischen Objektbildes angepasst werden. Zusätzlich zur Anpassung der Disparität des stereoskopischen Einblendbildes kann auch das Disparitätsintervall des stereoskopischen Objektbildes vergrößert werden, sofern die Vergrößerung nicht zu einem Überschreiten der maximal zulässigen Ausdehnung des Disparitätsintervalls führt. Die Anpassung der Disparität des stereoskopischen Einblendbildes kann dann geringer ausfallen. Weiter zusätzlich oder alternativ besteht die Möglichkeit, die Lage der Fokusebene der Abbildung, mit der das Beobachtungsobjekt im stereoskopischen Objektbild abgebildet wird, zu verlagern, um damit das Disparitätsintervall des stereoskopischen Objektbildes so zu verschieben, dass das 2D-0bjekt mit der vorgesehenen Disparität des stereoskopischen Einblendbildes im Disparitätsintervall des stereoskopischen Objektbildes liegt.
Anhand des Vergleichsergebnisses kann die Anpassung der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes und/oder die Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes gezielt zur Reduzierung einer im Vergleich festgestellten Diskrepanz herangezogen werden, was eine optimale Anpassung ermöglicht.
Das Ermitteln der die wenigstens eine Abbildungseigenschaft kann erfolgen, indem der Wert wenigstens eines Einstellparameters des optischen Beobachtungsgeräts erfasst wird und die wenigstens eine Abbildungseigenschaft anhand des erfassten Wertes des wenigstens einen Einstellparameters des optischen Beobachtungsgeräts ermittelt wird. Einstellparameter sind bspw. der Arbeitsabstand des optischen Beobachtungsgeräts vom Beobachtungsobjekt, die objektseitige Schnittweite
des optischen Beobachtungsgeräts, der Blendendurchmesser des optischen Beobachtungsgeräts, der am optischen Beobachtungsgerät eingestellte Vergrößerungsfaktor, etc. Der Arbeitsabstand ist dabei der Abstand des objektseitigen Linsenscheitels des Objektivs des optischen Beobachtungsgeräts von der Oberfläche des Beobachtungsobjekts und der Fokusabstand der Abstand des objektseitigen Linsenscheitels des Objektivs von der Fokusebene des Objektivs. Mit der Kenntnis der Werte dieser Parameter lassen sich die Abbildungseigenschaften der Abbildung ermitteln. Beispielsweise ergibt sich aus dem Arbeitsabstand und der objektseitigen Schnittweite die Lage der Fokusebene im Beobachtungsobjekt. Die Ausdehnung des Tiefenschärfebereichs lässt sich aus der Kenntnis der Blendenöffnung und des Vergrößerungsfaktors ermitteln. Die Ausdehnung des Disparitätsintervalls stereoskopischer Teilbilder kann beispielsweise aus dem Vergrößerungsfaktor und dem Winkel der Beobachtungsteilstrahlengänge in Bezug auf die optische Achse des Hauptobjektivs ermittelt werden. Letzterer ergibt sich aus dem bekannten Abstand der Teilstrahlengänge im Inneren des optischen Beobachtungsgeräts und der objektseitigen Schnittweite des optischen Beobachtungsgeräts.
Aufgrund der Beziehung zwischen den Einstellparametern und den Abbildungseigenschaften kann auch die Anpassung der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes mittels eines Anpassens des Wertes wenigstens eines der Einstellparameters erfolgen. Insbesondere kann ein Anpassen des Wertes des wenigstens eines Einstellparameters derart erfolgen, dass die Ausdehnung des Tiefenschärfenbereichs und/oder der Lage der Fokusebene im Beobachtungsobjekt und/oder die die Ausdehnung des Disparitätsintervalls im Falle eines stereoskopischen Objektbildes angepasst wird bzw. werden. Beispielsweise kann mittels einer einstellbaren Blendenöffnung die numerische Apparatur des optischen Beobachtungsgeräts verringert werden, um die Ausdehnung des Tiefenschärfenbereiches im Objektbild zu vergrößern und so eine Anpassung an die Tiefenausdehnung eines digitalen 3D-Objekts vorzunehmen. Falls durch das Verringern der numerischen Apparatur bei der gewählten Zoomstellung die Auflösung zu stark herabgesetzt wird, besteht zudem die Möglichkeit, die Zoomstellung
anzupassen, um die Vergrößerung zu reduzieren, sodass sich die verringerte Auflösung nicht negativ bemerkbar macht. In einem anderen Beispiel können der Fokusabstand und/oder der Arbeitsabstand so verändert werden, dass sich die Fokuslage - und damit der um die Fokuslage symmetrische Tiefenschärfenbereich - verschiebt. Auf diese Weise kann die Fokuslage derart an die vorgesehene Lage eines digitalen 2D- oder 3D-0bjekts im Objektbild angepasst werden, dass das gesamte digitale 2D-oder 3D-0bjekt scharf dargestellt wird, zumindest dann, wenn die Tiefenausdehnung des digitalen 2D- oder 3D-0bjekts nicht größer als die Ausdehnung des Tiefenschärfenbereiches im Objektbild ist. Wenn die Tiefenausdehnung des digitalen 2D- oder 3D-0bjekts größer ist als die Ausdehnung des Tiefenschärfenbereiches im Objektbild, kann zusätzlich die beschriebene Anpassung der numerischen Apparatur und ggf. der gewählten Zoomstellung erfolgen. Da die Einstellparameter in der Regel sowieso über die Steuereinrichtung eines optischen Beobachtungsgeräts beeinflusst werden können, lässt sich so die Anpassung der wenigstens einen ermittelten Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes ohne konstruktive Änderungen des optischen Beobachtungsgeräts bewerkstelligen.
Statt mittels einer Anpassung des Wertes wenigstens eines Einstellparameters des optischen Beobachtungsgeräts oder zusätzlich zu einer Anpassung des Wertes wenigstens eines Einstellparameters des optischen Beobachtungsgeräts kann die Anpassung der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes auch mittels einer digitalen Bildtransformation erfolgen. Beispielsweise kann das Disparitätsintervall des Objektbildes mittels einer linearen Transformation vergrößert oder verringert werden. Es kann aber auch eine nichtlineare Transformation Verwendung finden, wenn unterschiedliche Bereiche des Disparitätsintervalls unterschiedlich stark vergrößert oder verringert werden sollen.
Das Anpassen der wenigstens einen Darstellungseigenschaft des Einblendbildes an die ermittelten Abbildungseigenschaften des Objektbildes
kann wenigstens eine der folgenden Anpassungen einer Darstellungseigenschaft umfassen:
Anpassung der Darstellungsschärfe des wenigstens einen im Einblendbild dargestellten digitalen 2D- oder 3D-Objekts oder von Teilen desselben,
Anpassung der Tiefenlage des im Einblendbild dargestellten digitalen 2D- oder 3D-Objekts oder von Teilen desselben in Bezug auf das im Objektbild dargestellte Beobachtungsobjekt oder von Teilen desselben,
Anpassung der Darstellungsfarbe des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-Objekts oder von Teilen desselben,
Anpassung der Transparenz der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-Objekts oder von Teilen desselben,
Anpassung durch Beschneiden der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-Objekts oder von Teilen desselben,
Anpassung der Lage der Fokusebene des Einblendbildes durch Einbringen oder Verändern eines Offsets zwischen der Lage der Fokusebene der Abbildung und der Lage der Fokusebene des Einblendbildes.
In einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens wird die Tiefenverteilung des Beobachtungsobjekts, also die Tiefenwerte (z-Werte) der im Objektbild dargestellten Beobachtungsobjektabschnitte, erfasst und bei mindestens einer der vor dem Einblenden des Einblendbilds in das Objektbild vorgenommenen Anpassungen berücksichtigt. Anhand der erfassten Tiefenverteilung und der wenigstens einen ermittelten Abbildungseigenschaft des Objektbildes können die aktuellen Darstellungseigenschaften des beobachteten Bereichs des Beobachtungsobjekts präzise ermittelt werden. Ohne das Erfassen der Tiefenverteilung des dargestellten Bereichs des Beobachtungsobjekts kann die Lage der dargestellten Bereiche des
Beobachtungsobjekts nur anhand des Fokusabstands des Mikroskops und der Ausdehnung des Tiefenschärfenbereichs abgeschätzt werden.
Das Erfassen der Tiefenverteilung des dargestellten Bereichs des Beobachtungsobjekts kann beispielsweise mittels einer Triangulation anhand stereoskopischer Bilder, mittels eines Tiefensensors wie etwa eines Time-of- Flight-Sensors, mittels Durchfahrens des Fokus und einer Analyse, welche Bereiche des Beobachtungsobjekts in den Bildinhalten jeweils scharf dargestellt sind („Depth from Defocus“), etc. erfolgen. Die erfasste Tiefenverteilung kann bspw. durch die Abstandsverteilung der Beobachtungsobjektabschnitte zu einer Ebene des Mikroskops wie bspw. der objektseitigen Hauptebene des Hauptobjektivs, einem Punkt des Mikroskops wie bspw. dem objektseitigen Scheitelpunkt des Hauptobjektivs oder durch die Lage der Beobachtungsobjektabschnitte in einem globalen dreidimensionalen Koordinatensystem wie etwa dem Koordinatensystem eines Navigationssystems repräsentiert werden. Beispielsweise kann bei Kenntnis der Tiefenverteilung des Beobachtungsobjekts für ein 2D-0bjekt, das einem bestimmte Beobachtungsobjektabschnitt überlagert werden soll, ein Tiefenwert zugeordnet werden, der mit dem Tiefenwert des bestimmten Beobachtungsobjektabschnitts übereinstimmt. Im Falle eines 3D-Objekts können seinen Tiefenwerten anhand der ermittelten Tiefenverteilung derartige Disparitätswerte zugeordnet werden, dass beim Einblenden des 3D-Objekts in ein stereoskopisches Objektbild ein bestimmter Tiefenwert des 3D-Objekts mit einem bestimmten Tiefenwert des Beobachtungsobjekts übereinstimmt. Dadurch kann die Tiefenlage des 3D-Objekts im Objektbild präzise festgelegt werden.
Gemäß einem zweiten Aspekt der Erfindung wird ein optisches Beobachtungssystem zur Verfügung gestellt. Das optische Beobachtungssystem ist ausgestattet mit einem optischen Beobachtungsgerät zum Erzeugen eines Objektbildes von einem Beobachtungsobjekt, einer Einblendbild-Erzeugungsvorrichtung zum Erzeugen eines wenigstens ein digitales 2D- oder 3D-0bjekt darstellenden Einblendbildes;
einer Einblendvorrichtung zum Einblenden des Einblendbildes in das Objektbild, um das wenigstens eine digitale 2D- oder 3D-Objekt dem in dem Objektbild dargestellten Beobachtungsobjekt zu überlagern, und einer Einstellvorrichtung, die dazu eingerichtet ist, eine Einstellung wenigstens einer die Abbildung des Beobachtungsobjekts im Objektbild beeinflussenden Abbildungseigenschaft zu ermöglichen, einer Abbildungseigenschaft-Ermittlungsvorrichtung, die dazu eingerichtet ist, wenigstens eine eingestellten Abbildungseigenschaft der Abbildung des Beobachtungsobjekts im Objektbild zu ermitteln, und einer Anpassungsvorrichtung, die dazu eingerichtet ist, vor dem Einblenden des Einblendbilds in das Objektbild wenigstens eine der folgenden Einwirkungen vorzunehmen:
Einwirkung auf die Einstellvorrichtung zum Anpassen wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes auf der Basis der wenigstens einen ermittelten Abbildungseigenschaft,
Einwirkung auf die Einblendbild-Erzeugungsvorrichtung zum Anpassen wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes. Die Anpassung der wenigstens einen Darstellungseigenschaft des Einblendbildes kann dabei insbesondere auch direkt beim Erstellen des Einblendbildes erfolgen. Alternativ oder zusätzlich kann die Anpassung oder eine weitere Anpassung an einem bereits erstellten Einblendbild erfolgen.
Das optisches Beobachtungssystem zeichnet sich dadurch aus, dass die wenigstens eine Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften ist: (a) die Lage der Fokusebene der Abbildung, (b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung, (c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt im Falle eines stereoskopischen Objektbildes dargestellt wird. Hierbei kann die wenigstens eine Abbildungseigenschaft insbesondere
die Abbildungseigenschaft (b) und/oder die Abbildungseigenschaft (c) sein bzw. umfassen. Die Abbildungseigenschaft, die bei der Anpassung wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes angepasst wird, kann die / eine der ermittelte(n) Abbildungseigenschaft(en) oder eine andere Abbildungseigenschaft sein. Mit anderen Worten heißt das, dass die Abbildungseigenschaft, auf die die Einstellvorrichtung zum Anpassen wenigstens einer Abbildungseigenschaft des Objektbildes an die wenigstens eine Darstellungseigenschaft des Einblendbildes einwirkt, nicht zwingend die von der Abbildungseigenschaft-Ermittlungsvorrichtung ermittelte Abbildungseigenschaft sein muss. Bspw. kann die Einstellvorrichtung auf die Lage der Fokusebene der Abbildung einwirken, um den Tiefenschärfenbereich mit der von der von der Abbildungseigenschaft-Ermittlungsvorrichtung ermittelten Ausdehnung zu verschieben, ohne die Ausdehnung des Tiefenschärfenbereichs zu verändern.
Das optische Beobachtungsgerät kann bspw. ein analoges oder digitales Mikroskop und insbesondere ein analoges oder digitales Operationsmikroskop sein und das vom optischen Beobachtungsgerät erzeugte Objektbild ein monoskopisches Bild oder insbesondere ein stereoskopisches Bild. Entsprechend ist das optische Beobachtungssystem dann vorzugsweise ein optisches Mikroskopsystem bzw. ein optisches Operationsmikroskopsystem.
Das erzeugte Einblendbild kann ein monoskopisches Bild oder ein stereoskopisches Bild sein. Das Einblenden in das Objektbild kann digital erfolgen, falls das Objektbild digital vorliegt, oder optisch in den Strahlengang des optischen Beobachtungsgeräts.
Wenn im optischen Beobachtungssystem das optische Beobachtungsgerät zum Erzeugen eines stereoskopische Objektbildteilbilder aufweisenden stereoskopischen Objektbildes von einem Beobachtungsobjekt ausgebildet ist, die wenigstens eine Abbildungseigenschaft des stereoskopischen Objektbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Objektteilbilder beinhaltet, die Einblendbild-Erzeugungsvorrichtung zum Erzeugen eines stereoskopische Einblendteilbilder aufweisenden stereoskopischen Einblendbilds ausgebildet ist und die wenigstens eine
Darstellungseigenschaft des stereoskopischen Einblendbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Einblendteilbilder beinhaltet, kann die Anpassungsvorrichtung dazu eingerichtet sein, vor dem Einblenden des stereoskopischen Einblendbilds in das stereoskopische Objektbild wenigstens einer der folgenden Einwirkungen vorzunehmen: (i) Einwirkung auf die Einblendbild-Erzeugungsvorrichtung zum Anpassen der Ausdehnung des Disparitätsintervalls des stereoskopischen Einblendbildes an die Ausdehnung des Disparitätsintervalls des stereoskopischen Objektbildes, (ii) Einwirkung auf die Einstellvorrichtung zum Anpassen der Ausdehnung des Disparitätsintervalls des stereoskopischen Objektbildes an die Ausdehnung des Disparitätsintervalls des stereoskopischen Einblendbildes.
Das erfindungsgemäße optische Beobachtungssystem ermöglicht die Durführung des erfindungsgemäßen Verfahrens und somit die Realisierung der mit Bezug auf das erfindungsgemäße Verfahren zu erzielenden Eigenschaften und Vorteile.
Das optische Beobachtungssystem kann außerdem eine Vergleichseinrichtung umfassen, die dazu ausgestaltet ist, die wenigstens eine ermittelte Abbildungseigenschaft mit wenigsten einer vorgesehenen Darstellungseigenschaft des Einblendbildes zu vergleichen, und die Anpassungsvorrichtung kann dazu ausgestaltet sein, die wenigstens eine Anpassung in Abhängigkeit vom Vergleichsergebnis vorzunehmen. Mit Hilfe des Vergleichs kann wie mit Bezug auf das erfindungsgemäße Verfahren ausgeführt wurde, eine Überprüfung dahingehend erfolgen, ob die Kombination der wenigstens einen ermittelten Abbildungseigenschaft mit der wenigstens einen vorgesehenen Darstellungseigenschaft in dem Objektbild mit dem eingeblendeten Einblendbild zu einer Diskrepanz zwischen dem physiologischen Zustand der Augen und der wahrgenommenen Objektentfernung führt, und die Anpassung der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes und/oder die Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes kann
gezielt zur Reduzierung einer im Vergleich festgestellten Diskrepanz herangezogen werden, was ein optimale Anpassung ermöglicht.
Zum Anpassen der wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes kann die Anpassungsvorrichtung dazu eingerichtet sein, derart auf die Einblendbild-Erzeugungsvorrichtung einzuwirken, dass zum Anpassen der Darstellungseigenschaften des Einblendbilds an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes wenigstens eine der folgenden Anpassungen erfolgt eine Anpassung der Darstellungsschärfe des wenigstens einen digitalen 2D- oder 3D-Objekts oder von Teilen desselben,
Anpassung der Tiefenlage des im Einblendbild dargestellten digitalen 2D- oder 3D-Objekts oder von Teilen desselben in Bezug auf das im Objektbild dargestellte Beobachtungsobjekt oder von Teilen desselben,
Anpassung der Darstellungsfarbe des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-Objekts oder von Teilen desselben,
Anpassung der Transparenz der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts oder von Teilen desselben,
Anpassung durch ein Beschneiden der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts oder von Teilen desselben,
Anpassung der Lage der Fokusebene des Einblendbildes durch Einbringen oder Verändern eines Offsets zwischen der Lage der Fokusebene der Abbildung und der Lage der Fokusebene des Einblendbildes.
In einer Weiterbildung des optischen Beobachtungssystems beinhaltet dieses eine Einstellparameter-Erfassungsvorrichtung, die dazu ausgestaltet ist, den Wert des wenigstens eines Einstellparameters des optischen Beobachtungsgeräts zu erfassen. Die Abbildungseigenschaft-Ermittlungsvorrichtung ist in dieser Weiterbildung dazu ausgestaltet, die wenigsten eine
eingestellte Abbildungseigenschaft anhand des von der Einstellparameter- Erfassungsvorrichtung erfassten Wertes des wenigstens einen Einstellparameters zu ermitteln. In diesem Fall kann zudem die Einstellvorrichtung dazu eingerichtet sein, eine Einstellung des Wertes wenigstens eines Einstellparameters des optischen Beobachtungsgeräts vorzunehmen, und die Anpassungsvorrichtung kann dazu eingerichtet sein, derart auf die Einstellvorrichtung einzuwirken, dass über eine Anpassung des Wertes wenigstens eines Einstellparameters die Anpassung der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes erfolgt. Als Einstellparameter des optischen Beobachtungsgeräts können beispielsweise der Arbeitsabstand des optischen Beobachtungsgeräts vom Beobachtungsobjekt, die objektseitige Schnittweite des optischen Beobachtungsgeräts, der Blendendurchmesser des optischen Beobachtungsgeräts, der am optischen Beobachtungsgerät eingestellte Vergrößerungsfaktor, etc. dienen. Sind die Werte der Einstellparameter des optischen Beobachtungsgeräts bekannt, können hieraus seine Abbildungseigenschaften ermittelt werden, wie dies mit Bezug auf das erfindungsgemäße Verfahren ausgeführt worden ist. Außerdem kann aufgrund der Beziehung zwischen den Einstellparametern und den Abbildungseigenschaften auch die Anpassung der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes mittels eines Anpassens des Wertes wenigstens eines der Einstellparameters erfolgen. Beides wurde mit Bezug auf das erfindungsgemäße Verfahren erläutert. Auf die entsprechenden Absätze der Beschreibung wird verwiesen.
Das erfindungsgemäße optische Beobachtungssystem kann aber auch eine digitale Bildtransformationseinheit zum Transformieren des Objektbildes umfassen. Eine solche digitale Bildtransformationseinheit ermöglicht es, eine Anpassung von Abbildungseigenschaften des Objektbildes ohne Eingriff in die optischen Komponenten des optischen Beobachtungsgeräts vorzunehmen, bspw. wenn eine Änderung der Werte der Einstellparameter nicht möglich oder nicht gewünscht ist.
Das Mikroskopsystem kann zudem eine Tiefenverteilung-Erfassungsvorrichtung beinhalten, die dazu eingerichtet ist, die Tiefenverteilung des Beobachtungsobjekts zu erfassen. Die Anpassungsvorrichtung ist dann dazu eingerichtet, die erfasste Tiefenverteilung des Beobachtungsobjekts bei der Einwirkung auf die Einstellvorrichtung zum Anpassen der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes und/oder bei der Einwirkung auf die Einblendbild-Erzeugungsvorrichtung zum Anpassen der Darstellungseigenschaften des wenigstens einen Einblendbilds an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes zu berücksichtigen. Anhand der erfassten Tiefenverteilung und der wenigstens einen ermittelten Abbildungseigenschaft des Objektbildes können die aktuellen Darstellungseigenschaften des beobachteten Bereichs des Beobachtungsobjekts präzise ermittelt werden, wie dies mit Bezug auf das erfindungsgemäße Verfahren bereits erläutert worden ist.
Zum Erfassen der Tiefenverteilung des Beobachtungsobjekts kann die Tiefenverteilung-Erfassungsvorrichtung beispielsweise anhand das Beobachtungsobjekt zeigender stereoskopischer Bilder, die mithilfe von Kameras in Teilstrahlengängen eines stereoskopischen optischen Beobachtungsgerätes wie etwa eines Operationsmikroskops aufgenommen werden, eine Triangulation vornehmen. Alternativen zum stereoskopischen Erfassen der Tiefenverteilung bestehen in der Erfassung der Tiefenverteilung mit Hilfe einer strukturierten Beleuchtung des Beobachtungsobjekts, wobei die Tiefenverteilung dann aus der Verzerrung der Beleuchtungsstrukturen auf dem Beobachtungsobjekt ermittelt wird, oder darin, die Tiefenverteilung- Erfassungsvorrichtung mit wenigstens einem Tiefensensor wie etwa einem Time-of-Flight-Sensor (TOF-Sensor), einem Lidar-Sytem (Lidar: Light Imaging, Detection and Ranging), etc. auszustatten. Zum Erfassen der Tiefenverteilung kann die Tiefenverteilung-Erfassungsvorrichtung in einer weiteren Alternative auch die Anpassungsvorrichtung dazu veranlassen, die Lage der Fokusebene über einen bestimmten Tiefenbereich zu variieren. Die während der Variation der Lage der Fokusebene dargestellten Bildinhalte werden von der Tiefenverteilung-Erfassungsvorrichtung im Hinblick darauf analysiert, welche Bereiche des Beobachtungsobjekts jeweils scharf
dargestellt sind. Anhand der scharf dargestellten Bereiche des Beobachtungsobjekts und der Lage der Fokusebene, bei der die jeweiligen Bereiche scharf dargestellt sind, kann Tiefenverteilung-Erfassungsvorrichtung die Tiefenverteilung der Bereiche des Beobachtungsobjekts ermittelten („Depth from Defocus“).
Die erfasste Tiefenverteilung kann bspw. durch die die Abstandsverteilung der Beobachtungsobjektabschnitte zu einer Ebene des optischen Beobachtungsgerätes, bspw. zur objektseitigen Hauptebene des Hauptobjektivs, zu einem Punkt des optischen Beobachtungsgerätes wie bspw. dem objektseitigen Scheitelpunkt des Hauptobjektivs oder durch die Lage der Beobachtungsobjektabschnitte in einem globalen dreidimensionalen Koordinatensystem, etwa dem Koordinatensystem eines Navigationssystems, repräsentiert werden.
Gemäß einem dritten Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Optimieren des Einblendens eines wenigstens ein digitales 2D- oder 3D-0bjekt darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät gewonnenes und ein Beobachtungsobjekt abbildendes Objektbild zur Verfügung gestellt, wobei die Abbildung des Beobachtungsobjekts im Objektbild mit wenigstens einer die Abbildung zumindest mitbestimmenden Abbildungseigenschaft erfolgt. Das computerimplementierte Verfahren umfasst die Schritte
Empfangen oder Abrufen des digitalen 2D- oder 3D-Objekts und seiner Darstellungseigenschaften,
Empfangen oder Abrufen wenigstens einer Abbildungseigenschaft des Objektbildes, und
Ermitteln und Ausgeben eines Signals, welches dazu ausgestaltet ist, am optischen Beobachtungsgerät wenigstens eine der folgenden Anpassungen herbeizuführen
Anpassung wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des
Einblendbildes auf der Basis der empfangenen oder abgerufenen Abbildungseigenschaft,
Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine empfangene oder abgerufene Abbildungseigenschaft des Objektbildes. Die Anpassung der wenigstens einen Darstellungseigenschaft des Einblendbildes kann dabei insbesondere auch direkt beim Erstellen des Einblendbildes erfolgen. Alternativ oder zusätzlich kann die Anpassung oder eine weitere Anpassung an einem bereits erstellten Einblendbild erfolgen.
Gemäß der Erfindung ist die wenigstens eine empfangene oder abgerufene Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften: (a) die Lage der Fokusebene der Abbildung, (b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung, (c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt im Falle eines stereoskopischen Objektbildes dargestellt wird. Hierbei kann die wenigstens eine Abbildungseigenschaft insbesondere die Abbildungseigenschaft (b) und/oder die Abbildungseigenschaft (c) sein bzw. umfassen. Die wenigstens eine Abbildungseigenschaft, die an wenigstens eine Darstellungseigenschaft des Einblendbildes angepasst wird, muss dabei nicht zwingend die empfangene oder abgerufene Abbildungseigenschaft sein. Bspw. kann die Lage der Fokusebene der Abbildung angepasst werden, um den Tiefenschärfenbereich mit der empfangenen oder abgerufenen Ausdehnung zu verschieben, ohne die Ausdehnung des Tiefenschärfenbereichs zu verändern.
Das computerimplementierte Verfahren ermöglicht es, einen Computer zum Durchführen des erfindungsgemäßen Verfahrens zum Einblenden eines Einblendbildes in ein mit einem optischen Beobachtungsgerät gewonnenes Objektbild einzurichten, und so computerunterstützt die mit Bezug auf das erfindungsgemäße Verfahren beschriebenen Eigenschaften und Vorteile zu erzielen.
Gemäß dem dritten Aspekt der Erfindung werden außerdem ein Computerprogramm mit Instruktionen, die, wenn sie von einem Computer
ausgeführt werden, diesen veranlassen, die Schritte des erfindungsgemäßen computerimplementierten Verfahrens auszuführen, sowie eine Datenverarbeitungseinrichtung mit einem Speicher und einem Prozessor, wobei der Prozessor mittels eines im Speicher gespeicherten erfindungsgemäßen Computerprogramms dazu eingerichtet ist, die Schritte des erfindungsgemäßen computerimplementierten Verfahrens auszuführen, zur Verfügung gestellt.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von exemplarischen Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Figuren.
Figur 1 zeigt die Komponenten eines Mikroskopsystems in einer schematischen Darstellung
Figur 2 zeigt die wesentlichen optischen Komponenten eines Operationsmikroskops in einer schematischen Darstellung.
Figur 3 zeigt ein Beispiel für ein Objektiv mit variablem Fokusabstand.
Figur 4 zeigt ein Beispiel für ein digitales Operationsmikroskop.
Figur 5 zeigt ein erstes Beispiel für das Anpassen der Darstellungseigenschaften eines in einem Einblendbild dargestellten 2D- oder 3D-Objekts an die ermittelten Abbildungseigenschaften eines Objektbildes.
Figur 6 zeigt ein Beispiel für Einstellparameter eines Mikroskops, die nicht an die vorgesehene Lage eines digitalen 3D-Objekts in Bezug auf das Beobachtungsobjekt und an die Tiefenausdehnung des digitalen 3D-Objekts angepasst sind.
Figur ? zeigt ein erstes Beispiel für das Anpassen wenigstens einer Abbildungseigenschaften des Objektbildes an die Darstellungseigenschaften des Einblendbildes.
Figur 8 zeigt ein Beispiel für das Anpassen der Darstellungseigenschaften eines Einblendbildes, welches ein
digitales 3D-Objekt 200 zeigt, an die Abbildungseigenschaften eines stereoskopischen Objektbildes.
Figur 9 zeigt ein Beispiel für das Anpassen der Darstellungseigenschaften eines ein 2D-0bjekt darstellenden Einblendbildes an die Abbildungseigenschaften des Objektbildes.
Figur 10 zeigt ein Beispiel für eine lineare Transformation, die Ausgangsdisparitätswerte Da auf neue Disparitätswerte Dn abbildet.
Figur 11 zeigt ein Beispiel für eine nichtlineare Transformation, die Ausgangsdisparitätswerte Da auf neue Disparitätswerte Dn abbildet.
Figur 12 zeigt ein Beispiel für das Anpassen der Darstellungseigenschaften eines Einblendbildes, welches ein digitales 3D-0bjekt 200 zeigt, an die Abbildungseigenschaften eines stereoskopischen Objektbildes.
Figur 13 zeigt ein weiteres Beispiel für das Anpassen der Darstellungseigenschaften eines Einblendbildes, welches ein digitales 3D-0bjekt 200 zeigt, an die Abbildungseigenschaften eines stereoskopischen Objektbildes.
Nachfolgend wird mit Bezug auf die Figuren 1 bis 4 ein Mikroskopsystem beschrieben, das ein exemplarisches Ausführungsbeispiel für ein erfindungsgemäßes optisches Beobachtungsgerätesystem darstellt. Während Figur 1 das Mikroskopsystem einschließlich seiner elektronischen Komponenten zeigt, zeigen die Figuren 2 und 3 die wesentlichen optischen Komponenten eines Operationsmikroskops, wie es als Mikroskop im Mikroskopsystem Verwendung finden kann.
Das Mikroskopsystem aus Figur 1 umfasst ein Mikroskop 2, dass im vorliegenden exemplarischen Ausführungsbeispiel ein Operationsmikroskop 2 ist, wie es in den Figuren 2 bis 4 dargestellt ist. Weiterhin umfasst es eine
Mikroskopsteuerung 100, die Steuersignale generiert, mit der auf steuerbare Komponenten des Operationsmikroskops einwirken kann, um insbesondere Werte für Einstellparameter des Operationsmikroskops 2 wie bspw. einen Wert für die aktuelle Zoomstellung, einen Wert für den Fokusabstand, einen Wert für den Arbeitsabstand, einen Wert für die numerische Apertur, etc. einzustellen. Steuerbare Komponenten des Operationsmikroskops 2 können hierbei beispielsweise steuerbare Motoren zum Einstellen des Zoom-Systems, steuerbare Motoren zum Einstellen eines Objektivlinsensystems mit einstellbarer Objektschnittweite, steuerbare Motoren zum Einstellen von Blendenöffnungen, steuerbare Motoren eines das Operationsmikroskop 2 tragenden Stativs, etc. sein. Die Werte für die Einstellparameter können dabei anhand einer Steuerroutine von der Mikroskopsteuerung 100 automatisiert eingestellt werden. Beispielsweise kann die Mikroskopsteuerung 100 anhand einer Steuerroutine Werte für Einstellparameter generieren, die zu gewünschten Abbildungseigenschaften des Operationsmikroskops 2 wie etwa zu einer bestimmten Ausdehnung des Tiefenschärfenbereichs bei einer bestimmten die Fokuslage und - im Falle stereoskopischer Teilbilder - mit einem bestimmten Disparitätsintervall führen. Die Abbildungseigenschaften des Objektbildes werden im Falle eines rein optisch generierten Bildes von den Abbildungseigenschaften des Operationsmikroskops 2 bestimmt und spiegeln somit die Abbildungseigenschaften des Operationsmikroskops 2 wider. Falls vom Operationsmikroskop 2 digitale Bilder generiert werden, werden die Abbildungseigenschaften des Objektbildes nicht nur durch die Abbildungseigenschaften der optischen Komponenten des Operationsmikroskops 2 bestimmt, sondern auch von den Eigenschaften derjenigen Einheiten, welche aus den optischen Bildern die digitalen Bilder generieren. Solche Einheiten sind etwa der Bildsensor oder die Bildsensoren, mit dem bzw. denen die Bilder aufgenommen werden, das Display oder die Displays, auf dem sie dargestellt werden, und ggf. eine Bildverarbeitungseinheit, mit der Pixelwerte im digitalen Bild oder Werte der digitale Teilbilder im Falle eines stereoskopischen Bildes nach der Aufnahme durch den Bildsensor und vor der Darstellung auf dem Display manipuliert werden.
Die geeigneten Werte für die Einstellparameter des Operationsmikroskops 2 setzt die Mikroskopsteuerung 100 in entsprechende Steuersignale um, die sie
dann an die entsprechenden steuerbaren Komponenten des Operationsmikroskops 2 ausgibt. Alternativ können die einzustellenden Werte der Einstellparameter von extern vorgegeben werden, beispielsweise per Hand über eine Mensch-Maschine-Schnittstelle, wobei die Mikroskopsteuerung 100 dann die geeigneten Steuersignale für die steuerbaren Komponenten des Operationsmikroskops 2 auf der Basis der vorgegebenen Werte für die Einstellparameter generiert. Die Mikroskopsteuerung 100 stellt somit auch eine Einstellvorrichtung dar, die die dazu eingerichtet ist, eine Einstellung wenigstens einer die Abbildung des Beobachtungsobjekts 3 im Objektbild beeinflussenden Abbildungseigenschaft zu ermöglichen. Sie kann im Falle eines digitale Bilder generierenden Operationsmikroskops 2 zudem Signale zum Steuern des Bildsensors oder der Bildsensoren, des oder der Displays und/oder der Bildverarbeitungseinheit generieren und an diese ausgeben.
Die Mikroskopsteuerung 100 beinhaltet im vorliegenden exemplarischen Ausführungsbeispiel auch eine Einstellparameter-Erfassungsvorrichtung 110 und eine Abbildungseigenschaft-Ermittlungsvorrichtung 115. Die Einstellparameter-Erfassungsvorrichtung 110 dient dazu, die aktuell eingestellten Werte der Einstellparameter des Operationsmikroskops 2 zu erfassen oder die aktuell eingestellten Werte der Einstellparameter aus an die oben beschriebenen Motoren gesandten, von der Einstellparameter- Erfassungsvorrichtung 110 erfassten Steuersignalen mit Hilfe eines Modells der jeweils gesteuerten Komponente abzuleiten und die Werte der Einstellparameter an die Abbildungseigenschaft-Ermittlungsvorrichtung 115 weiterzugeben. Zum Erfassen der Werte der Einstellparameter kann bspw. mittels Sensoren die Stellung der beweglichen Glieder der oben erwähnten steuerbaren Motoren erfasst werden, wenn sie eindeutig mit einem Wert für einen der Einstellparameter verknüpft sind.
Aus den erfassten Werten der Einstellparameter kann die Abbildungseigenschaft-Ermittlungsvorrichtung 115 dann die Abbildungseigenschaften des Objektbildes, also diejenigen Abbildungseigenschaften, mit denen das Beobachtungsobjekt 3 im Objektbild abgebildet wird, ableiten. Die Lage der Fokusebene F im Beobachtungsobjekt
kann die Abbildungseigenschaft-Ermittlungsvorrichtung 115 beispielsweise aus dem Wert für den eingestellten Abstand der Objektivlinsen in einem Objektivlinsensystem, wie es in Figur 3 dargestellt ist, und dem Arbeitsabstand des Operationsmikroskops 2 vom Beobachtungsobjekt 3 ableiten. Die Ausdehnung des Tiefenschärfenbereichs der Abbildung kann sie aus dem Wert für den Durchmesser der eingestellten Aperturblende und dem Wert für den Zoom-Faktor ableiten, wobei die Aperturblende eine reelle oder eine virtuelle Aperturblende sein kann. Wenn eine reelle Aperturblende vorliegt, kann die Einstellparameter-Erfassungsvorrichtung 110 den Aperturblendendurchmesser direkt erfassen oder aus den Steuersignalen für eine einstellbare Aperturblende ableiten. Im Falle einer virtuellen Aperturblende muss sie den Aperturblendendurchmesser auf der Basis von Werten der eingestellten Einstellparameter des Operationsmikroskops 2 rechnerisch ermitteln. Die Ausdehnung des Disparitätsintervalls stereoskopischer Teilbilder kann auf der Basis des Fokusabstandes F der Zoom-Stellung und des Abstandes der stereoskopischen Teilstrahlengänge voneinander im Operationsmikroskop 2 abgeleitet werden.
Falls die Abbildungseigenschaften der momentanen Einstellungen der Abbildungsparameter in der Mikroskopsteuerung 100 oder anderswo im Operationsmikroskop 2 hinterlegt sind, ist Einstellparameter- Erfassungsvorrichtung 110 nicht nötig. Die Abbildungseigenschaft- Ermittlungsvorrichtung 115 kann die Werte für die Einstellparameter dann direkt von der Mikroskopsteuerung 100 beziehen.
In das mit den Beobachtungsstrahlengang des Operationsmikroskops 2 erzeugte Bild des Beobachtungsobjekts kann ein Einblendbild eingeblendet werden, welches insbesondere auch ein stereoskopisches Einblendbild sein kann. Das Einblendbild stellt dabei ein digitales 2D- oder 3D-0bjekt dar, es kann aber auch mehrere digitale 2D- oder 3D-0bjekte darstellen. Zum Generieren des Einblendbilds weist das Mikroskopsystem eine Einblendbild- Erzeugungsvorrichtung 120 auf, welche das erzeugte Einblendbild an Displays 37A, 37B des Operationsmikroskops 2 ausgibt (vgl. Figur 2), mit deren Hilfe das Einblendbild über Strahlteiler, welche im vorliegenden exemplarischen
Ausführungsbeispiel als Strahlteilerprismen 15A, 15B ausgebildet sind, in den Beobachtungsstrahlengang des Operationsmikroskops 2 eingeblendet wird.
Die im Einblendbild darzustellenden 2D- oder 3D-Objekte können entweder aus einer externen Datenquelle 130 wie etwa eine MRT-System (MRT: Magnetresonanztomografie), einem CT-System (CT: Computertomografie), einem externen OCT-System (OCT: Optische Kohärenztomografie), etc. stammen, wobei die einzublendenden 2D- oder 3D-0bjekte dann präoperativ generiert werden, oder sie können aus einer in das Mikroskopsystem integrierten internen Datenquelle 140 stammen, etwa einem in das Operationsmikroskop 2 integrierten System, mit dem Fluoreszenzbilder erzeugt werden können, einem in das Mikroskopsystem integrierten OCT- System oder einem Endoskop, das Teil des Mikroskopsystems sein kann. Im Falle einer internen Datenquelle 140 können die 2D- oder 3D-0bjekte auch intraoperativ erzeugt werden.
Weiterhin umfasst das Mikroskopsystem eine Anpassungsvorrichtung 150, welche die Darstellungseigenschaften des wenigstens einen digitalen 2D- oder 3D-0bjekts an seine vorgesehene Lage im Beobachtungsobjekt anpassen kann. Diese ist zum Empfang von 2D- oder 3D-Objekten mit wenigstens einer der Datenquellen 130, 140 verbunden und zum Empfang der ermittelten Abbildungseigenschaften des Objektbildes mit der Abbildungseigenschaft-Ermittlungsvorrichtung 115. Außerdem ist sie mit der Einblendbild-Erzeugungsvorrichtung 120 verbunden. Auf der Basis der ermittelten Abbildungseigenschaften und der vorgesehenen Lage der 2D- oder 3D-0bjekte in Bezug auf das Beobachtungsobjekt 3 passt die Anpassungsvorrichtung 150 die Darstellungseigenschaften der Einblendbilder, d.h. die Eigenschaften, mit denen die 2D- oder 3D-Objekte in den Einblendbildern dargestellt sind, an die ermittelten Abbildungseigenschaften des Objektbildes an und gibt die angepassten Einblendbilder an die Einblendbild-Erzeugungsvorrichtung 120 aus, die die Einblendbilder dann mithilfe der Displays 37A, 37B und der Strahlteilerprismen 15A, 15B in den Beobachtungsstrahlengang einblendet. Alternativ oder zusätzlich zum Anpassen der Darstellungseigenschaften der Einblendbilder an die ermittelten Abbildungseigenschaften des Objektbildes kann die
Anpassungsvorrichtung 150 auf die Mikroskopsteuerung 100 einwirken, um auf der Basis der ermittelten Abbildungseigenschaften den Wert wenigstens eines Einstellparameters des Operationsmikroskops 2 anzupassen, um über diese Anpassung die Lage der Fokusebene im Objektbild und/oder die Ausdehnung des Tiefenschärfenbereichs im Objektbildes und/oder die Ausdehnung des Disparitätsintervalls im Fall eines stereoskopischen Objektbildes an die Darstellungseigenschaften des Einblendbildes anzupassen. Falls das Operationsmikroskop 2 ein digitales Operationsmikroskop ist, also eines, bei dem ein digitales Objektbild generiert wird, kann weiter alternativ oder zusätzlich wenigstens einer Abbildungseigenschaft des Objektbildes digital an die Darstellungseigenschaften des Einblendbildes angepasst werden. So kann bspw. bei einem stereoskopischen Objektbild die Ausdehnung des Disparitätsintervalls an die Darstellungseigenschaften des Einblendbildes angepasst werden. Beispielsweise können Disparitätswerte des stereoskopischen Objektbildes von der Bildverarbeitungseinheit mittels einer linearen oder nichtlinearen Transformation in neue Disparitätswerte transformiert werden. Dadurch wird bspw. eine Stauchung oder Streckung der Ausdehnung des Disparitätsintervalls ermöglicht.
Als Option weist das Mikroskopsystem außerdem eine Tiefenverteilung- Erfassungsvorrichtung auf, die im vorliegenden exemplarischen Ausführungsbeispiel durch einen Time-of-Flight-Sensor 4 realisiert ist. Mithilfe des Time-of-Flight-Sensors 4 kann die Tiefenverteilung T des Beobachtungsobjekts 3, die im vorliegenden exemplarischen Ausführungsbeispiel durch die Verteilung der Abstände unterschiedlicher Beobachtungsobjektabschnitte vom objektseitigen Linsenscheitel des Mikroskopobjektivs repräsentiert wird, ermittelt werden. Die ermittelte Tiefenverteilung T kann dann an die Mikroskopsteuerung 100 und/oder an die Anpassungsvorrichtung 150 weitergegeben werden, die die Tiefenverteilung T beim Anpassen der Abbildungseigenschaften des Objektbildes bzw. beim Anpassen der Darstellungseigenschaften des Einblendbildes berücksichtigen können.
Nachfolgend wird mit Bezug auf die Figuren 2 und 4 der grundsätzliche Aufbau des Operationsmikroskops 2, wie es im Mikroskopsystem aus Figur 1 Verwendung finden kann, erläutert, bevor anschließend anhand der Figuren 5 bis 11 das Anpassen der Darstellungseigenschaften des Einblendbildes an die ermittelten Abbildungseigenschaften und das Anpassen der Abbildungseigenschaften des Objektbildes an die Darstellungseigenschaften des Einblendbildes erläutert werden.
Das in Figur 2 gezeigte Operationsmikroskop 2 umfasst als wesentliche Bestandteile ein einem Objektfeld 3 zuzuwendendes Objektiv 5, das insbesondere als achromatisches oder apochromatisches Objektiv ausgebildet sein kann. Im vorliegenden Ausführungsbeispiel besteht das Objektiv 5 aus zwei miteinander verkitteten Teillinsen, die ein achromatisches Objektiv bilden. Das Objektfeld 3 wird in der Fokusebene des Objektivs 5 angeordnet, so dass es vom Objektiv 5 nach Unendlich abgebildet wird. Mit anderen Worten, ein vom Objektfeld 3 ausgehendes divergentes Strahlenbündel 7 wird bei seinem Durchgang durch das Objektiv 5 in ein paralleles Strahlenbündel 9 umgewandelt.
Beobachterseitig des Objektivs 5 ist ein Vergrößerungswechsler 11 angeordnet, der entweder wie im dargestellten Ausführungsbeispiel als Zoom- System zur stufenlosen Änderung des Vergrößerungsfaktors oder als so genannter Galilei-Wechsler zur stufenweisen Änderung des Vergrößerungsfaktors ausgebildet sein kann. In einem Zoom-System, das bspw. aus einer Linsenkombination mit drei Linsen aufgebaut ist, können die beiden objektseitigen Linsen verschoben werden, um den Vergrößerungsfaktor zu variieren. Tatsächlich kann das Zoom-System aber auch mehr als drei Linsen, bspw. vier oder mehr Linsen aufweisen, wobei die äußeren Linsen dann auch fest angeordnet sein können. In einem Galilei-Wechsler existieren dagegen mehrere feste Linsenkombinationen, die unterschiedliche Vergrößerungsfaktoren repräsentieren und im Wechsel in den Strahlengang eingebracht werden können. Sowohl ein Zoom-System, als auch ein Galilei- Wechsler wandeln ein objektseitiges paralleles Strahlenbündel in ein beobachterseitiges paralleles Strahlenbündel mit einem anderen Bündeldurchmesser um. Der Vergrößerungswechsler 11 ist im vorliegenden
Ausführungsbeispiel bereits Teil des binokularen Strahlengangs des Operationsmikroskops 2, d.h. er weist eine eigene Linsenkombination für jeden stereoskopischen Teilstrahlengang 9A, 9B des Operationsmikroskops 2 auf. Das Einstellen eines Vergrößerungsfaktors mittels des Vergrößerungswechslers 11 erfolgt im vorliegenden Ausführungsbeispiel über ein motorisch angetriebenes Stellglied, das zusammen mit dem Vergrößerungswechsler 11 Teil einer Vergrößerungswechseleinheit zum Einstellen des Vergrößerungsfaktors ist.
An den Vergrößerungswechsler 11 schließt sich beobachterseitig eine Schnittstellenanordnung 13A, 13B an, über die externe Geräte an das Operationsmikroskop 1 angeschlossen werden können und die im vorliegenden Ausführungsbeispiel Strahlteilerprismen 15A, 15B umfasst. Grundsätzlich können aber auch andere Arten von Strahlteilern Verwendung finden, bspw. teildurchlässige Spiegel. Die Schnittstellen 13A, 13B dienen im vorliegenden Ausführungsbeispiel dazu, mit Hilfe von Displays 37A, 37B, bspw. einer Digital Mirror Device (DMD) oder eines LCD-Displays, und zugehörigen Optiken 39A, 39B über die Strahlteilerprismen 15A, 15B digitale 2D- oder 3D-0bjekte zeigende Einblendbilder in den jeweiligen Teilstrahlengang 9A, 9B des Operationsmikroskops 2 einzuspiegeln. Die Displays 37A, 37B, die Optiken 39A, 39B sowie die Strahlteilerprismen 15A, 15B bilden somit eine Einblendvorrichtung zum Einblenden von Einblendbildern Es können zudem weitere, nicht dargestellte Schnittstellen vorhanden sein, über die bspw. Strahlenbündel ausgekoppelt und elektronischen Bildsensoren wie etwa CCD-Sensoren oder CMOS-Sensoren zugeführt werden. Mittels der Bildsensoren können digitale Bild des Beobachtungsobjekts 3 aufgenommen werden.
An die Schnittstellen 13A, 13B schließt sich beobachterseitig ein Binokulartubus 27 an. Dieser weist zwei Tubusobjektive 29A, 29B auf, welche das jeweilige parallele Strahlenbündel 9A, 9B auf eine Zwischenbildebene 31 fokussieren, also das Beobachtungsobjekt 3 auf die jeweilige Zwischenbildebene 31 A, 31 B abbilden. Die in den Zwischenbildebenen 31 A, 31 B befindlichen Zwischenbilder werden schließlich von Okularlinsen 35A, 35B wiederum nach Unendlich abgebildet, so dass ein Betrachter das
Zwischenbild mit entspanntem Auge betrachten kann. Außerdem erfolgt im Binokulartubus 27 mittels eines Spiegelsystems oder mittels Prismen 33A, 33B eine Vergrößerung des Abstandes zwischen den beiden Teilstrahlenbündeln 9A, 9B, um diesen an den Augenabstand des Betrachters anzupassen. Mit dem Spiegelsystem oder den Prismen 33A, 33B erfolgt zudem eine Bildaufrichtung.
Das Operationsmikroskop 2 ist außerdem mit einer Beleuchtungsvorrichtung ausgestattet, mit der der das Objektfeld 3 mit breitbandigem Beleuchtungslicht beleuchtet werden kann. Hierzu weist die Beleuchtungsvorrichtung im vorliegenden Ausführungsbeispiel eine Weißlichtquelle 41 , etwa eine Halogenglühlampe oder eine Gasentladungslampe, auf. Das von der Weißlichtquelle 41 ausgehende Licht wird über einen Umlenkspiegel 43 oder ein Umlenkprisma in Richtung auf das Objektfeld 3 gelenkt, um dieses auszuleuchten. In der Beleuchtungsvorrichtung ist weiterhin eine Beleuchtungsoptik 45 vorhanden, die für eine gleichmäßige Ausleuchtung des gesamten beobachteten Objektfeldes 3 sorgt.
Es sei darauf hingewiesen, dass der in Figur 2 dargestellte Beleuchtungsstrahlengang stark schematisiert ist und nicht notwendigerweise den tatsächlichen Verlauf des Beleuchtungsstrahlengangs wiedergibt. Grundsätzlich kann der Beleuchtungsstrahlengang als sogenannte Schrägbeleuchtung ausgeführt sein, die der schematischen Darstellung in Figur 2 am nächsten kommt. In einer solchen Schrägbeleuchtung verläuft der Strahlengang in einem relativ großen Winkel (6° oder mehr) zur optischen Achse des Objektivs 5 und kann, wie in Figur 2 dargestellt, vollständig außerhalb des Objektivs verlaufen. Alternativ besteht jedoch auch die Möglichkeit, den Beleuchtungsstrahlengang der Schrägbeleuchtung durch einen Randbereich des Objektivs 5 hindurch verlaufen zu lassen. Eine weitere Möglichkeit zur Anordnung des Beleuchtungsstrahlengangs ist die sogenannte O°-Beleuchtung, bei der der Beleuchtungsstrahlengang durch das Objektiv 5 hindurch verläuft und zwischen den beiden Teilstrahlengängen 9A, 9B, entlang der optischen Achse des Objektivs 5 in Richtung auf das Beobachtungsobjekt 3 in das Objektiv 5 eingekoppelt wird. Schließlich besteht auch die Möglichkeit, den Beleuchtungsstrahlengang als sogenannte koaxiale
Beleuchtung auszuführen, in der ein erster und ein zweiter Beleuchtungsteilstrahlengang vorhanden sind. Die Teilstrahlengänge werden über einen oder mehrere Strahlteiler parallel zu den optischen Achsen der Beobachtungsteilstrahlengänge 9A, 9B in das Operationsmikroskop 2 eingekoppelt, so dass die Beleuchtung koaxial zu den beiden Beobachtungsteilstrahlengängen 9A, 9B verläuft.
In dem in Figur 2 dargestellten Operationsmikroskop 2 kann auf die Beleuchtung Einfluss genommen werden. Bspw. kann ein Filter 47 in den Beleuchtungsstrahlengang eingebracht werden, der von dem breiten Spektrum der Weißlichtquelle 41 nur einen schmalen Spektralbereich passieren lässt, bspw. einen Spektralbereich, mit dem Fluoreszenz eines im Objektfeld 3 befindlichen Fluoreszenzfarbstoffes angeregt werden kann. Zur Beobachtung der Fluoreszenz können in die Beobachtungs-Teilstrahlengänge Filter 37A, 37B eingebracht werden, die den zur Fluoreszenzanregung verwendeten Spektralbereich herausfiltern um die Fluoreszenz beobachten zu können. Auf der Basis von aufgenommenen Fluoreszenzbildern Bilder können bspw. digitale 2D- oder 3D-0bjekte zum Einblenden in den Beobachtungsstrahlengang erstellt werden.
In der in Figur 2 gezeigten Ausführungsvariante des Operationsmikroskops 2 besteht das Objektiv 5 lediglich aus einer Achromatlinse. Es kann jedoch auch ein Objektivlinsensystem aus mehreren Linsen Verwendung finden, insbesondere ein so genanntes Vario-Objektiv, mit dem sich der Fokusabstand des Operationsmikroskops 2, d.h. der Abstand der objektseitigen Fokusebene vom Scheitel der ersten objektseitigen Linsenfläche des Objektivs 5, auch Objektschnittweite genannt, variieren lässt. Auch vom Vario-Objektiv 50 wird das in der Fokusebene angeordnete Objektfeld 3 nach Unendlich abgebildet, so dass beobachterseitig ein paralleles Strahlenbündel vorliegt.
Ein Beispiel für ein Vario-Objektiv ist schematisch in Figur 3 dargestellt. Das Vario-Objektiv 50 umfasst ein Positivglied 51 , also ein optisches Element mit positiver Brechkraft, das in Figur 3 schematisch als Konvexlinse dargestellt ist. Darüber hinaus umfasst das Vario-Objektiv 50 ein Negativglied 52, also ein optisches Element mit negativer Brechkraft, das in Figur 3 schematisch als
Konkavlinse dargestellt ist. Das Negativglied 52 befindet sich zwischen dem Positivglied 51 und dem Objektfeld 3. Im dargestellten Vario-Objektiv 50 ist das Negativglied 52 fix angeordnet, wohingegen das Positivglied 51 wie durch den Doppelpfeil 53 angedeutet entlang der optischen Achse OA verschiebbar angeordnet ist. Wenn das Positivglied 51 in die in Figur 3 gestrichelt dargestellte Position verschoben wird, verlängert sich die Schnittweite, so dass sich der Fokusabstand des Operationsmikroskops 2 und damit die Lage der Fokusebene im Beobachtungsobjekt 3 ändert. Das Verschieben des Positivglieds 51 erfolgt im vorliegenden exemplarischen Ausführungsbeispiel mittels eines von der Mikroskopsteuerung 100 gesteuerten Motors (nicht dargestellt).
Obwohl in Figur 3 das Positivglied 51 verschiebbar ausgestaltet ist, besteht grundsätzlich auch die Möglichkeit, das Negativglied 52 statt des Positivglieds
51 entlang der optischen Achse OA bewegbar anzuordnen. Das Negativglied
52 bildet jedoch häufig die Abschlusslinse des Vario-Objektivs 50. Ein feststehendes Negativglied 52 bietet daher den Vorteil, dass das Innere des Operationsmikroskops 2 leichter gegen äußere Einflüsse abgedichtet werden kann. Weiterhin sei angemerkt, dass, obwohl das Positivglied 51 und das Negativglied 52 in Figur 3 lediglich als Einzellinsen dargestellt sind, jedes dieser Glieder statt in Form einer Einzellinse auch in Form einer Linsengruppe oder eines Kittglieds realisiert sein kann, bspw. um das Vario-Objektiv achromatisch oder apochromatisch auszubilden.
Figur 4 zeigt ein Beispiel für ein digitales Operationsmikroskop 2‘ in einer schematischen Darstellung. Bei diesem Operationsmikroskop 2‘ unterscheiden sich das Hauptobjektiv 5, der Vergrößerungswechsler 11 , welcher in dem digitalen Operationsmikroskop lediglich eine Option darstellt und daher nicht zwingend vorhanden zu sein braucht, sowie das Beleuchtungssystem 41 , 43, 45 nicht von dem in Figur 1 dargestellten Operationsmikroskop 2 mit optischem Einblick. Der Unterschied liegt darin, dass das in Figur 4 gezeigte Operationsmikroskop 2‘ keinen optischen Binokulartubus umfasst. Statt der Tubusobjektive 29A, 29B aus Figur 2 umfasst das Operationsmikroskop 2‘ aus Figur 4 Fokussierlinsen 49A, 49B mit denen die binokularen Beobachtungsstrahlengänge 9A, 9B auf digitale
Bildsensoren 61 A, 61 B abgebildet werden. Die digitalen Bildsensoren 61 A, 61 B können dabei beispielsweise CCD-Sensoren oder als CMOS-Sensoren sein. Die von den Bildsensoren 61 A, 61 B aufgenommenen Bilder werden digital an digitale Displays 63A, 63B gesendet, die als LED-Displays, als LCD- Displays oder als auf organischen Leuchtioden (OLEDs) beruhende Displays ausgebildet seien können. Den Displays 63A, 63B können wie im vorliegenden Beispiel Okularlinsen 65A, 65B zugeordnet sein, mit denen die auf den Displays 63A, 63B dargestellten Bildern nach unendlich abgebildet werden, so dass ein Betrachter sie mit entspannten Augen betrachten kann. Die Displays 63A, 63B und die Okularlinsen 65A, 65B können Teil eines digitalen Binokulartubus sein, sie können aber auch Teil eines am Kopf zu tragenden Displays (Head Mounted Display, HMD) wie etwa einer Datenbrille sein. Darüber hinaus besteht die Möglichkeit, die aufgenommenen Bilder als stereoskopische Bilder auf einem großen Monitor darzustellen, der vom Personal im Operationssaal mit geeigneten 3D-Brillen, etwa Polarisationsbrillen oder Shutter-Brillen betrachtet wird. Zum Unterscheiden der stereoskopischen Teilbilder können diese bei der Darstellung der stereoskopischen Bilder auf den Monitor bspw. mit unterschiedlichen Polarisationen des vom Monitor ausgesandten Lichtes dargestellt werden. Die 3D-Brillen enthalten dann schaltbare Polarisatoren, die synchron zu der Darstellung der Teilbilder auf dem Monitor geschaltet werden. Alternativ können die Teilbilder auch zweitsequentiell ohne definierte Polarisation dargestellt werden, wobei die Gläser der 3D-Brillen dann synchronisiert zwischen Lichtdurchlässig und lichtundurchlässig geschaltet werden.
Obwohl in Figur 4 wie in Figur 1 lediglich eine Achromatlinse 5 mit einer festen Brennweite dargestellt ist, kann das in Figur 3 gezeigte Operationsmikroskop 2‘ wie das in Figur 2 dargestellte Operationsmikroskop 2 ein Varioskopobjektiv statt der Objektivlinse 5 umfassen. Weiterhin ist in Figur 4 eine Übertragung der von den Bildsensoren 61 A, 61 B aufgenommenen Bilder an die Displays 63A, 63B mittels Kabeln 67A, 67B gezeigt. Statt Kabelgebunden können die Bilder jedoch auch drahtlos an die Displays 63A, 63B übertragen werden, insbesondere dann, wenn die Displays 63A, 63B Teil eines Head Mounted Displays sind. Außerdem kann zwischen der Aufnahme der Bilder und ihrer
Darstellung eine digitale Bildbearbeitung mittels einer digitalen Bildverarbeitungseinheit 66 erfolgen.
Mit Bezug auf Figur 5 wird ein erstes Beispiel für das Anpassen der Darstellungseigenschaften eines in einem Einblendbild dargestellten 2D- oder 3D-Objekts an die ermittelten Abbildungseigenschaften des Objektbildes, mit denen das Beobachtungsobjekt 3 in seiner vorgesehenen Lage im überlagerten Bild dargestellt wird, beschrieben. Die Figur zeigt auf der linken Seite schematisch das Beobachtungsobjekt 3, wie es im Objektbild dargestellt wird, die Fokusebene FE im Beobachtungsobjekt 3, die Tiefenverteilung T des Beobachtungsobjekts 3 im Objektbild und die mit dem Operationsmikroskop 2 realisierte Ausdehnung des Tiefenschärfenbereichs S. Das einzublendende 3D-0bjekt 200 ist in Figur 5 zur besseren Veranschaulichung des Verfahrens mit drei Objektabschnitten 200A-C dargestellt. Auf der rechten Seite sind schematisch das Beobachtungsobjekts 3 und das 3D-0bjekt 200 gezeigt, wie es in dem mit dem Einblendbild überlagerten Objektbild dargestellt wird. Der Vorgang der Überlagerung ist in der Figur durch ein „+“ symbolisiert.
Die Ausdehnung des in seiner Gänze scharfen 3D-Objekts 200 in Richtung der Tiefenverteilung T ist größer als die Ausdehnung Tiefenschärfebereiches S, die mit den im Operationsmikroskops 2 eingestellten Abbildungsparametern erzielt wird. Die Ausdehnung des Tiefenschärfebereiches S ist dabei die Ausdehnung desjenigen Tiefenbereiches im Beobachtungsobjekt 3, der im Objektbild scharf dargestellt ist. Dass die Ausdehnung des 3D-Objekts 200 in Richtung der Tiefenverteilung T größer als die Ausdehnung des Tiefenschärfebereiches S ist, führt ohne weitere Maßnahmen beim Überlagen des Objektbildes mit dem Einblendbild, also wenn das 3D-0bjekt 200 in das Beobachtungsobjekt 3 eingeblendet wird, dazu, dass die Objektabschnitte 200A und 200C 3D-Objekts als scharf dargestellte Objektabschnitte 200A und 200C unscharf dargestellten Bereichen des Beobachtungsobjekts 3 überlagert würden. Lediglich der Objektabschnitt 200C würde dem scharf dargestellten Bereich des Beobachtungsobjekts 3 überlagert werden. Im Falle eines eingeblendeten 2D-Objekts würde bei einer Einblendung in einem Tiefenbereich des Beobachtungsobjekts 3, der sich außerhalb der Ausdehnung des Tiefenschärfebereiches S befindet (entsprechend dem
Objektabschnitt 200A oder dem Objektabschnitt 200C des dargestellten 3D- Objekts 200) das eingeblendete Objekt scharf dargestellt werden, obwohl die entsprechenden Bildabschnitte des Beobachtungsobjekts 3 unscharf sind. Die scharfe Darstellung eines eingeblendeten 2D-Objekts oder eines Objektabschnittes 200A, 200C eines eingeblendeten 3D-Objekts 200 in einem unscharf dargestellten Bereich des Beobachtungsobjekts 3 wäre für den Betrachter des mit dem eingeblendeten 2D- oder 3D-0bjekt überlagerten Bildes nachteilig, da das Auftreten von scharfen Strukturen in ansonsten unscharfen Bereichen bei der Tiefenzuordnung irritiert. Die Bildschärfe liefert in einem Objektbild mit begrenzter Tiefenschärfe nämlich einen sogenannten monoskopischen Tiefenhinweis, d. h. der Nutzer assoziiert mit dem Auftreten einer bestimmten Schärfe eines Objekts unbewusst eine bestimmte Tiefenlage. Stimmt also die Schärfe eines eingeblendeten 2D-Objektes oder eines Objektabschnittes 200A, 200C eines eingeblendeten 3D-Objekts 200 nicht mit der Schärfe des Bereiches des dargestellten Beobachtungsobjekts 3, dem es überlagert wird, überein, so führt dies zu Verwirrung des Nutzers, und er kann die Höhenlage eines eingeblendeten 2D-Objekts nur schwer und womöglich sogar falsch einschätzen. Im Falle eines eingeblendeten 3D- Objekts 200 führt die scharfe Darstellung der Objektabschnitte 200A, 200C in unscharfen Bildbereichen außerdem zu einer Irritation, da der stereoskopische Tiefenhinweis eine andere Höhe indiziert als der monoskopischen Tiefenhinweis.
Im Rahmen des vorliegenden Verfahrens werden daher anhand der ermittelten Abbildungseigenschaften des Operationsmikroskops 2 und der Darstellungseigenschaft „vorgesehene Lage des 3D-0bjekts 200 im überlagerten Bild“ die Objektabschnitte 200A und 200C in ihrer Schärfe an die Schärfe der Darstellung derjenigen Bereiche des Beobachtungsobjekts 3, denen sie überlagert werden sollen, angepasst, sodass die angepassten Objektabschnitte 200A, 2000 im angepassten 3D-0bjekt 200' im mir dem Einblendbild überlagerten Objektbild mit derselben Schärfe wie die entsprechenden Bereiche des Beobachtungsobjekts 3 dargestellt werden. Auf diese Weise kann die beschriebene Verwirrung aufgrund eines falschen monoskopischen Tiefenhinweises vermieden werden.
Obwohl im vorliegenden Ausführungsbeispiel bei den angepassten Objektabschnitten 200A' und 200C die Darstellungseigenschaft der Schärfe angepasst wurde, besteht die Möglichkeit zusätzlich oder alternativ andere Darstellungseigenschaften anzupassen. Beispielsweise können die angepassten Objektabschnitte 200A' und 200C anstatt in ihrer Schärfe (oder zusätzlich zu ihrer Schärfe) auch in ihrer farblichen Darstellung an die ermittelten Abbildungseigenschaften des Operationsmikroskops 2 angepasst werden. So könnten etwa die farbliche Gestaltung der angepassten Objektabschnitte 200A' und 2000 dadurch verändert werden, dass ihre Farbsättigung im Vergleich zu den ursprünglichen Objektabschnitten 200A und 200C herabgesetzt wird und/oder ihr Farbton verändert wird. Als eine weitere Alternative besteht die Möglichkeit, statt ihrer farblichen Darstellung oder zusätzlich zu ihrer farblichen Darstellung den Transparenzgrad ihrer Darstellung zu verändern, sodass die angepassten Objektabschnitte 200A' und 2000 mit einer gegenüber dem Objektabschnitt 200B erhöhten Transparenz dargestellt werden. Als noch eine weitere Alternative besteht die Möglichkeit, bspw. diejenigen Teile, die in einem unscharf dargestellten Bereich des Beobachtungsobjekts 3 liegen würden, wegzulassen (sog. „Croppen“). 2D-0bjekte können ebenfalls zusätzlich zu ihrer Schärfe in ihrer farblichen Darstellung oder ihrem Transparenzgrad angepasst werden.
Für den Fall, dass die Tiefenverteilung T im Beobachtungsobjekt 3 nicht bekannt ist und ein einzublendendes 2D-0bjekt nah an der lokalen Oberfläche des Beobachtungsobjekts 3 liegen soll, so besteht die Möglichkeit, die Schärfe der Darstellung der lokalen Oberfläche zu ermitteln und die Schärfe des eingeblendeten 2D-0bjekts an die ermittelte Schärfe der lokalen Oberfläche anzupassen.
Mit Bezug auf die Figuren 6 und 7 wird ein erstes Beispiel für das Anpassen wenigstens einer Abbildungseigenschaften des Objektbildes an die Darstellungseigenschaften des Einblendbildes, also an die Darstellungseigenschaften, mit denen das einzublendende Objekt im Einblendbild dargestellt wird, beschrieben. Das Anpassen der Abbildungseigenschaften des Objektbildes erfolgt in diesem Beispiel durch Anpassen der Werte von Einstellparametern des Operationsmikroskops 2, und
dient dazu, die aktuellen Abbildungseigenschaften des Operationsmikroskops 2 - und damit die Abbildungseigenschaften des Objektbildes - an die vorgesehene Lage eines einzublendenden digitalen 3D-0bjekts 200 in Bezug auf das Beobachtungsobjekt 3 sowie an die Tiefenausdehnung TA des einzublendenden digitalen 3D-0bjekts 200 anzupassen.
Die Figur 6 zeigt auf der linken Seite schematisch das Beobachtungsobjekt 3, wie es im Objektbild dargestellt wird, die Fokusebene FE im Beobachtungsobjekt 3, die Tiefenverteilung T des Beobachtungsobjekts 3 im Objektbild und die mit dem Operationsmikroskop 2 realisierte Ausdehnung des Tiefenschärfenbereichs S. Rechts zeigt Figur 6 das mit dem einzublendenden 3D-0bjekt 200 überlagerte Beobachtungsobjekt 3, wie es sich ohne Anpassung in dem mit dem Einblendbild überlagerten Objektbild darstellen würde. Die Tiefenausdehnung TA des einzublendenden digitalen 3D-Objekts 200 weist eine etwas größere Ausdehnung als die Ausdehnung des Tiefenschärfenbereiches S im Objektbild auf. Außerdem ist die vorgesehene Lage des digitalen 3D-Objekts 200, mit der es in das Objektbild eingeblendet werden soll, derart, dass der untere Objektabschnitt 200B innerhalb der Fokusebene FE liegt und der obere Objektabschnitt 200A so weit oberhalb der Fokusebene FE, dass er sich bei der vorgesehenen Lage des 3D-Objekts im Objektbild ohne weitere Maßnahmen außerhalb der Ausdehnung des Tiefenschärfenbereiches S befindet und deshalb in einem Bereich des Objektbildes scharf eingeblendet wird, in dem das Beobachtungsobjekt 3 unscharf dargestellt ist . Als Folge davon befindet sich lediglich der untere Objektabschnitt 200B des digitalen 3D-Objekts 200 beim Einblenden innerhalb des durch das Operationsmikroskop 2 scharf dargestellten Bereichs des Beobachtungsobjekts 3. Der obere Objektabschnitt 200A des digitalen 3D- Objekts 200 befindet sich dagegen oberhalb des scharf dargestellten Bereichs des Beobachtungsobjekts 3. Infolge der Scharfen Darstellung des oberen Objektabschnitts würde das eingeblendete 3D-Objekts keinen korrekten Tiefeneindruck vermitteln.
Im Unterschied zum ersten Beispiel werden in dem jetzigen Beispiel nicht die Darstellungseigenschaften des einzublenden 3D-Objekts 200 an die erfassten Abbildungseigenschaften des Operationsmikroskops 2 angepasst, um eine
korrekten Tiefeneindruck zu vermitteln, sondern es werden die Abbildungseigenschaften des Objektbildes durch Anpassen seiner Abbildungseigenschaften an die Darstellungseigenschaften „Lage des digitalen 3D-Objekts 200 im Beobachtungsobjekt 3“ und „Tiefenausdehnung TA des 3D-Objekts 200“ angepasst. Das Anpassen der Abbildungseigenschaften erfolgt dabei durch Anpassen von Werten der Einstellparameter des Operationsmikroskops 2.
Um die Anpassung der Werte der Einstellparameter des Operationsmikroskops 2 an die Lage des digitalen 3D-0bjekts 200 im Beobachtungsobjekt 3 und Tiefenausdehnung TA des 3D-Objekts 200 vornehmen zu können, werden die aktuellen Werte der Einstellparameter erfasst und daraus die Abbildungseigenschaften, mit denen das Beobachtungsobjekt 3 aktuell im Objektbild dargestellt wird (Abbildungseigenschaften des Objektbildes) ermittelt. Danach werden die ermittelten Abbildungseigenschaften des Objektbildes mit der Lage des digitalen 3D-Objekts 200 im Beobachtungsobjekt 3 und der Tiefenausdehnung TA des 3D-Objekts verglichen (Schritt 300 in Figur 7), um festzustellen, wie die Fokusebene FE in Bezug auf die Lage des digitalen 3D-Objekts 200 im Beobachtungsobjekt 3 liegt und wie groß die Ausdehnung des Tiefenschärfenbereiches S in Bezug auf die Tiefenausdehnung TA des 3D- Objekts ist. Der Vergleich kann bspw. von der Steuereinheit 100 ausgeführt werden, die dazu die die Darstellungseigenschaften des 3D-Objekts 200 bspw. von der externen Datenquelle 130 oder der internen Datenquelle 140 empfängt oder abruft. Anhand des Vergleichsergebnisses ermittelt die Steuereinheit 100 dann, um wieviel sie die Ausdehnung des Tiefenschärfenbereiches S vergrößern und/oder die Fokusebene FE verschieben muss, um zu erreichen, dass das 3D-0bjekt 200 mit seiner Tiefenausdehnung TA in seiner vorgesehenen Lage in Bezug auf das Beobachtungsobjekt 3 vollständig innerhalb der Ausdehnung des Tiefenschärfenbereiches S des Objektbildes liegt. Die Steuereinheit 100 ermittelt dann in Schritt 310 neu Werte für die Einstellparameter „Arbeitsabstand“, „Fokusabstand“ und „Durchmesser der Blendenöffnung“, mit denen die Ausdehnung des Tiefenschärfenbereiches S und die Lage der Fokusebene an die vorgesehene Lage des 3D-Objekts 200 in Bezug auf das
Beobachtungsobjekt 3 und die Tiefenausdehnung TA des 3D-Objekts angepasst werden. Mittels der Anpassung der Werte der Einstellparameter des Operationsmikroskops 2 werden im vorliegenden Beispiel der Fokusabstand und/oder der Arbeitsabstand des Operationsmikroskops 2 angepasst, um im vorliegenden Beispiel die Fokuslage des Operationsmikroskops 2, d.h. die Lage seiner Fokusebene FE, etwas nach oben zu verschieben und sie dadurch an die in die Mitte des digitalen 3D-0bjekts 200 zu verschieben. Außerdem wird der Durchmesser der Aperturblende des Operationsmikroskops 2 so eingestellt, dass die Ausdehnung des um die Fokusebene FE symmetrischen Tiefenschärfenbereichs S vergrößert wird, sodass sich das eingeblendete 3D-0bjekt vollständig im Tiefenschärfenbereich S des Operationsmikroskops 2 befindet. Dadurch stimmen die Schärfe des eingeblendeten 3D-0bjekts 200 und der Bereiche des Beobachtungsobjekts 3 denen das 3D-objekt überlagert wird, überein. Die beschrieben Anpassung ist schematisch in Figur 7 dargestellt.
Falls durch die Vergrößerung der Ausdehnung des Tiefenschärfenbereiches S die Auflösung soweit verringert wird, dass sich der Auflösungsverlust mit der eingestellten Zoomstellung des Operationsmikroskops 2 im Objektbild bemerkbar macht, kann noch die Zoomstellung derart angepasst werden, dass der im Objektbild dargestellte Bildausschnitt so weit ausgedehnt wird, dass sich die verringerte Auflösung nicht mehr störend bemerkbar macht. Falls die Einblendung wie in dem in Figur 2 gezeigten Operationsmikroskop 2 beobachterseitig des Zoom-Systems erfolgt, müsste das eingeblendete 3D- Objekt noch an den dargestellte Bildausschnitt angepasst werden. Bei einer Einblendung des 3D-0bjekts objektseitig des Zoom-Systems ist dies dagegen nicht nötig.
Figur 8 zeigt ein Beispiel für das Anpassen der Darstellungseigenschaften eines Einblendbildes, welches ein digitales 3D-0bjekt 200 zeigt, an die Abbildungseigenschaften eines stereoskopischen Objektbildes, in dem der im Objektbild dargestellte Tiefenbereich innerhalb der Stereokomfortzone des Nutzers dargestellt wird. Dass ein im Objektbild dargestellter Tiefenbereich innerhalb der Stereokomfortzone des Nutzers dargestellt wird, wird dadurch erreicht, dass eine vorgegebene maximal zulässige Ausdehnung des
Disparitätsintervalls MDI, mit dem der Tiefenbereich dargestellt wird, im stereoskopischen Objektbild nicht überschritten wird. Die vorgegebene maximal zulässige Ausdehnung des Disparitätsintervalls MDI kann optional von einem Nutzer zuvor an seine Bedürfnisse angepasst worden sein. Dazu ist es vorteilhaft, wenn bspw. die Anpassungsvorrichtung 150 eine Möglichkeit bietet, die maximal zulässige Ausdehnung des Disparitätsintervalls MDI einzustellen. Zudem kann die maximal zulässige Ausdehnung des Disparitätsintervalls MDI weiter optional auch davon abhängig sein, in welchem Abstand der dargestellte Tiefenbereich im stereoskopischen Objektbild vom Nutzer wahrgenommen werden soll. Im aktuellen Beispiel sind die Abbildungseigenschaften des Objektbildes so gewählt, dass die gesamte Tiefenausdehnung des Beobachtungsobjekts 3 innerhalb der maximal zulässigen Ausdehnung des Disparitätsintervalls MDI liegt.
Dass die gesamte Tiefenausdehnung des Beobachtungsobjekts 3 innerhalb der maximal zulässigen Ausdehnung des Disparitätsintervalls MDI liegt, kann bspw. durch geeignete Werte für die Einstellparameter „Fokusabstand“, „Arbeitsabstand“, und „Zoomstellung“ erreicht werden. Im Falle eines digitalen Operationsmikroskops 2‘ kann dies statt einer geeigneten Einstellung der Werte der genannten Einstellparameter des Operationsmikroskops auch durch eine in der digitalen Bildverarbeitungseinheit 66 durchgeführten Transformation der Disparitätswerte im stereoskopischen Objektbild erreicht werden. So können Disparitätswerte aus einem Disparitätsintervall, dessen Ausdehnung größer als die maximal zulässige Ausdehnung des Disparitätsintervalls ist, mittels einer linearen oder nichtlinearen Transformation auf ein Disparitätsintervall abgebildet werden, dessen Ausdehnung der maximal zulässigen Ausdehnung des Disparitätsintervalls entspricht.
Figur 10 zeigt ein Beispiel, in dem Ausgangsdisparitätswerte Da eines Objektbildes in einem Disparitätsintervall Dia liegen, dessen Ausdehnung größer als die maximal zulässige Ausdehnung des Disparitätsintervalls MDI ist. Mittels einer linearen Transformation werden die Ausgangsdisparitätswerte Da derart auf neue Disparitätswerte Dn abgebildet, dass die neue Disparitätswerte Dn des stereoskopischen Objektbildes alle in einem neuen
Disparitätsintervall Din liegen, dessen Ausdehnung der maximal zulässigen Ausdehnung des Disparitätsintervalls MDI entspricht. Mit anderen Worten, mittels der linearen Transformation wird die Ausdehnung des Disparitätsintervalls gestaucht, wodurch der räumliche Eindruck im Objektbild abgeschwächt wird. Selbstverständlich ist es auch eine Option, dass die Ausdehnung des neuen Disparitätsintervalls Dn geringer als die maximal zulässige Ausdehnung des Disparitätsintervalls MDI ist.
Figur 11 zeigt ein weiteres Beispiel, in dem Ausgangsdisparitätswerte Da eines Objektbildes in einem Disparitätsintervall Dia liegen, dessen Ausdehnung größer als die maximal zulässige Ausdehnung des Disparitätsintervalls MDI ist. Im Unterscheid zu dem in Figur 10 gezeigten Beispiel erfolgt jedoch eine nichtlineare Transformation statt einer linearen Transformation. In der nichtlinearen Transformation werden die kleinen Ausgangsdisparitätswerte Da des Ausgangsdisparitätsintervalls Da weniger stark gestaucht als die großen Ausgangsdisparitätswerte Da des Ausgangsdisparitätsintervalls Da. Dadurch wird der räumliche Eindruck von weiter entfernt wahrgenommenen Objektabschnitte weniger reduziert als der räumliche Eindruck von näher wahrgenommenen Objektabschnitten.
Statt einer Stauchung der Ausdehnung des Disparitätsintervalls kann mittels einer linearen oder nichtlinearen Transformation auch eine Streckung der Ausdehnung des Disparitätsintervalls erfolgen, um den räumlichen Eindruck im Objektbild zu verstärken.
Im aktuellen Beispiel weist das 3D-0bjekt eine Tiefenausdehnung TA auf, die dazu führt, dass es bei einer Einblendung in seiner vorgesehenen Lage in Bezug auf das Beobachtungsobjekt 3 der Objektabschnitt 200A in dem mit dem Einblendbild überlagerten Objektbild oberhalb des Beobachtungsobjekts 3 wahrgenommen würde, was bedeutet, dass sich die Disparitätswerte im überlagerten Bild über ein Disparitätsintervall erstrecken würde, das größer als das maximal zulässige Disparitätsintervall ist. Dadurch würde die Stereokomfortzone des Nutzers verlassen.
Daher werden im aktuellen Beispiel von den Objektabschnitten 200A, 200B, 200C des 3D-0bjekts nur diejenigen Objektabschnitte 200B, 200C in das
Objektbild eingeblendet, deren Disparitätswerte sich in der vorgesehenen Lage des digitalen 3D-Objekts in Bezug auf das Beobachtungsobjekt 3 innerhalb der maximal zulässigen Ausdehnung des Disparitätsintervalls MDI liegen (rechte Seite der Figur 8). Die übrigen Objektabschnitte 200A werden dagegen aus dem Einblendbild entfernt.
Durch das Abschneiden entsteht ein abrupter Übergang. Um einen solchen abrupten Übergang zu vermeiden besteht aber auch die Möglichkeit, einen graduellen Übergang herbeizuführen. Dies kann beispielsweise dadurch geschehen, dass Objektabschnitte, die sich innerhalb oder außerhalb des Disparitätsintervalls mit der maximal zulässigen Ausdehnung in der Nähe seiner Grenze befinden, mittels einer Veränderung ihres Farbtons, einer Verringerung ihrer Farbsättigung, einer Erhöhung ihrer Transparenz, etc. graduell ausgeblendet werden. Dabei kann eine Abwägung stattfinden, ob Bildinhalte oder die Einhaltung der Stereokomfortzone Vorrang haben. Im ersten Fall könnte die Ausblendung erst außerhalb des Disparitätsintervalls mit der maximal zulässigen Ausdehnung beginnen, sodass das keine Objektabschnitte innerhalb des Disparitätsintervalls mit der maximal zulässigen Ausdehnung ausgeblendet werden. Im zweiten Fall könnte die Ausblendung dagegen bereits innerhalb des Disparitätsintervalls mit der maximal zulässigen Ausdehnung beginnen, sodass sie am Rand des Disparitätsintervalls mit der maximal zulässigen Ausdehnung bereits beendet ist und somit außerhalb der Stereokomfortzone SKZ kein Objektabschnitt des 3D-Objekts mehr dargestellt wird. Selbstverständlich kann das graduelle Ausblenden auch innerhalb des Disparitätsintervalls mit der maximal zulässigen Ausdehnung beginnen und erst außerhalb des Disparitätsintervalls mit der maximal zulässigen Ausdehnung enden. Welche Variante gewählt wird, kann auch von den Vorlieben des Nutzers des Operationsmikroskops 2 abhängig gemacht werden. Es ist daher vorteilhaft, wenn die Anpassungsvorrichtung 150 eine Möglichkeit bietet, einzustellen, wo das graduelle Ausblenden beginnen und enden soll.
Statt des Ausblendens derjenigen Objektabschnitte, die außerhalb des Disparitätsintervalls mit seiner maximal zulässigen Ausdehnung liegen, besteht auch die Möglichkeit, die Disparitätswerte im stereoskopischen
Einblendbild mittels einer linearen Transformation, wie beispielhaft in Figur 10 gezeigt ist, oder mittels einer nichtlinearen Transformation, wie beispielhaft in Figur 11 gezeigt ist, so zu verändern, dass die veränderten Disparitätswerte bei der Einblendung des stereoskopischen Einblendbildes in das stereoskopische Objektbild alle innerhalb des Disparitätsintervalls mit seiner maximal zulässigen Ausdehnung liegen. Mit anderen Worten, mittels der Transformation kann der räumliche Eindruck des 3D-0bjekts so weit gestaucht werden dass er innerhalb der Stereokomfortzone des Nutzers liegt. Dies ist insbesondere dann vorteilhaft, wenn die Darstellung aller Objektabschnitte des 3D-0bjekts für den Nutzer wichtig ist. Ist andererseits die räumliche Wahrnehmung des 3D-0bjekts wichtiger als die Darstellung aller Objektabschnitte, kann es vorteilhaft sein, Objektabschnitte wegzulassen, wie dies wie mit Bezug auf Figur 8 beschrieben worden ist.
Figur 9 zeigt ein Beispiel für das Anpassen der Darstellungseigenschaften eines ein 2D-0bjekt darstellenden Einblendbildes an die Abbildungseigenschaften des Objektbildes. Insbesondere erfolgt in diesem Beispiel eine Einblenden des 2D-Objekts mittels eines stereoskopischen Einblendbilds in ein stereoskopisches Objektbild, sodass das das eingeblendete 2D-0bjekt, das bspw. Markierungen oder Textinformationen repräsentieren kann, vom Betrachter des mit dem stereoskopischen Einblendbild überlagerten stereoskopischen Objektbildes in einer bestimmten Einblendebene wahrgenommen wird. Durch geeignete Wahl der Disparität der stereoskopischen Teilbilder des Einblendbildes kann die Lage dieser Einblendebene in Bezug auf das Beobachtungsobjekts 3 festgelegt werden. Dabei kann es jedoch vorkommen, dass Markierungen, Textinformationen oder andere 2D-Objekte vollständig oder teilweise hinter den Bereichen des Beobachtungsobjektes 3 wahrgenommen werden, die sie bspw. markieren oder beschriften sollen. Eine solche Wahrnehmung von Markierungen oder Textinformationen hinter den Bereichen des Beobachtungsobjektes 3, die sie markieren oder beschriften sollen, wird von den meisten Nutzern als irritierend empfunden.
Im Rahmen des in Figur 9 dargestellten Beispiels erfolgt eine Anpassung der Disparität der beiden stereoskopischen Teilbilder des stereoskopischen
Einblendbilds an die die Stereokomfortzone bestimmende maximale Ausdehnung des Disparitätsintervalls MDI und der Tiefenverteilung T des Beobachtungsobjekts 3. Dabei ist darauf hinzuweisen, dass für die mit Bezug auf Figur 9 beschriebene Anpassung vorausgesetzt wird, dass die Oberfläche des Beobachtungsobjekts 3 innerhalb der Stereokomfortzone liegt, also innerhalb der die Stereokomfortzone repräsentierenden maximalen Ausdehnung des Disparitätsintervalls MDI.
Für das Anpassen der Disparität der stereoskopischen Teilbilder des das 2D- Objekt wiedergebenden stereoskopischen Einblendbildes empfängt die Anpassungsvorrichtung 150 in Schritt 320 zuerst von einer der externen oder internen Datenquellen das einzublendende 2D-0bjekt. In Schritt 330 empfängt sie von der der Abbildungseigenschaft-Ermittlungsvorrichtung 115 die ermittelten Abbildungseigenschaften des Objektbildes, insbesondere die Lage und die Ausdehnung des Disparitätsintervalls. Lage und Ausdehnung des Disparitätsintervalls können dabei bspw. relativ zur Hauptebene des Hauptobjektivs oder in einem globalen dreidimensionalen Koordinatensystem, etwa dem Koordinatensystem eines Navigationssystems, angegeben sein. Außerdem empfängt die Anpassungsvorrichtung 150 in Schritt 330 auch die Tiefenverteilung T des Beobachtungsobjekts 3 von einer Tiefenverteilung- Erfassungsvorrichtung, etwa dem Time-of-Flight-Sensor 4. Wie die Lage und die Ausdehnung der des Disparitätsintervalls kann die Tiefenverteilung T relativ zur Hauptebene des Hauptobjektivs oder in einem globalen dreidimensionalen Koordinatensystem angegeben sein. Anhand der Lage und der Ausdehnung des Disparitätsintervalls sowie der Tiefenverteilung T des Beobachtungsobjekts 3 ermittelt die Anpassungsvorrichtung 150 dann in Schritt 340 eine angepasste Disparität, mit der das 2D-0bjekt im stereoskopischen Einblendbild dargestellt werden soll, damit es in dem mit dem Einblendbild überlagerten Objektbild knapp oberhalb der Oberfläche des Beobachtungsobjekts 3 wahrgenommen wird, also die Einblendebene EE, in der das 2D-0bjekt eingeblendet wird, knapp oberhalb der Oberfläche des Beobachtungsobjekts 3 innerhalb der Stereokomfortzone liegt. Die angepasste Disparität wird dann an die Einblendbild-Erzeugungsvorrichtung 120 ausgegeben, die in Schritt 350 stereoskopische Einblendteilbilder mit der angepassten Disparität generiert. Durch diese Anpassung der Disparität lässt
sich vermeiden, dass 2D-Objekte wie etwa Markierungen oder Textinformationen vollständig oder teilweise unter denjenigen Bereichen des Beobachtungsobjektes liegend wahrgenommen werden, die sie markieren oder beschriften sollen.
Für den Fall, dass das auch die Oberfläche einschließende Disparitätsintervall eine größere Ausdehnung als die maximal zulässige Ausdehnung des Disparitätsintervalls MDI aufweist, können die Disparitätswerte im stereoskopischen Objektbild von der digitalen Bildverarbeitungseinheit 66 mittels einer linearen oder nichtlinearen Transformation, wie sie mit Bezug auf Figur 10 bzw. Figur 11 beschrieben worden ist, transformiert werden. Dabei können die Disparitätswerte des stereoskopischen Objektbildes so transformiert werden, dass die Ausdehnung des die Oberfläche einschließenden Disparitätsintervalls nach der Transformation die maximal zulässige Ausdehnung des Disparitätsintervalls MDI nicht mehr überschreitet. Danach können dann die Disparitätswerte des stereoskopischen Einblendbildes wie oben beschrieben derart angepasst werden, dass die Einblendebene EE, in der das 2D-0bjekt eingeblendet wird, knapp oberhalb der Oberfläche des Beobachtungsobjekts 3 und noch innerhalb des Disparitätsintervalls mit der maximal zulässigen Ausdehnung liegt
Falls das 2D-0bjekt nur in einen bestimmten lateralen Abschnitt LA des stereoskopischen Objektbildes eingeblendet werden soll, besteht auch die Möglichkeit, die Disparität der stereoskopischen Einblendteilbilder so einzustellen, dass das 2D-0bjekt in einer Einblendebene EE' knapp oberhalb der lokalen Oberfläche dieses lateralen Abschnitts LA dargestellt wird. Diese Einblendebene EE' kann dabei auch unterhalb der Oberfläche von Bereichen des Beobachtungsobjekts 3 liegen, die sich außerhalb bestimmten lateralen Abschnitt LA befinden, wie dies in Figur 9 ebenfalls dargestellt ist. In diesem Fall ist es daher auch nicht notwendig, dass die gesamte Oberfläche des Beobachtungsobjekts 3 innerhalb der maximal zulässigen Ausdehnung des Disparitätsintervalls MDI, also innerhalb der Stereokomfortzone, liegt. Es ist lediglich erforderlich, dass die Oberfläche des lateralen Abschnitts LA innerhalb der maximal zulässigen Ausdehnung des Disparitätsintervalls MDI, d.h. innerhalb der Stereokomfortzone liegt.
Häufig sind in ein mit einem optischen Beobachtungsgerät 2, 2‘ gewonnenes Objektbild einzublendende 3D-Objekte 200 in einer Richtung entlang der optischen Achse des optischen Beobachtungsgeräts 2, 2‘ ausgedehnter als die Ausdehnung des Tiefenschärfebereichs S der mit dem optischen Beobachtungsgerät 2, 2‘ erzielten Abbildung. Daher besteht vorliegenden exemplarischen Ausführungsbeispiel eine Möglichkeit der Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes. Im vorliegenden exemplarischen Ausführungsbeispiel werden die Lage der Fokusebene FE und die Ausdehnung des Tiefenschärfebereichs S des Objektbildes als Abbildungseigenschaften des Objektbildes ermittelt, und es wird wenigstens eine Darstellungseigenschaft des Einblendbilds an die Lage der Fokusebene FE sowie an die Ausdehnung des Tiefenschärfebereichs S angepasst. Die Anpassung der Darstellungseigenschaft des Einblendbilds kann etwa darin bestehen, die Darstellung des 3D-0bjekts 200 im Einblendbild auf den Tiefenschärfebereich S des Objektbildes zu beschränken, beispielsweise durch Beschneiden des 3D-Objekts 200 im Einblendbild. Sie kann aber auch darin bestehen, die Transparenz des im Einblendbild dargestellten 3D-Objekts 200 außerhalb des Tiefenschärfebereichs S zu erhöhen, die Farbsättigung des im Einblendbild dargestellten 3D-Objekts 200 außerhalb des Tiefenschärfebereichs S zu verringern oder die Darstellungsschärfe des im Einblendbild dargestellten 3D-Objekts 200 außerhalb des Tiefenschärfebereichs S zu verringern. Auch eine Kombination der genannten Maßnahmen, wie bspw. eine Kombination der Erhöhung der Transparenz des im Einblendbild dargestellten 3D-0bjekts 200 außerhalb des Tiefenschärfebereichs S mit einer Verringerung der Farbsättigung und/oder mit einer Verringerung der Darstellungsschärfe ist möglich. Eine derartige Anpassung ist schematisch in Figur 12 gezeigt. Die Figur zeigt stark schematisiert ein Operationsmikroskop 2, 2' sowie die Fokusebene FE des Operationsmikroskops 2, 2' und die Ausdehnung des Tiefenschärfebereichs S um die Fokusebene FE. Ebenfalls schematisch dargestellt ist ein mittels eines Einblendbildes eingeblendetes 3D-0bjekt 200. Das 3D-0bjekt 200 ragt teilweise in den Tiefenschärfebereich S des Operationsmikroskops 2, 2' hinein, liegt aber zum größten Teil unterhalb des Tiefenschärfebereichs S, d. h. zum
größten Teil entlang der optischen Achse (z-Richtung) weiter vom Operationsmikroskop 2, 2' entfernt als der Tiefenschärfebereich S des Operationsmikroskops 2, 2'. Der außerhalb des Tiefenschärfebereichs S liegende Abschnitt des 3D-0bjekts 200 ist in Figur 12 gestrichelt dargestellt, um zu signalisieren, dass eine Darstellungseigenschaft des Einblendbildes derart an die Lage der Fokusebene FE und die Ausdehnung des Tiefenschärfenbereichs S, angepasst ist, dass das 3D-0bjekt außerhalb des Tiefenschärfebereichs S anders als innerhalb des Tiefenschärfebereichs S dargestellt wird. Im vorliegenden Beispiel ist das Einblendbild derart an die Lage der Fokusebene und die Ausdehnung des Tiefenschärfebereichs S angepasst, dass das 3D-0bjekt außerhalb des Tiefenschärfebereichs S mit erhöhter Transparenz dargestellt wird. Die anderen beschriebenen Anpassungen wie beispielsweise das Darstellen des 3D-0bjekts 200 mit geringerer Farbsättigung, das Darstellen des 3D-0bjekts 200 mit geringerer Darstellungsschärfe oder das Abschneiden des 3D-0bjekts 200 außerhalb des Tiefenschärfebereichs S sind dabei ebenso möglich. Außerdem können die beschriebenen Anpassungen auch miteinander kombiniert werden.
Es gibt jedoch auch Situationen, in denen Bereiche des 3D-0bjekts 200 visualisiert werden sollen, die teilweise oder vollständig außerhalb des Tiefenschärfebereichs S des Objektbildes liegen. Beispielsweise kann es die Anpassungsvorrichtung 150 ermöglichen, derart auf die Einblendbild- Erzeugungsvorrichtung 120 einzuwirken, dass das Einblendbild eine virtuelle Fokusebene vFE aufweist, die gegenüber der Fokusebene FE des Objektbildes um einen Betrag Az entlang der optischen Achse verschoben ist wie dies schematisch in Figur 13 dargestellt ist. Insbesondere kann die Anpassungsvorrichtung 150 dazu eingebildet sein, einen frei wählbaren Wert für die Verschiebung Az einzustellen. Mit anderen Worten, das 3D-0bjekt 200 soll in einer vom Anwender frei wählbaren anderen Ebene scharf dargestellt werden als das reale Beobachtungsobjekt. Die Verschiebung Az der virtuellen Fokusebene vFE des Einblendbildes in Bezug auf die Fokusebene FE des Objektbildes stellt dabei auch eine Anpassung einer Darstellungseigenschaft des Einblendbildes an eine Abbildungseigenschaft des Objektbildes dar, nämlich das Einbringen oder Verändern eines Offsets der (virtuellen) Fokusebene vFE des Einblendbildes (Darstellungseigenschaft des
Einblendbildes) in Bezug auf die (reelle) Fokusebene FE der mit dem Operationsmikroskop 2, 2‘ erzeugten Abbildung (Abbildungseigenschaft des Objektbildes).
Durch die Verschiebung der virtuelle Fokusebene vFE des Einblendbildes können Strukturen des 3D-0bjekts scharf dargestellt, die unterhalb des im Tiefenschärfebereich S dargestellten Abschnitts des Beobachtungsobjekts liegen. Auf diese Weise kann beispielsweise ein Chirurg abschätzen, wie tief unterhalb des im Tiefenschärfebereich S dargestellten Abschnitt des Beobachtungsobjekts die entsprechende Struktur des 3D-Objekts 200 liegt. In diesem Fall ist es wünschenswert, dass um die virtuelle Fokusebene vFE herum ein virtueller Tiefenschärfebereich vS vorliegt, in dem das einzublendende 3D-0bjekt deutlich dargestellt ist. Außerhalb dieses virtuellen Tiefenschärfebereichs vS wird die Darstellung des 3D-Objekts'200 im Einblendbild angepasst, um beispielsweise zu verhindern, dass die im virtuellen Tiefenschärfebereich vS liegenden Abschnitte des 3D-0bjekts 200 von im Einblendbild darüberliegenden Abschnitten des 3D-0bjekts 200 verdeckt werden. Die Anpassung, die in Figur 13 durch eine gestrichelte Darstellung des 3D-0bjekts 200 symbolisiert ist, erfolgt im vorliegenden exemplarischen Ausführungsbeispiel, indem das 3D-0bjekt 200 im Einblendbild lediglich in einem Bereich scharf dargestellt wird, der zwischen zwei zur virtuellen Fokusebene vFE parallel verlaufenden Schnittebenen SE liegt. Im radikalsten Fall kann die Darstellung des 3D-0bjekts 200 im Einblendbild entlang der Schnittebenen SE beschnitten werden, so dass lediglich der zwischen den Schnittebenen SE liegende, scharf dargestellte Abschnitt des 3D-0bjekts 200 zu sehen ist. Alternative Möglichkeiten der Anpassung bestehen darin, alle außerhalb der parallelen Schnittebenen SE gelegenen Abschnitte des 3D-0bjekts 200 im Einblendbild mit einer höheren Transparenz und/oder einer geringeren Farbsättigung und/oder einer geringeren Schärfe der Darstellung zu versehen, um den zwischen den Schnittebenen liegenden Bereich des 3D-0bjekts 200 gegenüber den außerhalb der Schnittebenen SE liegenden Bereiche des 3D-Objekts'200 hervorzuheben.
Obwohl der Tiefenschärfebereich S des Objektbildes und der virtuelle Tiefenschärfebereich vS in dem in Figur 13 dargestellten Beispiel einander nicht überlappen und einander auch nicht berühren, kann die dem Tiefenschärfebereich S des Objektbildes zugewandte Schnittebene SE mit der Grenze des Tiefenschärfebereich S im Objektbild zusammenfallen, sodass der Eindruck entsteht, dass sich die Darstellung des 3D Objekts 200 unmittelbar an die reale Darstellung des Beobachtungsobjekts anschließt. Zudem besteht die Möglichkeit, dass der Tiefenschärfebereich S des Objektbildes mit dem virtuellen Tiefenschärfebereich vS des Einblendbildes überlappt. In diesem Fall kann es sinnvoll sein, die Darstellung des 3D-Objekts 200 im Überlappbereich anzupassen, beispielsweise auszublenden, mit hoher Transparenz, niedriger Farbsättigung oder niedriger Darstellungsschärfe zu versehen, obwohl dieser Bereich zwischen den beiden Schnittebenen SE des virtuellen Tiefenschärfebereich vS liegt. Auch dies stellt eine Anpassung einer Darstellungseigenschaft des Einblendbildes an eine Abbildungseigenschaft des Objektbildes, nämlich an die Lage der Fokusebene FE und an die Ausdehnung des Tiefenschärfebereichs S, dar.
Die vorliegende Erfindung wurde zu Erläuterungszwecken anhand von exemplarischen Ausführungsbeispielen im Detail beschrieben. Ein Fachmann versteht jedoch, dass im Rahmen der Erfindung von den exemplarischen Ausführungsbeispielen abgewichen werden kann. Die vorliegende Erfindung soll daher nicht durch die exemplarischen Ausführungsbeispiele beschränkt sein, sondern ausschließlich durch die beigefügten Ansprüche.
2, 2‘ Operationsm ikroskop
3 Beobachtungsobjekt 4 Time-of-Flight-Sensor 5 Objektiv 7A;B divergentes Strahlenbündel 9A,B stereoskopischer Teilstrahlengang 11 Vergrößerungswechsler 13A,B Schnittstellenanordnung 15A,B Strahlteilerprisma 27 Binokulartubus 29A,B Tubusobjektiv 31A,B Zwischenbildebene 33A,B Prisma 35A,B Okularlinse 37A,B Display 39A,B Optik 41 Weißlichtquelle 43 Umlenkspiegel 45 Beleuchtungsoptik 49A,B Fokussierlinse 50 Vario-Objektiv 51 Positivglied 52 Negativglied 53 Verschiebeweg 61A,B Bildsensor 63A,B Display 65A,B Okularlinse 66 digitale Bildverarbeitungseinheit 67A,B Kabel 100 Mikroskopsteuerung 110 Einstellparameter-Erfassungsvorrichtung 115 Abbildungseigenschaft-Ermittlungsvorrichtung 120 Einblendbild-Erzeugungsvorrichtung 130 externe Datenquellen 140 interne Datenquellen
150 Anpassungsvorrichtung
200 digitales Objekt
200A;B;C Objektabschnitte
300 Tiefenausdehnung ermitteln 310 Abbildungsparameter anpassen
320 Objekt empfanen
330 Abbildungseigenschaften und Tiefenverteilung empfangen
340 angepasste Disparität ermitteln
350 stereoskopische Teilbilder anpassen FE Fokusebene
S Ausdehnung des Tiefenschärfebereiches
T Tiefenverteilung
FE Fokusebene
MDI maximal zulässige Ausdehnung des Disparitätsintervalls TA Tiefenausdehnung
Claims
Patentansprüche Verfahren zum Einblenden eines wenigstens ein digitales 2D- oder 3D- Objekt (200) darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät (2, 2‘) gewonnenes und ein Beobachtungsobjekt (3) abbildendes Objektbild, wobei die Abbildung des Beobachtungsobjekts (3) im Objektbild mit wenigstens einer die Abbildung zumindest mitbestimmenden Abbildungseigenschaft erfolgt, wobei wenigstens eine Abbildungseigenschaft des Objektbildes ermittelt wird, und vor dem Einblenden des Einblendbildes in das Objektbild zumindest eine Anpassung wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes auf der Basis der wenigstens einen ermittelten Abbildungseigenschaft vorgenommen wird, wobei die wenigstens eine Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften ist:
(a) die Lage der Fokusebene der Abbildung,
(b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung,
(c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt (3) im Falle eines stereoskopischen Objektbildes dargestellt wird. Verfahren nach Anspruch 1 , in dem die Anpassung der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes mittels eines Anpassens des Wertes wenigstens eines Einstellparameters erfolgt. Verfahren nach Anspruch 1 oder Anspruch 2, in dem die Anpassung der wenigstens einen Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes mittels einer digitalen Bildtransformation erfolgt. Verfahren nach einem der Ansprüche 1 bis 3, in dem
das Objektbild ein stereoskopische Objektbildteilbilder aufweisendes stereoskopisches Objektbild ist und die wenigstens eine Abbildungseigenschaft des stereoskopischen Objektbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Objektteilbilder beinhaltet, das Einblendbild ein stereoskopische Einblendteilbilder aufweisendes stereoskopisches Einblendbild ist und die wenigstens eine Darstellungseigenschaft des stereoskopischen Einblendbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Einblendteilbilder beinhaltet, und vor dem Einblenden des stereoskopischen Einblendbilds in das stereoskopische Objektbild wenigstens eine Anpassung der Ausdehnung des Disparitätsintervalls des stereoskopischen Objektbildes an die Ausdehnung des Disparitätsintervalls des stereoskopischen Einblendbildes vorgenommen wird. Verfahren nach einem der Ansprüche 1 bis 4, in dem vor dem Einblenden des Einblendbildes in das Objektbild zumindest eine Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes vorgenommen wird. Verfahren nach Anspruch 5, in dem die Anpassung der wenigsten einen Darstellungseigenschaft des Einblendbildes an die ermittelten Abbildungseigenschaften des Objektbildes wenigstens eine der folgenden Anpassungen einer Darstellungseigenschaft umfasst:
Anpassung der Darstellungsschärfe des wenigstens einen im Einblendbild dargestellten digitalen 2D- oder 3D-Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Darstellungsfarbe des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Transparenz der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung durch ein Beschneiden der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D- Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Lage der Fokusebene (vFE) des Einblendbildes durch Einbringen oder Verändern eines Offsets (Az) zwischen der Lage der Fokusebene (FE) der Abbildung und der Lage der Fokusebene (vFE) des Einblendbildes. Verfahren zum Einblenden eines wenigstens ein digitales 2D- oder 3D- Objekt (200) darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät (2, 2‘) gewonnenes und ein Beobachtungsobjekt (3) abbildendes Objektbild, wobei die Abbildung des Beobachtungsobjekts (3) im Objektbild mit wenigstens einer die Abbildung zumindest mitbestimmenden Abbildungseigenschaft erfolgt, wobei wenigstens eine Abbildungseigenschaft des Objektbildes ermittelt wird, und vor dem Einblenden des Einblendbildes in das Objektbild zumindest eine Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes vorgenommen wird, wobei die wenigstens eine Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften ist:
(a) die Lage der Fokusebene der Abbildung,
(b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung,
(c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt (3) im Falle eines stereoskopischen Objektbildes dargestellt wird, und die Anpassung der wenigsten einen Darstellungseigenschaft des Einblendbildes an die ermittelten Abbildungseigenschaften des
Objektbildes wenigstens eine der folgenden Anpassungen einer Darstellungseigenschaft umfasst:
Anpassung der Darstellungsschärfe des wenigstens einen im Einblendbild dargestellten digitalen 2D- oder 3D-Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Darstellungsfarbe des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Transparenz der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung durch ein Beschneiden der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D- Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Lage der Fokusebene (vFE) des Einblendbildes durch Einbringen oder Verändern eines Offsets (Az) zwischen der Lage der Fokusebene (FE) der Abbildung und der Lage der Fokusebene (vFE) des Einblendbildes. Verfahren nach Anspruch 7, in dem das Objektbild ein stereoskopische Objektbildteilbilder aufweisendes stereoskopisches Objektbild ist und die wenigstens eine Abbildungseigenschaft des stereoskopischen Objektbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Objektteilbilder beinhaltet, das Einblendbild ein stereoskopische Einblendteilbilder aufweisendes stereoskopisches Einblendbild ist und die wenigstens eine Darstellungseigenschaft des stereoskopischen Einblendbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Einblendteilbilder beinhaltet, und vor dem Einblenden des stereoskopischen Einblendbilds in das stereoskopische Objektbild wenigstens eine Anpassung der Ausdehnung des Disparitätsintervalls des stereoskopischen
Einblendbildes an die Ausdehnung des Disparitätsintervalls des stereoskopischen Objektbildes vorgenommen wird. Verfahren nach einem der Ansprüche 1 bis 8, das außerdem einen Schritt des Vergleichens der wenigstens einen ermittelten Abbildungseigenschaft mit wenigsten einer vorgesehenen Darstellungseigenschaft des Einblendbildes umfasst und in dem die wenigstens eine Anpassung in Abhängigkeit vom Vergleichsergebnis erfolgt. Verfahren nach einem der Ansprüche 1 bis 9, in dem außerdem die Tiefenverteilung (T) des Beobachtungsobjekts (3) erfasst wird, und die erfasste Tiefenverteilung (T) bei mindestens einer der vor dem Einblenden des Einblendbilds in das Objektbild vorgenommenen Anpassungen berücksichtigt wird. Verfahren nach einem der Ansprüche 1 bis 10, in dem der Wert wenigstens eines Einstellparameters des optischen Beobachtungsgeräts (2, 2‘) erfasst wird und die wenigstens eine Abbildungseigenschaft anhand des erfassten Wertes des wenigstens einen Einstellparameters des optischen Beobachtungsgeräts (2, 2‘) ermittelt wird. Optisches Beobachtungssystem mit einem optischen Beobachtungsgerät (2, 2‘) zum Erzeugen eines Objektbildes von einem Beobachtungsobjekt (3), einer Einblendbild-Erzeugungsvorrichtung (120) zum Erzeugen eines wenigstens ein digitales 2D- oder 3D-0bjekt (200) darstellenden Einblendbildes; einer Einblendvorrichtung (15, 37, 39) zum Einblenden des Einblendbildes in das Objektbild (digital oder optisch), um das wenigstens eine digitale 2D- oder 3D-0bjekt (200) dem in dem Objektbild dargestellten Beobachtungsobjekt (3) zu überlagern,
einer Einstellvorrichtung (100), die dazu eingerichtet ist, eine Einstellung wenigstens einer die Abbildung des Beobachtungsobjekts (3) im Objektbild beeinflussenden Abbildungseigenschaft zu ermöglichen, einer Abbildungseigenschaft-Ermittlungsvorrichtung (115), die dazu eingerichtet ist, wenigsten eine eingestellte Abbildungseigenschaft der Abbildung des Beobachtungsobjekts (3) im Objektbild zu ermitteln, und einer Anpassungsvorrichtung (150), die dazu eingerichtet ist, vor dem Einblenden des Einblendbilds in das Objektbild zumindest eine Einwirkung auf die Einstellvorrichtung (100) zum Anpassen wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes auf der Basis der wenigstens einen ermittelten Abbildungseigenschaft vorzunehmen, wobei die wenigstens eine Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften ist:
(a) die Lage der Fokusebene der Abbildung,
(b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung,
(c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt (3) im Falle eines stereoskopischen Objektbildes dargestellt wird. Optisches Beobachtungssystem nach Anspruch 12, in dem die Einstellvorrichtung (100) dazu eingerichtet ist, zum Einstellen der Abbildungseigenschaft eine Einstellung des Wertes wenigstens eines Einstellparameters des optischen Beobachtungsgeräts (2, 2‘) vorzunehmen, und die Anpassungsvorrichtung (150) dazu eingerichtet ist, derart auf die Einstellvorrichtung (100) einzuwirken, dass über eine Anpassung des Wertes wenigstens eines Einstellparameters die Anpassung der ermittelten Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes erfolgt.
14. Optisches Beobachtungssystem nach Anspruch 12 oder Anspruch 13, in dem die Anpassungsvorrichtung (150) eine digitale Bildtransformationseinheit zum Transformieren des Objektbildes umfasst.
15. Optisches Beobachtungssystem nach einem der Ansprüche 12 bis 14, in dem das optische Beobachtungsgerät (2, 2‘) zum Erzeugen eines stereoskopische Objektbildteilbilder aufweisenden stereoskopischen Objektbildes von einem Beobachtungsobjekt (3) ausgebildet ist und die wenigstens eine Abbildungseigenschaft des stereoskopischen Objektbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Objektteilbilder beinhaltet, die Einblendbild-Erzeugungsvorrichtung (120) zum Erzeugen eines stereoskopische Einblendteilbilder aufweisenden stereoskopischen Einblendbild ausgebildet ist und die wenigstens eine Darstellungseigenschaft des stereoskopischen Einblendbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Einblendteilbilder beinhaltet, und die Anpassungsvorrichtung (150) dazu eingerichtet ist, vor dem Einblenden des stereoskopischen Einblendbilds in das stereoskopische Objektbild zumindest eine Einwirkung auf die Einstellvorrichtung (100) zum Anpassen der Ausdehnung des Disparitätsintervalls des stereoskopischen Objektbildes an die Ausdehnung des Disparitätsintervalls des stereoskopischen Einblendbildes vorzunehmen.
16. Optisches Beobachtungssystem nach einem der Ansprüche 12 bis 15, in dem die Anpassungsvorrichtung (150) dazu eingerichtet ist, vor dem Einblenden des Einblendbilds in das Objektbild zumindest eine Einwirkung auf die Einblendbild-Erzeugungsvorrichtung (120) zum Anpassen wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes vorzunehmen.
Optisches Beobachtungssystem nach Anspruch 16, in dem die Anpassungsvorrichtung (150) dazu eingerichtet ist, derart auf die Einblendbild-Erzeugungsvorrichtung (120) einzuwirken, dass zum Anpassen der Darstellungseigenschaften des Einblendbilds an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes wenigstens eine der folgenden Anpassungen erfolgt:
Anpassung der Darstellungsschärfe des wenigstens einen im Einblendbild dargestellten digitalen 2D- oder 3D-Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Darstellungsfarbe des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Transparenz der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung durch ein Beschneiden der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D- Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Lage der Fokusebene (vFE) des Einblendbildes durch Einbringen oder Verändern eines Offsets (Az) zwischen der Lage der Fokusebene (FE) der Abbildung und der Lage der Fokusebene (vFE) des Einblendbildes. Optisches Beobachtungssystem mit einem optischen Beobachtungsgerät (2, 2‘) zum Erzeugen eines Objektbildes von einem Beobachtungsobjekt (3), einer Einblendbild-Erzeugungsvorrichtung (120) zum Erzeugen eines wenigstens ein digitales 2D- oder 3D-0bjekt (200) darstellenden Einblendbildes; einer Einblendvorrichtung (15, 37, 39) zum Einblenden des Einblendbildes in das Objektbild (digital oder optisch), um das wenigstens eine digitale 2D- oder 3D-0bjekt (200) dem in dem Objektbild dargestellten Beobachtungsobjekt (3) zu überlagern,
einer Einstellvorrichtung (100), die dazu eingerichtet ist, eine Einstellung wenigstens einer die Abbildung des Beobachtungsobjekts (3) im Objektbild beeinflussenden Abbildungseigenschaft zu ermöglichen, einer Abbildungseigenschaft-Ermittlungsvorrichtung (115), die dazu eingerichtet ist, wenigsten eine eingestellte Abbildungseigenschaft der Abbildung des Beobachtungsobjekts (3) im Objektbild zu ermitteln, und einer Anpassungsvorrichtung (150), die dazu eingerichtet ist, vor dem Einblenden des Einblendbilds in das Objektbild zumindest eine Einwirkung auf die Einblendbild-Erzeugungsvorrichtung (120) zum Anpassen wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes vorzunehmen, wobei die wenigstens eine Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften ist:
(a) die Lage der Fokusebene der Abbildung,
(b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung,
(c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt (3) im Falle eines stereoskopischen Objektbildes dargestellt wird, und die Anpassungsvorrichtung (150) dazu eingerichtet ist, derart auf die Einblendbild-Erzeugungsvorrichtung (120) einzuwirken, dass zum Anpassen der Darstellungseigenschaften des Einblendbilds an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes wenigstens eine der folgenden Anpassungen erfolgt:
Anpassung der Darstellungsschärfe des wenigstens einen im Einblendbild dargestellten digitalen 2D- oder 3D-Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Darstellungsfarbe des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Transparenz der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung durch ein Beschneiden der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D- Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Lage der Fokusebene (vFE) des Einblendbildes durch Einbringen oder Verändern eines Offsets (Az) zwischen der Lage der Fokusebene (FE) der Abbildung und der Lage der Fokusebene (vFE) des Einblendbildes. Optisches Beobachtungssystem nach Anspruch 18, in dem das optische Beobachtungsgerät (2, 2‘) zum Erzeugen eines stereoskopische Objektbildteilbilder aufweisenden stereoskopischen Objektbildes von einem Beobachtungsobjekt (3) ausgebildet ist und die wenigstens eine Abbildungseigenschaft des stereoskopischen Objektbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Objektteilbilder beinhaltet, die Einblendbild-Erzeugungsvorrichtung (120) zum Erzeugen eines stereoskopische Einblendteilbilder aufweisenden stereoskopischen Einblendbild ausgebildet ist und die wenigstens eine Darstellungseigenschaft des stereoskopischen Einblendbildes die Ausdehnung des Disparitätsintervalls der stereoskopischen Einblendteilbilder beinhaltet, und die Anpassungsvorrichtung (150) dazu eingerichtet ist, vor dem Einblenden des stereoskopischen Einblendbilds in das stereoskopische Objektbild zumindest eine Einwirkung auf die Einblendbild- Erzeugungsvorrichtung (120) zum Anpassen der Ausdehnung des Disparitätsintervalls des stereoskopischen Einblendbildes an die Ausdehnung des Disparitätsintervalls des stereoskopischen Objektbildes vorzunehmen. Optisches Beobachtungssystem nach einem der Ansprüche 12 bis 19, das außerdem eine Vergleichseinrichtung umfasst, die dazu
ausgestaltet ist, die wenigstens eine ermittelte Abbildungseigenschaft mit wenigsten einer vorgesehenen Darstellungseigenschaft des Einblendbildes zu vergleichen, und in dem die Anpassungsvorrichtung (150) dazu ausgestaltet ist, die wenigstens eine Anpassung in Abhängigkeit vom Vergleichsergebnis vorzunehmen.
21 . Optisches Beobachtungssystem nach einem der Ansprüche 12 bis 20, das außerdem eine Tiefenverteilung-Erfassungsvorrichtung (4) umfasst, die dazu eingerichtet ist, die Tiefenverteilung (T) des Beobachtungsobjekts (3) zu erfassen, und in dem die Anpassungsvorrichtung (150) dazu eingerichtet ist, die erfasste Tiefenverteilung des Beobachtungsobjekts (3) bei der Einwirkung auf die Einstellvorrichtung (100) zum Anpassen der wenigstens einen ermittelten Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes und/oder bei der Einwirkung auf die Einblendbild-Erzeugungsvorrichtung (120) zum Anpassen der Darstellungseigenschaften des wenigstens einen Einblendbilds an die wenigstens eine ermittelte Abbildungseigenschaft des Objektbildes zu berücksichtigen.
22. Optisches Beobachtungssystem nach einem der Ansprüche 12 bis 21 , das eine Einstellparameter-Erfassungsvorrichtung (110) umfasst, die dazu ausgestaltet ist, den Wert des wenigstens eines Einstellparameters des optischen Beobachtungsgeräts (2, 2‘) zu erfassen, und in dem die Abbildungseigenschaft-Ermittlungsvorrichtung (115) dazu ausgelegt ist, die wenigsten eine eingestellte Abbildungseigenschaft anhand des von der Einstellparameter-Erfassungsvorrichtung (110) erfassten Wertes des wenigstens einen Einstellparameters zu ermitteln.
23. Computerimplementiertes Verfahren zum Optimieren des Einblendens eines wenigstens ein digitales 2D- oder 3D-0bjekt (200) darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät (2, 2‘) gewonnenes und ein Beobachtungsobjekt (3) abbildendes Objektbild, wobei die Abbildung des Beobachtungsobjekts (3) im Objektbild mit
wenigstens einer die Abbildung zumindest mitbestimmenden Abbildungseigenschaft, umfassend die Schritte:
Empfangen oder Abrufen des digitalen 2D- oder 3D-0bjekts (200) und seiner Darstellungseigenschaften,
Empfangen oder Abrufen wenigstens einer Abbildungseigenschaft des Objektbildes vom optischen Beobachtungsgerät (2, 2‘), und
Ermitteln und Ausgeben eines Signals, welches dazu ausgestaltet ist, am optischen Beobachtungsgerät (2, 2‘) zumindest eine Anpassung wenigstens einer Abbildungseigenschaft des Objektbildes an wenigstens eine Darstellungseigenschaft des Einblendbildes auf der Basis der wenigstens einen empfangenen oder abgerufenen Abbildungseigenschaft herbeizuführen, wobei die wenigstens eine empfangene oder abgerufene Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften ist:
(a) die Lage der Fokusebene der Abbildung,
(b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung,
(c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt (3) im Falle eines stereoskopischen Objektbildes dargestellt wird.
24. Computerimplementiertes Verfahren nach Anspruch 23, das außerdem ein Ermitteln und Ausgeben eines Signals, welches dazu ausgestaltet ist, am optischen Beobachtungsgerät (2, 2‘) zumindest eine Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine empfangene oder abgerufene Abbildungseigenschaft des Objektbildes vorzunehmen, beinhaltet.
25. Computerimplementiertes Verfahren nach Anspruch 24, die Anpassung der wenigsten einen Darstellungseigenschaft des Einblendbildes an die ermittelten Abbildungseigenschaften des Objektbildes wenigstens eine der folgenden Anpassungen einer Darstellungseigenschaft umfasst:
Anpassung der Darstellungsschärfe des wenigstens einen im Einblendbild dargestellten digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Darstellungsfarbe des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Transparenz der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung durch ein Beschneiden der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D- Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Lage der Fokusebene (vFE) des Einblendbildes durch Einbringen oder Verändern eines Offsets (Az) zwischen der Lage der Fokusebene (FE) der Abbildung und der Lage der Fokusebene (vFE) des Einblendbildes. Computerimplementiertes Verfahren zum Optimieren des Einblendens eines wenigstens ein digitales 2D- oder 3D-0bjekt (200) darstellenden Einblendbildes in ein mit einem optischen Beobachtungsgerät (2, 2‘) gewonnenes und ein Beobachtungsobjekt (3) abbildendes Objektbild, wobei die Abbildung des Beobachtungsobjekts (3) im Objektbild mit wenigstens einer die Abbildung zumindest mitbestimmenden Abbildungseigenschaft, umfassend die Schritte:
Empfangen oder Abrufen des digitalen 2D- oder 3D-0bjekts (200) und seiner Darstellungseigenschaften,
Empfangen oder Abrufen wenigstens einer Abbildungseigenschaft des Objektbildes vom optischen Beobachtungsgerät (2, 2‘), und
Ermitteln und Ausgeben eines Signals, welches dazu ausgestaltet ist, am optischen Beobachtungsgerät (2, 2‘) zumindest eine Anpassung wenigstens einer Darstellungseigenschaft des Einblendbildes an die wenigstens eine empfangene oder abgerufene Abbildungseigenschaft des Objektbildes herbeizuführen,
wobei die wenigstens eine empfangene oder abgerufene Abbildungseigenschaft wenigstens eine aus der folgenden der folgenden Gruppe von Abbildungseigenschaften ist:
(a) die Lage der Fokusebene der Abbildung,
(b) die Ausdehnung des Tiefenschärfenbereichs der Abbildung,
(c) die Ausdehnung des Disparitätsintervalls, mit dem das Beobachtungsobjekt (3) im Falle eines stereoskopischen Objektbildes dargestellt wird, und die Anpassung der wenigsten einen Darstellungseigenschaft des Einblendbildes an die ermittelten Abbildungseigenschaften des Objektbildes wenigstens eine der folgenden Anpassungen einer Darstellungseigenschaft umfasst:
Anpassung der Darstellungsschärfe des wenigstens einen im Einblendbild dargestellten digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Darstellungsfarbe des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Transparenz der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D-0bjekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung durch ein Beschneiden der Darstellung des im Einblendbild dargestellten wenigstens einen digitalen 2D- oder 3D- Objekts (200) oder von Teilen (200A, 200B, 200C) desselben,
Anpassung der Lage der Fokusebene (vFE) des Einblendbildes durch Einbringen oder Verändern eines Offsets (Az) zwischen der Lage der Fokusebene (FE) der Abbildung und der Lage der Fokusebene (vFE) des Einblendbildes. Computerprogramm mit Instruktionen, die, wenn sie von einem Computer ausgeführt werden, diesen veranlassen, die Schritte des computerimplementierten Verfahrens nach einem der Ansprüche 23 bis 26 auszuführen.
Datenverarbeitungseinrichtung mit einem Speicher und einem Prozessor, wobei der Prozessor mittels eines im Speicher gespeicherten Computerprogramms nach Anspruch 27 dazu eingerichtet ist, die Schritte des computerimplementierten Verfahrens nach einem der Ansprüche 23 bis 26 auszuführen.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022129663.6A DE102022129663A1 (de) | 2022-11-09 | 2022-11-09 | Verfahren zum Einblenden eines Einblendbildes, computerimplementiertes Verfahren zum Optimieren des Einblendens eines Einblendbildes sowie Computerprogramm, Datenverarbeitungseinheit und optisches Beobachtungssystem |
DE102022129663.6 | 2022-11-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
WO2024100052A2 true WO2024100052A2 (de) | 2024-05-16 |
WO2024100052A3 WO2024100052A3 (de) | 2024-07-04 |
Family
ID=88833563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2023/081018 WO2024100052A2 (de) | 2022-11-09 | 2023-11-07 | Verfahren zum einblenden eines einblendbildes, computerimplementiertes verfahren zum optimieren des einblendens eines einblendbildes sowie computerprogramm, datenverarbeitungseinheit und optisches beobachtungssystem |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102022129663A1 (de) |
WO (1) | WO2024100052A2 (de) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007120351A2 (en) | 2005-12-30 | 2007-10-25 | Intuitive Surgical, Inc. | Medical robotic system providing three-dimensional telestration |
WO2013103870A1 (en) | 2012-01-04 | 2013-07-11 | The Trustees Of Dartmouth College | Method and apparatus for calibration of stereo-optical three-dimensional surface-mapping system |
DE102014210121A1 (de) | 2014-05-27 | 2015-08-27 | Carl Zeiss Meditec Ag | Operationsmikroskop und bildgeführtes Chirurgiesystem sowie Verfahren zu deren Betrieb |
US20150346472A1 (en) | 2014-05-27 | 2015-12-03 | Carl Zeiss Meditec Ag | Microscope system with depth preview and microscopy method |
US10262453B2 (en) | 2017-03-24 | 2019-04-16 | Siemens Healthcare Gmbh | Virtual shadows for enhanced depth perception |
WO2021149056A1 (en) | 2020-01-22 | 2021-07-29 | Beyeonics Surgical Ltd. | System and method for improved electronic assisted medical procedures |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014119317A1 (de) * | 2014-12-22 | 2016-06-23 | Connaught Electronics Ltd. | Verfahren zur Darstellung eines Bildüberlagerungselements in einem Bild mit 3D-Information, Fahrerassistenzsystem und Kraftfahrzeug |
US20160343173A1 (en) * | 2015-05-20 | 2016-11-24 | Daqri, Llc | Acousto-optical display for augmented reality |
CN104967837A (zh) * | 2015-06-30 | 2015-10-07 | 西安三星电子研究有限公司 | 用于调整三维显示效果的设备和方法 |
US10044925B2 (en) * | 2016-08-18 | 2018-08-07 | Microsoft Technology Licensing, Llc | Techniques for setting focus in mixed reality applications |
KR101919077B1 (ko) * | 2017-08-24 | 2018-11-16 | 에스케이텔레콤 주식회사 | 증강 현실 표시 방법 및 장치 |
-
2022
- 2022-11-09 DE DE102022129663.6A patent/DE102022129663A1/de active Pending
-
2023
- 2023-11-07 WO PCT/EP2023/081018 patent/WO2024100052A2/de active Search and Examination
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007120351A2 (en) | 2005-12-30 | 2007-10-25 | Intuitive Surgical, Inc. | Medical robotic system providing three-dimensional telestration |
WO2013103870A1 (en) | 2012-01-04 | 2013-07-11 | The Trustees Of Dartmouth College | Method and apparatus for calibration of stereo-optical three-dimensional surface-mapping system |
DE102014210121A1 (de) | 2014-05-27 | 2015-08-27 | Carl Zeiss Meditec Ag | Operationsmikroskop und bildgeführtes Chirurgiesystem sowie Verfahren zu deren Betrieb |
US20150346472A1 (en) | 2014-05-27 | 2015-12-03 | Carl Zeiss Meditec Ag | Microscope system with depth preview and microscopy method |
US10262453B2 (en) | 2017-03-24 | 2019-04-16 | Siemens Healthcare Gmbh | Virtual shadows for enhanced depth perception |
WO2021149056A1 (en) | 2020-01-22 | 2021-07-29 | Beyeonics Surgical Ltd. | System and method for improved electronic assisted medical procedures |
Non-Patent Citations (1)
Title |
---|
KALIA, M., SCHULTE ZU BERGE, C., ROODAKI, H., CHAKRABORTY, C., NAVAB, N.: "Lecture Notes in Computer Science", vol. 9805, 2016, SPRINGER, article "Medical Imaging and Augmented Reality" |
Also Published As
Publication number | Publication date |
---|---|
WO2024100052A3 (de) | 2024-07-04 |
DE102022129663A1 (de) | 2024-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3108282B1 (de) | Operationsmikroskop und erzeugung eines beobachtungsbildes eines objektbereichs in einem operationsmikroskop | |
EP2903493B1 (de) | Stereoskopisches abbildungssystem | |
EP2446812B1 (de) | Augenuntersuchungsgerät mit digitaler Bildausgabe | |
DE10204430A1 (de) | Stereo-Mikroskopieverfahren und Stereo-Mikroskopiesystem | |
EP3152614B1 (de) | Operationsmikroskop mit dateneinheit und verfahren zum überlagern von bildern | |
DE102013009817B4 (de) | Mikroskopiesystem zur Beobachtung von Fluoreszenz in der Ophthalmologie | |
DE102017105941B3 (de) | Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops | |
DE102017108371B4 (de) | Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben | |
DE102018110641B3 (de) | Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop | |
DE102013008452B4 (de) | Operationsmikroskop mit Positionierhilfe | |
EP2950130A1 (de) | Mikroskop-system mit tiefenvorschau | |
DE102006017003A1 (de) | Endoskop zur Tiefendatenakquisition | |
DE102018106651A1 (de) | Visualisierungssystem und Verfahren zum Erzeugen von holographischen Darstellungen aus optischen Signalen | |
DE102017110816A1 (de) | Optisches Beobachtungsgerät und Verfahren zum effizienten Ausführen eines automatischen Fokussieralgorithmus | |
DE102016117263B4 (de) | Optisches Beobachtungsgerätsystem | |
DE102019114817A1 (de) | Bildgebungssystem und Verfahren zur Beobachtung | |
DE102018110806A1 (de) | Operationsmikroskop mit einer Beleuchtungsvorrichtung | |
DE10064909A1 (de) | Einrichtung zur Helligkeitssteuerung von überlagerten Zusatzinformationen in einer optischen Betrachtungseinrichtung | |
DE69708334T2 (de) | In situ optisches informationssystem | |
WO2021175727A1 (de) | Kopfgetragenes visualisierungssystem | |
DE102018123781B4 (de) | Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem | |
DE102014107445B4 (de) | Optisches Beobachtungsgerät und Verfahren zum Aufnehmen von Bild- oder Videodaten von einem Beobachtungsobjekt mit Hilfe eines optischen Beobachtungsgerätes | |
WO2024100052A2 (de) | Verfahren zum einblenden eines einblendbildes, computerimplementiertes verfahren zum optimieren des einblendens eines einblendbildes sowie computerprogramm, datenverarbeitungseinheit und optisches beobachtungssystem | |
DE102018110642B4 (de) | Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop | |
DE102012108249A1 (de) | Verfahren und Vorrichtung zur Verbesserung der Wiedergabe stereoskopischer Bilder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) |