[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2022163188A1 - 画像処理装置、画像処理方法及び手術顕微鏡システム - Google Patents

画像処理装置、画像処理方法及び手術顕微鏡システム Download PDF

Info

Publication number
WO2022163188A1
WO2022163188A1 PCT/JP2021/046452 JP2021046452W WO2022163188A1 WO 2022163188 A1 WO2022163188 A1 WO 2022163188A1 JP 2021046452 W JP2021046452 W JP 2021046452W WO 2022163188 A1 WO2022163188 A1 WO 2022163188A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eyeball
display
surgical
surgical field
Prior art date
Application number
PCT/JP2021/046452
Other languages
English (en)
French (fr)
Inventor
知之 大月
雄生 杉江
潤一郎 榎
浩司 鹿島
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022163188A1 publication Critical patent/WO2022163188A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a surgical microscope system.
  • intraocular lens As a method of refractive correction in ophthalmology, by inserting an artificial lens called an intraocular lens (IOL) into the eye, it is widely used to eliminate the refractive error of the crystalline lens and improve visual functions such as visual acuity. It is done.
  • the most widely used intraocular lens is an intraocular lens that is inserted into the lens capsule as a replacement for the lens removed by cataract surgery.
  • various intraocular lenses such as those that are fixed (dwelled) in the ciliary sulcus (Phakic IOL).
  • Patent Literature 1 proposes a technique of changing the position of a mark (pattern) indicating a preoperative plan according to the result of eyeball tracking.
  • the present disclosure proposes an image processing device, an image processing method, and a surgical microscope system capable of performing surgery in accordance with a preoperative plan with high precision.
  • An image processing apparatus includes an image input unit that receives an operating field image of a patient's eye, tracks an eyeball in the operating field image, and detects displacement of the eyeball in the operating field image. an eyeball tracking unit; and a display image generation unit that converts the surgical field image based on the displacement of the eyeball and superimposes a mark on the converted surgical field image to generate a display image, wherein the display image generation unit generates the display image by positioning the mark at a predetermined position on the display screen regardless of the conversion of the operative field image.
  • An image processing apparatus includes an image input unit that receives an operating field image of a patient's eye, tracks an eyeball in the operating field image, and detects displacement of the eyeball in the operating field image.
  • an eyeball tracking unit for setting a plurality of luminance regions having different luminances in the operative field image, transforming the operative field image based on the displacement of the eyeball, and adding a boundary between the plurality of luminous regions to the transformed operative field image; and a display image generation unit that generates a display image by superimposing the display image, wherein the display image generation unit positions the boundary at a predetermined position on the display screen and generates the display image without depending on the conversion of the surgical field image. Generate.
  • an image processing device receives an operative field image of a patient's eye, tracks an eyeball in the operative field image, and detects displacement of the eyeball in the operative field image. and transforming the surgical field image based on the displacement of the eyeball, and generating a display image by superimposing a mark on the transformed surgical field image, wherein the image processing device converts the surgical field image , the display image is generated by positioning the mark at a predetermined position on the display screen.
  • a surgical microscope system includes a surgical microscope that obtains an surgical field image of a patient's eye, an image processing device that generates a display image, and a display device that displays the display image, wherein the image is
  • the processing device includes an image input unit that receives the surgical field image, an eye tracking unit that tracks an eyeball in the surgical field image and detects displacement of the eyeball in the surgical field image, and an eyeball displacement based on the eyeball displacement.
  • a display image generation unit for generating a display image by superimposing a mark on the converted operation field image, the display image generation unit generating a display image based on the conversion of the operation field image; First, the display image is generated by positioning the mark at a predetermined position on the display screen.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a surgical microscope system according to a first embodiment
  • FIG. 1 is a diagram showing an example of a schematic configuration of a surgical microscope according to a first embodiment
  • FIG. 1 is a diagram showing an example of a schematic configuration of an image processing apparatus according to a first embodiment
  • FIG. 4 is a diagram showing Example 1 of a display image according to the first embodiment
  • FIG. 10 is a diagram showing example 2 of a display image according to the first embodiment
  • FIG. 10 is a diagram showing example 3 of a display image according to the first embodiment
  • FIG. 11 is a diagram showing Example 4 of a display image according to the first embodiment
  • FIG. 11 is a diagram showing example 5 of a display image according to the first embodiment
  • FIG. 11 is a diagram showing example 6 of a display image according to the first embodiment;
  • FIG. 11 is a diagram showing example 7 of a display image according to the first embodiment;
  • FIG. 11 is a diagram showing an example 8 of a display image according to the first embodiment;
  • FIG. 11 is a first diagram showing Example 9 of a display image according to the first embodiment;
  • FIG. 12 is a second diagram showing example 9 of a display image according to the first embodiment;
  • 10A and 10B are diagrams showing an example 10 of a display image according to the first embodiment;
  • FIG. 1 is a diagram showing an example of a schematic configuration of an image processing apparatus according to a second embodiment;
  • FIG. 11 is a diagram showing an example of a display image including a target for instructing the start of surgery according to the second embodiment;
  • FIG. 11 is a flow chart showing an example of a technique start instruction process according to the second embodiment;
  • FIG. 10 is a diagram showing an example 1 of the shape of a surgical start instruction target according to the second embodiment;
  • FIG. 10 is a diagram showing an example 2 of the shape of an object to be instructed to start a surgical operation according to the second embodiment;
  • FIG. 10 is a diagram showing an example 3 of the shape of an object for which an operation start instruction is given according to the second embodiment;
  • 1 is a diagram showing an example of a schematic configuration of a computer according to each embodiment of the present disclosure;
  • First Embodiment 1-1 Example of schematic configuration of surgical microscope system 1-2.
  • Example of schematic configuration of surgical microscope 1-3 Schematic Configuration of Image Processing Apparatus and Example of Image Processing 1-4. Action and effect 2.
  • Second Embodiment 2-1 Example of operation start instruction processing 2-2. Action and effect 3.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a surgical microscope system 1 according to the first embodiment.
  • the surgical microscope system 1 has a surgical microscope 10 and a patient bed 20.
  • This surgical microscope system 1 is a system used for eye surgery. The patient undergoes eye surgery while lying on the patient bed 20 . An operator, who is a doctor, performs surgery while observing the patient's eye through the surgical microscope 10 .
  • the surgical microscope 10 has an objective lens 11, an eyepiece lens 12, an image processing device 13, and a monitor 14.
  • the objective lens 11 and the eyepiece lens 12 are lenses for magnifying and observing the eye of the patient to be operated.
  • the image processing device 13 outputs various images, various information, etc. by performing predetermined image processing on the image captured through the objective lens 11 .
  • the monitor 14 displays an image captured through the objective lens 11, various images generated by the image processing device 13, various information, and the like. This monitor 14 may be provided separately from the surgical microscope 10 .
  • the operator looks into the eyepiece 12 and performs surgery while observing the patient's eye through the objective lens 11. Further, the operator performs surgery while confirming various images (for example, an image before image processing, an image after image processing, etc.) and various information displayed on the monitor 14 .
  • various images for example, an image before image processing, an image after image processing, etc.
  • FIG. 2 is a diagram showing an example of a schematic configuration of the surgical microscope 10 according to the first embodiment.
  • the surgical microscope 10 includes, in addition to the objective lens 11, the eyepiece lens 12, the image processing device 13, and the monitor 14, a light source 51, an observation optical system 52, a front image capturing unit 53, a tomographic It has an image capturing unit 54 , a presentation unit 55 , an interface unit 56 and a speaker 57 .
  • the monitor 14 and the presentation unit 55 correspond to display devices.
  • the light source 51 emits illumination light under the control of the control unit 13A included in the image processing device 13 to illuminate the eyes of the patient.
  • the observation optical system 52 is composed of optical elements such as the objective lens 11, a half mirror 52a, and lenses (not shown).
  • the observation optical system 52 guides the light (observation light) reflected from the patient's eye to the eyepiece 12 and the front image capturing section 53 .
  • the light reflected from the patient's eye enters the half mirror 52a as observation light via the objective lens 11, a lens (not shown), or the like.
  • Approximately half of the observation light incident on the half mirror 52 a passes through the half mirror 52 a as it is, and enters the eyepiece 12 via the transmission type presentation unit 55 .
  • the other half of the observation light incident on the half mirror 52 a is reflected by the half mirror 52 a and enters the front image capturing section 53 .
  • the front image capturing unit 53 is composed of, for example, a video camera.
  • the front image photographing unit 53 receives the observation light incident from the observation optical system 52 and photoelectrically converts it to obtain an image of the patient's eye observed from the front, that is, an image of the patient's eye photographed approximately in the eye axis direction. A front image is taken.
  • the front image capturing unit 53 captures (captures) a front image under the control of the image processing device 13 and supplies the obtained front image to the image processing device 13 .
  • the tomographic image capturing unit 54 is configured by, for example, an optical coherence tomography (OCT), a Scheimpflug camera, or the like.
  • OCT optical coherence tomography
  • the tomographic image capturing unit 54 captures (pictures) a tomographic image, which is a cross-sectional image of the patient's eye, under the control of the image processing device 13 and supplies the obtained tomographic image to the image processing device 13 .
  • a tomographic image is an image of a cross section of a patient's eye in a direction substantially parallel to the eye axis direction.
  • the tomographic image capturing unit 54 acquires a tomographic image, for example, using infrared light based on the principle of interference. may be a common optical path.
  • the eyepiece 12 condenses the observation light incident from the observation optical system 52 via the presentation unit 55 and forms an optical image of the patient's eye. An optical image of the patient's eye is thereby observed by the operator looking through the eyepiece 12 .
  • the presentation unit 55 is composed of a transmissive display device or the like, and is arranged between the eyepiece 12 and the observation optical system 52 .
  • the presentation unit 55 transmits observation light incident from the observation optical system 52 and makes it enter the eyepiece 12, and also displays various images (for example, a front image, a tomographic image, etc.) and various information supplied from the image processing device 13. are also presented (displayed) as necessary.
  • various images, various information, and the like may be presented, for example, superimposed on the optical image of the patient's eye, or may be presented in the periphery of the optical image so as not to interfere with the optical image.
  • the image processing device 13 has a control section 13A that controls the operation of the surgical microscope 10 as a whole.
  • the control section 13A changes the illumination conditions of the light source 51 or changes the zoom magnification of the observation optical system 52 .
  • the control unit 13A controls image acquisition by the front image capturing unit 53 and the tomographic image capturing unit 54 based on the operation information of the operator or the like supplied from the interface unit 56 and the like.
  • the interface unit 56 is composed of, for example, a communication unit and the like.
  • the communication unit receives commands from an operation unit such as a touch panel superimposed on the monitor 14, a controller, a remote controller (not shown), or the like, and communicates with external devices.
  • the interface unit 56 supplies the image processing apparatus 13 with information and the like according to the operation of the operator.
  • the interface unit 56 also outputs device control information and the like for controlling the external device supplied from the image processing apparatus 13 to the external device.
  • the monitor 14 displays various images such as a front image and various information on the display screen in accordance with the control by the control unit 13A of the image processing device 13 .
  • the speaker 57 emits a buzzer sound, a melody sound, or the like in order to notify the operator or the like of the dangerous situation. Outputs sound, message (voice), and the like.
  • the surgical microscope 10 may be provided with a rotating light or indicator light (lamp) for informing the operator or the like of a dangerous situation.
  • the preoperative planning mark instead of moving the preoperative planning mark (marker) in accordance with the movement of the eye, the preoperative planning mark is fixed, and real-time scanning is performed so as to match the fixed mark.
  • the operator By geometrically transforming the operative field image and displaying it, the operator can easily perform detailed positioning and posture setting of implants such as intraocular lenses, so that surgery can be performed accurately according to the preoperative plan. can be realized.
  • FIG. 3 is a diagram showing an example of a schematic configuration (configuration and processing flow) of the image processing apparatus 13 according to the first embodiment.
  • the image processing apparatus 13 includes a preoperative plan receiving unit 13a, an image input unit 13b, a registration unit 13c, an information storage unit 13d, an eyeball tracking unit (eyeball tracking unit) 13e, and a display image generator 13f.
  • the preoperative plan receiving unit 13a receives preoperative plan information for the patient's eye (for example, preoperative images of the preoperative plan, posture information of marks based on the preoperative plan, etc.).
  • the orientation information of the mark includes information (size information and position information, orientation information, etc.).
  • the orientation around the eye axis is defined by the angle in the direction of rotation around the eye axis with respect to a reference line orthogonal to the eye axis.
  • the position of the mark in the coordinate system and the position in the rotational direction around the eye axis both correspond to the positional information of the mark.
  • the image input unit 13b receives an operating field image (front image) from the front image capturing unit 53 (see FIG. 2), and receives the operating field image (for example, an operating field image at the start of surgery or a real-time image during surgery). surgical field image, etc.) to the registration unit 13c, the eyeball tracking unit 13e, the display image generation unit 13f, and the like.
  • an operating field image front image
  • the operating field image for example, an operating field image at the start of surgery or a real-time image during surgery.
  • surgical field image etc.
  • the registration unit 13c compares the preoperative image of the preoperative plan with the operative field image at the start of the operation to determine the correspondence relationship between the preoperative image of the preoperative plan and the operative field image at the start of the operation, such as the amount of deviation, Find the direction of deviation. Then, the registration unit 13c supplies the calculated amount of misalignment and misalignment information (positional relationship information) regarding the misalignment direction to the information storage unit 13d together with the surgical field image at the start of the preoperative operation.
  • the information accumulation unit 13d converts (changes) the posture information of the mark in accordance with the surgical field image at the start of surgery based on the deviation information and the surgical field image at the start of the surgery supplied from the registration unit 13c, An image of the surgical field at the start of the operation and posture information of the mark converted in accordance with the image of the surgical field at the start of the operation are accumulated.
  • the eyeball tracking unit 13e tracks the eyeball in the real-time surgical field image by comparing the surgical field image at the start of the surgery and the real-time surgical field image. Further, the eyeball tracking unit 13e stores displacement information indicating the difference (for example, the amount of displacement and the direction of displacement) between the eyeball orientation information in the real-time surgical field image and the mark orientation information accumulated by the information accumulation unit 13d. It is supplied to the display image generation unit 13f. Similar to mark posture information, eyeball posture information includes information (size information, position information, orientation information, etc.) related to the eyeball size, eyeball position, and orientation around the eyeball (position in the rotational direction around the eyeball). )including. However, both the position of the eyeball in the coordinate system and the position in the direction of rotation about the eyeball correspond to the positional information of the eyeball.
  • the display image generation unit 13f eliminates the positional change of the eyeball with respect to the mark in the fixed orientation (fixed position, fixed orientation, etc.) based on the converted mark orientation information.
  • the posture (position, orientation, etc.) of the real-time operating field image is changed, and a display image is generated by superimposing a fixed posture mark on the real-time operating field image with the changed posture.
  • preoperative images and images at the beginning of surgery are registered, and then comparison (tracking) between the images at the beginning of surgery and real-time images is performed.
  • Preoperative planning marks are mapped onto real-time images (real-time operative field images).
  • the preoperatively planned marks move with eye movements. For this reason, the operator performs wound creation, anterior capsulotomy, axis alignment of a toric IOL (intraocular lens for correcting astigmatism), centering of the IOL, etc. while referring to the moving index. It is difficult to perform surgery well according to the preoperative plan. Therefore, instead of moving the preoperative plan mark according to the eyes, the real-time image is geometrically transformed and displayed so that it fits the fixed preoperative plan mark. to realize
  • FIG. 4 is a diagram showing Example 1 of a display image according to the first embodiment.
  • two triangular marks M1 are presented fixedly.
  • Each mark M1 in this fixed posture is used as a reference, and according to the direction and amount of movement of the eyeball, the real-time operative field image G1 is displayed in the direction opposite to the direction of movement of the eyeball with respect to each mark M1 in the fixed posture. It is converted (changed) so that it moves by the amount of movement.
  • Each mark M1 in a fixed posture is superimposed on the real-time operating field image G1 to generate a display image.
  • This display image is displayed on the display screen by both or one of the monitor 14 and the presentation unit 55 .
  • two marks M1 are provided on a straight line orthogonal to the eye axis with the center of the eye axis in between. Some of these marks M1 are located on the iris A1.
  • Each mark M1 is a mark for alignment of the intraocular lens B1 such as a toric IOL that corrects astigmatism (a target mark for installing the intraocular lens B1).
  • Two marks B1a of the intraocular lens B1 are aligned with these marks M1.
  • the intraocular lens B1 is a toric IOL
  • a sufficient astigmatism correction effect cannot be obtained when a deviation occurs. Therefore, two marks B1a (for example, dotted lines) indicating the toric axis are engraved at the end points of the toric IOL, so that the orientation of the toric IOL around the eye axis can be grasped.
  • the toric IOL mark B1a is aligned with the mark M1 in the real-time surgical field image G1, and the toric IOL is placed in the eye.
  • the mark M1 which is a pattern indicating the preoperative plan
  • the operative field image G1 including the tracked eyeball is displayed so that the fixedly presented mark M1 has an appropriate posture (position, orientation, etc.).
  • the operation can be performed while observing the preoperatively planned mark M1 and the eyeball, etc., which do not move. Since the operation is performed while observing the fixed target, it is possible to perform the operation in accordance with the preoperative plan with high accuracy.
  • the orientation (position, orientation, etc.) of the preoperative planning mark M1 may be fixed to the orientation of the preoperative planning mark that matches the operative field image G1 at the start of the operation, or may be fixed to the orientation of the preoperative planning mark M1. It may be aligned with the orientation of the planning marks, or it may be a specific orientation predetermined by preoperative planning (eg, the axis of the toric IOL may be horizontal or vertical).
  • the mark display for axis alignment of the toric IOL was explained as an example, but the same mark display method can be used to support surgery according to the preoperative plan for wound creation. That is, it is possible to indicate in which direction around the eye axis the incision is to be made at the corneal limbus and at a slightly inner or slightly outer position along the preoperative plan with a triangular mark or the like.
  • FIG. 5 is a diagram showing example 2 of a display image according to the first embodiment.
  • a straight line L1 passing through each mark M1 and a straight line L2 passing through each mark B1a of the intraocular lens B1 may be presented.
  • a straight line L1 is a target line for installing the intraocular lens B1.
  • the amount of deviation between the straight lines L1 and L2 (the amount of deviation in the rotational direction around the eye axis) may be measured by image processing, and the measured amount of deviation may be presented as the angle ⁇ . This amount of deviation may be presented in real time.
  • the operator places the intraocular lens B1 in the eye so that the amount of displacement is zero.
  • the straight line L1 and the straight line L2 are presented in a color that stands out against the background color of the surgical field image G1 and is easily visible to the operator.
  • wound creation for example, the amount of deviation between the direction around the eye axis for creating the wound in the preoperative plan and the direction around the eye axis of the tip of a surgical tool such as a knife for creating the wound may be presented.
  • FIG. 6 is a diagram showing Example 3 of a display image according to the first embodiment.
  • a circular mark M2 may be fixed and presented.
  • the mark M2 is a target circle for anterior capsulorhexis and has a circular shape centered on the eye axis. Therefore, unlike the case of FIG. 4, the original image, which is the real-time surgical field image G1, may not be rotated. Similarly, when displaying a circle (circle centered on the eye axis, etc.) or a point (point indicating the eye axis, etc.) during centering of the intraocular lens B1, the original image may not be rotated. .
  • the shape of the mark M2 is not limited to a circular shape, and may be, for example, a ring shape.
  • a ring shape such as a circular shape, it is possible to use the center of the corneal limbus, the center of the pupil, the center of the preoperative pupil, the visual axis, the center of the anterior capsulotomy margin, etc., in addition to the eye axis.
  • the amount of deviation (distance) between the mark M2, which is the target circle for anterior capsulotomy, and the actual anterior capsulotomy position may be measured by image processing, and the measured amount of deviation may be presented. This amount of deviation may be presented in real time. The operator performs an anterior capsulorhexis so that the displacement amount becomes zero.
  • FIG. 7 is a diagram showing Example 4 of a display image according to the first embodiment.
  • the original image G2 which is a real-time surgical field image (without the mark M1), may be presented in parallel with the converted surgical field image G1 (with the mark M1).
  • the size and arrangement of the juxtaposed operative field image G1 and original image G2 may be adjusted according to the operator's preference.
  • One of the operative field image G1 and the original image G2 may be enlarged or reduced, or both may be enlarged or reduced with different scales.
  • the operator can operate an operation unit such as a touch panel or a controller connected to the interface unit 56 to enlarge or reduce the image.
  • the eyeball when performing eye surgery, the eyeball may move due to the operation of the eye with surgical tools or the action of the patient's eye muscles. If the operation is performed while referring to the surgical field image that has been fixed by eliminating the movement of the eyeball in accordance with the preoperative planning marks, it may be difficult to understand the actual movement of the eye and surgical tools in the surgical field. For this reason, as described above, by presenting the original image G2, which is a real-time surgical field image, side by side with the converted surgical field image G1, it is possible to understand the movement of the eye and the surgical tool in the actual surgical field. It can be done easily.
  • FIG. 8 is a diagram showing example 5 of a display image according to the first embodiment. As shown in FIG. 8, only part of the real-time surgical field image G1 may be displayed in order to reduce the difficulty of viewing. For example, a display image (image) within the corneal region of the operating field image G1 in real time is presented.
  • the image frame and the like move when the result of the geometric transformation of the entire original image, which is the operative field image G1, is displayed.
  • Some operators may feel that the operative field image G1 is difficult to see.
  • a mask may be added that displays only a portion of the surgical field image G1 and does not display the other portions. This mask may be set, for example, so that the center of the cornea in the surgical field image G1 is the center of the mask.
  • Display image examples 6 and 7 In the display image example 4, the original image G2 is juxtaposed to make it easier to see the movements of the eyes, but other methods may be used to make the movements of the eyes easier to see.
  • FIG. 9 is a diagram showing Example 6 of the display image according to the first embodiment.
  • the actual movement of the eye may be represented on the surgical field image G1 of the fixed eye by, for example, arrows indicating representative movement directions, or may be represented by a predetermined grid pattern. Such arrows or line segments may be displayed with respect to the coordinates. Additional information indicating the movement of the eyeball, such as arrows and line segments, may be superimposed on the real-time surgical field image G1.
  • the display image generation unit 13f generates additional information based on information (such as a motion vector) regarding intra-eye movement obtained by the eyeball tracking unit 13e.
  • FIG. 10 is a diagram showing example 7 of the display image according to the first embodiment.
  • an original image G2 which is an operative field image enlarged (or reduced) so as to be larger in scale than the operative field image G1
  • the operative field image G1 to which the mark M1 is fixed may be superimposed on the original image G2.
  • FIGS. 9 and 10 described above and the technique of FIG. 7 may be used together. Moreover, it is possible to appropriately combine the methods of FIGS. 4 to 10 .
  • the display image generation unit 13f may continue the display by maintaining the orientation of the image at the time when the orientation was last estimated.
  • the posture of the operating field image G1 at the time when the posture was finally estimated can be changed to a constant velocity, constant angular velocity, constant acceleration motion, or constant angular motion. Accelerated motion may be maintained.
  • the display of the image may be changed, such as by changing the color of the mark so that the failure can be recognized.
  • the surgical field image G1 to which the mark M1 is fixed may be presented in 2D (two dimensions), or may be presented in 3D (three dimensions). This makes it possible for the operator to easily perform surgery when referring only to the surgical field image G1 to which the mark M1 is fixed.
  • the same geometric transformation may be applied to the image for the left eye and the image for the right eye.
  • the original picture G2 may be presented in 2D, it may also be presented in 3D. In this case as well, it is possible for the operator to easily perform the procedure when referring to the original image G2.
  • Both presentation of the operative field image G1 to which the mark M1 is fixed and presentation of the original image G2 may be performed in 2D or 3D, or either one of them may be performed in 2D or 3D.
  • FIG. 11 is a diagram showing Example 8 of a display image according to the first embodiment.
  • two brightness areas with different brightness are set, and a boundary M3 between these brightness areas is fixed and presented.
  • This boundary M3 functions as a line-shaped boundary, that is, a line boundary (a target line for installing the intraocular lens B1).
  • the luminance of the right luminance area (the shaded area in FIG. 11) of the two luminance areas is set lower than the luminance of the left luminance area.
  • a toric axis is aligned with this boundary M3, and a toric IOL is installed.
  • the number of luminance regions is not limited to two, and may be two or more.
  • the boundary M3 of luminance change is fixed, and the operative field image G1 is in an appropriate posture (position, orientation, etc.) with respect to the fixedly presented boundary M3 (for example, a fixed posture).
  • a process of changing the posture of the surgical field image G1 is performed so that the displacement of the eyeball in the surgical field image G1 is eliminated with respect to the boundary M3. That is, by fixing the boundary M3 and changing the posture of the surgical field image G1, the positional relationship between the eyeball and the boundary M3 does not change.
  • the operative field image G1 is fixed, and the boundary M3 is set in an appropriate posture (position, orientation, etc.) with respect to the fixedly presented operative field image G1 (
  • the posture of the boundary M3 may be changed so that the boundary M3 is not displaced with respect to the eyeball in the operative field image G1 in the fixed posture.
  • Changing the posture of this boundary M3 means changing the range (for example, size, shape, etc.) of each boundary region.
  • the display image generation unit 13f changes the posture of the boundary M3 according to the displacement of the eye based on the posture information of the eye, while displaying the display image.
  • the display image generator 13f moves the boundary M3 with respect to the real-time operating field image G1 in the direction of movement of the eyeball by the above-mentioned amount of movement in accordance with the direction and amount of movement of the eyeball, and the posture of the boundary M3 ( For example, the range of each luminance area) is changed. That is, by fixing the surgical field image G1 and changing the posture of the boundary M3, the positional relationship between the eyeball and the boundary M3 does not change.
  • Display image example 9 are diagrams showing Example 9 of the display image according to the first embodiment.
  • two brightness areas with different brightness are set and presented as a boundary M4 between these brightness areas.
  • This boundary M4 functions as a boundary of a shape having a semicircle, ie a semicircle boundary (a semicircle for forming a target circle for the anterior capsulotomy). Note that in the examples of FIGS. 12 and 13, the boundary M4 of the luminance region is rotated 90 degrees about the eye axis or the like.
  • the boundary M4 of the luminance region is 360 degrees around the eye axis or the like at a predetermined speed (for example, the speed when the operator moves the tip of the surgical tool) from the start of the surgery. Rotate. Boundary M4 thereby forms a target circle for the anterior capsulotomy.
  • the predetermined speed is set in advance, and is, for example, a general value such as an average value of speeds when the operator moves the distal end of the surgical tool.
  • the rotation speed of the boundary M4 may not be a predetermined speed.
  • Boundary M4 may be rotated according to the motion of the end point.
  • a processing start section 13g which will be described later, can be used to detect the distal end of the surgical instrument and the end point of the anterior capsulorhexis edge.
  • the rotation angle of the boundary M4 may be another angle such as 180 degrees.
  • FIG. 14 is a diagram showing example 10 of a display image according to the first embodiment. As shown in FIG. 14, in addition to the boundaries M4 shown in FIGS. 12 and 13, a plurality of (two in the example of FIG. 14) boundaries M5 are presented. These boundaries M4 and M5 are formed by boundaries between two luminance regions having different luminances, as in example 10 of the display image. A boundary M5 is a boundary indicating an incision position.
  • the posture and position of the boundary M4 and the boundary M5 are fixed (however, the rotation of the boundary M4 according to the movement of the surgical tool and the edge of the anterior capsulorhexis is excluded).
  • the operative field image G1 may be moved so that the posture (position, orientation, etc.) of the image G1 follows this. You may make it move.
  • the boundaries M3 to M5 are not marks that are displayed superimposed on the operative field image, but rather boundaries that make it possible to indicate visually recognized positions and postures. Unlike the superimposed marks, the boundaries M3 to M5 do not hide the operative field image at the positions of the marks, so that the visibility of the operative field is improved as compared with the case where the superimposed marks are used.
  • Various display images as described above are used, and these display images may be selectable by the operator, staff, or the like. Selection of a display image is realized by an input operation to the operation unit by an operator, staff, or the like. For example, the operator, staff, or the like operates the operation unit to select a display mode for displaying a desired display image. According to this selection, the display image generator 13f generates a display image based on the selected display mode. Similarly, regarding various images, the size, position, etc. of the images may be changed by the operator, staff, or the like. The display image generation unit 13f generates a display image by changing the size, position, etc. of the image according to the input operation to the operation unit by the operator, staff, or the like.
  • the image input unit 13b receives an operating field image (for example, operating field image G1, etc.) for the patient's eye
  • the eyeball tracking unit 13e receives The eyeball is tracked, the displacement of the eyeball in the operative field image is detected, the display image generation unit 13f converts the operative field image based on the displacement of the eyeball, and the converted operative field image is marked (for example, mark M1, M2, etc.), the display image is generated by positioning the mark at a predetermined position on the display screen regardless of the conversion of the surgical field image.
  • the mark can be fixed and displayed at a predetermined position instead of being moved according to the movement of the eye.
  • the displacement includes any change to the subject such as the eyeball, such as parallel movement, rotation, enlargement/reduction, deformation, and combinations thereof.
  • the preoperative plan receiving unit 13a receives the preoperative image based on the preoperative plan for the patient's eye and the position information of the mark (for example, the position and orientation on the coordinates), and the information storage unit 13d receives the preoperative By comparing the image with the operative field image at the start of the operation, the position information of the marks is converted according to the operative field image at the start of the operation, and the operative field image at the start of the operation and the converted mark position information are accumulated.
  • the eyeball tracking unit 13e tracks the eyeball in the real-time operative field image by comparing the operative field image at the start of the operation with the real-time operative field image, and obtains the position information of the eyeball in the real-time operative field image ( For example, the position and direction on the coordinates) and the converted position information of the mark are output, and the display image generation unit 13f is fixed at a predetermined position based on the converted position information of the mark.
  • a display image is generated by changing the position of the real-time surgical field image based on the displacement information so as to eliminate the positional change of the eyeball with respect to the mark.
  • preoperative planning marks to be fixed, rather than moving with eye movements, and the position of the real-time operative field image (e.g., coordinate position, orientation, etc.) can be changed and displayed. Therefore, it becomes easier for the operator to visually recognize the mark, and it becomes easier to perform detailed positioning and posture setting of the implant such as the intraocular lens, so that the surgery can be performed with high accuracy according to the preoperative plan. .
  • position of the real-time operative field image e.g., coordinate position, orientation, etc.
  • the display image generation unit 13f generates a display image by arranging the image obtained by superimposing the mark on the converted operative field image and the real-time operative field image received by the image input unit 13b. This makes it easy to understand the movements of the eye and surgical tools in the actual surgical field, so that surgery can be performed with high precision according to the preoperative plan.
  • the display image generation unit 13f generates a display image by superimposing an image obtained by superimposing a mark on the converted operative field image and a real-time operative field image received by the image input unit 13b.
  • the display image generation unit 13f enlarges or reduces both or one of the image in which the mark is superimposed on the converted operative field image and the real-time operative field image received by the image input unit 13b. This makes it easier to understand the movements of the eye and the surgical instrument in the actual surgical field, so that the surgery can be performed more accurately according to the preoperative plan.
  • the display image generation unit 13f generates, as a display image, an image of the corneal region in the converted surgical field image, or an image of a region including the cornea and the corneal periphery in the converted surgical field image. As a result, it is possible to reduce the feeling that the displayed image is difficult to see due to the movement of the image frame, etc. when displaying the entire surgical field image in real time. can be realized.
  • the display image generation unit 13f generates a display image by superimposing additional information indicating the movement of the eyeball on the converted surgical field image.
  • the display image generation unit 13f maintains the display image before the eyeball is detached. As a result, it is possible to avoid interruption of the surgery due to the disappearance of the display image, so that the surgery can be performed with high precision according to the preoperative plan.
  • the display image generation unit 13f generates the three-dimensional display image. As a result, even when the operator refers only to the surgical field image to which the mark is fixed, the surgical operation can be facilitated, so that the surgical operation according to the preoperative plan can be performed with high accuracy.
  • the display image generation unit 13f sets a plurality of luminance regions having different luminances in the operating field image, and the boundary between the plurality of luminance regions (for example, boundary M3 to M5, etc.) are replaced with marks and positioned to generate a display image.
  • the marks in the actual operative field can be easily grasped without hiding the operative field with the superimposed marks, so that the surgery according to the preoperative plan can be performed with higher accuracy.
  • the display image generation unit 13f when the mark (for example, the mark M2, etc.) has a shape (for example, a circular shape, etc.) that does not have a posture (orientation), the display image generation unit 13f generates a Limit and avoid transforming the operative field image. As a result, execution of unnecessary processing can be avoided, so processing speed can be improved.
  • FIG. 15 is a diagram showing an example of the schematic configuration of the image processing device 13 according to the second embodiment.
  • FIG. 16 is a diagram showing an example of a display image including a surgical start instruction target according to the second embodiment.
  • FIG. 17 is a flow chart showing an example of a technique start instruction process according to the second embodiment.
  • the image processing device 13 includes a processing starter 13g in addition to the units 13a to 13f according to the first embodiment.
  • the processing start unit 13g starts the processing at the start of the operation (for example, permits the start of the processing at the start of the operation).
  • a surgical tool used for surgery or various instruments can be used as the surgical start instruction target C1.
  • the processing start unit 13g functions as an image recognition unit that detects the surgical start instruction object C1 by image recognition processing.
  • step S11 it is determined whether or not the processing start unit 13g has detected the operation start instruction target C1 in the surgical field.
  • step S11 when the surgical start instruction target C1 is detected in the surgical field (YES in step S11), registration is performed by the registration unit 13c in step S12.
  • step S13 other processing at the start of surgery is performed by the information storage unit 13d and the like, and in step S14, transition to the guidance display mode is performed.
  • the image processing apparatus 13 detects the surgical start instruction object C1 from the surgical field image G1
  • the surgical field image G1 at the detection timing is acquired as the surgical start image
  • the acquired surgical start image is Registration, which is one of the processing at the start of the operation, is performed using this, and other processing at the start of the operation is performed.
  • the surgical start instruction target C1 such as a surgical tool
  • the surgical start instruction target C1 is detected by the processing start unit 13g.
  • the surgical field image G1 at the detection timing is used as an image at the start of surgery, and other processing at the start of surgery is executed. Therefore, by enabling the operator to issue an instruction to start the operation by inserting the object C1 for instructing the start of the operation into the surgical field, complication of the workflow and occurrence of unintended results by the operator can be suppressed. be able to.
  • the processing start unit 13g that functions as an image recognition unit capable of specifying the start timing by the operator's participation in the image, the operator can insert the image into the operative field (camera image). It will be possible to automatically detect the target to be processed and execute various processes. In addition, since it is possible to instruct the start of the processing by the operation of the operator, and there is no need to request the staff to operate, the workflow can be simplified.
  • FIG. 17 shows registration, other processing at the start of surgery, and transition to the guidance display mode (various display modes described in the first embodiment) when the surgical start instruction object C1 is detected in the surgical field. Examples of implementation are shown, but the processing to be implemented is not limited to them, and only a part of them may be implemented. Further, the timing of detection of the surgical start instruction target C1 may be processed so as to be, for example, the time when the surgical start instruction target C1 reaches a specific position such as the center of the cornea.
  • the detection process may be performed on the assumption that the insertion direction of the target C1 for instructing the start of surgery is a specific direction. Knowing the insertion direction can improve detection accuracy.
  • the direction of insertion of the surgical start indication target C1 may be limited to be from above or below the eye.
  • the part of the eye hidden by the target C1 for instructing the start of surgery in the image at the start of surgery cannot be used for comparison with the preoperative image.
  • the insertion direction of the target C1 for instructing the start of surgery is limited to the upper or lower direction of the eye, the range of the hidden portion that overlaps with the portion hidden by the eyelid in the preoperative image increases, and the registration processing is delayed. Since the adverse effect is reduced, the registration accuracy can be improved.
  • the preoperative image and the real-time surgical field image G1 the upper and lower parts of the eyeball are often hidden by the eyelid.
  • the type of object C1 desired by the operator such as a pestle or side port knife that is often used immediately after the start of the operation, is determined, and an image for each type is supplied to the processing start unit 13g before the operation. You can let it learn by doing it. As a result, it is possible to increase the detection accuracy of the surgical start instruction target C1 while improving convenience for the operator.
  • various neural networks such as a convolutional neural network can be used.
  • an ophthalmic surgery guidance system may be configured by adding a specific instrument or the like to the ophthalmic surgery guidance device as a surgical start instruction object C1.
  • the color of the surgical start instruction target C1 is the color of the eyeball (for example, the color of the white of the eye, the color of the blood vessel, the color of the iris, the color of the pupil during surgery) so that it can be easily distinguished from the eyeball that is the background image during the detection process. color, etc.) may be used.
  • the color of the surgical start instruction target C1 is the color of the eyeball (for example, the color of the white of the eye, the color of the blood vessel, the color of the iris, the color of the pupil during surgery) so that it can be easily distinguished from the eyeball that is the background image during the detection process. color, etc.) may be used.
  • the shape of the target C1 for instructing the start of surgery may be a shape that facilitates detection processing.
  • the surgical start instruction target C1 may have a shape in which a circular tip is attached to the end of the handle of the surgical tool (for example, a rod-like handle).
  • FIG. 18 and FIG. 19 are diagrams respectively showing an example of the shape of the surgical start instruction target C1 according to the second embodiment (Example 1 and Example 2).
  • the shape of the operation start instruction target C1 may be a shape with a square tip at the end of the handle of the surgical instrument as shown in FIG. 18, or a shape with a star-shaped tip as shown in FIG. It may have a shape, or may have a shape with a tip portion of various shapes such as elliptical or polygonal. As a result, it is possible to improve the accuracy of detection of the surgical start instruction target C1.
  • a target whose shape in the captured image can be accurately predicted (for example, a shape whose dimensions are known in advance) may be used.
  • a surgical tool with a spherical tip attached to the end of the handle is used, the relationship between the size of the image and the actual size can be clarified by comparing the size of the tip on the photographed image and the actual size. become.
  • the actual size of the tip is known in advance. Therefore, the distal end portion of the surgical instrument can be used as a reference for measuring the size of the object to be measured on the subsequent image. This makes it possible to simultaneously obtain an instruction to start surgery and perform size calibration, thereby simplifying the workflow of surgery.
  • the tip of the surgical tool is brought into contact with the corneal vertex when inserting the surgical start instruction target C1 into the image.
  • the separation distance from the imaging device for the surgical field image G1 to the corneal vertex and the separation distance from the imaging device for the surgical field image G1 to the contour line of the tip of the surgical instrument are Since the difference between is equal to the radius of the sphere, by utilizing information on this relationship, it is possible to carry out highly accurate calibration that takes into account the distance from the imaging device.
  • FIG. 20 is a diagram showing an example of the color of the target C1 for instruction to start the operation according to the second embodiment. As shown in FIG. 20, for example, one or more known colors such as green, blue, and red may be given to the target C1 for instructing the start of surgery, so that colors other than white balance may be calibrated. . This makes it possible to obtain an instruction to start surgery and perform color calibration (color calibration) at the same time, thereby simplifying the workflow of surgery.
  • the processing start unit 13g detects a target for instruction to start the operation (for example, target C1 for operation start instruction) based on the operation field image (eg, operation field image G1, etc.) received by the image input unit 13b, and When a surgical start instruction object is detected based on the surgical field image received by the input unit 13b, processing at the time of surgical start is started. As a result, the operator can issue an instruction to start the operation by inserting an object for instructing the start of the operation into the operative field. can be suppressed.
  • a target for instruction to start the operation for example, target C1 for operation start instruction
  • the operation field image e.g, operation field image G1, etc.
  • the processing start unit 13g starts the processing of acquiring the surgical field image at the start of the surgery as the processing at the start of the surgery.
  • the processing start unit 13g starts the processing of acquiring the surgical field image at the start of the surgery as the processing at the start of the surgery.
  • the processing start unit 13g starts the processing at the time of starting the operation when detecting the operation start instruction target inserted into the operation field image from the specific direction based on the operation field image received by the image input unit 13b. .
  • the processing start unit 13g since the insertion direction is known, it is possible to improve the detection accuracy of the surgical start instruction target, so that the complexity of the workflow related to surgery can be reliably suppressed.
  • the above specific direction is above or below the eye in the operative field image received by the image input unit 13b.
  • the processing start unit 13g learns the surgical start instruction target before the surgical operation. As a result, it is possible to improve the detection accuracy of the surgical start instructed target, so that it is possible to reliably suppress the complication of the workflow related to the surgical operation.
  • the processing start unit 13g detects the predetermined shape or color of the target for the operation start instruction. As a result, it is possible to improve the detection accuracy of the surgical start instructed target, so that it is possible to reliably suppress the complication of the workflow related to the surgical operation.
  • the processing start unit 13g uses the detected dimensions of the predetermined shape of the operation start instruction target for calibration when measuring the size of the measurement target in the operation field image. As a result, it is possible to simultaneously perform the acquisition of the surgical start instruction and the calibration related to the size, so that it is possible to reliably suppress the complication of the workflow related to surgery.
  • the processing start unit 13g uses the detected color of the operation start instruction target for adjusting the color balance of the operation field image. As a result, it is possible to simultaneously perform the acquisition of the surgical start instruction and the color calibration (color proofreading), thereby reliably suppressing the complication of the surgical workflow.
  • Example of schematic configuration of computer> The series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 21 is a diagram showing an example of a schematic configuration of a computer 500 that executes the series of processes described above by a program.
  • the computer 500 has a CPU (Central Processing Unit) 510, a ROM (Read Only Memory) 520, and a RAM (Random Access Memory) 530.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 510 , ROM 520 and RAM 530 are interconnected by a bus 540 .
  • An input/output interface 550 is also connected to the bus 540 .
  • An input unit 560 , an output unit 570 , a recording unit 580 , a communication unit 590 and a drive 600 are connected to the input/output interface 550 .
  • the input unit 560 is composed of a keyboard, mouse, microphone, imaging device, and the like.
  • the output unit 570 is configured with a display, a speaker, and the like.
  • the recording unit 580 is composed of a hard disk, a nonvolatile memory, or the like.
  • the communication unit 590 is configured by a network interface or the like.
  • a drive 600 drives a removable recording medium 610 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 510 loads, for example, the program recorded in the recording unit 580 into the RAM 530 via the input/output interface 550 and the bus 540, and executes it. A series of processes are performed.
  • a program executed by the computer 500 that is, the CPU 510 can be provided by being recorded on a removable recording medium 610 such as a package medium, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 580 via the input/output interface 550 by loading the removable recording medium 610 into the drive 600 . Also, the program can be received by the communication unit 590 and installed in the recording unit 580 via a wired or wireless transmission medium. In addition, the program can be installed in the ROM 520 or the recording unit 580 in advance.
  • the program executed by the computer 500 may be a program in which processing is performed in chronological order according to the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed in
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • this technology can take the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the flow of processing described above can be executed by a single device, or can be shared and executed by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • the present technology can also take the following configuration.
  • Image processing device is an image input for receiving an operative field image for the patient's eye; an eye tracking unit that tracks an eyeball in the surgical field image and detects displacement of the eyeball in the surgical field image; a display image generation unit that converts the surgical field image based on the displacement of the eyeball and generates a display image by superimposing a mark on the converted surgical field image; with The display image generation unit generates the display image by positioning the mark at a predetermined position on the display screen
  • a preoperative plan receiver that receives a preoperative image based on a preoperative plan for the eye and location information of the mark; By comparing the preoperative image and the surgical field image at the start of surgery, the position information of the mark is converted according to the surgical field image at the surgery start, and the surgical field image at the surgery start is converted.
  • an information accumulation unit for accumulating the positional information of the mark obtained; further comprising The eyeball tracking unit tracks an eyeball in the real-time surgical field image by comparing the surgical field image at the start of the surgery with the real-time surgical field image, and tracks the eyeball in the real-time surgical field image.
  • the display image generation unit generates the real-time surgical field image based on the displacement information so as to eliminate a positional change of the eyeball with respect to the mark fixed at the predetermined position based on the converted positional information of the mark. to generate the display image;
  • the image processing apparatus according to (1) above.
  • the display image generation unit is generating the display image by juxtaposing the image obtained by superimposing the mark on the converted image of the operating field and the image of the operating field in real time received by the image input unit; The image processing apparatus according to (1) or (2) above.
  • the display image generation unit is generating the display image by superimposing the image obtained by superimposing the mark on the converted surgical field image and the real-time surgical field image received by the image input unit; The image processing apparatus according to (1) or (2) above.
  • the display image generation unit is enlarging or reducing both or one of the image in which the mark is superimposed on the transformed image of the surgical field and the real-time image of the surgical field received by the image input unit; The image processing apparatus according to (3) above.
  • the display image generation unit is generating, as the display image, an image of the corneal region in the converted surgical field image, or an image of a region including the cornea and the corneal periphery in the converted surgical field image; The image processing apparatus according to any one of (1) to (5) above.
  • the display image generation unit is generating the display image by superimposing additional information indicating the movement of the eyeball on the converted surgical field image;
  • the image processing apparatus according to any one of (1) to (6) above.
  • the display image generation unit is When the eyeball is out of tracking of the eyeball by the eyeball tracking unit, maintaining the display image before the eyeball is out of the eyeball.
  • the image processing apparatus according to any one of (1) to (7) above.
  • the display image generation unit is generating the display image in three dimensions; The image processing apparatus according to any one of (1) to (8) above. (10) When an operation start instruction target is detected based on the surgical field image received by the image input unit, and when the operation start instruction target is detected based on the surgical operation field image received by the image input unit, the operation is started.
  • the image processing apparatus according to any one of (1) to (9) above.
  • the processing initiation unit As the process at the start of the operation, start the process of acquiring the image of the surgical field at the start of the operation;
  • the processing initiation unit When the target for instruction to start the operation to be inserted into the image of the operation field from a specific direction is detected based on the image of the operation field received by the image input unit, the processing at the time of starting the operation is started;
  • the image processing apparatus according to (10) or (11) above. (13) wherein the specific direction is above or below the eye in the operative field image received by the image input unit;
  • the image processing device according to (12) above.
  • the processing initiation unit Preoperatively learning the target for instructing the start of the operation, The image processing apparatus according to any one of (10) to (13) above.
  • the processing initiation unit Detecting a predetermined shape or color of the surgical start instruction target; The image processing apparatus according to any one of (10) to (14) above.
  • the processing initiation unit Using the detected dimensions of the predetermined shape of the operation start instruction target for calibration when measuring the size of the measurement target in the surgical field image, The image processing apparatus according to (15) above.
  • an image input for receiving an operative field image for the patient's eye an eye tracking unit that tracks an eyeball in the surgical field image and detects displacement of the eyeball in the surgical field image; setting a plurality of luminance regions having different luminances in the operative field image, converting the operative field image based on the displacement of the eyeball, and superimposing boundaries of the plurality of luminous regions on the converted operative field image to display an image; a display image generator that generates with The display image generation unit generates the display image by positioning the boundary at a predetermined position on the display screen regardless of the conversion of the surgical field image.
  • Image processing device an image input for receiving an operative field image for the patient's eye.
  • the image processing device receiving surgical field images for the patient's eye; tracking an eyeball in the operative field image and detecting displacement of the eyeball in the operative field image; converting the surgical field image based on the displacement of the eyeball, and superimposing a mark on the converted surgical field image to generate a display image; including The image processing device generates the display image by positioning the mark at a predetermined position on the display screen, regardless of the conversion of the operative field image.
  • Image processing method receiving surgical field images for the patient's eye; tracking an eyeball in the operative field image and detecting displacement of the eyeball in the operative field image; converting the surgical field image based on the displacement of the eyeball, and superimposing a mark on the converted surgical field image to generate a display image; including The image processing device generates the display image by positioning the mark at a predetermined position on the display screen, regardless of the conversion of the operative field image.
  • a surgical microscope for obtaining an operative field image of the patient's eye; an image processing device that generates a display image; a display device for displaying the display image; with The image processing device is an image input unit that receives the operative field image; an eye tracking unit that tracks the eyeball in the surgical field image and detects displacement of the eyeball in the surgical field image; a display image generation unit that converts the surgical field image based on the displacement of the eyeball and superimposes a mark on the converted surgical field image to generate the display image; has The display image generation unit generates the display image by positioning the mark at a predetermined position on the display screen regardless of the conversion of the operative field image.
  • Operating microscope system (21) An image processing method using the image processing apparatus according to any one of (1) to (18) above.
  • a surgical microscope system comprising the image processing device according to any one of (1) to (18) above.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本開示に係る一形態の画像処理装置（１３）は、患者の眼に対する術野画像を受領する画像入力部（１３ｄ）と、前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部（１３ｅ）と、前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて表示画像を生成する表示画像生成部（１３ｆ）と、を備え、前記表示画像生成部（１３ｆ）は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する。

Description

画像処理装置、画像処理方法及び手術顕微鏡システム
　本開示は、画像処理装置、画像処理方法及び手術顕微鏡システムに関する。
　眼科における屈折矯正の方法として、眼内レンズ（ＩＯＬ：Intraocular　lens）と呼ばれる人工レンズを眼内に挿入することで、水晶体等の屈折異常を解消し、視力等の視機能を改善することが広く行われている。眼内レンズとしては、白内障手術によって除去された水晶体の代替として、水晶体嚢内に挿入される眼内レンズが最も広く用いられている。水晶体嚢内以外にも、例えば毛様溝等に固定（留置）されるもの（Phakic　IOL）等、様々な眼内レンズが存在する。
　白内障手術等の眼科手術を行う際には、術後の視機能を良くするため、切開位置や切開形状、また、挿入する眼内レンズ等のインプラントの眼に対する姿勢が術前計画に照らして適切になるよう、術者は施術を行う。このとき、適切な切開位置や切開形状、インプラントの姿勢等に関する情報を、術者にとって施術が容易になる形で提示することが望まれている。そこで、特許文献１では、眼球トラッキングの結果に応じて術前計画を示すマーク（パターン）の位置を変更する技術が提案されている。
特開２０１１－２００６６７号公報
　しかしながら、術者にとって画像上で動いている眼球やマーク（マーカ）を眼で追いかけながら、インプラントの詳細な位置合わせや姿勢設定を行うことは容易ではない。このため、術者が術前計画に沿って手術を行うことは難しく、術前計画に沿った手術を精度高く実現することは困難である。
　そこで、本開示では、術前計画に沿った手術を精度高く実現することが可能な画像処理装置、画像処理方法及び手術顕微鏡システムを提案する。
　本開示の実施形態に係る画像処理装置は、患者の眼に対する術野画像を受領する画像入力部と、前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて表示画像を生成する表示画像生成部と、を備え、前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する。
　本開示の実施形態に係る画像処理装置は、患者の眼に対する術野画像を受領する画像入力部と、前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、輝度が異なる複数の輝度領域を前記術野画像に設定し、前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像に前記複数の輝度領域の境界を重ねて表示画像を生成する表示画像生成部と、を備え、前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記境界を位置付けて前記表示画像を生成する。
　本開示の実施形態に係る画像処理方法は、画像処理装置が、患者の眼に対する術野画像を受領し、前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出し、前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて表示画像を生成する、ことを含み、前記画像処理装置は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する。
　本開示の実施形態に係る手術顕微鏡システムは、患者の眼に対する術野画像を得る手術顕微鏡と、表示画像を生成する画像処理装置と、前記表示画像を表示する表示装置と、を備え、前記画像処理装置は、前記術野画像を受領する画像入力部と、前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて表示画像を生成する表示画像生成部と、を有し、前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する。
第１の実施形態に係る手術顕微鏡システムの概略構成の一例を示す図である。 第１の実施形態に係る手術顕微鏡の概略構成の一例を示す図である。 第１の実施形態に係る画像処理装置の概略構成の一例を示す図である。 第１の実施形態に係る表示画像の例１を示す図である。 第１の実施形態に係る表示画像の例２を示す図である。 第１の実施形態に係る表示画像の例３を示す図である。 第１の実施形態に係る表示画像の例４を示す図である。 第１の実施形態に係る表示画像の例５を示す図である。 第１の実施形態に係る表示画像の例６を示す図である。 第１の実施形態に係る表示画像の例７を示す図である。 第１の実施形態に係る表示画像の例８を示す図である。 第１の実施形態に係る表示画像の例９を示す第１の図である。 第１の実施形態に係る表示画像の例９を示す第２の図である。 第１の実施形態に係る表示画像の例１０を示す図である。 第２の実施形態に係る画像処理装置の概略構成の一例を示す図である。 第２の実施形態に係る術開始指示対象を含む表示画像の一例を示す図である。 第２の実施形態に係る術開始指示処理の一例を示すフローチャートである。 第２の実施形態に係る術開始指示対象の形状の例１を示す図である。 第２の実施形態に係る術開始指示対象の形状の例２を示す図である。 第２の実施形態に係る術開始指示対象の形状の例３を示す図である。 本開示の各実施形態に係るコンピュータの概略構成の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る装置や方法、システム等が限定されるものではない。また、以下の各実施形態において、基本的に同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　以下に示す項目順序に従って本開示を説明する。
　１．第１の実施形態
　１－１．手術顕微鏡システムの概略構成の一例
　１－２．手術顕微鏡の概略構成の一例
　１－３．画像処理装置の概略構成及び画像処理の一例
　１－４．作用・効果
　２．第２の実施形態
　２－１．術開始指示処理の一例
　２－２．作用・効果
　３．コンピュータの概略構成の一例
　４．付記
　＜１．第１の実施形態＞
　＜１－１．手術顕微鏡システムの概略構成の一例＞
　第１の実施形態に係る手術顕微鏡システム１の概略構成の一例について図１を参照して説明する。図１は、第１の実施形態に係る手術顕微鏡システム１の概略構成の一例を示す図である。
　図１に示すように、手術顕微鏡システム１は、手術顕微鏡１０と、患者用ベッド２０とを有する。この手術顕微鏡システム１は、眼の手術に用いられるシステムである。患者は、患者用ベッド２０に横たわった状態で眼の手術を受ける。また、医師である術者は、手術顕微鏡１０により患者の眼を観察しながら手術を行う。
　手術顕微鏡１０は、対物レンズ１１と、接眼レンズ１２と、画像処理装置１３と、モニタ１４とを有している。
　対物レンズ１１及び接眼レンズ１２は、手術対象となる患者の眼を拡大観察するためのレンズである。
　画像処理装置１３は、対物レンズ１１を介して撮影された画像に対して所定の画像処理を行うことにより、各種画像や各種情報等を出力する。
　モニタ１４は、対物レンズ１１を介して撮影された画像、また、画像処理装置１３により生成された各種画像や各種情報等を表示する。このモニタ１４は、手術顕微鏡１０と別体に設けられてもよい。
　この手術顕微鏡システム１において、例えば、術者は、接眼レンズ１２を覗き、対物レンズ１１を介して患者の眼を観察しながら手術を行う。また、術者は、モニタ１４に表示される各種画像（例えば、画像処理前の画像や画像処理済の画像等）や各種情報等を確認しながら手術を行う。
　＜１－２．手術顕微鏡の概略構成の一例＞
　第１の実施形態に係る手術顕微鏡１０の概略構成の一例について図２を参照して説明する。図２は、第１の実施形態に係る手術顕微鏡１０の概略構成の一例を示す図である。
　図２に示すように、手術顕微鏡１０は、上記の対物レンズ１１、接眼レンズ１２、画像処理装置１３及びモニタ１４に加え、光源５１と、観察光学系５２と、正面画像撮影部５３と、断層画像撮影部５４と、提示部５５と、インターフェース部５６と、スピーカ５７とを有している。なお、モニタ１４や提示部５５は、表示装置に相当する。
　光源５１は、画像処理装置１３が備える制御部１３Ａによる制御に従って照明光を射出し、患者の眼を照明する。
　観察光学系５２は、例えば、対物レンズ１１やハーフミラー５２ａ、図示しないレンズ等の光学素子から構成されている。この観察光学系５２は、患者の眼から反射された光（観察光）を接眼レンズ１２及び正面画像撮影部５３へと導く。
　詳しくは、患者の眼から反射された光が、観察光として、対物レンズ１１や図示しないレンズ等を介してハーフミラー５２ａに入射する。ハーフミラー５２ａに入射した観察光のうちの略半分は、ハーフミラー５２ａをそのまま透過し、透過型の提示部５５を介して接眼レンズ１２へと入射される。一方、ハーフミラー５２ａに入射した観察光の残りの半分は、ハーフミラー５２ａで反射されて正面画像撮影部５３へと入射する。
　正面画像撮影部５３は、例えば、ビデオカメラ等により構成されている。この正面画像撮影部５３は、観察光学系５２から入射した観察光を受光して光電変換することで、患者の眼を正面から観察した画像、つまり患者の眼を略眼軸方向から撮影した画像である正面画像を撮影する。正面画像撮影部５３は、画像処理装置１３の制御に従って正面画像を撮影（撮像）し、得られた正面画像を画像処理装置１３に供給する。
　断層画像撮影部５４は、例えば、光干渉断層計（ＯＣＴ：Optical　Coherence　Tomography）やシャインプルークカメラ等により構成されている。この断層画像撮影部５４は、画像処理装置１３の制御に従って患者の眼の断面の画像である断層画像を撮影（撮像）し、得られた断層画像を画像処理装置１３に供給する。ここで、断層画像とは、患者の眼における眼軸方向と略平行な方向の断面の画像である。
　なお、断層画像撮影部５４は、例えば、赤外光を用いて干渉原理により断層画像を取得するが、その際の赤外光の光路と、観察光学系５２内の観察光の光路の一部とが共通の光路となるようにしてもよい。
　接眼レンズ１２は、提示部５５を介して観察光学系５２から入射された観察光を集光して、患者の眼の光学像を結像させる。これにより、患者の眼の光学像が接眼レンズ１２を覗いている術者によって観察される。
　提示部５５は、透過型の表示デバイス等により構成されており、接眼レンズ１２と観察光学系５２との間に配置されている。この提示部５５は、観察光学系５２から入射した観察光を透過させて接眼レンズ１２に入射させるとともに、画像処理装置１３から供給された各種画像（例えば、正面画像や断層画像等）や各種情報も必要に応じて提示（表示）する。各種画像や各種情報等は、例えば、患者の眼の光学像に重畳されて提示されてもよいし、光学像を邪魔しないように、光学像の周辺部に提示されてもよい。
　画像処理装置１３は、手術顕微鏡１０全体の動作を制御する制御部１３Ａを有する。例えば、制御部１３Ａは、光源５１の照明条件を変更したり、観察光学系５２のズーム倍率を変更したりする。また、制御部１３Ａは、インターフェース部５６から供給される術者等の操作情報等に基づいて、正面画像撮影部５３及び断層画像撮影部５４の画像取得を制御する。
　インターフェース部５６は、例えば、通信部等により構成されている。通信部は、モニタ１４に重畳して設けられたタッチパネルや、コントローラ、図示しないリモートコントローラ等の操作部からの指令を受信したり、外部装置との通信を行ったりする。このインターフェース部５６は、術者等の操作に応じた情報等を画像処理装置１３に供給する。また、インターフェース部５６は、画像処理装置１３から供給される、外部機器を制御するための機器制御情報等を外部機器に出力する。
　モニタ１４は、画像処理装置１３の制御部１３Ａによる制御に応じて、正面画像等の各種画像や各種情報を表示画面に表示する。
　スピーカ５７は、画像処理装置１３の制御部１３Ａによる制御に応じて、例えば、手術中に危険な状況を検出した場合、その危険状況を術者等に報知するため、ブザー音やメロディ音等の音、また、メッセージ（音声）等を出力する。なお、手術顕微鏡１０は、危険状況を術者等に報知するための回転灯や表示灯（ランプ）を備えていてもよい。
　以上のような構成の手術顕微鏡システム１では、術前計画のマーク（マーカ）を眼の動きにあわせて動かすのではなく、術前計画のマークを固定し、固定したマークに合うように実時間の術野画像を幾何変換して表示することで、術者は眼内レンズ等のインプラントの詳細な位置合わせや姿勢設定を行うことが容易となるので、術前計画に沿った手術を精度高く実現することができる。
　＜１－３．画像処理装置の概略構成及び画像処理の一例＞
　第１の実施形態に係る画像処理装置１３の概略構成及び画像処理の一例について図３を参照して説明する。図３は、第１の実施形態に係る画像処理装置１３の概略構成（構成及び処理の流れ）の一例を示す図である。
　図３に示すように、画像処理装置１３は、術前計画受領部１３ａと、画像入力部１３ｂと、レジストレーション部１３ｃと、情報蓄積部１３ｄと、眼球トラッキング部（眼球追跡部）１３ｅと、表示画像生成部１３ｆとを備える。
　術前計画受領部１３ａは、患者の眼に対する術前計画情報（例えば、術前計画の術前画像や術前計画に基づくマークの姿勢情報等）を受領する。マークの姿勢情報は、術前画像における角膜輪部等を基準としたマークのサイズ、マークの位置、マークの眼軸周りの向き（眼軸周りの回転方向の位置）に関する情報（サイズ情報や位置情報、向き情報等）を含む。例えば、眼軸周りの向きは、眼軸に直交する基準線に対して眼軸周りの回転方向への角度で規定される。ただし、マークの座標系の位置及び眼軸周りの回転方向の位置は、いずれもマークの位置情報に相当する。
　画像入力部１３ｂは、正面画像撮影部５３（図２参照）から術野画像（正面画像）を受領し、受領した術野画像（例えば、手術開始時の術野画像や手術中の実時間の術野画像等）をレジストレーション部１３ｃや眼球トラッキング部１３ｅ、表示画像生成部１３ｆ等に供給する。
　レジストレーション部１３ｃは、術前計画の術前画像と術開始時の術野画像との比較により術前計画の術前画像と術開始時の術野画像との対応関係、例えば、ズレ量やズレ方向を求める。そして、レジストレーション部１３ｃは、求めたズレ量やズレ方向に関するズレ情報（位置関係情報）を術前開始時の術野画像と共に情報蓄積部１３ｄに供給する。
　情報蓄積部１３ｄは、レジストレーション部１３ｃから供給されたズレ情報及び術前開始時の術野画像に基づいて、術開始時の術野画像に合わせてマークの姿勢情報を変換（変更）し、術開始時の術野画像と、その術開始時の術野画像に合わせて変換したマークの姿勢情報を蓄積する。
　眼球トラッキング部１３ｅは、術開始時の術野画像と実時間の術野画像との比較により実時間の術野画像中の眼球を追跡する。また、眼球トラッキング部１３ｅは、実時間の術野画像における眼球の姿勢情報と、情報蓄積部１３ｄにより蓄積されたマークの姿勢情報との差分（例えば、ズレ量やズレ方向）を示す変位情報を表示画像生成部１３ｆに供給する。眼球の姿勢情報は、マークの姿勢情報と同様、眼球のサイズ、眼球の位置、眼球の眼軸周りの向き（眼軸周りの回転方向の位置）に関する情報（サイズ情報や位置情報、向き情報等）を含む。ただし、眼球の座標系の位置及び眼軸周りの回転方向の位置は、いずれも眼球の位置情報に相当する。
　表示画像生成部１３ｆは、変換したマークの姿勢情報に基づいた固定姿勢（固定位置及び固定向き等）のマークに対する眼球の位置変化を無くすよう、眼球トラッキング部１３ｅから供給された変位情報に基づいて実時間の術野画像の姿勢（位置や向き等）を変更し、姿勢を変更した実時間の術野画像に固定姿勢のマークを重ねて表示画像を生成する。
　ここで、多くの眼科手術ガイダンスシステムでは、術前画像と術開始時画像（術開始時の術野画像）のレジストレーションを行い、その後に術開始時画像と実時間画像の比較（トラッキング）によって術前計画のマークを実時間画像（実時間の術野画像）にマッピング表示する。ただし、この手法では、術前計画に基づくマークが眼の動きに合わせて動いてしまう。このため、術者は、動く指標を参照しながらそれに合わせる形で創口作成、前嚢切開、トーリックＩＯＬ（乱視矯正用眼内レンズ）の軸合わせ、ＩＯＬのセンタリング等を行うことになるので、精度良く術前計画に沿った手術を行うことは難しい。そこで、術前計画のマークを眼にあわせて動かすのではなく、固定した術前計画のマークに合うように実時間画像を幾何変換して表示することで、精度良く術前計画に沿った手術を行うことを実現する。
　（表示画像の例１）
　図４は、第１の実施形態に係る表示画像の例１を示す図である。図４に示すように、２つの三角形状のマークＭ１が固定されて提示される。この固定姿勢の各マークＭ１が基準にされ、眼球の動き方向及び動き量に応じて、固定姿勢の各マークＭ１に対して実時間の術野画像Ｇ１が眼球の動き方向の逆方向に前述の動き量だけ移動するよう変換（変更）される。実時間の術野画像Ｇ１に固定姿勢の各マークＭ１が重ねられ、表示画像が生成される。この表示画像は、モニタ１４及び提示部５５の両方又は一方により表示画面に表示される。
　図４の例では、マークＭ１は、眼軸に直交する直線上に眼軸である中心を間にして２つ設けられている。これらのマークＭ１の一部は、虹彩Ａ１上に位置する。各マークＭ１は、乱視矯正を行うトーリックＩＯＬ等の眼内レンズＢ１の位置合わせ用のマーク（眼内レンズＢ１設置用の目標マーク）である。これらのマークＭ１に対して、眼内レンズＢ１の２つのマークＢ１ａが合わせられる。例えば、眼内レンズＢ１がトーリックＩＯＬである場合、患者の乱視軸に対して眼内レンズＢ１のトーリック軸を一致させる必要があり、眼軸周りの向き（眼軸周りの回転方向の位置）にずれが生じた場合には十分な乱視矯正効果を得ることができない。そこで、トーリックＩＯＬには、端点にトーリック軸を示す２つのマークＢ１ａ（例えば、点線等）が刻印されており、トーリックＩＯＬの眼軸周りの向きを把握可能にされている。手術時には、トーリックＩＯＬのマークＢ１ａが実時間の術野画像Ｇ１内のマークＭ１に合わせられ、トーリックＩＯＬが眼内に設置される。
　このように、術前計画を示すパターンであるマークＭ１を固定提示し、この固定提示したマークＭ１に対して適切な姿勢（位置や向き等）になるよう、トラッキングした眼球を含む術野画像Ｇ１を幾何変換することで、眼球の動きが止まる形で提示できるようになる。このため、動きの無い術前計画のマークＭ１及び眼球等を観察しながらの施術を実現することができる。固定対象を観察しながらの施術となるので、術前計画に沿った手術を精度高く実現することができる。
　なお、術前計画のマークＭ１の姿勢（位置や向き等）は、術開始時の術野画像Ｇ１に合わせる形の術前計画のマークの姿勢に固定されても良いし、術前の術前計画のマークの姿勢に合わされても良いし、術前計画で予め定めた特定の姿勢とされても良い（例えば、トーリックＩＯＬの軸が水平や垂直になるようにしても良い）。
　以上ではトーリックＩＯＬの軸合わせのためのマーク表示を例に説明したが、創口作成についても同様のマーク表示の方法により術前計画に沿った手術の支援を行うことができる。すなわち、角膜輪部やその少し内側、あるいは少し外側の位置に実施する創口作成についてこれを眼軸周りのどの向きに行うのかを術前計画に沿って三角形状等のマークにより示すことができる。
　（表示画像の例２）
　図５は、第１の実施形態に係る表示画像の例２を示す図である。図５に示すように、各マークＭ１を通過する直線Ｌ１と、眼内レンズＢ１の各マークＢ１ａを通過する直線Ｌ２とが提示されてもよい。直線Ｌ１は、眼内レンズＢ１設置用の目標線である。この直線Ｌ１と直線Ｌ２のズレ量（眼軸周りの回転方向の位置のズレ量）が画像処理により計測され、計測されたズレ量が角度αとして提示されてもよい。このズレ量の提示はリアルタイムに行われてもよい。術者は、そのズレ量がゼロになるように眼内レンズＢ１を眼内に設置する。
　なお、直線Ｌ１及び直線Ｌ２は、背景色となる術野画像Ｇ１に対して目立って術者が視認しやすい色で提示されることが望ましい。また、創口作成に関しては、例えば術前計画における創口作成の眼軸周りの向きと創口作成用のナイフ等の術具の先端の眼軸周りの向きのズレ量を提示するようにしてもよい。
　（表示画像の例３）
　図６は、第１の実施形態に係る表示画像の例３を示す図である。図６に示すように、円形状であるマークＭ２が固定されて提示されてもよい。このマークＭ２は、前嚢切開用の目標円であり、眼軸を中心とする円形状であるため、マークＭ２の眼軸周りの回転方向の姿勢（向き）がない。このため、図４の場合と異なり、実時間の術野画像Ｇ１である原画の回転を行わないようにしてもよい。眼内レンズＢ１のセンタリングの際に円（眼軸等を中心とする円）や点（眼軸等を示す点）を表示する場合にも、同様に原画の回転を行わないようにしてもよい。
　なお、マークＭ２の形状は、円形状に限定されるものではなく、例えば、環形状であってもよい。円形状等の環形状の中心としては、眼軸以外にも、角膜輪部中心や瞳孔中心、術前瞳孔中心、視軸、前嚢切開縁中心等を用いることが可能である。
　また、前嚢切開用の目標円であるマークＭ２と、実際の前嚢切開位置とのズレ量（離間距離）が画像処理により計測され、計測されたズレ量が提示されてもよい。このズレ量の提示はリアルタイムに行われてもよい。術者は、そのズレ量がゼロになるように前嚢切開を実施する。
　（表示画像の例４）
　図７は、第１の実施形態に係る表示画像の例４を示す図である。図７に示すように、実時間の術野画像（マークＭ１無し）である原画Ｇ２が、変換後の術野画像Ｇ１（マークＭ１有り）と並置する形で提示されてもよい。これら並置された術野画像Ｇ１及び原画Ｇ２の大きさや配置を術者等の好みに応じて調整できるようにしてもよい。術野画像Ｇ１及び原画Ｇ２の一方が拡大又は縮小されたり、両方が互いに異なる縮尺で拡大又は縮小されたりしてもよい。例えば、術者は、インターフェース部５６に接続されたタッチパネルやコントローラ等の操作部を操作し、拡大又は縮小を行うことが可能である。
　ここで、眼の手術を行う際には術具による眼の操作によって、又は、患者の眼の筋肉の作用で眼球が動くことがある。術前計画のマークに沿う形で眼球の動きを無くして固定した術野画像を参照しながら施術を行うと、実際の術野での眼や術具の動きが分かり難くなることがある。このため、前述のように、実時間の術野画像である原画Ｇ２を変換後の術野画像Ｇ１と並置する形で提示することで、実際の術野での眼や術具の動きを分かりやすくできる。
　（表示画像の例５）
　図８は、第１の実施形態に係る表示画像の例５を示す図である。図８に示すように、見辛さを低減するため、実時間の術野画像Ｇ１の一部のみが表示されてもよい。例えば、実時間の術野画像Ｇ１の角膜領域内の表示画像（画像）が提示される。
　ここで、術前計画の固定姿勢のマークＭ１に対して術野画像Ｇ１を幾何変換した場合、術野画像Ｇ１である原画全体の幾何変化結果を表示すると、画枠等が動くことになり、術者等によっては術野画像Ｇ１が見辛いと感じる可能性がある。このような見辛さを低減するため、前述のように、術野画像Ｇ１の一部のみ表示してそれ以外の部分は表示しないようなマスクを追加するようにしてもよい。このマスクは、例えば、術野画像Ｇ１における角膜中心がマスク中心となるように設定されてもよい。
　（表示画像の例６、例７）
　上記の表示画像の例４では、原画Ｇ２の並置により眼等の動きを分かりやすくしたが、眼の動きを分かりやすくするために他の方法を用いてもよい。
　図９は、第１の実施形態に係る表示画像の例６を示す図である。図９に示すように、固定した眼の術野画像Ｇ１上に眼の実際の動きを、例えば、代表的な動き方向を示す矢印によって表現してもよいし、また、予め定めた格子状の座標に対してこのような矢印や線分を表示するようにしてもよい。このような矢印や線分等で眼球の動きを示す追加情報が、実時間の術野画像Ｇ１に重ねられてもよい。例えば、表示画像生成部１３ｆは、眼球トラッキング部１３ｅにより得られる眼中の動きに関する情報（例えば、動きベクトル等）に基づいて追加情報を生成する。
　図１０は、第１の実施形態に係る表示画像の例７を示す図である。図１０に示すように、マークＭ１を固定した術野画像Ｇ１の周囲に、この術野画像Ｇ１よりスケールが大きくなるように拡大（又は縮小）した術野画像である原画Ｇ２を表示して、眼球の動きを表現するようにしてもよい。例えば、マークＭ１を固定した術野画像Ｇ１を原画Ｇ２上に重ねてもよい。
　なお、前述の図９や図１０の手法と、図７の手法（上記の表示画像の例４の手法）とを併用してもよい。また、図４から図１０の手法を適宜組み合わせることが可能である。
　また、トラッキング処理が失敗し、実時間画像における眼の姿勢（位置や向き等）が推定できない時刻が生じることがある。このような場合には、表示画像生成部１３ｆは、最後に姿勢が推定できた時刻の画像の姿勢を維持することで、表示を続けるようにしてもよい。なお、最後に姿勢が推定できた時刻の術野画像Ｇ１の姿勢を維持する以外にも、姿勢が推定できた時刻の術野画像Ｇ１の姿勢を等速度や等角速度、等加速度運動や等角加速度運動で維持してもよい。また、トラッキングが失敗した場合に、失敗したことが分かるようにマークの色を変更する等、画像の表示を変更するようにしてもよい。
　また、マークＭ１を固定した術野画像Ｇ１の提示は、２Ｄ（２次元）で行ってもよいが、３Ｄ（３次元）で行うようにしてもよい。これによって、術者が、マークＭ１を固定した術野画像Ｇ１のみを参照する場合の施術を容易にすることが可能となる。３Ｄ画像の生成の際には、例えば、左目用画像と右目用画像に対して同じ幾何変換を施すようにしてもよい。また、原画Ｇ２の提示を２Ｄで行ってもよいが、３Ｄで行ってもよい。この場合にも、術者が、原画Ｇ２を参照する場合の施術を容易にすることが可能となる。なお、マークＭ１を固定した術野画像Ｇ１の提示と原画Ｇ２の提示との両方を２Ｄ又は３Ｄで行ってもよく、それらのどちらか一方を２Ｄ又は３Ｄで行ってもよい。
　（表示画像の例８）
　図１１は、第１の実施形態に係る表示画像の例８を示す図である。図１１に示すように、輝度が異なる２つの輝度領域が設定されており、それらの輝度領域の境界Ｍ３が固定されて提示される。この境界Ｍ３は、ライン形状の境界、すなわちライン境界（眼内レンズＢ１設置用の目標線）として機能する。図１１の例では、２つの輝度領域のうち右側の輝度領域（図１１中の斜線による塗り潰し領域）の輝度が左側の輝度領域の輝度よりも低く設定されている。この境界Ｍ３にトーリック軸が合わせられ、トーリックＩＯＬが設置される。なお、輝度領域の数は、２つに限られるものではなく、２つ以上の複数であればよい。
　なお、前述のように、輝度変化の境界Ｍ３を固定しておき、この固定提示した境界Ｍ３に対して術野画像Ｇ１が適切な姿勢（位置や向き等）になるよう（例えば、固定姿勢の境界Ｍ３に対して術野画像Ｇ１中の眼球の変位が無くなるよう）、術野画像Ｇ１の姿勢を変更する処理が行われる。つまり、境界Ｍ３を固定しておき、術野画像Ｇ１の姿勢を変更することで、眼球と境界Ｍ３との位置関係は変わらない。
　また、このような処理以外にも、逆に、術野画像Ｇ１を固定しておき、この固定提示した術野画像Ｇ１に対して境界Ｍ３が適切な姿勢（位置や向き等）になるよう（例えば、固定姿勢の術野画像Ｇ１中の眼球に対して境界Ｍ３の変位が無くなるよう）、境界Ｍ３の姿勢を変更してもよい。この境界Ｍ３の姿勢を変更することは、各境界領域の範囲（例えば、サイズや形状等）を変更することになる。
　例えば、境界Ｍ３の姿勢（位置や向き等）を変更する場合、表示画像生成部１３ｆは、眼球の姿勢情報に基づいて、眼球の変位に応じて境界Ｍ３の姿勢を変更しつつ、表示画像を生成する。例えば、表示画像生成部１３ｆは、眼球の動き方向及び動き量に応じ、実時間の術野画像Ｇ１に対して境界Ｍ３を眼球の動き方向に前述の動き量だけ移動させ、境界Ｍ３の姿勢（例えば、各輝度領域の範囲）を変更する。つまり、術野画像Ｇ１を固定しておき、境界Ｍ３の姿勢を変更することで、眼球と境界Ｍ３との位置関係は変わらない。
　（表示画像の例９）
　図１２及び図１３は、第１の実施形態に係る表示画像の例９を示す図である。図１２及び図１３に示すように、輝度が異なる２つの輝度領域が設定されており、それらの輝度領域の境界Ｍ４として提示される。この境界Ｍ４は、半円を有する形状の境界、すなわちセミサークル境界（前嚢切開用の目標円を形成するための半円）として機能する。なお、図１２及び図１３の例では、輝度領域の境界Ｍ４は、眼軸等を中心として９０度回転している。
　例えば、輝度領域の境界Ｍ４は、前嚢切開等の手術において、手術開始から所定速度（例えば、術者が術具の先端部を移動させるときの速度）で、眼軸等を中心として３６０度回転する。れにより、境界Ｍ４は、前嚢切開用の目標円を形成することになる。所定速度は、予め設定されており、例えば、術者が術具の先端部を移動させるときの速度の平均値等の一般的な値である。ただし、境界Ｍ４の回転速度は、所定速度でなくてもよく、例えば、術者が移動させる術具の先端部や前嚢切開縁の端点を検出し、術具の動きや前嚢切開縁の端点の動きに応じて境界Ｍ４を回転させてもよい。この術具の先端部や前嚢切開縁の端点の検出には、後述する処理開始部１３ｇを用いることが可能である。また、境界Ｍ４の回転角度は、例えば、１８０度等の他の角度でもよい。
　（表示画像の例１０）
　図１４は、第１の実施形態に係る表示画像の例１０を示す図である。図１４に示すように、図１２及び図１３に示す境界Ｍ４に加え、さらに、複数（図１４の例では２つ）の境界Ｍ５が提示される。これらの境界Ｍ４及び境界Ｍ５は、表示画像の例１０と同様、輝度が異なる２つの輝度領域の境界により形成される。境界Ｍ５は、切開位置を示す境界である。
　境界Ｍ４や境界Ｍ５に関しても、境界Ｍ３と同様に、境界Ｍ４や境界Ｍ５の姿勢や位置を固定として（但し、術具や前嚢切開縁の動き等に応じた境界Ｍ４の回転は除く）眼球の姿勢（位置や向き等）がこれに沿うように術野画像Ｇ１を動かしても良いし、逆に術野画像Ｇ１は固定としてその中の眼球の動きに沿うように境界Ｍ４や境界Ｍ５を動かすようにしてもよい。
　なお、上記の説明から明らかなように、境界Ｍ３～Ｍ５は、術野画像に重畳表示するマークではなく、飽くまでも視認上位置や姿勢を示すことを可能とする境界である。境界Ｍ３～Ｍ５は、重畳するマークと異なり、マークの位置の術野画像を隠すことがないため、重畳するマークを用いる場合と比べて術野の視認性を向上する効果が得られる。
　以上のような各種の表示画像が用いられるが、それらの表示画像を術者やスタッフ等により選択可能にしてもよい。表示画像の選択は、術者やスタッフ等による操作部に対する入力操作により実現される。例えば、術者やスタッフ等は、操作部を操作して希望する表示画像を表示する表示モードを選択する。この選択に応じて、表示画像生成部１３ｆは、選択された表示モードに基づく表示画像を生成する。同様に、各種画像に関して、画像のサイズや位置等を術者やスタッフ等により変更可能にしてもよい。表示画像生成部１３ｆは、術者やスタッフ等による操作部に対する入力操作に応じて、画像のサイズや位置等を変更して表示画像を生成する。
　＜１－４．作用・効果＞
　以上説明したように、第１の実施形態によれば、画像入力部１３ｂが患者の眼に対する術野画像（例えば、術野画像Ｇ１等）を受領し、眼球トラッキング部１３ｅが、術野画像中の眼球を追跡し、術野画像における眼球の変位を検出し、表示画像生成部１３ｆが、眼球の変位に基づいて術野画像を変換し、変換した術野画像にマーク（例えば、マークＭ１、Ｍ２等）を重ねて表示画像を生成するとき、術野画像の変換によらず、表示画面上の所定位置にマークを位置付けて表示画像を生成する。これにより、マークを眼の動きにあわせて動かすのではなく、所定位置にマークを固定して表示することが可能となる。したがって、術者はマークを視認しやすくなり、眼内レンズ等のインプラントの詳細な位置合わせや姿勢設定を行うことが容易となるので、術前計画に沿った手術を精度高く実現することができる。なお、変位とは、平行移動、回転、拡大／縮小、変形やその組み合わせ等、眼球等の被写体に対する任意の変化を含むものである。
　また、術前計画受領部１３ａが、患者の眼に対する術前計画に基づく術前画像及びマークの位置情報（例えば、座標上の位置や向き等）を受領し、情報蓄積部１３ｄが、術前画像と術開始時の術野画像との比較により術開始時の術野画像に合わせてマークの位置情報を変換し、術開始時の術野画像と、変換したマークの位置情報とを蓄積し、眼球トラッキング部１３ｅが、術開始時の術野画像と実時間の術野画像との比較により実時間の術野画像中の眼球を追跡し、実時間の術野画像における眼球の位置情報（例えば、座標上の位置や向き等）と、変換したマークの位置情報との差分を示す変位情報を出力し、表示画像生成部１３ｆが、変換したマークの位置情報に基づいて所定位置に固定されたマークに対する眼球の位置変化を無くすよう、変位情報に基づいて実時間の術野画像の位置を変更し、表示画像を生成する。これにより、術前計画のマークを眼の動きにあわせて動かすのではなく、術前計画のマークを固定し、固定したマークに合うように実時間の術野画像の位置（例えば、座標上の位置や向き等）を変更して表示することが可能となる。したがって、術者はマークを視認しやすくなり、眼内レンズ等のインプラントの詳細な位置合わせや姿勢設定を行うことが容易となるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、変換した術野画像にマークを重ねた画像と、画像入力部１３ｂにより受領される実時間の術野画像とを並べて、表示画像を生成する。これにより、実際の術野での眼や術具の動きを分かりやすくできるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、変換した術野画像にマークを重ねた画像と、画像入力部１３ｂにより受領される実時間の術野画像とを重ねて、表示画像を生成する。これにより、実際の術野での眼の動きを分かりやすくできるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、変換した術野画像にマークを重ねた画像と、画像入力部１３ｂにより受領される実時間の術野画像との両方又は一方を拡大又は縮小する。これにより、実際の術野での眼や術具の動きをより分かりやすくできるので、術前計画に沿った手術をより精度高く実現することができる。
　また、表示画像生成部１３ｆは、変換した術野画像内の角膜領域の画像、又は、変換した術野画像内の角膜及び角膜周辺を含む領域の画像を表示画像として生成する。これにより、実時間の術野画像全体を表示する場合に画枠等が動くことで表示画像が見辛いと感じることを低減することが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、変換した術野画像に、眼球の動きを示す追加情報を重ねて、表示画像を生成する。これにより、実際の術野での眼の動きを分かりやすくできるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、眼球トラッキング部１３ｅによる眼球のトラッキング（追跡）から眼球が外れた場合、眼球が外れる前の表示画像を維持する。これにより、表示画像の消失による手術の中断を回避することが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、３次元の前記表示画像を生成する。これにより、術者が、マークを固定した術野画像のみを参照する場合でも、施術を容易にすることが可能となるので、術前計画に沿った手術を精度高く実現することができる。
　また、表示画像生成部１３ｆは、輝度が異なる複数の輝度領域を術野画像に設定し、術野画像の変換によらず、表示画面上の所定位置に複数の輝度領域の境界（例えば、境界Ｍ３～Ｍ５等）をマークに替えて位置付けて表示画像を生成する。これにより、重畳するマークにより術野を隠すことなく実際の術野でのマークを把握しやすくできるので、術前計画に沿った手術をより精度高く実現することができる。
　また、表示画像生成部１３ｆは、マーク（例えば、マークＭ２等）が姿勢（向き）を有さない形状（例えば、円形状等）である場合、表示画像生成部１３ｆが眼球の変位に基づいて術野画像を変換することを制限して回避する。これにより、不要な処理の実行を避けることが可能となるので、処理速度を向上させることができる。
　＜２．第２の実施形態＞
　＜２－１．術開始指示処理の一例＞
　第２の実施形態に係る術開始指示処理の一例について図１５から図１７を参照して説明する。図１５は、第２の実施形態に係る画像処理装置１３の概略構成の一例を示す図である。図１６は、第２の実施形態に係る術開始指示対象を含む表示画像の一例を示す図である。図１７は、第２の実施形態に係る術開始指示処理の一例を示すフローチャートである。
　ここで、眼科手術ガイダンス装置の多くは、処理の遷移を術者以外のスタッフが実施することを前提としている。しかし、例えば、レジストレーションの対象とする術開始時画像（術開始時の術野画像）の決定は、その後のガイダンス表示に大きな影響を及ぼすため、術者が自ら指定したいことがある。この術開始時画像の決定をスタッフに頼むことは、ワークフローを煩雑にするとともに術者の意図しない結果を招くこともある。そこで、第２の実施形態では、術者が術野に術開始指示対象を挿入することにより、術開始指示を行うことを可能とすることで、ワークフローが煩雑になることや術者の意図しない結果が生じることを抑えることができる。
　図１５に示すように、画像処理装置１３は、第１の実施形態に係る各部１３ａ～１３ｆに加え、処理開始部１３ｇを備える。処理開始部１３ｇは、図１６に示すように、術野画像から術開始指示対象Ｃ１を検出すると、術開始時の処理を開始する（例えば、術開始時の処理開始を許可する）。術開始指示対象Ｃ１としては、例えば、手術に用いられる術具、あるいは、各種の器具等を用いることが可能である。処理開始部１３ｇは、画像認識処理により術開始指示対象Ｃ１を検出する画像認識部として機能する。
　図１７に示すように、ステップＳ１１において、術野内に術開始指示対象Ｃ１が処理開始部１３ｇにより検出されたか否かが判断される。このステップＳ１１において、術野内に術開始指示対象Ｃ１が検出されると（ステップＳ１１のＹＥＳ）、ステップＳ１２において、レジストレーションがレジストレーション部１３ｃにより実施される。次いで、ステップＳ１３において、その他の術開始時処理が情報蓄積部１３ｄ等により実施され、ステップＳ１４において、ガイダンス表示モードへの遷移が行われる。
　このような処理では、画像処理装置１３は、術野画像Ｇ１から術開始指示対象Ｃ１を検出すると、その検出タイミングの術野画像Ｇ１を術開始時画像として取得し、取得した術開始時画像を用いて術開始時処理の一つであるレジストレーションを実施し、さらに、その他の術開始時処理を実施する。例えば、術具等の術開始指示対象Ｃ１が術者により術野に挿入されて術野画像Ｇ１に含まれると、その術開始指示対象Ｃ１が処理開始部１３ｇにより検出される。そして、その検出タイミングの術野画像Ｇ１が術開始時画像にされ、さらに、その他の術開始時処理が実行される。したがって、術者が術野に術開始指示対象Ｃ１を挿入することにより、術開始指示を行うことを可能とすることで、ワークフローが煩雑になることや術者の意図しない結果が生じることを抑えることができる。
　通常、術者は清潔のために術中に手を用いた操作が困難であり、同席するスタッフに各種の操作を依頼せざるを得ないことが多く、ワークフローが煩雑になる。そこで、前述のように、開始タイミングを術者の画像への関与により指定することを実現できる画像認識部として機能する処理開始部１３ｇを設けることで、術者が術野（カメラ画像）に挿入する対象を自動検出して各種の処理を実行できるようになる。また、術者の操作により処理の開始指示を行うことが可能になり、スタッフへの操作依頼がなくなるので、ワークフローを簡略化することができる。
　なお、図１７には、術開始指示対象Ｃ１を術野内に検出した際にレジストレーション、その他術開始時処理、ガイダンス表示モード（第１の実施形態で説明した各種の表示モード）への遷移を実施する例を示しているが、実施する処理はそれらに限定されるものではなく、また、それらの一部のみを実施するようにしても良い。また、術開始指示対象Ｃ１の検出のタイミングは、例えば、術開始指示対象Ｃ１が角膜の中心等の特定位置に達した時点となるように処理されてもよい。
　また、術開始指示対象Ｃ１の挿入方向が特定方向であることを前提にし、検出処理を実施するようにしてもよい。挿入方向を既知とすることで、検出精度を高めることができる。例えば、術開始指示対象Ｃ１の挿入方向を眼の上方又は下方からとなるように限定してもよい。術開始指示対象Ｃ１を含む画像をレジストレーションに用いる場合には、術開始時画像の中で術開始指示対象Ｃ１に隠れている眼の部分を術前画像との比較に用いることができない。ところが、術開始指示対象Ｃ１の挿入方向を眼の上方あるいは下方に限定した場合には、隠れる部分の中で術前画像において瞼に隠れている部分と重なる範囲が多くなり、レジストレーション処理への悪影響が小さくなるので、レジストレーション精度を高めることができる。術前画像及び実時間の術野画像Ｇ１の両方において、もともと瞼で眼球の上方と下方は隠れていることが多い。
　また、術開始指示対象Ｃ１を術者の望む物、例えば、術開始直後に用いることの多い攝子やサイドポート用ナイフ等の種類を決め、術前に種類ごとの画像を処理開始部１３ｇに供給して学習させておいてもよい。これにより、術者の利便性を向上しつつ、術開始指示対象Ｃ１の検出精度を高めることができる。学習方法としては、例えば、畳み込みニューラルネットワーク等の各種ニューラルネットワークを用いることが可能である。
　また、眼科手術ガイダンス装置に特定の器具等を術開始指示対象Ｃ１として加えることで、眼科手術ガイダンスシステムを構成してもよい。例えば、術開始指示対象Ｃ１の色を、その検出処理の際に背景画像となる眼球と識別しやすいように眼球の色（例えば、白目の色、血管の色、虹彩の色、術中の瞳孔の色等）以外の色としてもよい。これにより、術開始指示対象Ｃ１の検出精度を高めることができる。
　また、術開始指示対象Ｃ１の形を検出処理の行い易い形状としてもよい。具体的には、例えば、術開始指示対象Ｃ１の形を、図１６に示すように、術具の柄（例えば、棒状の柄）の端に円形の先端部を付けた形状としてもよい。また、図１８及び図１９は、それぞれ第２の実施形態に係る術開始指示対象Ｃ１の形状の一例を示す図である（例１及び例２）。例えば、術開始指示対象Ｃ１の形を、図１８に示すように、術具の柄の端に正方形の先端部を付けた形状や、図１９に示すように、星型の先端部を付けた形状としてもよく、また、楕円形や多角形等の各種形状の先端部を付けた形状としてもよい。これにより、術開始指示対象Ｃ１の検出精度を高めることができる。
　また、術開始指示対象Ｃ１として、撮影画像における形状が正確に予測可能な対象（例えば、寸法が予め判明している形状等）を用いるようにしてもよい。例えば、術具の柄の端に球状の先端部をつけたような形状を用いれば、撮影された先端部の画像上のサイズと実寸との比較により、画像の大きさと実寸との関係が明らかになる。先端部の実寸は予め判明している。このため、その後の画像上の計測対象のサイズを測る上での基準として、術具の先端部を用いることが可能になる。これにより、術開始指示の取得とサイズに関するキャリブレーションとを同時に実現可能になるので、手術のワークフローを簡素化することができる。
　また、眼球に関するサイズの計測精度を高めるため、術開始指示対象Ｃ１を画像に挿入する際、術具の先端部を角膜頂点に接触させることを前提にしてもよい。この場合には、例えば先端形状が球形である場合、術野画像Ｇ１の撮影機器から角膜頂点までの離間距離と、術野画像Ｇ１の撮影機器から術具の先端部の輪郭線までの離間距離との差は球の半径と等しくなるため、この関係の情報を活用することで、撮影機器からの距離も考慮した精度の高いキャリブレーションを実施できる。
　また、術開始指示対象Ｃ１に基準となる色を持つ部分を設けるようにしてもよい。例えば、術開始指示対象Ｃ１に白色部分を持たせれば、この白色部分を用いてホワイトバランスの設定を行うことができる。また、図２０は、第２の実施形態に係る術開始指示対象Ｃ１の色の一例を示す図である。図２０に示すように、例えば、緑、青、赤等の既知の１つ以上の色を術開始指示対象Ｃ１に持たせることで、ホワイトバランス以外の色のキャリブレーションを行うようにしてもよい。これにより、術開始指示の取得と、色に関するキャリブレーション（色校正）を同時に実現可能になり、手術のワークフローを簡素化することができる。
　＜２－２．作用・効果＞
　以上説明したように、第２の実施形態によれば、第１の実施形態と同様に効果を得ることができる。さらに、処理開始部１３ｇは、画像入力部１３ｂにより受領される術野画像（例えば、術野画像Ｇ１等）に基づいて術開始指示対象（例えば、術開始指示対象Ｃ１等）を検出し、画像入力部１３ｂにより受領される術野画像に基づいて術開始指示対象を検出した場合、術開始時の処理を開始する。これにより、術者が術野に術開始指示対象を挿入することで術開始指示を行うことが可能になるので、手術に係るワークフローが煩雑になることや術者の意図しない結果が生じることを抑えることができる。
　また、処理開始部１３ｇは、術開始時の処理として、術開始時の術野画像を取得する処理を開始する。これにより、術開始時の術野画像を自動的に得ることが可能になるので、手術に係るワークフローの煩雑化を確実に抑えることができる。
　また、処理開始部１３ｇは、画像入力部１３ｂにより受領される術野画像に基づいて、特定方向から術野画像に挿入される術開始指示対象を検出した場合、術開始時の処理を開始する。これにより、挿入方向を既知とすることで、術開始指示対象の検出精度を高めることが可能になるので、手術に係るワークフローの煩雑化を確実に抑えることができる。
　また、上記の特定方向は、画像入力部１３ｂにより受領される術野画像において、眼の上方又は下方である。これにより、レジストレーション処理への悪影響を小さくし、レジストレーション精度を高めることが可能になるので、術前計画に沿った手術を精度高く実現することができる。
　また、処理開始部１３ｇは、術開始指示対象を術前に学習する。これにより、術開始指示対象の検出精度を高めることが可能になるので、手術に係るワークフローの煩雑化を確実に抑えることができる。
　また、処理開始部１３ｇは、術開始指示対象の所定形状又は色を検出する。これにより、術開始指示対象の検出精度を高めることが可能になるので、手術に係るワークフローの煩雑化を確実に抑えることができる。
　また、処理開始部１３ｇは、検出した術開始指示対象の所定形状の寸法を、術野画像における計測対象のサイズを計測するときのキャリブレーションに用いる。これにより、術開始指示の取得とサイズに関するキャリブレーションとを同時に行うことが可能になるので、手術に係るワークフローの煩雑化を確実に抑えることができる。
　また、処理開始部１３ｇは、検出した術開始指示対象の色を、術野画像の色バランス調整に用いる。これにより、術開始指示の取得と、色に関するキャリブレーション（色校正）を同時に行うことが可能になるので、手術に係るワークフローの煩雑化を確実に抑えることができる。
　＜３．コンピュータの概略構成の一例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２１は、上述した一連の処理をプログラムにより実行するコンピュータ５００の概略構成の一例を示す図である。
　図２１に示すように、コンピュータ５００は、ＣＰＵ（Central　Processing　Unit）５１０と、ＲＯＭ（Read　Only　Memory）５２０と、ＲＡＭ（Random　Access　Memory）５３０とを有している。
　ＣＰＵ５１０、ＲＯＭ５２０及びＲＡＭ５３０は、バス５４０により相互に接続されている。このバス５４０には、さらに、入出力インターフェース５５０が接続されている。この入出力インターフェース５５０には、入力部５６０、出力部５７０、記録部５８０、通信部５９０及びドライブ６００が接続されている。
　入力部５６０は、キーボードやマウス、マイクロフォン、撮像素子等により構成されている。出力部５７０は、ディスプレイやスピーカ等により構成されている。記録部５８０は、ハードディスクや不揮発性のメモリ等により構成されている。通信部５９０は、ネットワークインターフェース等により構成されている。ドライブ６００は、磁気ディスクや光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体６１０を駆動する。
　以上のように構成されるコンピュータ５００では、ＣＰＵ５１０が、例えば、記録部５８０に記録されているプログラムを、入出力インターフェース５５０及びバス５４０を介して、ＲＡＭ５３０にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ５００、すなわちＣＰＵ５１０が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体６１０に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ５００では、プログラムは、リムーバブル記録媒体６１０をドライブ６００に装着することにより、入出力インターフェース５５０を介して、記録部５８０にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５９０で受信し、記録部５８０にインストールすることができる。その他、プログラムは、ＲＯＭ５２０や記録部５８０に、あらかじめインストールしておくことができる。
　なお、コンピュータ５００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述の処理の流れ（例えば、フローチャート）で説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　＜４．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　患者の眼に対する術野画像を受領する画像入力部と、
　前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、
　前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて表示画像を生成する表示画像生成部と、
を備え、
　前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する、
　画像処理装置。
（２）
　前記眼に対する術前計画に基づく術前画像及び前記マークの位置情報を受領する術前計画受領部と、
　前記術前画像と術開始時の前記術野画像との比較により前記術開始時の前記術野画像に合わせて前記マークの位置情報を変換し、前記術開始時の前記術野画像と、変換した前記マークの位置情報とを蓄積する情報蓄積部と、
をさらに備え、
　前記眼球追跡部は、前記術開始時の前記術野画像と実時間の前記術野画像との比較により前記実時間の前記術野画像中の眼球を追跡し、前記実時間の前記術野画像における前記眼球の位置情報と、変換した前記マークの位置情報との差分を示す変位情報を出力し、
　前記表示画像生成部は、変換した前記マークの位置情報に基づいて前記所定位置に固定された前記マークに対する前記眼球の位置変化を無くすよう、前記変位情報に基づいて前記実時間の前記術野画像の位置を変更し、前記表示画像を生成する、
　上記（１）に記載の画像処理装置。
（３）
　前記表示画像生成部は、
　変換した前記術野画像に前記マークを重ねた画像と、前記画像入力部により受領される実時間の前記術野画像とを並べて、前記表示画像を生成する、
　上記（１）又は（２）に記載の画像処理装置。
（４）
　前記表示画像生成部は、
　変換した前記術野画像に前記マークを重ねた画像と、前記画像入力部により受領される実時間の前記術野画像とを重ねて、前記表示画像を生成する、
　上記（１）又は（２）に記載の画像処理装置。
（５）
　前記表示画像生成部は、
　変換した前記術野画像に前記マークを重ねた画像と、前記画像入力部により受領される前記実時間の前記術野画像との両方又は一方を拡大又は縮小する、
　上記（３）に記載の画像処理装置。
（６）
　前記表示画像生成部は、
　変換した前記術野画像内の角膜領域の画像、又は、変換した前記術野画像内の角膜及び角膜周辺を含む領域の画像を前記表示画像として生成する、
　上記（１）から（５）のいずれか一つに記載の画像処理装置。
（７）
　前記表示画像生成部は、
　変換した前記術野画像に、前記眼球の動きを示す追加情報を重ねて、前記表示画像を生成する、
　上記（１）から（６）のいずれか一つに記載の画像処理装置。
（８）
　前記表示画像生成部は、
　前記眼球追跡部による前記眼球の追跡から前記眼球が外れた場合、前記眼球が外れる前の前記表示画像を維持する、
　上記（１）から（７）のいずれか一つに記載の画像処理装置。
（９）
　前記表示画像生成部は、
　３次元の前記表示画像を生成する、
　上記（１）から（８）のいずれか一つに記載の画像処理装置。
（１０）
　前記画像入力部により受領される前記術野画像に基づいて術開始指示対象を検出し、前記画像入力部により受領される前記術野画像に基づいて前記術開始指示対象を検出した場合、術開始時の処理を開始する処理開始部をさらに備える、
　上記（１）から（９）のいずれか一つに記載の画像処理装置。
（１１）
　前記処理開始部は、
　前記術開始時の処理として、術開始時の前記術野画像を取得する処理を開始する、
　上記（１０）に記載の画像処理装置。
（１２）
　前記処理開始部は、
　前記画像入力部により受領される前記術野画像に基づいて、特定方向から前記術野画像に挿入される前記術開始指示対象を検出した場合、前記術開始時の処理を開始する、
　上記（１０）又は（１１）に記載の画像処理装置。
（１３）
　前記特定方向は、前記画像入力部により受領される前記術野画像において、前記眼の上方又は下方である、
　上記（１２）に記載の画像処理装置。
（１４）
　前記処理開始部は、
　前記術開始指示対象を術前に学習する、
　上記（１０）から（１３）のいずれか一つに記載の画像処理装置。
（１５）
　前記処理開始部は、
　前記術開始指示対象の所定形状又は色を検出する、
　上記（１０）から（１４）のいずれか一つに記載の画像処理装置。
（１６）
　前記処理開始部は、
　検出した前記術開始指示対象の所定形状の寸法を、前記術野画像における計測対象のサイズを計測するときのキャリブレーションに用いる、
　上記（１５）に記載の画像処理装置。
（１７）
　前記処理開始部は、
　検出した前記術開始指示対象の色を、前記術野画像の色バランス調整に用いる、
　上記（１５）に記載の画像処理装置。
（１８）
　患者の眼に対する術野画像を受領する画像入力部と、
　前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、
　輝度が異なる複数の輝度領域を前記術野画像に設定し、前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像に前記複数の輝度領域の境界を重ねて表示画像を生成する表示画像生成部と、
を備え、
　前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記境界を位置付けて前記表示画像を生成する、
　画像処理装置。
（１９）
　画像処理装置が、
　患者の眼に対する術野画像を受領し、
　前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出し、
　前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて表示画像を生成する、
ことを含み、
　前記画像処理装置は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する、
　画像処理方法。
（２０）
　患者の眼に対する術野画像を得る手術顕微鏡と、
　表示画像を生成する画像処理装置と、
　前記表示画像を表示する表示装置と、
を備え、
　前記画像処理装置は、
　前記術野画像を受領する画像入力部と、
　前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、
　前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて前記表示画像を生成する表示画像生成部と、
を有し、
　前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する、
　手術顕微鏡システム。
（２１）
　上記（１）から（１８）のいずれか一つに記載の画像処理装置を用いる画像処理方法。
（２２）
　上記（１）から（１８）のいずれか一つに記載の画像処理装置を備える手術顕微鏡システム。
　１　　　手術顕微鏡システム
　１０　　手術顕微鏡
　１１　　対物レンズ
　１２　　接眼レンズ
　１３　　画像処理装置
　１３Ａ　制御部
　１３ａ　術前計画受領部
　１３ｂ　画像入力部
　１３ｃ　レジストレーション部
　１３ｄ　情報蓄積部
　１３ｅ　眼球トラッキング部（眼球追跡部）
　１３ｆ　表示画像生成部
　１４　　モニタ
　２０　　患者用ベッド
　５１　　光源
　５２　　観察光学系
　５２ａ　ハーフミラー
　５３　　正面画像撮影部
　５４　　断層画像撮影部
　５５　　提示部
　５６　　インターフェース部
　５７　　スピーカ
　５００　コンピュータ
　５１０　ＣＰＵ
　５２０　ＲＯＭ
　５３０　ＲＡＭ
　５４０　バス
　５５０　入出力インターフェース
　５６０　入力部
　５７０　出力部
　５８０　記録部
　５９０　通信部
　６００　ドライブ
　６１０　リムーバブル記録媒体

Claims (20)

  1. 　患者の眼に対する術野画像を受領する画像入力部と、
    　前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、
    　前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて表示画像を生成する表示画像生成部と、
    を備え、
    　前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する、
    　画像処理装置。
  2. 　前記眼に対する術前計画に基づく術前画像及び前記マークの位置情報を受領する術前計画受領部と、
    　前記術前画像と術開始時の前記術野画像との比較により前記術開始時の前記術野画像に合わせて前記マークの位置情報を変換し、前記術開始時の前記術野画像と、変換した前記マークの位置情報とを蓄積する情報蓄積部と、
    をさらに備え、
    　前記眼球追跡部は、前記術開始時の前記術野画像と実時間の前記術野画像との比較により前記実時間の前記術野画像中の眼球を追跡し、前記実時間の前記術野画像における前記眼球の位置情報と、変換した前記マークの位置情報との差分を示す変位情報を出力し、
    　前記表示画像生成部は、変換した前記マークの位置情報に基づいて前記所定位置に固定された前記マークに対する前記眼球の位置変化を無くすよう、前記変位情報に基づいて前記実時間の前記術野画像の位置を変更し、前記表示画像を生成する、
    　請求項１に記載の画像処理装置。
  3. 　前記表示画像生成部は、
    　変換した前記術野画像に前記マークを重ねた画像と、前記画像入力部により受領される実時間の前記術野画像とを並べて、前記表示画像を生成する、
    　請求項１に記載の画像処理装置。
  4. 　前記表示画像生成部は、
    　変換した前記術野画像に前記マークを重ねた画像と、前記画像入力部により受領される実時間の前記術野画像とを重ねて、前記表示画像を生成する、
    　請求項１に記載の画像処理装置。
  5. 　前記表示画像生成部は、
    　変換した前記術野画像に前記マークを重ねた画像と、前記画像入力部により受領される前記実時間の前記術野画像との両方又は一方を拡大又は縮小する、
    　請求項３に記載の画像処理装置。
  6. 　前記表示画像生成部は、
    　変換した前記術野画像に前記マークを重ねた画像内の角膜領域の画像、又は、角膜及び角膜周辺を含む領域の画像を前記表示画像として生成する、
    　請求項１に記載の画像処理装置。
  7. 　前記表示画像生成部は、
    　変換した前記術野画像に、前記眼球の動きを示す追加情報を重ねて、前記表示画像を生成する、
    　請求項１に記載の画像処理装置。
  8. 　前記表示画像生成部は、
    　前記眼球追跡部による前記眼球の追跡から前記眼球が外れた場合、前記眼球が外れる前の前記表示画像を維持する、
    　請求項１に記載の画像処理装置。
  9. 　前記表示画像生成部は、
    　３次元の前記表示画像を生成する、
    　請求項１に記載の画像処理装置。
  10. 　前記画像入力部により受領される前記術野画像に基づいて術開始指示対象を検出し、前記画像入力部により受領される前記術野画像に基づいて前記術開始指示対象を検出した場合、術開始時の処理を開始する処理開始部をさらに備える、
    　請求項１に記載の画像処理装置。
  11. 　前記処理開始部は、
    　前記術開始時の処理として、術開始時の前記術野画像を取得する処理を開始する、
    　請求項１０に記載の画像処理装置。
  12. 　前記処理開始部は、
    　前記画像入力部により受領される前記術野画像に基づいて、特定方向から前記術野画像に挿入される前記術開始指示対象を検出した場合、前記術開始時の処理を開始する、
    　請求項１０に記載の画像処理装置。
  13. 　前記特定方向は、前記画像入力部により受領される前記術野画像において、前記眼の上方又は下方である、
    　請求項１２に記載の画像処理装置。
  14. 　前記処理開始部は、
    　前記術開始指示対象を術前に学習する、
    　請求項１０に記載の画像処理装置。
  15. 　前記処理開始部は、
    　前記術開始指示対象の所定形状又は色を検出する、
    　請求項１０に記載の画像処理装置。
  16. 　前記処理開始部は、
    　検出した前記術開始指示対象の所定形状の寸法を、前記術野画像における計測対象のサイズを計測するときのキャリブレーションに用いる、
    　請求項１５に記載の画像処理装置。
  17. 　前記処理開始部は、
    　検出した前記術開始指示対象の色を、前記術野画像の色バランス調整に用いる、
    　請求項１５に記載の画像処理装置。
  18. 　患者の眼に対する術野画像を受領する画像入力部と、
    　前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、
    　輝度が異なる複数の輝度領域を前記術野画像に設定し、前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像に前記複数の輝度領域の境界を重ねて表示画像を生成する表示画像生成部と、
    を備え、
    　前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記境界を位置付けて前記表示画像を生成する、
    　画像処理装置。
  19. 　画像処理装置が、
    　患者の眼に対する術野画像を受領し、
    　前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出し、
    　前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて表示画像を生成する、
    ことを含み、
    　前記画像処理装置は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する、
    　画像処理方法。
  20. 　患者の眼に対する術野画像を得る手術顕微鏡と、
    　表示画像を生成する画像処理装置と、
    　前記表示画像を表示する表示装置と、
    を備え、
    　前記画像処理装置は、
    　前記術野画像を受領する画像入力部と、
    　前記術野画像中の眼球を追跡し、前記術野画像における前記眼球の変位を検出する眼球追跡部と、
    　前記眼球の変位に基づいて前記術野画像を変換し、変換した前記術野画像にマークを重ねて前記表示画像を生成する表示画像生成部と、
    を有し、
    　前記表示画像生成部は、前記術野画像の変換によらず、表示画面上の所定位置に前記マークを位置付けて前記表示画像を生成する、
    　手術顕微鏡システム。
PCT/JP2021/046452 2021-01-29 2021-12-16 画像処理装置、画像処理方法及び手術顕微鏡システム WO2022163188A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-013641 2021-01-29
JP2021013641 2021-01-29

Publications (1)

Publication Number Publication Date
WO2022163188A1 true WO2022163188A1 (ja) 2022-08-04

Family

ID=82654305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/046452 WO2022163188A1 (ja) 2021-01-29 2021-12-16 画像処理装置、画像処理方法及び手術顕微鏡システム

Country Status (1)

Country Link
WO (1) WO2022163188A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09140671A (ja) * 1995-11-22 1997-06-03 Canon Inc 眼底血流計及び眼底トラッキング装置
JP2006136714A (ja) * 2004-10-26 2006-06-01 Carl Zeiss Surgical Gmbh 手術用顕微鏡検査システム及び眼の手術を行う方法
JP2012030054A (ja) * 2010-07-05 2012-02-16 Canon Inc 眼科装置、眼科システム及び記憶媒体
JP2012506272A (ja) * 2008-10-22 2012-03-15 ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング コンピューター支援眼部手術用の画像処理方法および装置
JP2013509273A (ja) * 2009-10-30 2013-03-14 ザ・ジョンズ・ホプキンス・ユニバーシティー 外科的介入のための臨床上重要な解剖学的標識点の視覚的追跡／アノテーション
JP2015033650A (ja) * 2014-11-19 2015-02-19 キヤノン株式会社 眼科装置及び被検眼の動きを測定する方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09140671A (ja) * 1995-11-22 1997-06-03 Canon Inc 眼底血流計及び眼底トラッキング装置
JP2006136714A (ja) * 2004-10-26 2006-06-01 Carl Zeiss Surgical Gmbh 手術用顕微鏡検査システム及び眼の手術を行う方法
JP2012506272A (ja) * 2008-10-22 2012-03-15 ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング コンピューター支援眼部手術用の画像処理方法および装置
JP2013509273A (ja) * 2009-10-30 2013-03-14 ザ・ジョンズ・ホプキンス・ユニバーシティー 外科的介入のための臨床上重要な解剖学的標識点の視覚的追跡／アノテーション
JP2012030054A (ja) * 2010-07-05 2012-02-16 Canon Inc 眼科装置、眼科システム及び記憶媒体
JP2015033650A (ja) * 2014-11-19 2015-02-19 キヤノン株式会社 眼科装置及び被検眼の動きを測定する方法

Similar Documents

Publication Publication Date Title
JP5511516B2 (ja) 眼科装置
US9414961B2 (en) Real-time surgical reference indicium apparatus and methods for astigmatism correction
WO2017169823A1 (ja) 画像処理装置および方法、手術システム並びに手術用部材
JP5721291B2 (ja) 視力矯正処置においてリアルタイムのフィードバックを提供するための機器およびその作動方法
JP5130424B2 (ja) 手術用顕微鏡検査システム及びその作動方法
US20130018276A1 (en) Tools and methods for the surgical placement of intraocular implants
US9560965B2 (en) Method for determining the azimuthal orientation of a patient eye and eye surgical apparatus therefor
US9138138B2 (en) Ophthalmic apparatus and recording medium having ophthalmic program stored therein
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
JP5570673B2 (ja) 眼科装置
US20230397811A1 (en) Ophthalmic observation apparatus, method of controlling the same, and recording medium
WO2022163188A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2022181194A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2022163189A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2022163190A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2023047626A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2022163383A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
JP7535785B2 (ja) 眼科装置
WO2022163362A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
JP7166080B2 (ja) 眼科装置
CN116744838A (zh) 图像处理装置、图像处理方法和手术显微镜系统
JP2018117788A (ja) 眼科装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21923192

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21923192

Country of ref document: EP

Kind code of ref document: A1