[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPWO2019065219A1 - Ophthalmic equipment - Google Patents

Ophthalmic equipment Download PDF

Info

Publication number
JPWO2019065219A1
JPWO2019065219A1 JP2019544542A JP2019544542A JPWO2019065219A1 JP WO2019065219 A1 JPWO2019065219 A1 JP WO2019065219A1 JP 2019544542 A JP2019544542 A JP 2019544542A JP 2019544542 A JP2019544542 A JP 2019544542A JP WO2019065219 A1 JPWO2019065219 A1 JP WO2019065219A1
Authority
JP
Japan
Prior art keywords
image
light
patient
eye
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019544542A
Other languages
Japanese (ja)
Other versions
JP7347212B2 (en
Inventor
雅裕 北川
雅裕 北川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Publication of JPWO2019065219A1 publication Critical patent/JPWO2019065219A1/en
Application granted granted Critical
Publication of JP7347212B2 publication Critical patent/JP7347212B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

患者眼を撮影する眼科装置は、患者眼を赤外光で照明して、患者眼を撮影する第1撮影手段と、患者眼を可視光で照明して、患者眼を撮影する第2撮影手段と、第1撮影手段を用いて取得した第1画像データと第2撮影手段を用いて取得した第2画像データとを重ね合せたレジストレーション画像を生成する画像処理手段とを備える。第1撮影手段と第2撮影手段は、赤外光と可視光に感度を有する受光素子を共用し、第1撮影手段は受光素子の出力信号を用いて第1画像データを取得し、第2撮影手段は受光素子の出力信号を用いて第2画像データを取得する。The ophthalmic apparatus for photographing the patient's eye is a first imaging means for illuminating the patient's eye with infrared light to photograph the patient's eye and a second imaging means for illuminating the patient's eye with visible light to photograph the patient's eye. And an image processing means for generating a registration image by superimposing the first image data acquired by using the first photographing means and the second image data acquired by using the second photographing means. The first photographing means and the second photographing means share a light receiving element having sensitivity to infrared light and visible light, and the first photographing means acquires the first image data by using the output signal of the light receiving element, and the second The photographing means acquires the second image data by using the output signal of the light receiving element.

Description

本開示は、患者眼を撮影する眼科装置に関する。 The present disclosure relates to an ophthalmic device that images a patient's eye.

患者眼に治療レーザ光を照射する検眼鏡が知られている(例えば特許文献1参照)。特許文献1の検眼鏡は、観察中は目を赤外光で照明してリアルタイム画像を生成し、治療用レーザービームを照射した際には、目を可視光の光パルスで照明して照射前後の瞬間画像を生成する。 An ophthalmoscope that irradiates a patient's eye with a therapeutic laser beam is known (see, for example, Patent Document 1). The ophthalmoscope of Patent Document 1 generates a real-time image by illuminating the eye with infrared light during observation, and when irradiating a therapeutic laser beam, illuminates the eye with a light pulse of visible light before and after irradiation. Generate a momentary image of.

特表2013−505751号公報Special Table 2013-505751

ところで、可視光による照明は患者眼に負担を強い易い。例えば可視光の照明光量が増える程、患者眼の負担が増加し易い。また例えば、可視光の照明時間が増える程、患者眼の負担が増加し易い。可視光の照明による患者眼の負担として、例えば、眩しさ、ライトハザードへの影響等が考えられる。 By the way, illumination with visible light tends to impose a burden on the patient's eyes. For example, as the amount of visible light illuminating increases, the burden on the patient's eyes tends to increase. Further, for example, as the illumination time of visible light increases, the burden on the patient's eyes tends to increase. As the burden on the patient's eyes due to the illumination of visible light, for example, glare, influence on light hazard, etc. can be considered.

本開示は、上記した問題点を解決するためのものであり、可視光の照明による患者眼の負担を抑制できる眼科装置を提供することを目的とする。 The present disclosure is to solve the above-mentioned problems, and an object of the present disclosure is to provide an ophthalmic apparatus capable of suppressing the burden on the patient's eye due to illumination of visible light.

上記課題を解決するために、本開示は以下のような構成を備えることを特徴とする。
(1)患者眼を撮影する眼科装置は、患者眼を赤外光で照明して、前記患者眼を撮影する第1撮影手段と、前記患者眼を可視光で照明して、前記患者眼を撮影する第2撮影手段と、前記第1撮影手段を用いて取得した第1画像データと前記第2撮影手段を用いて取得した第2画像データとを重ね合せたレジストレーション画像を生成する画像処理手段と、を備えたことを特徴とする。
In order to solve the above problems, the present disclosure is characterized by having the following configurations.
(1) The ophthalmic apparatus for photographing the patient's eye illuminates the patient's eye with infrared light and illuminates the patient's eye with visible light, and the first imaging means for photographing the patient's eye. Image processing that generates a registration image by superimposing the second photographing means for photographing, the first image data acquired by using the first photographing means, and the second image data acquired by using the second photographing means. It is characterized by having means and.

本開示によれば、可視光の照明による患者眼の負担を抑制できる眼科装置を提供できる。 According to the present disclosure, it is possible to provide an ophthalmic apparatus capable of suppressing the burden on the patient's eye due to illumination of visible light.

本実施形態の眼科装置の光学系を示す図である。It is a figure which shows the optical system of the ophthalmic apparatus of this embodiment. 図1の眼科装置の制御系を示す図である。It is a figure which shows the control system of the ophthalmic apparatus of FIG. 光検出器の図である。It is a figure of a photodetector. 治療レーザ光の照射と観察像の表示に係わるタイミングチャートである。It is a timing chart related to irradiation of a therapeutic laser beam and display of an observation image. 治療レーザ光の照射前の表示部の表示を示す図である。It is a figure which shows the display of the display part before irradiation of the treatment laser light. 治療レーザ光の照射後の表示部の表示を示す図である。It is a figure which shows the display of the display part after irradiation of the treatment laser light. レジストレーションの概念を示す図である。It is a figure which shows the concept of registration. 治療レーザ光の照射と観察像の表示に係わるフローチャートである。It is a flowchart related to irradiation of a therapeutic laser beam and display of an observation image. 観察処理に係わるフローチャートである。It is a flowchart related to an observation process. レジストレーション処理のフローチャートである。It is a flowchart of registration processing. 前段処理のフローチャートである。It is a flowchart of the pre-stage processing. 変容例のフローチャートである。It is a flowchart of a transformation example.

以下、本開示の実施形態を図面に基づき説明する。本実施形態の眼科装置1は、患者眼E(又は被検眼)を観察できる。また本実施形態の眼科装置1は、患者眼Eに治療レーザ光(治療光)を照射して患者眼Eの治療部位の治療を行なえる。本実施形態の眼科装置1は患者眼Eを可視光又は赤外光の少なくともいずれかで撮影(観察)するための撮影手段(観察手段)を有する。この観察手段は走査型レーザ検眼鏡(以下、SLO装置)と同等の機能を有する。本実施形態では走査型レーザ検眼鏡として、ラインスキャンSLO(ライン走査型検眼鏡)を用いている(図1参照)。本実施形態ではライン状の光束を走査させることによって患者眼Eの共焦点画像を取得でき、ライン状光束の短手方向に関して共焦点光学系が形成されている。以下の説明では患者眼Eの眼底Erを対象にするが、患者眼Eの前眼部を対象にする場合でも、本実施形態の適用は可能である。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. The ophthalmic apparatus 1 of the present embodiment can observe the patient's eye E (or the eye to be inspected). Further, the ophthalmic apparatus 1 of the present embodiment can irradiate the patient eye E with a therapeutic laser beam (therapeutic light) to treat the treatment site of the patient eye E. The ophthalmic apparatus 1 of the present embodiment has an imaging means (observation means) for photographing (observing) the patient's eye E with at least either visible light or infrared light. This observation means has a function equivalent to that of a scanning laser ophthalmoscope (hereinafter, SLO apparatus). In this embodiment, a line scan SLO (line scanning ophthalmoscope) is used as the scanning laser ophthalmoscope (see FIG. 1). In the present embodiment, a confocal image of the patient's eye E can be obtained by scanning the linear luminous flux, and a confocal optical system is formed in the lateral direction of the linear luminous flux. In the following description, the fundus Er of the patient eye E is targeted, but the present embodiment can be applied even when the anterior segment of the patient eye E is targeted.

本実施形態の眼科装置1は、投光光学系10、受光光学系20、光路分離部材30、結像レンズ35、光スキャナ40、対物レンズ45、駆動機構50(アクチュエータ)、治療レーザ光照射光学系60、および制御部70(演算制御部)を備えている。
<投光光学系>
The ophthalmic apparatus 1 of the present embodiment includes a light projecting optical system 10, a light receiving optical system 20, an optical path separating member 30, an imaging lens 35, an optical scanner 40, an objective lens 45, a drive mechanism 50 (actor), and therapeutic laser light irradiation optics. It includes a system 60 and a control unit 70 (arithmetic control unit).
<Light projection optical system>

本実施形態の投光光学系10は、対物レンズ45を介してライン状光束を眼底Erに投光するために設けられている。本実施形態では投光光学系10の一例として、SLO光源12(照明光源)と円柱レンズ14を備えている。SLO光源12は、例えば、レーザ光源であってもよいし、SLD(スーパー・ルミネッセント・ダイオート)光源であってもよい。SLO光源12を例えば、患者眼Eの眼底Erと共役な位置に配置してもよい。本実施形態のSLO光源12は、赤外光又は可視光の少なくともいずれかを発する。また本実施形態のSLO光源12は白色光を発することができる。一例として、SLO光源12が赤外光を発すると無散瞳状態での撮影(観察)に好適であり、SLO光源12が白色光を発するとカラー撮影(観察)に好適である。本実施形態の円柱レンズ14は、SLO光源12からの光を一次元方向に関して収束させるために設けられている。もちろん、光学系全体の構成によって、上記構成の変容は可能である。
<受光光学系>
The light projecting optical system 10 of the present embodiment is provided to project a linear luminous flux onto the fundus Er through the objective lens 45. In this embodiment, an SLO light source 12 (illumination light source) and a cylindrical lens 14 are provided as an example of the projection optical system 10. The SLO light source 12 may be, for example, a laser light source or an SLD (super luminescent diauto) light source. The SLO light source 12 may be arranged at a position conjugate with the fundus Er of the patient eye E, for example. The SLO light source 12 of the present embodiment emits at least either infrared light or visible light. Further, the SLO light source 12 of the present embodiment can emit white light. As an example, when the SLO light source 12 emits infrared light, it is suitable for photographing (observation) in a non-mydriatic state, and when the SLO light source 12 emits white light, it is suitable for color photographing (observation). The cylindrical lens 14 of the present embodiment is provided to converge the light from the SLO light source 12 in the one-dimensional direction. Of course, the above configuration can be changed depending on the configuration of the entire optical system.
<Receiving optical system>

本実施形態の受光光学系20は、ライン状光束による患者眼Eからの光(戻り光)を、対物レンズ45を介して受光するために設けられている。本実施形態の受光光学系20は光検出器22を備える。本実施形態の光検出器22は、患者眼Eの眼底Erと共役な位置に配置されている。 The light receiving optical system 20 of the present embodiment is provided to receive light (return light) from the patient's eye E due to the linear luminous flux through the objective lens 45. The light receiving optical system 20 of this embodiment includes a photodetector 22. The photodetector 22 of the present embodiment is arranged at a position conjugate with the fundus Er of the patient's eye E.

本実施形態では光検出器22として、カラー方式の2ラインセンサーを採用している。図3は本実施形態の光検出器22を受光面側(図1では紙面左側)から見た図である。本実施形態の光検出器22は複数の画素(受光素子)を有し、複数の画素は2列で配列されている。各画素にはカラーフィルターが配置されている。詳細には、光検出器22の各画素にはRフィルター(図3の符号R)とGフィルター(図3の符号G)とBフィルター(図3の符号B)の少なくともいずれかが組み込まれている。光検出器22の各画素はカラーフィルターを介して受光する。本実施形態のRフィルターは赤色帯域の光(可視光)と赤外帯域の光(赤外光)を透光し、Gフィルターは緑色帯域の光(可視光)と赤外帯域の光(赤外光)を透光し、Bフィルターは青色帯域の光(可視光)と赤外帯域の光(赤外光)を透光する分光透過特性を有している。なお光検出器22の各画素は同じサイズであり、赤外光と可視光の感度を有する。 In this embodiment, a color type two-line sensor is used as the photodetector 22. FIG. 3 is a view of the photodetector 22 of the present embodiment as viewed from the light receiving surface side (left side of the paper surface in FIG. 1). The photodetector 22 of the present embodiment has a plurality of pixels (light receiving elements), and the plurality of pixels are arranged in two rows. A color filter is arranged in each pixel. Specifically, each pixel of the photodetector 22 incorporates at least one of an R filter (reference numeral R in FIG. 3), a G filter (reference numeral G in FIG. 3), and a B filter (reference numeral B in FIG. 3). There is. Each pixel of the photodetector 22 receives light through a color filter. The R filter of the present embodiment transmits red band light (visible light) and infrared band light (infrared light), and the G filter transmits green band light (visible light) and infrared band light (red). The B filter has a spectral transmission characteristic that transmits light in the blue band (visible light) and light in the infrared band (infrared light). Each pixel of the photodetector 22 has the same size and has sensitivity of infrared light and visible light.

本実施形態のカラーフィルターの配列は、ベイヤー(Bayer)配列と呼ばれることがある。図3の上段ラインではR,G,R,G,・・・の順で各カラーフィルターが配列され、下段ラインではG,B,G,B,・・・の順で各カラーフィルターが配列されている。本実施形態の光検出器22は、赤外光を受光できる画素が最も多く、次いで緑色の可視光を受光できる画素が多い。本実施形態の制御部70は、ベイヤー配列で配置された各画素の出力信号に対して補間処理を行い、1枚のカラー画像を生成する。 The array of color filters of this embodiment is sometimes referred to as a Bayer array. In the upper line of FIG. 3, each color filter is arranged in the order of R, G, R, G, ..., And in the lower line, each color filter is arranged in the order of G, B, G, B, ... ing. The photodetector 22 of the present embodiment has the largest number of pixels capable of receiving infrared light, followed by the number of pixels capable of receiving green visible light. The control unit 70 of the present embodiment performs interpolation processing on the output signals of the pixels arranged in the Bayer array to generate one color image.

なお本実施形態の光検出器22は一例であり、例えば1ラインセンサー方式であってもよいし、R,G,B,R,・・・の順でカラーフィルターが配列されていてもよい。また光検出器22が、例えば、ベイヤー配列のカラーフィルターを備えた単板型の二次元撮像素子であってもよい。また、いわゆる3板型(3CCD,3CMOS等)と呼ばれる方式のように、複数の受光素子と色分解用の光学素子とが組み合わされた光検出器であってもよい。 The photodetector 22 of the present embodiment is an example, and may be, for example, a one-line sensor system, or color filters may be arranged in the order of R, G, B, R, .... Further, the photodetector 22 may be, for example, a single-plate two-dimensional image sensor provided with a Bayer-arranged color filter. Further, a photodetector in which a plurality of light receiving elements and optical elements for color separation are combined may be used as in a so-called three-plate type (3CCD, 3CMOS, etc.) method.

光路分離部材30からの光は、平面ミラー24を介して光検出器22に受光される。本実施形態の光路分離部材30は、投光光学系10の光路と受光光学系20の光路を分離するために設けられている。光路分離部材30は、投光光学系10の光軸と受光光学系20の光軸とが光路分離部材30の下流側において同軸になるように配置されている。SLO光源12と光検出器22は、光路分離部材30を介して、結像レンズ35の光軸の延長線上に配置されている。本実施形態の光路分離部材30は、SLO光源12からの光及び患者眼Eからの光の一方を反射し、他方を透過(光の通過を含む)する特性を有する。光路分離部材30は、SLO光源12からの光を透過して患者眼E側に導くと共に、患者眼E側からの光を反射して光検出器22側に導く。 The light from the optical path separating member 30 is received by the photodetector 22 via the plane mirror 24. The optical path separation member 30 of the present embodiment is provided to separate the optical path of the light projecting optical system 10 and the optical path of the light receiving optical system 20. The optical path separating member 30 is arranged so that the optical axis of the light projecting optical system 10 and the optical axis of the light receiving optical system 20 are coaxial on the downstream side of the optical path separating member 30. The SLO light source 12 and the photodetector 22 are arranged on an extension line of the optical axis of the imaging lens 35 via the optical path separation member 30. The optical path separating member 30 of the present embodiment has a property of reflecting one of the light from the SLO light source 12 and the light from the patient's eye E and transmitting the other (including the passage of light). The optical path separating member 30 transmits the light from the SLO light source 12 and guides it to the patient eye E side, and reflects the light from the patient eye E side and guides it to the photodetector 22 side.

本実施形態の結像レンズ35は、SLO光源12からの光を対物レンズ45の前側焦点位置にて一旦結像させると共に、患者眼Eからの光を光検出器22上で結像させるために設けられている。本実施形態の結像レンズ35は、光スキャナ40と光路分離部材30の間に配置されている。なお本実施形態では、投光光学系10に関して、SLO光源12側を上流側、患者眼E側を下流側とし、受光光学系20に関して、光検出器22側を上流側、患者眼E側を下流側とする。 The imaging lens 35 of the present embodiment is for forming the light from the SLO light source 12 once at the front focal position of the objective lens 45 and forming the light from the patient's eye E on the photodetector 22. It is provided. The imaging lens 35 of the present embodiment is arranged between the optical scanner 40 and the optical path separating member 30. In the present embodiment, regarding the light projecting optical system 10, the SLO light source 12 side is the upstream side and the patient eye E side is the downstream side, and regarding the light receiving optical system 20, the photodetector 22 side is the upstream side and the patient eye E side is the upstream side. Downstream side.

本実施形態の光スキャナ40(走査手段)は、ライン状光束によって患者眼Eを走査するために設けられている。走査方向は、例えば、鉛直方向であってもよいし、水平方向であってもよい。本実施形態の光スキャナ40はガルバノミラーであり、ミラーの反射角度が駆動機構によって任意に調整される。SLO光源12から出射された光の反射(進行)方向は、光スキャナ40によって変化され、患者眼E上で走査される。本実施形態の光スキャナ40は、投光光学系10と受光光学系20との共通光路に配置されている。光スキャナ40は、SLO光源12からの光をスキャンすると共に、患者眼Eからの光をデスキャンする。 The optical scanner 40 (scanning means) of the present embodiment is provided for scanning the patient's eye E with a linear luminous flux. The scanning direction may be, for example, a vertical direction or a horizontal direction. The optical scanner 40 of the present embodiment is a galvano mirror, and the reflection angle of the mirror is arbitrarily adjusted by a drive mechanism. The reflection (traveling) direction of the light emitted from the SLO light source 12 is changed by the optical scanner 40 and scanned on the patient's eye E. The optical scanner 40 of this embodiment is arranged in a common optical path between the light projecting optical system 10 and the light receiving optical system 20. The optical scanner 40 scans the light from the SLO light source 12 and desscans the light from the patient's eye E.

本実施形態の対物レンズ45は、光スキャナ40からの光を患者眼E(眼底Er)に導くと共に、患者眼E(眼底Er)からの反射光を光スキャナ40に戻すために設けられている。本実施形態の対物レンズ45は、投光光学系10と受光光学系20の共通光路に配置されている。本実施形態の駆動機構50は、眼底撮影時(観察時)において、患者眼Eの眼底Erに対するフォーカスを調整するために設けられている。本実施形態の駆動機構50は、SLO光源12及び光検出器22を少なくとも含む光学部材群55を、光スキャナ40及び対物レンズ45に対して移動できる。 The objective lens 45 of the present embodiment is provided to guide the light from the optical scanner 40 to the patient's eye E (fundus Er) and to return the reflected light from the patient's eye E (fundus Er) to the optical scanner 40. .. The objective lens 45 of the present embodiment is arranged in the common optical path of the light projecting optical system 10 and the light receiving optical system 20. The drive mechanism 50 of the present embodiment is provided to adjust the focus of the patient's eye E on the fundus Er during fundus photography (observation). The drive mechanism 50 of the present embodiment can move the optical member group 55 including at least the SLO light source 12 and the photodetector 22 with respect to the optical scanner 40 and the objective lens 45.

SLO光源12から発せられた光(例えば、レーザ光)は、円柱レンズ14によって一次元方向に関してコリメートされた後、光路分離部材30を透過する。光路分離部材30を透過した光は、結像レンズ35によって収束された後、光スキャナ40によって反射方向が変えられる。光スキャナ40によって偏向された光は、ミラー42、対物レンズ45、及びビームスプリッター62を介して患者眼Eの眼底Erに照射される。 The light (for example, laser light) emitted from the SLO light source 12 is collimated in the one-dimensional direction by the cylindrical lens 14 and then transmitted through the optical path separating member 30. The light transmitted through the optical path separating member 30 is converged by the imaging lens 35, and then the reflection direction is changed by the optical scanner 40. The light deflected by the optical scanner 40 is applied to the fundus Er of the patient's eye E through the mirror 42, the objective lens 45, and the beam splitter 62.

この場合、光スキャナ40によって走査される方向の光に関して、光スキャナ40からの光は、ミラー42を介して一旦集光された後、対物レンズ45とビームスプリッター62を介して患者眼Eの眼底Er上で集光される。また、光スキャナ40の走査方向と直交する方向に関して、円柱レンズ14からの光は、結像レンズ35によって光スキャナ40上で一旦集光された後、ミラー42によって反射される。ミラー42によって反射された光は、対物レンズ45とビームスプリッター62を介して瞳孔上で一旦集光された後、患者眼Eの眼底Erに照射される。この結果、患者眼Eの眼底Er上には、ライン状(線上)の光束が投光される。また眼底Er上では、光スキャナ40の走査方向に関してライン状の光束が走査される。 In this case, with respect to the light in the direction scanned by the optical scanner 40, the light from the optical scanner 40 is once focused through the mirror 42, and then through the objective lens 45 and the beam splitter 62, the fundus of the patient's eye E. It is focused on Er. Further, with respect to the direction orthogonal to the scanning direction of the optical scanner 40, the light from the cylindrical lens 14 is once collected on the optical scanner 40 by the imaging lens 35 and then reflected by the mirror 42. The light reflected by the mirror 42 is once focused on the pupil via the objective lens 45 and the beam splitter 62, and then irradiated to the fundus Er of the patient eye E. As a result, a line-shaped (on-line) light flux is projected onto the fundus Er of the patient's eye E. Further, on the fundus Er, a linear luminous flux is scanned with respect to the scanning direction of the optical scanner 40.

眼底Erで反射した光は、ビームスプリッター62、対物レンズ45、ミラー42、光スキャナ40、結像レンズ35、光路分離部材30、平面ミラー24を経て、光検出器22によって受光される。本実施形態の構成は、光路分離部材30からの光を、共焦点開口を介さずに光検出器22に検出させているが、光検出器22が眼底共役位置に配置されることで、共焦点性が保持される。もちろん、光検出器22の前にスリット孔が配置されてもよい。 The light reflected by the fundus Er is received by the photodetector 22 through the beam splitter 62, the objective lens 45, the mirror 42, the optical scanner 40, the imaging lens 35, the optical path separation member 30, and the plane mirror 24. In the configuration of the present embodiment, the light from the optical path separating member 30 is detected by the photodetector 22 without passing through the confocal aperture, but the photodetector 22 is arranged at the fundus conjugate position. Focus is maintained. Of course, a slit hole may be arranged in front of the photodetector 22.

光検出器22によって検出された受光信号(つまり光検出器22の出力信号)は制御部70(図2参照)に入力される。制御部70は、光検出器22にて得られた受光信号に基づいて患者眼Eの撮影画像(正面画像であり本実施形態では眼底像)を生成する。なお本実施形態の光検出器22は赤外光と可視光の感度を有するため、光検出器22は赤外光に基づく撮影画像データ(第1画像データ)と可視光に基づく撮影画像データ(第2画像データ)の少なくともいずれかを出力できる。つまり本実施形態の制御部70は、赤外光に基づく患者眼Eの第1画像データと可視光に基づく患者眼Eの第2画像データとの少なくともいずれかを光検出器22から取得できる。 The received light signal (that is, the output signal of the photodetector 22) detected by the photodetector 22 is input to the control unit 70 (see FIG. 2). The control unit 70 generates a photographed image (frontal image, fundus image in this embodiment) of the patient's eye E based on the light receiving signal obtained by the photodetector 22. Since the photodetector 22 of the present embodiment has the sensitivity of infrared light and visible light, the photodetector 22 has photographed image data (first image data) based on infrared light and photographed image data based on visible light (first image data). At least one of the second image data) can be output. That is, the control unit 70 of the present embodiment can acquire at least one of the first image data of the patient eye E based on infrared light and the second image data of the patient eye E based on visible light from the photodetector 22.

生成された撮影画像はメモリ72に記憶される。なお、撮影画像の取得は、光スキャナ40の走査にて行われる。撮影画像が、光スキャナ40の走査位置と受光信号との位置関係に基づいて生成されてもよい。なお、本実施形態の制御部70は、光スキャナ40を繰り返し駆動させることによって、撮影画像の動画像を取得できる。 The generated captured image is stored in the memory 72. The captured image is acquired by scanning the optical scanner 40. The captured image may be generated based on the positional relationship between the scanning position of the optical scanner 40 and the received light signal. The control unit 70 of the present embodiment can acquire a moving image of the captured image by repeatedly driving the optical scanner 40.

つまり本実施形態の眼科装置1は、患者眼Eを赤外光で照明して、患者眼Eを撮影する第1撮影手段と、患者眼Eを可視光で照明して、患者眼Eを撮影する第2撮影手段を有している。詳細には、投光光学系10と受光光学系20とで第1撮影手段が構成され、投光光学系10と受光光学系20とで第2撮影手段が構成される。制御部70は、第1撮影手段を用いてモノクロ観察画像IMGa(第1画像データ)を取得でき、第2撮影手段を用いてカラー観察画像IMGb(第2画像データ)を取得できる。第1撮影手段と第2撮影手段は赤外光と可視光に感度を有する光検出器22を共用し、第1撮影手段は光検出器22の出力信号を用いてモノクロ観察画像IMGaを取得し、第2撮影手段は光検出器22の出力信号を用いてカラー観察画像IMGbを取得できる。
<治療レーザ光照射光学系>
That is, in the ophthalmic apparatus 1 of the present embodiment, the patient eye E is illuminated with infrared light and the patient eye E is photographed, and the patient eye E is illuminated with visible light and the patient eye E is photographed. It has a second photographing means. Specifically, the light projecting optical system 10 and the light receiving optical system 20 form a first photographing means, and the light projecting optical system 10 and the light receiving optical system 20 form a second photographing means. The control unit 70 can acquire the monochrome observation image IMGa (first image data) by using the first photographing means, and can acquire the color observation image IMGb (second image data) by using the second photographing means. The first photographing means and the second photographing means share a photodetector 22 having sensitivity to infrared light and visible light, and the first photographing means acquires a monochrome observation image IMGa using the output signal of the photodetector 22. , The second photographing means can acquire the color observation image IMGb by using the output signal of the photodetector 22.
<Therapeutic laser light irradiation optical system>

本実施形態の治療レーザ光照射光学系60は、患者眼Eに治療レーザ光を照射するために設けられている。本実施形態の治療レーザ光照射光学系60は、レーザ光源61、スキャナ63、およびビームスプリッター62を含む。レーザ光源61は治療レーザ光を発する。レーザ光源61が治療レーザ光として、例えば緑色のレーザ光を出射できてもよい。スキャナ63は、レーザ光源61から発せられた治療レーザ光を偏向できる。ビームスプリッター62はレーザ光源61が発する治療レーザ光を患者眼Eに向ける。本実施形態ではスキャナ63が駆動されることで、治療レーザ光を眼底Er上で走査可能とされている。なお治療レーザ光の断続的な照射とスキャナ63の駆動とが同期して制御されることで、眼底Er上に所定パターンの複数のスポットを形成できてもよい。本実施形態は一例であり、治療レーザ光照射光学系60がスキャナ63を備えなくてもよい。 The therapeutic laser light irradiation optical system 60 of the present embodiment is provided to irradiate the patient's eye E with the therapeutic laser light. The therapeutic laser light irradiation optical system 60 of the present embodiment includes a laser light source 61, a scanner 63, and a beam splitter 62. The laser light source 61 emits therapeutic laser light. The laser light source 61 may be capable of emitting, for example, a green laser beam as the therapeutic laser beam. The scanner 63 can deflect the therapeutic laser light emitted from the laser light source 61. The beam splitter 62 directs the therapeutic laser beam emitted by the laser light source 61 toward the patient's eye E. In the present embodiment, the scanner 63 is driven so that the therapeutic laser beam can be scanned on the fundus Er. By controlling the intermittent irradiation of the treatment laser beam and the driving of the scanner 63 in synchronization, a plurality of spots having a predetermined pattern may be formed on the fundus Er. This embodiment is an example, and the therapeutic laser light irradiation optical system 60 does not have to include the scanner 63.

本実施形態の治療レーザ光照射光学系60は図示なき照準光学系(照準手段)を有する。照準手段は照準光源を有する。照準光源は照準光を発し、照準光は赤外光である。なお本実施形態では、治療レーザ光の光軸と照準光の光軸とがスキャナ63よりも下流側(患者眼E側)で同軸である。これにより、本実施形態の治療レーザ光照射光学系60は、照準光のスポットが形成される位置に治療レーザ光のスポットを形成できる。
<制御部>
The therapeutic laser light irradiation optical system 60 of the present embodiment has an aiming optical system (aiming means) (not shown). The aiming means has an aiming light source. The aiming light source emits aiming light, and the aiming light is infrared light. In the present embodiment, the optical axis of the treatment laser light and the optical axis of the aiming light are coaxial on the downstream side (patient eye E side) of the scanner 63. As a result, the therapeutic laser light irradiation optical system 60 of the present embodiment can form the spot of the therapeutic laser light at the position where the spot of the aiming light is formed.
<Control unit>

本実施形態の制御部70は、CPU76(プロセッサ)、RAM77、ROM78等を備える(図2参照)。例えば、CPU76は、眼科装置1の制御を司る。RAM77は、各種情報を一時的に記憶する。ROM78には、眼科装置1の動作を制御するための各種プログラム、初期値等が記憶されている。制御部70には、メモリ72、操作部74、及び表示部75等が電気的に接続されている。メモリ72には、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体が用いられている。例えば、ハードディスクドライブ、フラッシュROM、及び、眼科装置1に着脱可能に装着されるUSBメモリ等が、メモリ72として使用されてもよい。 The control unit 70 of the present embodiment includes a CPU 76 (processor), a RAM 77, a ROM 78, and the like (see FIG. 2). For example, the CPU 76 controls the ophthalmic apparatus 1. The RAM 77 temporarily stores various types of information. The ROM 78 stores various programs, initial values, and the like for controlling the operation of the ophthalmic apparatus 1. A memory 72, an operation unit 74, a display unit 75, and the like are electrically connected to the control unit 70. A non-transient storage medium capable of retaining the stored contents even when the power supply is cut off is used for the memory 72. For example, a hard disk drive, a flash ROM, a USB memory detachably attached to the ophthalmic apparatus 1, and the like may be used as the memory 72.

記憶手段であるRAM77又はメモリ72に、撮影画像(SLO画像)が記憶されてもよい。記憶手段に記憶される撮影画像として、後述するモノクロ観察画像IMGa(第1画像データ)、カラー観察画像IMGb(第2画像データ)、疑似カラー観察画像IMGc(レジストレーション画像)の少なくともいずれかが含まれてもよい。本実施形態の制御部70は表示部75を制御し、生成された撮影画像を表示部75に表示する。操作部74には、検者による各種操作指示が入力される。操作部74として、検者からの指示を受け付けるためのユーザー・インタフェース(例えば、マウス、タッチパネル、ジョイスティック等)が用いられてもよい。操作部74は、例えば、患者眼Eに対するフォーカス調整スイッチ、治療レーザ光の照射を開始するためのレリーズスイッチ、疑似カラー観察モードを解除するための解除スイッチ等として用いられる。
<使用方法>
A captured image (SLO image) may be stored in the RAM 77 or the memory 72, which is a storage means. The captured image stored in the storage means includes at least one of a monochrome observation image IMGa (first image data), a color observation image IMGb (second image data), and a pseudo color observation image IMGc (registration image), which will be described later. It may be. The control unit 70 of the present embodiment controls the display unit 75 and displays the generated captured image on the display unit 75. Various operation instructions by the inspector are input to the operation unit 74. As the operation unit 74, a user interface (for example, a mouse, a touch panel, a joystick, etc.) for receiving an instruction from the examiner may be used. The operation unit 74 is used, for example, as a focus adjustment switch for the patient's eye E, a release switch for starting irradiation of the therapeutic laser beam, a release switch for canceling the pseudo color observation mode, and the like.
<How to use>

以上のような構成を備える装置において、図4〜図6を用いて、その使用方法を簡単に説明する。図4の一番上のタイミングチャートは、トリガスイッチの操作信号を示している。同図の上から2番目のタイミングチャートは、患者眼Eへの治療レーザ光の照射状態を示している。同図の上から3番目のタイミングチャートは、患者眼Eへの照明光の照明状態及び照明光の種類を示している。同図の上から4番目のタイミングチャートは、疑似カラー観察画像IMGcの生成時に用いるカラー画像データの種類を示している。同図の上から5番目のタイミングチャートは、表示部75に表示される観察像(動画)の種類を示している。図5は治療レーザ光の照射前の表示部75の表示である。図5で示す表示部75の表示は、図4にて符号M1で示した区間に対応する。つまり表示部75にはモノクロ観察動画が表示される。図6は治療レーザ光の照射後の表示部75の表示である。図6で示す表示部75の表示は、図4にて符号M2で示した区間に対応する。つまり表示部75にはカラー観察動画が表示される。 In the apparatus having the above-mentioned configuration, a method of using the apparatus will be briefly described with reference to FIGS. 4 to 6. The timing chart at the top of FIG. 4 shows the operation signal of the trigger switch. The second timing chart from the top of the figure shows the irradiation state of the treatment laser beam on the patient's eye E. The third timing chart from the top of the figure shows the illumination state of the illumination light to the patient eye E and the type of the illumination light. The fourth timing chart from the top of the figure shows the types of color image data used when generating the pseudo color observation image IMGc. The fifth timing chart from the top of the figure shows the types of observation images (moving images) displayed on the display unit 75. FIG. 5 is a display of the display unit 75 before irradiation with the treatment laser light. The display of the display unit 75 shown in FIG. 5 corresponds to the section indicated by the reference numeral M1 in FIG. That is, a monochrome observation moving image is displayed on the display unit 75. FIG. 6 is a display of the display unit 75 after irradiation with the treatment laser light. The display of the display unit 75 shown in FIG. 6 corresponds to the section indicated by the reference numeral M2 in FIG. That is, a color observation moving image is displayed on the display unit 75.

先ず術者は、患者眼Eに散瞳剤を点眼する。次いで術者(利用者,検者等)は、図示無き前眼部カメラで撮影された画面で、撮影光軸が患者眼E上に一致するようにアライメントする。次いで術者は、図示なき固視標投影光学系によって投影される固視灯を患者(又は被検者)に注視させ、所望の撮影部位に誘導する。眼底Erへの赤外光照明に基づくモノクロ観察画像IMGa(SLO画像であり第1画像データ)が表示部75に表示されると、術者は操作部74を用いて、表示部75上のモノクロ観察画像IMGaに基づいて眼底Erにフォーカスを合わせる。なお、表示部75に表示されるモノクロ観察画像IMGa(図5参照)は、所定タイミングで更新されて動画として表示される。また、制御部70は、取得したモノクロ観察画像IMGaをRAM77に逐次記憶する。 First, the surgeon instills a mydriatic agent into the patient's eye E. Next, the surgeon (user, examiner, etc.) aligns the imaging optical axis on the patient's eye E on the screen photographed by the anterior segment camera (not shown). The surgeon then gazes at the patient (or subject) a fixation lamp projected by an fixation target projection optical system (not shown) and guides the patient (or subject) to a desired imaging site. When the monochrome observation image IMGa (SLO image and first image data) based on the infrared illumination of the fundus Er is displayed on the display unit 75, the operator uses the operation unit 74 to display monochrome on the display unit 75. Focus on the fundus Er based on the observed image IMGa. The monochrome observation image IMGa (see FIG. 5) displayed on the display unit 75 is updated at a predetermined timing and displayed as a moving image. Further, the control unit 70 sequentially stores the acquired monochrome observation image IMGa in the RAM 77.

ここで制御部70は、操作部74からの操作信号に基づいて駆動機構50の駆動を制御する。例えば制御部70は、操作部74から入力される操作方向及び操作量に応じて、駆動機構50を患者眼Eのプラス方向又はマイナス方向(例えば、光学部材群55を光スキャナ40及び対物光学系に対して近づける方向、又はこれらから離れる方向)に移動させる。駆動機構50の駆動によって、眼底Er及び光検出器22に対するライン光束のフォーカス状態が調整される。これにより、モノクロ観察画像IMGaのフォーカス状態が調整され、フォーカスが合ったモノクロ観察画像IMGaが得られる。 Here, the control unit 70 controls the drive of the drive mechanism 50 based on the operation signal from the operation unit 74. For example, the control unit 70 sets the drive mechanism 50 in the positive or negative direction of the patient's eye E (for example, the optical member group 55 is the optical scanner 40 and the objective optical system) according to the operation direction and the operation amount input from the operation unit 74. Move in the direction closer to or away from them. By driving the drive mechanism 50, the focus state of the line luminous flux with respect to the fundus Er and the photodetector 22 is adjusted. As a result, the focus state of the monochrome observation image IMGa is adjusted, and a monochrome observation image IMGa in focus is obtained.

上記のようにして患者眼Eの視度が補正された後、術者は、表示部75上に表示されるモノクロ観察画像IMGaの動画像を見ながら、治療レーザ光の照射条件(照射エネルギー,照射位置等)を設定する。図5は、表示部75に表示されるモノクロ観察画像IMGaの一例である。本実施形態のモノクロ観察画像IMGaには、患者眼Eの眼底Er(モノクロ眼底像)と照準光のスポットである照準スポットAMとが含まれる。眼底Erは赤外光の照明に基づくものであり、照準スポットAMは照準光(赤外光)の照射に基づくものである。なお本実施形態のモノクロ眼底像は無彩色であるが、有彩色(例えば紫色)であってもよい。患者眼Eの観察中は赤外光が連続点灯されている。なお赤外光による観察は患者眼Eへの負担(例えば眩しさによる不快感)が抑制される。 After the diopter of the patient's eye E is corrected as described above, the operator observes the moving image of the monochrome observation image IMGa displayed on the display unit 75, and the irradiation condition (irradiation energy, irradiation energy, of the treatment laser light, Irradiation position, etc.) is set. FIG. 5 is an example of the monochrome observation image IMGa displayed on the display unit 75. The monochrome observation image IMGa of the present embodiment includes a fundus Er (monochrome fundus image) of the patient eye E and an aiming spot AM which is a spot of aiming light. The fundus Er is based on the illumination of infrared light, and the aiming spot AM is based on the irradiation of aiming light (infrared light). Although the monochrome fundus image of the present embodiment is achromatic, it may be chromatic (for example, purple). Infrared light is continuously lit during the observation of the patient's eye E. Observation with infrared light suppresses the burden on the patient's eye E (for example, discomfort due to glare).

術者は治療レーザ光の照射予定部位に照準スポットAMを位置合わせすると、トリガスイッチ(操作部74)を操作して治療レーザ光の照射を開始する(図4のタイミングT1参照)。本実施形態では緑色(可視光)の治療レーザ光が患者眼Eに照射される。治療レーザ光が照射されると、眼底Erには治療レーザ光のスポットが形成される。本実施形態では治療レーザ光のスポットが形成された眼底Erの部位には、治療レーザ光にて光凝固された治療跡SP(凝固班)が形成される。 When the operator aligns the aiming spot AM with the site to be irradiated with the treatment laser light, the operator operates the trigger switch (operation unit 74) to start the irradiation of the treatment laser light (see timing T1 in FIG. 4). In this embodiment, a green (visible light) therapeutic laser beam is applied to the patient's eye E. When the therapeutic laser beam is irradiated, a spot of the therapeutic laser beam is formed on the fundus Er. In the present embodiment, a treatment trace SP (coagulation group) photocoagulated by the treatment laser light is formed at the site of the fundus Er where the spot of the treatment laser light is formed.

治療レーザ光の照射が完了されたのと略同時(図4のタイミングT2参照)に、患者眼Eには可視照明光が1発、パルス照射(例えば30ms)される。可視照明光の照射後、患者眼Eは赤外光で照明される。つまり本実施形態では、患者眼Eに照射される照明光の種類が、治療レーザ光の照射直後のみ、赤外光から可視光へと一時的に切り換わる。なお、患者眼Eを可視光で照明する間も、患者眼Eを赤外光で照明してもよい。また本実施形態では治療レーザ光の照射直後に可視光による撮影が行われるが、可視光の照射タイミングを前後にずらしても良い。ただし、治療レーザ光の照射後に可視光による撮影画行われることが好ましい。また、本実施形態では可視照明光を1発、パルス照射するが、これに限るものではない。例えば可視照明光を連続して照明しつつ患者眼Eをカラー観察する手法に対して、患者眼Eへの可視光の照明時間が短縮されればよい。 Approximately at the same time as the irradiation of the treatment laser light is completed (see timing T2 in FIG. 4), the patient's eye E is irradiated with one visible illumination light in a pulsed manner (for example, 30 ms). After irradiation with visible illumination light, the patient eye E is illuminated with infrared light. That is, in the present embodiment, the type of illumination light applied to the patient's eye E is temporarily switched from infrared light to visible light only immediately after irradiation with the therapeutic laser light. While the patient's eye E is illuminated with visible light, the patient's eye E may be illuminated with infrared light. Further, in the present embodiment, the image is taken with visible light immediately after the irradiation of the treatment laser light, but the irradiation timing of the visible light may be shifted back and forth. However, it is preferable that an image taken with visible light is taken after irradiation with the therapeutic laser light. Further, in the present embodiment, one visible illumination light is pulsed, but the present invention is not limited to this. For example, in contrast to the method of observing the patient's eye E in color while continuously illuminating the visible illumination light, the irradiation time of the visible light to the patient's eye E may be shortened.

制御部70は前述した可視照明光に基づき、第1のカラー観察画像IMGbを取得する。次いで制御部70は、取得した第1のカラー観察画像IMGbをRAM77に記憶する。患者眼Eへの可視照明が完了すると、患者眼Eには赤外照明が再開される(図4のタイミングT3参照)。表示部75に表示される観察像(動画)は、モノクロ観察画像IMGaから疑似カラー観察画像IMGcへと切り換わる。換言するなら表示部75に表示される疑似カラー観察画像IMGc(図6参照)は、所定タイミングで更新されて動画として表示される。詳細には、赤外光による撮影画像の取得の度(例えば30ms毎)に疑似カラー観察画像IMGcが更新される。詳細は後述するが、本実施形態の疑似カラー観察画像IMGcは、モノクロ観察画像IMGa(第1画像データ)とカラー観察画像IMGb(第2画像データ)とを重ね合せたレジストレーション画像である。本実施形態ではカラー観察画像IMGbと識別するために疑似カラー観察画像と呼ぶが、疑似カラー観察画像IMGcのことを、カラー画像、合成画像、演算画像等と呼んでもよい。 The control unit 70 acquires the first color observation image IMGb based on the above-mentioned visible illumination light. Next, the control unit 70 stores the acquired first color observation image IMGb in the RAM 77. When the visible illumination to the patient's eye E is completed, the infrared illumination to the patient's eye E is restarted (see timing T3 in FIG. 4). The observation image (moving image) displayed on the display unit 75 is switched from the monochrome observation image IMGa to the pseudo color observation image IMGc. In other words, the pseudo color observation image IMGc (see FIG. 6) displayed on the display unit 75 is updated at a predetermined timing and displayed as a moving image. Specifically, the pseudo-color observation image IMGc is updated every time a captured image is acquired by infrared light (for example, every 30 ms). Although details will be described later, the pseudo color observation image IMGc of the present embodiment is a registration image in which a monochrome observation image IMGa (first image data) and a color observation image IMGb (second image data) are superimposed. In the present embodiment, it is called a pseudo color observation image in order to distinguish it from the color observation image IMGb, but the pseudo color observation image IMGc may be called a color image, a composite image, a calculated image, or the like.

図6は表示部75に表示される疑似カラー観察画像IMGcの一例である。本実施形態の疑似カラー観察画像IMGcには、眼底Er(カラー眼底像)と、治療レーザ光による治療跡SP(凝固班)と、眼底Erで反射した照準光の戻り光である照準スポットAMとが重畳されている。術者は治療跡SP等の眼底部位をカラー画像(動画)で確認できる。本実施形態の表示部75には、患者眼Eを赤外照明したまま、疑似カラー観察画像IMGcが動画として表示される。つまり本実施形態の眼科装置1は疑似カラー観察画像IMGcを動画として表示させるが、疑似カラー観察画像IMGcを動画として表現(表示)するために可視光を常時又は定期的に照明する必要がない。モノクロ観察画像IMGaの更新情報を用いて疑似カラー観察画像IMGcが動画表示される。本実施形態では、患者眼Eに可視光を照射して得た色情報(静止画)と、色情報の取得後に取得する患者眼Eに赤外光を照射して得る動き情報(輝度情報の変化)とが組み合わされてカラー動画が形成される。制御部70は、異なるタイミングで撮影されたモノクロ観察画像IMGaの各々に対して疑似カラー観察画像IMGcを生成する際に、共通のカラー観察画像IMGbを用いる。これにより例えば、患者眼Eへの可視光の時間を抑制できる。また本実施形態では共通のカラー観察画像IMGbを用いて生成した複数の疑似カラー観察画像IMGcを動画として表示させる。これにより、例えば、患者眼Eは赤外照明にて負担(眩しさ)が抑制され、且つ、術者はカラー動画にて治療跡SPの把握をし易い。 FIG. 6 is an example of the pseudo color observation image IMGc displayed on the display unit 75. The pseudo-color observation image IMGc of the present embodiment includes a fundus Er (color fundus image), a treatment trace SP (coagulation group) by a treatment laser beam, and an aiming spot AM which is a return light of the aiming light reflected by the fundus Er. Are superimposed. The surgeon can confirm the fundus region such as the treatment trace SP with a color image (moving image). On the display unit 75 of the present embodiment, the pseudo color observation image IMGc is displayed as a moving image while the patient's eye E is infrared-illuminated. That is, the ophthalmic apparatus 1 of the present embodiment displays the pseudo-color observation image IMGc as a moving image, but it is not necessary to constantly or periodically illuminate the visible light in order to express (display) the pseudo-color observation image IMGc as a moving image. The pseudo-color observation image IMGc is displayed as a moving image using the update information of the monochrome observation image IMGa. In the present embodiment, the color information (still image) obtained by irradiating the patient eye E with visible light and the motion information (luminance information) obtained by irradiating the patient eye E acquired after acquiring the color information with infrared light. (Change) is combined to form a color moving image. The control unit 70 uses a common color observation image IMGb when generating a pseudo color observation image IMGc for each of the monochrome observation images IMGs taken at different timings. Thereby, for example, the time of visible light to the patient's eye E can be suppressed. Further, in the present embodiment, a plurality of pseudo color observation images IMGc generated by using the common color observation image IMGb are displayed as moving images. As a result, for example, the burden (glare) on the patient's eye E is suppressed by infrared illumination, and the operator can easily grasp the treatment trace SP by the color moving image.

術者は治療跡SPをカラー動画で観察しつつ、次の治療予定部位へと照準スポットAMを位置合わせする。次いで術者は、次の治療予定部位への照準スポットAMの位置合わせが完了すると、トリガスイッチ(操作部74)を操作して治療レーザ光の照射を開始する(図4のタイミングT4参照)。患者眼Eには2回目の治療レーザ光の照射が行われ、治療レーザ光の照射直後に可視照明光のパルス照射が開始される(図4のタイミングT5参照)。つまり本実施形態では、疑似カラー観察画像IMGcに用いるカラー観察画像IMGbを更新するための可視光の照射は、治療レーザ光の照射状態の変化を契機として行われる。制御部70は可視光に基づき第2のカラー観察画像IMGb(第2画像データ)を取得し、取得した第2のカラー観察画像IMGbをRAM77に記憶する。 The surgeon aligns the aiming spot AM with the next planned treatment site while observing the treatment trace SP with a color moving image. Next, when the alignment of the aiming spot AM with respect to the next scheduled treatment site is completed, the operator operates the trigger switch (operation unit 74) to start irradiation of the treatment laser beam (see timing T4 in FIG. 4). The patient's eye E is irradiated with the treatment laser light for the second time, and pulse irradiation of the visible illumination light is started immediately after the irradiation of the treatment laser light (see timing T5 in FIG. 4). That is, in the present embodiment, the irradiation of visible light for updating the color observation image IMGb used for the pseudo color observation image IMGc is performed triggered by the change in the irradiation state of the therapeutic laser light. The control unit 70 acquires a second color observation image IMGb (second image data) based on visible light, and stores the acquired second color observation image IMGb in the RAM 77.

可視照明光の照射が完了されると、患者眼Eへの照明光の種類は可視光から赤外光へと切り換わる(図4のタイミングT6参照)。赤外光の照射再開に基づき、表示部75に表示される疑似カラー観察画像IMGcは、第1のカラー観察画像IMGbを用いた疑似カラー観察画像IMGcから第2のカラー観察画像IMGbを用いた疑似カラー観察画像IMGcへと切り換わる。図示を省略するが、2回目の治療レーザ光の照射が行われた後の疑似カラー観察画像IMGcには、1回目の治療レーザ光に基づく第1の治療跡SPと、2回目の治療レーザ光に基づく第1の治療跡SPとが含まれている。このようにして、患者眼Eを赤外光で観察しながら、眼底Erの観察と治療レーザ光の照射とが繰り返される。なお、治療レーザ光が照射される度に、疑似カラー観察画像IMGcの生成に用いられるカラー観察画像IMGb(第2画像データ)が更新されてゆく。
<制御の流れ>
When the irradiation of the visible illumination light is completed, the type of the illumination light to the patient's eye E is switched from the visible light to the infrared light (see timing T6 in FIG. 4). Based on the resumption of infrared light irradiation, the pseudo color observation image IMGc displayed on the display unit 75 is a pseudo color observation image IMGc using the first color observation image IMGb to a pseudo color observation image IMGb using the second color observation image IMGb. It switches to the color observation image IMGc. Although not shown, the pseudo-color observation image IMGc after the second treatment laser beam irradiation includes the first treatment trace SP based on the first treatment laser beam and the second treatment laser beam. The first treatment trace SP based on is included. In this way, while observing the patient's eye E with infrared light, the observation of the fundus Er and the irradiation of the therapeutic laser light are repeated. The color observation image IMGb (second image data) used for generating the pseudo color observation image IMGc is updated every time the treatment laser beam is irradiated.
<Control flow>

次いで図7〜図11を用いて、本実施形態の制御部70が実行する制御を、より詳細に説明する。図7は、本実施形態の制御部70(画像処理手段)が実行するレジストレーション処理の概念を説明する図である。図8〜図11は制御部70が実行する制御の流れを示すフローである。 Next, the control executed by the control unit 70 of the present embodiment will be described in more detail with reference to FIGS. 7 to 11. FIG. 7 is a diagram illustrating a concept of registration processing executed by the control unit 70 (image processing means) of the present embodiment. 8 to 11 are flows showing a flow of control executed by the control unit 70.

先ず図8を用いて説明する。ステップS101にて制御部70は、SLO光源12から赤外光を出射させると共に、眼科装置1の動作モードをモノクロ観察モードに設定する。次いでステップS102にて制御部70は、表示部75に観察像を表示させる。なお眼科装置1の動作モードがモノクロ観察モードに設定されている際には、表示部75にはモノクロ観察画像IMGaが表示され、眼科装置1の動作モードがカラー観察モードに設定されている際には、表示部75には疑似カラー観察画像IMGcが表示される。 First, it will be described with reference to FIG. In step S101, the control unit 70 emits infrared light from the SLO light source 12 and sets the operation mode of the ophthalmic apparatus 1 to the monochrome observation mode. Next, in step S102, the control unit 70 causes the display unit 75 to display the observation image. When the operation mode of the ophthalmic apparatus 1 is set to the monochrome observation mode, the monochrome observation image IMGa is displayed on the display unit 75, and when the operation mode of the ophthalmic apparatus 1 is set to the color observation mode. Is displayed on the display unit 75 as a pseudo color observation image IMGc.

ここで図9のフローチャートを参照する。図9のフローチャートは、制御部70がステップS102で実行する処理を示す。ステップS201にて制御部70は、患者眼Eを赤外光で撮影する。詳細には、制御部70は、SLO光源12から出射される赤外光を用いて、患者眼Eのモノクロ観察画像IMGa(二次元画像)を取得する。取得したモノクロ観察画像IMGaはRAM77に記憶される。 Here, the flowchart of FIG. 9 is referred to. The flowchart of FIG. 9 shows the process executed by the control unit 70 in step S102. In step S201, the control unit 70 photographs the patient's eye E with infrared light. Specifically, the control unit 70 acquires a monochrome observation image IMGa (two-dimensional image) of the patient's eye E by using the infrared light emitted from the SLO light source 12. The acquired monochrome observation image IMGa is stored in the RAM 77.

次いでステップS202にて制御部70は、観察モード(眼科装置1の動作モード)が疑似カラーか否かを判定する。観察モードが疑似カラーに設定されている場合はステップS204に進み、観察モードが疑似カラーに設定されていない場合はステップS203に進む。ステップS203にて制御部70は、ステップS201で取得したモノクロ観察画像IMGaを表示部75に表示させる。つまりステップS202にて制御部70は、眼科装置1の動作モードに基づき、後述するレジストレーション処理を行うか否かを判定する。 Next, in step S202, the control unit 70 determines whether or not the observation mode (operation mode of the ophthalmic apparatus 1) is pseudo-color. If the observation mode is set to pseudo color, the process proceeds to step S204, and if the observation mode is not set to pseudo color, the process proceeds to step S203. In step S203, the control unit 70 causes the display unit 75 to display the monochrome observation image IMGa acquired in step S201. That is, in step S202, the control unit 70 determines whether or not to perform the registration process described later based on the operation mode of the ophthalmic apparatus 1.

図8の説明に戻る。ステップS102(ステップS203)から移行した先のステップS103にて制御部70は、トリガスイッチ(操作部74)の操作状態を検出する。なおトリガスイッチは術者が治療レーザ光の照射を開始する際に用いる。制御部70は、トリガスイッチが押されていると検出するとステップS105に進み、トリガスイッチが押されていないと検出するとステップS104に進む。ステップS105にて制御部70は、レーザ光源61を制御して、患者眼Eへの治療レーザ光の照射を行う。なお治療レーザ光は予め設定された照射条件で照射される。制御部70はステップS105の処理(治療レーザ光の照射制御)が完了するとステップS106に進む。 Returning to the description of FIG. In step S103, which is the transition from step S102 (step S203), the control unit 70 detects the operation state of the trigger switch (operation unit 74). The trigger switch is used by the operator when starting irradiation with the therapeutic laser beam. When the control unit 70 detects that the trigger switch is pressed, the process proceeds to step S105, and when it detects that the trigger switch is not pressed, the control unit 70 proceeds to step S104. In step S105, the control unit 70 controls the laser light source 61 to irradiate the patient's eye E with the therapeutic laser light. The treatment laser beam is irradiated under preset irradiation conditions. When the process of step S105 (irradiation control of the therapeutic laser beam) is completed, the control unit 70 proceeds to step S106.

次いでステップS106にて制御部70は、患者眼Eを可視光で撮影する。詳細には、制御部70は、SLO光源12から可視光(本実施形態では白色光)を出射させて、患者眼Eのカラー観察画像IMGb(二次元画像)を取得する。制御部70は、取得したカラー観察画像IMGbをRAM77に記憶する。なお制御部70は、カラー観察画像IMGbの取得が完了すると、SLO光源12からの出射光を可視光から赤外光に変更する。つまり本実施形態の制御部70は、後述する疑似カラー観察画像IMGcの生成に用いるカラー観察画像IMGbの取得時のみ、患者眼Eを可視光で照明する。 Next, in step S106, the control unit 70 photographs the patient's eye E with visible light. Specifically, the control unit 70 emits visible light (white light in this embodiment) from the SLO light source 12 to acquire a color observation image IMGb (two-dimensional image) of the patient's eye E. The control unit 70 stores the acquired color observation image IMGb in the RAM 77. When the acquisition of the color observation image IMGb is completed, the control unit 70 changes the light emitted from the SLO light source 12 from visible light to infrared light. That is, the control unit 70 of the present embodiment illuminates the patient's eye E with visible light only when the color observation image IMGb used for generating the pseudo color observation image IMGc described later is acquired.

なお本実施形態の制御部70は、ステップS106にてカラー観察画像IMGbを取得する際に、RAW画像IMGrに対して、ビニング処理と色補間処理と色空間変換処理とを行う。図7と図11を用いて説明する。図11は、制御部70がステップS106にて行う処理の一部を示し、カラー観察画像IMGbを取得する際に行う前段処理の流れを示している。図7にて、図7(b)と図7(c)を囲んだ破線枠内が本実施形態の前段処理である。 When the color observation image IMGb is acquired in step S106, the control unit 70 of the present embodiment performs a binning process, a color interpolation process, and a color space conversion process on the RAW image IMGr. This will be described with reference to FIGS. 7 and 11. FIG. 11 shows a part of the processing performed by the control unit 70 in step S106, and shows the flow of the pre-stage processing performed when acquiring the color observation image IMGb. In FIG. 7, the inside of the broken line frame surrounding FIGS. 7 (b) and 7 (c) is the pre-stage processing of the present embodiment.

図7を説明する。図7(a)は、制御部70が赤外撮影にて取得するモノクロ観察画像IMGaである。モノクロ観察画像IMGaはステップS201(図9)で取得される。図7(b)は、制御部70が可視撮影にて取得するRAW画像IMGrである。RAW画像IMGrはステップS106(図8)で取得される。なおモノクロ観察画像IMGaとRAW画像IMGrは、光検出器22の出力信号を用いて生成される。 FIG. 7 will be described. FIG. 7A is a monochrome observation image IMGa acquired by the control unit 70 by infrared photography. The monochrome observation image IMGa is acquired in step S201 (FIG. 9). FIG. 7B is a RAW image IMGr acquired by the control unit 70 by visible photographing. The RAW image IMGr is acquired in step S106 (FIG. 8). The monochrome observation image IMGa and the RAW image IMGr are generated by using the output signal of the photodetector 22.

図7(c)は、図7(b)のRAW画像IMGrに対してビニング処理と色補間処理と色空間変換処理とが行われた後のカラー観察画像IMGbである。図7(d)は、図7(c)のカラー観察画像IMGbが拡大されたカラー観察画像IMGb’である。図7(e)はモノクロ観察画像IMGaとカラー観察画像IMGb’が重ね合わされた疑似カラー観察画像IMGc(カラー画像)である。図7(a)〜図7(e)の太枠内には同じ眼底領域が含まれる。図7(a)〜図7(e)の格子は、各二次元画像を形成する各ピクセルの境界を示している。 FIG. 7C is a color observation image IMGb after binning processing, color interpolation processing, and color space conversion processing are performed on the RAW image IMGr of FIG. 7B. FIG. 7D is a color observation image IMGb'in which the color observation image IMGb of FIG. 7C is enlarged. FIG. 7E is a pseudo color observation image IMGc (color image) in which the monochrome observation image IMGa and the color observation image IMGb'are superimposed. The same fundus region is included in the thick frame of FIGS. 7 (a) to 7 (e). The grids of FIGS. 7 (a) to 7 (e) show the boundaries of each pixel forming each two-dimensional image.

ステップS401にて制御部70は、光検出器22の出力信号を用いて、カラー画像の一種であるRAW画像IMGrを生成する。RAW画像IMGrの各ピクセル(画素)には、赤色の階調値と、緑色の階調値と、青色の階調値の何れか1つが含まれている(図7(a)参照)。RAW画像IMGrの各ピクセル(画素)の色は、光検出器22の各受光素子に構成に基づくベイヤー配列とされている。 In step S401, the control unit 70 uses the output signal of the photodetector 22 to generate a RAW image IMGr, which is a kind of color image. Each pixel of the RAW image IMGr includes any one of a red gradation value, a green gradation value, and a blue gradation value (see FIG. 7A). The color of each pixel of the RAW image IMGr is a Bayer array based on the configuration of each light receiving element of the photodetector 22.

次いでステップS402にて制御部70は、RAW画像IMGrに対してビニング処理を行う。本実施形態のビニング処理では、少なくとも2ピクセル(同色)の階調値を合算する。例えば合算する2つのピクセルの階調値が同じなら、ビニング処理後の階調値は2倍になる。本実施形態ではベイヤー配列を維持したまま、ビニング処理にてRAW画像IMGrのサイズ(総ピクセル数)を1/4に圧縮する。圧縮後のカラー画像の単位ピクセルと、モノクロ観察画像IMGaの単位ピクセルとを比べると、単位ピクセルを構成するために用いた光検出器22の受光素子の面積は、モノクロ観察画像IMGaよりも圧縮後のカラー画像の方が大きい。また、単位ピクセルを構成するために用いた光検出器22の受光素子数は、モノクロ観察画像IMGaよりも圧縮後のカラー画像の方が多い。本実施形態では縦方向のピクセル数は1/2に圧縮され、横方向のピクセル数も1/2に圧縮される。つまり、本実施形態ではビニング処理を行い、光検出器22の感度を稼ぐ。これにより、患者眼Eを可視光で撮影する際の、照明光量を抑制できる。なお、ビニング処理での圧縮方法はこれに限るものではなく、適宜変更してもよい。 Next, in step S402, the control unit 70 performs a binning process on the RAW image IMGr. In the binning process of the present embodiment, the gradation values of at least 2 pixels (same color) are added up. For example, if the gradation values of the two pixels to be added are the same, the gradation value after the binning process is doubled. In the present embodiment, the size (total number of pixels) of the RAW image IMGr is compressed to 1/4 by the binning process while maintaining the Bayer arrangement. Comparing the unit pixel of the compressed color image with the unit pixel of the monochrome observation image IMGa, the area of the light receiving element of the photodetector 22 used to form the unit pixel is larger than that of the monochrome observation image IMGa after compression. The color image of is larger. Further, the number of light receiving elements of the photodetector 22 used to form the unit pixel is larger in the compressed color image than in the monochrome observation image IMGa. In the present embodiment, the number of pixels in the vertical direction is compressed by half, and the number of pixels in the horizontal direction is also compressed by half. That is, in the present embodiment, the binning process is performed to increase the sensitivity of the photodetector 22. This makes it possible to suppress the amount of illumination light when the patient's eye E is photographed with visible light. The compression method in the binning process is not limited to this, and may be changed as appropriate.

次いでステップS403にて制御部70は、ステップS402でビニング処理(圧縮)したベイヤー配列の画像に対して、色補間処理を行う。色補間処理後の画像(RGB画像と呼ぶ)の各ピクセルには、赤色の階調値、緑色の階調値、および青色の階調値が含まれる。制御部70がステップS403で行う処理は、CFA補間、ベイヤー配列画像からRGB画像への変換等と呼ばれることがある。なお例えば、色補間処理の後にビニング処理を行ってもよい。 Next, in step S403, the control unit 70 performs color interpolation processing on the image of the Bayer array that has been binned (compressed) in step S402. Each pixel of the image (referred to as an RGB image) after the color interpolation processing includes a red gradation value, a green gradation value, and a blue gradation value. The process performed by the control unit 70 in step S403 may be called CFA interpolation, conversion from a Bayer array image to an RGB image, or the like. For example, the binning process may be performed after the color interpolation process.

次いでステップS404にて制御部70は、色補間処理後の画像(RGB画像)に対して、色空間変換処理を行う。RGB画像の各ピクセルには、赤色の階調値、緑色の階調値、および青色の階調値が含まれている。制御部70はRGB画像の各ピクセルの値(R値,G値,B値)を、Lab色空間の値(L*値,a*値,b*値)へと変換する。つまり、カラー観察画像IMGbを構成する各ピクセルの値として、輝度値(輝度情報)と色値(色情報)を各々設ける。このようにしてステップS404にて制御部70は、各ピクセルの値がLab空間値で構成されるカラー観察画像IMGbを生成する。なお、ステップS401〜S404の処理を、後述するレジストレーション処理(ステップS205)時に行ってもよい。 Next, in step S404, the control unit 70 performs color space conversion processing on the image (RGB image) after the color interpolation processing. Each pixel of the RGB image contains a red gradation value, a green gradation value, and a blue gradation value. The control unit 70 converts the values (R value, G value, B value) of each pixel of the RGB image into the values of the Lab color space (L * value, a * value, b * value). That is, a brightness value (luminance information) and a color value (color information) are provided as the values of each pixel constituting the color observation image IMGb. In this way, in step S404, the control unit 70 generates a color observation image IMGb in which the value of each pixel is composed of the Lab space value. The processing of steps S401 to S404 may be performed during the registration processing (step S205) described later.

次いでステップS107にて制御部70は、観察モードを疑似カラーに設定する。詳細には制御部70は、ステップS101で設定したモノクロ観察モードを疑似カラーモードへと変更する。制御部70はステップS107の処理が完了するとステップS102に進む。 Next, in step S107, the control unit 70 sets the observation mode to pseudo color. Specifically, the control unit 70 changes the monochrome observation mode set in step S101 to the pseudo color mode. When the process of step S107 is completed, the control unit 70 proceeds to step S102.

ステップS107から移行したステップS102にて制御部70は、赤外光による患者眼Eの撮影(つまりモノクロ観察画像IMGaの取得)と、モノクロ観察画像IMGaとカラー観察画像IMGbを用いた疑似カラー観察画像IMGcの生成(つまりレジストレーション処理)と、疑似カラー観察画像IMGcの表示とを行う。再び図9を用いて説明する。ステップS201とステップS202の処理は既に説明済みのため省略する。観察モードが疑似カラーに設定されていると、ステップS202からステップS204へと進む。ステップS204にて制御部70は、カラー観察画像IMGbを取得する。本実施形態の制御部70は、RAM77に記憶されているカラー観察画像IMGbを読み出す(取得する)。なお、このカラー観察画像IMGbはステップS106(図8参照)で予め取得されたものである。制御部70はステップS204の処理が完了するとステップS205に進む。 In step S102, which is the transition from step S107, the control unit 70 takes a picture of the patient's eye E with infrared light (that is, acquires a monochrome observation image IMGa), and a pseudo color observation image using the monochrome observation image IMGa and the color observation image IMGb. The generation of IMGc (that is, the registration process) and the display of the pseudo-color observation image IMGc are performed. This will be described again with reference to FIG. Since the processes of steps S201 and S202 have already been described, they will be omitted. When the observation mode is set to pseudo color, the process proceeds from step S202 to step S204. In step S204, the control unit 70 acquires the color observation image IMGb. The control unit 70 of the present embodiment reads (acquires) the color observation image IMGb stored in the RAM 77. The color observation image IMGb was acquired in advance in step S106 (see FIG. 8). When the process of step S204 is completed, the control unit 70 proceeds to step S205.

次いでステップS205にて制御部70は、レジストレーション処理(レジストレーション画像の生成)を行う。図7と図10を併用する。図7は本実施形態のレジストレーション処理の概念図である。図10は制御部70が実行するレジストレーション処理の流れである。本実施形態の制御部70は、赤外光を用いて取得したモノクロ観察画像IMGa(第1画像データ)と可視光を用いて取得したカラー観察画像IMGb(第2画像データ)とを重ね合せて疑似カラー観察画像IMGc(レジストレーション画像)を生成する。 Next, in step S205, the control unit 70 performs a registration process (generation of a registration image). 7 and 10 are used together. FIG. 7 is a conceptual diagram of the registration process of the present embodiment. FIG. 10 is a flow of registration processing executed by the control unit 70. The control unit 70 of the present embodiment superimposes the monochrome observation image IMGa (first image data) acquired using infrared light and the color observation image IMGb (second image data) acquired using visible light. A pseudo color observation image IMGc (registration image) is generated.

制御部70は、モノクロ観察画像IMGaを構成する各ピクセルの値をL*値として取扱い、カラー観察画像IMGbを構成する各ピクセルの値をLab値(本実施形態ではa*値とb*値のみ使用する)として取り扱う。なお前述したL*値とLab値は、公知のCIE 1976(L*,a*,b*)色空間を構成する各パラメータである。L*は輝度情報と言え、a*とb*は色度情報と言える。以降の説明では、この色空間をCIELABと称する。 The control unit 70 treats the value of each pixel constituting the monochrome observation image IMGa as an L * value, and treats the value of each pixel constituting the color observation image IMGb as a Lab value (only a * value and b * value in this embodiment). Use). The above-mentioned L * value and Lab value are parameters constituting the known CIE 1976 (L *, a *, b *) color space. L * can be said to be luminance information, and a * and b * can be said to be chromaticity information. In the following description, this color space will be referred to as CIELAB.

ステップS301にて制御部70は、カラー観察画像IMGbを拡大する。詳細には、制御部70は、カラー観察画像IMGbの横方向のピクセル数を2倍にし、縦方向のピクセル数を2倍にする。つまりモノクロ観察画像IMGaと同じ縦横ピクセル数にする。換言するなら、モノクロ観察画像IMGaを構成する1ピクセルに対応する眼底領域とカラー観察画像IMGbを構成する1ピクセルに対応する眼底領域とが一致するようにカラー観察画像IMGbを拡大する。一例として、図7(a)の太枠内のピクセル数と図7(d)の太枠内のピクセル数は同じである。なお拡大にて生まれた各ピクセルには、同じLab値が収容(補間)される。例えば、図7(c)にて符号PQが付けられたピクセルの値(a*値,b*値)と、図7(d)にて符号PCa〜PCdが付けられた各ピクセルの値(a*値,b*値)は同じである。 In step S301, the control unit 70 enlarges the color observation image IMGb. Specifically, the control unit 70 doubles the number of pixels in the horizontal direction of the color observation image IMGb and doubles the number of pixels in the vertical direction. That is, the number of vertical and horizontal pixels is the same as that of the monochrome observation image IMGa. In other words, the color observation image IMGb is enlarged so that the fundus region corresponding to one pixel constituting the monochrome observation image IMGa and the fundus region corresponding to one pixel constituting the color observation image IMGb coincide with each other. As an example, the number of pixels in the thick frame of FIG. 7 (a) and the number of pixels in the thick frame of FIG. 7 (d) are the same. The same Lab value is accommodated (interpolated) in each pixel created by enlargement. For example, the value of the pixel with the code PQ (a * value, b * value) in FIG. 7 (c) and the value of each pixel with the symbols PCa to PCd in FIG. 7 (d) (a). * Value, b * value) are the same.

次いでステップS302にて制御部70は、モノクロ観察画像IMGaとカラー観察画像IMGbをレジストレーション(重ね合せ)する。制御部70は、モノクロ観察画像IMGaとカラー観察画像IMGbを重ね合せた疑似カラー観察画像IMGcを生成する際に、疑似カラー観察画像IMGcを構成する各画素を次のように構築する。疑似カラー観察画像IMGcのL*値はモノクロ観察画像IMGaのL*値を用い、a*値とb*値は拡大後のカラー観察画像IMGbのa*値とb*値を用いる。一例として、図7(e)にて符号PFaで示すピクセルのL*値には符号PMaのピクセル(図7(a))のL*値を用い、符号PFaで示すピクセルのa*値とb*値には符号PCaのピクセル(図7(d))のa*値とb*値を用いる。つまり、疑似カラー観察画像IMGcを構成する輝度情報にはモノクロ観察画像IMGaの輝度情報を採用し、疑似カラー観察画像IMGcを構成する色情報(色度情報)にはカラー観察画像IMGbの色情報を採用する。このようにして、本実施形態では疑似カラー観察画像IMGcの解像度(輝度の分解能)を稼いでいる。つまり、本実施形態の疑似カラー観察画像IMGcの分解能(解像度,解像力)は、RAW画像IMGrを単純に補間したカラー画像の分解能よりも高くし易い。なお、図7(e)にて符号PFa〜PFdで示す各ピクセルは、L*値は異なる(詳細には図7(a)の符号PMa〜PMdの各L*値に依存する)が、a*値とb*値は同じである。 Next, in step S302, the control unit 70 registers (superimposes) the monochrome observation image IMGa and the color observation image IMGb. The control unit 70 constructs each pixel constituting the pseudo color observation image IMGc as follows when generating the pseudo color observation image IMGc by superimposing the monochrome observation image IMGa and the color observation image IMGb. The L * value of the pseudo-color observation image IMGc uses the L * value of the monochrome observation image IMGa, and the a * value and b * value use the a * value and b * value of the enlarged color observation image IMGb. As an example, the L * value of the pixel of the symbol PMa (FIG. 7 (a)) is used as the L * value of the pixel indicated by the symbol PFa in FIG. 7 (e), and the a * value and b of the pixel indicated by the symbol PFa are used. As the * value, the a * value and the b * value of the pixel of the symbol PCa (FIG. 7 (d)) are used. That is, the luminance information of the monochrome observation image IMGc is adopted as the luminance information constituting the pseudo color observation image IMGc, and the color information of the color observation image IMGb is used as the color information (chromaticity information) constituting the pseudo color observation image IMGc. adopt. In this way, in the present embodiment, the resolution (luminance resolution) of the pseudo-color observation image IMGc is obtained. That is, the resolution (resolution, resolution) of the pseudo-color observation image IMGc of the present embodiment is likely to be higher than the resolution of the color image obtained by simply interpolating the RAW image IMGr. The pixels represented by the symbols PFa to PFd in FIG. 7 (e) have different L * values (specifically, they depend on the L * values of the symbols PMa to PMd in FIG. 7 (a)). The * value and the b * value are the same.

本実施形態の制御部70は、モノクロ観察画像IMGaとカラー観察画像IMGbを重ね合せる際に、眼底部位が一致するように位置合わせ処理を行う。位置合わせ処理として、上下左右方向への相対移動や回転が含まれる。例えば制御部70が、各々の画像を解析し、各々の画像の相対的な位置ずれを評価して、重ね合せの可否判定をしてもよい。また制御部70が、各々の画像の画質を評価して重ね合せの可否判定をしてもよい。なお制御部70が重ね合せ出来ないと判定した際に、制御部70が観察画像(例えば可視光)の再取得を自動的に行ってもよい。 When superimposing the monochrome observation image IMGa and the color observation image IMGb, the control unit 70 of the present embodiment performs the alignment process so that the fundus portions match. The alignment process includes relative movement and rotation in the vertical and horizontal directions. For example, the control unit 70 may analyze each image, evaluate the relative positional deviation of each image, and determine whether or not superimposition is possible. Further, the control unit 70 may evaluate the image quality of each image and determine whether or not superimposition is possible. When the control unit 70 determines that the superimposition cannot be performed, the control unit 70 may automatically reacquire the observation image (for example, visible light).

なお本実施形態では色空間としてCIELABを用いるが、YCbCr、YUV、HSV、HSL(HSI)等、他の色空間を用いてレジストレーション処理が行われてもよい。本実施形態ではモノクロ観察画像IMGaの輝度情報(L*値)とカラー観察画像IMGb’の色情報(a*値,b*値)を組み合わせて疑似カラー観察画像IMGcのL*b*c*値を形成させるが、疑似カラー観察画像IMGcのL*b*c*値に、カラー観察画像IMGb’の輝度情報が考慮されていてもよい。カラー画像よりも高精細なモノクロ画像の輝度情報を用いてカラー画像(レジストレーション画像)が生成されればよい。換言するなら、可視光を用いて取得した可視光画像よりも高精細(高分解能)となる、赤外光を用いて取得した赤外光画像を用いて、可視光画像と赤外光画像を重ね合せたレジストレーション画像が生成されればよい。 Although CIELAB is used as the color space in this embodiment, the registration process may be performed using another color space such as YCbCr, YUV, HSV, and HSL (HSI). In the present embodiment, the brightness information (L * value) of the monochrome observation image IMGa and the color information (a * value, b * value) of the color observation image IMGb'are combined to form the L * b * c * value of the pseudo color observation image IMGc. However, the brightness information of the color observation image IMGb'may be taken into consideration in the L * b * c * value of the pseudo color observation image IMGc. A color image (registration image) may be generated using the luminance information of a monochrome image having a higher definition than the color image. In other words, a visible light image and an infrared light image are obtained using an infrared light image acquired using infrared light, which has a higher definition (high resolution) than a visible light image acquired using visible light. It suffices if the superimposed registration image is generated.

このように、本実施形態では低解像度(低分解能)のカラー画像と高解像度(高分解能)のモノクロ画像とを重ね合せて解像度(分解能)を改善した疑似カラー画像を生成できる。また本実施形態ではビニング処理を行いレジストレーション用のカラー観察画像IMGbを生成する。これにより、例えば、高分解能のカラー画像を得るために、可視光を大光量で点灯する必要がない。つまり、高精細なカラー画像を撮影するためには可視光の光量を大きくする必要が生じ易く、患者への眩しさによる負担が大きくなり易い場合があった。しかし本実施形態の眼科装置1は、患者への負担を軽減しつつ輝度情報が高精細なカラー画像を撮影できる。 As described above, in the present embodiment, a pseudo color image having an improved resolution (resolution) can be generated by superimposing a low resolution (low resolution) color image and a high resolution (high resolution) monochrome image. Further, in the present embodiment, a binning process is performed to generate a color observation image IMGb for registration. As a result, for example, it is not necessary to turn on visible light with a large amount of light in order to obtain a high-resolution color image. That is, in order to capture a high-definition color image, it tends to be necessary to increase the amount of visible light, and the burden on the patient due to glare tends to increase. However, the ophthalmic apparatus 1 of the present embodiment can capture a color image with high-definition luminance information while reducing the burden on the patient.

図9の説明に戻る。ステップS205から移行した先のステップS203にて制御部70は、ステップS205で生成した疑似カラー観察画像IMGcを表示部75に表示させる。なお本実施形態の制御部70は、観察モードがモノクロに切り換わる(戻る)まで、観察処理(ステップS102)の度にレジストレーション処理を行う。したがって、表示部75には疑似カラー観察画像IMGcが動画として表示される。なお、疑似カラー観察画像IMGcの生成に用いられるモノクロ観察画像IMGaはステップS201にて逐次更新され、疑似カラー観察画像IMGcの生成に用いられるカラー観察画像IMGbは治療レーザ光が照射される度に更新される(図8のステップS106参照)。 Returning to the description of FIG. In step S203, which is the transition from step S205, the control unit 70 causes the display unit 75 to display the pseudo color observation image IMGc generated in step S205. The control unit 70 of the present embodiment performs the registration process every time the observation process (step S102) is performed until the observation mode is switched (returned) to monochrome. Therefore, the pseudo color observation image IMGc is displayed as a moving image on the display unit 75. The monochrome observation image IMGa used to generate the pseudo color observation image IMGc is sequentially updated in step S201, and the color observation image IMGb used to generate the pseudo color observation image IMGc is updated every time the therapeutic laser beam is irradiated. (See step S106 in FIG. 8).

図8の説明に戻る。ステップS103にてトリガスイッチが押されていないと判定された場合、制御部70はステップS104に進む。ステップS104にて制御部70は、解除スイッチ(操作部74)の操作状態を検出する。なお本実施形態の解除スイッチは操作部74に設けられており、術者が疑似カラー観察モードを解除(つまりモノクロ観察モードに戻す)するために用いられる。制御部70は、解除スイッチが押されていると判定すると図8のフローから抜け出て、解除スイッチが押されていないと判定するとステップS102に戻る。つまり解除スイッチが操作されない限り、表示部75には疑似カラー観察画像IMGcが動画として表示される。一例として、同一眼の治療中は疑似カラー観察画像IMGcを用いた観察状態を継続することが好適と考えられる。また、治療眼を変える(例えば右眼に対する左眼,他の患者の眼)の際には、解除スイッチを押して疑似カラー観察状態を解除(つまりモノクロ観察状態に戻す)することが好適と考えられる。 Returning to the description of FIG. If it is determined in step S103 that the trigger switch is not pressed, the control unit 70 proceeds to step S104. In step S104, the control unit 70 detects the operating state of the release switch (operation unit 74). The release switch of the present embodiment is provided on the operation unit 74, and is used by the operator to release the pseudo color observation mode (that is, return to the monochrome observation mode). When the control unit 70 determines that the release switch is pressed, it exits the flow of FIG. 8, and when it determines that the release switch is not pressed, the control unit 70 returns to step S102. That is, unless the release switch is operated, the pseudo color observation image IMGc is displayed as a moving image on the display unit 75. As an example, it is considered preferable to continue the observation state using the pseudo-color observation image IMGc during the treatment of the same eye. In addition, when changing the treatment eye (for example, the left eye with respect to the right eye, the eye of another patient), it is considered preferable to press the release switch to release the pseudo-color observation state (that is, return to the monochrome observation state). ..

なお本実施形態の制御部70は図8のフローを繰り返すため、ステップS104にて解除スイッチが押されていると判定すると、ステップS101に戻ることになる。つまり眼科装置1の観察モードはモノクロ観察状態に戻る。モノクロ観察状態に戻った後は、トリガスイッチが押されるまで、ステップS102〜ステップS104をループする。つまり、表示部75にはモノクロ観察動画が表示される。以上説明したように、本実施形態の眼科装置1は、可視光の照明による患者眼Eの負担(眩しさ,ライトハザード等)を抑制できる。つまり、眼科装置にて高精細な画像を撮影するには光量を大きくする必要があり、可視光だと患者への眩しさによる負担が大きかった。一方、赤外光だと眩しさを感じさせることはないが、カラー画像が得られなかった。本実施形態の眼科装置1は、可視光と赤外光とでそれぞれ撮影した画像を組み合わせることで、患者への負担を低減しつつカラー画像を得ることができる。 Since the control unit 70 of the present embodiment repeats the flow of FIG. 8, if it is determined in step S104 that the release switch is pressed, the process returns to step S101. That is, the observation mode of the ophthalmic apparatus 1 returns to the monochrome observation state. After returning to the monochrome observation state, steps S102 to S104 are looped until the trigger switch is pressed. That is, the monochrome observation moving image is displayed on the display unit 75. As described above, the ophthalmic apparatus 1 of the present embodiment can suppress the burden (glare, light hazard, etc.) on the patient's eye E due to the illumination of visible light. That is, in order to capture a high-definition image with an ophthalmic apparatus, it is necessary to increase the amount of light, and visible light imposes a heavy burden on the patient due to glare. On the other hand, infrared light did not make the person feel dazzling, but a color image could not be obtained. The ophthalmic apparatus 1 of the present embodiment can obtain a color image while reducing the burden on the patient by combining the images captured by visible light and infrared light, respectively.

図12は変容例の眼科装置のフローチャートである。前述した眼科装置1と変容例の眼科装置とは、治療レーザ光照射光学系60を備えるか否かのみが異なる。つまり変容例の眼科装置は、患者眼Eを撮影する撮像手段のみを備える。変容例の眼科装置が、例えば無散瞳型眼底カメラであってもよい。この場合、例えば、赤外光と可視光に感度を有する2次元カラーセンサーを用いてもよい。また、変容例の眼科装置が、例えば散瞳型眼底カメラ又は細隙灯顕微鏡(細隙灯顕微鏡)であってもよい。散瞳型眼底カメラに本開示の観察技術を適用することで、例えば、患者の眩しさ又はライトハザードを抑制しつつ、術者はカラー動画(疑似カラー動画)で観察できる。もちろん、走査型レーザ検眼鏡に前述した眼科装置1のカラー動画技術を適用してもよい。 FIG. 12 is a flowchart of an ophthalmic apparatus of a transformation example. The ophthalmic apparatus 1 described above and the ophthalmic apparatus of the modified example differ only in whether or not the therapeutic laser light irradiation optical system 60 is provided. That is, the ophthalmic apparatus of the transformed example includes only an imaging means for photographing the patient's eye E. The ophthalmologic device of the modified example may be, for example, a non-mydriatic fundus camera. In this case, for example, a two-dimensional color sensor having sensitivity to infrared light and visible light may be used. Further, the ophthalmic apparatus of the transformed example may be, for example, a mydriatic fundus camera or a slit lamp microscope (slit lamp microscope). By applying the observation technique of the present disclosure to a mydriatic fundus camera, the operator can observe a color moving image (pseudo-color moving image) while suppressing the glare or light hazard of the patient, for example. Of course, the color moving image technique of the ophthalmic apparatus 1 described above may be applied to the scanning laser ophthalmoscope.

ステップS301にて制御部70は、赤外光による撮影(モノクロ画像の取得)を行う。次いでステップS302にて制御部70は、取得したモノクロ画像を表示部75に表示する。ステップS303にて制御部70は、トリガスイッチ(撮影開始手段)の操作状態を検出する。制御部70は、トリガスイッチが操作されたと検出すればステップ304に進み、トリガスイッチが操作されていないと検出すればステップ301に戻る。つまり、トリガスイッチが操作されない限り、制御部70はモノクロ撮影を繰り返し、表示部75には赤外光を用いた観察動画が表示される。 In step S301, the control unit 70 takes a picture (acquires a monochrome image) with infrared light. Next, in step S302, the control unit 70 displays the acquired monochrome image on the display unit 75. In step S303, the control unit 70 detects the operating state of the trigger switch (shooting start means). The control unit 70 proceeds to step 304 if it detects that the trigger switch has been operated, and returns to step 301 if it detects that the trigger switch has not been operated. That is, unless the trigger switch is operated, the control unit 70 repeats monochrome photography, and the display unit 75 displays an observation moving image using infrared light.

トリガスイッチが操作されたとする。ステップS304にて制御部70は、赤外光による撮影(モノクロ画像の取得)を行う。次いでステップS305にて制御部70は可視光による撮影(カラー画像の取得)を行う。次いでステップS306にて制御部70は取得済みのモノクロ画像とカラー画像を用いて、レジストレーション画像(疑似カラー画像)を生成する。次いでステップS307にて制御部70は、生成したレジストレーション画像を表示部75に表示する。なおステップS304を省略し、ステップS306でのレジストレーション処理時にステップS301で取得したモノクロ画像を用いてもよい。なお可視光による撮影の直前に赤外光による撮影を行うことで、画像間の位置ずれを抑制し易い。変容例の眼科装置も例えば、レジストレーション画像を構成する輝度情報にはモノクロ画像の輝度情報を採用し、レジストレーション画像を構成する色情報にはカラー画像の色情報を採用する。このようにして、レジストレーション画像の解像度(輝度の分解能)を稼ぐことができる。 Suppose the trigger switch is operated. In step S304, the control unit 70 takes a picture (acquires a monochrome image) with infrared light. Next, in step S305, the control unit 70 takes a picture (acquires a color image) with visible light. Next, in step S306, the control unit 70 generates a registration image (pseudo-color image) using the acquired monochrome image and color image. Next, in step S307, the control unit 70 displays the generated registration image on the display unit 75. Note that step S304 may be omitted, and the monochrome image acquired in step S301 may be used during the registration process in step S306. It is easy to suppress the positional deviation between the images by taking a picture with infrared light immediately before taking a picture with visible light. For example, the ophthalmic apparatus of the transformation example also adopts the luminance information of the monochrome image as the luminance information constituting the registration image and the color information of the color image as the color information constituting the registration image. In this way, the resolution of the registration image (brightness resolution) can be obtained.

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲及びこれと均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time should be considered as exemplary in all respects and not restrictive. The scope of the present disclosure is shown by the scope of claims, not the above description, and is intended to include all modifications within the scope and equivalent meaning and scope of the claims.

1:眼科装置
10:投光光学系
20:受光光学系
70:制御部
IMGa:モノクロ観察画像
IMGb:カラー観察画像
IMGc:疑似カラー観察画像
1: Ophthalmic apparatus 10: Throw optical system 20: Light receiving optical system 70: Control unit IMGa: Monochrome observation image IMGb: Color observation image IMGc: Pseudo color observation image

Claims (8)

患者眼を赤外光で照明して、前記患者眼を撮影する第1撮影手段と、
前記患者眼を可視光で照明して、前記患者眼を撮影する第2撮影手段と、
前記第1撮影手段を用いて取得した第1画像データと前記第2撮影手段を用いて取得した第2画像データとを重ね合せたレジストレーション画像を生成する画像処理手段と、
を備えたことを特徴とする眼科装置。
The first imaging means for illuminating the patient's eye with infrared light and photographing the patient's eye,
A second imaging means for illuminating the patient's eye with visible light and photographing the patient's eye,
An image processing means for generating a registration image by superimposing the first image data acquired by using the first photographing means and the second image data acquired by using the second photographing means.
An ophthalmic device characterized by being equipped with.
請求項1に記載の眼科装置であって、
前記第1撮影手段と前記第2撮影手段は、前記赤外光と前記可視光に感度を有する受光素子(22)を共用し、
前記第1撮影手段は前記受光素子の出力信号を用いて前記第1画像データを取得し、前記第2撮影手段は前記受光素子の出力信号を用いて前記第2画像データを取得する、
ことを特徴とする眼科装置。
The ophthalmic apparatus according to claim 1.
The first photographing means and the second photographing means share a light receiving element (22) having sensitivity to the infrared light and the visible light.
The first photographing means acquires the first image data by using the output signal of the light receiving element, and the second photographing means acquires the second image data by using the output signal of the light receiving element.
An ophthalmic device characterized by that.
請求項1または2に記載の眼科装置であって、
前記第1撮影手段の分解能は前記第2撮影手段の分解能よりも高い、
ことを特徴とする眼科装置。
The ophthalmic apparatus according to claim 1 or 2.
The resolution of the first photographing means is higher than the resolution of the second photographing means.
An ophthalmic device characterized by that.
請求項1に記載の眼科装置であって、
前記画像処理手段は、異なるタイミングで撮影された前記第1画像データの各々に対して前記レジストレーション画像を生成する際に、共通の前記第2画像データを用いる、
ことを特徴とする眼科装置。
The ophthalmic apparatus according to claim 1.
The image processing means uses the common second image data when generating the registration image for each of the first image data taken at different timings.
An ophthalmic device characterized by that.
請求項4に記載の眼科装置であって、
前記レジストレーション画像を表示する表示制御手段を有し、
前記表示制御手段は前記共通の前記第2画像データを用いて生成した複数の前記レジストレーション画像を動画として表示させる、
ことを特徴とする眼科装置。
The ophthalmic apparatus according to claim 4.
It has a display control means for displaying the registration image, and has
The display control means displays a plurality of the registration images generated by using the common second image data as moving images.
An ophthalmic device characterized by that.
請求項4に記載の眼科装置であって、
前記患者眼に治療レーザ光を照射する治療レーザ光照射手段を備え、
前記第2撮影手段は前記治療レーザ光の照射後に撮影する、
ことを特徴とする眼科装置。
The ophthalmic apparatus according to claim 4.
A therapeutic laser beam irradiation means for irradiating the patient's eye with a therapeutic laser beam is provided.
The second imaging means photographs after irradiation with the therapeutic laser beam.
An ophthalmic device characterized by that.
請求項5に記載の眼科装置であって、
前記第2撮影手段は前記治療レーザ光の照射後に撮影し、
前記画像処理手段は前記治療レーザ光が照射される度に、前記第1画像データに重ね合せる前記第2画像データを更新する、
ことを特徴とする眼科装置。
The ophthalmic apparatus according to claim 5.
The second imaging means takes an image after irradiation with the treatment laser beam.
The image processing means updates the second image data to be superimposed on the first image data each time the treatment laser beam is irradiated.
An ophthalmic device characterized by that.
請求項1〜7のいずれか1項に記載の眼科装置であって、
前記レジストレーション画像はカラー画像である、
ことを特徴とする眼科装置。
The ophthalmic apparatus according to any one of claims 1 to 7.
The registration image is a color image.
An ophthalmic device characterized by that.
JP2019544542A 2017-09-29 2018-09-11 ophthalmology equipment Active JP7347212B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017191368 2017-09-29
JP2017191368 2017-09-29
PCT/JP2018/033651 WO2019065219A1 (en) 2017-09-29 2018-09-11 Ophthalmological device

Publications (2)

Publication Number Publication Date
JPWO2019065219A1 true JPWO2019065219A1 (en) 2020-10-22
JP7347212B2 JP7347212B2 (en) 2023-09-20

Family

ID=65901311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019544542A Active JP7347212B2 (en) 2017-09-29 2018-09-11 ophthalmology equipment

Country Status (2)

Country Link
JP (1) JP7347212B2 (en)
WO (1) WO2019065219A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020217409A1 (en) * 2019-04-25 2020-10-29 株式会社ニコン Image processing device, image processing method, and image processing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026597A1 (en) * 2010-08-27 2012-03-01 ソニー株式会社 Image processing apparatus and method
JP2013505751A (en) * 2009-09-29 2013-02-21 オーデー−オーエス ゲーエムベーハー Ophthalmoscope with laser device
JP2017064547A (en) * 2012-02-28 2017-04-06 株式会社トプコン Fundus observation apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013505751A (en) * 2009-09-29 2013-02-21 オーデー−オーエス ゲーエムベーハー Ophthalmoscope with laser device
WO2012026597A1 (en) * 2010-08-27 2012-03-01 ソニー株式会社 Image processing apparatus and method
JP2017064547A (en) * 2012-02-28 2017-04-06 株式会社トプコン Fundus observation apparatus

Also Published As

Publication number Publication date
JP7347212B2 (en) 2023-09-20
WO2019065219A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP5606813B2 (en) Ophthalmic equipment
JP5101354B2 (en) Scanning fundus imaging device
JP6978165B2 (en) Eyeball imaging device
WO2018105411A1 (en) Image processing device and method, and operating microscope system
JP2010259675A (en) Retinal function measuring apparatus
EP3257433B1 (en) Ophthalmic imaging device and generation method of ophthalmic synthetic image
EP3738501B1 (en) Fundus imaging device
JP2012187293A (en) Fundus photographing apparatus
JP2017099717A (en) Ophthalmic photographing apparatus
JP7347212B2 (en) ophthalmology equipment
JP2019118720A (en) Ophthalmography device
JP6895277B2 (en) Ophthalmic observation device and its operation method
JP2017093854A (en) Ophthalmology imaging apparatus and ophthalmologic image display device
JP2011245025A (en) Fundus imaging apparatus and processing method for the same
JP2022033456A (en) Scan type inspection device, control method of scan type inspection device, and program
JP6848207B2 (en) Ophthalmologic imaging equipment
JP7051042B2 (en) Ophthalmologic photography equipment
JP6958367B2 (en) Fundus photography device
JP5160958B2 (en) Fundus photographing apparatus and fundus image processing apparatus
JP7037904B2 (en) Ophthalmologic photography equipment and image processing program
JP2024036142A (en) Ophthalmologic imaging device and ophthalmologic imaging program
JP6784019B2 (en) Fundus photography device and information processing program for ophthalmology
JP2023135246A (en) Fundus imaging apparatus, control method of fundus imaging apparatus and program
JP2023031480A (en) Fundus imaging device, information processing device, information processing method, and program
JP2024077227A (en) Ophthalmologic imaging apparatus, actuation method of ophthalmologic imaging apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7347212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150