[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6438211B2 - 眼科装置及び制御方法 - Google Patents

眼科装置及び制御方法 Download PDF

Info

Publication number
JP6438211B2
JP6438211B2 JP2014084373A JP2014084373A JP6438211B2 JP 6438211 B2 JP6438211 B2 JP 6438211B2 JP 2014084373 A JP2014084373 A JP 2014084373A JP 2014084373 A JP2014084373 A JP 2014084373A JP 6438211 B2 JP6438211 B2 JP 6438211B2
Authority
JP
Japan
Prior art keywords
optical scanning
scanner
delay time
drive
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014084373A
Other languages
English (en)
Other versions
JP2015202305A (ja
JP2015202305A5 (ja
Inventor
祐輝 下里
祐輝 下里
航 坂川
航 坂川
正木 俊文
俊文 正木
坂川 幸雄
幸雄 坂川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014084373A priority Critical patent/JP6438211B2/ja
Priority to US14/681,461 priority patent/US9918632B2/en
Publication of JP2015202305A publication Critical patent/JP2015202305A/ja
Publication of JP2015202305A5 publication Critical patent/JP2015202305A5/ja
Application granted granted Critical
Publication of JP6438211B2 publication Critical patent/JP6438211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Description

本発明は、測定光を被検眼の眼底上や前眼上で走査し、眼底や前眼を撮像する眼科装置及び該眼科装置の制御方法に関する。
現在、光学機器を用いた眼科用機器として、様々なものが使用されている。中でも、光干渉断層撮像装置(OCT、以下OCT装置と記す)や共焦点レーザ走査検眼鏡(SLO、以下SLO装置と記す)が知られている。これら装置は、測定光を被検眼の眼底上や前眼上で走査し、被検眼から反射された光を撮像することで、眼底や前眼部の画像を高解像度で取得可能である。このため、これら装置は、眼科用機器として必要不可欠な装置になりつつある。
OCT装置やSLO装置では、測定光を走査する手段として、ガルバノスキャナなどが用いられる。ガルバノスキャナは、回転軸に固定されたミラーと、回転軸を回転駆動するアクチュエータと、アクチュエータを駆動するドライバから構成される。スキャナを駆動するときには、ドライバに対して駆動指令位置を指令し、駆動させる。撮像する手段として、アバランシェ・フォトダイオード(以下、APDと記述する)やリニアセンサなどが用いられる。被検眼からの反射光を撮像するときには、センサに対して同期信号を入力し、撮像させる。この撮像は、スキャナの駆動に同期させて行われる。
例えば、OCT装置には、被検眼を水平方向に走査するスキャナと、垂直方向に走査するスキャナの2つのスキャナが備えられている。この様な構成にて1枚の断層像を得るためには、副走査方向のスキャナは駆動させずに、1ライン分、主走査方向のスキャナを駆動させる。また、3次元の画像を得るためには、1ライン分の主走査が終わるごとに、副走査方向のスキャナを駆動させ、副走査方向にずらしていき、所定のライン分、主走査を繰り返す。このとき、主走査の駆動開始タイミングに同期させて、撮像を開始させ、所定のAスキャン(被検眼上の一点における深さ方向の情報)回数分撮像を終えると、撮像を停止させる。
特開2012−213490号公報
しかし、実際のスキャナの駆動では、スキャナに対して駆動指令を出してから、スキャナの実際の駆動位置が指令位置に到達するまでに遅延がある。そのため、スキャナの駆動開始タイミングと撮像開始タイミングとを同じにすると、所望の位置とずれた位置で撮像される。その結果、取得画像は位置ずれが発生する。これに対しては、スキャナに対して駆動指令を出してから一定時間待ち、撮像を開始すれば、所望の位置で撮像できる。しかし、スキャナの個体差や環境変化や経時変化により、この遅延時間は変化する。そのため、位置ずれの発生を定常的に抑制することが望まれる。
特許文献1では、往復走査したときの往路方向動作と復路方向動作の動作ずれを考慮して撮像する装置が開示されている。しかし、当該装置においては、駆動指令を出してから実際に動き出すまでの遅延時間が考慮されていない。
このような画像の位置ずれは、医師による画像診断の妨げになるだけでなく、誤って病変部と認識してしまい、結果として誤診に繋がる恐れがある。
上記の課題に鑑み、本発明は、スキャナに対して指令してから、実際の駆動位置が指令位置に到達するまでの遅延時間を考慮したタイミングで撮像し、位置ずれの少ない画像を取得することを目的とする。
上記の目的を達成する本発明の一態様に係る眼科装置は、
測定光を被検眼上において走査する光走査手段と、
前記被検眼から反射された光を受光する受光手段から受光信号を取得する取得手段と、
前記光走査手段の駆動位置を指令する指令手段と、
前記光走査手段の現在位置を検出する位置検出手段と、
前記指令手段が指令してから前記現在位置が前記指令された駆動位置となるまでの駆動遅延時間を測定する測定手段と、を有し、
前記取得手段は前記駆動遅延時間に基づタイミングで前記受光信号の取得を開始することを特徴とする。
本発明によれば、スキャナに対して指令してから、実際の駆動位置が指令位置に到達するまでの遅延時間を考慮したタイミングで撮像し、位置ずれの少ない画像を取得することができる。
本発明の、実施例でのOCT・SLO装置の構成図である。 図1に例示する実施例でのOCT光学系ユニットの構成を示す図である。 図1に示す実施例での制御システムの構成を示すブロック図である。 スキャナの駆動指令と現在位置との関係について説明する図である。 従来のスキャナの駆動指令と得られる断層像とを説明する図である。 断層像スキャンでのスキャナの動作と得られる像との関係を説明する図である。 往路スキャンでのスキャナの動作と得られる像との関係を説明する図である。 往復スキャンでのスキャナの動作と得られる像との関係を説明する図である。 実施例1でのスキャナの駆動遅延時間測定方法を説明する図である。 実施例1でのセンサ撮像タイミングを説明する図である。 実施例2でのセンサ撮像タイミングを説明する図である。 実施例3でのスキャナの駆動タイミングと、センサの撮像タイミングとを説明する図である。
以下に、本発明の実施例に係る眼科撮像装置の詳細について、図面に基づいて詳細に説明する。
まず該眼科撮像装置として、以下に述べるSLO及びOCTの機能が備わった装置の一例を図1に示す。
<SLOユニット>
まず、SLOユニットについて、図1を用いて説明する。
レーザ光源101には、半導体レーザやSLD光源(Super Luminescent Diode)を用いることができる。用いる波長は、眼底観察として被検者の眩しさの軽減と分解能維持のために、700nm〜1000nmの近赤外の波長域が用いられる。本実施例においては、波長780nmの半導体レーザを用いる。
レーザ光源101から出射されたレーザ光はコリメータレンズ102により平行ビームになり、中央に穴の開いた穴あきミラー103の穴を通りSLO―Xスキャナ104 SLO―Yスキャナ105を通る。該ビームはさらにビームスプリッタ106、接眼レンズ107を通り、被検眼108に入射する。
なお、以後の説明において、実施例における座標系として、眼軸方向をZ、眼底画像に対し水平方向をX、垂直方向をYとする。
被検眼108に入射したビームは、被検眼108の眼底に点状のビームとして照射される。このビームが、被検眼108の眼底で反射あるいは散乱され、同一光路をたどり、穴あきミラー103まで戻る。この反射あるいは散乱された光は、穴あきミラー103によって反射され、レンズ109を経由しAPD110に受光され、眼底の点の反射散乱強度に比例した信号が得られる。
さらに、SLO―Xスキャナ104とSLO―Yスキャナ105とをラスタースキャンすることにより、得られ反射散乱強度に応じ、眼底の2次元像を得ることができる。
<OCTユニット>
次に、本実施例におけるOCTユニットについて、図1と図2を用いて説明する。
OCT光学系115は、低コヒーレンス光を参照光と信号光に分割し、被検眼108を経由した信号光と参照物体を経由した参照光とを重畳させて干渉光を生成してこれを分光して得られた信号を出力する。
低コヒーレンス光源201は低コヒーレンス光を出力する広帯域光源により構成され、広帯域光源としては本実施例においては、低コヒーレンスであるSLD光源(Super Luminescent Diode)を用いている。低コヒーレンス光は、近赤外領域の波長の光を含み、かつ、数十マイクロメートル程度のコヒーレンス長を有する光であり、たとえば約800nm〜900nmの範囲に含まれる波長を有する。
低コヒーレンス光源201から出力された低コヒーレンス光は、光ファイバ202を通じて光カプラ203に導入される。光ファイバ202は、通常シングルモードファイバで構成される。光カプラ203は、低コヒーレンス光を参照光と信号光とに分割する。
光カプラ203により生成された参照光は、光ファイバ204により導光されてコリメータレンズ205により平行光束とされた後に、参照光と、観察光との分散の特性を合わせるための分散補償手段としてのガラスブロック206を経由し、参照ミラー207により反射される。反射された参照光は同じ光路を通り、光ファイバ204に入射される。
また、参照ミラー207は参照光の進行方向に可動となっている。これにより、被検眼108の眼軸長や接眼レンズ107と被検眼108の距離などによる、参照光と観察光の 距離を合わせることが可能となっている。
一方、光カプラ203により生成された測定光は、ファイバ208により後述する図1のOCTユニットのスキャナ、接眼部に送られる。
OCT光学系115からの測定光はコリメータレンズ114により平行ビームになり、その後OCT―Xスキャナ113、OCT―Yスキャナ112を通る。当該ビームは、次にミラー111、ビームスプリッタ106で反射され、接眼レンズ107を通り、被検眼108に入射する。被検眼108に入射したビームは、SLOと同様に、眼底で反射散乱され、同一光路をたどり、OCT光学系115まで戻る。
戻った被検眼からの反射光は、ファイバ208に再入力され、光カプラ203に導入された反射光は、参照光と干渉して合波光を形成する。該合波光は光ファイバ209を通り、コリメータレンズ210に平行光となった後、回折格子211で分光され、レンズ212によりリニアセンサ213上に結像される。リニアセンサ213にはCCDセンサやCMOSセンサなどを用いることができる。このことにより、リニアセンサ213からは、干渉光を分光した信号を得ることができる。当該リニアセンサ213或いは前述したAPD110に例示される構成は、本発明において、被検眼から反射された光を受光し且つ受光信号を取得する取得手段を構成する。
さらに、OCT―Xスキャナ113、OCT―Yスキャナ112を、ラスタースキャンを行うことにより、眼底の断層画像や3次元画像を得ることができる。
ここで、SLO―Xスキャナ104、SLO―Yスキャナ105、OCT―Xスキャナ113、OCT―Yスキャナ112は、それぞれ、回転軸に固定されたミラーと、回転軸を回転駆動するアクチュエータと、回転位置を検出するロータリーエンコーダで構成されている。また、これらスキャナに例示される構成は、本発明において測定光を被検眼上において走査する光走査手段を構成する。
<制御部>
次に、制御部について、図3を用いて説明する。
中央演算装置(CPU)301は、表示装置302、主記憶装置303(RAM)、プログラム記憶装置304(ROM)、SLOスキャナ制御部305、OCTスキャナ制御部311に接続されている。
SLOスキャナ制御部305は、CPU301からの指令により、SLOスキャナドライバ(X)308、及びSLOスキャナドライバ(Y)309によりSLOのスキャナの駆動制御を行う。CPU301は、SLOスキャナ位置検出部310から、SLO測定光のスキャン位置を知ることができる。なお、SLOスキャナ位置検出部310は上述したロータリーエンコーダの出力に基づいてSLOスキャナの位置(SLO測定光のスキャン位置)を検出することが可能である。また、APDの撮像タイミングを制御するAPD撮像制御部306、及びAPDデータを受けるAPDデータ受信部307が接続されている。
OCTスキャナ制御部311は、CPUからの指令により、OCTスキャナドライバ(X)315、OCTスキャナドライバ(Y)314によりOCTスキャナの駆動制御を行う。CPUは、OCTスキャナ位置検出部316から、OCT測定光のスキャン位置を知ることができる。具体的には、OCTスキャナ位置検出部316は上述したロータリーエンコーダの出力に基づいてOCTスキャナの位置(OCT測定光のスキャン位置)を検出することが可能である。また、OCTの出力であるリニアセンサの撮像タイミングを制御するリニアセンサ撮像制御部312、及びリニアセンサデータを受けるリニアセンサデータ受信部313が接続されている。
以上の構成により、SLOのAPD信号と、OCTの分光されたリニアセンサ信号はCPU301に入力される。CPU301は、この検出信号を解析して眼底の断層画像や眼底画像を形成する。また、 CPU301は、プログラム記憶装置304に格納したプログラムにより、以下の制御処理フローを実行することにより、装置の制御を実行する。
<SLO処理>
SLOの撮像のための処理を以下に説明する。
SLOスキャナ制御部305に既定Yスキャン中心位置、スキャンスピード、Y方向のスキャン幅、撮像画素数を設定する。このことによりSLOのビームは網膜上をスキャンする。この時、APDからは、網膜の反射、散乱強度に比例した信号が出力され、APDデータ受信部307を通してCPU301に入力される。
CPU301はSLOスキャナ制御回路からのスキャナ位置にAPDの信号強度を重ねることで、網膜像を得ることができ、この像を表示装置302に表示することで、網膜像を表示することができる。
<OCT処理>
OCTの撮像のための処理を以下に説明する。
CPU301はOCTスキャナ制御回路311に対し、X、Yスキャン中心位置、スキャンスピード、X、Y方向のスキャン幅、主走査方向、撮像A−スキャン数を設定する。このことにより、OCTユニットからの信号光は網膜上をスキャンする。この時、OCT光学系115のリニアセンサ213の出力はリニアセンサデータ受信部313を通しCPU301に入力される。
CPU301はプログラム記憶装置304のプログラムに従い、主記憶装置303上で、周波数、波数変換FFTなどの処理を行い、網膜の深さ方向の情報を得る。この情報と、OCTスキャナ制御部311の位置情報から、網膜の断層像や3次元像を得ることができ、この像を表示装置302に表示することで、これらの像を表示することができる。また、ラスタースキャンしたときに得られる、眼底面各位置での断層像の輝度値を用いて、SLOで取得できる画像と同様の2次元の眼底画像を取得することもできる。そのため、以降は、OCT撮像装置での実施例を説明する。
<スキャナの駆動方法と撮像方法>
スキャナの駆動方法と撮像方法について以下で説明する。
図4(a)はスキャナの駆動指令に対応する位置波形である駆動指令位置波形P1と、撮像のトリガ信号である同期信号波形S1を示している。OCTスキャナドライバX314及びOCTスキャナドライバY315は、各々OCT―Xスキャナ113、OCT―Yスキャナ112に対して駆動位置を指令する。そのタイミングに同期させて、リニアセンサ撮像制御部312は、リニアセンサ213に対して同期信号を送信開始し、撮像を開始させる。所定のAスキャン(被検眼上の一点における深さ方向の情報)回数分撮像を終えると、撮像を停止させる。すなわち、リニアセンサ撮像制御部312は、同期信号をリニアセンサ213に送信することでリニアセンサ213の出力を読み出す。また異なる観点からは、リニアセンサ213は同期信号に基づいて受光光量に基づく値を出力する。なお、APD撮像制御部306についても同期信号に基づいてAPD110の出力を読み出すことが可能である。
図4(b)は、前述したスキャナの駆動指令位置波形と現在のスキャナの位置を示す現在位置波形との関係を示している。実線は駆動指令位置波形P2で、破線は現在位置波形P3である。現在位置波形は、スキャナに備わった、ロータリーエンコーダ等で取得できる。当該ロータリーエンコーダに例示される構成は、本発明において、光走査手段たるスキャナの現在位置を検出する位置検出手段に対応する。スキャナドライバがスキャナに対して駆動位置を指令してから、スキャナの現在位置が指令位置に到達するまでに遅延がある。この遅延時間T1は、アクチュエータの性能、制御方法やチューニング具合によって差があり、100〜300μs程度である。なお、筆者たちは、この遅延時間T1は、スキャナの動作保証速度範囲内では、駆動速度が異なっていても、ほぼ一定であることを確認している。
そのため、スキャナドライバがスキャナに対して駆動位置に関する指令を発する駆動指令開始タイミングと、リニアセンサ213が撮像を開始する撮像開始タイミングと、を同じタイミングにすると、所望の位置とずれた位置での眼底像が撮像される(図5(a))。その結果、例えば、図5(b)の断層像I1を取得しようとしたとき、その画像に対して位置ずれが発生した断層像I2が取得されてしまう。
なお、図5(a)の駆動位置波形P5は、駆動中すべて等速に駆動しているが、実際には、等速になるまでの加速領域と、停止するまでの減速領域がある。駆動開始から駆動停止まですべて撮像すると、加速領域と減速領域での1A−スキャンあたりのスキャナ駆動量は、等速領域での駆動量に対して異なるため、取得画像の両端に歪みが発生する可能性がある。その歪みを抑制するために、加速領域と減速領域を除いた等速領域のみ撮像することもできる。しかし、加速領域と減速領域が長い場合、その分、長い距離駆動させる必要があり、撮像フレームレートが落ちる。例えば、12mmの長さを70kHzの撮像サンプリングレートで128A−スキャンした場合、加速領域と減速領域の時間は、400us程度ある。そして、12mm×10mmのサイズを128A−スキャンで96本スキャンする場合、フレームレートは、2.4fpsから1.7fpsに落ちてしまう。よって、取得画像の画質とフレームレートはトレードオフの関係にあり、取得したい画像の条件により、どちらの方法を用いるか選択する。
以降は、説明の簡略化のため、駆動開始から駆動停止まですべて撮像する場合の例で説明する。
位置ずれが発生した断層像I2が取得されてしまう現象に対して、従来は、駆動位置を指令してから、遅延時間T2分、待ち時間をおいたタイミングで、撮像を開始させている。この待ち時間は、製品開発時の検討結果から固定値として決められていた。
しかしながら、アクチュエータのチューニング具合は、個体ごとにばらつきがある。また、起動後の装置の温度変化、出荷後に装置が設置された環境変化や経時変化により、アクチュエータの動作特性が変化する。よって、遅延時間T2は、個体や環境変化や経時変化により、異なってしまう。つまり、遅延時間T2は変化する。そのため、待ち時間を固定値にすると、取得画像に位置ずれが発生してしまう。
例えば、副走査方向のスキャナは駆動させずに、主走査方向のスキャナを駆動させ、眼底上で測定光を走査させる場合を考える。(図6(a))。図中実線で示される矢印I3は、スキャンの軌跡を示す。図6(b)に、そのときの駆動指令位置波形P6、現在位置波形P7を示す。待ち時間T4に対して、遅延時間T5が長い場合、スキャナが駆動開始する前から撮像を開始し、駆動停止する前に撮像を停止する(撮像時間はT6の範囲)。その結果、得られた断層像を図6(c)に示す。図6(c)のように眼底の撮像したい範囲の断層像I4に対してずれた撮像範囲R2の断層像I5が取得されてしまう。この例の場合、表示された像の左端は、駆動停止の状態で撮像されるため、同じ画素値が水平方向並んだ画像が表示され、像の右端は撮像したい範囲の途中までしか撮像できないため、途中で切れた画像が表示される。
また、前述したように、眼底像の撮像では、スキャナを副走査方向にずらしながら、往路方向の主走査を繰り返す(ラスタースキャン図7(a))。図中実線で示される矢印I6は撮像中のスキャンの軌跡を示す。そのときの眼底面上各位置での断層像の輝度値を用いて、2次元の眼底画像が取得できる。図7(b)に、そのときの駆動指令位置波形P8、現在位置波形P9を示す。待ち時間T7に対して、遅延時間T9が長い場合、スキャナが駆動開始する前から撮像を開始し、駆動停止する前に撮像を停止する(撮像時間はT8の範囲)。その結果、輝度値を取得のために得られた眼底像を図7(c)に示す。図7(c)のように眼底の撮像したい範囲I7の像に対してずれた撮像範囲R3の眼底像I8が取得されてしまう。従って、眼底像についても、断層像のときと同様に、左端が同じ画素値が水平方向に並んだ画像が表示され、右端が途中で切れた画像が表示される。例えば、70kHzの撮像サンプリングレートの場合、待ち時間に対して、遅延時間が60us長いと、取得画像上で4pixel程度の位置ずれが発生してしまう。12mmの長さを128A−スキャンする場合、撮像位置が眼底面上で400umずれていることに相当する。
なお、図7に示すように往路方向に主走査を繰り返す場合、スキャナは1ライン分の主走査を終えると、次の主走査を行うために、主走査方向のスキャナをもとの駆動開始位置に戻す。このとき、主走査で駆動した距離以上に駆動させる必要があるため、時間がかかってしまう。これが、撮像フレームレートが低くなる原因になっている。
そのため、撮像フレームレートを上げるために、往路方向に主走査を終えると、副走査方向にのみ駆動し、次に復路方向に主走査を行うことを、連続的に交互に行う、往復スキャンを行うことができる。図8(a)にその際の眼底上でのスキャン様式を実線の矢印I9にて示す。また、図8(b)に、そのときの駆動指令位置波形P10、現在位置波形P11を示す。往路スキャンで、待ち時間T10に対して、遅延時間T12が長い場合、撮像時間T11の間に撮像範囲R4の範囲が撮像される。また、復路スキャンで、待ち時間T13に対して、遅延時間T15が長い場合、撮像時間T14の間に撮像範囲R5の範囲が撮像される。その結果、図8(c)のように、取得したい眼底画像I10に対して、往路スキャンで撮像される範囲と、復路スキャンで撮像される範囲がずれた画像I11が取得されてしまう。この例の場合、往路スキャンで取得されたライン画像は、左端が同じ画素値が水平方向に並び、右端が途中で切れた、画像が表示される。復路スキャンで取得されたライン画像は、左端が途中で切れて、右端が同じ画素値が水平方向に並んだ、画像が表示される。その結果、往路のみのスキャン時より、位置ずれが目立った眼底画像が取得される。
このような画像の位置ずれは、医師による画像診断の妨げになるだけでなく、誤って病変部と認識してしまい、結果として誤診に繋がる恐れがある。
<実施例1>
本実施例では、被検眼撮像前に、スキャナに対して駆動位置を指令してから、スキャナの現在位置が当該指令位置に到達するまでにかかる時間を遅延撮像時間或いは遅延時間として測定する。そして、被検眼撮像時には、その遅延時間を考慮した、或いは遅延時間に基づいた撮像タイミングで、撮像即ち受光信号の取得を開始する。
まず、遅延時間の測定方法として、
(I)ある所定位置に到達するごとに測定する方法と、
(II)ある一定時間ごとに測定する方法と、
について説明する。
まず、(I)の方法について、図9(a)を用いて説明する。CPU301は、OCTスキャナ制御部311に対して、測定する走査方向と、測定位置を設定し、遅延時間測定用のスキャンを実施するように命令する。ここでは、例として、測定時の走査方向として往路方向、測定位置としてMP1が設定されているとする。すると、OCTスキャナ制御部311は、OCTスキャナドライバX314及びOCTスキャナドライバY315各々に対して、例えば、図9に示す速度V1のスキャンパターンの指令位置となるように、スキャナに対しての指令の発信を開始する。なお、当該指令位置は、スキャナの駆動時において、ドライバによって指令された位置であって、当該スキャナが位置する当該指令に応じた駆動位置を示す。また、同時にOCTスキャナ位置検出部316は、スキャナから受信し続けている現在位置を、逐次的にOCTスキャナ制御部311に対して、送信し続ける。そして、OCTスキャナ制御部311は、現在位置が測定位置MP1に到達したことを検知し、そのときの指令位置MP2をCPU301に送信する。すなわち、CPU301は指令位置MP2と現在位置MP1とを取得する。なお、MP1は例えば主走査方向のスキャン範囲における略中心である。このようにMP1を設定することにより加速領域および減速領域を極力避けて遅延時間を求めることが可能となる。なお、MP1の位置は主走査方向のスキャン範囲における略中心に限定されるものではなく、任意の位置とすることが可能である。なお、本実施例ではMP1の一か所のみで遅延時間を測定しているが、これに限定されるものではなく、複数個所において遅延時間を測定して平均をとることとしもよい。
次に、CPU301は、指令位置MP2と現在位置MP1を用いて、以下の式を用いて、スキャナの駆動遅延時間T16を計算する。
T16=(MP2−MP1)/V1 −(1)
この計算結果をこのスキャンの遅延時間として、主記憶装置303に記憶する。
図9(a)のように、所定の回数分、スキャンを繰り返し、走査ごとの遅延時間を主記憶装置303に記録していく。測定が終わると、それらの平均値を計算し、主記憶装置303に、被検眼撮像に用いる遅延時間としてその計算結果を記憶する。ここでは、現在位置を監視し、現在位置が測定位置MP1に到達したときに、そのときの指令位値MP2をCPU301に送信する例を示したが、指令位置を監視し、測定位置に指令位置が到達したときの現在位置をCPU301に送信するようにしてもよい。
次に、(II)の方法について、図9(b)を用いて、説明する。CPU301は、OCTスキャナ制御部311に対して、測定する時間間隔ΔT1を設定する。
次にCPU301は、(I)の方法と同様に、測定用のスキャンと、現在位置の取得とを行う。そして、時間間隔ΔT1ごとに、OCTスキャナ制御部311は、指令位置と現在位置を、CPU301に送信する。そして、(I)の方法と同様に(1)式を用いて、遅延時間を計算する。このとき、図9(b)の×印に示すような、スキャナが等速駆動していない領域で測定したデータは、有効なデータでないため、破棄し、利用しない。そして、所定の回数、有効な測定データが得られるまで、スキャンを繰り返す。
(I)の方法では、有効なデータしか測定しないため、測定用のスキャン実施時間は一定である。そして、リアルタイムに現在位置が測定位置に到達したかどうか監視する必要がある。一方、(II)の方法では、有効なデータが所定回数取得できるまで、スキャンを繰り返すため、測定用のスキャン実施時間が長くなる可能性がある。しかし、リアルタイムに現在位置が測定位置に到達したかどうか監視する必要はない。
ここで、スキャナから取得される現在位置は、数十usごとに更新される。そのため、マイコン等のソフトウェアで、リアルタイムに現在位置を監視し、処理することが時間的に困難である。そのため、OCTスキャナ制御部311を回路等のハードウェアで実現する場合は、(I)の方法で実現し、OCTスキャナ制御部311をマイコン等のソフトウェアで実現する場合は、(II)の方法で実現するのがよい。
図9では、往路方向のみ測定する例を示しているが、往復走査させて、往路走査での遅延時間と、復路走査での遅延時間を測定し、その平均値をとるようにしてもよい。
また、現在位置の値は、スキャナのエンコーダで保持された信号を、OCTスキャナ位置検知部316で受信したあと、OCTスキャナ制御部311で処理し、取得される。そのため、OCTスキャナ制御部311で取得した現在位置の値は、厳密には現在位置ではなく、エンコーダ取得時間TE前のスキャナの位置を表している。このエンコーダ取得時間TEは60us程度である。そのため、厳密に、指令位置を指令してから、実際にスキャナがその位置に到達するまでの遅延時間TDを求めるには、以下の式を用いて、(1)式で計算した遅延時間から、エンコーダ取得時間TEを差し引く必要がある。なお、例えばエンコーダ取得時間TEはエンコーダの仕様に依存する値であり、予め決まった値として本眼科装置はエンコーダ取得時間TEを保持する。
TD=T16−TE −(2)
被検眼撮像時、遅延時間を考慮した、或いは該遅延時間に基づいた撮像タイミングで、撮像を開始する方法について、図10を用いて説明する。図10の実線は駆動指令位置波形P16で、破線は現在位置波形P17である。OCTスキャナ制御部311は、OCTスキャナドライバX314及びOCTスキャナドライバY315の各々に駆動開始を指令したタイミングに対して、遅延時間T20と同じ時間T18待ったあと、リニアセンサ撮像制御部312に撮像開始を指令する。以上の方法を用いれば、取得画像の位置ずれを少なくできる。
また、一軸のみの遅延時間を測定する例を説明したが、OCT―Xスキャナ113とOCT―Yスキャナ112とは独立したアクチュエータであり、特性には個体差がある。そのため、XとYの二軸のそれぞれのスキャナの遅延時間を測定するのがよい。そのとき、測定時間短縮のために、二軸同時に測定することができる。
XとYのスキャナの二軸に対して遅延時間を測定したときに、撮像時、どちらの遅延時間を用いるかについて、以下で説明する。OCTスキャンでは、眼底面に対して、X方向、もしくは、Y方向のどちらかを主走査方向として、スキャンを行うことが多い。そのため、CPU301は、実施するスキャンパターンが決まったときに、XとYのうち、どちらの方向にて主走査を行うか判断する。そして、主走査を行うスキャナの遅延時間を、被検眼撮像時に用いる遅延時間として設定するのがよい。主走査を行うスキャナの遅延時間を用いることが良いのは主走査方向に光を走査して撮像を行うためである。
また、スキャナの駆動遅延時間の測定するタイミングは、当該眼科撮像装置の起動時、該被検眼を有する患者が変わった時、被検眼の左右眼の切替え時、撮像開始時である受光信号の取得開始時のうち、少なくとも一つのタイミングで実施する。
<実施例2>
実施例1では、被検眼撮像前に、遅延時間を測定するようにしたが、被検眼撮像時に走査するごとに、撮像開始位置を検知し、撮像開始するようにしてもよい。図11を用いて、本実施例について説明する。CPU301は、OCTスキャナ制御部311に対して、撮像開始位置IP1を設定する。撮像時、CPU301は、OCTスキャナ制御部311に対して、スキャンを実施するように命令し、例えば、図11に示すスキャンパターンを実行するための駆動指令の発信を開始する。また、同時にOCTスキャナ位置検出部316は、OCTスキャナ制御部311に対して、現在位置を送信し続ける。そして、OCTスキャナ制御部311は、現在位置が撮像開始位置IP1に到達したことを検知し、リニアセンサ撮像制御部312に対して、撮像命令を出し、撮像を開始する。即ち、本実施例において、CPU301は、光走査手段たるスキャナの走査位置が撮影開始位置IP1に到達したことを検知する撮像開始位置検知手段として機能するモジュール領域を有する。
このときの撮像開始位置IP1には、撮像開始前の位置に対して、駆動が開始したと判断できる位置を設定する。スキャナを停止状態にさせていても、取得される位置は、数μmばらつく。そのため、設定する位置は、駆動開始位置SP1に対して、静止位置で取得される位置変動値ΔE1を考慮した位置にする。例えば所定期間におけるスキャナの位置変動を統計処理することでΔE1が算出される。例えば、スキャナの位置変動の平均値や分散に基づいてΔE1が算出される。
IP1=SP1+ΔE1 −(3)
スキャンを開始し、OCTスキャナ制御部311が、現在位置が撮像開始位置IP1に到達したことを検知して、ラインセンサの撮像を開始する。以上の方法を用いれば、被検眼撮像前に遅延時間を測定しなくても、取得画像の位置ずれを少なくできる。
しかし、前述した通り、OCTスキャナ制御部311で取得した現在位置の値は、厳密には現在位置ではなく、エンコーダ取得時間TE前のスキャナの位置を表している。そのため、撮像したい位置と実際の撮像位置のずれが発生する可能性があり、取得画のずれの低減は、実施例1に対して劣る。起動時や撮像前に、遅延時間の測定をせずに、時間短縮を図りたい場合は、実施例2の方法を用いるのがよい。
<実施例3>
実施例1及び2では、撮像中(即ち受光信号の取得中)にOCT―Xスキャナ113、OCT―Yスキャナ112のうち、どちらか片方の方向のスキャナのみを駆動する実施例を説明した。撮像中にXとYの両方向のスキャナを駆動し、XとY方向に対して、ななめ方向にスキャンする場合もある。例えば、ななめ方向のベクタースキャンや、往復スキャン時に副走査方向にずらす時間を節約するために斜め方向に往復走査を繰り返すスキャンや、角度を変えながら主走査を繰り返し、放射状にスキャンするラジアルスキャンなどがある。ここでは、X、Y方向に対して、ななめ方向にスキャンした場合を考える。この様なスキャン様式について図12(a)において実線の矢印I12にて示す。
このとき、画像信号の取得中である撮像中にOCT―Xスキャナ113及びOCT―Yスキャナ112の両方のスキャナを動かすが、OCT−Yスキャナ112の駆動遅延時間がOCT−Xスキャナ113の駆動遅延時間より長い場合のスキャナの位置波形は、図12(b)のようになる。指令開始後、X方向のスキャナのみが先に駆動し始める。Y方向のスキャナの駆動遅延時間経過後、XとYの両方向のスキャナが駆動する。そして、X方向のスキャナが先に停止し、しばらくY方向のスキャナのみが駆動してから、停止する。よって、XとYの両方向のスキャナの駆動遅延時間が異なる場合、所望の位置とは異なるI13のような軌跡をスキャンしていることになる。このとき、X方向のスキャナの遅延時間を待ち時間として用いると、I14のような軌跡を撮像することになる。また、Y方向のスキャナの遅延時間を待ち時間として用いると、I15のような軌跡の撮像することになる。眼底観察像を見て、撮像したい軌跡を選択し、スキャンするようにしたとしても、一部異なる軌跡を撮像することになる。これは、診断の妨げとなるだけでなく、誤診に繋がる恐れもある。
XとYの両方向のスキャナの駆動遅延時間が異なる場合でも、所望の軌跡の駆動と撮像ができ、取得画像の位置ずれを少なくできる方法について、図12(b)、(c)を用いて説明する。まず、実施例1の(I)と(II)の遅延時間測定方法により、CPU301は、被検眼撮像前に、XとYそれぞれの方向のスキャナの駆動遅延時間T22とT23を測定する。次に、XとYのスキャナの遅延時間の大小比較と、差を計算する。そして、本実施例では遅延時間が短いほうのスキャナをX方向用であると判別し、遅延時間の差をX方向用のスキャナの駆動待ち時間T24として主記憶装置303に記憶する。また、Y方向用のスキャナの駆動時の遅延時間T23を撮像開始待ち時間T25として主記憶装置303に記憶する。
次に、図12(b)に示すようにYのスキャナの駆動遅延時間がXのスキャナの駆動遅延時間より長い場合の駆動開始タイミングと撮像開始タイミングの制御例について図12(c)を用いて説明する。まず、Y方向用のスキャナに対して駆動指令の発信を開始する。そして、X方向のスキャナの駆動待ち時間T24経過後、X方向のスキャナの駆動を開始する。すると、X方向用とY方向用の両スキャナが実際に駆動し始めるタイミングが一緒になり、所望の軌跡を駆動できるようになる。また、Y方向用のスキャナの駆動を開始してから、撮像開始待ち時間T25経過後、撮像を開始する。
以上の方法により、XとYの両方向用のスキャナの駆動遅延時間が異なっていたとしても、所望の軌跡の駆動と撮像ができ、取得画像の位置ずれを少なくできる。
他に、工場出荷時と、撮像前に測定したスキャナの遅延時間が、環境や温度による影響以上に大きく変化した場合は、スキャナの異常が考えられる。
そして、遅延時間が大きく異なっていた場合、スキャナのリニアリティ等の他の動作特性の異常も発生している可能性があるため、ユーザーに異常を知らせることが必要である。しかし、本件の方法を適用すると、遅延時間が大きく変化しても、取得画像の画素ずれを少なくできるため、取得画像から異常を検知することが困難である。また、スキャナの他の動作特性の異常も、取得画像からは、スキャナの異常なのか、被検眼の病部なのか、判別することが困難である。
そのために、撮像前に測定したスキャナの遅延時間が、所定の範囲に対して、大きく変化していた場合即ち所定の範囲外の場合には、CPU301はスキャナのエラーを検知することとすれば良い。この場合、CPU301は表示機302にエラーメッセージを表示させ、ユーザーにスキャナの異常を知らせるようにする。例えば、上記の所定の範囲は、個体差を考慮した出荷時の遅延時間規格値に対して、マージンをもった範囲にする。マージンとしては、環境試験で得られた変化量をもとに決めるのがよい。このような構成において、CPU301及び表示機302は、エラーを通知するエラー通知手段に対応する。
(その他の実施例)
上記実施例においては主にOCTに係るスキャナの遅延時間の測定について述べたが、本発明はこれに限定されるものではない。例えば、SLOに係るスキャナに対して本発明を適用することとしてもよい。
なお、本発明は眼底のみならず前眼に対しても適用可能である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
P16 スキャナの駆動指令位置波形
P17 スキャナの現在位置波形
T18 センサによる撮像開始までの待ち時間
T19 センサによる撮像時間
T20 スキャナに対して駆動指令してから実際に駆動するまでの遅延時間
R6 撮像範囲

Claims (7)

  1. 測定光を被検眼上において走査する光走査手段と、
    前記被検眼から反射された光を受光する受光手段から受光信号を取得する取得手段と、
    前記光走査手段の駆動位置を指令する指令手段と、
    前記光走査手段の現在位置を検出する位置検出手段と、
    前記指令手段が指令してから前記現在位置が前記指令された駆動位置となるまでの駆動遅延時間を測定する測定手段と、を有し、
    前記取得手段は前記駆動遅延時間に基づくタイミングで前記受光信号の取得を開始することを特徴とする眼科装置。
  2. 前記光走査手段は、前記測定光を前記被検眼上において走査する第一の光走査手段と、前記第一の光走査手段とは異なる方向に前記測定光を走査する第二の光走査手段とを有し、
    前記受光信号の取得中に前記第一の光走査手段と前記第二の光走査手段とのうちいずれか一方のみを走査する場合、前記受光信号の取得の開始のタイミングが基づく前記駆動遅延時間は、前記第一の光走査手段の駆動遅延時間と前記第二の光走査手段の駆動遅延時間のうち、前記受光信号の取得中に走査する光走査手段の駆動遅延時間であることを特徴とする請求項1に記載の眼科装置。
  3. 前記光走査手段は、前記測定光を前記被検眼上において走査する第一の光走査手段と、前記第一の光走査手段とは異なる方向に前記測定光を走査する第二の光走査手段とを有し、
    前記受光信号の取得中に前記第一の光走査手段と前記第二の光走査手段との両方を駆動する場合、前記指令手段は、前記第一の光走査手段と前記第二の光走査手段のうち、前記駆動遅延時間が短い光走査手段への指令開始タイミングを、前記駆動遅延時間が長い光走査手段への指令開始タイミングに対して遅らせて、
    前記受光信号の取得の開始のタイミングが基づく前記駆動遅延時間は、前記第一の光走査手段と前記第二の光走査手段のうち、前記駆動遅延時間が長い光走査手段の駆動遅延時間であることを特徴とする請求項1に記載の眼科装置。
  4. 前記測定手段は、前記眼科装置の起動時、前記被検眼の患者が変わった時、前記被検眼の左右眼の切替え時、又は、前記受光信号の取得開始時の少なくともいずれかの時に、前記駆動遅延時間を測定することを特徴とする、請求項1乃至3の何れか一項に記載の眼科装置。
  5. 前記駆動遅延時間が所定の範囲外であれば、エラーを通知するエラー通知手段を更に有することを特徴とする、請求項1乃至4の何れか一項に記載の眼科装置。
  6. 測定光を被検眼上において走査する光走査手段と、
    前記被検眼から反射された光を受光する受光手段から受光信号を取得する取得手段と、
    前記光走査手段の駆動位置を指令する指令手段と、
    前記光走査手段の現在位置を検出する位置検出手段と、を有する眼科装置において、
    前記指令手段が指令してから前記現在位置が前記指令された駆動位置となるまでの駆動遅延時間を測定する工程と、
    前記測定された駆動遅延時間に基づくタイミングで前記取得手段が前記受光信号の取得を開始する工程と、を有することを特徴とする眼科装置の制御方法。
  7. 請求項に記載の制御方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2014084373A 2014-04-16 2014-04-16 眼科装置及び制御方法 Active JP6438211B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014084373A JP6438211B2 (ja) 2014-04-16 2014-04-16 眼科装置及び制御方法
US14/681,461 US9918632B2 (en) 2014-04-16 2015-04-08 Ophthalmologic apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014084373A JP6438211B2 (ja) 2014-04-16 2014-04-16 眼科装置及び制御方法

Publications (3)

Publication Number Publication Date
JP2015202305A JP2015202305A (ja) 2015-11-16
JP2015202305A5 JP2015202305A5 (ja) 2017-05-25
JP6438211B2 true JP6438211B2 (ja) 2018-12-12

Family

ID=54320913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014084373A Active JP6438211B2 (ja) 2014-04-16 2014-04-16 眼科装置及び制御方法

Country Status (2)

Country Link
US (1) US9918632B2 (ja)
JP (1) JP6438211B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6225430B2 (ja) * 2013-02-09 2017-11-08 株式会社ニデック 眼鏡レンズ周縁加工システム、および眼鏡レンズ周縁加工プログラム
US10709329B2 (en) 2015-07-30 2020-07-14 Canon Kabushiki Kaisha Image pickup apparatus and method of controlling image pickup apparatus
JP2017158836A (ja) 2016-03-10 2017-09-14 キヤノン株式会社 眼科装置および撮像方法
JP6736460B2 (ja) 2016-12-13 2020-08-05 キヤノン株式会社 眼科装置、眼科撮影方法、及びプログラム
US10653310B2 (en) 2017-02-28 2020-05-19 Canon Kabushiki Kaisha Imaging apparatus, control method for an imaging apparatus, and program

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3369623B2 (ja) * 1993-03-16 2003-01-20 興和株式会社 レーザー走査型眼科撮像装置
JP3507204B2 (ja) 1995-06-29 2004-03-15 キヤノン株式会社 眼科装置
JP4337346B2 (ja) * 2003-01-07 2009-09-30 株式会社ニコン レーザ走査顕微鏡
JP5590831B2 (ja) 2009-07-13 2014-09-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP2012042348A (ja) 2010-08-19 2012-03-01 Canon Inc 断層画像表示装置およびその制御方法
JP5676981B2 (ja) 2010-08-31 2015-02-25 キヤノン株式会社 眼科装置、制御装置及び制御方法
JP5787063B2 (ja) * 2011-03-31 2015-09-30 株式会社ニデック 眼科撮影装置
JP5297541B2 (ja) 2012-01-26 2013-09-25 キヤノン株式会社 眼科装置、眼科装置の制御方法、およびプログラム
JP5210442B1 (ja) 2012-01-26 2013-06-12 キヤノン株式会社 光断層撮像装置および制御方法
JP5319799B2 (ja) 2012-01-26 2013-10-16 キヤノン株式会社 眼科装置、その制御方法およびプログラム
JP5210443B1 (ja) 2012-01-26 2013-06-12 キヤノン株式会社 光断層撮像装置および制御方法
JP2014171722A (ja) 2013-03-11 2014-09-22 Canon Inc 非接触式眼科装置及びその制御方法
JP6224909B2 (ja) 2013-04-17 2017-11-01 キヤノン株式会社 非接触式眼圧計、その制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2015202305A (ja) 2015-11-16
US20150297077A1 (en) 2015-10-22
US9918632B2 (en) 2018-03-20

Similar Documents

Publication Publication Date Title
US10342423B2 (en) Retinal movement tracking in optical coherence tomography
JP5213835B2 (ja) 光干渉断層像の撮像方法および光干渉断層像の撮像装置
US10628004B2 (en) Interactive control apparatus
JP6057567B2 (ja) 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム
EP2465413B1 (en) Ophthalmologic apparatus and control method therefor
US8919959B2 (en) Photographing apparatus and image processing method
JP6438211B2 (ja) 眼科装置及び制御方法
US8820933B2 (en) Imaging apparatus and imaging method
JP5415812B2 (ja) 光画像計測装置及びその制御方法
JP2014147503A (ja) 光干渉断層撮像装置およびその制御方法
JP5864910B2 (ja) 画像取得装置及び制御方法
JP2011156035A (ja) 光画像撮像装置及びその制御方法、そのプログラム、記憶媒体
JP2014147502A (ja) 光干渉断層撮像装置およびその制御方法
JP5506504B2 (ja) 撮像装置及び撮像方法
JP2019080793A (ja) 断層画像撮影装置、画像処理装置、断層画像撮影装置の制御方法およびプログラム
JP6507536B2 (ja) 眼科撮影装置、および眼科撮影プログラム
JP7367433B2 (ja) 眼科撮影装置
JP5649679B2 (ja) 光干渉断層撮像装置、光干渉断層撮像装置の制御方法、およびプログラム
JP2017080496A (ja) インタラクティブ制御装置
JP2024007132A (ja) 眼科撮影装置および眼科撮影制御プログラム
JP2021087762A (ja) 光干渉断層撮像装置、光干渉断層撮像装置の制御方法、およびプログラム
JP2019054982A (ja) 検査装置、該検査装置の制御方法、及びプログラム
JP2016123801A (ja) 眼科装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170404

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181116

R151 Written notification of patent or utility model registration

Ref document number: 6438211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151