JP2017006424A - 画像生成装置及び画像生成方法 - Google Patents

Abstract

【課題】特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することができるようにする。【解決手段】パラメータ演算処理部１４１は、補償光学ＳＬＯ装置２００内のスキャナが被検眼の所定領域を１往復走査する間に出力された当該スキャナの基準信号を抽出し、当該基準信号をサンプリング基準位置として、補償光学ＳＬＯ装置２００内の光電変換手段で得られた電気信号に基づき往復走査のサンプリングデータ配列を生成し、当該往復走査のサンプリングデータ配列のうちの往路走査と復路走査とにおけるサンプリングデータ配列を比較してこれらの相関を評価し、当該評価の結果に基づいてサンプリング基準位置を補正する。そして、画像構成部１４２は、パラメータ演算処理部１４１で補正されたサンプリング基準位置に基づいて、往復走査のサンプリングデータ配列に基づく画像データを構成する。【選択図】図１

Description

本発明は、被検眼の所定領域の画像を生成する画像生成装置及び画像生成方法、当該画像生成装置の各手段としてコンピュータを機能させるためのプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関する。

生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、被検眼の眼底部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置として、走査型レーザー検眼鏡（ＳＬＯ：Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）がある。このＳＬＯ装置は、測定光であるレーザーを被検眼の眼底部に対してラスタースキャンを行い、その戻り光の強度から平面画像である眼底画像を高分解能かつ高速に得る装置である。

近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼において発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ（ＡＯ−ＳＬＯ：Ａｄａｐｔｉｖｅ Ｏｐｔｉｃｓ ＳＬＯ）装置が開発されている。この補償光学ＳＬＯ装置では、高横分解能な平面画像（以下、「ＡＯ−ＳＬＯ画像」という場合がある）の取得を可能にしている。

眼底画像を得る装置は、共振スキャナやガルバノスキャナを用いて測定光を２次元走査している。また、例えば、そのスキャナの制御回路は、光検出器による検出信号を画像表示するためにスキャナの走査に同期して画像生成用の同期信号を発生させるようにしている。そして、このスキャナの走査位置を示す同期信号と光検出による電気的サンプリング位置を合わせることで、眼底画像を形成している。

しかしながら、スキャナの駆動信号と画像生成用の同期信号を同じタイミングで出力すると、実際には共振スキャナの周波数や電気回路系の時間遅れ等があるので、同期信号から得られる光学的走査位置と電気的サンプリング位置とが必ずしも一致しないことがある。さらに、補償光学ＳＬＯ装置は高分解能であるため、そのスキャナ位置の誤差の影響を強く受け、同期信号に基づいてサンプリングされた画像間に位置ずれが目立ってしまい、画像の歪み等の画質劣化が発生する可能性がある。

このような課題を解決するために、特許文献１では、専用のハードウェア構成を用いてスキャナがスキャンしている正確な位置を取得し、または制御する手法を開示している。また、特許文献２では、スキャナの信号に応じたサンプリングクロックを発信することで画像のピクセルに対応する位置のシグナルのみを取得するように制御する手法を開示するが、この手法でもスキャナ位置を正確に検出するためのハードウェア構成が必要である。その他、特許文献３では、撮影前に画像補正用のチャート画像を撮影し、撮影画像から画像の歪みを予め取得して、画像処理によって歪み補正を行うという手法を開示している。

特開２０００−３９５６０号公報 特開２０１２−２５５９７８号公報 特開２０１４−６８７０３号公報

ＡＯ−ＳＬＯ画像を、高精細、かつ、広画角、高フレームレートにすればするほど、光学的走査位置と電気的サンプリング位置とのずれが非常に小さくても、画像間の位置ずれが目立ってしまう。このような場合、上述した特許文献１及び特許文献２のように、スキャナ位置を検出するハードウェア構成を用いても、非常に小さい光学的走査位置と電気的サンプリング位置とのずれを正確かつ高い応答性で検出することは非常に困難である。また、上述した特許文献１及び特許文献２のように、特別なハードウェア構成を追加する手法では、装置を作製する際のコストが高くなる可能性がある。さらに、上述した特許文献１及び特許文献２のように、特別なハードウェア構成を追加する手法では、装置の大きさに影響を与えたり、設計に制限を生じたり、部品点数の増加により組み立て時の工数にも影響したりする。

また、上述した光学的走査位置と電気的サンプリング位置とのずれは、装置本体内の温度や電源の不安定性等の影響も受けるため、撮影ごとにずれ方が変化する可能性がある。そのため、上述した特許文献３のように、撮影前に画像補正用のチャート画像を撮影することで、画像歪みを予め取得して画像処理によって歪み補正をしたとしても、再度撮影画像内に歪みが生じてしまい、画質劣化が発生してしまう。特に、眼科装置の場合、同一の共振スキャナからの測定光によって画像補正用のチャート画像と眼底画像とを同時に撮影することは装置の構成上難しいため、上述した特許文献３の手法では画像内の歪みをすべて補正することは困難である。

即ち、従来の技術では、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが困難であった。

本発明は、このような問題点に鑑みてなされたものであり、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能な仕組みを提供することを目的とする。

本発明の画像生成装置は、スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む眼科装置と通信可能に接続された画像生成装置であって、前記スキャナが１往復走査する間の前記スキャナの基準信号を抽出する抽出手段と、前記基準信号をサンプリング基準位置として、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成手段と、前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する評価手段と、前記評価手段による評価の結果に基づいて、前記サンプリング基準位置を補正する基準位置補正手段と、前記基準位置補正手段により補正されたサンプリング基準位置に基づいて、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成手段とを有する。
また、本発明は、上述した画像生成装置による画像生成方法、上述した画像生成装置の各手段としてコンピュータを機能させるためのプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体を含む。

本発明によれば、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能となる。

本発明の実施形態に係る画像生成装置を含む画像生成システムの概略構成の一例を示すブロック図である。 図１に示す補償光学ＳＬＯ装置の概略構成の一例を示すブロック図である。 本発明の実施形態に係る画像生成装置による画像生成方法における処理手順の一例を示すフローチャートである。 図３のステップＳ３３０におけるスキャナ位置推定処理の詳細な処理手順の一例を示すフローチャートである。 本発明の実施形態を示し、ガルバノスキャナのトリガ信号のタイムチャート、共振スキャナのトリガ信号のタイムチャート、及び、反射信号のタイムチャートを示す図である。 図４のステップＳ４５０における逆ＦＦＴ処理で得られた逆ＦＦＴデータ配列の一例を示すグラフ図である。 図３のステップＳ３４０における画像構成処理の際に行われるｓｉｎｅ補正を説明するための図である。 本発明の実施形態を示し、被検眼の眼底部における視細胞の撮影画像の一例を示す図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

本発明の実施形態では、補償光学ＳＬＯ装置により被検眼の所定領域として網膜（眼底部）を撮影した画像を取得する際に、共振スキャナとガルバノスキャナとの組み合わせによって取得したシグナル値に基づき画像を構成する場合について説明する。

具体的に、本実施形態に係る画像生成装置では、画像横方向の１枚分に相当するガルバノスキャナのトリガ信号群と、画像縦方向の往復２列分に相当する共振スキャナのトリガ信号群を取得する。そして、本実施形態に係る画像生成装置では、このトリガ信号の発信のタイミングから推定されるスキャナ位置をサンプリング基準位置として用いて、往復走査のサンプリングデータ配列を生成する。そして、本実施形態に係る画像生成装置では、各往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのずれ量が最も小さくなるサンプリング基準位置をそれぞれ算出する。そして、本実施形態に係る画像生成装置では、共振スキャナの周波数のばらつきや電気回路系の時間遅れによるサンプリング基準位置のずれを補正する。そして、本実施形態に係る画像生成装置では、補正したサンプリング基準位置に基づき共振スキャナのトリガ信号における発信時の実際のスキャナ位置を求めて、往復走査のサンプリングデータ配列に基づく画像データを生成する。これにより、本実施形態では、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナ（本例では共振スキャナ）の特性による画像歪みが補正された網膜の画像（眼底画像）を取得することが可能となる。

（画像生成装置の概略構成）
図１は、本発明の実施形態に係る画像生成装置１００を含む画像生成システム１０の概略構成の一例を示すブロック図である。
画像生成システム１０は、図１に示すように、画像生成装置１００、補償光学ＳＬＯ装置２００、及び、外部装置３００を有して構成されている。

画像生成装置１００は、スキャナにより被検眼の所定領域である網膜（眼底部）を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む補償光学ＳＬＯ装置２００（眼科装置）と通信可能に接続された装置である。この画像生成装置１００は、図１に示すように、信号情報取得部１１０、制御部１２０、記憶部１３０、画像生成部１４０、及び、出力部１５０を有して構成されている。

信号情報取得部１１０は、補償光学ＳＬＯ装置２００から、共振スキャナ及びガルバノスキャナのそれぞれのトリガ信号と、被検眼の網膜からの反射信号等の信号情報を取得する。ここで、トリガ信号とは、共振スキャナ及びガルバノスキャナが特定の位置（基準位置）にあることを示す基準信号である。信号情報取得部１１０で取得された信号情報は、制御部１２０を通じて記憶部１３０に記憶される。

制御部１２０は、画像生成装置１００の動作を統括的に制御する。

記憶部１３０は、信号情報取得部１１０で取得された信号情報や、画像生成装置１００の処理に必要な各種の情報、及び、画像生成装置１００の処理で得られた各種の情報（各種の画像データを含む）等を記憶する。

画像生成部１４０は、各種の画像データの生成を行うものであり、図１に示すように、パラメータ演算処理部１４１、及び、画像構成部１４２を含み構成されている。

パラメータ演算処理部１４１は、信号情報取得部１１０で取得した信号情報に基づいてガルバノスキャナ及び共振スキャナのトリガ信号（基準信号）を抽出する。具体的に、本実施形態においては、上述のスキャナが１往復走査する間に出力された当該スキャナの基準信号を抽出する。この基準信号の抽出を行うパラメータ演算処理部１４１は、抽出手段を構成する。次いで、パラメータ演算処理部１４１は、抽出したトリガ信号（基準信号）をサンプリング基準位置として、反射信号（補償光学ＳＬＯ装置２００の光電変換手段で得られた電気信号）に基づき往復走査におけるサンプリングデータ配列を生成する。このサンプリングデータ配列を生成するパラメータ演算処理部１４１は、データ配列生成手段を構成する。次いで、パラメータ演算処理部１４１は、生成した往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。この相関を評価するパラメータ演算処理部１４１は、評価手段を構成する。次いで、パラメータ演算処理部１４１は、上述した評価の結果に基づいて、上述したサンプリング基準位置を補正する。このサンプリング基準位置を補正するパラメータ演算処理部１４１は、基準位置補正手段を構成する。

画像構成部１４２は、パラメータ演算処理部１４１により補正されたサンプリング基準位置に基づいて、上述した往復走査のサンプリングデータ配列に基づく被検眼の網膜における画像データを構成する。

出力部１５０は、画像生成部１４０で生成された画像データや、記憶部１３０に記憶されている各種の情報等を、外部装置３００に出力する。

補償光学ＳＬＯ装置２００は、上述のスキャナにより被検眼の所定領域である網膜（眼底部）を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む眼科装置である。また、補償光学ＳＬＯ装置２００は、被検眼において発生する測定光またはその戻り光の収差を補正するための補償光学系を更に含み構成されている。

外部装置３００は、画像生成装置１００と通信可能に接続された装置であり、例えば、表示装置等の出力装置である。

（補償光学ＳＬＯ装置の概略構成）
次に、図１に示す補償光学ＳＬＯ装置２００の概略構成について説明する。
図２は、図１に示す補償光学ＳＬＯ装置２００の概略構成の一例を示すブロック図である。なお、この図２には、図１に示す補償光学ＳＬＯ装置２００の概略構成に加えて、図１に示す画像生成装置１００及び外部装置３００も図示している。

補償光学ＳＬＯ装置２００は、図２に示すように、ＳＬＤ（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）２０１、ビームスプリッタ２０２及び２０３、補償光学系２０４、Ｘ−Ｙ走査ミラー２０５、シャックハルトマン波面センサ２０６、フォーカスレンズ２０９、絞り２１０、及び、光センサ２１１を有して構成されている。

光源であるＳＬＤ２０１から照射された光は被検眼Ｅの眼底部Ｅｒで反射され、その一部がビームスプリッタ２０３を経由してシャックハルトマン波面センサ２０６へ導かれ、それ以外はビームスプリッタ２０２を経由して光センサ２１１へ導かれる。

シャックハルトマン波面センサ２０６は、被検眼Ｅの収差を測定するためのデバイスであり、レンズアレイ２０７にＣＣＤ２０８が接続されて構成されている。このシャックハルトマン波面センサ２０６において、入射光がレンズアレイ２０７を透過すると、ＣＣＤ２０８に輝点群が投影され、当該投影された輝点の位置ずれに基づき波面収差が測定される。

補償光学系２０４は、シャックハルトマン波面センサ２０６で測定された波面収差に基づき、収差補正デバイス（可変形状ミラーもしくは空間光位相変調器）を駆動して収差を補正する。当該収差補正された光は、ビームスプリッタ２０３及び２０２、フォーカスレンズ２０９及び絞り２１０を経由して、光電変換手段である光センサ２１１に導かれ、光センサ２１１において電気信号に変換される。

Ｘ−Ｙ走査ミラー２０５を動かすことにより、被検眼Ｅの眼底部Ｅｒ上の走査位置を制御することができ、検者が予め指定した撮影対象領域、時間（フレーム数／フレームレート）の情報を取得することができる。このＸ−Ｙ走査ミラー２０５は、主走査であるＸ方向には共振スキャナが設けられ、副走査であるＹ方向にはガルバノスキャナが設けられている。Ｘ−Ｙ走査ミラー２０５に係る信号情報は、画像生成装置１００へ送信され、画像生成装置１００において画像データ（動画像データもしくは静止画像データ）を生成する際に用いられる。本実施形態では、フレームレートの高速化のために、主走査である共振スキャナの往路走査及び復路走査の双方で信号情報を取得するものとするが、これに限定されない。

被検眼Ｅの眼底部Ｅｒ上の特定の深さ位置にフォーカスを合わせるためには、補償光学系２０４内の収差補正デバイスを用いた調整か、或いは、光学系内に不図示のフォーカス調整用レンズを設置し、当該フォーカス調整用レンズを移動することによる調整か、の少なくともいずれかを用いることができる。

また、被検眼Ｅの固視微動と呼ばれる不随意的な眼球運動や固視不良による眼球運動或いは顔の動きに伴う被検眼Ｅの動きの影響を軽減するために、被検眼Ｅの動きを追尾（トラッキング）する場合がある。この際、眼底部Ｅｒの動きの計測は、例えば、画像生成装置１００において、生成した眼底画像を用いて、特徴を持った小領域の画像であるテンプレート画像を抽出し、テンプレート画像と最も似た部位を探すパターンマッチングによって行う方法等がある。この場合、例えば、画像生成装置１００の制御部１２０は、被検眼Ｅの動きを追尾して撮像位置を補正する制御を行う。この撮像位置を補正する制御を行う制御部１２０は、補正制御手段を構成する。そして、補償光学ＳＬＯ装置２００は、画像生成装置１００の制御部１２０による当該補正制御に基づいて、被検眼Ｅの動きを追尾した撮像位置の補正を行う。具体的に、例えば、補償光学ＳＬＯ装置２００の光学系内に不図示のスキャナを設置して、照射光の位置を当該スキャナによって計測した眼底部Ｅｒの動きに追従させる。

（画像生成装置の処理手順）
次に、本発明の実施形態に係る画像生成装置１００による画像生成方法における処理手順について説明する。
図３は、本発明の実施形態に係る画像生成装置１００による画像生成方法における処理手順の一例を示すフローチャートである。

＜ステップＳ３１０＞
まず、ステップＳ３１０において、信号情報取得部１１０は、補償光学ＳＬＯ装置２００で取得された少なくとも画像１枚分の信号情報を取得する。ここで取得される信号情報は、被検眼Ｅの網膜の撮影に用いられるガルバノスキャナのトリガ信号、共振スキャナのトリガ信号、及び、撮影によって取得された被検眼Ｅの網膜からの反射信号の３種類である。そして、ステップＳ３１０で取得された信号情報は、制御部１２０を通じて記憶部１３０に記憶されて保存される。また、この際、取得された信号情報に付随するハードウェアの制御情報を取得し、制御部１２０を通じて記憶部１３０に記憶する。ここで、制御情報とは、被検眼Ｅの網膜の反射信号を取得する際にサンプリング周波数やガルバノスキャナの周波数に相当するフレームレート等の情報である。これらの制御情報は、信号情報に付加している撮影情報ファイルに記載されている場合もあれば、信号情報のタグ情報として含まれている場合もある。

＜ステップＳ３２０＞
続いて、ステップＳ３２０において、パラメータ演算処理部１４１は、記憶部１３０に保存されている信号情報から、ガルバノスキャナ及び共振スキャナのトリガ信号（基準信号）を抽出して、トリガ位置を取得する。ここで、トリガ位置とは、反射信号をサンプリングしてピクセル値を得るための基準となる位置（サンプリング基準位置）である。そして、パラメータ演算処理部１４１は、取得したトリガ位置情報を、制御部１２０を通じて記憶部１３０に保存する。

図５は、本発明の実施形態を示し、ガルバノスキャナのトリガ信号のタイムチャート、共振スキャナのトリガ信号のタイムチャート、及び、反射信号のタイムチャートを示す図である。具体的に、図５（ａ）にガルバノスキャナのトリガ信号のタイムチャートを示し、図５（ｂ）に共振スキャナのトリガ信号のタイムチャートを示し、図５（ｃ）に反射信号のタイムチャートを示す。

ガルバノスキャナのトリガ信号及び共振スキャナのトリガ信号は、それぞれ、図５（ａ）及び図５（ｂ）に示すような信号であるため、パラメータ演算処理部１４１は、トリガ信号の抽出を閾値処理によって行う。具体的には、パラメータ演算処理部１４１は、信号強度の変化が或る閾値以上となる場合に、トリガ信号として検出し抽出する。

ガルバノスキャナは、画像の水平方向にレーザビームを走査していて、１つのトリガ信号が検出される間に、水平方向の走査が１回行われ、この間に画像１枚が撮影される。共振スキャナは、１つのトリガ信号が検出される間に、画像の垂直方向２ライン分の走査（往路走査と復路走査）が行われ、この間に画像１枚分の中の画像縦方向の往復２列分が撮影される。そこで、パラメータ演算処理部１４１は、トリガ信号検出開始のタイミングを、トリガ位置、つまりサンプリング基準位置として抽出する。

また図５（ｃ）に示す反射信号は、被検眼Ｅの眼底部Ｅｒからの反射光の強度を、図２に示す光センサ２１１で検出した値である。図５（ｂ）に示すように、共振スキャナのトリガ信号が検出されている間のみサンプリングして、この間の信号情報を画像生成に用いる。

本実施形態においては、共振スキャナが走査されているときに連続的にサンプリングされていてもよく、また、これに限定されるものではない。また、トリガ位置の取得方法としては様々な方法が考えられ、ここで用いた方法に限定されるものではない。

＜ステップＳ３３０＞
続いて、ステップＳ３３０において、パラメータ演算処理部１４１は、ステップＳ３２０で取得されたトリガ位置に基づいて、反射信号に基づき往復走査におけるサンプリングデータ配列を生成する。そして、パラメータ演算処理部１４１は、生成したサンプリングデータ配列を用いてトリガ信号発信時のスキャナ位置を推定する処理を行う。そして、パラメータ演算処理部１４１は、こうして得られたスキャナ位置情報を、制御部１２０を通じて記憶部１３０に記憶して保存する。以下に、図４を用いて、図３のステップＳ３３０におけるスキャナ位置推定処理の詳細な処理手順について説明を行う。

図４は、図３のステップＳ３３０におけるスキャナ位置推定処理の詳細な処理手順の一例を示すフローチャートである。ここで、以下の説明では、スキャナ位置推定処理は、連続的に撮影された複数枚画像の１枚１枚における共振スキャナの１往復走査ごとに行われ、それを１枚の画像の中の往復走査分を繰り返し、複数枚画像に対しても同様に行う。

本実施形態におけるスキャナ位置推定処理では、往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。この際、本実施形態では、例えば、Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ法という画素の空間周波数領域を用いたパターンマッチングにより、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。具体的な評価としては、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列との間の相関が最も高い位置を計算する処理を行う。なお、上述した例では、Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ法を用いて評価を行う態様を示したが、本実施形態はこの態様に限定されず、例えば、位相空間のみを用いたＰｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ法を用いて評価を行う態様も適用できる。

≪ステップＳ４１０≫
まず、ステップＳ４１０において、パラメータ演算処理部１４１は、ステップＳ３１０で取得された制御情報に基づいて、トリガ信号の発信時の共振スキャナの位置を、サンプリング基準開始位置の初期位置ｘ₀として設定する。ここで、初期位置ｘ₀の設定方法にはいくつかの方法があり、例えば、本実施形態においては、トリガ位置よりトリガーディレイ分を考慮した位置といった形で設定される。また、この他にも、連続して数枚の画像を撮影する場合、その撮影画像より前に撮影した画像の各往復走査ごとの平均的なスキャナ推定位置を初期位置として設定することで、推定位置の探索範囲を狭めるといった方法等も用いることができる。

≪ステップＳ４２０≫
続いて、ステップＳ４２０において、パラメータ演算処理部１４１は、ステップＳ４１０で設定したサンプリング基準開始位置の初期位置ｘ₀に基づいて、共振スキャナの１往復走査分の１次元サンプリングデータ配列の２ライン分を生成する。

≪ステップＳ４３０≫
続いて、ステップＳ４３０において、パラメータ演算処理部１４１は、ステップＳ４２０で生成した各往復２ラインごとのサンプリングデータ配列に対して、それぞれ、１次元フーリエ変換を行うことで、１次元の空間周波数領域データ配列を算出して生成する。ここで、空間周波数領域データ配列の算出方法としては、例えば、離散フーリエ変換を用いて算出する方法が適用できるが、より好適には、演算の高速化のために高速フーリエ変換（以下、「ＦＦＴ」と称する）を用いて算出する方法がある。以下の説明においては、空間周波数領域データ配列の算出方法として、ＦＦＴを用いて算出する方法を適用し、一般的な窓関数であるハン窓を使用する。

また、ＦＦＴを行う領域としては、何らかの構造物等の輝度勾配のある領域が含まれていることが好適であるため、できる限り広い領域で、かつ、スキャン中心の共振スキャナの速度が速い領域を含めるものとする。即ち、スキャン中心の共振スキャナの速度が速い領域を含めることは、共振スキャナの走査による画像歪みの影響が他の範囲よりも小さい範囲の往復走査のサンプリングデータ配列を用いて、上述した評価を行うことに相当する。

但し、更なる計算の高速化のために、サンプリングデータ配列から輝度勾配の大きな領域を含むより狭い領域のみを用いることや、固定小数点によるＦＦＴやビットシフト等により演算量の削減を行うことも可能である。このように、空間周波数領域の算出に関しては上述した方法に限定されるものではない。また、本実施形態においては、隣接する、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列のうち、少なくとも輝度勾配の変化の大きい範囲について、上述した評価を行う態様も適用可能である。

≪ステップＳ４４０≫
続いて、ステップＳ４４０において、パラメータ演算処理部１４１は、ステップＳ４３０で生成された往路走査によるサンプリングデータ配列の空間周波数領域データ配列Ａと復路走査によるサンプリングデータ配列の空間周波数領域データ配列Ｂとを合成する。ここでの合成方法としては、Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ法での演算に用いる一般的な方法を用いて、Ａに対してＢの共役を掛け算することで得られる。

≪ステップＳ４５０≫
続いて、ステップＳ４５０において、パラメータ演算処理部１４１は、ステップＳ４４０で得られた往復走査のサンプリングデータ配列の空間周波数領域データ配列の合成画像に対して逆フーリエ変換を行う。ここでも、逆フーリエ変換は、逆ＦＦＴを用いる。

≪ステップＳ４６０≫
続いて、ステップＳ４６０において、パラメータ演算処理部１４１は、ステップＳ４５０で得られた逆ＦＦＴデータ配列のうち、最大値を持つデータポイントの位置を探索する。

図６は、図４のステップＳ４５０における逆ＦＦＴ処理で得られた逆ＦＦＴデータ配列の一例を示すグラフ図である。この図６のグラフにおいて、縦軸はＣｏｒｒｅｌａｔｉｏｎ Ｐｅａｋ（Ｃｏｒｒｅｌａｔｉｏｎピーク）の大きさ、横軸は往復走査のサンプリング配列の走査方向のＯｆｆｓｅｔ値である。図６のグラフを見ると、Ｏｆｆｓｅｔ値が０の時が最大値を示している。ここで、最大値を持つデータポイントの探索方法としては、共振スキャナの周波数や電気回路の遅れ等の物理的に起こりうるズレの範囲内のみを探索する等してもよく、その方法は限定されない。

本実施形態では、上述した評価を行う際に、Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ法を用いるため、この場合、例えば、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値の探索を行う態様を採ることができる。また、上述した評価を行う際に、Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ法を用いる形態の場合も、例えば、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値の探索を行う態様を採ることができる。

≪ステップＳ４７０≫
続いて、ステップＳ４７０において、パラメータ演算処理部１４１は、ステップＳ４６０で得られたデータポイントの位置近傍のデータを用いてフィッティングを行い、逆ＦＦＴデータにおける最大ピーク値とその時のＯｆｆｓｅｔ値を計算する。

本実施形態では、上述した評価を行う際に、Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ法を用いるため、この場合、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値近傍での任意のフィッティングにより、Ｃｏｒｒｅｌａｔｉｏｎピークの位置を決定する態様を採ることができる。また、上述した評価を行う際に、Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ法を用いる形態の場合も、例えば、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値近傍での任意のフィッティングにより、Ｃｏｒｒｅｌａｔｉｏｎピークの位置を決定する態様を採ることができる。

このようにフィッティングを行うことで、サブサンプリング単位で基準位置を求めることができる。このフィッティングには、任意の最小二乗法等の方法を用いることができるが、本実施形態では計算が容易なパラボラフィッティングを用いる。図６において、例えば、Ｏｆｆｓｅｔ値が−１，０，１の３点のデータを用いてパラボラフィッティングを行うことで、往復走査のサンプリングデータ配列同士の最も相関の高くなる時のＯｆｆｓｅｔ値がサブサンプリング単位で算出できる。このように計算したＯｆｆｓｅｔ値に対して共振スキャナの軌道を考慮することで、サンプリング基準開始位置からのシフト量Δｘを算出し、ｘ₀＋Δｘをトリガ信号の発信時の実際の共振スキャナ位置である補正されたサンプリング基準位置とみなすことができる。この補正されたサンプリング基準位置情報は、パラメータ演算処理部１４１から、制御部１２０を通じて記憶部１３０に保存される。

以上の図４のステップＳ４１０〜ステップＳ４７０の処理を経ることにより、図３のステップＳ３３０におけるスキャナ位置推定処理が行われる。ここで、再び、図３の説明に戻る。

＜ステップＳ３４０＞
図３のステップＳ３３０の処理が終了すると、ステップＳ３４０に進む。
ステップＳ３４０に進むと、画像構成部１４２は、ステップＳ３３０で取得されたサンプリング基準位置（パラメータ演算処理部１４１により補正されたサンプリング基準位置）に基づいて、上述した往復走査のサンプリングデータ配列に基づく被検眼の網膜における画像データを構成する。具体的に、共振スキャナの１往復走査分の画像２ライン分のｓｉｎｅ補正を行って、画像データを構成する。これは、共振スキャナが同一速度で走査していないため、縦軸方向の位置に均一にデータを分割すると、共振スキャナの速度によって画像に歪みが生じてしまうので、共振スキャナの走査軌道をｓｉｎｅ波に近似して、各画素に対しサンプリング数に重みづけを行うことで画像歪みを解消することを目的としている。そして、画像構成部１４２は、構成した画像データを、制御部１２０を通じて記憶部１３０に記憶して保存する。

図７は、図３のステップＳ３４０における画像構成処理の際に行われるｓｉｎｅ補正を説明するための図である。図７において、横軸は時間ｔを示し、また、縦軸は、位置ｘとし、共振スキャナの走査軌道をステップＳ３１０で取得された周波数のｓｉｎｅ波であると仮定して示し、振幅を１．０としたものである。この図７に示すｓｉｎｅ波の縦軸を仮に１０等分して、分割された区間をそれぞれ時間０．０からｎ＝０，１，２，…，９と名付ける。また、縦軸を分割した直線とｓｉｎｅ波との交点の時間をそれぞれｔ（０），ｔ（１），…と名付ける。この縦軸を分割した区間を共振スキャナが走査している間にサンプリングしたデータを、この位置の画素に割り当てる。そうすると、サンプリングは数十ＭＨｚで時間的に等間隔に行われるが、対応する共振スキャナの１区間を走査している、つまりサンプリングしている時間は、画素により異なっていることがわかる。よって、取得される反射信号の輝度値を、対応する位置のピクセル値に対応付け、１つの画素に複数の信号が対応する場合には、画素値を複数の信号の平均値として取得する。本実施形態では、共振スキャナの走査軌道をｓｉｎｅ波に近似しているが、近似方法はこれに限定されない。

ここで、画像構成は、連続的に撮影された複数画像の１枚１枚に対して行う。つまり、ステップＳ３２０で取得されたガルバノスキャナのトリガ信号の１つ１つに相当する画像１枚分に対して上述した処理を行い、それを枚数分繰り返す。そうして、すべての画像に対して画像構成を行った後、それらを統合した画像群を構成し、これを記憶部１３０に記憶して保存する。

図８は、本発明の実施形態を示し、被検眼Ｅの眼底部Ｅｒにおける視細胞の撮影画像の一例を示す図である。サンプリング基準位置が実際の共振スキャナの位置とずれが生じている場合には、図８（ａ）のように、横方向に隣接する画素間のずれ量が大きくなり、画質劣化がみられる。一方、ステップＳ３３０でスキャナ位置を推定し、サンプリング基準位置が正しく補正されている場合には、図８（ｂ）に示すように横方向に隣接する画素間のずれ量は非常に少なく、歪みを補正した画像を生成することができる。

＜ステップＳ３５０＞
続いて、ステップＳ３５０において、出力部１５０は、ステップＳ３４０において得られた網膜の画像データを外部装置３００に出力する。これにより、外部装置３００において、例えば、出力部１５０から出力された画像データに基づく画像が表示され、例えば検者等に提示される。さらに、出力部１５０は、ステップＳ３１０〜ステップＳ３３０において記憶部１３０に記憶されたスキャナの往復走査ごとのサンプリング基準位置等の画像構成に係る情報を外部装置３００（例えばデータベース）に出力する。

ステップＳ３５０の処理が終了すると、図３に示すフローチャートの処理が終了する。

なお、本実施形態においては、上述した評価を、隣接する往路走査と復路走査に対応する１次元サンプリングデータ配列ごとに行う態様や、複数の往復走査に対応する２次元サンプリングデータ配列ごとに行う態様を適用することが可能である。

本実施形態によれば、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能となる。

［その他の実施形態］
上述した本発明の実施形態では、共振スキャナの往復走査分の画像２ライン分ごとに、トリガ信号の発信時の共振スキャナ位置を推定している。これは、補償光学ＳＬＯ装置２００は、高横分解能であるため、そのスキャナ周波数や電気回路系の時間遅れがスキャナ位置に及ぼすわずかな誤差が、１往復走査ごとに不均一な画像歪みとして影響を及ぼすためである。これは、共振スキャナの走査に係るばらつきが、補償光学ＳＬＯ装置２００本体内の温度や電源の不安定性等の影響も受けるため、スキャナ位置の誤差自体のばらつきも大きいことが原因である。補償光学ＳＬＯ装置２００のスキャナ設定や取得画像の撮影条件、もしくは、共振スキャナ以外のスキャナの使用（ポリゴンミラー等）によっては、この画像歪みがある一定の周期ごとに現れる場合もある。この場合には、画像歪みの現れる周期に相当する数の往復走査ごとにスキャナ位置の推定を行うことで推定ステップの回数を減らすことも可能である。

他には、スキャナ位置の推定を往復走査１ラインで行うのではなく、複数の往復走査ラインで同時に計算することも可能である。具体的には、複数の往路走査ライン及び復路走査ラインを、それぞれ二次元の画像として扱い、２次元ＦＦＴによる空間周波数領域の比較により、スキャナ走査方向の位置ずれを計算するという方法である。この方法を採れば、一括で、均一のサンプリング基準位置を計算することができる。

さらには、歪みが補正された画像を用いることで、表示する画像の画質向上や画像演算の精度向上が期待されるため、上述した実施形態の画像歪み補正を撮影後すぐに実行するための高速化をハードウェア構成と演算の並列化により実施する方法もある。例えば、任意のＦＰＧＡやＧＰＵ等のマルチコア演算器等を追加して、画像生成部１４０で行う演算を複数の往復走査について並列化によるパイプライン処理で行うことも可能である。

また、上述の本発明の実施形態では、スキャナで往復走査する被検眼Ｅの所定領域として、被検眼Ｅの網膜（眼底部Ｅｒ）を適用した例について説明を行ったが、本発明においてはこれに限定されるものではなく、被検眼Ｅの他の部分を適用することも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ 画像生成システム、１００ 画像生成装置、１１０ 信号情報取得部、１２０ 制御部、１３０ 記憶部、１４０ 画像生成部、１４１ パラメータ演算処理部、１４２ 画像構成部、１５０ 出力部、２００ 補償光学ＳＬＯ装置、３００ 外部装置

Claims (21)

1. スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む眼科装置と通信可能に接続された画像生成装置であって、
   前記スキャナが１往復走査する間の前記スキャナの基準信号を抽出する抽出手段と、
   前記基準信号をサンプリング基準位置として、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成手段と、
   前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する評価手段と、
   前記評価手段による評価の結果に基づいて、前記サンプリング基準位置を補正する基準位置補正手段と、
   前記基準位置補正手段により補正されたサンプリング基準位置に基づいて、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成手段と
   を有することを特徴とする画像生成装置。
2. 前記眼科装置は、前記被検眼において発生する測定光またはその戻り光の収差を補正するための補償光学系を更に含むことを特徴とする請求項１に記載の画像生成装置。
3. 前記被検眼の動きを追尾して撮像位置を補正する制御を行う補正制御手段を更に有することを特徴とする請求項１または２に記載の画像生成装置。
4. 前記評価手段は、隣接する、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列のうち、少なくとも輝度勾配の変化の大きい範囲について、前記評価を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像生成装置。
5. 前記空間周波数領域は、離散フーリエ変換を用いて算出されることを特徴とする請求項１乃至４のいずれか１項に記載の画像生成装置。
6. 前記空間周波数領域は、高速フーリエ変換を用いて算出されることを特徴とする請求項１乃至４のいずれか１項に記載の画像生成装置。
7. 前記評価手段は、隣接する前記往路走査と前記復路走査に対応する１次元サンプリングデータ配列ごとに、前記評価を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像生成装置。
8. 前記評価手段は、複数の前記往復走査に対応する２次元サンプリングデータ配列ごとに、前記評価を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像生成装置。
9. 前記評価手段は、Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ法を用いて、前記評価を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像生成装置。
10. 前記評価手段は、Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ法を用いて、前記評価を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像生成装置。
11. 前記評価手段は、パターンマッチングを行って、前記評価を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の画像生成装置。
12. 前記評価手段は、前記Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ法を用いる際に、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値の探索を行うことを特徴とする請求項９に記載の画像生成装置。
13. 前記評価手段は、前記Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ法を用いる際に、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値の探索を行うことを特徴とする請求項１０に記載の画像生成装置。
14. 前記評価手段は、前記Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ法を用いる際に、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値近傍での任意のフィッティングにより、Ｃｏｒｒｅｌａｔｉｏｎピークの位置を決定することを特徴とする請求項９に記載の画像生成装置。
15. 前記評価手段は、前記Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ法を用いる際に、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値近傍での任意のフィッティングにより、Ｃｏｒｒｅｌａｔｉｏｎピークの位置を決定することを特徴とする請求項１０に記載の画像生成装置。
16. 前記評価手段は、前記スキャナの走査による画像歪みの影響が他の範囲よりも小さい範囲の前記往復走査のサンプリングデータ配列を用いて、前記評価を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像生成装置。
17. 前記画像構成手段は、前記スキャナの走査軌道をｓｉｎｅ波に近似して、前記画像データを構成することを特徴とする請求項１乃至１６のいずれか１項に記載の画像生成装置。
18. スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む眼科装置と通信可能に接続された画像生成装置による画像生成方法であって、
    前記スキャナが１往復走査する間の前記スキャナの基準信号を抽出する抽出ステップと、
    前記基準信号をサンプリング基準位置として、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成ステップと、
    前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する評価ステップと、
    前記評価ステップによる評価の結果に基づいて、前記サンプリング基準位置を補正する基準位置補正ステップと、
    前記基準位置補正ステップにより補正されたサンプリング基準位置に基づいて、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成ステップと
    を有することを特徴とする画像生成方法。
19. 請求項１乃至１７のいずれか１項に記載の画像生成装置の各手段としてコンピュータを機能させるためのプログラム。
20. 請求項１乃至１７のいずれか１項に記載の画像生成装置の各手段としてコンピュータを機能させるためのプログラムであって、当該画像生成装置の各手段における処理を、複数の前記往復走査について並列に行うことを特徴とするプログラム。
21. 請求項１９または２０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。