JP4699064B2 - 立体眼底画像処理方法及び処理装置 - Google Patents

Description

本発明は、観察者の両眼視差を利用して立体眼底画像を観察する立体眼底画像観察装置に用いられるステレオ画像に対して画像処理を施すための立体眼底画像処理方法及び処理装置に関する。

眼底の左右一対のステレオ画像を得る立体眼底カメラで得られた画像を立体的に観察する方法として、観察者の両眼視差を利用することにより眼底画像を立体的に観察する立体眼底画像観察装置を用いた方法が知られている。例えば、撮影画像を印刷（またはフィルム）された状態で立体眼底画像を観察するステレオビュアーや、ディスプレイを使ってステレオ画像を立体的に表示する立体眼底画像表示装置（特許文献１参照）を用いたものが知られている。
特開平７−３２３０１２号公報

しかしながら、上記のような方法による観察の場合、奥行き感の感じ方が異なる場合があり、観察者によって立体眼底像に対して過度の奥行き感を感じたり、逆に、立体眼底像に対しての奥行き感があまり感じられないような場合もあり、適切な診断がしづらい部分がある。

本発明は、上記問題点を鑑み、観察者の両眼視差を利用して立体眼底画像を観察する場合において、眼底の３次元的な情報を的確に把握することができる立体眼底画像処理方法及びその装置を提案することを技術課題とする。

上記課題を解決するために、本発明は以下のような構成を備えることを特徴とする。

本発明は、上記課題を解決するために、次のような構成を備えることを特徴とする。
（１） 立体眼底カメラにより撮影された左右一対のステレオ画像データを記憶する第一ステップと、該第一ステップにて記憶された左右一対のステレオ画像データに基づいて眼底の３次元データを得る第二ステップと、得られた眼底の３次元データを基に眼底の凹凸に対応した補助線データを演算処理により求める第三ステップと、を備える立体眼底画像処理方法において、
前記第三ステップにて求めた補助線データを前記左右一対のステレオ画像データの各々に合わせて左右一対の補助線付き立体眼底画像として観察者に示す第四ステップ、
を備えることを特徴とする。
（２） （１）の立体眼底画像処理方法において、前記第三ステップは前記補助線データとして眼底の３次元データを基に眼底の三次元的な形状を表す等高線を求めるステップであることを特徴とする。
（３） （１）の立体眼底画像処理方法において、前記第三ステップは前記補助線データとして眼底の３次元データを基に深さレベルを表すグリット線を作成する第三ステップであることを特徴とする。
（４） （１）〜（３）のいずれかの立体眼底画像処理方法をプログラムとして記憶する記憶手段と、該記憶手段に記憶された前記プログラムを実行するプログラム実行手段とを有する立体眼底画像処理装置。
（５） （４）の立体眼底画像表示装置において、前記立体眼底画像の表示時に、前記補助線を表示するか否かを選択する選択手段を設けたことを特徴とする。

本発明によれば、眼底の３次元的な情報を的確に把握することができるため、観察者にとって診断等に有用な情報を得ることができる。

以下、本発明の実施形態について図面に基づいて説明する。図１は実施形態に係る装置のブロック構成図である。処理装置１は演算・解析部２、指示入力部であるキ−ボ−ド３とマウス４、眼底画像や解析結果等を表示するディスプレイ５、プリンタ６を備える。演算・解析部２は市販のパーソナルコンピュータが使用できる。他の構成品も市販のものが使用できる。７はデジタル立体眼底カメラであり、眼底で反射した照明光束を二孔絞りにより２つの光束に分け、左右一対の眼底ステレオ画像を得る。立体眼底カメラ７により撮影された左右一対のステレオ画像データは、処理装置１に送られてメモリ８に記憶される。立体眼底カメラ７はスライドフィルムに撮影するタイプのものや、ＣＣＤカメラにより撮影するタイプのものでも良い。後者のタイプの場合、眼底画像は静止画像として画像記憶手段に記録された後、直接あるいはフロッピ等の記録媒体を介して演算・解析部２に入力される。

１０は立体眼底カメラ７により撮影されたステレオ画像データを基に、眼底立体画像を観察者に対して表示する立体眼底画像表示装置である。表示装置１０の構成としては、例えば、図１に示すように、観察者の右眼用と左眼用の眼底画像を所定の周期で交互に表示させるディスプレイ１１と、ディスプレイ１１に連動して左右のシャッタ部が交互に開閉する液晶シャッタメガネ１２（観察者に装着する）を用いたような構成が考えられる。なお、本実施形態においては、メモリ８に立体眼底画像を処理する立体眼底画像処理方法がプログラムとして記憶されており、演算・解析部２により該プログラムを実行できるようになっている。

以下に、処理装置１において、演算・解析部２により眼底画像の処理を行う場合について、図２のフローチャートを用いて説明する。まず、メモリ８にステレオ画像デ−タ（図３参照）を記憶する。そして、演算・解析部２は、記憶されたステレオ画像デ−タに対して視差、結像倍率、収差等の歪みによる補正を加え、補正されたステレオ画像デ−タにステレオ・マッチングの処理を施し、これに基づいて眼底の三次元データを得る。ステレオ・マッチング処理については、特開平２０００−１２６１３４号公報によるものを使用できる。

ここで、眼底のステレオ画像からの眼底の三次元データを取得する方法について簡単に説明しておく（図４参照）。
STEP１では、画像部分とそれ以外の部分を分離、認識するための背景分離処理を行う。具体的には、図３に示すように、入力された画像データのＸＹ方向（横方向と縦方向）のそれぞれについて濃度値の積分処理を行った後、得られた積分値に対して閾値SLを設け、この閾値SLより高い濃度値の部分を画像部分として認識する。
STEP２では、撮影眼の屈折力等による視差（画像ずれ）を測定する。背景分離によって得られた眼底ステレオ画像の左画像IM_Lと右画像IM_Rに対してその縦方向又は横方向の少なくとも１方向の濃度情報を積分した積分データを求め、該積分データをさらに微分して求めた微分データに基づいて視差情報を測定する（図５参照）。なお、図５において、左右画像IM_L、IM_Rの微分値をそれぞれDf_XL、Df_XR、Df_YL、Df_YRとする。
STEP３では、以降のSTEP５の対応点抽出処理で使用する左右画像領域を切り出す処理を行う。具体的には、STEP２により得られた縦方向及び横方向の視差（画像ずれ量）に基づいて左画像IM_Lあるいは右画像IM_Rのみにしか撮影されていない部分を除外し、以降の対応点抽出処理に使用する左画像領域IM_L′及び右画像領域IM_R′が対応するように切り出す。このように視差の影響を除去した左右画像を切り出すことにより、対応点抽出を容易にすることができる。
STEP４では、切り出した左右画像IM_L′、IM_R′に重畳するノイズを低減するため、メディアン・フィルタ（中間値フィルタ）等のノイズ除去フィルタによりノイズ除去処理を行う。
STEP５では、切り出し処理を行った左右画像IM_L′、IM_R′から対応点抽出処理を行う。この場合、本実施形態のように、切り出し処理を行った左右画像IM_L′、IM_R′に対して、順次解像度を落とした複数の画像（多重解像度像）を作成し、解像度の低い左右画像から次第に対応点を抽出するようにすると、処理時間を短くすることができる。
STEP６では、STEP５により抽出された対応点情報に基づいて高さ情報を算出して、三次元データの生成を行う。三次元データの生成には既知の共線条件式を用いることができ、STEP２で得られた視差情報から撮影眼の屈折力に影響する倍率を補正して実際の三次元データとする。この補正のための倍率は、予め視差（ずれ量）と補正倍率との関係のテーブルを記憶させておけば容易に得ることができる。

次に、得られた眼底の三次元データを基に眼底の凹凸に対応した補助線データを演算処理により求める（図２参照）。なお、本実施形態においては、補助線としてステレオ画像データに対して各深さレベル毎に等高線を付加する場合について説明する。
眼底の三次元データが得られると、演算・解析部２は、正面から見たときの平面画像をディスプレイ５に表示する。ここで、オペレータは、表示された平面画像を基にステレオ画像データに対して等高線を付加する領域を指定する。例えば、等高線を付加する領域を指定するためのポインタが表示されるので、マウス４の操作によりポインタを移動し、クリックしていくことによりその領域を指定していく。このとき、例えば、眼底の乳頭付近を指定するような場合が考えられる。また、画像データの全範囲を指定するようにしてもよい。

等高線を付加する領域の指定ができたら、オペレータはマウスにより、演算・解析部２に指定領域内における最低点（最深点）の位置を求める解析処理の実行を指令する。これにより、演算・解析部２は、指定領域内における眼底の三次元データから最低点を見つけ出し、その位置を求める。この場合、演算・解析部２は、指定領域内の重心位置を求めておき、その重心位置を中心として所定の検出角度ごと（例えば、１度ごと）の各断面ごとの最低点を求めることにより、各断面ごとの最低点の中での最も低い点とその位置を求めるような処理を行うようにしてもよい。

次に、演算・解析部２は、求められた最低点から予め設定した深さレベル（例えば、最低点から１５０μmステップ）に相当する点の位置をプロットしていく。図６は、ある断面において最低点から予め設定した深さレベルに相当する点の位置をプロットしたときの図である。このようにして各断面毎にプロットを行った後、これらの点を各レベルごとに繋ぎあわせてみると、図７のような等高線が作成される。なお、図７において、Ｌ１、Ｌ２、Ｌ３、Ｌ４は、順に、最低点から１５０μｍ、３００μｍ、４５０μｍ、６００μｍの距離における等高線を示す。このようにして作成された等高線は、最低点から等しい高さを持つ点の集合であって、これにより一定の深さレベルにおける眼底形状が表現される。

次に、演算・解析部２は、左右一対のステレオ画像デ−タに対して上記のように演算処理された各深さレベル毎の等高線データを付加する。すなわち、求めた等高線データと前記左右一対のステレオ画像データとを合わせる。ここで、左右一対のステレオ画像データと、該ステレオ画像データに所定の処理を施すことに得られた眼底の３次元データとの座標位置の対応関係は既知であるから、演算・解析部２は、作成された等高線データの座標位置に基づいて左右一対のステレオ画像データに対して演算処理により眼底の三次元的な形状を表す等高線を付加することができる（図８参照）。

その後、上記演算処理により等高線データの付加された左右一対のステレオ画像データは、立体眼底像表示装置１０へと送信され、表示装置１０により等高線付きの立体眼底画像として観察者に表示される。ここで、表示装置１０に表示された立体眼底画像を観察した場合、観察者は、立体眼底像と共に所定の深さレベルごとに付加された等高線を観察することができる。これにより、観察者は、等高線を目安として立体眼底像を観察できるため、正確に奥行き感（立体感）を認識することができ緑内障等の診断において有用となる。特に、被検眼眼底の乳頭付近を診断する場合において有用といえる。

すなわち、立体眼底像の観察においては、観察者によって奥行き感の感じ方が異なる場合があり、例えば観察者によっては立体眼底像に対して過度の奥行き感を感じることもある。より具体的には、乳頭の陥凹部分がむやみに奥行きを持ったように観察されることにより、実際の乳頭の陥凹よりも大きな深さをもった被検眼であると間違えてしまうようなことが考えられる。このような場合において、本実施形態によれば、観察者は、等高線の間隔の広がり方等から立体眼底像を過度に奥行きをもった状態で観察していることを確認できるため、これを目安として適切な診断を行うことができる。なお、上記の例においては、視神経乳頭の陥凹をより正確に観察することができる。

なお、本実施形態において、各深さレベル毎の等高線の色をそれぞれ異なるようにしてもよい。例えば、Ｌ１を白、Ｌ２を青、Ｌ３を黄、Ｌ４を赤とするように線の色を変えるようなことが考えられる。このようにすれば、観察者は、等高線の色によって深さレベルが分かるので、診断が容易となる。

なお、本実施形態においては、指定領域内の最低点を基に等高線を付与するような構成としたが、これに限るものではない。例えば、最高点を基準としてもよいし、カップ縁の高さを基準としてもよい。また、等高線を付与するための基準位置を任意に選択できるようにしてもよい。

なお、本実施形態においては、ステレオ画像データに付加する補助線データとして、所定の深さレベルごとの等高線データを付加するような構成としたが、これに限るものではなく、眼底のある断面における深さレベル（形状）を表すようなグリット線を付加するようにしてもよい。例えば、演算・解析部２により得られた眼底の三次元データから縦方向及び横方向の中間位置における眼底の断面形状を求めておき、これに基づいて左右一対のステレオ画像データに対してグリット線を付加するような構成が考えられる。図９は、眼底画像を縦及び横に二分したときの断面形状を表すグリット線Ｇを、立体眼底像と合わせて表示装置１０に表示したときの模式図である。このようにすれば、観察者は、眼底のある断面における形状が分かりやすく、立体眼底像の観察が容易になる。また、奥行き感を感じやすくなる。この場合、複数位置で眼底の断面形状を表現するメッシュ状（網目状）のグリット線を表示するような構成としてもよい。

また、等高線を付加する領域を指定したときと同様に、グリット線を付加する領域を任意に指定できるようにしてもよい。この場合、例えば、マウス４等の操作によりディスプレイ５に表示された平面画像上に線を引き、線が引かれた領域における断面形状を求めることにより、指定された領域における断面形状を表すグリット線を左右一対のステレオ画像データに対して付加するような構成が考えられる。

また、演算・解析部２によるステレオ画像の解析によりカップ縁（乳頭陥凹の縁）の位置を検出し、検出結果に基づいてカップ縁を表現する補助線をステレオ画像データに対して付加するようにしてもよい。このようにすれば、立体眼底画像観察において、観察者は、カップとディスクの距離比であるＣ／Ｄ比やカップ縁内の面積等の把握することが容易となる。

なお、本実施形態においては、表示装置１０により観察者に補助線付き立体眼底画像を示すような構成としたが、これに限るものではない。例えば、補助線を付加したステレオ画像データをプリンタ６により印刷し、印刷した画像を周知のステレオビュアーに貼り付けることにより補助線付き立体眼底画像を観察するようにしてもよい。

また、表示装置１０により補助線を付加した立体眼底画像を表示する場合、所定の選択スイッチにより、補助線を表示するか否かをできるようにしてもよい。このようにすれば、検者の任意の操作により、補助線の表示と非表示を切換えることができ、都合がよい。

実施形態に係る装置のブロック構成図である。 演算・解析部により眼底画像の処理を行う場合について説明するフローチャートである。 左右一対の眼底ステレオ画像データについて説明する図である。 眼底のステレオ画像からの眼底の三次元データを取得する方法について説明するフローチャートである。 撮影眼の屈折力等による視差（画像ずれ）を測定する場合について説明するである。 ある断面において最低点から予め設定した深さレベルに相当する点の位置をプロットしたときの図である。 作成された等高線を示す図である。 左右一対のステレオ画像データに対して演算処理により眼底の三次元的な形状を表す等高線を付加したときのである。 眼底画像を縦及び横に二分したときの断面形状を表すグリット線Ｔを、立体眼底像と合わせて表示装置に表示したときの模式図である。

符号の説明

１ 処理装置
２ 演算・解析部
５ ディスプレイ
６ プリンタ
７ デジタル立体眼底カメラ
８ メモリ
１０ 立体眼底画像表示装置
Ｌ１、Ｌ２、Ｌ３、Ｌ４ 等高線
Ｇ グリット線

Claims (5)

1. 立体眼底カメラにより撮影された左右一対のステレオ画像データを記憶する第一ステップと、該第一ステップにて記憶された左右一対のステレオ画像データに基づいて眼底の３次元データを得る第二ステップと、得られた眼底の３次元データを基に眼底の凹凸に対応した補助線データを演算処理により求める第三ステップと、を備える立体眼底画像処理方法において、
   前記第三ステップにて求めた補助線データを前記左右一対のステレオ画像データの各々に合わせて左右一対の補助線付き立体眼底画像として観察者に示す第四ステップ、
   を備えることを特徴とする立体眼底画像処理方法。
2. 請求項１の立体眼底画像処理方法において、前記第三ステップは前記補助線データとして眼底の３次元データを基に眼底の三次元的な形状を表す等高線を求めるステップであることを特徴とする立体眼底画像処理方法。
3. 請求項１の立体眼底画像処理方法において、前記第三ステップは前記補助線データとして眼底の３次元データを基に深さレベルを表すグリット線を作成する第三ステップであることを特徴とする立体眼底画像処理方法。
4. 請求項１〜３のいずれかの立体眼底画像処理方法をプログラムとして記憶する記憶手段と、該記憶手段に記憶された前記プログラムを実行するプログラム実行手段とを有する立体眼底画像処理装置。
5. 請求項４の立体眼底画像表示装置において、前記立体眼底画像の表示時に、前記補助線を表示するか否かを選択する選択手段を設けたことを特徴とする立体眼底画像表示装置。