[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2013063216A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2013063216A
JP2013063216A JP2011204654A JP2011204654A JP2013063216A JP 2013063216 A JP2013063216 A JP 2013063216A JP 2011204654 A JP2011204654 A JP 2011204654A JP 2011204654 A JP2011204654 A JP 2011204654A JP 2013063216 A JP2013063216 A JP 2013063216A
Authority
JP
Japan
Prior art keywords
image
frequency
image processing
processing apparatus
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011204654A
Other languages
English (en)
Other versions
JP2013063216A5 (ja
JP5847510B2 (ja
Inventor
Keiko Yonezawa
恵子 米沢
Kazuhide Miyata
和英 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011204654A priority Critical patent/JP5847510B2/ja
Priority to US13/606,663 priority patent/US9082010B2/en
Publication of JP2013063216A publication Critical patent/JP2013063216A/ja
Publication of JP2013063216A5 publication Critical patent/JP2013063216A5/ja
Application granted granted Critical
Publication of JP5847510B2 publication Critical patent/JP5847510B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 眼底の視細胞の画像の位置ずれの有無を簡単に判別することが求められる。
【解決手段】 本発明に係る画像処理装置は、眼底の視細胞の画像を周波数変換した周波数画像を取得する周波数変換部と、前記周波数画像における複数の方向の強度情報を取得する取得部とを有する。
【選択図】 図6

Description

本発明は、眼底の画像を処理する画像処理装置及び画像処理方法に関する。
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、被検眼の眼底の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(SLO:Scanning Laser Ophthalmoscope)は、測定光であるレーザーを眼底に対してラスタースキャンを行い、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学SLOが開発され、高横分解能な平面画像の取得を可能にしている。さらに、取得した網膜の平面画像を用いて網膜における視細胞に対応する箇所を抽出し、その密度や分布の解析から疾病の診断や薬剤応答の評価が試みられている。
補償光学SLOを用いて視細胞の可視化を行った例として、非特許文献1においては、網膜の平面画像を取得し、視細胞に対応する箇所の自動抽出を可能とした眼科撮影装置が提案されている。この眼科撮影装置では、高横分解能の網膜の平面画像を撮像し、画像に描出される視細胞の配置の周期性を利用して高周波成分を除去することで画像の前処理を行い、視細胞の自動検出を行っている。また視細胞の検出結果を用いて、視細胞の密度や視細胞間の距離を計測し、空間内分布のボロノイ解析による分析を行っている。
視細胞解析を精度よく行うためには、画質の高い画像を取得することが重要である。そのための一つの手法として、同一箇所を連続して撮影した複数の画像を重ね合わることで、ランダムノイズを除去する方法が知られている。画像の重ね合わせ処理を行うためには、複数枚の画像の中から基準となる画像(以下基準画像とする)を選択し、該基準画像に対してそれ以外の画像の位置あわせ処理を行った後に、重ね合わせ処理を行う方法が一般的である。
ここで、被検眼には、固視微動と呼ばれるランダムな動きが常に存在する。このため、同一箇所を連続して撮影した場合でも、撮影位置は一定ではない。そこで、基準画像を用いて、複数の断層画像の位置合わせを正確に行う手法が、特許文献1に開示されている。
ところで、固視微動には、数μ程度の動きで振動するトレモアや、数10μ程度のフリック、常に流れるように移動するドリフト、非常に速い動きとなるサッケードなどが知られている。
特開2008−293185号公報
Kaccie Y. Li and Austin Roorda, "Automated identification of cone photoreceptors in adaptive optics retinal images"J. Opt. Soc. Am. A, May 2007, Vol. 24, No. 5, 1358
固視微動のある眼底画像群に対して画像の重ね合わせ処理を行うためには、基準画像としてフリック等の大きな動きの最中に撮影された画像を選択しないことや、フリックとフリックの間のトレモア中に撮影された画像群を重ね合わせ画像として選択することが重要になる。このため、眼底の視細胞の画像の位置ずれの有無を簡単に判別することが求められる。
本発明に係る画像処理装置は、眼底の視細胞の画像を処理する画像処理装置であって、
前記画像を周波数変換し、周波数画像を取得する周波数変換手段と、
前記周波数画像における複数の方向の強度情報を取得する取得手段と、
を有することを特徴とする。
本発明によれば、眼底の視細胞の画像を周波数変換した周波数画像における複数の方向の強度情報を取得することができる。このとき、例えば、この強度情報を示す表示形態をモニタ等の表示部に表示させることができる。これにより、眼底の視細胞の画像の位置ずれの有無を簡単に判別することができる。
第1の実施形態に係る画像処理装置のブロック図である。 第1の実施形態に係る画像処理装置の画像処理のフロー図である。 第1の実施形態に係る補償光学SLO装置により、視細胞を撮影した高精細な平面画像の模式図である。 第1の実施形態に係る画像処理装置により、平面画像を周波数変換して得られるフーリエ画像の一例を説明する図である。 第1の実施形態に係る画像処理装置により、歪みの少ない平面画像に対応するフーリエ画像から特徴量を抽出する一例を説明する図である。 第1の実施形態に係る画像処理装置により、歪みの大きな平面画像に対応するフーリエ画像から特徴量を抽出する一例を説明する図である。 第2の実施形態に係る画像処理装置の画像処理のフロー図である。 第2の実施形態に係る画像処理装置において、特徴量に基づいて平面画像群を被検眼の固視微動の種類毎に分類することを説明する図である。 第3の実施形態に係る補償光学SLO装置の一例である複合装置の全体の構成について説明する図である。 第3の実施形態に係る補償光学SLO装置の一例である複合装置により、断層画像を取得する方法を説明する図である。 第3の実施形態に係る補償光学SLO装置の一例である複合装置により、平面画像を取得する方法を説明する図である。
本実施形態に係る画像処理装置は、被検眼の眼底の視細胞の画像を周波数変換した周波数画像を取得する周波数変換部を有する。また、本実施形態に係る画像処理装置は、上記周波数画像における複数の方向(例えば、XY方向)の強度情報を取得する取得部を有する。ここで、上記強度情報は、例えば、図5や図6のXY方向それぞれの強度分布のことである。また、上記強度情報は、例えば、環状構造(リング構造)の歪みを示す値(画像の歪みを示す特徴量や指標D)のことである。これにより、視細胞の画像内における位置ずれの有無を簡単に判別することができる。すなわち、重ね合わせに用いる画像として、位置ずれの無い画像を選択することができる。
ここで、上記複数の方向の強度情報を示す表示形態をモニタ等の表示部に表示させる表示制御部を有することが好ましい。これにより、ユーザは、視細胞の画像内における位置ずれの有無を簡単に判別することができる。このとき、この位置ずれの有無を表示部に表示させても良い。また、上記複数の方向の強度情報を示す表示形態と、視細胞の画像と周波数画像とのうち少なくとも一方の画像とを該複数の方向それぞれに対応付けて表示部に表示させることが好ましい。これにより、ユーザは、例えば、XY方向のいずれに位置ずれが生じたのかを簡単に判別することができる。
(第1の実施形態)
本実施形態に係る補償光学SLO装置は、被検眼の網膜の同一箇所を連続して撮影することにより、被検眼の眼底の複数の画像を取得することができる。このとき、できるだけ同一箇所が撮影された画像同士で、かつ一枚の画像内における被検眼の固視微動による歪みが少ない画像同士で重ね合わせすることが望ましい。これにより、高画質な画像を取得することができる。
このとき、画像同士の位置合わせのための基準画像や重ね合わせる複数の画像を選択することが好ましい。具体的には、補償光学SLOにより取得された複数の眼底平面画像(以下、平面画像)の空間周波数画像を離散フーリエ変換によりそれぞれ取得する(取得された画像を以下、フーリエ画像とする)。該取得されたフーリエ画像から、画像内での歪みを反映した特徴量を取得し、該特徴量の分布から規準画像、及び重ね合わせに用いる画像群を選択する。こうして得られた基準画像及び重ね合わせ画像を用いることにより、重ね合わせ処理によって高画質な画像を取得することが可能になる。
<平面画像>
図3に、補償光学SLOで撮影された平面画像を模式的に示す。図3に示すように、輝度が比較的大きい小領域として、各視細胞PRが一つ一つ区別される形で描出される。また、視細胞の輝度に比較して輝度の低い血管領域Vが描出されることもある。この血管領域Vは視細胞より上層にある血管の影が描出されているものである。
<フーリエ画像>
図4(a)に、上記平面画像の空間周波数成分を離散フーリエ変換により取得したフーリエ画像の模式図を示す。図4(a)に示すように、視細胞が周期的に配置していることを反映して、視細胞の周期に相当するリング構造が見られる。
<画像処理装置の構成>
図1は、本実施形態に係る画像処理装置20の機能構成を示したものである。
まず、10は画像取得部であり、補償光学SLO装置から網膜の同一箇所を撮影した複数の平面画像を取得する。11は入力情報取得部であり、補償光学SLOによる平面画像の撮影の際の、被検眼情報を取得する。取得した画像は制御部12を通じて記憶部13に記憶される。14は画像処理部であり、周波数変換部21、特徴抽出部22、画像選択部23、重ね合わせ部24を含む。画像処理部14は、取得した平面画像よりフーリエ画像を生成し、フーリエ画像より抽出した特徴量から重ね合わせの基準画像及び重ね合わせに用いる画像群を選択する。それらの画像を用いて重ね合わせ画像を作成し、記憶部13に記憶する。15は出力部であり、作成された重ね合わせ画像をモニタ等に出力するほか、記憶部13に記憶されている処理結果をデータベースに出力する。
ここで、画像処理装置20は、補償光学SLOから直接平面画像を取得する構成としたが、ネットワークを介してそれらの画像を取得してもよい。その場合には、ネットワークを介して接続されたデータベースに補償光学SLOで撮影された複数の平面画像が保存され、画像処理装置20はそのデータベースから画像を取得する構成となる。
<画像処理装置の処理手順>
次に、図2(a)のフローチャートを参照して、本実施形態の画像処理装置20の処理手順を説明する。
<ステップS210>
ステップS210において、画像取得部10は、画像処理装置20に接続される補償光学SLO、もしくは該装置により撮影された平面画像を保存するデータベースから、解析対象となる複数の平面画像を取得する。取得された複数の平面画像は、制御部12を通じて記憶部13に記憶する。
またこのとき、取得された複数の平面画像が撮影された際の撮影パラメータ情報を取得し、制御部12を通じて記憶部13に記憶する。ここで撮影パラメータ情報とは、撮影の際の固視灯の位置情報などのことである。固視灯の位置情報などの撮影パラメータ情報は、平面画像に付加している画像撮影情報ファイルに記載されている場合もあれば、画像のタグ情報として含まれている場合もある。
<ステップS220>
ステップS220において、入力情報取得部11は、データベースもしくは操作者の入力部(不図示)による入力により被検眼の情報を取得する。ここで被検眼の情報とは、被検眼の患者ID、氏名、年齢、性別、検査対象が右目であるか左目であるか、撮影日時等のことであり、これら取得した情報は、制御部12を通じて記憶部13に記憶される。
<ステップS230>
ステップS230において、周波数変換部21は、記憶部13に記憶されている補償光学SLOにより取得された複数の平面画像のそれぞれに対し、空間周波数画像を離散フーリエ変換により取得する。図3に示したように、平面画像の多くの領域は、輝度の高い小領域として観察される規則的な配置をもつ視細胞で構成される。よって該平面画像を空間周波数変換して得られるフーリエ画像は、図4(a)に示したようなリング状の構造をもつ。
<ステップS240>
ステップS240において、特徴抽出部22は、ステップS230で得られたフーリエ画像から、画像の歪みを示す特徴量を抽出する。そうして算出した特徴量を、制御部12を通じて抽出した平面画像と対応付けて記憶部13に記憶する。以下にステップS240によって取得する特徴量の一例を示すが、取得する特徴量は以下の例に限定されるものではない。
図4(b)に画面内で歪みが見られる平面画像のフーリエ画像を示す。図4(b)では、図4(a)で示されるようなリング状の構造が大きく歪んだ状態となることがわかる。
そこで本実施形態では、画像の歪みを示す特徴量として、フーリエ画像のx方向の積算値(所定の方向の積算値の一例)とy方向の積算値(該所定の方向に交差する方向の積算値の一例)を考える。具体的には、図5(a)に示すように、フーリエ画像のサイズを縦と横のピクセル数がNとなるNxNの正方形であるとした時、フーリエ画像を縦方向に積算した関数Iysum(x)と、横方向に積算した関数Ixsum(y)を考える。
ここで、I(x、y)はフーリエ画像の(x、y)の位置にあるピクセルの輝度値を表わす。そして画像の歪みの指標Dとして、Iysum(x)とIxsum(y)の差を考える。
ここで、||は絶対値を表わし、faverageは元の平面画像の、輝度の平均値を示す。またフーリエ画像内でx=0、y=0に対応する値にはエッジの影響等のノイズが多くのるため、上記和を計算する場合に除くなどの処理をしている。
図5(b)に示すように、図4(a)のような歪みのない画像の場合のフーリエ画像は円形のリング構造が現れるために、Iysum(x)と、Ixsum(y)の値がほぼ等しくなるためDは小さな値となる。これに対して図6に示すように、図4(b)のような歪みのある画像に対応するフーリエ画像は、リング構造が円形ではなく歪んだ形となるために、Iysum(x)と、Ixsum(y)の値が大きくずれることとなり、指標Dは大きな値となる。
<ステップS250>
ステップS250において、画像選択部23は、ステップS240で取得された特徴量から、複数の同一箇所を撮影した補償光学SLO画像の中から、重ね合わせの基準となる基準画像を選択する。そうして選択した基準画像を、制御部12を通じて記憶部13に記憶する。
ステップS240において、画像の歪みを示す特徴量として指標Dを取得した。基準画像としてはDが小さなものが望ましい。よって基準画像の選択方法としては、Dが最も小さくなる画像を選択する。なお、画像の画質を示す他の指標、例えばコントラストや輝度の平均値などの指標を用いて、基準画像の候補画像を選択し、その中から指標Dが大きなものを除いてもよい。
具体的には、複数の同一箇所を撮影した平面画像群の枚数がm枚であるとする。そのとき、各平面画像に対してステップS240で示した指標Dを求め、平面画像群m内での平均値と分散を取得する。
ここで、各平面画像に対して画像の画質を示す指標をCiとする。基準画像の選択は、Ciが最も高いもので、かつDiがDの平均値+標準偏差以下であるものを選択するとする。
更に、選択した基準画像に重ね合わせる画像群を、各画像のDに基づいて選択する。具体的には、各画像のDがDの平均値+標準偏差以下である画像を重ね合わせに用いる画像として選択する。
<ステップS260>
ステップS260において、重ね合わせ部24は、ステップS250で選択された基準画像に対して他の平面画像の位置合わせ処理を行う。そして取得された位置合わせ後の画像群から重ね合わせ画像を作成し、制御部12を通じて記憶部13に記憶する。
ここで、同一箇所を撮影した複数画像の位置合わせ手法については多くの手法が知られている。画像に歪みが生じない剛体変換の場合には、移動方向のみを取得する位相限相関法が知られている。多少の歪みを生じる場合には、アフィン変換によって歪みの補正を行う手法がある。被写体がより大きな変形を伴う場合には、様々な非剛体の位置合わせ手法が知られていると同時、医用画像処理の分野で研究がさかんである。本実施形態と同様に眼球の固視微動に伴う歪みを課題とする位置合わせとしては、例えば、Scott B. Stevenson and Austin Roorda, “Correcting for miniature eye movements in high resolution scanning laser ophthalmoscopy”Proc. SPIE 5688, 145 (2005)では、補償光学SLOで撮影した網膜画像の位置合わせをする方法が紹介されている。
本実施形態においては、基準画像に対して、各平面画像の画像全体の移動方向を位相限相関法により取得した後、アフィン変換により歪み補正を行う手法を用いたが、位置合わせ処理の方法はこの手法に限定されるものではなく、上記紹介したすべての手法に対して適応することが可能である。
このようにして取得された位置合わせ済みの画像群を用いて、重ね合わせ画像を生成する。位置合わせ済みの画像群の画像サイズがMxLであるとする。位置合わせ前の平面画像群のサイズがNxNであったとすると、M>N、L>Nである。基準画像は位置合わせ処理前後で変化しないため、基準画像のフレーム番号がnであったとすると、位置合わせ済み画像群のフレームn番目には、画像サイズMxLの中に、基準画像と同じNxNの画像が含まれていて、その周囲のピクセルは値0となっている。重ね合わせ画像の作成は、このMxL中のNxNの領域に対して、位置合わせ済み画像群の他のフレームの値を取得しその平均値を求めることで生成する。このとき、すべての画像を重ね合わせるのではなく、平面画像群中で例えば瞬きなどで撮影に失敗したフレームや、位置合わせ処理中、位置合わせがうまくいかなかったフレームを除去して重ね合わせを行うと、ノイズレベルの低い重ね合わせ画像を生成することができる。
<ステップS270>
ステップS270において、出力部170は、ステップS260において記憶部に保存された重ね合わせ画像を、出力部170を通じてモニタに表示する。さらにステップS210〜ステップS260で記憶部13に保存された特徴量その他をデータベースに保存する。
以上の構成により、補償光学SLO装置による取得される、網膜の同一位置を撮影した複数の平面画像に対して、重ね合わせに適した基準画像を選択することが可能になる。このような基準画像の選択により、画質のよい重ね合わせ画像を生成することが可能になる。
(第2の実施形態)
第1の実施形態では、被検眼の網膜の同一箇所を撮影した複数の平面画像から、重ね合わせ処理によって高い画質の視細胞像を取得するために、複数の平面画像から歪みの少ない画像を基準画像として選択する方法について説明した。しかし、眼底の固視微動はトレモア、ドリフト、フリック、サッケードといった特徴的な動きをすることが知られていて、例えばサッケードの前後では撮影箇所に大きな変化があるために、正確な位置合わせ処理を行うことが困難になる。本実施形態では、特徴量に基づいて平面画像群を固視微動の種類毎に分類することができる。これにより、トレモアのように変動が小さく、位置合わせ処理が比較的簡単な画像が多数存在するグループから基準画像を選択することができる。
平面画像群を取得した特徴量から、トレモアなどの小さな動きに対応する複数のグループに分類し、その分類に基づき基準画像及び重ね合わせに用いる画像を選択する。
図7のフローチャートを参照して、本実施形態の画像処理装置20の処理手順を説明する。ここでステップS210、S220、S230、S240、S260、S270に関しては第1の実施形態で説明した処理手順と変わらないために、説明は省略する。
第1の実施形態では、補償光学SLOによる取得される平面画像群のそれぞれに対して画像の歪みを反映する特徴量を抽出し、それらを比較することで基準画像を選択していた。本実施形態においては、平面画像群全体を該特徴量に基づき分類することで、眼に特有の動きを考慮しその中で最良の重ね合わせ画像を生成することが可能な基準画像及び重ね合わせに用いる画像を選択する。
以下に各ステップについてより詳細に説明する。
<ステップS840>
ステップS840において、画像処理部14に含まれる画像分類部(不図示)は、眼底の同一箇所を補償光学SLOにより撮影された複数の平面画像を、ステップS240で取得された画像の歪みを表す特徴量に基づき分類する。そうして分類した結果を、制御部12を通じて記憶部13に記憶する。
固視微動では、トレモアTと呼ばれる小さな動き(数μm程度)とフリックF(数10μm程度)と呼ばれる比較的大きな動きが組み合わされている。ここで、トレモア(T)中に撮影される平面画像には大きな歪みは生じないが、フリック(F)中の平面画像には大きな歪みが生じることになり、ステップS240で抽出した特徴量の変化は図8のようになる。
ここで、フリック(F)に対応する画像は歪みに対応する特徴量Dが大きくなるのに対して、トレモア(T)に対応した部分は歪みに対応する特徴量Dは小さくなる。よって、ステップS240で求めた特徴量に基づき、フリックにあたる平面画像を境界として、平面画像群を図8に示したように分類する。具体的には、ステップS240で特徴量Dの平均値と分散を求めたが、Dの値が3σよりも大きくなる場合をフリックに対応するとして分類の境界とした。
<ステップS850>
ステップS850において、画像処理部14に含まれる画像選択部(不図示)は、ステップS840で求められた分類に基づき重ね合わせ画像の基準画像と、重ね合わせに用いる平面画像群を選択する。そうして選択した基準画像および重ね合わせに用いる平面画像を、制御部12を通じて記憶部13に記憶する。
高い画質の重ね合わせ結果を得るためには、なるべく近い同一箇所を撮影した画像が多くあることが望ましい。ステップS840の分類(A〜D)において、同一グループに属する平面画像群は近い位置を撮影した歪みの少ない平面画像群と考えられるため、各グループに含まれるフレーム数が重要になる。さらにグループA〜Dは、分類は異なるが近い箇所を撮影している可能性があるので、各グループ間の距離を求める。具体的には、各グループで撮影時間的に中央に位置する平面画像を選択し、平面画像間の距離を位相限定相関法により求める。求められた距離が画像サイズの15%程度以下の場合、つまり画像領域の80%が重なる場合には、2つのグループは同一のグループであるとする。図8の場合には、グループAとグループDが同一グループに分類される。
その後、各グループで含まれる平面画像数が最も多いグループを選択する。重ね合わせ処理に用いる平面画像群は、選択されたグループに含まれる平面画像とする。さらに、それら平面画像の中で基準画像を選択するが、その方法は、ステップS250に示した場合と同様、特徴量Dが最も小さいものであってもよいし、別のコントラストなど別の特徴量に基づくものであってもよい。
(第3の実施形態)
第3の実施形態に係る補償光学SLO装置の一例として、SLO装置とOCT装置とを複合した複合装置について、図9を用いて説明する。この装置により、網膜の高横分解能の平面画像(SLO像)と断層画像(OCT像)との両方の撮像を行うことができる。ここで、SLO装置は、空間光変調器を用いることにより、被検眼の前眼部で生じる収差を補正した平面画像を取得することができる。また、OCT装置は、フーリエドメイン方式であり、被検眼の前眼部で生じる収差を補正した断層画像を取得することができる。
<全体>
図9を用いて、まず、本実施例における複合装置100の概略構成について、具体的に説明する。光源101から出射した光は光カプラー131によって参照光105と測定光106とに分割される。測定光106は、シングルモードファイバー130−4、空間光変調器159、XYスキャナ119、Xスキャナ121、球面ミラー160−1〜9等を介して、観察対象である被検眼107に導かれる。
被検眼107によって反射あるいは散乱された戻り光108となり、ディテクター138あるいはラインセンサ139に入射される。ディテクター138は戻り光108の光強度を電圧に変換し、その信号を用いて、被検眼107の平面画像が構成される。また、ラインセンサ139には参照光105と戻り光108とが合波されて入射され、被検眼107の断層画像が構成される。さらに、複数の取得された断層画像を用いて、血管の3次元的な走行が描出される。ここでは、波面収差を補正するデバイスとして空間光変調器を用いたが、波面収差を補正できればよく、可変形状ミラー等を用いることもできる。
<光源>
つぎに、光源101の周辺について説明する。光源101は代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。波長は830nm、バンド幅50nmである。ここでは、スペックルノイズの少ない平面画像を取得するために、低コヒーレント光源を選択している。また、光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等も用いることができる。また、波長は眼を測定することを鑑みると、近赤外光が適する。さらに波長は、得られる平面画像の横方向の分解能に影響するため、なるべく短波長であることが望ましく、ここでは830nmとする。観察対象の測定部位によっては、他の波長を選んでも良い。
光源101から出射された光は、シングルモードファイバー130−1と光カプラー131とを介して、参照光105と測定光106とに、96:4の割合で分割される。153は偏光コントローラである。
<参照光路>
つぎに、参照光105の光路について説明する。光カプラー131にて分割された参照光105はシングルモードファイバー130−2を通して、レンズ135−1に導かれ、ビーム径4mmの平行光になるよう、調整される。 次に、参照光105は、ミラー157−1〜4によって、参照ミラーであるミラー114に導かれる。参照光105の光路長は、測定光106の光路長と略同一に調整されているため、参照光105と測定光106とを干渉させることができる。次に、ミラー114にて反射され、再び光カプラー131に導かれる。ここで、参照光105が通過した分散補償用ガラス115は被検眼107に測定光106が往復した時の分散を、参照光105に対して補償するものである。ここでは、日本人の平均的な眼球の直径として代表的な値を想定し、L1=23mmとする。
さらに、117−1は電動ステージであり、矢印で図示している方向に移動することができ、参照光105の光路長を、調整・制御することができる。また、電動ステージ117−1はパソコン125からドライバ部181内の電動ステージ駆動ドライバ183を介して制御される。
<測定光路>
つぎに、測定光106の光路について説明する。光カプラー131によって分割された測定光106はシングルモードファイバー130−4を介して、レンズ135−4に導かれ、ビーム径4mmの平行光になるよう調整される。また、偏光コントローラ153−1又は2は、測定光106の偏光状態を調整することができる。ここでは、測定光106の偏光状態は紙面に平行な方向の直線偏光に調整されている。
測定光106は、ビームスプリッタ158、可動式ビームスプリッタ161(分岐手段とも呼ぶ。)を通過し、球面ミラー160−1、160−2を介し、空間光変調器159にて入射・変調される。ここで、空間光変調器159は、液晶の配向性を利用して変調を行う変調器であり、紙面に平行な方向の直線偏光(P偏光)の位相を変調する向きに配置され、測定光106の偏光の向きと合わせている。
さらに、測定光106は偏光板173を通過し、球面ミラー160−3、160−4を介し、Xスキャナ121のミラーに入射される。ここで、偏光板173は戻り光108のうち紙面に平行な方向の直線偏光のみを空間光変調器159に導く役割がある。また、ここで、Xスキャナ121は測定光106を紙面に平行な方向に走査するXスキャナであり、ここでは共振型スキャナを用いている。駆動周波数は約7.9kHzである。
さらに、測定光106は球面ミラー160−5〜6を介し、XYスキャナ119のミラーに入射される。ここで、XYスキャナ119は一つのミラーとして記したが、実際にはXスキャン用ミラーとYスキャン用ミラーとの2枚のミラーが近接して配置されるものである。また、測定光106の中心はXYスキャナ119のミラーの回転中心と一致するように調整されている。XYスキャナ119の駆動周波数は〜500Hzの範囲で可変できる。球面ミラー160−7〜9は網膜127を走査するための光学系であり、測定光106を角膜126の付近を支点として、網膜127をスキャンする役割がある。
ここで、測定光106のビーム径は4mmであるが、より高分解能な断層画像を取得するために、ビーム径はより大径化してもよい。また、117−2は電動ステージであり、矢印で図示している方向に移動することができ、付随する球面ミラーである球面ミラー160−8の位置を、調整・制御することができる。電動ステージ117−2は電動ステージ117−1と同様に、電動ステージ駆動ドライバ183によって制御される。球面ミラー160−8の位置を調整することで、被検眼107の網膜127の所定の層に測定光106を合焦し、観察することが可能になる。初期状態では、測定光106は平行光の状態で、角膜126に入射するように、球面ミラー160−8の位置が調整されている。
また、被検眼107が屈折異常を有している場合にも対応できる。測定光106は被検眼107に入射すると、網膜127からの反射や散乱により戻り光108となり、再び光カプラー131に導かれ、ラインカメラ139に到達する。また、戻り光108の一部は可動式ビームスプリッタ161で反射され、レンズ135−5を介して、ディテクター138に導かれる。ここで、172はピンホールを有する遮光板であり、戻り光108の内、網膜127に合焦していない不要な光を遮断する役割がある。また、遮光板172はレンズ135−5の合焦位置に共役に配置される。また、遮光板172のピンホールの直径は例えば50μmである。ディテクター138は例えば高速・高感度な光センサであるAPD(Avalanche Photo Diode)が用いられる。また、ビームスプリッタ158にて分割される戻り光108の一部は、波面センサ155に入射される。波面センサ155はシャックハルトマン方式の波面センサである。
ここで、XYスキャナ119、Xスキャナ121、角膜126、波面センサ155、空間光変調器159は光学的に共役になるよう、球面ミラー160−1〜9が配置されている。そのため、波面センサ155は被検眼107の収差を測定することが可能になっている。また、空間光変調器159は被検眼107の収差を補正することが可能になっている。さらに、得られた収差に基づいて、空間光変調器159をリアルタイムに制御することで、被検眼107で発生する収差を補正し、より高横分解能な断層画像の取得を可能にしている。
<測定系の構成>
つぎに、測定系の構成について説明する。複合装置100は、断層画像(OCT像)及び平面画像(SLO像)を取得することができる。まず、断層画像の測定系について説明する。戻り光108は光カプラー131によって合波される。合波された光142は、シングルモードファイバー130−3、レンズ135−2を介して、透過型グレーティング141に導かれ、波長毎に分光され、レンズ135−3を介してラインカメラ139に入射される。ラインカメラ139は位置(波長)毎に光強度を電圧に変換し、その電圧信号はフレームグラバー140にてデジタル値に変換されて、パソコン125にて、被検眼107の断層画像が構成される。ここでは、ラインカメラ139は1024画素を有し、合波された光142の波長毎(1024分割)の強度を得ることができる。
つぎに、平面画像の測定系について説明する。戻り光108の一部は、可動式ビームスプリッタ161で反射される。反射された光は遮光板172によって不要な光が遮断された後、ディテクター138に到達し、光の強度が電気信号に変換される。得られた電気信号に対して、パソコン125にてXスキャナ121とXYスキャナ119との走査信号と同期したデータ処理が行われ、平面画像が形成される。ビームスプリッタ158にて分割される戻り光108の一部は、波面センサ155に入射され、戻り光108の収差が測定される。波面センサ155にて得られた画像信号は、パソコン125に取り込まれ、収差が算出される。得られた収差はツェルニケ多項式を用いて表現され、これは被検眼107の収差を示している。ここで、ツェルニケ多項式は、チルト(傾き)の項、デフォーカス(defocus)の項、アスティグマ(非点収差)の項、コマの項、トリフォイルの項等からなる。
<OCT像の取得方法>
つぎに、複合装置100を用いた断層画像(OCT像)の取得方法について図10を用いて説明する。OCT装置100は、XYスキャナ119を制御し、Xスキャナ121を固定ミラーとして用いて、ラインカメラ139で干渉縞を取得することで、網膜127の断層画像を取得することができる。戻り光108がディテクター138に導光されないように可動式ビームスプリッタ161を制御する。また、Xスキャナ121、XYスキャナ119は、パソコン125からドライバ部181内の光スキャナ駆動ドライバ182を介して制御される。ここでは、網膜127の断層画像(光軸に平行な面)の取得方法について説明する。図10(a)は被検眼107の模式図であり、複合装置100によって観察されている様子を示している。図10(a)に示すように、測定光106は角膜126を通して、網膜127に入射すると様々な位置における反射や散乱により戻り光108となり、それぞれの位置での時間遅延を伴って、ラインカメラ139に到達する。ここでは、光源101のバンド幅が広く、コヒーレンス長が短いために、参照光路の光路長と測定光路の光路長とが略等しい場合に、ラインカメラ139にて、干渉縞が検出できる。上述のように、ラインカメラ139で取得されるのは波長軸上のスペクトル領域の干渉縞となる。
次に、波長軸上の情報である干渉縞を、ラインカメラ139と透過型グレーティング141との特性を考慮して、光周波数軸の干渉縞に変換する。さらに、変換された光周波数軸の干渉縞を逆フーリエ変換することで、深さ方向の情報が得られる。さらに、図10(b)に示すように、XYスキャナ119を駆動しながら、干渉縞を検知すれば、各X軸の位置毎に干渉縞が得られ、つまり、各X軸の位置毎の深さ方向の情報を得ることができる。結果として、XZ面での戻り光108の強度の2次元分布が得られ、それはすなわち断層画像132である(図10(c))。本来は、断層画像132は上記説明したように、該戻り光108の強度をアレイ状に並べたものであり、例えば該強度をグレースケールに当てはめて、表示されるものである。X方向の長さは700μmであり、下に説明するSLO像と同様である。ここでは得られた断層画像の境界のみ強調して表示している。ここで、146は網膜色素上皮層、147は視神経線維層である、178は血管である。また、各Y軸の位置毎に複数の断層画像を取得すれば、血管の3次元的な走行を描出できる。
<SLO像の取得方法>
つぎに、複合装置100を用いた平面画像(SLO像)の取得方法について、図11を用いて説明する。複合装置100は、XYスキャナ119のY軸方向のみとXスキャナ121とを動作・制御し、XYスキャナ119のX軸方向を固定し、ディテクター138で戻り光108の強度を取得することで、網膜127の平面画像を取得することができる。Xスキャナ121とXYスキャナ119は、パソコン125からドライバ部181内の光スキャナ駆動ドライバ182を介して制御される。また、複合装置100は、波面センサ155で測定した被検眼107の収差を用いて空間光変調器159を制御し、被検眼107等にて生じる収差を補正しながら平面画像を取得することができる。また、空間光変調器159をリアルタイムに制御しながら平面画像を取得することができる。
図11(a)は被検眼107の模式図であり、SLO装置109によって観察されている様子を示している。図11(a)に示すように、測定光106は角膜126を通して、網膜127に入射すると様々な位置における反射や散乱により戻り光108となり、ディテクター138に到達する。さらに、図11(b)に示すように、XYスキャナ109をX方向に駆動しながら、戻り光108の強度を検知すれば、各X軸の位置毎の情報を得ることができる。
さらに、図11(c)に示すように、XYスキャナ109のX軸とY軸とを同時に駆動し、網膜127のある撮像範囲192に対して、測定光106を軌跡193のように、ラスタースキャンしながら戻り光108の強度を検知すれば、戻り光108の強度の2次元分布が得られ、それはすなわち平面画像177(図11(d))である。
ここで、測定光106は右上の点Sから、左下の点Eに向かってスキャンされ、その間の戻り光108の強度が平面画像177の構成に用いられる。点Eから点Sへの軌跡193は次の平面画像177の撮像の撮像のための準備である。スキャンにかかる時間は、図中の軌跡193に対して、S→Eが84%、E→Sが16%であり、この比は上述のYスキャナの駆動波形のデューティ比に基づいている。また、図11(c)では簡単のため、軌跡193におけるX方向のスキャン回数を少なめに記している。ここで、この平面画像177の大きさは700×350μm、取得に要する時間は約15.6msである。この時間はYスキャナの駆動周波数に基づいている。
また、平面画像177中には、戻り光108の強度が比較的大きい視細胞群179が明るく、比較的小さい血管178が暗く描出される。また、血管178に血球(不図示)が明るく描出される。また、平面画像177を時間的に連続して取得すれば、血球が血管178内を移動する様子を描出することができる。また、連続して取得した平面画像177から、血球が描出されている血管178を抽出し、撮影順に積み重ねて時空間画像を作成してもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (11)

  1. 眼底の視細胞の画像を処理する画像処理装置であって、
    前記画像を周波数変換した周波数画像を取得する周波数変換手段と、
    前記周波数画像における複数の方向の強度情報を取得する取得手段と、
    を有することを特徴とする画像処理装置。
  2. 前記取得手段が、前記周波数画像における前記複数の方向の強度分布を前記複数の方向の強度情報として取得することを特徴とする請求項1に記載の画像処理装置。
  3. 前記取得手段が、前記周波数画像における環状構造の歪みを示す値を前記複数の方向の強度情報として取得することを特徴とする請求項1あるいは2に記載の画像処理装置。
  4. 前記歪みを示す値が、前記周波数画像における所定の方向の積算値と該所定の方向に交差する方向の積算値とからなることを特徴とする請求項3に記載の画像処理装置。
  5. 前記複数の方向の強度情報を示す表示形態を表示手段に表示させる表示制御手段を有することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記表示制御手段が、前記複数の方向の強度情報を示す表示形態と、前記視細胞の画像と前記周波数画像とのうち少なくとも一方の画像とを該複数の方向それぞれに対応付けて前記表示手段に表示させることを特徴とする請求項5に記載の画像処理装置。
  7. 前記周波数変換手段が、前記眼底の視細胞の複数の画像を周波数変換し、複数の周波数画像を取得し、
    前記取得手段が、前記複数の周波数画像それぞれにおける前記複数の方向の強度情報を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記強度情報に基づいて複数の画像を分類する画像分類手段を有し、
    前記複数の画像の分類の結果に基づいて画像を選択する画像選択手段を有することを特徴とする請求項7に記載の画像処理装置。
  9. 前記選択された画像を重ね合わせる重ね合わせ手段を有し、
    前記画像選択手段は、基準画像と、該基準画像に重ね合わせる画像を選択することを特徴とする請求項8に記載の画像処理装置。
  10. 眼底の視細胞の画像を処理する画像処理方法であって、
    前記画像を周波数変換し、周波数画像を取得する工程と、
    前記周波数画像における複数の方向の強度情報を取得する工程と、
    を有することを特徴とする画像処理方法。
  11. 請求項10に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2011204654A 2011-09-20 2011-09-20 画像処理装置及び画像処理方法 Expired - Fee Related JP5847510B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011204654A JP5847510B2 (ja) 2011-09-20 2011-09-20 画像処理装置及び画像処理方法
US13/606,663 US9082010B2 (en) 2011-09-20 2012-09-07 Apparatus and a method for processing an image of photoreceptor cells of a fundus of an eye

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011204654A JP5847510B2 (ja) 2011-09-20 2011-09-20 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2013063216A true JP2013063216A (ja) 2013-04-11
JP2013063216A5 JP2013063216A5 (ja) 2014-10-23
JP5847510B2 JP5847510B2 (ja) 2016-01-20

Family

ID=47880702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011204654A Expired - Fee Related JP5847510B2 (ja) 2011-09-20 2011-09-20 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US9082010B2 (ja)
JP (1) JP5847510B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015008841A (ja) * 2013-06-27 2015-01-19 株式会社ニデック 画像処理装置および画像処理プログラム
JP2015221089A (ja) * 2014-05-22 2015-12-10 キヤノン株式会社 画像生成装置および画像生成方法
JP2016083240A (ja) * 2014-10-27 2016-05-19 株式会社トーメーコーポレーション 眼科装置
JP2016209147A (ja) * 2015-04-30 2016-12-15 株式会社ニデック 眼底画像処理装置、および眼底画像処理プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201407873D0 (en) * 2014-05-02 2014-06-18 Optos Plc Improvements in and relating to imaging of the eye
WO2015171566A1 (en) * 2014-05-06 2015-11-12 Oregon Health & Science University Aqueous cell differentiation in anterior uveitis using optical coherence tomography
AU2014280958B2 (en) * 2014-12-24 2017-08-31 Canon Kabushiki Kaisha Registration across frame boundaries in AO-SLO capture
CN108198211A (zh) * 2017-11-20 2018-06-22 海纳医信(北京)软件科技有限责任公司 眼底图像的处理方法及装置、存储介质、处理器
EP3730036A1 (de) * 2019-04-23 2020-10-28 Carl Zeiss Vision International GmbH Bestimmung eines refraktionsfehlers eines auges
JP7419042B2 (ja) * 2019-11-29 2024-01-22 キヤノン株式会社 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム
US11102381B1 (en) * 2021-01-05 2021-08-24 Board Of Regents, The University Of Texas System Clearcam Inc. Methods, systems and controllers for facilitating cleaning of an imaging element of an imaging device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05154109A (ja) * 1991-12-09 1993-06-22 Topcon Corp 眼科用画像処理装置
JPH09253052A (ja) * 1996-03-25 1997-09-30 Canon Inc 眼底撮像装置
JP2003010125A (ja) * 2001-06-15 2003-01-14 Carl Zeiss Jena Gmbh 眼底色素、特に黄斑部色素キサントフィルの2次元分布状態の測定のための装置および方法
JP2003299620A (ja) * 2002-04-11 2003-10-21 Canon Inc 眼底画像処理装置
JP2008241407A (ja) * 2007-03-27 2008-10-09 Mitsubishi Electric Corp 欠陥検出方法及び欠陥検出装置
JP2008293185A (ja) * 2007-05-23 2008-12-04 Olympus Corp 画像処理装置又は画像処理プログラム
US20100195048A1 (en) * 2009-01-15 2010-08-05 Physical Sciences, Inc. Adaptive Optics Line Scanning Ophthalmoscope

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5511324B2 (ja) * 2009-11-17 2014-06-04 キヤノン株式会社 補償光学装置、補償光学方法、撮像装置、撮像方法
CA2787336A1 (en) * 2010-01-21 2011-07-28 Physical Sciences, Inc. Multi-functional adaptive optics retinal imaging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05154109A (ja) * 1991-12-09 1993-06-22 Topcon Corp 眼科用画像処理装置
JPH09253052A (ja) * 1996-03-25 1997-09-30 Canon Inc 眼底撮像装置
JP2003010125A (ja) * 2001-06-15 2003-01-14 Carl Zeiss Jena Gmbh 眼底色素、特に黄斑部色素キサントフィルの2次元分布状態の測定のための装置および方法
JP2003299620A (ja) * 2002-04-11 2003-10-21 Canon Inc 眼底画像処理装置
JP2008241407A (ja) * 2007-03-27 2008-10-09 Mitsubishi Electric Corp 欠陥検出方法及び欠陥検出装置
JP2008293185A (ja) * 2007-05-23 2008-12-04 Olympus Corp 画像処理装置又は画像処理プログラム
US20100195048A1 (en) * 2009-01-15 2010-08-05 Physical Sciences, Inc. Adaptive Optics Line Scanning Ophthalmoscope

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015008841A (ja) * 2013-06-27 2015-01-19 株式会社ニデック 画像処理装置および画像処理プログラム
JP2015221089A (ja) * 2014-05-22 2015-12-10 キヤノン株式会社 画像生成装置および画像生成方法
JP2016083240A (ja) * 2014-10-27 2016-05-19 株式会社トーメーコーポレーション 眼科装置
JP2016209147A (ja) * 2015-04-30 2016-12-15 株式会社ニデック 眼底画像処理装置、および眼底画像処理プログラム

Also Published As

Publication number Publication date
US20130071004A1 (en) 2013-03-21
US9082010B2 (en) 2015-07-14
JP5847510B2 (ja) 2016-01-20

Similar Documents

Publication Publication Date Title
JP5847510B2 (ja) 画像処理装置及び画像処理方法
US11058293B2 (en) Image processing apparatus, ophthalmologic imaging apparatus, image processing method, and storage medium
JP5721412B2 (ja) 眼科装置、血流速算出方法およびプログラム
JP5721411B2 (ja) 眼科装置、血流速算出方法およびプログラム
JP5641744B2 (ja) 撮像装置及びその制御方法
JP6184232B2 (ja) 画像処理装置及び画像処理方法
JP7384987B2 (ja) 眼科装置
US10433721B2 (en) Ophthalmic apparatus and control method for the same
JP6407631B2 (ja) 眼科装置
JP6901264B2 (ja) 眼科装置
JP6853690B2 (ja) 眼科撮影装置
US10130249B2 (en) Inspection apparatus, image processing apparatus, method of operating inspection apparatus, image processing method, and recording medium
JP2018000954A (ja) 検査装置の制御方法、制御装置及びプログラム
JP6437055B2 (ja) 画像処理装置及び画像処理方法
JP2019025186A (ja) 眼科装置及びデータ収集方法
JP6633939B2 (ja) 検査装置
WO2019198629A1 (ja) 画像処理装置およびその制御方法
CN117858654A (zh) 前眼部解析装置、前眼部解析方法以及程序
JP2020171664A (ja) 画像解析方法及び画像解析装置
JP2019154933A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151125

R151 Written notification of patent or utility model registration

Ref document number: 5847510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees