JP6463048B2 - 画像処理装置及び画像処理装置の作動方法 - Google Patents

Description

本発明は眼科診療に用いられる画像処理装置及び画像処理装置の作動方法に関する。

生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡（ＳＬＯ；Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）は、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像をＳＬＯ画像と記す。

近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において、被検眼の収差によるＳＬＯ画像のＳ／Ｎ比及び分解能の低下が問題になってきた。それを解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発され、高横分解能なＳＬＯ画像（高倍率画像）の取得を可能にしている。

このような高倍率画像は、動画像として取得することができ、血流動態を非侵襲に観察する目的等に利用される。このとき、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度等が計測される。また、高倍率画像を用いて視機能との関連を評価するために視細胞Ｐを検出した上で視細胞Ｐの密度分布や配列の計測が行われている。図６（ｂ）に高倍率画像の例を示す。視細胞Ｐや毛細血管の位置に対応した低輝度領域Ｑ、白血球の位置に対応した高輝度領域Ｗが観察できる。

ここで、高倍率画像を用いて視細胞Ｐを観察する場合や視細胞Ｐの分布を計測する場合には、フォーカス位置を網膜外層（図６（ａ）のＢ５）付近に設定し、図６（ｂ）のような高倍率画像を撮影する。一方、網膜内層（図６（ａ）のＢ２からＢ４）には網膜血管や分岐した毛細血管が走行している。このとき、患眼を撮影する場合には、その撮像対象領域が高倍率画像の画角よりも大きい場合がしばしば見られる。これは、広範な視細胞欠損領域を撮像する場合や、初期の毛細血管病変の後発部位である傍中心窩領域を撮像する場合等である。そこで、異なる撮影位置で撮影して得た複数の高倍率画像を貼り合わせて表示する技術が、特許文献１に開示されている。

また、ある撮影位置の高倍率の動画像における固視微動等の影響が大きな例外フレームを判定し、高倍率の動画像における判定された例外フレーム以外のフレームを表示する技術が、特許文献２に開示されている。

特開２０１２−２１３５１３号公報 特開２０１３−１６９３０９号公報

ここで、異なる撮影位置で撮影して得た複数の高倍率の動画像それぞれの動画像から、あるフレームを選択して張り合わせて表示する場合を考える。このとき、一般的には、複数の高倍率の動画像それぞれの動画像の各フレームからいくつかのフレームを選択し、選択されたフレームを利用して代表画像を取得する。そして、取得された代表画像同士を張り合わせることによって、広範囲の画像が生成される。この場合、取得された代表画像のうち隣接する代表画像同士を比較した場合、撮影位置や輝度特性、画像特徴等に関して、代表画像同士の連続性が良くないことがあった。このような広範囲の画像を用いて広範囲に分布する細胞群や組織、及びそれらの病変（視細胞欠損や毛細血管瘤）の分布を計測すると、解析不能な領域が発生する場合や解析対象が抽出できない場合等があった。
本発明の目的の一つは、異なる撮影位置で撮影して得た複数の高倍率の動画像それぞれの動画像から代表画像を取得する際に、該代表画像同士の連続性が良くなるように画像を選択することである。

本発明に係る画像処理装置の一つは、
異なる時間に眼部の異なる位置で撮影して得た複数の高倍率の動画像それぞれの動画像から得られた代表画像から成る複数の代表画像の特性の連続性を示す情報が所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択する選択手段と、
前記選択された少なくとも１つの画像により得られた代表画像であって、前記複数の高倍率の動画像に対応する複数の代表画像を用いて、広範囲の画像を生成する画像生成手段と、を備える。

また、本発明に係る画像処理装置の一つは、
異なる時間に眼部の異なる位置で撮影して得た複数の高倍率の動画像それぞれの動画像から得られた代表画像の画像群としての適合度を示す情報に基づいて、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択する選択手段と、
前記選択された少なくとも１つの画像により得られた代表画像であって、前記複数の高倍率の動画像に対応する複数の代表画像を用いて、広範囲の画像を生成する画像生成手段と、を備える。

また、本発明に係る画像処理装置の作動方法の一つは、
異なる時間に眼部の異なる位置で撮影して得た複数の高倍率の動画像それぞれの動画像から得られた代表画像から成る複数の代表画像の特性の連続性を示す情報が所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択する工程と、
前記選択された少なくとも１つの画像により得られた代表画像であって、前記複数の高倍率の動画像に対応する複数の代表画像を用いて、広範囲の画像を生成する工程と、を有する。

また、本発明に係る画像処理装置の作動方法の一つは、
異なる時間に眼部の異なる位置で撮影して得た複数の高倍率の動画像それぞれの動画像から得られた代表画像の画像群としての適合度を示す情報に基づいて、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択する工程と、
前記選択された少なくとも１つの画像により得られた代表画像であって、前記複数の高倍率の動画像に対応する複数の代表画像を用いて、広範囲の画像を生成する工程と、を有する。

本発明によれば、異なる撮影位置で撮影して得た複数の高倍率の動画像それぞれの動画像から代表画像を取得する際に、該代表画像同士の連続性が良くなるように画像を選択することができる。

本発明の第一の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。 本発明の実施形態に係る画像処理装置１０を含むシステムの構成例を示すブロック図である。 本発明の実施形態に係るＳＬＯ像撮像装置２０の全体の構成について説明する図である。 記憶部１２０、画像処理部１３０に相当するハードウェアを有し、且つその他の各部をソフトウェアとして保持し、実行するコンピュータのハードウェア構成例を示すブロック図である。 本発明の実施形態に係る画像処理装置１０が実行する処理のフローチャートである。 本発明の第一の実施形態での画像処理内容を説明する図である。 本発明の第一の実施形態に係るＳ５３０及びＳ５４０で実行される処理の詳細を示すフローチャートである。 本発明の第二の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。 本発明の第二の実施形態での画像処理内容を説明する図である。 本発明の第二の実施形態に係るＳ５３０及びＳ５４０で実行される処理の詳細を示すフローチャートである。 本発明の第三の実施形態に係る断層像撮像装置６０の全体の構成について説明する図である。 本発明の第三の実施形態での画像処理内容を説明する図である。 本発明の第四の実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。 本発明のその他の実施形態での画像処理内容を説明する図である。

本実施形態に係る画像処理装置は、眼部の異なる位置で撮影された複数の動画像それぞれの動画像から選択されて得た画像（代表画像）から成る複数の画像（画像群）の特性の連続性に基づいて、取得された複数の動画像それぞれの動画像から画像を選択する選択手段（例えば、図１の選択部１３４）を備える。これにより、異なる撮影位置で撮影して得た複数の高倍率の動画像それぞれの動画像から代表画像を取得する際に、該代表画像同士の連続性が良くなるように画像を選択することができる。

ここで、複数の画像（画像群）の特性とは、例えば、複数の画像の相対位置と輝度特性と画像特徴とのうち少なくとも一つのことである。また、複数の画像（画像群）のそれぞれの画像（動画像から選択されて得た画像）は、動画像から取得される代表画像であり、動画像から選択された１枚の画像でも良いし、ノイズやアーチファクト等が比較的少ない複数枚の画像が選択され、選択された画像が重ね合わされた画像でも良い。重ね合わされた画像を用いる場合には、複数の画像の特性の連続性が高くなるように、重ね合わせる画像の枚数を減らすことが好ましい。また、連続性を示す値を判定する判定手段を更に備えることが好ましく、これにより、判定された値が所定の条件を満たすように動画像から画像を選択することができる。ここで、判定された値が所定の条件を満たす場合とは、例えば、判定された値が閾値を超える場合や最大となる場合である。また、連続性を示す値は、複数の画像が張り合わせられた張り合わせ画像を用いて判定されることが好ましい。例えば、張り合わせ画像の面積と無血管領域境界の長さとのうち少なくとも一つに基づいて判定されるが、これらについては各実施形態で詳述する。以下、添付図面に従って本発明に係る画像処理装置及びその作動方法の好ましい実施形態について詳説する。ただし本発明はこれに限定されるものではない。

［第１の実施形態：異なる位置の複数の画像の相対位置や輝度特性の連続性］
本実施形態に係る画像処理装置は、異なる位置の複数の画像（画像群）の相対位置と輝度特性とのうち少なくとも一つの連続性に基づいて、画像群の適合度を判定する。最も適合度の高いフレームもしくは画像を選択して貼り合わせ表示することにより、撮影対象領域を略同一条件で観察できるように構成したものである。

具体的には、図６（ｇ）に示すような合計９枚の高倍率画像で画像群が構成され、各撮影位置単位で選択手段によって選択されたフレームを用いて重ね合わせ画像を生成し、該重ね合わせ画像を貼り合わせて画像群としての適合度を判定する場合について説明する。

（全体構成）
図２（ａ）は、本実施形態に係る画像処理装置１０を含むシステムの構成図である。図２（ａ）に示すように画像処理装置１０は、ＳＬＯ像撮像装置２０やデータサーバ４０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ）３０を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよいし、あるいは画像処理装置１０がＳＬＯ像撮像装置２０に直接接続されている構成であってもよい。

まず、ＳＬＯ像撮像装置２０は、眼部の広画角画像Ｄｌや高倍率画像Ｄｈを撮像する装置であり、前記広画角画像Ｄｌや前記高倍率画像Ｄｈ、及びその撮影時に用いた固視標位置Ｆｌ、Ｆｈの情報を画像処理装置１０及びデータサーバ４０へ送信する。なお、各倍率の画像を異なる撮影位置で取得する場合にはＤｌｉ，Ｄｈｊのように表す。すなわちｉ，ｊは各々撮影位置番号を示す変数であり、ｉ＝１，２，．．．，ｉｍａｘ、ｊ＝１，２，．．．，ｊｍａｘとする。また、高倍率画像を異なる倍率で取得する場合には、最も倍率の高い画像から順にＤ１ｊ，Ｄ２ｋ，．．．のように表記し、Ｄ１ｊのことを高倍率画像、Ｄ２ｋ，．．．を中間倍率画像と表記する。

また、データサーバ４０は、被検眼の広画角画像Ｄｌや高倍率画像Ｄｈ、及びその撮影時に用いた固視標位置Ｆｌ、Ｆｈのような撮像条件データ、眼部の画像特徴、眼部の画像特徴の分布に関する正常値などを保持する。眼部の画像特徴として、本発明では視細胞Ｐや毛細血管Ｑ、血球Ｗ、網膜血管や網膜層境界に関する画像特徴を扱う。ＳＬＯ像撮像装置２０が出力する前記広画角画像Ｄｌ、前記高倍率画像Ｄｈ、撮影時に用いた固視標位置Ｆｌ、Ｆｈ、画像処理装置１０が出力する眼部の画像特徴を該サーバに保存する。また画像処理装置１０からの要求に応じ、広画角画像Ｄｌ、高倍率画像Ｄｈ、眼部の画像特徴及び該画像特徴の正常値データを画像処理装置１０に送信する。

次に、図１を用いて本実施形態に係る画像処理装置１０の機能構成を説明する。図１は、画像処理装置１０の機能構成を示すブロック図であり、画像処理装置１０はデータ取得部１１０、記憶部１２０、画像処理部１３０、指示取得部１４０を有する。また、データ取得部１１０は、画像取得部１１１を備える。画像処理部１３０は位置合わせ部１３１、個別画像判定部１３２、画像群判定部１３３、選択部１３４、表示制御部１３５を備える。さらに、画像群判定部１３３は位置判定部１３３１及び輝度判定部１３３２を有する。

（補償光学系を備えたＳＬＯ像撮像装置）
次に、図３を用いて補償光学系を備えたＳＬＯ像撮像装置２０の構成を説明する。まず、２０１は光源であり、ＳＬＤ光源（Ｓｕｐｅｒ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｏｄｅ）を用いた。本実施例では眼底撮像と波面測定のための光源を共用しているが、それぞれを別光源とし、途中で合波する構成としても良い。光源２０１から照射された光は、単一モード光ファイバー２０２を通って、コリメータ２０３により、平行な測定光２０５として照射される。照射された測定光２０５はビームスプリッタからなる光分割部２０４を透過し、補償光学の光学系に導光される。

補償光学系は、光分割部２０６、波面センサー２１５、波面補正デバイス２０８および、それらに導光するための反射ミラー２０７−１〜４から構成される。ここで、反射ミラー２０７−１〜４は、少なくとも眼の瞳と波面センサー２１５、波面補正デバイス２０８とが光学的に共役関係になるように設置されている。また、光分割部２０６として、本実施例ではビームスプリッタを用いる。また、本実施例では波面補正デバイス２０８として液晶素子を用いた空間位相変調器を用いる。なお、波面補正デバイスとして可変形状ミラーを用いる構成としてもよい。補償光学系を通過した光は、走査光学系２０９によって、１次元もしくは２次元に走査される。走査光学系２０９として、本実施形態では主走査用（眼底水平方向）と副走査用（眼底垂直方向）に２つのガルバノスキャナーを用いた。より高速な撮影のために、走査光学系２０９の主走査側に共振スキャナーを用いてもよい。走査光学系２０９で走査された測定光２０５は、接眼レンズ２１０−１および２１０−２を通して眼２１１に照射される。眼２１１に照射された測定光２０５は眼底で反射もしくは散乱される。接眼レンズ２１０−１および２１０−２の位置を調整することによって、眼２１１の視度にあわせて最適な照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。

眼２１１の網膜から反射もしくは散乱された反射散乱光（戻り光）は、入射した時と同様の経路を逆向きに進行し、光分割部２０６によって一部は波面センサー２１５に反射され、光線の波面を測定するために用いられる。波面センサー２１５は、補償光学制御部２１６に接続され、受光した波面を補償光学制御部２１６に伝える。波面補正デバイス２０８も補償光学制御部２１６に接続されており、補償光学制御部２１６から指示された変調を行う。補償光学制御部２１６は波面センサー２１５の測定結果による取得された波面を基に収差のない波面へと補正するような変調量（補正量）を計算し、波面補正デバイス２０８にそのように変調するように指令する。なお、波面の測定と波面補正デバイス３０８への指示は繰り返し処理され、常に最適な波面となるようにフィードバック制御が行われる。

光分割部２０６を透過した反射散乱光は光分割部２０４によって一部が反射され、コリメータ２１２、光ファイバー２１３を通して光強度センサー２１４に導光される。光強度センサー２１４で光は電気信号に変換され、制御部２１７によって眼部画像として画像に構成されて、ディスプレイ２１８に表示される。なお、図３の構成で走査光学系の振り角を大きくし、補償光学制御部２１６が収差補正を行わないよう指示することによってＳＬＯ像撮像装置２０は通常のＳＬＯ装置としても動作し、広画角なＳＬＯ画像（広画角画像Ｄｌ）を撮像できる。

（画像処理装置１０のハードウェア構成及び実行手順）
次に、図４を用いて画像処理装置１０のハードウェア構成について説明する。図４において、３０１は中央演算処理装置（ＣＰＵ）、３０２はメモリ（ＲＡＭ）、３０３は制御メモリ（ＲＯＭ）、３０４は外部記憶装置、３０５はモニタ、３０６はキーボード、３０７はマウス、３０８はインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に説明する各部として機能する。画像処理装置１０を構成する各ブロックの機能については、図５のフローチャートに示す画像処理装置１０の具体的な実行手順と関連付けて説明する。

＜ステップ５１０：画像取得＞
画像取得部１１１は、ＳＬＯ像撮像装置２０に対して、広画角画像Ｄｌ、高倍率画像Ｄｈｊおよび対応する固視標位置Ｆｌ、Ｆｈの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Ｆｌ及びＦｈを設定して広画角画像Ｄｌ及び高倍率画像Ｄｈｊを取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。

ＳＬＯ像撮像装置２０は、該取得要求に応じて広画角画像Ｄｌと高倍率画像Ｄｈｊ、対応する固視標位置Ｆｌ、Ｆｈを取得し送信する。画像取得部１１１はＳＬＯ像撮像装置２０からＬＡＮ３０を介して当該広画角画像Ｄｌ、高倍率画像Ｄｈｊ及び固視標位置Ｆｌ、Ｆｈを受信し、記憶部１２０に格納する。なお、本実施形態では前記広画角画像Ｄｌ及び高倍率画像Ｄｈｊはフレーム間位置合わせ済みの動画像とする。

＜ステップ５２０：位置合わせ＞
位置合わせ部１３１は、広画角画像Ｄｌと高倍率画像Ｄｈｊとの位置合わせを行い、広画角画像Ｄｌ上の高倍率画像Ｄｈｊの相対位置を求める。高倍率画像Ｄｈｊ間で重なり領域がある場合には、該重なり領域に関しても画像間類似度を算出し、最も画像間類似度が最大となる位置に高倍率画像Ｄｈｊ同士の位置を合わせる。

次に、Ｓ５１０において異なる倍率の画像が取得されている場合には、より低倍率な画像から順に位置合わせを行う。例えば高倍率画像Ｄ１ｊと中間倍率画像Ｄ２ｋが取得されている場合には、まず、広画角画像Ｄｌと中間倍率画像Ｄ２ｋとの間で位置合わせを行い、次いで中間倍率画像Ｄ２ｋと高倍率画像Ｄ１ｊとの間で位置合わせを行う。高倍率画像のみの場合には、広画角画像Ｄｌと高倍率画像Ｄｈｊとの位置合わせのみ行うことは言うまでもない。

なお、位置合わせ部１３１は、記憶部１２０から高倍率画像Ｄｈｊの撮影時に用いた固指標位置Ｆｈを取得し、広画角画像Ｄｌと高倍率画像Ｄｈｊとの位置合わせにおける位置合わせパラメータの探索初期点の設定に用いる。また、画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて位置合わせを行う。

＜ステップ５３０：動画像毎に適合度を判定する処理＞
個別画像判定部１３２が、フレームの輝度値やフレーム間の移動量に基づいて適合度の判定処理を行う。さらに選択部１３４が適合度の判定結果に基づいて選択処理を行い、個別画像を形成する。ここで、個別画像は、動画像の各フレームを全て重ね合わされた画像でも良いし、選択された１枚のフレームでも良い。また、ノイズ等が比較的少ない複数の画像が選択され、選択された画像が重ね合わされた画像でも良い。本ステップの処理については、図７（ａ）に示すフローチャートを用いて後に詳しく説明する。

＜ステップ５４０：画像群として適合度を判定する処理＞
Ｓ５３０で形成された個別画像に基づいて、画像群判定部１３３が画像群（異なる位置の隣接する複数の画像）の間の相対位置及び相対輝度に基づいて適合度を判定し、選択部１３４が最も適合度の高い組み合わせの画像を選択して貼り合わせ画像を形成する。本実施形態では、選択部１３４が各取得位置で画像群判定部１３３が最も適合度の高いと判定した組み合わせのフレーム区間を選択して重ね合わせ画像を生成し、貼り合わせ画像を形成する。本ステップの処理については、図７（ｂ）に示すフローチャートを用いて後に詳しく説明する。

＜ステップ５５０：表示＞
表示制御部１３５は、Ｓ５２０において得られた位置合わせパラメータの値及びＳ５４０において選択された領域もしくはフレームもしくは画像に基づき、広画角画像Ｄｌ上に高倍率画像群Ｄｈｊを表示する。ここで、表示制御部１３５は、複数の高倍率画像Ｄｈｊが取得されている場合に高倍率画像間の濃度差を補正して表示してもよい。任意の公知の輝度補正法を適用でき、本実施形態では各高倍率画像ＤｈｊにおいてヒストグラムＨｊを生成し、ヒストグラムＨｊの平均と分散が高倍率画像Ｄｈｊ間で共通した値になるように各高倍率画像Ｄｈｊの輝度値を線形変換することにより濃度差を補正する。なお、高倍率画像間の輝度補正法はこれに限らず、任意の公知の輝度補正法を用いてよい。さらに、表示倍率については、指示取得部１４０を通じて操作者が指定した高倍率画像を拡大してモニタ３０５に表示する。

＜ステップ５６０：結果を保存するか否かの指示＞
指示取得部１４０は、広画角画像Ｄｌ、選択部１３４によって選択された高倍率画像Ｄｈｊ、固視標位置Ｆｌ、Ｆｈ、Ｓ５２０において取得された位置合わせパラメータ値をデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やマウス３０７を介して操作者により入力される。保存が指示された場合はＳ５７０へ、保存が指示されなかった場合はＳ５８０へと処理を進める。

＜ステップ５７０：結果の保存＞
画像処理部１３０は、検査日時、披検眼を同定する情報、広画角画像Ｄｌ、選択部１３４によって選択された高倍率画像Ｄｈｊと固視標位置Ｆｌ、Ｆｈ、位置合わせパラメータ値を関連付けてデータサーバ４０へ送信する。

＜ステップ５８０：処理を終了するか否かの指示＞
指示取得部１４０は、画像処理装置１０による広画角画像Ｄｌと高倍率画像Ｄｈｊに関する処理を終了するか否かの指示を外部から取得する。この指示は、キーボード３０６やマウス３０７を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはＳ５１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

（動画像毎に適合度を判定する処理）
次に、図７（ａ）に示すフローチャートを参照しながら、Ｓ５３０で実行される処理の詳細について説明する。

＜ステップ７１０：適合度判定基準の取得＞
個別画像判定部１３２は、指示取得部１４０を通じて適合度判定基準を取得する。ここで、判定基準としては、以下の項目ａ）〜ｄ）が挙げられる。

ａ）画像の輝度値が適正範囲であること
ｂ）画質（Ｓ／Ｎ比等）の適正値の範囲
ｃ）参照フレームに対する移動量が適正範範囲であること
ｄ）フォーカス位置が適正範囲にあること
ここで、本実施形態では、ａ）を適合度として取得する。これは、瞬目や、固視位置が極端にずれて測定光が眼底に届かないといった要因で発生する低輝度フレームを除外するためである。

＜ステップ７２０：適合度判定＞
個別画像判定部１３２は、高倍率ＳＬＯ画像Ｄｈｊの各フレームに対してＳ７１０で取得した基準に従って適合度を判定する。本実施形態では、ａ）が各々適正範囲であれば１、適正範囲外であれば−１とする。

＜ステップ７３０：画像選択＞
選択部１３４は、Ｓ７２０で判定された適合度に基づいて撮影位置単位で表示のために使用する画像（動画像の場合はフレーム）を選択し、画像を形成する。本実施形態では高倍率画像は図６（ｃ）に示すように視細胞を撮影した動画像とし、該動画像から重ね合わせ画像を形成するものとする。ここで、個別画像の形成方針としては、以下の項目（ｉ）と（ｉｉ）が挙げられる。

（ｉ）重ね合わせ枚数を最大化する（画質優先）
（ｉｉ）重ね合わせ画像の面積を最大化する（画像欠け防止優先）
（ｉ）の場合、Ｓ７２０で選択された全てのフレームを用いて重ね合わせる。例えば、個別高倍率動画像の各フレームの位置が図６（ｃ）のように対応づけられる（Ｎｆ：フレーム番号）場合、重ね合わせ結果は図６（ｄ）になる。（この例では先頭フレームを参照フレームとする。なお、この図では重ね合わせに用いない領域（画像欠け）を黒色で示した）高画質だが、フレーム間位置合わせの結果画素値のないフレームがある領域は重ね合わせに用いられないため画像欠けが生じやすい。また、（ｉｉ）の場合、Ｓ７２０で選択されたフレームのうち少しでも位置ずれのあるフレームを除外する。例えば図６（ｃ）の場合には、２〜４フレーム目が除外される。画像欠けは生じないものの、重ね合わせ枚数が減るため画質は（ｉ）の場合より下がりやすい。ここで、本実施形態では、Ｓ７２０で算出された適合度が１のフレームを選択するとともに、（ｉ）の方針、すなわち該選択された全てのフレームにおいて画素値が正である領域のみを用いて重ね合わせ画像を形成する。

（画像群として適合度を判定する処理）
次に、図７（ｂ）に示すフローチャートを参照しながら、Ｓ５４０で実行される処理の詳細について説明する。

＜ステップ７４０：適合度判定＞
画像群判定部１３３は、Ｓ７３０で形成された画像群をＳ５２０で実行された位置合わせパラメータに基づいて貼り合わせし、該画像群の相対位置及び輝度特性に基づいて画像群としての適合度を判定する。なお、本実施形態では画像群は図６（ｇ）に示すような９つの重ね合わせ画像で構成され、左上からラスター走査（ジグザグ走査）の順で画像番号ｊが増加するものとする。貼り合わせ画像（画像群）の適合度に関する判定方針を優先度順に表記すると以下のようになる。

１．貼り合わせ画像内に画像欠け領域を生じない
２．画質が撮影位置によってばらつかない
３．できるだけ多くの枚数で重ね合わせを行う
上記のうち、１、２は貼り合わせ画像内を同一条件で観察可能にするために設定される条件であり、位置判定部１３３１が条件１を、輝度判定部１３３２が条件２を判定する。なお、画像群の相対位置と輝度特性との両方を条件とする必要はなく、いずれか一つを条件とすれば良い。

ここで、画像群としての適合度を判定しない場合、例えば、撮影位置ごとにＳ７３０の（ｉｉ）の方針で貼り合わせ画像を生成した場合、上記条件２を満たさない場合が生じる。また、（ｉｉ）の方針で張り合わせ画像を生成し且つ上記条件２を満たすようにした場合、最も重ね合わせ枚数の少ない画像の重ね合わせ枚数に合わせることになるため、画像群としての適合度を判定して画像を選択する場合よりも画質が低下してしまう。そこで、隣接する画像の端部や重なり領域におけるデータの連続性や補完性を考慮した適合度判定を行うことで、条件１と２を満たしつつ、より高画質な貼り合わせ画像を得る（多くの枚数で重ね合わせを行う）ことが可能になる。

本実施形態では、図６（ｆ）の灰色領域に示すような隣接する２画像間での重複領域と、図６（ｆ）の黒色領域に示すような隣接する４画像間での重複領域が存在する。具体的には、以下の手順で画像群の適合度を判定する。

（１）Ｓ７３０で生成した個別画像（画質優先）を、Ｓ５２０で求めた位置合わせパラメータで貼り合わせる。

（２）（１）で生成した貼り合わせ画像内の画像欠け領域の有無を調べ、画像群の適合度として
（貼り合わせ画像の面積−画像欠けの面積）／（貼り合わせ画像の面積）
を算出する。

＜ステップ７５０：画像選択＞
選択部１３４は、Ｓ７４０で判定された適合度に基づき、該適合度が最も高くなるように各高倍率画像における画像選択を行い、選択された画像に基づいて画像群の形成処理を行う。具体的には、以下の手順で画像選択（フレームもしくは領域の選択）を行い、画像群の形成処理を行う。

（３）もし画像欠けがなければそのまま貼り合わせ画像を形成して終了
（４）画像欠けがある場合は画像欠け領域の位置を求める。

（５）画像欠け領域が含まれる、もしくは画像欠け領域に隣接する辺をもつ画像の重複領域における補完（代替）データの有無を調べる。

（例えば図６（ｇ）では画像６と画像９に画像欠けが生じているので、画像６と画像５の左端、画像９において補完データの有無を調べる）
（６）補完（代替）データがある場合は、補完データのうち最も画質の良い（重ね合わせ枚数の多い）補完データで画像欠け領域を置き換え、（８）を実行する（選択部１３４による画像内の領域選択処理に相当する）
（７）補完（代替）データがない場合は、画像欠け領域が解消されるよう画像欠け領域が含まれる画像もしくは該領域に隣接する辺を持つ画像の選択フレームを変更する。もし画像欠け領域を解消するフレームの選択法が複数ある場合は、最も重ね合わせ枚数が多くなるフレーム選択法を用いる。

（８）（７）で得られた重ね合わせ画像群のうち、最も重ね合わせ枚数の少ない重ね合わせ画像の重ね合わせ枚数ＡＮｍｉｎを貼り合わせ画像の重ね合わせ枚数とし、各撮影位置での重ね合わせ枚数をＡＮｍｉｎに変更して再び重ね合わせ画像を生成する。

（９）（８）で生成した重ね合わせ画像を用いて貼り合わせ画像を生成する。

（図６（ｈ）のように画像欠けがなくなり、重ね合わせ枚数が同一かつ最大の貼り合わせ画像が形成される）
なお、同一検査の同一撮影位置で動画像がＮｔ回（Ｎｔ≧２）取得されている場合には、Ｓ７３０において（１〜Ｎｔ回目のうちで）最も適合度の高い動画像を選択しておき、Ｓ７５０における画像選択の（５）において画像欠け領域に対する他の撮影回での代替データの有無を調べ、代替データのうち最も画質の良い代替データで置き変える。それでも画像欠け領域がある場合に隣接画像の重複領域での代替データの有無を調べるようにすればよい。なお、本実施形態では画像群としての適合度の判定に基づいて形成される
貼り合わせ画像は静止画像（重ね合わせ画像）としたが、本発明はこれに限定されない。例えば、隣接する動画像の端部や重なり領域におけるデータの補完性を考慮した適合度判定を行った上で、図６（ｊ）に示すように動画像を貼り合わせ表示してもよい。

動画像の貼り合わせ表示の場合も基本的な処理の流れは静止画像の貼り合わせ表示の場合と同様であるが、以下の点が異なる。すなわち、
（ｉ）画像処理装置１０に対して図２（ｂ）に示すような時相データ取得装置５０を接続し、動画像と同時に時相データを取得しておく。時相データとは、例えば脈波計により取得された生体信号データである。時相データを参照することで各動画像の心周期、すなわち再生すべき周期が得られる。動画像のフレーム補間処理によって該再生周期を動画像間で同一に揃えておく。

（ｉｉ）Ｓ７３０の撮影位置単位での画像形成処理において、輝度異常のフレームを除いた最長の連続したフレーム区間を選択する。

（ｉｉｉ）Ｓ７４０の画像群としての適合度判定処理において、以下の方針で適合度判定を行う。
貼り合わせ画像内に画像欠け領域を生じない
再生フレーム数が撮影位置によってばらつかない
できるだけ多くのフレーム数（周期）の動画像を貼り合わせ表示する

（ｉｖ）Ｓ７５０の画像群としての画像形成処理の（６）（７）（８）において選択されるフレームは、連続したフレーム区間とする。

これにより、動画像の貼り合わせ表示において画像欠けがなくなり、再生フレーム数が同一かつ最長の連続したフレームの貼り合わせ動画像が形成される。なお、もし時相データが取得されていない場合には再生時刻を調整せずに動画像として貼り合わせ表示してもよい。

以上述べた構成によれば、画像処理装置１０は異なる撮影位置の補償光学ＳＬＯ画像を貼り合わせ表示する際に撮影対象領域と比較した場合の画像群の適合度、すなわち観察不能領域の少なさに基づく適合度を判定する。該適合度が最も高くなるように隣接する画像の端部や重なり領域におけるデータの連続性や補完性に基づいて画像内の領域もしくはフレームもしくは画像を選択し、貼り合わせ表示する。これにより、観察対象の細胞や組織、及びそれらの病変が複数の高倍率画像にまたがっている場合に、略同一の条件で観察可能な貼り合わせ画像を生成できる。

［第２の実施形態：異なる位置の複数の画像の画像特徴の連続性］
本実施形態に係る画像処理装置は、第１実施形態のように隣接する高倍率画像の相対位置や輝度特性の連続性に基づき画像群の適合度を判定するのではなく、隣接する高倍率画像から抽出された画像特徴の連続性に基づき画像群の適合度を判定するよう構成したものである。具体的には、高倍率ＳＬＯ画像から抽出された傍中心窩の毛細血管領域の連続性に基づいて画像群の適合性を判定する。

本実施形態に係る画像処理装置１０と接続される機器の構成は第１実施形態の場合と同様である。なお、データサーバ４０は被検眼の広画角画像Ｄｌ、高倍率画像Ｄｈ、及びその取得時に用いた固視標位置Ｆｌ、Ｆｈのような取得条件データ以外に、眼部の画像特徴や眼部の画像特徴の分布に関する正常値も保持する。眼部の画像特徴としては任意のものを保持できるが、本実施形態では網膜血管、毛細血管Ｑ、血球Ｗを扱う。画像処理装置１０が出力する眼部の画像特徴は該データサーバ４０に保存される。また画像処理装置１０からの要求に応じて眼部の画像特徴や眼部の画像特徴の分布に関する正常値データが画像処理装置１０に送信される。ここで、本実施形態に係る画像処理装置１０の機能ブロックを図８に示す。画像処理部１３０に画像特徴取得部１３６を備える点が実施形態１の場合と異なっている。また、本実施形態での画像処理フローは図５と同様であり、Ｓ５１０、Ｓ５２０、Ｓ５６０、Ｓ５７０、Ｓ５８０は実施形態１の場合と同様である。そこで、本実施形態ではＳ５３０、Ｓ５４０、Ｓ５５０の処理のみ説明する。

＜ステップ５３０：動画像毎に適合度を判定する処理＞
個別画像判定部１３２がフレームの輝度値やフレーム間の移動量に基づいて適合度の判定処理を行う。さらに選択部１３４が適合度の判定結果に基づいて選択処理を行い、個別画像を形成する。本ステップの処理については、図１０（ａ）に示すフローチャートを用いて後に詳しく説明する。

＜ステップ５４０：画像群として適合度を判定する処理＞
Ｓ５３０で形成された個別画像に基づいて、画像群判定部１３３が画像特徴の画像間の連続性に基づいて適合度を判定し、画像選択部１３４が最も適合度の高い組み合わせの画像を選択し、貼り合わせ画像を形成する。本ステップの処理については、図１０（ｂ）に示すフローチャートを用いて後に詳しく説明する。

＜ステップ５５０：表示＞
表示制御部１３５は、Ｓ５２０において得られた位置合わせパラメータ値を用いて、Ｓ５４０で形成した貼り合わせ画像を表示する。本実施形態では、図９（ｂ）のような毛細血管を抽出した画像の貼り合わせ表示を行う。

（動画像毎に適合度を判定する処理）
次に、図１０（ａ）に示すフローチャートを参照しながら、Ｓ５３０で実行される処理の詳細について説明する。なお、Ｓ１０１０〜Ｓ１０２０は、第１実施形態におけるＳ７１０〜Ｓ７２０と同様であるので、説明は省略する。

＜ステップ１０３０：画像選択＞
選択部１３４は、Ｓ１０２０で判定された適合度に基づいて撮影位置単位で表示のために使用する画像（動画像の場合はフレーム）を選択し、画像を形成する。本実施形態では高倍率画像は毛細血管を撮影した動画像とし、該動画像から毛細血管領域を抽出した画像（以下、毛細血管画像と表記）を形成するものとする。

個別画像の形成方針としては、以下の項目（ｉ）と（ｉｉ）が挙げられる。

（ｉ）毛細血管画像の形成に使用するフレーム数を最大化する（画質優先）
（ｉｉ）毛細血管領域の面積を最大化する（画像欠け防止優先）
（ｉ）の場合、Ｓ７２０で選択された全てのフレームを用いて毛細血管を抽出する。また、（ｉｉ）の場合、Ｓ７２０で選択されたフレームのうち少しでも位置ずれのあるフレームを除外する。例えば図６（ｃ）の場合には、２〜４フレーム目が除外される。画像欠けは生じないものの、毛細血管の抽出に用いられるフレーム数が減るため画質は（ｉ）の場合より下がりやすい。ここで、本実施形態では、Ｓ１０２０で算出された適合度が１のフレームを選択するとともに、（ｉ）の方針、すなわち該選択された全てのフレームにおいて画素値が正である領域のみを用いて毛細血管領域を抽出する。

＜ステップ１０４０：画像特徴の抽出＞
画像特徴取得部１３６は、高倍率画像Ｄｈｊから毛細血管を検出し、検出された毛細血管領域から無血管領域の境界を検出する。本実施形態では、まず毛細血管を高倍率画像Ｄｈｊから以下の手順で血球成分の移動範囲として特定する。

（ａ） フレーム間位置合わせ済み高倍率画像Ｄｈｊの隣接フレーム間で差分処理を行う（差分動画像を生成する）。

（ｂ） （ａ）で生成した差分動画像の各ｘ−ｙ位置においてフレーム方向に関する輝度統計量（分散）を算出する。

（ｃ） 前記差分動画像の各ｘ−ｙ位置において輝度分散が閾値Ｔｖ以上の領域を血球が移動した領域、すなわち毛細血管領域として特定する。

なお、毛細血管の検出処理はこの方法に限定されるものではなく、任意の公知の方法を用いて良い。例えば、高倍率画像Ｄｈｊの特定のフレームに対し線状構造を強調するフィルタを適用して血管を検出してもよい。

次に、画像特徴取得部１３６は得られた毛細血管領域から無血管領域の境界を検出する。網膜の中心窩付近には網膜血管の存在しない領域（無血管領域）が存在する（例えば図６（ｉ）のＤｈ５）。網膜血管の初期病変は無血管領域境界周囲に生じやすく、また糖尿病網膜症等の疾病の進行に伴って無血管領域が拡大していく。従って無血管領域境界は観察及び解析の対象として重要である。

本実施形態では、高倍率画像群の中心に位置する高倍率画像Ｄｈ５に円形の可変形状モデルを配置し、該形状モデルを無血管領域境界に一致するよう変形させることで無血管領域を特定する。変形が完了した該可変形状モデルの位置を無血管領域境界の候補位置とする。なお、無血管領域境界の特定方法はこれに限らず任意の公知の手法を用いてよい。

（画像群として適合度を判定する処理）
次に図１０（ｂ）に示すフローチャートを参照しながら、Ｓ５４０で実行される処理の詳細について説明する。

＜ステップ１０５０：適合度判定＞
画像群判定部１３３は、高倍率画像Ｄｈｊから取得された画像特徴（毛細血管領域）に関して以下の指標を算出し、該指標値に基づいて画像群としての適合度を判定する。

（実際に取得された無血管領域境界の長さの総和）
／（Ｓ１０４０にて設定した無血管領域境界候補点列の長さの総和）
＜ステップ１０６０：画像選択と画像特徴の更新＞
選択部１３４は、Ｓ１０５０で判定された適合度に基づき、該適合度が最も大きくなるように各高倍率画像における画像選択を行い、選択された画像に基づいて画像群の形成処理を行う。

具体的には、以下の手順で画像選択を行い、画像群の形成処理を行う。

（３´）もし画像特徴欠けがなければそのまま貼り合わせ画像を形成し終了
（４´）画像特徴欠けがある場合は画像特徴欠け領域の位置を求める。

（５´）画像特徴欠け領域が含まれる、もしくは画像特徴欠け領域に隣接する辺をもつ画像の重複領域における補完（代替）データの有無を調べる。例えば図９（ａ）では画像６に画像特徴欠けが生じているので、画像６と画像５の左端において補完データの有無を調べる）
（６´）補完（代替）データがある場合は、補完データのうち最も画質の良い（毛細血管抽出に用いるフレーム数の多い）補完データで画像特徴欠け領域を置き換え、（８´）を実行する
（７´）補完（代替）データがない場合は、画像特徴欠け領域が解消されるよう画像特徴欠け領域が含まれる画像もしくは該領域に隣接する辺を持つ画像の選択フレームを変更する。もし画像特徴欠け領域を解消するフレームの選択法が複数ある場合は、最も選択されるフレーム数が多くなるフレーム選択法を用いる。

（８´）（７´）で得られた毛細血管画像群のうち、最も毛細血管抽出に用いられたフレーム数の少ない毛細血管画像の生成に用いられたフレーム数ＡＮｍｉｎ´を各毛細血管画像で使用されるフレーム数とする。各撮影位置での毛細血管抽出に用いられるフレーム数をＡＮｍｉｎ´に変更して再び毛細血管画像を生成する。

（９´）（８´）で生成した毛細血管画像を用いて貼り合わせ画像を生成する。

（図６（ｈ）のように画像特徴欠けがなくなり、毛細血管抽出に使用されるフレーム数が同一かつ最大の貼り合わせ画像が形成される）
なお、画像群としての適合度を算出するために用いられる画像特徴は無血管領域境界に限定されず、任意の画像特徴を利用してよい。例えば、図９（ｃ）に示すように視神経乳頭部を撮影した４枚の高倍率画像の画像群としての適合度を判定する場合には、閾値処理により陥凹部を検出し該陥凹部の境界位置の連続性に基づいて画像群としての適合度を判定できる。

具体的には陥凹部境界のエッジの総和を画像群としての適合度として用いる。もちろん画像群としての適合度はこれに限らず、例えば閾値処理により検出された陥凹領域の面積でもよい。

画像群としての適合度が最大になるような画像選択法は基本的に実施形態１のＳ７５０と同様である。ただし、フレーム選択後に生成された重ね合わせ画像に対して特徴抽出（陥凹部境界検出）を行い、該画像特徴の連続性を用いて画像群としての適合度を判定することと、該特徴抽出された画像を貼り合わせる点が第１実施形態の場合と異なる。このような画像群としての適合度判定及び画像群形成処理により、図９（ｄ）の右下の高倍率画像Ｄｈ３のように画像特徴の不連続部が存在した貼り合わせ画像は、図９（ｅ）のように該不連続部分が解消され解析対象の組織を略同一の条件で解析できるようになる。

以上述べた構成によれば、画像処理装置１０は、隣接する高倍率画像から抽出された画像特徴の連続性に基づいて画像群の適合度を判定する。これにより、解析対象の細胞や組織、及びそれらの病変が複数の高倍率画像にまたがっている場合に、略同一の条件で解析可能な貼り合わせ画像を生成できる。なお、画像群の適合度を判定する際の条件として、画像特徴の他に、例えば、第１の実施形態の条件である画像群の相対位置と輝度特性とのうち少なくとも一つを条件に加えても良い。

［第３の実施形態：補償光学系を備えた断層像撮像装置］
本実施形態に係る画像処理装置は、異なる撮影位置の高倍率な補償光学ＯＣＴ断層画像を貼り合わせ表示する際に、撮影（解析）対象領域と比較した場合の観察（解析）不能領域の少なさに基づいて画像群としての適合度を判定する。

具体的には、中心窩付近で複数（３×３×３＝２７）の高倍率画像を直方体状に取得し、位置合わせ処理によって貼り合わせる際に撮像（解析）対象領域と比較した場合の観察（解析）不能領域の少なさを画像群の適合度として判定する場合について説明する。

本実施形態に係る画像処理装置１０と接続される機器の構成を図２（ｃ）に示す。本実施形態では補償光学系を備えた断層像撮像装置６０と接続される点が第１実施形態と異なっている。断層像撮像装置６０は眼部の断層像を撮像する装置であり、例えばスペクトラルドメイン方式のＯＣＴ（ＳＤ−ＯＣＴ；Ｓｐｅｃｔｒａｌ Ｄｏｍａｉｎ Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）として構成される。眼部断層像撮像装置６０は不図示の操作者による操作に応じ、被検眼の断層像を３次元的に撮像する。撮像した断層像は画像処理装置１０へと送信される。

次に、本実施形態に係る画像処理装置１０の機能ブロックは実施形態１の場合と同様であるので省略する。また、データサーバ４０は眼部の画像特徴や眼部の画像特徴の分布に関する正常値データを保持しており、本実施形態では網膜層境界やその形状・厚みに関する正常値データを保持している。

次に、図１１を用いて補償光学系を備えた断層像撮像装置６０の構成を説明する。図１１において、２０１は光源であり、本実施例では波長８４０ｎｍのＳＬＤ光源を用いる。光源２０１は低干渉性のものであれば良く、波長幅３０ｎｍ以上のＳＬＤ光源が好適に用いられる。また、チタンサファイアレーザなどの超短パルスレーザなどを光源に用いることもできる。光源２０１から照射された光は、単一モード光ファイバー２０２を通って、ファイバーカプラー５２０まで導光される。ファイバーカプラー５２０によって、測定光経路５２１と参照光経路５２２に分岐される。ファイバーカプラーは１０：９０の分岐比のものを使用し、投入光量の１０％が測定光経路５２１に行くように構成する。測定光経路５２１を通った光は、コリメータ２０３により、平行な測定光として照射される。コリメータ２０３以降の構成は実施形態１と同様であり、補償光学系や走査光学系を通して眼２１１に照射し、眼２１１からの反射散乱光は再度同様の経路をたどって光ファイバー５２１に導光されてファイバーカプラー５２０に到達する。一方、参照光経路５２２を通った参照光はコリメータ５２３で出射され、光路長可変部５２４で反射して再度ファイバーカプラー５２０に戻る。ファイバーカプラー５２０に到達した測定光と参照光は合波され、光ファイバー５２５を通して分光器５２６に導光される。分光器５２６によって分光された干渉光情報をもとに、制御部２１７によって眼部の断層像が構成される。制御部２１７は光路長可変部５２４を制御し、所望の深さ位置の画像を取得できる。なお、図１１の構成で走査光学系の振り角を大きくし、補償光学制御部２１６が収差補正を行わないよう指示することによって断層像撮像装置６０は通常の断層像撮像装置としても動作し、広画角な断層像（広画角画像Ｄｌ）を撮像できる。

また、本実施形態では補償光学系を備えた断層像撮像装置６０はＳＤ−ＯＣＴとして構成しているが、ＳＤ−ＯＣＴであることが必須の要件ではない。例えば、タイムドメインＯＣＴもしくはＳＳ−ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）として構成してもよい。ＳＳ−ＯＣＴの場合には異なる波長の光を異なる時間で発生させる光源を用い、スペクトル情報を取得するための分光素子は不要となる。また、ＳＳ−ＯＣＴでは、網膜だけでなく脈絡膜も画像に含まれる高深達な画像を取得できる。

本実施形態に係る画像処理装置１０の画像処理フローを図５に示す。Ｓ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０、Ｓ５５０以外は実施形態１の場合と同様であるので、本実施形態ではＳ５１０、Ｓ５２０、Ｓ５３０、Ｓ５４０、Ｓ５５０の処理の説明のみ行う。

＜ステップ５１０：画像取得＞
画像取得部１１１は断層像撮像装置６０に対して、広画角画像Ｄｌと高倍率画像Ｄｈｊ、及び対応する固視標位置Ｆｌ、Ｆｈの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Ｆｌ及びＦｈを設定して広画角画像Ｄｌ及び高倍率画像Ｄｈｊを取得する。なお本実施形態では高倍率画像をＤｈｊを同じ撮影位置でＮｐ回（本実施形態ではＮｐ＝３とする）繰り返し撮影するものとし、例えば同一撮影位置でｎ回目に撮影された高倍率画像をＤｈｊ＿ｎ、と表記する。また撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。

断層像撮像装置６０は該取得要求に応じて広画角画像Ｄｌと高倍率画像Ｄｈｊ＿ｎ、対応する固視標位置Ｆｌ、Ｆｈを取得し送信する。画像取得部１１１は断層像撮像装置６０からＬＡＮ３０を介して当該広画角画像Ｄｌと高倍率画像Ｄｈｊ＿ｎ、及び対応する固視標位置ＦｌとＦｈを受信し、記憶部１２０に格納する。なお、本実施形態では前記広画角画像Ｄｌ及び高倍率画像Ｄｈｊ＿ｎはスライス間位置合わせ済みの３次元画像とする。

＜ステップ５２０：位置合わせ＞
位置合わせ部１３１は、広画角画像Ｄｌと高倍率画像Ｄｈｊ＿ｎとの位置合わせを行い、広画角画像Ｄｌ上の高倍率画像Ｄｈｊ＿ｎの位置を決定する。まず、位置合わせ部１３３は記憶部１２０から高倍率画像Ｄｈｊ＿ｎの撮影時に用いた固指標位置Ｆｈを取得し、該固視標位置からの相対距離に基づいて広画角画像Ｄｌと高倍率画像Ｄｈｊ＿ｎとの位置合わせにおける位置合わせパラメータの探索初期点を設定する。高倍率画像Ｄｈｊ＿ｎ間で重なり領域がある場合には、該重なり領域に関して画像間類似度を算出し、画像間類似度が最大となる位置に高倍率画像Ｄｈｊ＿ｎ同士の位置を合わせる。

次に、Ｓ５３０において異なる倍率の画像が取得されている場合には、より低倍率な画像から順に位置合わせを行う。本実施形態では高倍率画像のみであるので、広画角画像Ｄｌと高倍率画像Ｄｈｊ＿ｎとの位置合わせのみ行う。なお、画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として（３次元の）相関係数、座標変換手法として３次元のＡｆｆｉｎｅ変換を用いて位置合わせを行う。

＜ステップ５３０：動画像毎に適合度を判定する処理＞
個別画像判定部１３２がフレームの輝度値やフレーム間の移動量に基づいて適合度の判定処理を行う。さらに選択部１３４が適合度の判定結果に基づいて選択処理を行い、個別画像を形成する。ここで、判定基準の取得と適合度判定法は第１実施形態（のＳ７１０及びＳ７２０）と同であるため省略する。次に、判定された適合度に基づいて選択部１３４が撮影位置単位で表示のために使用する画像を選択し、画像を形成する。本実施形態では高倍率画像は図１２（ａ）に示すような３次元の断層画像とする。ここでは撮影位置をわかりやすくするために高倍率画像間の重なりは省略して表示している。

個別画像の形成方針としては、
（ｉ）Ｓ／Ｎ比を最大化する（画質優先）
Ｓ５１０で取得された同一撮影位置の断層画像のうち、最もＳ／Ｎ比の高い画像を選択し、画素値のないスライスが含まれる領域（画像端部）は画素値を０に設定する。高画質であるものの、画像欠けが生じやすい。

（ｉｉ）３次元断層画像内の総画素数を最大化する（画像欠け防止優先）
Ｓ５１０で取得された３次元断層画像（計３つ）のうち、最も画像端の０埋め処理の少ない３次元断層画像を選択する。画像欠けは生じないものの、必ずしもＳ／Ｎ比が高いとは限らないため画質は（ｉ）の場合より下がりやすい。

が考えられる。本実施形態では、適合度が１のスライスを選択するとともに、適合度がー１のスライスにおける輝度値は、前後のスライスの画素値を補間処理した値とする。ここでは（ｉ）の方針、すなわちＳ／Ｎ比最大の３次元断層画像を用いて高画質な個別画像を形成する。

＜ステップ５４０：画像群として適合度を判定する処理＞
Ｓ５３０で形成された個別画像に基づいて、画像群判定部１３３が画像群の適合度を判定し、画像選択部１３４が最も適合度の高い組み合わせの画像を選択して貼り合わせ画像を形成する。なお、本実施形態では画像群の左上からラスター走査（ジグザグ走査）の順で画像番号ｊが増加するものとする。貼り合わせ画像（画像群）の適合度に関する判定方針を優先度順に表記すると以下のようになる。

１．貼り合わせ画像内に画像欠け領域を生じない
２．できるだけ高画質な貼り合わせ画像を形成する
上記のうち、１は貼り合わせ画像内を同一条件で観察可能にするために設定される条件である。ここで、画像群としての適合度を判定しない場合には、例えば撮影位置ごとに画像欠け領域を生じないようにフレームを選択する必要があり、画像群の適合度判定に基づいて貼り合せ画像を生成する場合に比べて上記条件２に関して画質の低い貼り合せ画像を形成することになってしまう。そこで隣接する３次元断層画像の端部や重なり領域におけるデータの連続性や補完性を考慮した適合度判定を行うことで、１を満たしつつ、より高画質な貼り合わせ画像を得ることが可能になる。

本実施形態では図１２（ｂ）の灰色領域に示すような隣接する２画像間での重複領域と、図１２（ｂ）の黒色領域に示すような隣接する４画像間での重複領域、図１２（ｃ）の白色格子点で示すような隣接する８画像間での重複領域が存在する。具体的には、以下の手順で画像群の適合度を判定する。

（１）Ｓ５３０で生成した個別画像（画質優先）を、Ｓ５２０で求めた位置合わせパラメータで貼り合わせる。

（２）（１）で生成した貼り合わせ画像内の画像欠け領域の有無を調べ、画像群の適合度として
（貼り合わせ３次元画像の体積（画素数）−画像欠けの体積（画素数））
／（貼り合わせ３次元画像の体積（画素数））
を算出する。

なお画像群の適合度はこれに限らず、例えば個別画像の投影像を広画角画像の投影像上にＳ５２０で求めた位置合わせパラメータに基づいて貼り合わせ、
（貼り合わせ２次元画像の面積―画像欠けの面積）
／（貼り合わせ２次元画像の面積）
を判定してもよい。

選択部１３４は、上記判定された画像群としての適合度に基づき、該適合度が最も高くなるように各撮影位置における画像選択を行い、選択された画像に基づいて画像群の形成処理を行う。

具体的には、以下の手順で画像選択を行い、画像群の形成処理を行う。

（３）もし画像欠けがなければそのまま貼り合わせ画像を形成して終了
（４）画像欠けがある場合は画像欠け領域の位置を求める。

（５）画像欠け領域が含まれる、もしくは画像欠け領域に隣接する辺をもつ画像の重複領域における代替データの有無を調べる。
（例えば図１２（ｄ）では高倍率画像Ｄｈ３、Ｄｈ７に画像欠けが生じているので、Ｄｈ３とＤｈ４の奥端、Ｄｈ７とＤｈ１２の上端において補完（代替）データの有無を調べる）

（６）補完（代替）データがある場合は、補完データのうち最も画質の良い（Ｓ／Ｎ比の高い）補完データで画像欠け領域を置き換えて画像貼り合せ処理を行う。

（７）補完（代替）データがない場合は、画像欠け領域が最小になるよう画像端の切り落とし（０埋め）処理を解除し、残りの画像欠け領域については近傍画素からの補間処理によって画素値を決定した上で画像貼り合せ処理を行う。以上より、画像欠けのない、最も高画質の貼り合わせ画像が形成される。なお、画像群の適合度の判定方針は上記に限定されるものではなく、任意の適合度を設定してよい。例えば、面積等の他に、画像特徴の一例である無血管領域境界の長さを適合度の条件に加えても良い。

＜ステップ５５０：表示＞
表示制御部１３１は、Ｓ５４０で形成された貼り合わせ画像をモニタ３０５に表示する。

本実施形態において広画角画像Ｄｌ及び高倍率画像Ｄｈｊ＿ｎはともに３次元断層像であるため、以下の２種類の表示を行う。

ｉ）ｚ軸方向に関し広画角画像Ｄｌと高倍率画像Ｄｈｊ＿ｎの投影画像を生成し、広画角画像Ｄｌの投影画像上に高倍率画像Ｄｈｊ＿ｎの投影画像を貼り合わせ表示する。

ｉｉ）広画角３次元断層像Ｄｌのみ取得された位置では広画角画像３次元断層像Ｄｌの画素値で、広画角３次元断層像Ｄｌと高倍率３次元断層像Ｄｈｊともに取得された位置では該高倍率３次元断層像Ｄｈｊ＿ｎの画素値で表示した広画角３次元断層像Ｄｌ”を生成する。さらに広画角３次元断層像Ｄｌ”上の特定の走査位置をｉ）の重畳画像上に矢印で表示し、該矢印の位置で切り出した広画角３次元断層像Ｄｌ”の２次元断層像を、ｉ）のような重畳画像と並べて表示させる。本表示では、広画角３次元断層像Ｄｌの２次元断層像だけでなく、高倍率３次元断層像Ｄｈｊ＿ｎの２次元断層像も重畳表示される。

さらにｉｉ）の表示では操作者が指示取得部１４０を通じて広画角断層像Ｄｌ”の表示位置を示す矢印を（上下もしくは左右に）動かせるので、該操作に連動して切り出される（表示される）広画角画像Ｄｌ及び高倍率画像Ｄｈｊ＿ｎの表示スライスも変化する。

なお、上記投影画像を生成する方法としては平均値投影に限らず、任意の投影法を用いてよい。また、高倍率画像Ｄｈｊ＿ｎは静止画に限定されるものではなく、動画像でもよい。また、本実施形態では撮影対象領域に対する観察不能領域の少なさに基づいて断層画像群としての適合度を判定したが、本発明はこれに限定されない。第２の実施形態の場合と同様に、画像処理装置１０に画像特徴取得部１３６を備え、各高倍率画像から抽出された画像特徴の隣接画像間の連続性に基づき断層画像群の適合度を判定してもよい。例えば、以下の手順で１３６が画像特徴として層境界の抽出を行う。すなわち、画像特徴取得部１３６は、記憶部１２０に格納された広画角画像Ｄｌ、すなわち眼部の３次元断層像から、画像特徴として、内境界膜Ｂ１、神経線維層境界Ｂ２、内網状層境界Ｂ４、視細胞内節外節境界Ｂ５、網膜色素上皮境界Ｂ６の各境界位置を抽出する。そして、抽出した各々の画像特徴を記憶部１２０に格納する。

ここで、広画角画像Ｄｌに対する特徴抽出手順を具体的に説明する。はじめに、層の境界を抽出するための抽出手順について説明する。なお、ここでは処理対象である３次元断層像を２次元断層像（Ｂスキャン像）の集合と考え、各２次元断層像に対して以下の処理を行う。まず、着目する２次元断層像に平滑化処理を行い、ノイズ成分を除去する。次に２次元断層像からエッジ成分を検出し、その連結性に基づいて何本かの線分を層境界の候補として抽出する。そして、該抽出した候補から１番上の線分を内境界膜Ｂ１、上から２番目の線分を神経線維層境界Ｂ２、３番目の線分を内網状層境界Ｂ４として抽出する。また、内境界膜Ｂ１よりも外層側（図６（ａ）において、ｚ座標が大きい側）にあるコントラスト最大の線分を視細胞内節外節境界Ｂ５として抽出する。さらに、該層境界候補群のうち一番下の線分を網膜色素上皮境界Ｂ６として抽出する。なお、これらの線分を初期値としてＳｎａｋｅｓやレベルセット法等の可変形状モデルを適用し、更に精密抽出を行うように構成してもよい。また、グラフカット法により層の境界を抽出するように構成してもよい。なお、可変形状モデルやグラフカットを用いた境界抽出は、３次元断層像に対し３次元的に実行してもよいし、各々の２次元断層像に対し２次元的に実行してもよい。また、層の境界を抽出する方法は、眼部の断層像から層の境界を抽出可能な方法であれば、いずれの方法を用いてもよいことはいうまでもない。

また各高倍率画像Ｄｈｊ＿ｎからの層境界抽出は、広画角画像Ｄｌと各高倍率画像Ｄｈｊ＿ｎの相対位置と、広画角画像Ｄｌから検出された層境界位置に基づいて実行できる。すなわち、各高倍率画像Ｄｈｊ＿ｎに対応づけられた広画角画像Ｄｌから検出された各層の境界位置付近で高倍率画像Ｄｈｊ＿ｎ上の対応する層の境界検出を行えばよい。

以上述べた構成によれば、画像処理装置１０は、異なる撮影位置の高倍率な補償光学ＯＣＴ断層画像を貼り合わせ表示する際に撮影（解析）対象領域と比較した場合の貼り合わせ画像内の観察（解析）不能領域の少なさに基づいて画像群としての適合度を判定する。これにより、観察もしくは解析対象の細胞や組織、及びそれらの病変が複数の高倍率断層画像にまたがっている場合に、略同一の条件で観察もしくは解析可能な貼り合わせ画像を生成できる。

［第４の実施形態：張り合わせ画像と異なる検査で撮影（解析）された領域とを比較］
本実施形態に係る画像処理装置は、異なる撮影位置の高倍率な補償光学ＳＬＯ画像を貼り合わせ表示する際に異なる検査で撮影（解析）された領域と比較した場合の観察（解析）不能領域の少なさに基づいて画像群としての適合度を判定する。具体的には、過去の検査日時に撮影された画像群Ｄｈｊｆ（ｆ＝１，２，．．．，ｎ−１）と比較した場合の、貼り合わせ画像における観察（解析）不能領域の少なさに基づいて画像群としての適合度を判定する場合について説明する。

本実施形態に係る画像処理装置１０と接続される機器の構成は第１実施形態の場合と同様である。次に、本実施形態に係る画像処理装置１０の機能ブロックを図１３に示す。画像群判定部１３３に経時比較部１３３３を備える点が実施形態１の場合と異なっている。
また本実施形態での画像処理フローは図５と同様であり、Ｓ５３０、Ｓ５６０、Ｓ５７０、Ｓ５８０は実施形態１の場合と同様である。そこで、本実施形態ではＳ５１０、Ｓ５２０、Ｓ５４０、Ｓ５５０の処理のみ説明する。なお、ＳＬＯ画像や固視標を異なる倍率、異なる撮影位置、異なる検査日時で取得する場合には各々Ｄｓｊｆ、Ｆｓｆのように表す。すなわちｓは倍率、ｊは撮影位置番号、ｆは検査日時を示す変数であり、ｓ＝１，２，．．．，ｓｍａｘ、ｊ＝１，２，．．．，ｊｍａｘ、ｆ＝１，２，．．．，ｆｍａｘと表記する。ここで、ｓが小さいほど撮影倍率は大きくなる（画角が狭くなる）。また、ｆが小さいほど検査日時が古いことを表す。本実施形態では、最も低倍率な画像（広画角画像）の撮影位置は１つとし、簡単のため撮影位置番号は省略する。

＜ステップ５１０：画像取得＞
画像取得部１１１は、データサーバ４０に対し過去のＳＬＯ画像Ｄｓｊｆ（ｆ＝１，２，．．．，ｎ−１）、固視標位置Ｆｓｆ、ＳＬＯ画像Ｄｓｊｆに対応する位置合わせパラメータ値の転送を要求する。データサーバ４０は、該要求に対応するデータを画像処理装置１０に転送し、記憶部１２０に保存する。本実施形態では、ｎ＝４とする。

次に、画像取得部１１１はＳＬＯ像撮像装置２０に対して最新の検査画像及び固視標位置、すなわちＳＬＯ画像Ｄｓｊｎおよび固視標位置Ｆｓｎの取得を要求する。本実施形態では、黄斑部の中心窩に固視標位置Ｆ２ｎ及びＦ１ｎを設定してＳＬＯ像撮像装置２０から低倍率なＳＬＯ画像Ｄ２ｎ及び高倍率なＳＬＯ画像Ｄ１ｊｎを取得する。

＜ステップ５２０：位置合わせ＞
位置合わせ部１３１は、広画角画像Ｄ２ｆ（ｆ＝１，２，．．．，ｎ）と高倍率画像Ｄ１ｊｆとの位置合わせを行い、広画角画像Ｄ２ｆ上の高倍率画像Ｄ１ｊｆの相対位置を求めて高倍率画像Ｄ１ｊｆの貼り合わせ画像が生成される。

同一検査日の高倍率画像Ｄ１ｊｆ間で重なり領域がある場合には、該重なり領域に関して画像間類似度を算出し、最も画像間類似度が最大となる位置に高倍率画像Ｄ１ｊｆ同士の位置を合わせる。なお、もし３種類以上の異なる倍率の画像が取得されている場合には、より低倍率な画像から順に位置合わせを行う。例えば画像Ｄ３ｆと画像Ｄ２ｋｆ、画像Ｄ１ｊｆが取得されている場合にはまず画像Ｄ３ｆと画像Ｄ２ｋｆとの間で位置合わせを行い、次いで画像Ｄ２ｋｆと画像Ｄ１ｊｆとの間で位置合わせを行う。さらに、位置合わせ部１３１は記憶部１２０から画像Ｄ１ｊｆの撮影時に用いた固視標位置Ｆ１ｆを取得し、該位置からの相対距離を用いて画像Ｄ２ｆと画像Ｄ１ｊｆとの位置合わせにおける位置合わせパラメータの探索初期点を設定する。なお、画像間類似度や座標変換手法としては任意の公知の手法を用いることができ、本実施形態では画像間類似度として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて位置合わせを行う。

次に、最新の検査における広画角画像Ｄ２ｎと過去の検査における広画角画像Ｄ２ｆ（ｆ＝１，２，．．．，ｎ−１）との位置合わせを行う。さらに高倍率画像Ｄ１ｊｎに対する広画角画像Ｄ２ｎの相対位置、Ｄ２ｎに対する広画角画像Ｄ２ｆの相対位置と、Ｄ２ｆに対する高倍率画像Ｄ１ｊｆの相対位置を用いて、最新検査の高倍率画像Ｄ１ｊｎに対する過去検査の高倍率画像Ｄ１ｊｆの相対位置を求める。なお、最新検査の高倍率画像群Ｄ１ｊｎと過去検査の高倍率画像群Ｄ１ｊｆとの位置合わせを直接行ってもよい。ここで、位置合わせ部１３１は記憶部１２０から各画像の固視標位置を取得する。位置合わせ部１３１はこれらの固視標位置を用いて最新検査の高倍率画像Ｄ１ｊｎと最新検査の広画角画像Ｄ２ｎ、Ｄ２ｎと過去検査の広画角画像Ｄ２ｆ、Ｄ２ｆと過去検査の高倍率画像Ｄ１ｊｆとの位置合わせにおける探索初期点を設定する。

位置合わせ手法としては任意の公知の手法を用いることができ、本実施形態ではまず概略の位置合わせとして、Ａｆｆｉｎｅ変換を用いて位置合わせを行う。次に、詳細な位置合わせとして非剛体位置合わせ手法の一つであるＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）法を行いて位置合わせを行う。いずれの位置合わせにおいても、画像間類似度としては相関係数を用いる。もちろんこれに限らず、任意の公知の画像間類似度を用いてよい。以上より、最新の検査画像（広画角画像Ｄ２ｎもしくは高倍率画像Ｄ１ｊｎ）の画素と、過去の検査画像（広画角画像Ｄ２ｆもしくは高倍率画像Ｄ１ｊｆ）の画素とが対応づけられる。

なお、本発明は画素値の類似度に基づく位置合わせに限定されるものではない。例えば実施形態２の場合と同様に画像処理装置１０に画像特徴取得部１３６を備え、画像特徴取得部１３６が毛細血管領域を特定した上で、該特定された血管領域を用いて特徴ベースの位置合わせを行ってよい。

＜ステップ５４０：画像群として適合度を判定する処理＞
画像群判定部１３３が異なる検査で撮影（解析）された領域と比較した場合の観察（解析）不能領域の少なさに基づいて画像群としての適合度を判定し、画像選択部１３４が最も適合度の高い組み合わせの画像を選択し、貼り合わせ画像を形成する。

なお、本実施形態では画像群は図６（ｇ）に示すような９つの重ね合わせ画像で構成され、左上からラスター走査（ジグザグ走査）の順で画像番号ｊが増加するものとする。

貼り合わせ画像（画像群）の適合度に関する判定方針を優先度順に表記すると以下のようになる。

貼り合わせ画像内に画像欠け領域を生じない
画質が撮影位置によってばらつかない
異なる検査で撮影（解析）された領域と比較した場合に観察（解析）不能領域を生じにくくする
上記のうち、１、２は貼り合わせ画像内を同一条件で観察可能にするために設定される条件である。ここで、画像群としての適合度を判定しない場合、例えば
（ｉ）撮影位置ごとにＳ７３０の（ｉｉ）の方針で貼り合わせ画像を生成した場合、上記条件２を満たせない場合が生じる。また
（ｉｉ）（ｉ）を満たし、かつ条件２を満たすようにした場合、最も重ね合わせ枚数の少ない画像の重ね合わせ枚数に合わせることになるため、画像群としての適合度を判定して画像を選択する場合よりも画質が低下してしまう。そこで、隣接する画像の端部や重なり領域におけるデータの連続性や補完性を考慮した適合度判定を行うことで、条件１〜３を満たしつつ、より高画質な貼り合わせ画像を得る（多くの枚数で重ね合わせを行う）ことが可能になる。

本実施形態では図６（ｆ）の灰色領域に示すような隣接する２画像間での重複領域と、図６（ｆ）の黒色領域に示すような隣接する４画像間での重複領域が存在する。具体的には、以下の手順で画像群の適合度を判定する。

（１）Ｓ５３０で生成した個別画像（画質優先）を、Ｓ５２０で求めた位置合わせパラメータで貼り合わせる。

（２）経時画像比較部１３３３は、（１）で生成した貼り合わせ画像を過去の検査で生成した貼り合わせ画像と比較した場合の画像欠け領域の有無を調べる。

具体的には、各検査の画像群Ｄ１ｊｆの貼り合わせ、つまりＤ１ｊｆの論理和領域（∪_ｊＤ１ｊｆ）に対する論理積（∩_ｆ（∪_ｊＤ１ｊｆ））を比較対象領域とする。本実施形態では比較対象（異なる検査）の画像群が３つあるので、各検査の画像群Ｄ１ｊｆの貼り合わせ、つまり∪_ｊＤ１ｊｆに対する論理積（（∪_ｊＤ１ｊ１）∩（∪_ｊＤ１ｊ２）∩（∪_ｊＤ１ｊ３））を比較対象領域とした場合の画像欠け領域の有無を調べる。

従って、画像群の適合度として
（（１）で生成した貼り合わせ画像の面積−画像欠けの面積）
／（（１）で生成した貼り合わせ画像の面積）
を算出する。なお、比較対象領域の設定法はこれに限定されず、任意の比較領域を設定してよい。また、手動で比較対象領域を設定しても良い。選択部１３４は、画像群としての適合度に基づき、該適合度が最も高くなるように各高倍率画像における画像選択を行い、選択された画像に基づいて画像群の形成処理を行う。
具体的には、以下の手順で画像選択を行い、画像群の形成処理を行う。

（３）もし画像欠けがなければそのまま貼り合わせ画像を形成して終了
（４）画像欠けがある場合は画像欠け領域の位置を求める。
（５）画像欠け領域が含まれる、もしくは画像欠け領域に隣接する辺をもつ画像の重複領域における補完（代替）データの有無を調べる。
（例えば図６（ｇ）では画像６と画像９に画像欠けが生じているので、画像６と画像５の左端、画像９において補完データの有無を調べる）
（６）補完（代替）データがある場合は、補完データのうち最も画質の良い（重ね合わせ枚数の多い）補完データで画像欠け領域を置き換え、（８）を実行する
（７）補完（代替）データがない場合は、画像欠け領域が解消されるよう画像欠け領域が含まれる画像もしくは該領域に隣接する辺を持つ画像の選択フレームを変更する。もし画像欠け領域を解消するフレームの選択法が複数ある場合は、最も重ね合わせ枚数が多くなるフレーム選択法を用いる。
（８）（７）で得られた重ね合わせ画像群のうち、最も重ね合わせ枚数の少ない重ね合わせ画像の重ね合わせ枚数ＡＮｍｉｎを貼り合わせ画像の重ね合わせ枚数とし、各撮影位置での重ね合わせ枚数をＡＮｍｉｎに変更して再び重ね合わせ画像を生成する。
（９）（８）で生成した重ね合わせ画像を用いて貼り合わせ画像を生成する。

（図６（ｈ）のように画像欠けがなくなり、重ね合わせ枚数が同一かつ最大の貼り合わせ画像が形成される）
なお、本実施形態では画像群としての適合度の判定に基づいて形成される
貼り合わせ画像は静止画像（重ね合わせ画像）としたが、本発明はこれに限定されない。例えば、隣接する動画像の端部や重なり領域におけるデータの補完性を考慮した適合度判定を行った上で、図６（ｊ）に示すように動画像を貼り合わせ表示してもよい。
動画像の貼り合わせ表示の場合も基本的な処理の流れは静止画像の貼り合わせ表示の場合と同様であるが、以下の点が異なる。すなわち、

（ｉ）画像処理装置１０に対して図２（ｂ）に示すような時相データ取得装置５０を接続し、動画像と同時に時相データを取得しておく。時相データとは、例えば脈波計により取得された生体信号データである。時相データを参照することで各動画像の再生周期が得られる。動画像のフレーム補間処理によって該再生周期を動画像間（撮影位置間もしくは検査間、もしくはその両方）で同一に揃えておく。

（ｉｉ）撮影位置単位での画像形成処理において、輝度異常のフレームを除いた最長の連続したフレーム区間を選択する。

（ｉｉｉ）画像群としての適合度判定処理において、以下の方針で適合度判定を行う。
貼り合わせ画像内に画像欠け領域を生じない再生フレーム数（拍動周期）が撮影位置によって略同一である再生フレーム数（拍動周期）が検査間で略同一であるできるだけ多くのフレーム数（拍動周期）の動画像を貼り合わせ表示する

（ｉｖ）画像群としての画像形成処理の（６）（７）（８）において選択されるフレームは、連続したフレーム区間とする。

これにより、動画像の貼り合わせ表示において画像欠けがなくなり、再生フレーム数が同一かつ最長の連続したフレームの貼り合わせ動画像が形成される。なお、もし時相データが取得されていない場合には再生時刻を調整せずに動画像として貼り合わせ表示してもよい。また、本実施形態では画像群（静止画像群及び動画像群）の適合度として上記の条件１〜３を用いたが、本発明はこれに限定されず任意の適合度を設定して良い。

＜ステップ５５０：表示＞
表示制御部１３５は、Ｓ５２０で得られた位置合わせパラメータ及びＳ５４０で形成された画像群を用いて、広画角画像Ｄ２ｎ上に高倍率画像Ｄ１ｊｎを貼り合わせ表示する。

以上述べた構成によれば、画像処理装置１０は、異なる撮影位置の高倍率な補償光学ＳＬＯ画像を貼り合わせ表示する際に異なる検査で撮影（解析）された領域と比較した場合の観察（解析）不能領域の少なさに基づいて画像群としての適合度を判定する。これにより、観察もしくは解析対象の細胞や組織、及びそれらの病変が複数の高倍率画像にまたがっている場合に、略同一の条件で観察もしくは解析可能な貼り合わせ画像を生成できる。

［その他の実施形態］
上述の実施形態では画像群を１つ撮影して適合度を判定する場合について述べたが、本発明の実施形態はこれに限定されない。すなわち、図１４（ａ）（ｂ）に示すように１回の検査で複数の画像群を撮像する場合には、各画像群で上述の実施形態と同様にして画像を仮選択した後、画像群間の適合度を判定して該画像群間の適合度に基づいて画像を選択してもよい。

例えば、図１４（ａ）のように各撮影位置で異なる倍率の補償光学ＳＬＯ画像を取得して貼り合わせ画像を生成する場合には、まず倍率ごとに画像群としての適合度を判定して画像を仮選択する。それから倍率間での適合度（低倍率画像Ｄ２ｋ群の撮像領域外にはみ出ていない高倍率画像Ｄ１ｊ群の論理和領域の面積／高倍率画像Ｄ１ｊ群の論理和領域の面積）を判定し、該画像群間の適合度に基づいて画像を選択してもよい。

また、図１４（ｂ）に示すように複数の画像群ＭｎＤｈｊを持つ場合（多配置型）には、まず上述の実施形態と同様に各画像群内で適合度を判定して画像を仮選択する。それから画像群間（例えば隣合う画像群間）の輝度特性に関する適合度（例えば画像群内の平均輝度もしくはＳ／Ｎ比の類似度）に基づき画像群間の適合度を判定し、該画像群間の適合度に基づいて画像を選択してもよい。なお、多配置型では各画像群は離れていてもよいし、隣接していても良いし、重なりがあっても良い。また、画像群の大きさ（例えば画像群を構成する画像の取得位置数）が画像群間で異なっている場合も本発明に含まれる。

なお、図１４（ｃ）に示すように多配置型の画像群が複数倍率で取得された場合には、異なる倍率の画像群間の適合度と異なる取得位置の画像群間の適合度のいずれを先に判定する場合も本発明に含まれる。

また、上述の実施形態では位置合わせ対象画像をＳＬＯ画像や眼部断層像として実現したが、本発明の実施形態はこれに限定されない。例えば、広画角画像Ｄｌを眼底カメラ画像、高倍率画像Ｄｈを補償光学眼底カメラ画像として実現してもよい。また、広画角画像Ｄｌを広画角ＳＬＯ画像、高倍率画像Ｄｈを補償光学断層像の投影像、あるいは広画角画像Ｄｌを補償光学断層像、高倍率画像を補償光学ＳＬＯ画像のようにモダリティの異なる画像として実現してもよい。また、補償光学ＳＬＯ像撮像装置２０と断層像撮像装置６０との複合機と、画像処理装置１０が直接接続された構成として実現してもよい。

さらに、上述の実施形態では本発明を画像処理装置として実現したが、本発明の実施形態は画像処理装置のみに限定されない。例えばコンピュータのＣＰＵにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。

ここで、動画像から画像を選択する際には、複数の画像の端部と重なり領域とのうち少なくとも一つを利用することが好ましい。また、張り合わせ画像と複数の動画像それぞれの動画像よりも広い画角である広画角画像とを比較する比較手段（例えば、図１の画像群判定部１３３）を更に備えることが好ましい。これにより、判定手段は、比較手段による比較結果に基づいて連続性を示す値を判定することができる。また、選択された画像が張り合わせられた張り合わせ画像を表示手段に表示させる表示制御手段（例えば、図１の表示制御部１３５）を更に備えるが好ましい。また、貼り合わせ画像から血管を自動的に（あるいはユーザの手動による指示や半自動で）抽出し、抽出された血管における血球の移動速度等が計測されることが好ましい。なお、複数の画像については張り合わせずに、複数の画像それぞれの画像を並べて表示手段に表示させても良いし、１枚ずつ切り替えて表示手段に表示させても良い。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (24)

1. 異なる時間に眼部の異なる位置で撮影して得た複数の高倍率の動画像それぞれの動画像から得られた代表画像から成る複数の代表画像の特性の連続性を示す情報が所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択する選択手段と、
   前記選択された少なくとも１つの画像により得られた代表画像であって、前記複数の高倍率の動画像に対応する複数の代表画像を用いて、広範囲の画像を生成する画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、前記複数の代表画像の相対位置と輝度特性と画像特徴とのうち少なくとも一つの連続性を示す情報が所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記複数の代表画像の端部と重なり領域とのうち少なくとも一つにおける前記複数の代表画像の特性の連続性を示す情報が所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択手段は、前記複数の代表画像を張り合わせて得た前記広範囲の画像の面積と無血管領域境界の長さとのうち少なくとも一つが前記連続性を示す情報として所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数の代表画像を張り合わせて得た前記広範囲の画像と前記複数の高倍率の動画像それぞれの動画像よりも広い画角である広画角画像とを比較する比較手段を更に備え、
   前記選択手段は、前記比較手段による比較結果に基づいて、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択することを特徴とする請求項４に記載の画像処理装置。
6. 異なる時間に眼部の異なる位置で撮影して得た複数の高倍率の動画像それぞれの動画像から得られた代表画像の画像群としての適合度を示す情報に基づいて、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択する選択手段と、
   前記選択された少なくとも１つの画像により得られた代表画像であって、前記複数の高倍率の動画像に対応する複数の代表画像を用いて、広範囲の画像を生成する画像生成手段と、
   を備えることを特徴とする画像処理装置。
7. 前記選択手段は、同一検査または異なる検査の画像間の相対位置、輝度特性の連続性、画質の類似度、画像特徴の少なくとも一つが前記適合度を示す情報として所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記選択手段は、前記画像群として異なる倍率の画像の画像群が得られている場合または前記画像群として取得位置の異なる複数の画像群が得られている場合に、各倍率の画像群の適合度を判定した上で、画像群間の相対位置、輝度特性の連続性、画質の類似度、の少なくとも一つを異なる倍率の画像群間の適合度として所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記複数の代表画像を張り合わせて得た前記広範囲の画像を表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記選択された少なくとも１つの画像における血球の移動速度を計測する計測手段を更に備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 眼科装置と通信可能に接続され、前記眼科装置により異なる時間に前記眼部の異なる位置で動画撮影された複数の高倍率の動画像を取得する画像取得手段を更に備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 異なる時間に眼部の第１の領域で複数回撮影して得た第１の高倍率の動画像のうち少なくとも１つの画像と、異なる時間に前記第１の領域とは異なる第２の領域で複数回撮影して得た第２の高倍率の動画像のうち少なくとも１つの画像とを決定する決定処理を実行する決定手段において、前記第１の領域と前記第２の領域とが前記第１の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像と前記第２の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像とに含まれるように、前記決定処理を実行する決定手段と、
    前記第１の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像と前記第２の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像とを用いて、広範囲の画像を生成する画像生成手段と、
    を備えることを特徴とする画像処理装置。
13. 前記決定手段は、前記第１の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像と前記第２の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像との類似度が閾値以上になるように、前記決定処理を実行することを特徴とする請求項１２に記載の画像処理装置。
14. 眼科装置と通信可能に接続され、前記眼科装置により前記眼部を動画撮影して得た前記第１の高倍率の動画像及び前記第２の高倍率の動画像を取得する画像取得手段を更に備えることを特徴とする請求項１２または１３に記載の画像処理装置。
15. 前記眼科装置は、前記眼部において測定光を走査する走査光学系を更に備え、
    前記画像取得手段は、前記眼部における前記第１の領域及び前記第２の領域で繰り返し前記測定光が走査されるように前記走査光学系が制御されることにより、前記第１の高倍率の動画像及び前記第２の高倍率の動画像を取得することを特徴とする請求項１４に記載の画像処理装置。
16. 前記眼科装置は、前記眼部において測定光を走査する走査光学系を更に備え、
    前記画像取得手段は、前記眼部における前記第１の領域及び前記第２の領域で繰り返し前記測定光が走査されるように前記眼部を固視するための固視標の位置が制御されることにより、前記第１の高倍率の動画像及び前記第２の高倍率の動画像を取得することを特徴とする請求項１４に記載の画像処理装置。
17. 前記眼科装置は、測定光と前記眼部からの戻り光とのうち少なくとも一つの光の波面を補正する波面補正デバイスを更に備え、
    前記画像取得手段は、前記波面が補正された光を用いて前記眼部を動画撮影して得た前記第１の高倍率の動画像及び前記第２の高倍率の動画像を取得することを特徴とする請求項１４乃至１６のいずれか１項に記載の画像処理装置。
18. 前記高倍率の動画像は、前記眼部の広画角画像よりも狭く且つ高倍率である動画像であり、
    前記広範囲の画像は、複数の高倍率の動画像のうち１つの動画像の撮影範囲よりも広い範囲の画像であることを特徴とする請求項１乃至１７のいずれか１項に記載の画像処理装置。
19. 前記高倍率の動画像は、ＯＣＴ断層画像群であることを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。
20. 前記代表画像は、選択または決定された１つの画像と、選択または決定された複数の画像を重ね合わせて得た画像とのいずれかであることを特徴とする請求項１乃至１９のいずれか１項に記載の画像処理装置。
21. 異なる時間に眼部の異なる位置で撮影して得た複数の高倍率の動画像それぞれの動画像から得られた代表画像から成る複数の代表画像の特性の連続性を示す情報が所定の条件を満たすように、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択する工程と、
    前記選択された少なくとも１つの画像により得られた代表画像であって、前記複数の高倍率の動画像に対応する複数の代表画像を用いて、広範囲の画像を生成する工程と、
    を有することを特徴とする画像処理装置の作動方法。
22. 異なる時間に眼部の異なる位置で撮影して得た複数の高倍率の動画像それぞれの動画像から得られた代表画像の画像群としての適合度を示す情報に基づいて、前記複数の高倍率の動画像それぞれの動画像から少なくとも１つの画像を選択する工程と、
    前記選択された少なくとも１つの画像により得られた代表画像であって、前記複数の高倍率の動画像に対応する複数の代表画像を用いて、広範囲の画像を生成する工程と、
    を有することを特徴とする画像処理装置の作動方法。
23. 異なる時間に眼部の第１の領域で複数回撮影して得た第１の高倍率の動画像のうち少なくとも１つの画像と、異なる時間に前記第１の領域とは異なる第２の領域で複数回撮影して得た第２の高倍率の動画像のうち少なくとも１つの画像とを決定する決定処理を実行する工程において、前記第１の領域と前記第２の領域とが前記第１の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像と前記第２の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像とに含まれるように、前記決定処理を実行する工程と、
    前記第１の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像と前記第２の高倍率の動画像において決定された少なくとも１つの画像により得られた代表画像とを用いて、広範囲の画像を生成する工程と、
    を有することを特徴とする画像処理装置の作動方法。
24. 請求項２１乃至２３のいずれか１項に記載の画像処理装置の作動方法の各工程をコンピュータに実行させることを特徴とするプログラム。

Images