JP5197785B2 - 画像処理装置、撮像システム、画像処理システム - Google Patents

Description

本発明は、画像処理装置、撮像システム、および画像処理システムに関し、特に、デジタル画像による被写体観察を支援するための技術に関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャル・スライド・システムが注目を集めている。バーチャル・スライド・システムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。

光学顕微鏡と同等程度の操作をバーチャル・スライド・システムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャル・スライド・システムで作成したデジタルデータをＰＣやワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。

バーチャル・スライド・システムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。

様々な利便性を提供するバーチャル・スライド・システムであるが、従来の光学顕微鏡観察に対して使い勝手で及んでいない部分も依然として残っている。

その１つが奥行き方向（光学顕微鏡の光軸に沿った方向あるいはプレパラートの観察面に垂直な方向）の観察である。通常、医師は光学顕微鏡で観察する際には、ステージを光軸方向に微動させてプレパラート上の検体内の焦点位置を変えて、組織や細胞の立体構造を把握する。バーチャル・スライド・システムで同様の操作を行う場合には、ある焦点位置での画像を撮像した後、焦点位置を変更し（例えば、プレパラートが置かれたステージを光軸方向に移動させ）再度画像を取得する必要がある。

焦点位置を変えながら撮像を繰り返すことにより得られた複数枚の画像の取り扱い、表示の手法として以下の提案がされている。特許文献１では、焦点位置の異なる複数枚の画像をそれぞれ複数の部分領域に分割し、部分領域毎に深度合成を行うことにより、被写界深度の深いパンフォーカス画像を生成するシステムが開示されている。

特開２００５−０３７９０２号公報

上述した特許文献１の方法によれば、画像全域について焦点の合った、ボケの少ない画
像が得られるため、１つの画像だけで被写体全体の様子を把握できるという利点がある。しかしながら、このようなパンフォーカス画像は、被写体全体を大まかに観察するのには有用であるものの、被写体の一部を詳細に観察したり、被写体の立体的な構造を把握したりする目的には適していない。多数の画像を深度合成したことにより、奥行き方向の情報（前後関係の情報）が失われてしまっているためである。

本発明はかかる問題に鑑みなされたものであり、デジタル画像を利用した被写体観察において、被写体の奥行き方向の詳細な観察を支援するための技術を提供することを目的とする。

本発明の第１態様は、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得手段と、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成手段と、を備え、前記画像生成手段は、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、前記複数の観察用画像は、第１の観察用画像と該第１の観察用画像よりも被写界深度が深い第２の観察用画像を含み、前記第２の観察用画像のＺ方向の合焦範囲が、前記第１の観察用画像のＺ方向の合焦範囲を包含し、且つ、前記第１の観察用画像のＺ方向の合焦範囲よりもＺ方向の一方の側と他方の側とに拡大するように、前記第２の観察用画像が生成されることを特徴とする画像処理装置である。
本発明の第２態様は、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得手段と、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成手段と、前記Ｚスタック画像から合成処理の対象となる対象範囲をユーザーに指定させる範囲指定手段と、を備え、前記画像生成手段は、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、且つ、前記範囲指定手段で指定された前記対象範囲の部分についてのみ、前記複数の観察用画像を生成し、前記Ｚスタック画像における前記対象範囲の部分に前記観察用画像をはめ込んだ画像を表示装置に表示する手段をさらに備えることを特徴とする画像処理装置である。
本発明の第３態様は、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得手段と、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成手段と、前記観察用画像を表示装置に表示する画像表示手段と、を備え、前記画像生成手段は、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、前記画像表示手段は、被写界深度の深さが互いに異なる前記複数の観察用画像を空間的に並べて前記表示装置に表示することを特徴とする画像処理装置である。
本発明の第４態様は、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得手段と、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成手段と、を備え、前記画像生成手段は、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、複数の画像を時分割で表示するモードと複数の画像を空間的に並べて表示するモードを含む複数の表示モードのうちから、使用する表示モードをユーザーに指定させるモード指定手段と、前記モード指定手段で指定された表示モードに従って、複数の観察用画像を表示装置に表示する手段と、をさらに備えることを特徴とする画像処理装置である。

本発明の第５態様は、被写体の異なるＺ方向位置を撮像することにより複数のＺスタッ
ク画像を生成する顕微鏡装置と、前記顕微鏡装置から前記複数のＺスタック画像を取得する前記画像処理装置と、を備える撮像システムである。

本発明の第６態様は、被写体の異なるＺ方向位置を撮像することにより得られた複数のＺスタック画像を格納するサーバと、前記サーバから前記複数のＺスタック画像を取得する前記画像処理装置と、を備える画像処理システムである。

本発明の第７態様は、コンピュータが、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得ステップと、コンピュータが、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成ステップと、を有し、前記画像生成ステップでは、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、前記複数の観察用画像は、第１の観察用画像と該第１の観察用画像よりも被写界深度が深い第２の観察用画像を含み、前記第２の観察用画像のＺ方向の合焦範囲が、前記第１の観察用画像のＺ方向の合焦範囲を包含し、且つ、前記第１の観察用画像のＺ方向の合焦範囲よりもＺ方向の一方の側と他方の側とに拡大するように、前記第２の観察用画像が生成されることを特徴とする画像処理方法である。
本発明の第８態様は、コンピュータが、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得ステップと、コンピュータが、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成ステップと、前記Ｚスタック画像から合成処理の対象となる対象範囲をユーザーに指定させる範囲指定ステップと、を有し、前記画像生成ステップでは、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、且つ、前記範囲指定ステップで指定された前記対象範囲の部分についてのみ、前記複数の観察用画像を生成し、コンピュータが、前記Ｚスタック画像における前記対象範囲の部分に前記観察用画像をはめ込んだ画像を表示装置に表示するステップをさらに有することを特徴とする画像処理方法である。
本発明の第９態様は、コンピュータが、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得ステップと、コンピュータが、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成ステップと、コンピュータが、前記観察用画像を表示装置に表示する画像表示ステップと、を有し、前記画像生成ステップでは、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、前記画像表示ステップでは、被写界深度の深さが互いに異なる前記複数の観察用画像を空間的に並べて前記表示装置に表示することを特徴とする画像処理方法である。
本発明の第１０態様は、コンピュータが、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得ステップと、
コンピュータが、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成ステップと、を有し、前記画像生成ステップでは、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、コンピュータが、複数の画像を時分割で表示するモードと複数の画像を空間的に並べて表示するモードを含む複数の表示モードのうちから、使用する表示モードをユーザーに指定させるモード指定ステップと、コンピュータが、前記モード指定ステップで指定された表示モードに従って、複数の観察用画像を表示装置に表示するステップと、をさらに有することを特徴とする画像処理方法である。
本発明の第１１態様は、前記画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、デジタル画像を利用した被写体観察において、被写体の奥行き方向の詳細な観察を容易に行うことができる。

第１の実施形態における撮像システムの装置構成の全体図。 第１の実施形態における撮像装置の機能ブロック図。 深度合成の概念図。 焦点位置固定で被写界深度を変化させる処理の概念図。 第１と第２の実施形態における画像処理の流れを示すフローチャート。 第１の実施形態における合成処理の流れを示すフローチャート。 第１の実施形態における表示処理の流れを示すフローチャート。 第１の実施形態における画像表示画面の例を示す図。 第１の実施形態における設定画面の例を示す図。 第２の実施形態における画像処理システムの装置構成の全体図。 被写界深度固定で焦点位置を変化させる処理の概念図。 第２の実施形態における合成処理の流れを示すフローチャート。 第２の実施形態における表示処理の流れを示すフローチャート。 第２の実施形態における設定画面の例を示す図。 第３の実施形態における画像取得の流れを示すフローチャート。 第３の実施形態における画像処理の流れを示すフローチャート。 第３の実施形態におけるモード指定画面の例を示す図。 第３の実施形態における並列表示モードの画像表示の例を示す図。

以下に本発明の実施の形態について図面を参照して説明する。

［第１の実施形態］
（システム構成）
図１は、本発明の第１の実施形態に係る撮像システムの装置構成の全体図である。

本実施形態における撮像システムは、撮像装置（顕微鏡装置）１０１、画像処理装置１０２、表示装置１０３から構成され、撮像対象となる検体（被写体）の二次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２の間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１は、光軸方向に焦点位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャル・スライド装置である。二次元画像の取得にはＣＣＤやＣＭＯＳ等の固体撮像素子が用いられる。なお、バーチャル・スライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像から、所望の焦点位置と被写界深度をもつ複数枚の観察用画像を生成し、表示装置１０３に表示することで、ユーザーによる顕微鏡観察を支援するための装置である。画像処理装置１０２は、主な機能として、複数の原画像を取得する画像取得機能、これらの原画像から観察用画像を生成する画像生成機能、および観察用画像を表示装置１０３に表示する画像表示機能を有している。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。表示装置１０３は、画像処理装置１０２が演算処理した結果である複数枚の二次元画像を表示するモニターであり、ＣＲＴや液晶ディスプレイ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２と表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

（撮像装置の構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１６、プレ計測ユニット２１７、メイン制御系２１８、外部インターフェース２１９から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸の移動が可能である。光軸方向はＺ方向とする。プレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２１８の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２１７によって計測した検体の位置情報および厚み情報（距離情報）と、ユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、プレパラート２０６の検体の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）は、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。システム最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１６で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１６のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）など動作タイミングの制御も合わせて行う
。

現像処理ユニット２１６は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、フィルタ処理部２１４、γ補正部２１５から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合はホワイトバランス調整処理は不要となる。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補完処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

フィルタ処理部２１４は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１５は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像に施される。

一般的な現像処理機能としては、ＲＧＢ信号をＹＣＣ等の輝度色差信号へ変換する色空間変換や大容量の画像データを圧縮する処理も含まれるが、本実施形態ではＲＧＢデータを直接使用し、かつデータ圧縮を行わないものとする。
また、不図示ではあるが、結像光学系２０７を構成するレンズ群の影響によって撮像エリア内の周辺部の光量が落ちることを補正する周辺減光補正の機能を搭載しても良い。あるいは、結像光学系２０７で生じる各種収差の内、結像の位置ずれを補正する歪曲収差補正、色毎の像の大きさの違いを補正する倍率色収差補正など、各種光学系の補正処理機能を搭載しても良い。

プレ計測ユニット２１７は、プレパラート２０６上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するためのプレ計測を行うユニットである。本計測の前にプレ計測ユニット２１７によって情報を取得することで、無駄のない撮像を実施することが可能となる。また、複数枚の画像を撮像する際の撮像開始位置と終了位置および撮像間隔の指定もプレ計測ユニット２１７が生成する情報に基づいて行われる。

メイン制御系２１８は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２１８および現像処理ユニット２１６の機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２１８および現像処理ユニット２１６の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。

外部インターフェース２１９は、現像処理ユニット２１６によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１
と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等のインターフェースが使用される。

本計測での撮像処理の流れを簡単に説明する。プレ計測により得られた情報に基づき、ステージ制御ユニット２０５が、ステージ２０２上の検体の位置決めを行い、検体に対する撮像の位置決めを行う。照明ユニット２０１から照射された光は、検体を透過し、結像光学系２０７によって撮像センサ２０８の撮像面に結像する。撮像センサ２０８の出力信号はＡＦＥ２０９によりデジタル画像（ＲＡＷデータ）に変換され、そのＲＡＷデータは現像処理ユニット２１６によりＲＧＢの二次元画像に変換される。このようにして得られた二次元画像は画像処理装置１０２へ送られる。

以上の構成および処理によって、ある焦点位置における検体の二次元画像を取得することができる。ステージ制御ユニット２０５によって光軸方向（Ｚ方向）に焦点位置をシフトさせながら、上記の撮像処理を繰り返すことにより、焦点位置が異なる複数枚の二次元画像を取得することができる。ここでは、本計測の撮像処理で得られる各々の二次元画像をＺスタック画像又は原画像と称す。

なお、本実施形態においては、単板方式のイメージセンサでカラー画像を取得する例を説明したが、ＲＧＢ別の三つのイメージセンサによりカラー画像を取得する三板方式を用いてもよい。あるいは、一つのイメージセンサと三色の光源を用い、光源色を切り替えながら三回の撮像を行うことによってカラー画像を取得する三回撮像方式を用いてもよい。

（深度合成）
図３は、深度合成の概念図である。図３を用いて深度合成処理の概要を説明する。

画像５０１〜５０７は７枚のＺスタック画像であり、３次元的に異なる空間位置に複数の観察対象が含まれる被写体に対して、焦点位置を光軸方向（Ｚ方向）に順次変更しながら７回撮像を行うことで得られたものである。５０８〜５１０は取得された画像５０１中に含まれる観察対象を示す。観察対象５０８は画像５０３の焦点位置ではピントが合うが、画像５０１の焦点位置ではボケた像となる。そのため、画像５０１では観察対象５０８の構造把握は困難である。観察対象５０９は画像５０２の焦点位置でピントが合うが、画像５０１の焦点位置では若干ボケた像となる。画像５０１では観察対象５０９の構造把握は十分ではないものの、可能な状況にある。観察対象５１０は画像５０１の焦点位置でピントが合うため、画像５０１により構造把握が十分に行える。

図３において、黒で塗りつぶされた観察対象は合焦するもの、白抜きの観察対象は若干ボケるもの、破線で示した観察対象はボケるもの、をそれぞれ表している。すなわち、画像５０１、５０２、５０３、５０４、５０５、５０６、５０７において、観察対象５１０、５１１、５１２、５１３、５１４、５１５、５１６にそれぞれピントが合う。なお、図３に示す例では、観察対象５１０〜５１６は水平方向に位置が異なっているものとして説明する。

画像５１７は、画像５０１〜５０７における焦点の合った観察対象５１０〜５１６の領域をそれぞれ切り出し、それらの合焦領域を合成して得られた画像を示している。上記のように複数の画像の合焦領域をつなぎ合わせることにより、画像の全領域でピントの合った深度合成画像を取得することができる。このようにデジタル画像処理によって被写界深度の深い画像を生成する処理は焦点合成（フォーカス・スタッキング）とも呼ばれる。

（焦点固定で被写界深度を変化させる処理）
図４は、焦点位置を固定したまま被写界深度を変化させるという観察の仕方をバーチャ
ル・スライド装置にて実現するための方法を示す概念図である。図４を用いて本実施形態の特徴である深度合成処理の基本的な考え方を説明する。

焦点位置６０１〜６０７は図３における画像５０１〜５０７に対応するものであり、６０１から６０７へと同じピッチで焦点位置が光軸方向にシフトしている。以下、焦点位置６０４を基準（固定）にして深度合成を行う例を説明する。

６０８、６１７、６１９、６２１は深度合成処理が行われた後の被写界深度を示している。本例ではそれぞれのＺスタック画像の被写界深度は６０８で示される範囲である。画像６０９は、焦点位置６０４のＺスタック画像、すなわち深度合成が行われていない画像を示している。６１０〜６１６は、それぞれ、焦点位置６０１〜６０７で最も焦点の合う領域を示している。画像６０９では、領域６１３に焦点が合い、領域６１２、６１４は若干ボケ、それ以外の領域６１０、６１１、６１５、６１６は完全にボケている。

６１７は６０８に比べ深い被写界深度を示している。合成画像６１８は、６１７の範囲に含まれる３枚のＺスタック画像から深度合成処理が行われた結果である。合成画像６１８では、画像６０９に比べて焦点が合っている領域が増えており、領域６１２〜６１４の範囲で焦点が合っている。同様に、６１９、６２１に示すように合成処理に使用するＺスタック画像の枚数を増やすにつれて、それぞれに対応する合成画像６２０、６２２では焦点の合っている領域が広がっていく。合成画像６２０では領域６１１〜６１５の範囲が、合成画像６２２では領域６１０〜６１６の範囲がそれぞれ焦点の合っている領域である。

上記のような画像６０９、６１８、６２０、６２２を作成し、これらの画像を自動若しくはユーザー操作により切り替えて表示すれば、焦点位置（この例では６０４）を固定したまま被写界深度を深くしたり浅くしたりする観察が実現できる。なお、図４の例では、焦点位置を中心にして上下に等しく被写界深度を拡大／縮小させているが、焦点位置の上側又は下側の被写界深度のみ拡大／縮小したり、上側と下側を異なる割合で拡大／縮小したりすることもできる。

（画像処理装置の動作）
次に、本実施形態における画像処理装置１０２の動作を、図５〜図９を用いて説明する。なお、以下に述べる処理は、特にことわりの無いかぎり、画像処理装置１０２のＣＰＵがプログラムを実行することにより実現されるものである。

図５は、メイン処理のフローを示している。処理が開始されるとステップＳ７０１において、画像処理装置１０２が範囲指定画面を表示装置１０３に表示する。範囲指定画面では、深度合成処理の対象とする水平方向（ＸＹ方向）の範囲の指定が行われる。図８Ａは、範囲指定画面の一例である。画像表示ウィンドウ１００１の領域１００２には、ある焦点位置で撮影されたＺスタック画像の全体が表示される。ユーザーは、マウスのドラッグ若しくはキーボードからの数値入力などにより、対象範囲１００３のＸＹ方向の位置およびサイズを指定することができる。例えば、ユーザーが、領域１００２に表示された検体画像の中で、深さ方向（Ｚ方向）の詳細観察が必要と判断した部分を対象範囲１００３に指定する、という使い方が想定される。画像全体について深さ方向の観察が必要な場合は、画像の全範囲を指定すればよい。なお、１００４は操作終了ボタンを示しており、このボタン１００４が押下されることにより画像表示ウィンドウ１００１が閉じられる。

範囲指定が完了すると、ステップＳ７０２において、画像処理装置１０２は、必要な数の焦点位置におけるＺスタック画像が撮像済みか否か判定する。撮像済みでない場合、画像処理装置１０２は、ステップＳ７０３において、撮像開始位置と終了位置、撮像ピッチ等の撮像パラメータを撮像装置１０１に送信し、撮像を要求する。ステップＳ７０４では
、撮像装置１０１が、指定された撮像パラメータに従って各焦点位置での撮像を行い、得られたＺスタック画像を画像処理装置１０２に送信する。画像は画像処理装置１０２内の記憶装置に保存される。

次に、画像処理装置１０２は、深度合成処理の対象となる複数のＺスタック画像を記憶装置から取得する（ステップＳ７０５）。また、画像処理装置１０２は、深度合成の設定画面を表示装置１０３に表示し、基準となる焦点位置および被写界深度の範囲等のパラメータ指定をユーザーに行わせる（ステップＳ７０６）。

図９は、設定画面の一例である。１１０１は、設定ウィンドウを示している。１１０２は、深度合成処理の基準位置となる焦点位置を設定するためのエディットボックスである。１１０３は、前記基準位置から上側の合成範囲ステップを設定するためのエディットボックスである。１１０４は、前記基準位置から下側の合成範囲ステップを設定するためのエディットボックスである。図９においては、上側の合成ステップが２、下側の合成ステップが１、基準位置が６、焦点位置の総数が９の場合の例を示している。深度合成処理時の被写界深度は、設定されたステップ値の整数倍で変化させる。つまり、図９の設定例では、最小合成範囲は位置４〜位置７、最大合成範囲は位置２〜位置８であり、２枚の深度合成画像が生成されることとなる。

１１０５は、基準位置および合成範囲をグラフィカルに表示する領域である。１１０２で指定された基準位置がわかるように、基準位置の線１１０６のみ、他の画像（焦点位置）を示す線に比べて太さ、長さ、色などを変えた強調表示が行われる。１１０７は被写界深度の最小範囲（最小合成範囲）を示し、１１０８は被写界深度の最大範囲（最大合成範囲）を示している。

１１０９は基準位置における画像を示している。この例では、焦点位置６の画像のうち、ステップＳ７０１で指定された対象範囲内の部分画像のみが表示されている。このように部分画像１１０９を表示することにより、ユーザーは、注目する観察対象が対象範囲内に含まれているかどうかや各観察対象のボケ具合を確認しながら、深度合成処理のパラメータを指定することが可能となる。１１１０は合成処理開始ボタンである。

なお、図９は設定画面の一具体例を示すものにすぎず、少なくとも基準位置と被写界深度の変化範囲を指定できさえすれば、どのような形式の設定画面を用いてもよい。例えば、エディットボックスではなくプルダウンリストやコンボボックスなどにより、基準位置やステップ値を選択できるようにしてもよい。また、１１０５のようなＧＵＩ上で、マウスのクリックにより基準位置や被写界深度の範囲を指定させる方法を用いてもよい。

設定入力後、ユーザーが合成処理開始ボタン１１１０を押下すると、画像処理装置１０２は設定ウィンドウ１１０１内で設定されたパラメータを確定し、ステップＳ７０７の合成処理を開始する。合成処理のフローについては、後ほど図６を参照して詳しく説明する。

ステップＳ７０８では、画像処理装置１０２が合成処理後の画像の表示方法をユーザーに指定させる。表示方法は、ユーザーがマウスやキーボード等を操作して表示画像を切り替える方法（ユーザー切替）と、所定の時間間隔で自動的に表示画像を切り替える方法（自動切替）とがあり、ユーザーはいずれかの方法を選択できる。なお、自動切替の場合の切り替えの時間間隔は、予め定められた固定値を用いてもよいし、ユーザーに指定させるようにしてもよい。ステップＳ７０９においては、画像処理装置１０２は、ステップＳ７０８で設定された表示方法にて、合成処理後の画像の表示処理を行う。この表示処理のフローについては、後ほど図７を参照して詳しく説明する。

なお、図５の例においては、深度合成処理の設定（ステップＳ７０６）は画像取得（ステップＳ７０５）より後に行われているが、例えば、深度合成処理の範囲指定（ステップＳ７０１）の直後に行ってもよい。また、図５の処理フローとは別にパラメータの設定を行っておき、画像処理装置１０２が記憶装置に保存されたパラメータを必要なタイミングで読み出すようにしてもよい。

（ステップＳ７０７：合成処理）
次に図６を用いてステップＳ７０７の合成処理フローの詳細を説明する。

画像処理装置１０２は、ステップＳ８０１において合成処理の対象となる画像群から任意の画像を選択する。続いて、画像処理装置１０２は、選択された画像を記憶装置から読み込み（ステップＳ８０２）、その画像を所定サイズのブロックに分割し（ステップＳ８０３）、分割したブロック毎にコントラストの度合いを示す値を算出する（ステップＳ８０４）。コントラスト検出処理の具体例としては、ブロック毎に離散コサイン変換を行って周波数成分を求め、周波数成分の中で高周波成分の総和を求め、コントラストの度合いを示す値として採用する方法が挙げられる。ステップＳ８０５では、画像処理装置１０２は、ステップＳ７０６で指定された最大合成範囲に含まれる画像全てに対して、コントラスト検出処理が実行されたか否かを判断する。コントラスト検出処理が終わっていない画像が残っている場合には、画像処理装置１０２は、未処理の画像を次に処理する画像として選択し（ステップＳ８０６）、ステップＳ８０２〜Ｓ８０４の処理を実行する。ステップＳ８０５において全ての画像に対してコントラスト検出処理が終了していると判断されると、処理はステップＳ８０７に移行する。

ステップＳ８０７〜Ｓ８１１は、被写界深度の異なる複数の合成画像を生成する処理である。例えば、図９の例では、被写界深度１１０７と１１０８の２枚の合成画像が生成されることとなる。

まずステップＳ８０７において、画像処理装置１０２は、最初に合成処理を行う被写界深度を決める。そして、画像処理装置１０２は、決定された被写界深度に含まれる複数の画像の中から、ブロック毎にコントラストが最も高い画像を選択し（ステップＳ８０８）、ブロック毎に選ばれた複数の部分画像を繋ぎ合せて１枚の合成画像を生成する（ステップＳ８０９）。ステップＳ８１０では、画像処理装置１０２は、指定された全ての被写界深度に対して合成処理が終了しているか否かを判断する。画像処理装置１０２は、合成処理が終了していない被写界深度が存在する場合には、ステップＳ８０８、Ｓ８０９の処理を繰り返す（ステップＳ８１０、Ｓ８１１）。

上述の説明では、空間周波数に基づいてコントラストの度合いを算出する例を示したが、ステップＳ８０４の処理はこれに限るものではい。例えば、エッジ検出フィルタを用いてエッジ検出を行い、得られたエッジ成分をコントラストの度合いとしても良い。あるいは、ブロック内に含まれる輝度値の最大値および最小値を検出し、最大値と最小値の差をコントラストの度合いとしても良い。他にも、コントラスト検出に対しては、既知の様々な方法を適用することが可能である。

（ステップＳ７０９：表示処理）
次に図７を用いてステップＳ７０９の表示処理フローの詳細を説明する。

画像処理装置１０２は、まずステップＳ９０１において、最初に表示する画像を選択する。例えば、被写界深度が最も浅い画像、あるいは、被写界深度が最も深い画像が、最初に表示する画像として選択される。そして、画像処理装置１０２は、選択された画像を表
示装置１０３に表示し（ステップＳ９０２）、前述のステップＳ７０８で指定された表示方法の設定を読み込む（ステップＳ９０３）。なお、図７の例においては、表示方法の取得ステップＳ９０３はステップＳ９０２より後に行われているが、例えば、選択画像の表示ステップＳ９０２の前に表示方法の取得を行ってもよい。

ステップＳ９０４では、画像処理装置１０２は、指定された表示方法がユーザー切替（ユーザー操作による表示画像の切り替え）か自動切替かを判別し、ユーザー切替の場合はステップＳ９０５へ、自動切替の場合はステップＳ９１１へ処理を移行する。

（１）ユーザー切替
ステップＳ９０５では、画像処理装置１０２はユーザーによる操作が行われたか否かの判別を行う。操作が無いと判断された場合はステップＳ９０５にて待機状態となる。操作が行われたと判断された場合、画像処理装置１０２は、マウスによるホイール操作がされたか否かを判別する（ステップＳ９０６）。ホイール操作が行われたと判断された場合、画像処理装置１０２は、ＵＰ操作かＤＯＷＮ操作かを判別し（ステップＳ９０７）、ＵＰ操作の場合は表示画像を被写界深度が一段階深い画像へ切り替える（ステップＳ９０８）。ＤＯＷＮ操作の場合、画像処理装置１０２は、表示画像を被写界深度が一段階浅い画像へと切り替える（ステップＳ９０９）。なお、ここではホイール操作に応答して被写界深度を一段階ずつ切り替える例を示したが、マウスホイールの所定時間あたりの回転量を検出し、回転量に応じて被写界深度の変化量を変えてもよい。

ステップＳ９０６にて、マウスホイール以外の操作がされたと判断された場合、画像処理装置１０２は、終了操作がされたか否かを判別する（ステップＳ９１０）。終了操作がされなかったと判別した場合、ステップ９０５へ進み待機状態となる。

（２）自動切替
ユーザー切替では、ユーザー操作にしたがって表示画像が切り替えられるのに対し、自動切替では、所定の時間間隔（ｔとする。）で自動的に表示画像が切り替わる。

ステップＳ９１１では、画像処理装置１０２は、現在の選択画像を表示（ステップＳ９０２）から、所定時間ｔが経過したかどうかを判断する。所定時間ｔが経過していないと判断された場合は、ステップＳ９１１にて待機状態となる。所定時間ｔが経過していたと判断された場合、画像処理装置１０２は、ステップＳ９１２にて、次に表示する被写界深度の画像を選択する。そして、ステップＳ９０２に戻り、表示画像が切り替わる。この表示切替は、ユーザーにより終了操作が行われるまで継続する（ステップＳ９１３）。

なお、画像の選択順としては、例えば、被写界深度が最も浅い画像から連続的に被写界深度が深い画像に切り替わっていくなどの方法がある。この場合、被写界深度が最も深い画像を表示して次に選択する画像が無くなった際には、最初に表示を行った被写界深度が最も浅い画像に戻るように、表示切替をループさせてもよい。あるいは、次に選択すべき被写界深度の画像が無くなった際には、切り替え順序を反転させることで、被写界深度が最も深い画像と最も浅い画像の間で表示切替を往復させてもよい。また、次に選択すべき被写界深度の画像が無くなった場合には表示の切り替えを中止して待機状態となり、マウスクリックなどのユーザーの指示により最初から同じ表示を開始する方法などもある。更に、最初に被写界深度が最も深い画像から連続的に被写界深度が浅くなる方向に連続的に表示画像を切り替えてもよい。他にも、さまざまな表示方法が適用可能である。

図８Ａ〜図８Ｃは、被写界深度が異なる画像の表示例を示している。本実施形態では、範囲指定で用いた画像表示ウィンドウ１００１を用いて画像の切り替え表示を行うことができる。図８Ａは、被写界深度が最も浅い画像、すなわち図９の基準位置６における画像
の例である。図８Ｂは、被写界深度が一段階深い画像、すなわち焦点位置４〜７の４枚の画像から生成された合成画像の例である。図８Ｃは、被写界深度がさらに一段階深い画像、すなわち焦点位置２〜８の７枚の画像から生成された合成画像の例である。図８Ａ、図８Ｂ、図８Ｃの順に、ピントの合っている観察対象が増えていることが分かる。なお、被写界深度が切り替わるのは、範囲指定された領域１００３内の画像部分だけであり、それ以外の部分は基準位置６の画像のまま変化しない。

以上述べた構成によれば、ユーザーは、注目する部分に焦点を合わせたまま周囲の様子を変化させるといった観察を極めて容易に行うことができる。これにより、ユーザーは注目する部分（例えば、組織や細胞等）の２次元的な構造だけでなく３次元的な構造も容易に把握することが可能となる。また、被写界深度を変化させる範囲を指定する（絞り込む）ことができるため、高解像かつ大サイズの画像であっても高速な処理が可能となる。また、１つの表示画像の中で被写界深度の深い部分（領域１００３）と浅い部分（領域１００３以外の部分）を混在表示できることを利用すれば、従来の光学顕微鏡では不可能であった、３次元的観察と２次元的観察を組み合わせたユニークな観察手法も可能となる。

［第２の実施形態］
本発明の第２の実施形態を説明する。第１の実施形態では、焦点位置を固定したまま被写界深度を変化させる観察方法を実現するための構成を示したが、第２の実施形態では、被写界深度を固定したまま焦点位置を変化させる観察方法を実現するための構成を示す。

（システム構成）
図１０は、本発明の第２の実施形態に係る画像処理システムの装置構成の全体図である。

本実施形態における画像処理システムは、画像サーバ１２０１、画像処理装置１０２、表示装置１０３から構成される。第１の実施形態では、画像処理装置１０２は撮像装置１０１から画像を取得したのに対し、本実施形態では、画像サーバ１２０１から画像を取得する点が異なる。画像サーバ１２０１と画像処理装置１０２の間は、ネットワーク１２０２を介して、汎用Ｉ／ＦのＬＡＮケーブル１２０３で接続される。画像サーバ１２０１はバーチャル・スライド装置により撮像されたＺスタック画像を保存する大容量の記憶装置を備えたコンピュータである。画像処理装置１０２および表示装置１０３は第１の実施形態のものと同様である。

図１０の例では、画像サーバ１２０１と画像処理装置１０２と表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を画像サーバに組み込んでもよい。また画像サーバ、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像サーバや画像処理装置の機能を分割して複数の装置によって実現してもよい。

（被写界深度固定で焦点位置を変化させる処理）
図１１は、被写界深度を固定したまま焦点位置（実際は深度合成の基準位置）を変化させるという観察の仕方をバーチャル・スライド装置にて実現するための方法を示す概念図である。図１１を用いて本実施形態の特徴である深度合成処理の基本的な考え方を説明する。

焦点位置１３０１〜１３０７は図３における画像５０１〜５０７に対応するものであり、１３０１から１３０７へと同じピッチで焦点位置が光軸方向にシフトしている。以下、深度合成処理によって３枚分の画像に相当する被写界深度をもつ合成画像を生成する例を
説明する。

画像１３０９は基準位置を１３０２、被写界深度を１３０８とした場合の深度合成処理により生成された合成画像である。画像１３０９では、１３１３、１３１４、１３１５の３つの領域において焦点が合っている。

画像１３１７は基準位置を１３０３、被写界深度を１３１６とした場合の深度合成処理により生成された合成画像である。画像１３１７は、画像１３０９と被写界深度は同じであるが、基準となる焦点位置が異なる。その結果、画像１３１７と画像１３０９とでは、焦点が合っている領域の位置が変化する。画像１３１７では、画像１３０９において焦点が合っていた領域１３１５では焦点があっておらず、代わりに画像１３０９において焦点が合っていなかった領域１３１２において焦点が合っている。

画像１３１９は基準位置を１３０４、被写界深度を１３１８とした場合の深度合成処理により生成された合成画像である。また、画像１３２１は基準位置を１３０５、被写界深度を１３２０とした場合の深度合成処理により生成された合成画像である。画像１３１９では、焦点の合っている領域は１３１１〜１３１３であり、画像１３２１では、焦点の合っている領域は１３１０〜１３１２である。

このような合成画像１３０９、１３１７、１３１９、１３２１を作成し、これらの画像を自動若しくはユーザー操作により切り替えて表示すれば、オリジナル画像よりも深い被写界深度で、焦点位置を変化させながらの観察が実現できる。

顕微鏡装置は被写界深度が浅く、焦点位置から光軸方向に少しずれただけでもボケてしまうため、注目する領域が深さ方向にある程度の広がりをもつ場合には観察が困難となる。この点、上記方法により被写界深度を所望の深度に拡大することにより、１枚の表示画像だけで、注目する領域全体に焦点が合った状態での観察が可能になる。また、焦点位置を光軸方向に移動させながら順次閲覧する際にも、被写界深度が浅いと焦点位置を少し変化させるだけでも被写体がすぐにボケてしまうため、深さ方向に隣接する画像間の関連が失われやすい。この点、上記方法によれば、合成画像同士の被写界深度の範囲が重なりを有するため、画像切替にともなう合焦状態の変化が緩やかになり、深さ方向に隣接する画像間の関連が把握しやすくなる。更に、被写界深度を所望の深度に限定して拡大させることにより、注目する被写体の周囲ではボケが残ることになる。注目する被写体の周辺のボケを残すことで奥行き感を得ることが可能になり、注目する被写体の立体感を感じながら画像を閲覧することが可能になる。

なお、図１１における例では、合成処理時に使用される画像数（被写界深度の範囲に含まれる画像数）と、焦点の合っている領域とが同数の３である例を示した。しかし、一般的にはこの数は一致するとは限らず、焦点の合っている領域の数は基準位置毎に変化する。また、図１１においては隣り合う領域に移動するように、焦点の合っている領域が変化してゆく例を示したが、実際の結果はこれに限るものではない。例えば、被写体の状態、撮像時の焦点位置、あるいは設定する被写界深度に応じて焦点の合っている領域の状況は異なる。

（画像処理装置の動作）
本実施形態における画像処理装置１０２の動作を、図１２〜図１４を用いて説明する。なお、メイン処理のフローは、第１の実施形態で述べた図５のものと同様である。ただし、本実施形態では、図５におけるステップＳ７０２の判定は画像サーバ１２０１中に撮像された画像が存在するか否かの判定となる。また、ステップＳ７０４の保存先は画像サーバ１２０１となる。以下、第１の実施形態と異なる処理について詳しく説明する。

（Ｓ７０６：深度合成処理の設定）
図１４は本実施形態における深度合成処理のパラメータを設定するための設定画面の一例である。

１６０１は、設定ウィンドウを示している。１６０２は、基準位置から上側の深度合成範囲を設定するためのエディットボックスである。１６０３は、基準位置から下側の深度合成範囲を設定するためのエディットボックスである。１６０４は、確認用に表示する画像（１６０８〜１６１０）の基準位置を設定するためのエディットボックスである。図１４においては、上側の合成範囲が１、下側の合成範囲が２、画像確認用の基準位置が３の場合の例を示している。この場合、基準位置の画像を含む４枚の画像から合成画像が生成されることになる。

１６０５は、１６０２〜１６０４で指定された内容をグラフィカルに表示する領域である。画像確認用の基準位置が容易にわかるように、その基準位置の線１６０６のみ、他の画像（焦点位置）を示す線に比べて太さ、長さ、色などを変えた強調表示が行われる。１６０７は、焦点位置３を基準としたときの被写界深度の範囲を示している。

確認用に表示される画像１６０８、１６０９、１６１０は、それぞれ、焦点位置２、３、５における画像である。ステップＳ７０１で指定された範囲内の領域が表示されている。このように確認用の画像を表示することにより、注目する被写体全体に焦点が合うかどうかを確認しながら、合成範囲を指定することが可能となる。

なお、図１４は設定画面の一具体例を示すものにすぎず、少なくとも合成範囲を指定できさえすれば、どのような形式の設定画面を用いてもよい。例えば、エディットボックスではなくプルダウンリストやコンボボックスなどにより、合成範囲等を選択できるようにしてもよい。また、１６０５のようなＧＵＩ上で、マウスのクリックにより合成範囲等を指定させる方法を用いてもよい。

設定入力後、ユーザーが合成処理開始ボタン１６１０を押下すると、画像処理装置１０２は設定ウィンドウ１６０１内で設定されたパラメータを確定し、ステップＳ７０７の合成処理を開始する。

（ステップＳ７０７：合成処理）
図１２は図１１に示す合成処理のフローを示すものであり、本実施形態におけるステップＳ７０７の詳細な内容を示している。図１２は第１の実施形態における合成処理の詳細フローである図６に対応するものであり、同様の項目には同じ符号を付し説明は省略する。

ステップＳ８０１からステップＳ８０６までの処理は、第１の実施形態と同様に進められる。画像処理装置１０２は、ステップＳ１４０１において最初に合成処理を行う焦点位置（基準位置）を決めると、第１の実施形態と同様の方法で合成画像を生成する（ステップＳ８０８、Ｓ８０９）。ステップＳ１４０２では、画像処理装置１０２は、指定された全ての焦点位置に対して合成処理が終了しているか否かを判断し、未処理の焦点位置が存在する場合には、ステップＳ８０８、Ｓ８０９の処理を繰り返す（ステップＳ１４０３）。

なお、前述の説明ではステップＳ１４０２において、全ての焦点位置に対し合成処理を行うようにしている。しかし、全ての焦点位置に対して合成処理を行うようにした場合、焦点位置の上限あるいは下限において合成処理に必要な画像が不足し、指定した被写界深
度の範囲で合成処理が出来ない場合がある。そこで、指定された被写界深度の範囲で合成処理を行う事が可能な焦点位置の画像に対してのみ合成処理を行うようにしてもよい。あるいは、合成処理を行う焦点位置の範囲をユーザーに指定させる等さまざまな方法が適用可能である。

（ステップＳ７０９：表示処理）
図１３は、本実施形態における画像の表示処理の詳細フローである。図１３は第１の実施形態における画像の表示処理の詳細フローである図７に対応するものであり、同様の項目には同じ符号を付し説明は省略する。

画像処理装置１０２は、まずステップＳ１５０１において、最初に表示する画像を選択する。例えば、全体画像の焦点位置に最も近い画像、あるいは、全体画像の焦点位置から最も遠い画像が、最初に表示する画像として選択される。その後、第１の実施形態と同じように選択画像が表示され、指定された表示方法に従ってユーザー切替または自動切替が実行される。ユーザー切替においては、第１の実施形態ではマウスホイールのＵＰ／ＤＯＷＮで被写界深度を拡大／縮小したのに対し、本実施形態では、ＵＰで基準位置を上に移動し（ステップＳ１５０２）、ＤＯＷＮで基準位置を下に移動する（ステップＳ１５０３）。また、自動切替においては、第１の実施形態では被写界深度を切り替えたのに対し、本実施形態では基準位置を上もしくは下に順に移動する（ステップＳ１５０４）。それ以外の処理については、第１の実施形態のものと同様である。

以上述べた構成によれば、複数の焦点位置において所望の被写界深度で深度合成を行うことで得た複数の合成画像を観察することが可能となる。ユーザーは、被写界深度の範囲を拡大した複数の合成画像を観察することができ、複数のオリジナル画像（Ｚスタック画像）をそのまま観察する場合と比べ、検体の深さ方向（Ｚ方向）の構造を容易に把握することが可能となる。

［第３の実施形態］
本発明の第３の実施形態を説明する。本実施形態の画像処理装置１０２の特徴の一つは、上述の実施形態において説明した合成方法を選択的に実行して合成画像を取得可能であることである。また本実施形態の画像処理装置１０２の特徴の一つは、上述の実施形態において説明した表示方法、および後述する他の表示方法を選択的に実行することである。以下、これらの点を中心に説明する。

図１５は本実施形態における画像取得の流れを示すフローである。画像処理装置１０２は、ステップＳ１７０１において、ユーザーに画像取得モードを選択させる。画像の取得先としては、画像処理装置１０２内のローカルの記憶装置、画像サーバ１２０１、撮像装置１０１のいずれかを選択可能である。

ローカルの記憶装置が選択された場合には（ステップＳ１７０２のＹｅｓ）、画像処理装置１０２は、自装置内の記憶装置から必要な画像を取得し、処理を終了する（ステップＳ１７０３）。画像サーバ１２０１が選択された場合には（ステップＳ１７０４のＹｅｓ）、画像処理装置１０２は、ネットワークを介して画像サーバ１２０１から必要な画像を取得し、処理を終了する（ステップＳ１７０５）。撮像装置１０１が選択された場合には（ステップＳ１７０４のＮｏ）、画像処理装置１０２は撮像のパラメータ及びリクエストを撮像装置１０１に送信して撮像を行わせ、その結果得られた画像を取得する（ステップＳ１７０６）。

なお、画像取得方法は図１５に示す内容に限定されるものではない。例えば、画像取得先の選択肢は、画像処理装置１０２、画像サーバ１２０１、撮像装置１０１のうちの２つ
でもよい。あるいは、専用線で接続されたストレージ、メモリカード等の記録媒体、他のコンピュータ、他のバーチャル・スライド・システムなど、画像取得先の選択肢をさらに増やすこともできる。

次に、本実施形態における処理フローを、図１６を用いて説明する。なお、前述した図５の処理フローの内容と同様の項目には同じ符号を付し、説明は省略する。

ステップＳ７０１からＳ７０５までは前述の実施形態と同様に処理が実行される。そして、ステップＳ１８０１において、画像処理装置１０２は、図１７Ａに示す合成処理モード指定画面１９０１を表示し、ユーザーに合成処理モードを選択させる。合成処理モードとしては、第１の実施形態で述べた焦点位置固定モード１９０２と第２の実施形態で述べた被写界深度固定モード１９０３のいずれかを選択可能である。

ステップＳ１８０２では、ステップＳ１８０１の選択結果に応じて処理の分岐が行われ、焦点位置固定モードが選択された場合にはステップＳ１８０３へ移行する。画像処理装置１０２は図９の設定画面を表示して焦点位置固定モード用の深度合成処理の設定をユーザーに行わせ（ステップＳ１８０３）、次いで焦点位置固定の合成処理を実行する（ステップＳ１８０４）。一方、被写界深度固定モードが選択された場合、画像処理装置１０２は図１４の設定画面を表示して被写界深度固定モード用の深度合成処理の設定をユーザーに行わせ（ステップＳ１８０５）、次いで被写界深度固定の合成処理を実行する（ステップＳ１８０６）。

次に、ステップＳ１８０７において、画像処理装置１０２は、図１７Ｂに示す表示モード指定画面２００１を表示し、ユーザーに表示モードを指定させる。表示モードとしては、１枚表示モード２００２と並列表示モード２００３のいずれかを選択可能である。

１枚表示モードが選択された場合には（ステップＳ１８０８のＹｅｓ）、画像処理装置１０２は、図８Ａ〜図８Ｃに示すように、複数の合成画像を１枚ずつ時分割で順番に切り替えながら表示する（ステップＳ１８０９）。一方、並列表示モードが選択された場合には（ステップＳ１８０８のＮｏ）、画像処理装置１０２は、並列表示モードにより表示を行う（ステップＳ１８１０）。

図１８はステップＳ１８１０において実行される並列表示モードの画面例である。画像表示ウィンドウ２１０１の中に、複数の合成画像２１０２〜２１０９が空間的に並べて表示されている。なお、並列表示モードの表示方法は図１８の例に限定されるものではない。例えば、全ての画像ではなく、一部の複数の画像を画像表示ウィンドウに並べて表示し、マウスなどによるスクロール操作で表示画像を順次切り替えるようにしてもよい。その他、並列表示モードにおいては少なくとも２枚以上の画像が同時に異なる位置に表示され、ユーザーが複数の画像を比較可能な表示方法であればどのような方法であってもよい。

合成処理モードの選択方法は上述の方法以外でも良い。例えば、画像処理装置１０２が、プログラム起動時等に図１７Ａの画面を表示して合成処理モードをユーザーに選択させ、選択結果を保存しておいたものをステップＳ１８０２で読み込むようにしてもよい。更に、図１７Ａに示すようなモード選択のみを行うウィンドウを設けるのではなく、図９および図１４に示す合成処理設定画面に合成処理モードを選択するＵＩを設けても良い。

同様に、表示モードの選択方法についても上述の方法以外でも良い。例えば、画像処理装置１０２が、プログラム起動時等に図１７Ｂの画面を表示して表示モードをユーザーに選択させ、選択結果を保存しておいたものをステップＳ１８０８で読み込むようにしてもよい。更に、図１７Ｂに示すようなモード選択のみを行うウィンドウを設けるのではなく
、図８、および図１８の画像表示画面に表示モードを選択するＵＩを設けても良い。

本実施形態では、合成処理モードおよび表示モードを双方変更可能な例を示したが、これに限るものではなく、いずれか一方のみ変更可能な構成であっても構わない。また、合成処理モードの選択に関しては、他の画像処理への切り替えのための選択肢が含まれていても構わない。同様に、表示モードの選択に関しては、他の表示モードへの切り替えのための選択肢が含まれていても構わない。他の表示モードの例としては、例えば深度合成処理を行っていないオリジナル画像（Ｚスタック画像）のみの表示モード等が挙げられる。あるいは、深度合成処理後の画像と深度合成処理を行っていない画像の両方を比較可能に表示するモード等が挙げられる。深度合成処理後の画像と深度合成処理を行っていない画像を比較可能に表示する表示モードも設けることにより、深度合成処理により他の画像から切り出され合成された領域の撮像時の状態を把握することが可能となる。そのため、明瞭な状態と奥行き感のある状態を両方比較しながら画像を閲覧することが可能となる。

以上説明した構成により、複数の焦点位置における撮像結果を所望の方法で合成処理させることが可能となる。また、前記合成処理結果を所望の方法で表示させることが可能になる。その結果、ユーザーは、合成処理モードおよび表示モードを選択的に切り換えることにより、被写体の撮像結果に応じて最適な合成処理結果および表示結果を得ることが可能となる。

［その他の実施形態］
上述した実施形態は本発明の一具体例を示すものにすぎず、本発明の構成はそれらの具体例に限定されるものではない。

例えば、第１と第２の実施形態ではユーザー切替と自動切替を選択可能としたが、どちらか一方の表示方法のみであってもよい。また、ユーザー切替と自動切替を組み合わせても良い。また、範囲指定を行わず、図８Ａの１００２に表示されている領域全体に対して合成処理を施して合成処理後の画像を表示するようにしても良い。更に、切り替えながら表示する画像は合成処理後の画像のみならず、合成処理前の各焦点位置における画像（Ｚスタック画像）を含むようにしても良い。この場合、合成処理結果の画像のみを表示するモード、合成処理前の画像のみを表示するモード、合成処理結果の画像および合成処理前の画像全てを表示するモードを選択できるようにしても良い。

また上記実施形態では、被写界深度の変化範囲や基準位置などのパラメータを閲覧前に指定させるフローを示したが、これに限るものではい。例えば事前に設定したパラメータを保存しておき、範囲指定（１００３）がされた時点もしくはプログラム起動時に、保存されていたパラメータが読み込まれるようにしてもよい。このようにすることで、図９や図１４に示す設定画面を表示させる必要が無くなり、図８Ａの画像表示画面のみの操作で所望の画像観察が可能となる。

また、第１と第２の実施形態では、焦点位置と被写界深度のいずれか一方を固定し、他方を変化させる処理を例示した。しかし本発明はこれに限定されるものではなく、例えば、焦点位置および被写界深度の両方を変化させた合成画像を生成し、それらの合成画像を切替表示できるようにしてもよい。この場合、焦点固定・被写界深度可変モード、被写界深度固定・焦点可変モード、焦点可変・被写界深度可変モードの３つのモードが選択可能である。

さらには、第１から第３の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、第１の実施形態のシステム構成において第２の実施形態の画像合成処理および画像表示処理を行うこともできるし、逆に第２の実施形態のシステム構成において
第１の実施形態の画像合成処理および画像表示処理を行うこともできる。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属するものである。

また、上記実施形態では、画像の切り替えをマウスのホイール操作によって指示したが、トラックパッド、トラックボール、ジョイスティックなどのポインティングデバイスによるスクロール操作でも同じように指示することができる。また、キーボードの所定のキー（上下キーやページＵＰ／ＤＯＷＮキーなど）を用いて同じように指示することも可能である。

１０１：撮像装置、１０２：画像処理装置、１０３：表示装置、１２０１：画像サーバ

Claims (12)

1. 被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得手段と、
   前記複数のＺスタック画像から複数の観察用画像を生成する画像生成手段と、を備え、
   前記画像生成手段は、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、
   前記複数の観察用画像は、第１の観察用画像と該第１の観察用画像よりも被写界深度が深い第２の観察用画像を含み、
   前記第２の観察用画像のＺ方向の合焦範囲が、前記第１の観察用画像のＺ方向の合焦範囲を包含し、且つ、前記第１の観察用画像のＺ方向の合焦範囲よりもＺ方向の一方の側と他方の側とに拡大するように、前記第２の観察用画像が生成される
   ことを特徴とする画像処理装置。
2. 前記第２の観察用画像のＺ方向の合焦範囲が、前記第１の観察用画像のＺ方向の合焦範囲に対してＺ方向の一方の側と他方の側とに等しく拡大するように、前記第２の観察用画像が生成される
   ことを特徴とする請求項１に記載の画像処理装置。
3. 被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得手段と、
   前記複数のＺスタック画像から複数の観察用画像を生成する画像生成手段と、
   前記Ｚスタック画像から合成処理の対象となる対象範囲をユーザーに指定させる範囲指定手段と、を備え、
   前記画像生成手段は、
   前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、且つ、
   前記範囲指定手段で指定された前記対象範囲の部分についてのみ、前記複数の観察用画
   像を生成し、
   前記Ｚスタック画像における前記対象範囲の部分に前記観察用画像をはめ込んだ画像を表示装置に表示する手段をさらに備える
   ことを特徴とする画像処理装置。
4. 被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得手段と、
   前記複数のＺスタック画像から複数の観察用画像を生成する画像生成手段と、
   前記観察用画像を表示装置に表示する画像表示手段と、を備え、
   前記画像生成手段は、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、
   前記画像表示手段は、被写界深度の深さが互いに異なる前記複数の観察用画像を空間的に並べて前記表示装置に表示する
   ことを特徴とする画像処理装置。
5. 被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得手段と、
   前記複数のＺスタック画像から複数の観察用画像を生成する画像生成手段と、を備え、
   前記画像生成手段は、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、
   複数の画像を時分割で表示するモードと複数の画像を空間的に並べて表示するモードを含む複数の表示モードのうちから、使用する表示モードをユーザーに指定させるモード指定手段と、
   前記モード指定手段で指定された表示モードに従って、複数の観察用画像を表示装置に表示する手段と、をさらに備える
   ことを特徴とする画像処理装置。
6. 被写体の異なるＺ方向位置を撮像することにより複数のＺスタック画像を生成する顕微鏡装置と、
   前記顕微鏡装置から前記複数のＺスタック画像を取得する、請求項１〜５のいずれかに記載の画像処理装置と、を備える
   ことを特徴とする撮像システム。
7. 被写体の異なるＺ方向位置を撮像することにより得られた複数のＺスタック画像を格納するサーバと、
   前記サーバから前記複数のＺスタック画像を取得する、請求項１〜５のいずれかに記載の画像処理装置と、を備える
   ことを特徴とする画像処理システム。
8. コンピュータが、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得ステップと、
   コンピュータが、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成ステップと、を有し、
   前記画像生成ステップでは、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、
   前記複数の観察用画像は、第１の観察用画像と該第１の観察用画像よりも被写界深度が深い第２の観察用画像を含み、
   前記第２の観察用画像のＺ方向の合焦範囲が、前記第１の観察用画像のＺ方向の合焦範囲を包含し、且つ、前記第１の観察用画像のＺ方向の合焦範囲よりもＺ方向の一方の側と他方の側とに拡大するように、前記第２の観察用画像が生成される
   ことを特徴とする画像処理方法。
9. コンピュータが、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得ステップと、
   コンピュータが、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成ステップと、
   前記Ｚスタック画像から合成処理の対象となる対象範囲をユーザーに指定させる範囲指定ステップと、を有し、
   前記画像生成ステップでは、
   前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、且つ、
   前記範囲指定ステップで指定された前記対象範囲の部分についてのみ、前記複数の観察用画像を生成し、
   コンピュータが、前記Ｚスタック画像における前記対象範囲の部分に前記観察用画像をはめ込んだ画像を表示装置に表示するステップをさらに有する
   ことを特徴とする画像処理方法。
10. コンピュータが、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得ステップと、
    コンピュータが、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成ステップと、
    コンピュータが、前記観察用画像を表示装置に表示する画像表示ステップと、を有し、
    前記画像生成ステップでは、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、
    前記画像表示ステップでは、被写界深度の深さが互いに異なる前記複数の観察用画像を空間的に並べて前記表示装置に表示する
    ことを特徴とする画像処理方法。
11. コンピュータが、被写体の異なるＺ方向位置を顕微鏡装置で撮像することにより得られた複数のＺスタック画像を取得する画像取得ステップと、
    コンピュータが、前記複数のＺスタック画像から複数の観察用画像を生成する画像生成ステップと、を有し、
    前記画像生成ステップでは、前記複数のＺスタック画像のうちの２枚以上のＺスタック画像を深度合成することで１枚の観察用画像を生成する合成処理を複数回実行することによって、被写界深度の深さが互いに異なる複数の観察用画像を生成し、
    コンピュータが、複数の画像を時分割で表示するモードと複数の画像を空間的に並べて表示するモードを含む複数の表示モードのうちから、使用する表示モードをユーザーに指定させるモード指定ステップと、
    コンピュータが、前記モード指定ステップで指定された表示モードに従って、複数の観察用画像を表示装置に表示するステップと、をさらに有する
    ことを特徴とする画像処理方法。
12. 請求項８〜１１のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images