JP6563486B2 - 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム - Google Patents

Description

本発明は、顕微鏡装置において取得された画像を介して被写体を観察する顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムに関する。

生物学や医学等の分野においては、焦点深度が数十μｍレベルの生物顕微鏡を用いて細胞核や幹細胞等の厚みのある被写体を観察する際、観察光学系の光軸に沿った奥行き方向（Ｚ方向）に存在する注目部位を速やかに特定したいというユーザのニーズがある。このようなニーズに対し、観察光学系の焦点面を光軸に沿ってずらしながら順次撮像を行うことにより焦点面が異なる複数の画像を取得し、これらの複数の画像をもとに、Ｚ方向の各位置に合焦された全焦点画像を生成する技術が知られている。このように取得された焦点面が異なる複数の画像をまとめて、Ｚスタック画像ともいう。

全焦点画像を生成する方法としては、Ｚスタック画像を重畳して生成した多重焦点画像を、ボケ関数を用いて復元する方法や、焦点面が異なる複数の画像の各々から合焦領域を抽出して合成する方法等がある。

例えば特許文献１には、被写体の近端側及び遠端側にそれぞれ合焦した２つの画像と、被写体の近端側から遠端側にイメージセンサをスイープしながら撮像して生成した全焦点画像とを取得し、近端側及び遠端側にそれぞれ合焦した画像を、全焦点画像を用いて復元することにより、画像内の部分領域におけるボケ量を算出し、それにより光学系から被写体までの距離を取得して距離マップを作成する技術が開示されている。

国際公開第２０１１／１５８４９８号

生体等に見られる透明被写体を全焦点画像により観察する場合において、構造がＺ方向に複数存在するとき、これらの構造の各々に合焦していると、各構造のＺ方向における位置を把握することは難しい。また、Ｚ方向において複数の構造が重なっている場合には、それらの構造同士の前後関係、即ちＺ方向における位置関係を把握することも困難である。さらに、Ｚスタック画像は撮像に時間がかかる上に、記憶すべきデータ量や画像処理における演算量が膨大になるという問題もある。

このような問題に関し、上記特許文献１においては、距離マップを生成することにより、画像に写った構造のＺ位置を視覚的に把握することはできる。しかしながら、距離マップではＺ方向における構造同士の前後関係を視覚的に再現することができず、ユーザが直感的に把握することは困難である。

本発明は上記に鑑みてなされたものであり、画像に写った構造のＺ方向における位置や構造同士の前後関係をユーザが視覚的且つ直感的に把握することができる画像を、従来よりも短時間に生成することができ、且つ、データ量や画像処理における演算量を従来よりも抑制することができる顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡観察システムは、顕微鏡の観察光学系により生成される被写体像を撮像して画像を取得する撮像部と、前記観察光学系の焦点面及び視野の位置をシフトさせるシフト手段と、前記撮像部の１露光期間中に、前記焦点面及び前記視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を前記撮像部に取得させる撮像制御部と、前記視野の位置をシフトさせるシフト量を取得するシフト量取得処理部と、前記シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部と、前記複数の全焦点画像を表示する表示部と、を備えることを特徴とする。

上記顕微鏡観察システムにおいて、前記撮像制御部は、前記シフト量取得処理部が取得した前記シフト量に基づいて、前記複数の多重焦点重畳画像の各々を取得する際の撮像開始位置を決定する、ことを特徴とする。

上記顕微鏡観察システムは、外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域を抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得部と、をさらに備えることを特徴とする。

上記顕微鏡観察システムにおいて、前記全焦点画像生成部は、前記観察領域を選択された全焦点画像における前記観察領域の位置に基づき、前記撮像部の１露光期間中に前記観察光学系の視野の位置をシフトさせて多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部を有する、ことを特徴とする。

上記顕微鏡観察システムにおいて、前記撮像位置決定処理部は、前記複数の全焦点画像の間で各全焦点画像における前記観察領域の位置が変化しないように、前記撮像位置を決定する、ことを特徴とする。

本発明に係る顕微鏡観察方法は、顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察方法において、前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像ステップと、前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示部に表示させる表示ステップと、を含むことを特徴とする。

本発明に係る顕微鏡観察プログラムは、顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察プログラムにおいて、前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する制御を行う撮像制御ステップと、前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示部に表示させる表示ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、撮像部の１露光期間中に焦点面及び視野の位置をシフトさせることにより多重焦点重畳画像を取得するので、Ｚスタック画像を取得して画像処理により多重焦点画像を生成する場合と比較して、撮像時間を大幅に短縮することができると共に、データ量及び演算量を大幅に抑制することが可能となる。また、本発明によれば、視野の位置のシフト量が異なる複数の条件の下で生成された複数の全焦点画像を画面に表示するので、ユーザは、これらの全焦点画像を対比することにより、画像に写った構造のＺ方向における位置や構造同士の前後関係を視覚的且つ直感的に把握することが可能となる。

図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。 図２は、図１に示す顕微鏡装置の構成例を示す模式図である。 図３は、図１に示す顕微鏡観察システムの動作を示すフローチャートである。 図４は、複数の多重焦点重畳画像の取得処理を説明するための模式図である。 図５は、複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。 図６は、複数の全焦点画像の生成処理の詳細を示すフローチャートである。 図７は、図１に示す表示装置に２つの全焦点画像を並べて表示した例を示す模式図である。 図８は、本発明の実施の形態１の変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。 図９は、本発明の実施の形態１の変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。 図１０は、本発明の実施の形態１の変形例３における複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。 図１１は、本発明の実施の形態１の変形例３における複数の多重焦点重畳画像の取得処理を説明するための模式図である。 図１２は、本発明の実施の形態１の変形例４における多重焦点重畳画像の取得処理を説明するための模式図である。 図１３は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。 図１４は、図１３に示す顕微鏡観察システムの動作を示すフローチャートである。 図１５は、複数の多重焦点重畳画像を示す模式図である。 図１６は、観察領域の選択方法の一例を示す模式図である。 図１７は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。 図１８は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。 図１９は、図１８に示す顕微鏡観察システムの動作を示すフローチャートである。 図２０は、図１９に示す顕微鏡観察システムの動作を説明するための模式図である。 図２１は、実施の形態３の変形例における視野の位置のシフト方法を示す模式図である。 図２２は、実施の形態３の変形例における視野の位置の別のシフト方法を示す模式図である。

以下、本発明に係る顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡観察システム１は、被写体像を生成する顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置２０と、撮像装置２０が処理した画像を表示する表示装置３０とを備える。

図２は、顕微鏡装置１０の構成例を示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１００と、該アーム１００上に三眼鏡筒ユニット１０１を介して支持された鏡筒１０２及び接眼レンズユニット１０３と、アーム１００に設けられた落射照明ユニット１１０及び透過照明ユニット１２０と、被写体Ｓが載置されるステージ１３１を含む電動ステージユニット１３０と、鏡筒１０２の一端側に三眼鏡筒ユニット１０１を介してステージ１３１と対向するように設けられ、被写体Ｓからの観察光を結像する対物レンズ１４０とを備える。この対物レンズ１４０と、三眼鏡筒ユニット１０１を介して接続された鏡筒１０２と、該鏡筒１０２の他端側に設けられた撮像部２１１（後述）とが、観察光学系（撮像光学系）１０４を構成する。

三眼鏡筒ユニット１０１は、対物レンズ１４０から入射した観察光を、ユーザが被写体Ｓを直接観察するための接眼レンズユニット１０３と、後述する撮像部２１１との方向に分岐する。

落射照明ユニット１１０は、落射照明用光源１１１及び落射照明光学系１１２を備え、被写体Ｓに対して落射照明光を照射する。落射照明光学系１１２は、落射照明用光源１１１から出射した照明光を集光して、観察光学系１０４の光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。

透過照明ユニット１２０は、透過照明用光源１２１及び透過照明光学系１２２を備え、被写体Ｓに対して透過照明光を照射する。透過照明光学系１２２は、透過照明用光源１２１から出射した照明光を集光して光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。

これらの落射照明ユニット１１０及び透過照明ユニット１２０は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置１０に、落射照明ユニット１１０と透過照明ユニット１２０とのいずれか一方のみを設けることとしても良い。

電動ステージユニット１３０は、ステージ１３１と、該ステージ１３１を移動させるステージ駆動部１３２と、位置検出部１３３とを備える。ステージ駆動部１３２は、例えばモータによって構成される。ステージ１３１の被写体載置面１３１ａは、対物レンズ１４０の光軸と直交するように設けられている。以下においては、被写体載置面１３１ａをＸＹ平面とし、該ＸＹ平面の法線方向、即ち光軸と平行な方向をＺ方向とする。Ｚ方向においては、図の下方向、即ち対物レンズ１４０から離れる方向をプラス方向とする。

ステージ１３１をＸＹ平面内で移動させることにより、対物レンズ１４０の視野の位置をシフトさせることができる。また、ステージ１３１をＺ方向に移動させることにより、対物レンズ１４０の焦点面を光軸Ｌに沿ってシフトさせることができる。即ち、電動ステージユニット１３０は、後述する撮像制御部２２の制御の下でステージ１３１を移動させることにより焦点面及び視野の位置をシフトさせるシフト手段である。

なお、図２においては、焦点面及び視野の位置をシフトさせる際、鏡筒１０２〜対物レンズ１４０を含む観察光学系１０４の位置を固定し、ステージ１３１側を移動させる構成としているが、ステージ１３１の位置を固定し、観察光学系１０４側を移動させても良い。或いは、ステージ１３１と観察光学系１０４との双方を互いに反対方向に移動させても良い。つまり、観察光学系１０４と被写体Ｓとが相対的に移動可能な構成であれば、どのような構成であっても構わない。また、焦点面のシフトは観察光学系１０４のＺ方向における移動により行い、視野Ｖの位置のシフトはステージ１３１のＸＹ平面における移動により行うこととしても良い。

位置検出部１３３は、例えばモータからなるステージ駆動部１３２の回転量を検出するエンコーダによって構成され、ステージ１３１の位置を検出して検出信号を出力する。なお、ステージ駆動部１３２及び位置検出部１３３の代わりに、後述する撮像制御部２２の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けても良い。

対物レンズ１４０は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１４０、１４１）を保持可能なレボルバ１４２に取り付けられている。レボルバ１４２を回転させ、ステージ１３１と対向する対物レンズ１４０、１４１を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１４０がステージ１３１と対向している状態を示している。

再び図１を参照すると、撮像装置２０は、顕微鏡装置１０の観察光学系１０４により生成された被写体像を撮像することにより画像を取得する画像取得部２１と、該画像取得部２１の撮像動作を制御する撮像制御部２２と、当該撮像装置２０における各種動作を制御すると共に、画像取得部２１が取得した画像を処理する制御部２３と、画像取得部２１が取得した画像の画像データや制御プログラム等の各種情報を記憶する記憶部２４と、当該撮像装置２０に対する指示や情報を入力するための入力部２５と、記憶部２４に記憶された画像データに基づく画像やその他各種情報を外部機器に出力する出力部２６とを備える。

画像取得部２１は、撮像部２１１及びメモリ２１２を備える。撮像部２１１は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子（イメージャ）２１１ａを備え、撮像素子２１１ａが備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。或いは、各画素における画素レベル（画素値）として輝度値Ｙを出力するモノクロ画像を撮像可能なカメラを用いて撮像部２１１を構成しても良い。

図２に示すように、撮像部２１１は、光軸Ｌが撮像素子２１１ａの受光面の中心を通るように、鏡筒１０２の一端に設けられ、対物レンズ１４０〜鏡筒１０２を含む観察光学系１０４を介して受光面に入射した観察光を光電変換することにより、対物レンズ１４０の視野に入った被写体像の画像データを生成する。

メモリ２１２は、例えば更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置からなり、撮像部２１１が生成した画像データを一時的に記憶する。

撮像制御部２２は、撮像部２１１の１露光期間中に、顕微鏡装置１０に制御信号を出力してステージ１３１を移動させることにより、対物レンズ１４０の焦点面や視野の位置をシフトさせ、それにより観察光学系１０４の光軸Ｌ方向の複数の面における画像情報を含む多重焦点重畳画像を取得させる制御を行う。

制御部２３は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２４に記憶されたプログラムを読み込むことにより、記憶部２４に記憶された各種パラメータや入力部２５から入力される情報等に基づき、撮像装置２０及び顕微鏡観察システム１全体の動作を統括的に制御する。また、制御部２３は、画像取得部２１から入力された画像データに所定の画像処理を施すことにより全焦点画像を生成する処理を実行する。

詳細には、制御部２３は、多重焦点重畳画像を取得する際に観察光学系１０４の視野の位置をシフトさせるシフト量を取得するシフト量取得処理部２３１と、画像のボケを表す点拡がり関数（Point Spread Function）を用いて多重焦点重畳画像を復元することにより全焦点画像を生成する全焦点画像生成部２３２とを備える。

記憶部２４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体と該記録媒体に対して情報を書き込むと共に該記録媒体に記録された情報を読み取る書込読取装置とによって構成される。記憶部２４は、制御部２３における演算に使用されるパラメータを記憶するパラメータ記憶部２４１と、各種プログラムを記憶するプログラム記憶部２４２とを備える。このうち、パラメータ記憶部２４１は、多重焦点重畳画像を取得する際に視野の位置をシフトさせるシフト量等のパラメータを記憶する。また、プログラム記憶部２４２は、当該撮像装置２０に所定の動作を実行させるための制御プログラムや、画像処理プログラム等を記憶する。

入力部２５は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスに対してなされる操作に応じた信号を制御部２３に入力する。

出力部２６は、画像取得部２１により取得された画像データに基づく画像や、制御部２３において生成された全焦点画像や、その他各種情報を表示装置３０等の外部機器に出力し、所定の形式で表示させる外部インタフェースである。

このような撮像装置２０は、例えば、パーソナルコンピュータやワークステーション等の汎用の装置に、外部インタフェースを介して汎用のデジタルカメラを組み合わせることにより構成することができる。

表示装置３０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する。なお、実施の形態１においては、表示装置３０を撮像装置２０の外部に設けているが、撮像装置２０の内部に設けても良い。

次に、顕微鏡観察システム１の動作について説明する。図３は、顕微鏡観察システム１の動作を示すフローチャートである。

まず、ステップＳ１０において、画像取得部２１は、複数の多重焦点重畳画像を取得する。図４は、複数の多重焦点重畳画像の取得処理を説明するための模式図である。以下においては、図４に示すように、被写体Ｓ内の厚さＤ（μｍ）の範囲を重畳撮像する場合を説明する。この厚さＤの範囲を重畳撮像範囲と呼ぶ。図４においては、重畳撮像範囲を複数のスライスＦ_j=0〜Nに分割して示している。実施の形態１において、各スライスＦ_jの厚さΔｚは、観察光学系１０４の被写界深度に相当する。また、各スライスＦ_jにおいて太線で囲む領域が、撮像対象となる観察光学系１０４の視野Ｖであり、視野Ｖに重ねて示す矢印は、焦点面及び視野の位置をシフトさせる方向を示している。

ステップＳ１０の処理開始時においては、図４の（ａ）に示すように、観察光学系１０４の焦点面がユーザ所望のＺ位置であるスライスＦ_j=0に合わせられ、視野Ｖがユーザ所望のＸＹ位置に合わせられているものとする。この位置合わせは、ユーザが手動で行っても良いし、自動制御で行われるものとしても良い。

図５は、複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。まず、ステップＳ１０１において、画像取得部２１は、シフト量ゼロの多重焦点重畳画像を取得する。詳細には、図４の（ａ）に示すように、撮像制御部２２の制御の下で撮像部２１１における露光を開始し、１露光期間中に観察光学系１０４の焦点面を＋Ｚ方向に厚さＤの分だけ移動させる。それにより、スライスＦ_j=0〜Ｆ_j=NにおいてＸ位置が同じ視野Ｖの像が重畳された多重焦点重畳画像ＳＩ₀が取得される。

続くステップＳ１０２において、シフト量取得処理部２３１は、多重焦点重畳画像を取得する際に視野Ｖの位置をシフトさせるシフト量を取得する。このシフト量は、予め設定された量であっても良く、ユーザ操作に応じて入力部２５から入力された情報に基づいて取得しても良い。

図４の（ｂ）に示すように、隣り合うスライスＦ_j、Ｆ_j+1間における視野Ｖの位置のシフト量をσとする場合、最上面のスライスＦ_j=0における視野Ｖの位置に対する各スライスＦ_jにおける視野Ｖの位置のシフト量ｓ_jは、次式（１）によって与えられる。
ｓ_j＝σ×ｊ …（１）

また、ユーザ操作に応じてシフト量σを決定する場合には、図４の（ｂ）に示すように、被写体Ｓの真上の方向に対してユーザの目線を傾けたときの角度θを入力させると良い。この場合、撮像部２１１の画素ピッチをｐ（μｍ／ピクセル）とすると、シフト量σ（ピクセル）は、次式（２）によって与えられる。
σ＝（Ｚ／ｔａｎθ）／ｐ …（２）
式（２）において距離Ｚは、対物レンズ１４０から被写体Ｓ内の各深度までの距離によって近似することができる。

続くステップＳ１０３において、撮像制御部２２は、ステップＳ１０２において取得されたシフト量σに基づいて撮像パラメータを設定する。具体的には、撮像制御部２２はまず、次の撮像開始位置まで視野を移動させる移動距離ｔ＝σ×Ｎを算出する。この移動距離は、顕微鏡装置１０においては、撮像部２１１の画素ピッチｐ、観察倍率Ｍ倍を用いて、距離σ×Ｎ×ｐ／Ｍだけステージ１３１をＸ方向に沿って移動させることに相当する。

また、撮像制御部２２は、撮像パラメータとして、１露光期間中に視野ＶをＸ方向に沿ってシフトさせるシフト速度ｖ₁を算出する。シフト速度ｖ₁は、１回の露光期間Ｔ₁、撮像部２１１の画素ピッチｐ、重畳撮像範囲の厚さＤに含まれる被写界深度Δｚの数Ｎ、及び観察倍率Ｍ倍を用いて、次式（３）によって与えられる。
ｖ₁＝（ｐ×σ／Ｍ）／（Ｔ₁／Ｎ） …（３）

続くステップＳ１０４において、画像取得部２１は、ステップＳ１０３において設定された撮像パラメータに基づく撮像制御部２２の制御の下で、撮像部２１１の１露光期間中に観察光学系１０４の焦点面及び視野Ｖの位置をシフトさせながら被写体Ｓを撮像することにより、シフト量σの多重焦点重畳画像を取得する。

詳細には、図４の（ｂ）に示すように、まず、視野ＶをＸ方向に距離ｔだけシフトさせる。この位置が次の多重焦点重畳画像の撮像開始位置である。そして、撮像部２１１において露光を開始し、１露光期間中に視野Ｖを−Ｘ方向に速度ｖ₁でシフトさせると共に、焦点面を−Ｚ方向に速度Ｄ／Ｔ₁でシフトさせる。それにより、各スライスＦ_j=0〜Ｆ_j=Nにおける視野Ｖの像が重畳された多重焦点重畳画像ＳＩ₁が取得される。その後、顕微鏡観察システム１の動作はメインルーチンに戻る。

ここで、焦点面及び視野Ｖの位置をシフトさせる方向は、図４に示す矢印の方向に限定されない。例えば、図４の（ａ）に示す多重焦点重畳画像ＳＩ₀を取得する際、焦点面を−Ｚ方向（スライスＦ_j=N→Ｆ_j=０）にシフトさせても良いし、図４の（ｂ）に示す多重焦点重畳画像ＳＩ₁を取得する際、焦点面を＋Ｚ方向にシフトさせつつ視野Ｖを＋Ｘ方向にシフトさせても良い。好ましくは、ステージ１３１の移動回数や移動量ができるだけ少なくなるように、複数の多重焦点重畳画像ＳＩ₀、ＳＩ₁を取得する順序や焦点面及び視野Ｖの位置のシフト方向を設定すると良い。

ステップＳ１０に続くステップＳ１１において、全焦点画像生成部２３２は、ステップＳ１０において取得された複数の多重焦点重畳画像をもとに、全焦点画像を生成する。

図６は、全焦点画像の生成処理の詳細を示すフローチャートである。ステップＳ１１１において、全焦点画像生成部２３２は、各スライスＦ_jの像における画像ボケを表す点拡がり関数（Point Spread Function：ＰＳＦ）情報を取得し、このＰＳＦ情報に基づくＰＳＦ画像を生成する。点拡がり関数は、顕微鏡装置１０における対物レンズ１４０の倍率等の撮像条件やスライスＦ_jと関連づけられて、予めパラメータ記憶部２４１に記憶されている。全焦点画像生成部２３２は、対物レンズ１４０の倍率等の撮像条件に基づき、スライスＦ_jに応じた点拡がり関数をパラメータ記憶部２４１から読み出し、点拡がり関数をもとに視野Ｖの画像内の各画素位置に対応する画素値を算出することで、スライスＦ_jごとのＰＳＦ画像を生成する。

続くステップＳ１１２において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ₀に対応するシフト量ゼロの多重焦点重畳ＰＳＦ画像ＰＩ₀を生成する。詳細には、ステップＳ１１１において生成したスライスＦ_j=0〜Nにそれぞれ対応する複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ₀の各画素の画素値を算出する。

続くステップＳ１１３において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ₁を生成する際に使用されたシフト量σを取得し、このシフト量σに基づいて各スライスＦ_jに対応するＰＳＦ画像をシフトさせる。即ち、多重焦点重畳画像ＳＩ₁を生成する際と同様に、最上面のスライスＦ_j=0に対応するＰＳＦ画像に対し、他のスライスＦ_jに対応するＰＳＦ画像をシフト量ｓ_j＝σ×ｊだけシフトさせる。

続くステップＳ１１４において、全焦点画像生成部２３２は、ステップＳ１１３におけるシフト処理後の複数のＰＳＦ画像を用いて、シフト量σの多重焦点重畳ＰＳＦ画像ＰＩ₁を生成する。詳細には、シフト処理後の複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ₁の各画素の画素値を算出する。

ステップＳ１１５において、全焦点画像生成部２３２は、多重焦点重畳ＰＳＦ画像ＰＩ₀、ＰＩ₁を用いて、ステップＳ１０において生成した複数の多重焦点重畳画像ＳＩ₀、ＳＩ₁をそれぞれ復元する。それにより、多重焦点重畳画像ＳＩ₀から全焦点画像ＡＩ₀が生成ｓれ、多重焦点重畳画像ＳＩ₁から全焦点画像ＡＩ₁が生成される。その後、制御部２３の動作はメインルーチンに戻る。

ステップＳ１１に続くステップＳ１２において、撮像装置２０は、ステップＳ１１において生成した複数の全焦点画像ＡＩ₀、ＡＩ₁の画像データを表示装置３０に出力し、これらの全焦点画像ＡＩ₀、ＡＩ₁を表示させる。全焦点画像ＡＩ₀、ＡＩ₁の表示方法は特に限定されない。例えば、全焦点画像ＡＩ₀、ＡＩ₁を並べて表示しても良いし、同じ領域に全焦点画像ＡＩ₀、ＡＩ₁を交互に表示しても良い。同じ領域に全焦点画像ＡＩ₀、ＡＩ₁を交互に表示する場合には、所定の周期で全焦点画像ＡＩ₀、ＡＩ₁を自動で切り替えても良いし、入力部２５を用いてユーザに手動で切り替えさせることとしても良い。

図７は、表示装置３０における全焦点画像の表示例を示す模式図である。図７に示す画面ｍ１には、２つの全焦点画像ＡＩ₀、ＡＩ₁が並べて表示されている。その後、顕微鏡観察システム１の動作は終了する。

以上説明したように、本発明の実施の形態１においては、１露光期間中に焦点面及び視野の位置をシフトさせて撮像を行うことにより多重焦点重畳画像を取得し、この多重焦点重畳画像を復元することにより全焦点画像を生成する。この際、視野の位置のシフト量が異なる複数の条件の下で全焦点画像を生成して表示することにより、仮想的に複数の視点から被写体Ｓを見た状態を再現することができる。例えば図４の場合、シフト量をゼロとすることにより被写体Ｓを真上から見た状態を再現することができ、シフト量をσとすることにより被写体Ｓを左上から見た状態を再現することができる。従って、ユーザは、これらの全焦点画像を参照することにより、被写体Ｓ内の構造のＺ方向における位置や構造同士の前後関係、構造の重なり具合等を、視覚的且つ直感的に把握することが可能となる。

また、上記実施の形態１によれば、１露光期間中に焦点面を移動させて撮像を行うことにより多重焦点重畳画像を取得するので、複数回の撮像によりＺスタック画像を取得し、このＺスタック画像を加算平均して多重焦点重畳画像を取得する場合と比較して、撮像を短時間で行うことができると共に、データ量や画像処理における演算量を大幅に抑制することが可能となる。

なお、上記実施の形態１においては、理解を促進するため、観察光学系１０４の視野ＶをＸ方向においてのみシフトさせる場合を説明したが、Ｙ方向についても同様の処理を行うことができる。この場合、被写体Ｓに対する仮想的な視点をＹ方向に沿って移動させた場合に相当する全焦点画像を生成することができる。また、観察光学系１０４の視野ＶをＸ方向及びＹ方向の２方向にシフトさせることにより、被写体Ｓに対する仮想的な視点を水平面内において移動させた場合に相当する全焦点画像を生成することも可能である。

（変形例１）
次に、本発明の実施の形態１の変形例１について説明する。図８及び図９は、変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。

上記実施の形態１においては、ステージ１３１に対して観察光学系１０４の光軸を直交させ、シフト量σの多重焦点重畳画像ＳＩ₁を取得する際には、ステージ１３１をＺ方向及びＸ方向に移動させながら撮像を行った。しかしながら、ステージ１３１に対して観察光学系１０４の光軸を予め傾斜させて撮像を行っても良い。

例えば図８に示すように、ステージ１３１の被写体載置面１３１ａを水平に設置し、この被写体載置面１３１ａの法線に対して観察光学系１０４の光軸Ｌを角度αだけ傾斜させる。それにより、撮像部２１１の焦点面Ｐｆは、被写体載置面１３１ａに対して角度αで傾斜することになる。この場合、観察光学系１０４を光軸Ｌに沿って被写体載置面１３１ａに近づく方向に移動させることにより、被写体Ｓに対して焦点面Ｐｆが＋Ｚ方向に移動すると共に、視野が＋Ｘ方向にシフトする。即ち、観察光学系１０４を２次元的に移動させる制御が不要となり、観察光学系１０４に対する駆動制御を簡素化させることができる。

或いは、図９に示すように、ステージ１３１の被写体載置面１３１ａを水平に設置すると共に、この被写体載置面１３１ａに対して観察光学系１０４の光軸Ｌを直交させて設置する。そして、底面に対して角度αの斜面を有する台座１０６をステージ１３１に設置する。この台座１０６の斜面１６１ａ上に被写体Ｓを載置させることにより、撮像部２１１の焦点面Ｐｆは、斜面１６１ａに対して角度αで傾斜することになる。この場合、ステージ１３１を−Ｚ方向に移動させる、又は観察光学系１０４を＋Ｚ方向に移動させることにより、被写体Ｓに対する焦点面Ｐｆが＋Ｚ方向に移動すると共に、視野が＋Ｘ方向にシフトする。この場合には、ステージ１３１又は観察光学系１０４を２次元的に移動させる制御が不要となり、ステージ１３１又は観察光学系１０４に対する駆動制御を簡素化させることができる。

このように、被写体Ｓに対して焦点面Ｐｆを傾斜させる場合、各種撮像パラメータの設定は次のようにして行う。多重焦点重畳画像ＳＩ₁における隣り合うスライス間のシフト量をσ（ピクセル）、撮像部２１１の画素ピッチをｐ（μｍ／ピクセル）、厚さＤの重畳撮像範囲に含まれる被写界深度Δｚの数をＮ（Ｎ＝Ｄ／Δｚ）、観察倍率をＭ倍とすると、角度αは次式（４）によって与えられる。
α＝ｔａｎ^-1｛（ｐ×σ×Ｎ/Ｍ）/Ｄ｝ …（４）

シフト量取得処理部２３１は、シフト量σに基づいて角度αを算出して出力する。撮像制御部２２は、この角度αに基づき、図８に示すように、被写体載置面１３１ａに対する観察光学系１０４の焦点面Ｐｆを角度αだけ傾斜させる制御を行う。

或いは、図９に示すように台座１６１を設置する場合には、ユーザが入力部２５を用いて、被写体載置面１３１ａに対する斜面１６１ａの角度αを入力する。この場合、シフト量取得処理部２３１は、式（４）から角度αに対応するシフト量σを算出し、撮像制御部２２は、このシフト量σに基づいて各種制御パラメータを算出する。

（変形例２）
次に、本発明の実施の形態１の変形例２について説明する。上記実施の形態１においては、撮像部２１１の１露光期間中にシャッタを開放させたまま焦点面及び視野Ｖの位置を連続的にシフトさせることにより、多重焦点重畳画像を取得した。しかし、１露光期間中に、撮像部２１１への光の入射を遮るシャッタを所定の周期で開閉し、シャッタが閉じている間に焦点面や視野Ｖの位置を段階的にシフトさせることとしても良い。

１露光期間中にシャッタを開閉する回数、即ち、撮像部２１１に対して被写体Ｓを露出する回数、或いは焦点面及び視野の位置をシフトさせる回数や、１回当たりの焦点面及び視野Ｖの位置シフト量は、撮像部２１１における１回の露光期間及びシャッタ速度等に応じて適宜設定される。

例えば、図４の（ａ）に示すシフト量ゼロの多重焦点重畳画像ＳＩ₀を取得する際には、シャッタが開いている間に焦点面を所定の重畳撮像範囲、具体的には被写界深度の複数倍（ｋ×Δｚ、ｋは自然数）移動させる。また、図４の（ｂ）に示すシフト量σの多重焦点重畳画像ＳＩ₁を取得する際には、シャッタが開いている間に焦点面を所定の重畳撮像範囲、具体的には被写界深度の複数倍（ｋ×Δｚ）移動させながら、視野Ｖの位置をシフト量σの複数倍（ｋ×σ）シフトさせる。

この場合、図６のステップＳ１１１においては、シャッタが開いてから閉じるまでの複数スライスに対応するＰＳＦ画像を生成する。また、図６のステップＳ１１３においては、シャッタの開閉周期に応じた視野Ｖの位置のシフト量に合わせて、ＰＳＦ画像をシフトさせる。Ｓ１１２、Ｓ１１４、Ｓ１１５における処理は、上記実施の形態１と同様である。

（変形例３）
次に、本発明の実施の形態１の変形例３について説明する。上記実施の形態１においては、シフト量がゼロ及びσの２つの多重焦点重畳画像を取得したが、シフト量が異なる多重焦点重畳画像をさらに取得しても良い。

図１０は、本変形例３における複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。また、図１１は、本変形例３における複数の多重焦点重畳画像の取得処理を説明するための模式図である。本変形例３においては、シフト量の符号が正である場合、焦点面を＋Ｚ方向にシフトさせるときに、視野Ｖを＋Ｘ方向にシフトさせるものとする。

まず、ステップＳ１２１において、シフト量取得処理部２３１は、複数の多重焦点重畳画像を取得する際に用いるシフト量σ_i（ｉ＝１１、１２、…、ｎ）を取得する。ここで、添え字ｉは、多重焦点重畳画像の取得順序を示す変数である。図１１の（ａ）〜（ｃ）は、σ₁₁＝＋ｋ、σ₁₂＝０、σ₁₃＝−ｋの３つのシフト量σ_iを取得する場合を示している。

これらのシフト量σ_iは、予め設定された量であっても良く、ユーザ操作に応じて入力部２５から入力された情報に基づいて取得しても良い。後者の場合、被写体Ｓの真上の方向に対してユーザの目線を傾けたときの角度θ_iをユーザに入力させると良い。これらの角度θ_iとシフト量σ_iとの関係は、撮像部２１１の画素ピッチｐ、対物レンズ１４０から被写体Ｓ内の各深度までの距離Ｚ（近似値）を用いて、次式（５）によって与えられる。
σ_i＝（Ｚ／ｔａｎθ_i）／ｐ …（５）

続くステップＳ１２２において、撮像制御部２２は、シフト量σ_iに基づいて撮像パラメータを設定する。具体的には、まず、撮像制御部２２は、撮像パラメータとして、撮像開始位置及びその撮像開始位置まで視野Ｖを移動させる移動距離を算出する。なお、初回の撮像時（ｉ＝１１）には、視野Ｖの移動距離を算出する必要はなく、観察光学系１０４の現在の視野Ｖの位置から撮像を開始すれば良い。

また、撮像制御部２２は、撮像パラメータとして、撮像部２１１の１露光期間中に視野ＶをＸ方向に沿ってシフトさせるシフト速度を算出する。シフト速度の算出方法は、実施の形態１と同様である（図５のステップＳ１０３参照）。

続くステップＳ１２３において、画像取得部２１は、ステップＳ１２２において設定された撮像パラメータに基づく撮像制御部２２の制御の下で、撮像部２１１の１露光期間中に観察光学系１０４の焦点面及び視野Ｖの位置をシフトさせながら被写体Ｓを撮像することにより、シフト量σ_iの多重焦点重畳画像ＳＩ_iを取得する。多重焦点重畳画像ＳＩ_iの取得方法は、実施の形態１と同様である（図５のステップＳ１０４参照）。或いは、変形例２と同様に、段階的に撮像を行っても良い。それにより、各スライスＦ_j=0〜Ｆ_j=Nにおける視野Ｖの像が重畳された多重焦点重畳画像ＳＩ_iが取得される。

続くステップＳ１２４において、制御部２３は、変数ｉが最大値ｎに至ったか否かを判定する。変数ｉが最大値ｎに至っていない場合（ステップＳ１２４：Ｎｏ）、制御部２３は、変数ｉをインクリメントする（ステップＳ１２５）。その後、制御部２３の動作はステップＳ１２１に戻る。このようにステップＳ１２１〜Ｓ１２３を繰り返すことにより、シフト量σ_iが異なる複数の多重焦点重畳画像ＳＩ_iが取得される。

ここで、多重焦点重畳画像ＳＩ_iの取得順序や、撮像開始位置や、焦点面及び視野Ｖの位置のシフト方向を制御する撮像パラメータを適切に設定することにより、ステージ１３１の移動量を抑制し、トータルの撮像時間を短縮して多重焦点重畳画像ＳＩ_iを効率的に取得することができる。

具体的には、まず、図１１の（ａ）に示すように、１露光期間中に焦点面を＋Ｚ方向にシフトさせながら視野Ｖの位置をシフト量ｋのペースでＸ方向にシフトさせることにより、シフト量σ₁₁の多重焦点重畳画像ＳＩ₁₁を取得する。続いて、図１１の（ｂ）に示すように、撮像開始位置を−Ｘ方向に距離ｔ₁₂＝σ₁₁×Ｎだけ移動させた上で露光を開始し、焦点面を−Ｚ方向にシフトさせることにより、視野Ｖの位置のシフト量σ₁₂＝０の多重焦点重畳画像ＳＩ₁₂を取得する。続いて、図１１の（ｃ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を＋Ｚ方向にシフトさせながら視野Ｖの位置をシフト量ｋのペースで−Ｘ方向にシフトさせることにより、シフト量σ₁₃の多重焦点重畳画像ＳＩ₁₃を取得する。

一方、ステップＳ１２４において、変数ｉが最大値ｎに至った場合（ステップＳ１２４：Ｙｅｓ）、顕微鏡観察システム１の動作はメインルーチンに戻る。

このように生成された複数の多重焦点重畳画像ＳＩ_iに基づく全焦点画像の生成処理（図３のステップＳ１１及び図６参照）は、全体として実施の形態１と同様である。このうち、図６に示すステップＳ１１２〜Ｓ１１５においては、多重焦点重畳画像ＳＩ_iを生成した際に用いられたシフト量σ_iを用いて、多重焦点重畳画像ＳＩ_iごとに多重焦点重畳ＰＳＦ画像を生成し、これらの多重焦点重畳ＰＳＦ画像をそれぞれ用いて、多重焦点重畳画像ＳＩ_iを復元する。それにより、シフト量σ_iが異なる複数の全焦点画像が生成される。

また、複数の全焦点画像を表示する際には（図３のステップＳ１２参照）、複数の全焦点画像を並べて表示しても良いし、これらの全焦点画像を同じ領域に順次切り替えて表示しても良い。例えば、図１１の（ａ）〜（ｃ）に示す複数の多重焦点重畳画像ＳＩ_iからそれぞれ取得された複数の全焦点画像を、シフト量σ₁₁＝＋ｋ→シフト量σ₁₂＝０→シフト量σ₁₃＝−ｋ→シフト量σ₁₂＝０→シフト量σ₁₁＝＋ｋ→シフト量σ₁₂＝０→…の順に繰り返し切り替えても良い。

以上説明したように、本発明の実施の形態１の変形例３によれば、視野Ｖの位置をシフトさせる方向が異なる複数の全焦点画像を生成して表示するので、仮想的に、被写体Ｓを真上（θ₁₂）、左上（θ₁₁）、右上（θ₁₂）の各方向から見た状態を再現することができる。従って、このような全焦点画像を参照することにより、ユーザは、被写体Ｓ内の構造同士のＺ方向における重なり具合や前後関係をさらに詳細に把握することが可能となる。

（変形例４）
次に、本発明の実施の形態１の変形例４について説明する。上記変形例３においては、２つの多重焦点重畳画像ＳＩ₁₁、ＳＩ₁₃の間で視野Ｖの位置のシフト量σ_iの大きさを同一にしたが、複数の多重焦点重畳画像ＳＩ_iの間で、シフト量σ_iの大きさを変化させても良い。

図１２は、変形例４における多重焦点重畳画像の取得処理を説明するための模式図である。図１２の（ａ）〜（ｅ）に示す多重焦点重畳画像ＳＩ₂₁〜ＳＩ₂₅においては、シフト量σ₂₁〜σ₂₅の大きさを、σ₂₁＜σ₂₂＜σ₂₃＜σ₂₄＜σ₂₅の順に大きくしている。このようにシフト量σ_iの大きさを変化させることにより、仮想的に被写体Ｓを様々な角度から観察した状態を再現することができる。これらの多重焦点重畳画像ＳＩ_iの取得処理は上記変形例３と同様である（図１０参照）。

また、この場合においても、多重焦点重畳画像ＳＩ_iの取得順序や、各多重焦点重畳画像ＳＩ_iの撮像開始位置や、焦点面及び視野Ｖの位置のシフト方向等の制御パラメータを適切に設定することにより、ステージ１３１の移動量を抑制し、トータルの撮像時間を短縮して多重焦点重畳画像ＳＩ_iを効率的に取得することができる。

具体的には、まず、図１２の（ａ）に示すように、１露光期間中に焦点面を＋Ｚ方向にシフトさせることにより、シフト量σ₂₁＝０の多重焦点重畳画像ＳＩ₂₁を取得する。続いて、図１２の（ｂ）に示すように、撮像開始位置を＋Ｘ方向に距離ｔ₂₂（ｔ₂₂＝σ₂₂×Ｎ）だけ移動させた上で露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを−Ｘ方向にシフト量σ₂₂のペースでシフトさせることにより、多重焦点重畳画像ＳＩ₂₂を取得する。続いて、図１２の（ｃ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを＋Ｘ方向にシフト量σ₂₃のペースでシフトさせることにより、多重焦点重畳画像ＳＩ₂₃を取得する。続いて、図１２の（ｄ）に示すように、撮像開始位置を＋Ｘ方向に距離ｔ₂₄（ｔ₂₄＝σ₂₄×Ｎ−σ₂₃×Ｎ）だけ移動させた上で露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを−Ｘ方向にシフト量σ₂₄のペースでシフトさせることにより、多重焦点重畳画像ＳＩ₂₄を取得する。さらに、図１２の（ｅ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を＋Ｚ方向にシフトさせながら視野Ｖを＋Ｘ方向にシフト量σ₂₅のペースでシフトさせることにより、多重焦点重畳画像ＳＩ₂₅を取得する。

これらの多重焦点重畳画像ＳＩ_iに基づく複数の全焦点画像の生成処理及び複数の画像の表示処理は、変形例３と同様である。

以上説明したように、本発明の実施の形態１の変形例４によれば、複数の多重焦点重畳画像ＳＩ_iの間でシフト量σ_iの大きさを変化させるので、仮想的に、より広い範囲の複数の方向から被写体Ｓを観察した状態を再現することができる。従って、ユーザは、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を直感的かつよりリアルに把握することが可能となる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図１３は、本発明の実施の形態２に係る顕微鏡観察システムの構成を示すブロック図である。図１３に示すように、実施の形態２に係る顕微鏡観察システム２は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置４０と、撮像装置４０が処理した画像等を表示する表示装置５０とを備える。このうち、顕微鏡装置１０の構成及び動作は実施の形態１と同様である（図２参照）。

撮像装置４０は、図１に示す制御部２３の代わりに制御部４１を備える。制御部４１は、制御部２３に対して、注目スライス取得部４１１をさらに備える。なお、シフト量取得処理部２３１及び全焦点画像生成部２３２の動作は、実施の形態１と同様である。

注目スライス取得部４１１は、後述する表示装置５０から入力部２５を介して入力される観察領域に対応する被写体Ｓ内の構造が含まれるスライスのＺ方向における位置を取得し、このスライスを注目スライスとして決定する。

表示装置５０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する画像表示部５１と、外部からなされる操作に応じて、画像表示部５１に表示される全焦点画像内の領域を観察領域として決定し、該観察領域を表す信号を制御部４１に入力する観察領域決定部５２とを備える。

次に、顕微鏡観察システム２の動作を説明する。図１４は、顕微鏡観察システム２の動作を示すフローチャートである。なお、ステップＳ１０〜Ｓ１２における動作は実施の形態１と同様である。また、図１５は、ステップＳ１０において生成される複数の多重焦点重畳画像ＳＩ_i（ｉ＝３１〜３４）を示す模式図である。実施の形態２においては、これらの多重焦点重畳画像ＳＩ_iを復元することにより複数の全焦点画像ＡＩ_iがそれぞれ生成され、画像表示部５１に順次切り替えて表示されるものとする。

ステップＳ１２に続くステップＳ２１において、観察領域決定部５２は、画像表示部５１に表示された全焦点画像ＡＩ₃₁、ＡＩ₃₂、ＡＩ₃₃、ＡＩ₃₄のいずれかに対して任意の領域を選択するユーザ操作がなされたか否かを判定する。

ユーザ操作がなされない場合（ステップＳ２１：Ｎｏ）、顕微鏡観察システム２の動作はステップＳ１２に戻る。

一方、ユーザ操作がなされた場合（ステップＳ２１：Ｙｅｓ）、観察領域決定部５２は、ユーザ操作により選択された領域を観察領域として決定し、該観察領域を表す信号を制御部４１に入力する（ステップＳ２２）。図１６は、観察領域の選択方法の一例を示す模式図である。観察領域の選択は、例えば図１６に示すように、マウス等を用いたポインタ操作により画像表示部５１に表示された全焦点画像内の所望の領域を囲むことによって行われる。

続くステップＳ２３において、制御部４１は、観察領域決定部５２から入力された観察領域を表す情報に基づいて、観察領域のＺ位置情報を取得する。図１７は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。以下においては、一例として、図１５に示す全焦点画像ＡＩ₃₄内の領域Ｒ₃₄が観察領域として決定されたものとして説明する。

ステップＳ２３１において、注目スライス取得部４１１は、全焦点画像Ａ₃₄における観察領域Ｒ₃₄のＸＹ位置情報を取得する。

続くステップＳ２３２において、注目スライス取得部４１１は、全焦点画像Ａ₃₄以外の各全焦点画像ＡＩ₃₁、ＡＩ₃₂、ＡＩ₃₃から、観察領域Ｒ₃₄に対応する領域Ｒ’₃₁、Ｒ’₃₂、Ｒ’₃₃を抽出し、各領域のＸＹ位置情報を取得する。領域Ｒ’₃₁、Ｒ’₃₂、Ｒ’₃₃は、パターンマッチング等の公知の画像認識技術を用いて抽出することができる。以下、これらの領域Ｒ’₃₁、Ｒ’₃₂、Ｒ’₃₃を観察領域ともいう。

続くステップＳ２３３において、注目スライス取得部４１１は、全焦点画像ＡＩ₃₁、ＡＩ₃₂、ＡＩ₃₃、ＡＩ₃₄間における観察領域Ｒ’₃₁、Ｒ’₃₂、Ｒ’₃₃、Ｒ₃₄のＸＹ位置のシフト量を取得する。図１５の（ａ）〜（ｄ）の場合、全焦点画像ＡＩ₃₁における観察領域Ｒ’₃₁のＸ位置と全焦点画像ＡＩ₃₂における観察領域Ｒ’₃₂の位置との間のシフト量、全焦点画像ＡＩ₃₂における観察領域Ｒ’₃₂のＸ位置と全焦点画像ＡＩ₃₃における観察領域Ｒ’₃₃の位置との間のシフト量、及び、全焦点画像ＡＩ₃₃における観察領域Ｒ’₃₃のＸ位置と全焦点画像ＡＩ₃₄における観察領域Ｒ₃₄の位置との間のシフト量が取得される。

続くステップＳ２３４において、注目スライス取得部４１１は、観察領域Ｒ’₃₁、Ｒ’₃₂、Ｒ’₃₃、Ｒ₃₄のシフト量に基づいて、これらの観察領域Ｒ’₃₁、Ｒ’₃₂、Ｒ’₃₃、Ｒ₃₄が含まれるスライスＦ_jを取得する。

ここで、全焦点画像ＡＩ_iにおけるシフト量がσ_iであった場合、最上面のスライスＦ_j=0における視野Ｖの位置に対する各スライスＦ_jにおける視野Ｖの位置のシフト量ｓ_i,jは、次式（６）によって与えられる。
ｓ_i,j＝σ_i×ｊ …（６）

従って、観察領域Ｒ’₃₁、Ｒ’₃₂、Ｒ’₃₃、Ｒ₃₄間のシフト量｜ｓ_(i+1),j−ｓ_i,j｜が与えられれば、次式（７）により、当該観察領域Ｒ’₃₁、Ｒ’₃₂、Ｒ’₃₃、Ｒ₃₄が含まれるスライスＦ_jを特定することができる。
｜ｓ_{(i+1) ,j}−ｓ_i,j｜＝σ_i+1×ｊ−σ_i×ｊ
ｊ＝｜ｓ_(i+1),j−ｓ_i,j｜／（σ_i+1−σ_i） …（７）

例えば図１５の（ｃ）、（ｄ）に示すように、全焦点画像ＡＩ₃₃におけるシフト量σ₃₃が２ピクセル、全焦点画像ＡＩ₃₄におけるシフト量σ₃₄が３ピクセル、観察領域Ｒ’₃₃、Ｒ₃₄間のシフト量が２ピクセルであるとき、式（７）より、ｊ＝２となる。即ち、観察領域Ｒ₃₄はスライスＦ_j=2に含まれることがわかる。

注目スライス取得部４１１は、このようにして取得したスライスＦ_jを観察領域のＺ位置情報として出力する。その後、制御部４１の動作はメインルーチンに戻る。

ステップＳ２３に続くステップＳ２４において、制御部４１は、注目スライス取得部４１１が出力したＺ位置情報に基づき、このＺ位置に焦点を合わせて撮像を行うことにより、観察領域を含むスライスの画像を取得して表示装置５０に表示させる。この際、制御部４１は、観察領域を含むスライスの画像と共に、このスライスに対して隣り合う他の（即ち、前後の）スライスの画像も取得して表示させることとしても良い。その後、顕微鏡観察システム２の動作は終了する。

以上説明した本発明の実施の形態２によれば、ユーザは、平面上では重なって見える構造のＺ方向における位置や、構造同士の前後関係を直感的に容易に把握することが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図１８は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。図１８に示すように、実施の形態３に係る顕微鏡観察システム３は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置６０と、撮像装置６０が処理した画像等を表示する表示装置５０とを備える。このうち、顕微鏡装置１０の構成及び動作は、実施の形態１と同様である（図２参照）。また、表示装置５０の構成及び動作は、実施の形態２と同様である（図１３参照）。

撮像装置６０は、図１３に示す制御部４１の代わりに制御部６１を備える。制御部６１は、制御部４１に対して、全焦点画像生成部２３２の代わりに全焦点画像生成部６１１を備える。制御部６１以外の撮像装置６０の各部の構成及び動作、並びに、全焦点画像生成部６１１以外の制御部６１の各部の構成及び動作は、実施の形態３と同様である。

全焦点画像生成部６１１は、注目スライス決定部４１１が決定した注目スライスの位置に基づいて、多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部６１２を有する。

次に、顕微鏡観察システム３の動作について説明する。図１９は、顕微鏡観察システム３の動作を示すフローチャートである。なお、ステップＳ１０〜Ｓ２４は、実施の形態２と同様である（図１４参照）。また、図２０は、顕微鏡観察システム３の動作を説明するための模式図である。以下の説明においては、ステップＳ２２において観察領域Ｒが決定され、ステップＳ２３においてこの観察領域ＲがスライスＦ_j=2に含まれることが判明したものとする。

ステップＳ２４に続くステップＳ３１において、撮像位置決定処理部６１２は、複数の全焦点画像の間で、ステップＳ２２において決定された観察領域の位置が変化しないように、多重焦点重畳画像を取得する際の撮像位置を決定する。例えば図２０の場合、撮像位置決定処理部６１２は、全焦点画像ＡＩ₄₁、ＡＩ₄₂、ＡＩ₄₃、ＡＩ₄₄の間で観察領域Ｒの位置が変化しないように、観察領域Ｒが含まれるスライスＦ_j=2における視野Ｖの位置を確定する。図２０の（ａ）〜（ｄ）においては、観察領域Ｒが視野Ｖの中心となるように、視野Ｖの位置を確定している。そして、確定した視野Ｖの位置を基準として、多重焦点重畳画像ＳＩ₄₁、ＳＩ₄₂、ＳＩ₄₃、ＳＩ₄₄についてそれぞれ設定されているシフト量σ₄₁、σ₄₂、σ₄₃、σ₄₄に基づいて、各多重焦点重畳画像ＳＩ₄₁、ＳＩ₄₂、ＳＩ₄₃、ＳＩ₄₄の撮像開始位置を算出する。この撮像開始位置とシフト量σ₄₁、σ₄₂、σ₄₃、σ₄₄とにより、各多重焦点重畳画像ＳＩ₄₁、ＳＩ₄₂、ＳＩ₄₃、ＳＩ₄₄を取得する際の各スライスＦ_jに対する撮像位置が決まる。

続くステップＳ３２において、撮像制御部２２は、撮像位置決定処理部６１２が決定した撮像位置に基づいてステージ１３１の位置及び撮像部２１１を制御することにより、複数の多重焦点重畳画像を再取得する。複数の多重焦点重畳画像の再取得処理は、撮像パラメータが異なること以外は、ステップＳ１１と同様である。

続くステップＳ３３において、全焦点画像生成部６１１は、ステップＳ３２において取得された多重焦点重畳画像をＰＳＦ関数を用いて復元することにより、複数の全焦点画像を生成する。この全焦点画像の生成処理は、ステップＳ１２と同様である。

続くステップＳ３４において、撮像装置６０は、ステップＳ３３において生成した複数の全焦点画像を表示装置５０に表示させる。その後、顕微鏡観察システム３の動作は終了する。

以上説明したように、本発明の実施の形態３によれば、ユーザが選択した観察領域の全焦点画像における位置を変化させることなく、仮想的な視点の異なる複数の全焦点画像を表示することができる。従って、ユーザは、自身が選択した観察領域に対する視線を変化させることなく、観察領域のＺ方向における位置や他の構造との前後関係等を直感的に把握することが可能となる。

（変形例）
次に、本発明の実施の形態３の変形例について説明する。上記実施の形態３では、各多重焦点重畳画像内において隣り合うスライス間でのシフト量を同一としたが、１つの多重焦点重畳画像内においても、隣り合うスライス間でのシフト量を変化させても良い。

図２１は、実施の形態３の変形例における視野の位置のシフト方法を示す模式図である。図２１においては、スライスＦ_j=1に含まれる観察領域Ｒ１の位置が複数の全焦点画像の間で変化しないように多重焦点重畳画像ＳＩ₅₁、ＳＩ₅₂を取得している。

図２１の（ａ）、（ｂ）に示す多重焦点重畳画像ＳＩ₅₁、ＳＩ₅₂の間において、基準とするスライスＦ_j=0における視野Ｖの位置に対する各スライスＦ_jにおける視野Ｖの位置のシフト量、例えばシフト量ｓ_51,N、ｓ_52,Nは、多重焦点重畳画像ＳＩ₅₂の方で大きくなっている。また、各多重焦点重畳画像ＳＩ₅₁、ＳＩ₅₂において、隣り合うスライス間における視野Ｖの位置のシフト量σは、基準とするスライスＦ_j=0に近いほど大きくなっている。

このように、ユーザが注目した観察領域を含むスライスに近いほど、隣り合うスライス間における視野Ｖの位置のシフト量を多くすることにより、注目するスライスの構造を把握し易くすることができる。

また、上記実施の形態３においては、各スライスＦ_j=0〜Ｆ_j=Nにおける視野Ｖの位置が一方向に並ぶように、最上面のスライスＦ_j=0又は最下面のスライスＦ_j=Nにおける視野Ｖに対するシフト量を順次増加又は順次減少させた。しかしながら、スライスに応じて視野の位置のシフト量の増減を変化させても良い。

図２２は、実施の形態３の変形例における視野の別のシフト方法を示す模式図である。図２２においては、スライスＦ_j=3に含まれる観察領域Ｒ２の位置が複数の全焦点画像の間で変化しないように多重焦点重畳画像ＳＩ₆₁、ＳＩ₆₂を取得している。

図２２の（ａ）、（ｂ）に示す多重焦点重畳画像ＳＩ₆₁、ＳＩ₆₂においては、観察領域を含むスライスＦ_j=3を境に、隣り合うスライス間のシフト量の増減を転換させている。それにより、全焦点画像を生成した場合においても、ユーザが選択した観察領域を含むスライスをより際立たせて表示することが可能となる。

以上説明した実施の形態１〜３及び変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。

１、２、３ 顕微鏡観察システム
１０ 顕微鏡装置
２０、４０、６０ 撮像装置
２１ 画像取得部
２２ 撮像制御部
２３、４１、６１ 制御部
２４ 記憶部
２５ 入力部
２６ 出力部
３０、５０ 表示装置
５１ 画像表示部
５２ 観察領域決定部
１００ アーム
１０１ 三眼鏡筒ユニット
１０２ 鏡筒
１０３ 接眼レンズユニット
１０４ 観察光学系
１１０ 落射照明ユニット
１１１ 落射照明用光源
１１２ 落射照明光学系
１２０ 透過照明ユニット
１２１ 透過照明用光源
１２２ 透過照明光学系
１３０ 電動ステージユニット
１３１ ステージ
１３２ ステージ駆動部
１３３ 位置検出部
１４０、１４１ 対物レンズ
１４２ レボルバ
１６１ 台座
１６１ａ 斜面
２１１ 撮像部
２１２ メモリ
２３１ シフト量取得処理部
２３２、６１１ 全焦点画像生成部
２４１ パラメータ記憶部
２４２ プログラム記憶部
４１１ 注目スライス取得部
６１２ 撮像位置決定処理部

Claims (6)

1. 顕微鏡の観察光学系により生成される被写体像を撮像して画像を取得する撮像部と、
   前記観察光学系の焦点面及び視野の位置をシフトさせるシフト手段と、
   前記撮像部の１露光期間中に、前記焦点面及び前記視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を前記撮像部に取得させる撮像制御部と、
   前記視野の位置をシフトさせるシフト量を取得するシフト量取得処理部と、
   前記シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部と、
   前記複数の全焦点画像を表示する表示部と、
   外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、
   前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域を抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得部と、
   を備えることを特徴とする顕微鏡観察システム。
2. 前記撮像制御部は、前記シフト量取得処理部が取得した前記シフト量に基づいて、前記複数の多重焦点重畳画像の各々を取得する際の撮像開始位置を決定する、ことを特徴とする請求項１に記載の顕微鏡観察システム。
3. 前記全焦点画像生成部は、前記観察領域を選択された全焦点画像における前記観察領域の位置に基づき、前記撮像部の１露光期間中に前記観察光学系の視野の位置をシフトさせて多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部を有する、ことを特徴とする請求項１に記載の顕微鏡観察システム。
4. 前記撮像位置決定処理部は、前記複数の全焦点画像の間で各全焦点画像における前記観察領域の位置が変化しないように、前記撮像位置を決定する、ことを特徴とする請求項３に記載の顕微鏡観察システム。
5. 顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察方法において、
   前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像ステップと、
   前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、
   前記複数の全焦点画像を表示部に表示させる表示ステップと、
   外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理ステップと、
   前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域を抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得ステップと、
   を含むことを特徴とする顕微鏡観察方法。
6. 顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察プログラムにおいて、
   前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する制御を行う撮像制御ステップと、
   前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、
   前記複数の全焦点画像を表示部に表示させる表示ステップと、
   外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理ステップと、
   前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域を抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得ステップと、
   をコンピュータに実行させることを特徴とする顕微鏡観察プログラム。

Images