[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020076857A - 顕微鏡装置、制御方法、及び、プログラム - Google Patents

顕微鏡装置、制御方法、及び、プログラム Download PDF

Info

Publication number
JP2020076857A
JP2020076857A JP2018209715A JP2018209715A JP2020076857A JP 2020076857 A JP2020076857 A JP 2020076857A JP 2018209715 A JP2018209715 A JP 2018209715A JP 2018209715 A JP2018209715 A JP 2018209715A JP 2020076857 A JP2020076857 A JP 2020076857A
Authority
JP
Japan
Prior art keywords
microscope
objective lens
dimensional image
optical axis
laser scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018209715A
Other languages
English (en)
Other versions
JP7134839B2 (ja
Inventor
浩平 森田
Kohei Morita
浩平 森田
隆介 田中
Ryusuke Tanaka
隆介 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018209715A priority Critical patent/JP7134839B2/ja
Publication of JP2020076857A publication Critical patent/JP2020076857A/ja
Application granted granted Critical
Publication of JP7134839B2 publication Critical patent/JP7134839B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】観察すべき三次元領域を高い分解能で早期に観察可能とする。【解決手段】顕微鏡装置1は、レーザ走査顕微鏡20と、ライトシート顕微鏡30と、レーザ走査顕微鏡20とライトシート顕微鏡30を制御する制御装置40を備える。レーザ走査顕微鏡20は、対物レンズ12aを含む。ライトシート顕微鏡30は、対物レンズ12aの光軸と同軸上に観察光軸を有する。制御装置40は、ライトシート顕微鏡30が取得した試料Sの複数の第1断層画像に基づいて、第1三次元画像を構築し、第1三次元画像を表示装置50に表示し、表示装置50に表示された第1三次元画像のうちの利用者によって選択された観察対象領域51aに対応する試料Sの三次元領域を走査領域SR2に設定し、レーザ走査顕微鏡20が走査領域SR2を走査することによって取得した試料Sの複数の第2断層画像に基づいて、第2三次元画像を構築する。【選択図】図1

Description

本明細書の開示は、顕微鏡装置、制御方法、及び、プログラムに関する。
共焦点顕微鏡、多光子励起顕微鏡などに代表されるレーザ走査顕微鏡は、高い分解能(resolving power)を有する光学顕微鏡として知られている。レーザ走査顕微鏡は、対物レンズの光軸と直交するXY方向に高い分解能を有するだけではなく、光軸方向(以降、Z方向と記す。)にも高い分解能を有している。このため、高い解像度(resolution)を有する三次元画像を構築することが可能である。なお、以降では、対物レンズの光軸方向の分解能を特にZ分解能と記す。
その一方で、レーザ走査顕微鏡は、レーザ光で試料を走査することによって試料の画像を取得することから、走査範囲が大きくなるほど画像取得に要する時間が長くなる。このため、観察すべき領域が走査範囲に確実に含まれるように、レーザ走査顕微鏡を用いて試料の広い範囲を画像化すると、その画像(以降、広域画像と記す。)の取得に多くの時間を要してしまう。
このような技術的な課題に関連する技術は、例えば、特許文献1に記載されている。特許文献1には、CCDとLSM装置とを含み、CCDにより取得した二次元画像内で、LSM装置で画像を取得すべき観察領域を指定する観察装置が記載されている。この観察装置によれば、CCDによって広域画像を取得し、広域画像内で指定した観察対象領域の画像をLSM装置によって取得することができる。
特開2010−286565号公報
ところで、高分解能で観察すべき観察対象領域は試料内に三次元に広がっていることが少なくないため、広域画像は三次元画像であることが望ましい。しかしながら、特許文献1には、三次元画像の取得について何ら言及されていない。また、たとえ特許文献1に記載の観察装置を三次元画像の構築に応用したとしても、CCDを用いて二次元画像を取得する構成はZ方向に分解能を有しないため、観察対象領域を指定するに足りる画質を有する三次元画像を構築することは難しい。
以上のような実情から、本発明の一側面に係る目的は、観察すべき三次元領域を高い分解能で早期に観察可能とする技術を提供することである。
本発明の一態様に係る顕微鏡装置は、対物レンズを含む、レーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有する、ライトシート顕微鏡と、前記レーザ走査顕微鏡と前記ライトシート顕微鏡を制御する制御装置と、を備える。前記制御装置は、前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、前記第1三次元画像を表示装置に表示し、前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する。
本発明の一態様に係る制御方法は、対物レンズを含むレーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有するライトシート顕微鏡と、を備える顕微鏡装置の制御方法である。前記制御方法は、前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、前記第1三次元画像を表示装置に表示し、前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する。
本発明の一態様に係るプログラムは、対物レンズを含むレーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有するライトシート顕微鏡と、を備える顕微鏡装置のコンピュータに、前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、前記第1三次元画像を表示装置に表示し、前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する処理を実行させる。
上記の態様によれば、観察すべき三次元領域を高い分解能で早期に観察可能とすることができる。
第1実施形態に係る顕微鏡装置1の構成を例示した図である。 制御装置40の機能構成を例示した図である。 制御装置40の物理構成を例示した図である。 顕微鏡装置1が行う制御処理の流れを示すフローチャートである。 第1三次元画像の表示例について説明するための図である。 観察光軸方向への走査方法の一例について説明するための図である。 観察対象領域の表示例について説明するための図である。 第2三次元画像の表示例について説明するための図である。 観察光軸方向への走査方法の別の例について説明するための図である。 キャリブレーション処理の流れを示すフローチャートである。 キャリブレーションによる二次元スキャナの走査範囲の変更について説明するための図である。 顕微鏡装置2の構成を例示した図である。 顕微鏡装置3の構成を例示した図である。 貼り合わせ技術を用いた三次元画像の構築方法の一例を示した図である。 貼り合わせ技術を用いた三次元画像の構築方法の別の例を示した図である。
[第1実施形態]
図1は、本実施形態に係る顕微鏡装置1の構成を例示した図である。図2は、顕微鏡装置1に含まれる制御装置40の機能構成を例示した図である。図3は、顕微鏡装置1に含まれる制御装置40の物理構成を例示した図である。図1に示す顕微鏡装置1は、生物標本である試料Sを観察する生物顕微鏡装置であり、例えば、蛍光観察法を用いて試料Sから生じた蛍光を検出することで、試料Sの画像を取得する。
顕微鏡装置1は、図1に示すように、顕微鏡本体10と制御装置40を備えている。顕微鏡装置1は、さらに、表示装置50と入力装置60を備えている。表示装置50は、例えば、液晶ディスプレイ、有機EL(OLED)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどである。入力装置60は、例えば、マウス、キーボード、ジョイスティック、タッチパネルなどである。入力装置60は、利用者の入力操作に応じた操作信号を制御装置40へ出力する。
顕微鏡本体10は、対物レンズ12aを含むレーザ走査顕微鏡20と、対物レンズ12aの光軸と同軸上に観察光軸を有するライトシート顕微鏡30と、を備えている。レーザ走査顕微鏡20とライトシート顕微鏡30は、試料Sを載置する電動ステージ11と、複数の対物レンズ(対物レンズ12a、対物レンズ12b)と、複数の対物レンズが装着された対物レンズ切換装置であるレボルバ13と、ミラー14aを光路に対して挿脱するためのターレット14と、を共有している。即ち、顕微鏡装置1では、レーザ走査顕微鏡20とライトシート顕微鏡30は、互いの観察光路の一部を共有している。なお、対物レンズ12aは、対物レンズ12bよりも低倍率の対物レンズである。
電動ステージ11は、制御装置40からの指示に従って移動するステージである。電動ステージ11は、対物レンズ12aの光軸と直交する方向に加えて、対物レンズ12aの光軸方向にも移動する。
レボルバ13は、対物レンズ切換装置であるが、光路上の対物レンズを光軸方向へ移動する焦準装置でもある。レボルバ13は、制御装置40からの指示に従って回転する電動レボルバであってもよく、手動操作により回転する手動レボルバであってもよい。
ターレット14は、レーザ走査顕微鏡20が試料Sの画像を取得するときに、ミラー14aを光路上に配置し、ライトシート顕微鏡30が試料Sの画像を取得するときに、ミラー14aを光路外に配置する、光路切換装置である。なお、ターレット14は、制御装置40からの指示に従って回転する電動ターレットであってもよく、手動で回転する手動ターレットであってもよい。
レーザ走査顕微鏡20は、共焦点顕微鏡であり、レーザ光を偏向するニ次元スキャナ23を備えている。より詳細には、レーザ走査顕微鏡20は、レーザ21と、絞り21aと、ダイクロイックミラー22と、ニ次元スキャナ23と、共焦点絞り24と、光電子増倍管(以降、PMTと記す)25を備えている。
レーザ21から出射したレーザ光は、絞り21aを介して入射したダイクロイックミラー22で反射し、ニ次元スキャナ23及びミラー14aを経由して、対物レンズ12aに入射する。対物レンズ12aは、レーザ光を試料Sに集光し、試料Sに光スポットを形成する。
レーザ光が照射された試料Sでは、蛍光物質が励起され、レーザ光とは異なる波長の蛍光が放射される。蛍光は、対物レンズ12a、ミラー14a、及び、ニ次元スキャナ23を経由して入射するダイクロイックミラー22を透過し、共焦点絞り24へ入射する。共焦点絞り24には、対物レンズ12aの前側焦点位置と光学的に共役な位置にピンホールが形成されている。このため、光スポットが形成された位置以外で生じた蛍光は共焦点絞り24で遮断され、光スポットが形成された位置で生じた蛍光だけが共焦点絞り24を通過してPMT25で検出される。なお、前側焦点位置とは、対物レンズ12aの焦点位置のうち、電動ステージ11に近い焦点位置のことをいう。また、蛍光を検出する光検出器は、PMTに限らない。例えば、複数のガイガーモードAPD(Avalanche Photodiode)のピクセルからなるMPPC(Multi-Pixel Photon Counter、登録商標)などであってもよい。
ニ次元スキャナ23は、例えば、2つのガルバノミラーを含んでもよく、ガルバノミラーとレゾナントスキャナを含んでもよい。2つのガルバノミラー、または、ガルバノミラーとレゾナントスキャナは、光軸と直交し、且つ、互いに直交する2つの方向にレーザ光を偏向する。これにより、試料S上に形成される光スポットを、試料面において、光軸と直交し、且つ、互いに直交するX方向とY方向に独立して移動させることが可能となる。また、ニ次元スキャナ23は、音響光学偏向器(AOD)など、その他の偏向器を含んでもよい。ニ次元スキャナ23は、ニ次元スキャナ23の振り角度を変更し、それによって、レーザ光を偏向する方向を変更することで、対物レンズ12aの瞳面における光軸に対するレーザ光の角度を変更することが可能である。これにより、光スポットの位置を対物レンズ12aの光軸と直交する方向に移動させることができる。従って、レーザ走査顕微鏡20は、制御装置40がニ次元スキャナ23を制御することで、レーザ光で試料Sをニ次元に走査することが可能であり、その結果として、試料Sの二次元画像を取得することができる。なお、上記のレーザ光を偏向する二次元スキャナを備えたレーザ走査型顕微鏡を、共焦点顕微鏡ではなく、多光子励起顕微鏡としてもよい。この場合、光子密度が極めて高くなる焦点位置でのみ多光子励起が生じると言う多光子励起の特性により共焦点効果を得られるので、共焦点絞り24を用いなくてもよい。
ライトシート顕微鏡30は、対物レンズ31を含む照明光学系と、対物レンズ12aとイメージセンサ32を含む観察光学系と、を備えている。イメージセンサ32は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの二次元イメージセンサである。
対物レンズ31の光軸と対物レンズ12aの光軸は、交差していて、望ましくは互いに直交している。また、対物レンズ31と対物レンズ12aは、対物レンズ31の光軸と対物レンズ12aの光軸が対物レンズ31の前側焦点位置付近で交差するように、配置される。
対物レンズ31は、例えば、対物レンズ12aの光軸と直交する方向から、試料Sにシート光を照射する。シート光が照射された試料Sの領域は、対物レンズ12aの光軸方向に薄いシート形状を有している。
シート光が照射された領域では、蛍光物質が励起され、シート光とは異なる波長の蛍光が放射される。その蛍光は、対物レンズ12aを経由してイメージセンサ32上に集光する。つまり、ライトシート顕微鏡30は、シート光が照射された試料Sの領域の光学像をイメージセンサ32上に投影することが可能であり、その結果として、試料Sの二次元画像を取得することができる。
なお、ライトシート顕微鏡30は、イメージセンサ32の露光期間内に試料Sのニ次元情報を取得することが可能なため、試料Sの各点の情報を順次取得するレーザ走査顕微鏡20よりも高速に二次元画像を得ることができる。また、ライトシート顕微鏡30は、試料Sを、観察光軸と交差する方向、望ましくは直交する方向、から照明することで、Z分解能を有する。ライトシート顕微鏡30のZ分解能は、シート光の厚さに依存するため、シート光の厚さを適切に設定することで、ライトシート顕微鏡30は、必要なZ分解能を得ることができる。
制御装置40は、レーザ走査顕微鏡20、ライトシート顕微鏡30、及び表示装置50を制御する。制御装置40は、顕微鏡本体10、表示装置50、及び、入力装置60に接続されている。制御装置40は、レーザ走査顕微鏡20、ライトシート顕微鏡30、及び、表示装置50を主に制御する構成として、図2に示すように、第1画像取得部41、第2画像取得部42、記憶部43、領域設定部44、駆動制御部45、三次元画像構築部46、及び、表示制御部47を備えている。
第1画像取得部41は、ライトシート顕微鏡30が取得した試料Sの二次元画像を取得し、記憶部43へ出力する。以降では、ライトシート顕微鏡30が取得した試料Sのニ次元画像を、第1断層画像と記す。
第2画像取得部42は、レーザ走査顕微鏡20が取得した試料Sの二次元画像を取得し、記憶部43へ出力する。以降では、レーザ走査顕微鏡20が取得した試料Sのニ次元画像を、第2断層画像と記す。
記憶部43は、制御装置40の各部から出力された情報を記憶する。記憶部43は、例えば、第1画像取得部41及び第2画像取得部42から出力されたニ次元画像を記憶してもよい。また、記憶部43は、例えば、領域設定部44から出力された走査領域を特定する情報を記憶してもよい。また、記憶部43は、例えば、三次元画像構築部46から出力された三次元画像を記憶してもよい。なお、走査領域とは、三次元画像を構築するために走査する試料上の領域のことである。
領域設定部44は、入力装置60からの操作信号に基づいて走査領域を設定し、設定した走査領域を特定する情報を記憶部43へ出力する。例えば、表示装置50に表示された三次元画像の中から利用者によって観察対象領域を選択されると、領域設定部44は、観察対象領域に対応する試料Sの三次元領域を走査領域に設定する。
駆動制御部45は、顕微鏡本体10の各構成要素を制御する。駆動制御部45は、例えば、電動ステージ11を移動してもよく、レボルバ13とともに対物レンズ12a又は対物レンズ12bを移動してもよい。また、駆動制御部45は、例えば、レボルバ13を制御して、光路上に配置される対物レンズを対物レンズ12aと対物レンズ12bの間で切り換えてもよい。また、駆動制御部45は、例えば、ニ次元スキャナ23を制御して、レーザ走査顕微鏡20の視野の範囲及び視野の中心位置を変更してもよい。また、駆動制御部45は、ターレット14を制御して、ミラー14aが光路上に配置される状態と、ミラー14aが光路外に配置される状態を切り換えてもよい。
三次元画像構築部46は、複数のニ次元画像に基づいて三次元画像を構築し、記憶部43へ出力する。以降では、複数の第1断層画像に基づいて構築された三次元画像を、第1三次元画像と記し、複数の第2断層画像に基づいて構築された三次元画像を、第2三次元画像と記す。
表示制御部47は、三次元画像を表示装置50に表示する。また、表示制御部47は、例えば、観察対象領域と観察対象領域以外の領域とを区別した表示状態で三次元画像を表示装置50に表示してもよい。
なお、上述した制御装置40は、汎用装置であっても、専用装置であってもよい。制御装置40は、特にこの構成に限定されるものではないが、例えば、図3に示すような物理構成を有するコンピュータであってもよい。具体的には、制御装置40は、プロセッサ40a、メモリ40b、補助記憶装置40c、入出力インタフェース40d、媒体駆動装置40e、通信制御装置40fを備えてもよく、それらが互いにバス40gによって接続されてもよい。
プロセッサ40aは、例えば、CPU(Central Processing Unit)を含む、任意の処理回路である。プロセッサ40aは、メモリ40b、補助記憶装置40c、記憶媒体40hに格納されているプログラムを実行してプログラムされた処理を行うことで、図2に示す制御装置40の構成要素を実現してもよい。また、プロセッサ40aは、ASIC、FPGA等の専用プロセッサを用いて構成されてもよい。また、図2に示す制御装置40の構成要素は、それぞれが個別の電子回路によって実現されてもよい。
メモリ40bは、プロセッサ40aのワーキングメモリである。メモリ40bは、たとえば、RAM(Random Access Memory)等の任意の半導体メモリである。補助記憶装置40cは、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(Hard Disc Drive)等の不揮発性のメモリである。入出力インタフェース40dは、外部装置(顕微鏡本体10、表示装置50、入力装置60)と情報をやり取りする。
媒体駆動装置40eは、メモリ40b及び補助記憶装置40cに格納されているデータを記憶媒体40hに出力することができ、また、記憶媒体40hからプログラム及びデータ等を読み出すことができる。記憶媒体40hは、持ち運びが可能な任意の記録媒体である。記憶媒体40hには、例えば、SDカード、USB(Universal Serial Bus)フラッシュメモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)などが含まれる。
通信制御装置40fは、ネットワークへの情報の入出力を行う。通信制御装置40fとしては、例えば、NIC(Network Interface Card)、無線LAN(Local Area Network)カード等が採用され得る。バス40gは、プロセッサ40a、メモリ40b、補助記憶装置40c等を、相互にデータの授受可能に接続する。
以上のように構成された顕微鏡装置1は、図4に示す制御処理を行う。図4は、顕微鏡装置1が行う制御処理の流れを示すフローチャートである。図5は、第1三次元画像の表示例について説明するための図である。図6は、観察光軸方向への走査方法の一例について説明するための図である。図7は、観察対象領域の表示例について説明するための図である。図8は、第2三次元画像の表示例について説明するための図である。以下、図4から図8を参照しながら、顕微鏡装置1の制御方法について説明する。
まず、顕微鏡装置1は、走査領域SR1を設定する(ステップS1)。走査領域SR1は、第1三次元画像を構築するために走査する試料S上の領域である。具体的には、領域設定部44は、利用者が入力装置60を用いて指定した三次元領域を入力装置60からの制御信号に基づいて特定し、特定した三次元領域を走査領域SR1に設定する。図5(a)には、電動ステージ11上面に試料Sが配置されていて、試料Sの上方に対物レンズ12aが置かれた様子が示されている。また、図5(a)には、試料S全体を包含する広い領域が走査領域SR1として設定された様子も示されている。なお、図5(a)は、ステップS1で行われた設定状態について把握することを容易にするためにその設定を図示したものであり、ステップS1で設定された走査領域SR1と試料Sの位置関係の一例を示している。
ライトシート顕微鏡30では、シート光が照射される試料Sの断面と対物レンズ12aの焦点面を合わせる必要があるため、対物レンズ31と対物レンズ12aの一方を対物レンズ12aの光軸方向へ動かすと他方もそれに合わせて動かさなければならない。このため、図6に示すように、対物レンズ12aではなく電動ステージ11を移動することによって、画像化される試料S上の領域を変更するのが通常である。この場合、画像化される試料S上の領域の大きさは、観察光学系の倍率によって定まり、画像化される試料S上の領域の中心位置は、電動ステージ11の位置によって定まる。従って、走査領域SR1は、ライトシート顕微鏡30の観察光学系の倍率情報と電動ステージ11の座標情報の組み合わせとして管理されてもよい。観察光学系の倍率情報は、例えば、対物レンズ12aの倍率であってもよい。また、電動ステージ11の座標情報は、例えば、電動ステージ11の光軸と直交する方向の座標と、電動ステージ11の光軸方向の座標の下限と上限であってもよい。
次に、顕微鏡装置1は、ライトシート顕微鏡30を用いて複数の第1断層画像を取得する(ステップS2)。ここでは、顕微鏡装置1は、第1断層画像の取得と、対物レンズ12aの焦点面の移動とを、交互に繰り返すことで、ステップS1で設定された走査領域SR1を対物レンズ12aの光軸方向へ走査して、複数の第1断層画像を取得する。具体的には、ライトシート顕微鏡30が第1断層画像を取得し、第1画像取得部41が第1断層画像を記憶部43へ出力すると、記憶部43が第1断層画像を電動ステージ11の座標情報と観察光学系の倍率情報に関連付けて記憶する。その後、駆動制御部45が、図6に示すように、電動ステージ11を観察光軸の方向へ所定距離D1だけ移動する。これらの処理を繰り返すことで、ライトシート顕微鏡30が走査領域SR1を走査して複数の第1断層画像を取得する。なお、ライトシート顕微鏡30でのZ分解能はシート光の厚さにより決まるため、所定距離D1は、光シートの厚さに揃えてもよい。
複数の第1断層画像を取得すると、顕微鏡装置1は、第1三次元画像を構築し(ステップS3)、第1三次元画像を表示する(ステップS4)。ここでは、三次元画像構築部46が、ステップS2でライトシート顕微鏡30が取得した複数の第1断層画像に基づいて、第1三次元画像を構築し、表示制御部47が構築された第1三次元画像を表示装置50に表示する。図5(b)には、表示装置50に第1三次元画像である画像51が表示された様子が示されている。
その後、顕微鏡装置1は、走査領域SR2を設定する(ステップS5)。走査領域SR2は、第2三次元画像を構築するために走査する領域である。具体的には、領域設定部44は、入力装置60からの制御信号に基づいて、表示装置50に表示された画像51のうちの利用者によって選択された観察対象領域51aに対応する試料の三次元領域を特定し、特定した三次元領域を走査領域SR2に設定する。なお、利用者による選択操作は、表示装置50に表示された画像51を見ながら、画像51上の任意の領域を観察対象領域51aとしてマウス等の入力装置60を用いて指定することによって行われる。図7(a)には、電動ステージ11上に試料Sが配置されていて、試料Sの上方に対物レンズ12aが置かれた様子が示されている。また、図7(a)には、試料S全体を包含する広い領域が走査領域SR1として設定され、さらに、試料Sの一部の領域が走査領域SR2として設定された様子が示されている。なお、図7(a)は、ステップS5で行われた設定について把握することを容易にするためにその設定状態を図示したものであり、ステップS5で設定された走査領域SR2とステップS1で設定された走査領域SR1と試料Sの位置関係の一例を示している。
なお、画像51上の位置と試料S上の位置の関係は、既知である。上述したように、画像取得時におけるライトシート顕微鏡30の観察光学系の倍率情報と電動ステージ11の座標情報との組み合わせによって画像51として画像化された試料S上の領域は特定される。このため、画像51上の任意の位置は、その画像51内における相対的な位置が特定されることで試料上の位置に変換することができる。具体的には、上述したライトシート顕微鏡30の観察光学系の倍率情報と電動ステージ11の座標情報に加えて、イメージセンサ32の画素サイズ、画素数などを用いて画像51内における相対的な位置を特定することで、画像51上の任意の位置を、試料上の位置に変換することができる。
走査領域SR2が設定されると、顕微鏡装置1は、観察対象領域51aを表示する(ステップS6)。ここでは、表示制御部47は、画像51を画像52に更新することで、観察対象領域51aと観察対象領域51a以外の領域とを区別した表示状態で、第1三次元画像を表示装置50に表示する。図7(b)には、表示装置50に、観察対象領域51aと観察対象領域51a以外の領域とを区別した表示状態で第1三次元画像である画像52が表示された様子が示されている。なお、区別した表示状態とは、視覚的に区別できる状態であればよく、例えば、観察対象領域51aとそれ以外とで背景色を異ならせてもよく、また、観察対象領域51aとそれ以外とで透過率を異ならせてもよい。
その後、顕微鏡装置1は、顕微鏡本体10の設定を変更する(ステップS7)。具体的には、駆動制御部45がターレット14を制御して、ミラー14aを光軸上に配置する。これにより、顕微鏡装置1は、レーザ走査顕微鏡20によって試料Sの画像を取得可能な状態となる。
また、ステップS7では、駆動制御部45は、レボルバ13を用いて、観察光軸上に配置する対物レンズを、ライトシート顕微鏡30が複数の第1断層画像を取得するときに観察光軸上に配置されていた対物レンズ12aよりも高い倍率を有する対物レンズ12bに変更してもよい。これは、走査領域SR2は走査領域SR1よりも狭いことから、より高い倍率の対物レンズを用いた場合であっても走査領域SR2がレーザ走査顕微鏡20の視野の範囲内に収まるからである。また、一般に、対物レンズの倍率が高いほど開口数も大きくなることから、対物レンズ12aよりも高い倍率の対物レンズ12bを用いることで、更に高い分解能を得ることができるからである。
なお、駆動制御部45は、走査領域SR2に応じて、レボルバ13を用いて観察光軸上に配置する対物レンズを変更してよい。例えば、レボルバ13に対物レンズ12aよりも高い倍率を有する複数の対物レンズが装着されている場合であれば、駆動制御部45は、走査領域SR2がレーザ走査顕微鏡20の視野内に収まる対物レンズのうち最も高倍率の対物レンズを、レボルバ13を用いて観察光軸上に配置してもよい。これにより、走査領域SR2を視野に収めながら高い分解能を実現することができる。
また、ステップS7では、駆動制御部45は、対物レンズの変更の代わりに、又は、対物レンズの変更に加えて、ニ次元スキャナ23の振り角度を制限することで、観察倍率を変更してもよい。この場合、駆動制御部45は、走査領域SR2に応じて、ニ次元スキャナ23の振り角度を制限する。ニ次元スキャナ23の振り角度を制限することで、レーザ走査顕微鏡20によってレーザ光が照射される領域の大きさを任意の大きさに変更することができる。このため、走査領域SR2外へのレーザ光の照射を抑制することができるため、レーザ走査顕微鏡20が試料Sへ与えるダメージを抑えることができる。また、二次元スキャナ23の振り角度を制限する時は、通常、画像データ取得のサンプリング数は変えない。従って、サンプリングを行う空間的なピッチが狭くなるのでピクセル分解能が向上し、より高い分解能を実現することができる。なお、ステップS5からステップS7の処理は、任意の順番で行われ得る。
その後、顕微鏡装置1は、レーザ走査顕微鏡20を用いて複数の第2断層画像を取得する(ステップS8)。ここでは、顕微鏡装置1は、まず、対物レンズ12bの光軸上に走査領域SR2の中心が位置するように、電動ステージ11を対物レンズ12bの光軸と直交する方向へ移動する。その後、顕微鏡装置1は、第2断層画像の取得と、対物レンズ12bの焦点面の移動とを、交互に繰り返すことで、ステップS5で設定された走査領域SR2を走査して、複数の第2断層画像を取得する。より具体的には、レーザ走査顕微鏡20が第2断層画像を取得し、第2画像取得部42が第2断層画像を記憶部43へ出力すると、記憶部43が第2断層画像を電動ステージ11の座標情報と観察光学系の倍率情報に関連付けて記憶する。観察光学系の倍率情報には、例えば、対物レンズ12bの倍率、ニ次元スキャナ23の振り角度などが含まれる。その後、駆動制御部45が、電動ステージ11を観察光軸の方向へ所定距離D2だけ移動する。この処理を繰り返すことで、レーザ走査顕微鏡20が複数の第2断層画像を取得する。
なお、ステップS8における所定距離D2は、ステップS2における所定距離D1よりも短いことが望ましい。これは、レーザ走査顕微鏡20が有する高い解像力を活かして第1三次元画像よりも高いZ方向の解像度を有する第2三次元画像を構築するためである。例えば、対物レンズ12bの開口数と使用波長(照明光の波長、及び又は、検出する蛍光の波長)によりに決まるZ分解能以下の値になるように所定距離D2を設定してもよい。
複数の第2断層画像を取得すると、顕微鏡装置1は、第2三次元画像を構築し(ステップS9)、第2三次元画像を表示する(ステップS10)。ここでは、三次元画像構築部46が、ステップS8でレーザ走査顕微鏡20が取得した複数の第2断層画像に基づいて、第2三次元画像を構築し、表示制御部47が構築された第2三次元画像を表示装置50に表示する。図8(b)には、表示装置50に第2三次元画像である画像53が表示された様子が示されている。また、図8(a)には、電動ステージ11上に試料Sが配置されていて、試料Sの上方に対物レンズ12bが置かれた様子が示されている。また、図8(a)には、試料S全体を包含する広い領域が走査領域SR1として設定され、さらに、試料Sの一部の領域が走査領域SR2として設定された様子が示されている。なお、図8(a)は、図7(a)と比較して対物レンズが変更されている様子が示されており、その他の点については、図7(a)と同様である。
以上のように、顕微鏡装置1は、レーザ走査顕微鏡20よりも高速に画像を取得することが可能なライトシート顕微鏡30を用いることによって、広い走査領域SR1に対応する第1三次元画像を構築し、表示装置50に表示する。このため、利用者は、観察すべき三次元領域を見逃すことなく早期に特定することができる。また、第1三次元画像が表示されることで、利用者は、観察すべき領域を三次元領域として指定することができる。このため、利用者が観察すべき領域を正しく指定することができる。さらに、顕微鏡装置1は、利用者が第1三次元画像を見ながら観察すべき三次元領域として特定した走査領域SR2に対応する第2三次元画像を、レーザ走査顕微鏡20を用いて構築する。このため、観察すべき三次元領域をレーザ走査顕微鏡20が有する高い分解能で観察することができる。従って、顕微鏡装置1によれば、観察すべき三次元領域を高い分解能で早期に観察することができる。
また、顕微鏡装置1では、第1三次元画像上で利用者によって観察対象領域が選択されると、観察対象領域とそれ以外の領域を区別した表示状態で第1三次元画像が表示される。これにより、利用者は、自身が選択した観察対象領域を三次元画像上で確認することができるため、選択操作の誤りなどを早期に発見することができる。従って、顕微鏡装置1によれば、利用者が希望する領域とは異なる領域に対応する第2三次元画像が構築されることを未然に回避することが可能であり、作業のやり直しを少なくすることができる。
また、顕微鏡装置1では、第2断層画像を、第1断層画像よりも高い倍率の対物レンズを用いて取得する。これにより、第1三次元画像の構築に要する時間の短縮化と、第2三次元画像の高解像度化を高いレベルで両立することができる。
[第2実施形態]
図9は、観察光軸方向への走査方法の別の例について説明するための図である。以下、図9を参照しながら、本実施形態に係る顕微鏡装置(以降、本顕微鏡装置と記す)について説明する。
本顕微鏡装置は、ステップS8において、電動ステージ11を移動することによって観察光軸方向へ走査する代わりに、対物レンズ12bを移動することによって観察光軸方向へ走査する点が、顕微鏡装置1とは異なる。本顕微鏡装置は、その他の点については、顕微鏡装置1と同様に動作し、顕微鏡装置1と同様の構成を有する。従って、本顕微鏡装置の構成要素については、顕微鏡装置1の構成要素と同一の符号で参照する。
本顕微鏡装置では、駆動制御部45は、ライトシート顕微鏡30が複数の第1断層画像を取得するときには、図6に示すように、電動ステージ11を観察光軸の方向へ移動し、レーザ走査顕微鏡20が複数の第2断層画像を取得するときには、図9に示すように、レボルバ13とともに対物レンズ12bを観察光軸の方向へ移動する。図9には、対物レンズ12bを観察光軸方向へ移動することによって対物レンズ12bの焦点位置を走査領域SR2内へ動かす様子が示されている。
一般に、電動ステージ11の質量は複数の対物レンズが装着されたレボルバ13の質量よりも大きい。このため、レボルバ13とともに対物レンズ12bを観察光軸の方向へ移動することで、本顕微鏡装置は、顕微鏡装置1よりも、走査領域SR2を高速に走査することができる。従って、本顕微鏡装置によれば、観察すべき三次元領域を高い分解能で、更に早期に観察することが可能となる。
また、制御装置40は、レーザ走査顕微鏡20が複数の第2断層画像を取得するときに、複数の第1断層画像の観察光軸の方向の間隔よりも複数の第2断層画像の観察光軸の方向の間隔が短くなるように、対物レンズ12bを観察光軸の方向へ移動することが望ましい。これは、レーザ走査顕微鏡20が有する高い解像力を活かして第1三次元画像よりも高いZ方向の解像度を有する第2三次元画像を構築するためである。
なお、本実施形態では、対物レンズ12bの光軸上に走査領域SR2の中心が位置するように電動ステージ11を動かした後に、対物レンズ12bを基準位置から観察光軸方向へ動かして走査領域SR2の上面に対物レンズ12bの焦点を合わせる。ここで、対物レンズ12bの基準位置とは、シート光が照射される試料Sの断面と対物レンズ12bの焦点面が一致するときの対物レンズ12bの位置のことである。
対物レンズ12bの動かし方について具体的に説明する。例えば、図9に示すように、電動ステージ11の上面から走査領域SR2の上面までの距離γが既知であれば、下式から対物レンズ12bの移動量ΔZを算出し、算出した移動量ΔZだけ対物レンズ12bを移動することで、走査領域SR2の上面に焦点を合わせることができる。ここで、αは、電動ステージ11が稼動範囲の最下端に位置するときの電動ステージ11の上面から光シートの集光位置までの観察光軸方向の距離である。βは、電動ステージ11が稼動範囲の最下端に位置するときの電動ステージ11の上面から電動ステージ11の現在位置における上面までの観察光軸方向の距離である。
ΔZ=β+γ-α
[第3実施形態]
図10は、キャリブレーション処理の流れを示すフローチャートである。図11は、キャリブレーションによる二次元スキャナの走査範囲の変更について説明するための図である。以下、図10及び図11を参照しながら、本実施形態に係る顕微鏡装置(以降、本顕微鏡装置と記す)について説明する。
本顕微鏡装置は、図10に示すキャリブレーション処理を行う点が、顕微鏡装置1とは異なる。なお、図10に示すキャリブレーション処理は、図4に示す制御処理の前に行われる。本顕微鏡装置は、その他の点については、顕微鏡装置1と同様に動作し、顕微鏡装置1と同様の構成を有する。従って、本顕微鏡装置の構成要素については、顕微鏡装置1の構成要素と同一の符号で参照する。
まず、本顕微鏡装置は、ライトシート顕微鏡30を用いて基準チャートの第1画像を取得する(ステップS11)。基準チャートは、特に限定しないが、例えば、スクエアグリッド、サークルグリッドなどの特定の模様を有する平板である。
次に、本顕微鏡装置は、レーザ走査顕微鏡20を用いて基準チャートの第2画像を取得する(ステップS12)。ここでは、駆動制御部45がターレット14を回転し、ミラー14aを光路上に挿入してから、レーザ走査顕微鏡20が画像を取得する。
第1画像と第2画像が取得されると、本顕微鏡装置は、ライトシート顕微鏡30とレーザ走査顕微鏡20の視野の中心位置のズレを算出する(ステップS13)。ここでは、制御装置40が第1画像と第2画像を比較することで、ライトシート顕微鏡30の視野の中心位置とレーザ走査顕微鏡20の視野の中心位置のズレを算出する。
ズレが算出されると、本顕微鏡装置は、ニ次元スキャナ23の振り角中心位置を調整する(ステップS14)。ここでは、制御装置40は、図11に示すように、ライトシート顕微鏡30の視野の中心位置とレーザ走査顕微鏡20の視野の中心位置とが一致するように、ニ次元スキャナ23の振り角中心位置を調整する。その結果、制御装置40は、図4のステップS8において、ライトシート顕微鏡30の視野の中心位置とレーザ走査顕微鏡20の視野の中心位置とが一致するように、ニ次元スキャナ23を制御することになる。なお、ニ次元スキャナ23の振り角中心位置を調整することで、画像中心位置をシフトする制御は、パン制御とも呼ばれる。
本顕微鏡装置によれば、ライトシート顕微鏡30で取得する第1断層画像の中心位置と、レーザ走査顕微鏡20で取得する第2断層画像の中心位置とを高い精度で一致させることができる。このため、第2三次元画像に対応する試料S上の領域と利用者が画像上で選択した領域に対応する試料S上の領域を、高い精度で一致させることができる。なお、観察すべき三次元領域を高い分解能で早期に観察することができる点については、顕微鏡装置1と同様である。
[第4実施形態]
図12は、本実施形態に係る顕微鏡装置2の構成を例示した図である。顕微鏡装置2は、顕微鏡本体10の代わりに顕微鏡本体70を備える点が、顕微鏡装置1とは異なる。その他の点は、顕微鏡装置1と同様である。
顕微鏡本体70は、レーザ走査顕微鏡とライトシート顕微鏡を備える点、レーザ走査顕微鏡とライトシート顕微鏡が電動ステージ11、複数の対物レンズ、レボルバ13、ターレット14を共有している点は、顕微鏡本体10と同様である。ただし、顕微鏡装置2では、ターレット14は、レーザ走査顕微鏡が試料Sの画像を取得するときに、ミラー14aを光路外に配置し、ライトシート顕微鏡が試料Sの画像を取得するときに、ミラー14aを光路上に配置する。
顕微鏡本体70は、顕微鏡本体70が有するレーザ走査顕微鏡80が、スピニングディスク83を有する共焦点スキャナと、二次元イメージセンサであるイメージセンサ85と、を含む共焦点顕微鏡である、という点が顕微鏡本体10とは異なる。レーザ走査顕微鏡80は、いわゆるディスク走査型の共焦点顕微鏡である。
レーザ走査顕微鏡80は、レーザ81と、複数のマイクロレンズ82aが設けられたスピニングディスク82と、複数のマイクロレンズ82aの焦点位置に複数のピンホール83aが形成されたスピニングディスク83と、ダイクロイックミラー84と、イメージセンサ85を備えている。スピニングディスク82とスピニングディスク83は、互いの位置関係を維持したまま回転する共焦点スキャナの一例である。
レーザ81から出射したレーザ光は、スピニングディスク82に設けられた複数のマイクロレンズ82aによって複数の光束に分割され、複数の光束のそれぞれがスピニングディスク83上の異なるピンホール83aを通過する。
スピニングディスク83は、対物レンズ12aの前側焦点面と光学的に共役な面に配置されている。このため、複数のピンホール83aを通過した複数の光束は、対物レンズ12aを経由して、ピンホール83aの位置に応じた試料S上の位置に照射される。また、試料Sで生じた蛍光は、対物レンズ12a、及び、蛍光が生じた位置に対応するピンホール83aを通過した後に、ダイクロイックミラー84で反射し、図示しないレンズを経由してイメージセンサ85へ入射する。
イメージセンサ85は、対物レンズ12aの前側焦点面とスピニングディスク83の両方と、光学的に共役な面に配置されている。このため、レーザ走査顕微鏡80は、スピニングディスク82とスピニングディスク83を回転して前側焦点面全体を走査することで、イメージセンサ85に前側焦点面の光学像を投影することが可能であり、その結果、前側焦点面上の試料Sの二次元画像を得ることができる。
ライトシート顕微鏡90は、対物レンズ91を含む照明光学系と、対物レンズ12aとイメージセンサ92を含む観察光学系と、を備えている。イメージセンサ92は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの二次元イメージセンサである。
対物レンズ91の光軸と対物レンズ12aの光軸は、交差していて、望ましくは互いに直交している。また、対物レンズ91と対物レンズ12aは、対物レンズ91の光軸と対物レンズ12aの光軸が対物レンズ91の前側焦点位置付近で交差するように、配置される。
対物レンズ91は、例えば、対物レンズ12aの光軸と直交する方向から、試料Sにシート光を照射する。シート光が照射された試料Sの領域は、対物レンズ12aの光軸方向に薄いシート形状を有している。
シート光が照射された領域では、蛍光物質が励起され、シート光とは異なる波長の蛍光が放射される。その蛍光は、対物レンズ12a及びミラー14aを経由して入射するイメージセンサ92上に集光する。つまり、ライトシート顕微鏡90は、シート光が照射された試料Sの領域の光学像をイメージセンサ92上に投影することが可能であり、その結果として、試料Sの二次元画像を取得することができる。
顕微鏡装置2でも、顕微鏡装置1と同様に、図4に示す制御処理が行われる。つまり、顕微鏡装置2は、レーザ走査顕微鏡80よりも高速に画像を取得することが可能なライトシート顕微鏡90を用いることによって、広い走査領域SR1に対応する第1三次元画像を構築し、表示装置50に表示する。さらに、顕微鏡装置2は、利用者が第1三次元画像を見ながら観察すべき三次元領域として特定した走査領域SR2に対応する第2三次元画像を、レーザ走査顕微鏡80を用いて構築する。従って、顕微鏡装置2によっても、顕微鏡装置1と同様に、観察すべき三次元領域を高い分解能で早期に観察することができる。
また、顕微鏡装置2では、レーザ走査顕微鏡80がディスク走査型の共焦点顕微鏡であり、多点を同時に照明することで試料Sを走査する。このため、第2断層画像を顕微鏡装置1よりも更に高速に取得することができる。従って、顕微鏡装置2によれば、顕微鏡装置1に比べて、観察すべき三次元領域を更に早期に観察することが可能である。
[第5実施形態]
図13は、本実施形態に係る顕微鏡装置3の構成を例示した図である。顕微鏡装置3は、顕微鏡本体70の代わりに顕微鏡本体100を備える点が、顕微鏡装置2とは異なる。その他の点は、顕微鏡装置2と同様である。
顕微鏡本体100は、レーザ走査顕微鏡80aとライトシート顕微鏡90aを備えている。レーザ走査顕微鏡80aは、ミラー15aを光路に対して挿脱するためのターレット15をライトシート顕微鏡90aと共有している点が、レーザ走査顕微鏡80とは異なる。その他の点は、レーザ走査顕微鏡80と同様である。また、ライトシート顕微鏡90aは、ターレット15をライトシート顕微鏡90aと共有している点と、イメージセンサ92の代わりにミラー93を備える点が、ライトシート顕微鏡90とは異なる。
なお、ターレット15は、レーザ走査顕微鏡80aが試料Sの画像を取得するときに、ミラー15aを光路外に配置し、ライトシート顕微鏡90aが試料Sの画像を取得するときに、ミラー15aを光路上に配置する。
これにより、顕微鏡装置3では、レーザ走査顕微鏡80aとライトシート顕微鏡90aが同じイメージセンサ85を用いて二次元画像を取得することができる。従って、顕微鏡装置3によれば、顕微鏡装置2よりイメージセンサの数が少なくその結果としてコストが抑えられた構成で、顕微鏡装置2と同様の効果を得ることができる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部を他の実施形態に適用して本発明の更に別の実施形態を構成してもよい。顕微鏡装置、制御方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
例えば、顕微鏡装置の実視野を越える大きさの走査領域が利用者によって指定された場合、画像貼り合わせ技術を利用してもよい。顕微鏡装置は、図14に示すように、複数の二次元画像を貼り合わせてもよい。より具体的には、制御装置は、複数の第1断層画像のうち同一平面を対象とする2つ以上の第1断層画像である画像A1〜A12を貼り合わせて貼り合わせ画像である画像B1を構築し、それぞれ異なる平面を対象とする複数の貼り合わせ画像に基づいて、第1三次元画像である画像C1を構築してもよい。また、顕微鏡装置は、図15に示すように、複数の三次元画像を貼り合わせてもよい。より具体的には、制御装置は、複数の第1断層画像のうち同軸上に画像中心を有する2つ以上の第1断層画像である画像A21〜A32に基づいて、第1三次元画像である画像B2を構築し、それぞれ異なる画像中心を有する複数の第1三次元画像を貼り合わせて第3三次元画像である画像C2を構築してもよい。このように、画像貼り合わせ技術を用いることで、観察倍率を変更して実視野の大きさを大きくすることなく第1三次元画像を構築することができる。このため、画像の解像度を低下させることなく広い範囲を画像化することができる。
また、上述した実施形態では、観察対象領域を1つだけ指定する例を示したが、複数の観察対象領域が指定されてもよい。複数の観察対象領域は、利用者が複数の観察対象領域を指定したその順番で走査されてもよい。また、複数の観察対象領域を指定した順番とは異なる順番を利用者が改めて指定したときには、改めて指定した順番で複数の観察対象領域を走査してもよい。なお、各観察対象領域の走査方法については、上述した方法と同じであるので、詳細な説明は省略する。
また、上述した実施形態では、複数の第2断層画像を取得するステップS8において、顕微鏡装置が、対物レンズ12bの光軸上に走査領域SR2の中心が位置するように、電動ステージ11を対物レンズ12bの光軸と直交する方向へ移動する例を示したが、顕微鏡装置は、対物レンズ12bの光軸上に走査領域SR2の中心が位置するように、ニ次元スキャナ23の振り角中心位置を調整してもよい。即ち、パン制御によって対物レンズ12bの光軸と走査領域SR2の中心位置を一致させてもよい。これにより、電動ステージ11を動かすことなく走査領域SR2を走査することができるため、更に高速に第2断層画像を取得することが可能となる。
また、上述した実施形態では、第2断層画像を取得するときに、第1断層画像を取得するときよりも高い倍率の対物レンズを用いる例を示したが、第2断層画像を取得するときと第1断層画像を取得するときで同じ対物レンズを用いてもよい。この場合であっても、レーザ走査顕微鏡が有する高い解像力によって、第1断層画像よりも高い解像度を有する第2断層画像を取得することが可能であり、第1三次元画像よりも高い解像度を有する第2三次元画像を構築することができる。
また、上述した実施形態では、レーザ走査顕微鏡とライトシート顕微鏡が観察光路の一部を共有している例を示したが、ライトシート顕微鏡はレーザ走査顕微鏡の観察光路と同軸上に観察光路を有していればよく、レーザ走査顕微鏡とライトシート顕微鏡は照明光路の一部を共有してもよい。
1、2、3 顕微鏡装置
10、70、100 顕微鏡本体
11 電動ステージ
12a、12b、31、91 対物レンズ
13 レボルバ
14、15 ターレット
14a、15a、93 ミラー
20、80、80a レーザ走査顕微鏡
21、81 レーザ
21a 絞り
22、84 ダイクロイックミラー
23 ニ次元スキャナ
24 共焦点絞り
25 PMT
30、90、90a ライトシート顕微鏡
32、85、92 イメージセンサ
40 制御装置
41 第1画像取得部
42 第2画像取得部
43 記憶部
44 領域設定部
45 駆動制御部
46 三次元画像構築部
47 表示制御部
40a プロセッサ
40b メモリ
40c 補助記憶装置
40d 入出力インタフェース
40e 媒体駆動装置
40f 通信制御装置
40g バス
40h 記憶媒体
50 表示装置
51、52、53 画像
51a 観察対象領域
60 入力装置
82、83 スピニングディスク
83a ピンホール
A1〜A12、A21〜A32 画像
B1、B2、C1、C2 画像
S 試料
SR1、SR2 走査領域

Claims (14)

  1. 対物レンズを含む、レーザ走査顕微鏡と、
    前記対物レンズの光軸と同軸上に観察光軸を有する、ライトシート顕微鏡と、
    前記レーザ走査顕微鏡と前記ライトシート顕微鏡を制御する制御装置と、を備え、
    前記制御装置は、
    前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、
    前記第1三次元画像を表示装置に表示し、
    前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、
    前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する
    ことを特徴とする顕微鏡装置。
  2. 請求項1に記載の顕微鏡装置において、
    前記レーザ走査顕微鏡と前記ライトシート顕微鏡は、前記試料を載置するステージを含み、
    前記制御装置は、
    前記ライトシート顕微鏡が前記複数の第1断層画像を取得するときに、前記ステージを前記観察光軸の方向へ移動し、
    前記レーザ走査顕微鏡が前記複数の第2断層画像を取得するときに、前記対物レンズを前記観察光軸の方向へ移動する
    ことを特徴とする顕微鏡装置。
  3. 請求項2に記載の顕微鏡装置において、
    前記制御装置は、前記レーザ走査顕微鏡が前記複数の第2断層画像を取得するときに、前記複数の第1断層画像の前記観察光軸の方向の間隔よりも前記複数の第2断層画像の前記観察光軸の方向の間隔が短くなるように、前記対物レンズを前記観察光軸の方向へ移動する
    ことを特徴とする顕微鏡装置。
  4. 請求項1乃至請求項3のいずれか1項に記載の顕微鏡装置において、
    前記制御装置は、前記利用者によって選択された前記観察対象領域と前記観察対象領域以外の領域とを区別した表示状態で前記第1三次元画像を前記表示装置に表示する
    ことを特徴とする顕微鏡装置。
  5. 請求項1乃至請求項4のいずれか1項に記載の顕微鏡装置において、
    前記レーザ走査顕微鏡と前記ライトシート顕微鏡は、前記対物レンズを含む複数の対物レンズが装着された対物レンズ切換装置を備え、
    前記制御装置は、前記レーザ走査顕微鏡が前記複数の第2断層画像を取得するときに、前記対物レンズ切換装置を用いて前記観察光軸上に配置する対物レンズを、前記ライトシート顕微鏡が前記複数の第1断層画像を取得するときに前記観察光軸上に配置されていた対物レンズよりも高い倍率を有する対物レンズに変更する
    ことを特徴とする顕微鏡装置。
  6. 請求項1乃至請求項4のいずれか1項に記載の顕微鏡装置において、
    前記レーザ走査顕微鏡は、前記対物レンズを含む複数の対物レンズが装着された対物レンズ切換装置を備え、
    前記制御装置は、前記走査領域に応じて前記対物レンズ切換装置を用いて前記観察光軸上に配置する対物レンズを変更する
    ことを特徴とする顕微鏡装置。
  7. 請求項1乃至請求項6のいずれか1項に記載の顕微鏡装置において、
    前記レーザ走査顕微鏡は、レーザ光を偏向する二次元スキャナを含む共焦点顕微鏡、又は、多光子励起顕微鏡である
    ことを特徴とする顕微鏡装置。
  8. 請求項7に記載の顕微鏡装置において、
    前記制御装置は、前記ライトシート顕微鏡の視野の中心位置と前記レーザ走査顕微鏡の視野の中心位置とが一致するように、前記二次元スキャナを制御する
    ことを特徴とする顕微鏡装置。
  9. 請求項7又は請求項8に記載の顕微鏡装置において、
    前記制御装置は、前記走査領域に応じて少なくとも前記二次元スキャナの振り角度を制限する
    ことを特徴とする顕微鏡装置。
  10. 請求項1乃至請求項9のいずれか1項に記載の顕微鏡装置において、
    前記レーザ走査顕微鏡は、スピニングディスクを有する共焦点スキャナと、二次元イメージセンサと、を含む共焦点顕微鏡である
    ことを特徴とする顕微鏡装置。
  11. 請求項1に記載の顕微鏡装置において、
    前記制御装置は、
    前記複数の第1断層画像のうち同一平面を対象とする2つ以上の第1断層画像を貼り合わせて貼り合わせ画像を構築し、
    それぞれ異なる平面を対象とする複数の貼り合わせ画像に基づいて、前記第1三次元画像を構築する
    ことを特徴とする顕微鏡装置。
  12. 請求項1に記載の顕微鏡装置において、
    前記制御装置は、
    前記複数の第1断層画像のうち同軸上に画像中心を有する2つ以上の第1断層画像に基づいて、前記第1三次元画像を構築し、
    それぞれ異なる画像中心を有する複数の第1三次元画像を貼り合わせて第3三次元画像を構築する
    ことを特徴とする顕微鏡装置。
  13. 対物レンズを含むレーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有するライトシート顕微鏡と、を備える顕微鏡装置の制御方法であって、
    前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、
    前記第1三次元画像を表示装置に表示し、
    前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、
    前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する
    ことを特徴とする制御方法。
  14. 対物レンズを含むレーザ走査顕微鏡と、前記対物レンズの光軸と同軸上に観察光軸を有するライトシート顕微鏡と、を備える顕微鏡装置のコンピュータに、
    前記ライトシート顕微鏡が取得した試料の複数の第1断層画像に基づいて、第1三次元画像を構築し、
    前記第1三次元画像を表示装置に表示し、
    前記表示装置に表示された前記第1三次元画像のうちの利用者によって選択された観察対象領域に対応する前記試料の三次元領域を走査領域に設定し、
    前記レーザ走査顕微鏡が前記走査領域を走査することによって取得した前記試料の複数の第2断層画像に基づいて、第2三次元画像を構築する
    処理を実行させることを特徴とするプログラム。
JP2018209715A 2018-11-07 2018-11-07 顕微鏡装置、制御方法、及び、プログラム Active JP7134839B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209715A JP7134839B2 (ja) 2018-11-07 2018-11-07 顕微鏡装置、制御方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209715A JP7134839B2 (ja) 2018-11-07 2018-11-07 顕微鏡装置、制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2020076857A true JP2020076857A (ja) 2020-05-21
JP7134839B2 JP7134839B2 (ja) 2022-09-12

Family

ID=70724032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209715A Active JP7134839B2 (ja) 2018-11-07 2018-11-07 顕微鏡装置、制御方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP7134839B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024113204A1 (en) * 2022-11-30 2024-06-06 Nuohai Life Science (Shanghai) Co., Ltd A tiling light sheet microscope, its imaging method, microscopy system and a detection camera
US12007545B2 (en) 2020-10-29 2024-06-11 Carl Zeiss Microscopy Gmbh Light sheet microscope and method for light sheet microscopy

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084960A (ja) * 2004-09-17 2006-03-30 Yokogawa Electric Corp 3次元共焦点顕微鏡システム
JP2010286565A (ja) * 2009-06-09 2010-12-24 Olympus Corp 蛍光観察装置
JP2010540995A (ja) * 2007-09-28 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー 光操作用の光学装置
JP2012093757A (ja) * 2010-10-22 2012-05-17 Leica Microsystems Cms Gmbh Sted光シートを用いるspim顕微鏡
JP2015523602A (ja) * 2012-07-09 2015-08-13 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡
JP2016540989A (ja) * 2013-12-17 2016-12-28 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH 光学的投影トモグラフィを用いて試料を検査する方法および装置
JP2017191228A (ja) * 2016-04-14 2017-10-19 オリンパス株式会社 ライトシート顕微鏡およびサンプル観察方法
JP2018096760A (ja) * 2016-12-09 2018-06-21 オリンパス株式会社 走査型共焦点顕微鏡装置、走査制御方法、及び、プログラム
JP2020524822A (ja) * 2017-06-23 2020-08-20 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH 光シート顕微鏡機能ユニットを有する顕微鏡システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084960A (ja) * 2004-09-17 2006-03-30 Yokogawa Electric Corp 3次元共焦点顕微鏡システム
JP2010540995A (ja) * 2007-09-28 2010-12-24 カール ツァイス マイクロイメージング ゲーエムベーハー 光操作用の光学装置
JP2010286565A (ja) * 2009-06-09 2010-12-24 Olympus Corp 蛍光観察装置
JP2012093757A (ja) * 2010-10-22 2012-05-17 Leica Microsystems Cms Gmbh Sted光シートを用いるspim顕微鏡
JP2015523602A (ja) * 2012-07-09 2015-08-13 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡
JP2016540989A (ja) * 2013-12-17 2016-12-28 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH 光学的投影トモグラフィを用いて試料を検査する方法および装置
JP2017191228A (ja) * 2016-04-14 2017-10-19 オリンパス株式会社 ライトシート顕微鏡およびサンプル観察方法
JP2018096760A (ja) * 2016-12-09 2018-06-21 オリンパス株式会社 走査型共焦点顕微鏡装置、走査制御方法、及び、プログラム
JP2020524822A (ja) * 2017-06-23 2020-08-20 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH 光シート顕微鏡機能ユニットを有する顕微鏡システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12007545B2 (en) 2020-10-29 2024-06-11 Carl Zeiss Microscopy Gmbh Light sheet microscope and method for light sheet microscopy
WO2024113204A1 (en) * 2022-11-30 2024-06-06 Nuohai Life Science (Shanghai) Co., Ltd A tiling light sheet microscope, its imaging method, microscopy system and a detection camera

Also Published As

Publication number Publication date
JP7134839B2 (ja) 2022-09-12

Similar Documents

Publication Publication Date Title
JP5566188B2 (ja) 生体観察装置
JP3816632B2 (ja) 走査型顕微鏡
US9835843B2 (en) Three-dimensional confocal microscopy apparatus and focal plane scanning and aberration correction unit
JP5633753B2 (ja) フォーカス制御方法および培養観察装置
KR20200041982A (ko) 실시간 오토포커스 스캐닝
JP2009036969A (ja) カバーガラス、スライドガラス、プレパラート、観察方法、及び顕微鏡装置
JP2010112969A (ja) 共焦点顕微鏡
EP1882967B1 (en) Scanning examination apparatus
JP2009036970A (ja) カバーガラス、スライドガラス、プレパラート、観察方法、及び顕微鏡装置
JP7134839B2 (ja) 顕微鏡装置、制御方法、及び、プログラム
JP6716383B2 (ja) 顕微鏡システム、情報提示方法、プログラム
JP4725967B2 (ja) 微小高さ測定装置及び変位計ユニット
JP2010286565A (ja) 蛍光観察装置
JP6177000B2 (ja) レーザ走査型顕微鏡
EP1806575B1 (en) Examination apparatus
JP4526988B2 (ja) 微小高さ測定方法及びそれに用いる微小高さ測定装置並びに変位ユニット
JP2017134115A (ja) 顕微鏡装置、及び画像表示プログラム
JP5730696B2 (ja) 画像処理装置および画像表示システム
US20180180867A1 (en) Microscope and setting support method
JP2006275964A (ja) 走査型蛍光顕微鏡のシェーディング補正方法
JP2007304058A (ja) 微小高さ測定装置
JP5185769B2 (ja) 顕微鏡システム
JP2010164635A (ja) 共焦点顕微鏡
JP2004021004A (ja) カラー顕微鏡
JP5784790B2 (ja) 蛍光観察装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210902

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220622

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R151 Written notification of patent or utility model registration

Ref document number: 7134839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151