JP2016206652A - 試料の3次元構造の撮像方法及び顕微鏡装置 - Google Patents
試料の3次元構造の撮像方法及び顕微鏡装置 Download PDFInfo
- Publication number
- JP2016206652A JP2016206652A JP2016032050A JP2016032050A JP2016206652A JP 2016206652 A JP2016206652 A JP 2016206652A JP 2016032050 A JP2016032050 A JP 2016032050A JP 2016032050 A JP2016032050 A JP 2016032050A JP 2016206652 A JP2016206652 A JP 2016206652A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- sample
- substance
- dimensional structure
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
【課題】局在系顕微鏡法において演算処理を複雑化させることなく簡単に試料の3次元構造の撮像を可能とする技術を提供する。【解決手段】試料の3次元構造を撮像する方法であって、所定の波長の光により励起した場合に蛍光性を有する第1の状態と蛍光性を有しない第2の状態とをスイッチング可能な物質により試料の構造をラベリングする。所定の波長の光により照明光学系を用いて物質を照明し、第1の状態にある物質の少なくとも一部を励起する。励起された物質を結像光学系を用いて結像する。結像する工程において生じる視差を有する複数の画像を取得する。複数の画像における物質の試料内における光軸と垂直な面内方向の位置を特定する。複数の画像における物質の試料内における面内方向の位置を用いて、物質の試料内の光軸方向の位置を特定する。物質を励起する工程から物質の光軸方向の位置を特定する工程までを繰り返し、前記試料全体の3次元構造を得る。【選択図】図2
Description
本発明は、超解像顕微鏡法による試料の3次元構造の撮像方法に関する。
超解像顕微鏡法により、可視光の回折限界を超える高分解能が達成できることが知られている。超解像顕微鏡法の1つである局在系顕微鏡法では、視野内の蛍光物質を励起すると、物質から蛍光がランダムに放出される。これを結像光学系を用いて撮像素子上に複数回に分けて結像させてそれぞれの画像の輝点の位置情報を求める。そして、各画像で検出された輝点の情報を1つの画像に重ね合わせることにより、可視光の波長による分解能を超える微細構造の画像を得る。
従来より、局在系顕微鏡法を用いて試料の3次元画像を得る技術も存在している。
例えば、非特許文献1は、シリンドリカルレンズを用いた方法である。シリンドリカルレンズを用いる方法では、シリンドリカルレンズを光路上に配置することで発生する非点収差を利用する。すなわち、非点収差によって試料からの光は、楕円の形状となり、z方向の座標により、楕円率は変化する。このことから、楕円率よりz方向の位置、すなわち高さの情報を得て、局在系顕微鏡法により得たxy方向の画像にz方向の高さ情報を加えて3次元画像を生成する。
例えば、非特許文献1は、シリンドリカルレンズを用いた方法である。シリンドリカルレンズを用いる方法では、シリンドリカルレンズを光路上に配置することで発生する非点収差を利用する。すなわち、非点収差によって試料からの光は、楕円の形状となり、z方向の座標により、楕円率は変化する。このことから、楕円率よりz方向の位置、すなわち高さの情報を得て、局在系顕微鏡法により得たxy方向の画像にz方向の高さ情報を加えて3次元画像を生成する。
非特許文献2は二重らせんを用いる方法である。二重らせん(double helix)を用いる方法では、位相変調をおこなうことによりPSF(Point Spread Function、点拡がり関数)を二重らせん形状とする。このため、あるzについてのxy面の画像には、2点が映り込み、2点の回転角は、z方向の座標によることとなる。こうして、2点の回転角とz方向の位置すなわち高さの情報との関係から高さ情報を得て、局在系顕微鏡法により得たxy方向の画像にz方向の高さ情報を加えて3次元画像を生成する。
"Three-Dimensional Super-Resolution Imaging by Stochastic Optical Reconstruction Microscopy", Science, 2008 February 8, Vol.319 no.5864 pp.810-813
"Three-dimensional, single-molecule fluorescence imaging beyond the diffraction limit by using a double-helix point spread function", PNAS, 2009 January 9, Vol.106 pp.2995-2999
上記のシリンドリカルレンズや二重らせんを用いて局在顕微鏡法による3次元画像を生成する方法では、通常の局在顕微鏡法のように、ガウシアンフィッティングや重心検出により輝点のxy位置を求めることができない。すなわち、z位置によりPSF形状が変わることから、輝点のxy位置を求めるためのフィッティング等の算出処理が複雑になってしまう。
また、局在系顕微鏡法では、輝点密度が低いと数多くの画像が必要となるため、撮像時間が増大する。そのため、撮像時間を短縮しようとすると蛍光物質のラベリング(すなわち蛍光標識すること)などの実験条件を調整して輝点密度が高くなるようにする必要があり、同様に輝点のxy位置を求めるためのフィッティング等の算出処理が複雑になってしまう。
本発明は、局在系顕微鏡法において、演算処理を複雑化させることなく、簡単に試料の3次元構造の撮像を可能とする技術を提供することを目的とする。また、輝点密度が高い場合においても演算処理を複雑化させることなく、簡単に試料の3次元構造の撮像を可能とする技術を提供することを第2の目的とする。
本発明の一態様に係る試料の3次元構造を撮像する方法によれば、所定の波長の光により励起した場合に蛍光性を有する第1の状態と蛍光性を有しない第2の状態とをスイッチング可能な物質により、前記試料の構造をラベリングする工程と、前記所定の波長の光により照明光学系を用いて前記物質を照明し、前記第1の状態にある物質の少なくとも一部を励起する工程と、前記励起された物質を結像光学系を用いて結像する工程と、前記結像する工程において生じる視差を有する複数の画像を取得する工程と、前記複数の画像における前記物質の前記試料内における光軸と垂直な面内方向の位置を特定する工程と、前記複数の画像における前記物質の前記試料内における前記面内方向の位置を用いて、前記物質の前記試料内における前記光軸方向の位置を特定する工程と、前記物質を励起する工程から前記物質の前記試料内における前記光軸方向の位置を特定する工程までを繰り返し、前記試料全体の3次元構造を得る工程と、を有することを特徴とする。
本発明によれば、局在系顕微鏡法において、演算処理を複雑化させることなく、簡単に試料の3次元構造を撮像することができる。また、輝点密度が高い場合においても演算処理を複雑化させることなく、簡単に試料の3次元構造の撮像することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
<第1の実施形態>
(ガリレオ式顕微鏡)
図1は、本実施形態に係る顕微鏡装置の概略構成図である。図1においては、ガリレオ式平行光学系を搭載した双眼実体顕微鏡の概略構成を示す。
<第1の実施形態>
(ガリレオ式顕微鏡)
図1は、本実施形態に係る顕微鏡装置の概略構成図である。図1においては、ガリレオ式平行光学系を搭載した双眼実体顕微鏡の概略構成を示す。
まず、試料は、所定の波長により蛍光性を有する第1の状態と、蛍光性を有しない第2の状態とをスイッチング可能な物質により、その構造がラベリングされている。
光源2からは、所定の波長の光が発せられる。光源2から発せられた光は、照明光学系3を通して標本面5に照射される。励起光は、ダイクロイックミラー(DM)6にて反射して、対物レンズ4を通して標本面5に照射される。励起光が照射されると、試料をラベリングしている物質の一部、すなわち、第1の状態にある物質が励起される。この点については、以降に説明する顕微鏡装置においても同様である。
励起された物質からは、蛍光が発せられ、2つの結像レンズ7A、7Bそれぞれを通してカメラ8に入射する。カメラ8は、結像レンズ7A、7Bの結像位置に配置されている。こうして、カメラ8の撮像素子により試料の画像信号が取得され、得られた画像信号は、パーソナルコンピュータ(PC)9等の情報処理装置に転送される。PC9は、カメラ8から転送された画像信号に対して必要な処理を施し、試料の超解像画像を得る。
すなわち、標本面5においては蛍光物質が励起されてランダムに光るため、カメラ8が複数回に渡り画像を撮像していくと、各タイミングで光る輝点の画像を得ることとなる。PC9では、こうして得られる複数の画像の各輝点のXY面上での位置情報を重ね合わせて1枚の画像を生成する。これにより、通常の顕微鏡装置の光の波長による分解能を超える高い分解能で試料の構造を撮像することができる。
ここで、図1に示す顕微鏡装置は、双眼実体顕微鏡であり、試料内の構造からの光を分割した2つの光路(光路10A、10B)の間には、視差が生じている。このため、本実施形態に係る顕微鏡装置では、それぞれ結像レンズ7A、7Bを通じて得られる2枚の画像(以下においては画像対という)にある視差を利用して、試料のZ方向の位置情報すなわち試料の高さ情報を演算する。これについて、図2を参照して説明する。
図2は、本実施形態に係る顕微鏡装置により3次元超解像画像を得る方法について説明する図である。
励起光により物質からランダムに蛍光が発せられることを利用すると、高分解能で試料のXY方向構造を得ることができる。なお、X方向及びY方向の構造、すなわち輝点の位置情報を演算する際には、公知のマルチエミッタ対応のアルゴリズムを用いて演算する構成としてもよい。マルチエミッタ対応のアルゴリズムとしては、ベイズ推定、圧縮センシング等が挙げられる。上記のとおり、本実施形態に係る顕微鏡装置は、取得した画像対の視差を利用して試料のZ方向の位置情報を演算し、これを公知のアルゴリズムの適用等により得られるXY方向の構造に加えて、試料の3次元構造の超解像画像のデータを得る。
励起光により物質からランダムに蛍光が発せられることを利用すると、高分解能で試料のXY方向構造を得ることができる。なお、X方向及びY方向の構造、すなわち輝点の位置情報を演算する際には、公知のマルチエミッタ対応のアルゴリズムを用いて演算する構成としてもよい。マルチエミッタ対応のアルゴリズムとしては、ベイズ推定、圧縮センシング等が挙げられる。上記のとおり、本実施形態に係る顕微鏡装置は、取得した画像対の視差を利用して試料のZ方向の位置情報を演算し、これを公知のアルゴリズムの適用等により得られるXY方向の構造に加えて、試料の3次元構造の超解像画像のデータを得る。
具体的には、n=kのタイミングで撮像して得られた画像対(画像1、2)の視差Δxからこの視差をZ方向の位置情報に変換し、n=kにおいて撮像された輝点の高さ情報とする。図2に示す例では、Z方向の高さ情報をスケールにしたがって表している。
図2においては、説明の簡単のため、n=kのタイミングで得られた画像対のうち、1つの輝点についての視差Δxを示しているが、各輝点につき視差を求め、これからZ方向の位置情報に変換することにより、画像中の各輝点の高さ情報を得る。
同様に、次のタイミングn=k+1で撮像して得られた画像対についても、視差からZ方向の位置情報に変換して、n=k+1において得られた画像対中の輝点の高さ情報を得る。
このように、従来の超解像顕微鏡法と同様に複数回の撮像を行い、それぞれの撮像タイミングnにて得られたX、Y及びZ方向の位置情報を重ね合わせて1つの画像を生成することにより、試料の超解像の3次元形状画像を得る。
従来における局在系顕微鏡法によれば、超解像の3次元形状の画像を得ようとすると、X、Y及びZ方向の位置情報を求めるための演算処理が非常に複雑なものとなっていた。しかし、本実施形態によれば、視差のある画像対のそれぞれからZ方向の位置情報を求めて、従来と同様に複数回撮像を行って得られるX及びY方向の位置情報と合わせる処理を実施するのみで、試料全体の高分解能での3次元構造の撮像が可能となる。すなわち、演算処理を複雑化させることなく、簡単に3次元の超解像画像の生成が可能となる。
ここで、局在系顕微鏡法で撮像枚数を減らして撮像時間の短縮を図るため、実験条件を調整して輝点密度を高くした場合について説明する。
各輝点位置を精度良く求めるアルゴリズムは、”Simultaneous multiple-emitter fitting for single molecule super-resolution imaging”, Biomedical Optics Express, 2011 May 1, Vol.2 pp.1377-1393等に知られている。解析領域内に複数の輝点が含まれる場合でも対応可能なアルゴリズムは、マルチエミッタ対応アルゴリズムと呼ばれる。このアルゴリズムを適用した場合には、各輝点が他の輝点と十分に分離されていない状態においても、各輝点の位置を検出することが可能となる。そのため一度の撮像で多数の輝点位置を求めることができ、超解像画像を得るために必要な合計撮像回数を少なく抑えることが可能になる。このようなマルチエミッタ対応のアルゴリズムの例としては、ベイズ推定、圧縮センシング等がある。
各輝点位置を精度良く求めるアルゴリズムは、”Simultaneous multiple-emitter fitting for single molecule super-resolution imaging”, Biomedical Optics Express, 2011 May 1, Vol.2 pp.1377-1393等に知られている。解析領域内に複数の輝点が含まれる場合でも対応可能なアルゴリズムは、マルチエミッタ対応アルゴリズムと呼ばれる。このアルゴリズムを適用した場合には、各輝点が他の輝点と十分に分離されていない状態においても、各輝点の位置を検出することが可能となる。そのため一度の撮像で多数の輝点位置を求めることができ、超解像画像を得るために必要な合計撮像回数を少なく抑えることが可能になる。このようなマルチエミッタ対応のアルゴリズムの例としては、ベイズ推定、圧縮センシング等がある。
上述のマルチエミッタ対応のアルゴリズムを用いてX方向及びY方向の位置情報を演算すると、輝点を高密度で検出することができる。これにより、超解像画像の撮像時間を短縮できる。これに画像対の視差からZ方向の位置情報を演算してマルチエミッタ対応のアルゴリズムで求めたX方向及びY方向の位置情報とあわせて用いることで、高密度撮像時間を短縮しつつ、簡単な演算で試料の3次元構造を得ることが可能となる。
なお、上記においてランダムに蛍光を発する機構としては、PALM、STORM、dSTORM、自発ブリンキングなど既存の任意の方法を用いることができる。また、輝点密度が高い状態とは、蛍光を発光可能な状態(第一の状態)にある物質の少なくとも一部が第一の状態にある最近傍の物質と結像の空間分解能以内の距離で励起される状態である。
上記においては、図1のガリレオ式顕微鏡を例に説明しているが、本実施形態に係る局在系顕微鏡法における3次元の超解像画像を生成する方法は、他の方式の顕微鏡装置によっても実現することができる。以下に、具体的に説明する。
(TIRF(Total Internal Reflection Fluorescence、全反射照明)顕微鏡)
図3は、TIRF顕微鏡装置の概略構成図である。
TIRF顕微鏡では、光源2から発せられた光は、照明光学系3を通して励起される。励起光は、DM6を通して、対物レンズ4の後側焦点面(瞳面)の光軸からそれた位置に集光して、標本面5に照射される。このとき標本面5において、全反射照明となるように配置される。TIRF顕微鏡では、結像レンズ7A、7Bのそれぞれを透過した光をカメラ8の撮像素子にて撮像して得られる2つの画像には、視差が存在することとなる。これより、図1のガリレオ式顕微鏡と同様に、PC9において、視差のある画像対を得ることができる。
図3は、TIRF顕微鏡装置の概略構成図である。
TIRF顕微鏡では、光源2から発せられた光は、照明光学系3を通して励起される。励起光は、DM6を通して、対物レンズ4の後側焦点面(瞳面)の光軸からそれた位置に集光して、標本面5に照射される。このとき標本面5において、全反射照明となるように配置される。TIRF顕微鏡では、結像レンズ7A、7Bのそれぞれを透過した光をカメラ8の撮像素子にて撮像して得られる2つの画像には、視差が存在することとなる。これより、図1のガリレオ式顕微鏡と同様に、PC9において、視差のある画像対を得ることができる。
各輝点の視差ΔxをZ方向の位置情報に変換して各輝点の高さ情報とし、複数の画像対に対して同様に高さ情報を求めていくことにより、試料の3次元の超解像画像を得ることができる。その方法については、上記のガリレオ式顕微鏡と同様であり、図2を参照して説明したとおりである。
なお、TIRF顕微鏡では、結像の光軸方向に関して有限の範囲のみを照明するため、標本面5近傍の物質のみが励起される。このため、試料がZ方向に所定の厚み以上の厚い形状である場合には、焦点面外からの背景光を抑制できるTIRF顕微鏡が好適である。
(偏光板の使用による方式)
図1のガリレオ式顕微鏡や図3のTIRF顕微鏡の他にも、顕微鏡の光学系の構成によって視差のある画像を得て、同様に3次元形状画像を得ることも可能である。
図4は、偏光板を用いる場合の顕微鏡装置の概略構成図である。図4の光路図に示すように、光源2から発せられ、照明光学系3により励起された励起光が標本面5に照射されると、標本面5から発せられた蛍光は、DM6を透過して、所定の方向に偏光した光のみが偏光板11A、11Bを透過する。実施例では、一方の偏光板である図4の偏光板11Aが、s偏光のみを透過させ、他方の偏光板である偏光板11Bが、p偏光のみを透過させる。こうして、偏光ビームスプリッタ(PBS)12により偏光成分ごとに分離された光が、2台のカメラ8A、8Bのそれぞれに入射する。カメラ8A、8Bのそれぞれにおいてはそれぞれs偏光成分またはp偏光成分の光を撮像し、PC9は、カメラ8A、8Bから転送された画像信号より、s偏光成分またはp偏光成分の画像を生成する。実施例では、カメラ8Aがs偏光成分の光を、カメラ8Bがp偏光成分の光を撮像し、PC9は、カメラ8A及び8Bから転送された画像信号よりそれぞれs偏光成分及びp偏光成分の画像を生成する。
図1のガリレオ式顕微鏡や図3のTIRF顕微鏡の他にも、顕微鏡の光学系の構成によって視差のある画像を得て、同様に3次元形状画像を得ることも可能である。
図4は、偏光板を用いる場合の顕微鏡装置の概略構成図である。図4の光路図に示すように、光源2から発せられ、照明光学系3により励起された励起光が標本面5に照射されると、標本面5から発せられた蛍光は、DM6を透過して、所定の方向に偏光した光のみが偏光板11A、11Bを透過する。実施例では、一方の偏光板である図4の偏光板11Aが、s偏光のみを透過させ、他方の偏光板である偏光板11Bが、p偏光のみを透過させる。こうして、偏光ビームスプリッタ(PBS)12により偏光成分ごとに分離された光が、2台のカメラ8A、8Bのそれぞれに入射する。カメラ8A、8Bのそれぞれにおいてはそれぞれs偏光成分またはp偏光成分の光を撮像し、PC9は、カメラ8A、8Bから転送された画像信号より、s偏光成分またはp偏光成分の画像を生成する。実施例では、カメラ8Aがs偏光成分の光を、カメラ8Bがp偏光成分の光を撮像し、PC9は、カメラ8A及び8Bから転送された画像信号よりそれぞれs偏光成分及びp偏光成分の画像を生成する。
ここで、s偏光成分及びp偏光成分の画像は、それぞれ異なった瞳位置を通過して結像するため、視差が存在する。したがって、図4の構成の顕微鏡装置によっても、結像の工程において生じる視差を用いて、複数の画像対を取得して、上記の図2で説明した方法により試料の3次元の超解像画像を得ることができる。
図5は、偏光板を用いる場合の他の顕微鏡装置の概略構成図である。図5に示す顕微鏡装置は、図4のそれと比較して、1台のカメラ8でp偏光及びs偏光の2つの偏光成分の撮像を行う点で異なる。
図4の構成の顕微鏡と同様に、偏光板11Aを透過したs偏光成分の光及び偏光板11Bを透過したp偏光成分の光は、PBS12で分離されて、それぞれミラー18A及びミラー18Bで反射し、1台のカメラ8に入射する。図5のカメラ8は、s偏光成分及びp偏光成分の視差の存在する画像対を同時に撮像することができる。したがって、図4の構成の顕微鏡と同様に、図2で説明した方法により、複数の画像対を取得して、試料の3次元の超解像画像を生成することができる。
図6は、本実施形態に係る顕微鏡装置による試料の3次元構造の撮像処理を示したフローチャートである。図6は、上述の同時に視差のある画像対を取得する構成の顕微鏡装置が、試料全体の3次元の超解像画像のデータを得るまでの動作フローを示す。
まず、ステップS1で、観察に使用する物質を選択して、選択した物質により、試料の構造をラベリングする。ステップS2で、物質の一部、すなわち、第1状態にある物質を励起して、ステップS3で、結像レンズ7を用いて、励起された物質から発せられた蛍光をカメラ8の撮像素子に結像させる。これにより、視差のある画像対が取得される。ステップS4で、撮像が終了したと判定されるまで、ステップS2の励起の工程とステップS3の結像の工程を複数回繰り返す。撮像が終了したと判定されると、ステップS5に進む。
ステップS5で、各画像中の輝点のX方向及びY方向の位置情報を演算する。そして、ステップS6で、画像対ごとに、ステップS5で求めたX方向及びY方向の位置情報から視差を求め、これからZ方向の位置情報を演算する。こうして、X、Y及びZ方向の位置情報を取得すると、処理を終了する。
なお、図6においては、まずステップS2〜ステップS4までの処理で複数の画像対を取得し、その後、ステップS5及びステップS6で各画像対から輝点のX、Y及びZ方向の位置情報を求めているが、これに限定されるものではない。例えば、画像対を取得するごとに、取得した画像対から輝点のX、Y及びZ方向の位置情報を求め、この動作を繰り返していき、試料全体の3次元構造の画像データを得る構成とすることもできる。
先に図2の説明においても述べたように、図6に示す一連の処理により、複雑な演算を要することなく、簡単な演算で複数の画像対の各輝点のX、Y及びZ方向の位置情報を求めることができ、これにより、高分解能で試料全体の3次元構造を得ることができる。すなわち、試料の3次元の超解像画像を得ることが可能となる。
<第2の実施形態>
(長焦点深度化)
先に説明したように、上記の第1の実施形態においては、局在系顕微鏡法にステレオ法による計測を適用して、視差のある画像対を用いることにより、高分解能で3次元構造の撮像を行っている。本実施形態では、第1の実施形態に係る顕微鏡装置に対し、更に焦点深度を増大させる手段を設けている点で異なる。これについて、図面を参照して具体的に説明する。
(長焦点深度化)
先に説明したように、上記の第1の実施形態においては、局在系顕微鏡法にステレオ法による計測を適用して、視差のある画像対を用いることにより、高分解能で3次元構造の撮像を行っている。本実施形態では、第1の実施形態に係る顕微鏡装置に対し、更に焦点深度を増大させる手段を設けている点で異なる。これについて、図面を参照して具体的に説明する。
図7は、本実施形態に係る顕微鏡装置の概略構成図である。
本実施形態に係る顕微鏡装置の構成の上記第1の実施形態のそれとの差異点は、図7に示すように、結像光学系にアキシコンレンズ21を配置していることにある。アキシコンレンズ21が結像光学系に配置されることで、焦点深度が大きくなる。
本実施形態に係る顕微鏡装置の構成の上記第1の実施形態のそれとの差異点は、図7に示すように、結像光学系にアキシコンレンズ21を配置していることにある。アキシコンレンズ21が結像光学系に配置されることで、焦点深度が大きくなる。
超解像顕微鏡法の1つである局在系顕微鏡法では、焦点位置からZ方向に関して離れているほどボケ光の影響が強くなり(ボケが大きくなり)、局在精度が悪化する。これに対し、図7に示すように、結像光学系にアキシコンレンズ21を配置すると、顕微鏡装置が長焦点深度化される。すなわち、アキシコンレンズ21の配置によって、顕微鏡装置のPSFの形状はZ方向に伸びた形状に変化し、これにより、ボケ像による局在精度の悪化を回避して、厚みのある試料であっても、Z方向の超解像を得ることができる。
ここで、ボケ光による性能劣化と、Z方向の分解能とは、トレードオフの関係にあり、長焦点深度化を図ると、Z方向の分解能は低下することとなる。しかし、本実施形態では、局在系顕微鏡法と組み合わせてステレオ法による計測を行っている。このため、第1の実施形態と同様に複雑な演算を必要としない、公知のマルチエミッタ解析にも対応可能であるという点に加えて、焦点深度の増大によるボケ光の抑制とZ方向の超解像とを独立に得ることができる、という効果を得る。
なお、図7に示す構成図では、視差のある画像対を得るための光の分割は、アキシコンレンズ21による長焦点深度化の後に行っている。アキシコンレンズ21によって結像の焦点深度の増大を誘起された光は、ビームスプリッタ22により分割され、ミラー18A、18B等により導かれて、カメラ8に入射する。但し、光を分割するタイミングは、これに限定されず、長焦点深度化の前に行ってもよい。
図8は、本実施形態に係る顕微鏡装置の他の概略構成図である。図8に示す構成においては、ビームスプリッタ22で2分割した後の個別の光路上にそれぞれアキシコンレンズ21A、21Bを配置する。
図8に示すように、ビームスプリッタ22により試料からの光を分割した後にアキシコンレンズ21A、21Bにより個々の焦点深度を増大させた場合であっても、図7の分割前に長焦点深度化させる構成と同様の効果を得ることができる。
なお、上記第1の実施形態においては、各種照明光学系を備える顕微鏡装置について説明しているが、本実施形態に係る顕微鏡装置では、結像光学系にアキシコンレンズ21を配置することを特徴とするものである。このため、本実施形態のように、結像光学系にアキシコンレンズ21を配置することにより長焦点深度化させる方法は、第1の実施形態において挙げた各種の顕微鏡装置に対して適用することが可能である。
更には、局在系顕微鏡法にステレオ法による計測を適用した顕微鏡装置に対して更に焦点深度を増大させる構成をとることで、例えば、セクショニング顕微鏡のセクショニング分解能に要求されるレベルを従来と比べて下げること等も可能となる。これについて、図9を参照して説明する。
図9は、シート照明を適用した本実施形態に係る顕微鏡装置の概略構成図である。
シート照明を適用した顕微鏡装置の具体的な構成及びその作用については、後述する第3の実施形態においても説明するが、シート照明では、励起用対物レンズ4Aにより励起された光が試料に照明され、検出用対物レンズ4Bが蛍光を検出する。励起用対物レンズ4Aによりレーザー光をシート状に広げて試料の横(図9の上方向)から照明し、これを上から(図9の右方向)から平面を撮影し、試料をZ方向(図9の上下方向)に動かすことで、厚みのある試料についても観察することが可能となる。
シート照明を適用した顕微鏡装置の具体的な構成及びその作用については、後述する第3の実施形態においても説明するが、シート照明では、励起用対物レンズ4Aにより励起された光が試料に照明され、検出用対物レンズ4Bが蛍光を検出する。励起用対物レンズ4Aによりレーザー光をシート状に広げて試料の横(図9の上方向)から照明し、これを上から(図9の右方向)から平面を撮影し、試料をZ方向(図9の上下方向)に動かすことで、厚みのある試料についても観察することが可能となる。
このようなシート照明を適用した顕微鏡装置において、図9に示すようにアキシコンレンズ21を結像光学系に配置すると、長焦点深度化により、ボケ光の影響による画像の精度の劣化が起きにくくなる。すなわち、画像の背景光が抑制されて、厚みのある試料であっても観察対象とできることから、シート照明を適用した顕微鏡装置等のセクショニング顕微鏡に要求されるセクショニング能のハードルを、アキシコンレンズ21のない場合と比べて下げることができる。
このほか、先述のTIRF(図3参照)や、テンポラルフォーカス光学系あるいはHiLo(薄層斜光照明光)を用い、これらを組み合わせた顕微鏡等についても、結像光学系にアキシコンレンズ21を配置し、長焦点深度化することによる効果を享受することができる。
<第3の実施形態>
上記の第1の実施形態においては、顕微鏡装置は、視差のある画像対の撮像を同時に行っている。これに対し、本実施形態においては、複数回に分けて撮像を行って画像対を得ている点で異なる。本実施形態に係る顕微鏡装置も、上記の第1の実施形態と同様に、さまざまな構成をとることが可能である。以下に、図面を参照して具体的に説明する。
上記の第1の実施形態においては、顕微鏡装置は、視差のある画像対の撮像を同時に行っている。これに対し、本実施形態においては、複数回に分けて撮像を行って画像対を得ている点で異なる。本実施形態に係る顕微鏡装置も、上記の第1の実施形態と同様に、さまざまな構成をとることが可能である。以下に、図面を参照して具体的に説明する。
(偏心開口の切り替えによる方式)
図10は、偏心位置を切り替え可能な顕微鏡装置の概略構成図である。
光源2から発せられた光は、照明光学系3により標本面5に照射される。励起光は、標本面5に照射され、励起光により励起された物質から発せられた蛍光は、DM6を透過して部材13Aの偏心開口14Aまたは部材13Bの偏心開口14Bを透過してカメラ8にて撮像される。
図10は、偏心位置を切り替え可能な顕微鏡装置の概略構成図である。
光源2から発せられた光は、照明光学系3により標本面5に照射される。励起光は、標本面5に照射され、励起光により励起された物質から発せられた蛍光は、DM6を透過して部材13Aの偏心開口14Aまたは部材13Bの偏心開口14Bを透過してカメラ8にて撮像される。
部材13A、13Bには、それぞれ光軸に関して図10においては上側及び下側に、偏心開口14A、14Bが設けられている。PC9は、光路上に配置される2枚の部材13A、13Bを切り替える。各部材には偏心開口14A、14Bが設けられており、それぞれ異なった瞳位置で光線を透過させる。透過した光は、結像レンズ7にて結像され、カメラに入射する。カメラ8の撮像素子は、部材13A、13Bの偏心開口14A、14Bをそれぞれ透過した光を撮像する。
このような構成を備えることで、図4の2枚の偏光板11A、11Bを備える構成の顕微鏡装置と同様に、視差のある画像対を得ることができる。ここで、視差のある2つの画像の撮像は、輝点の検出精度等の観点からは、第1の実施形態のように、同時であることが好ましい。しかし、2つの画像の撮像間隔がミリ秒程度であれば、比較的高精度で画像対を取得することが可能である。したがって、図10の構成の顕微鏡装置であっても、撮像により複数の画像対を取得して、上記の第1の実施形態と同様に、視差から各輝点のZ方向の位置情報を求めていくことで、演算処理を複雑化させることなく、簡単に試料の3次元の超解像画像を得ることが可能である。
(ディスクスキャン方式)
図11は、図10の構成に更にディスクスキャン方式を採用した顕微鏡装置の概略構成図である。
光源2から発せられた光は、軸19を中心に回転するマイクロレンズアレイ16及び回転ディスク15を通して対物レンズ4に入射する。回転ディスク15には、多数のピンホールがらせん状に配置されている。マイクロレンズアレイ16にも、回転ディスク15のピンホールとそれぞれが対になるよう、らせん状にマイクロレンズが配置されており、これにより、光源2から発せられた光をピンホールに集光する。
図11は、図10の構成に更にディスクスキャン方式を採用した顕微鏡装置の概略構成図である。
光源2から発せられた光は、軸19を中心に回転するマイクロレンズアレイ16及び回転ディスク15を通して対物レンズ4に入射する。回転ディスク15には、多数のピンホールがらせん状に配置されている。マイクロレンズアレイ16にも、回転ディスク15のピンホールとそれぞれが対になるよう、らせん状にマイクロレンズが配置されており、これにより、光源2から発せられた光をピンホールに集光する。
回転ディスク15(及びマイクロレンズアレイ16)を軸19中心に回転させると、多数のピンホールを通過した光が順次対物レンズ4を通じて標本面5に照射される。これにより、標本面5上を走査した場合と同様の効果が得られ、カメラ8においては、高速で撮像を行うことができる。
図示するとおり、図11の構成においても、図10と同様に、それぞれ偏心開口14A、14Bを有する部材13A、13Bが光路上に設けられている。PC9の制御にしたがって光路上に配置する部材13A、13Bを切り替えて撮像することで、図10の顕微鏡装置と同様に、それぞれが異なった瞳位置で光線を透過させるため、視差のある画像対を得ることができる。したがって、ディスクスキャン方式を採用する顕微鏡装置であっても、図10の顕微鏡装置と同様の効果を得ることができる。
ただし、ディスクスキャン方式では、光軸方向に関して有限の範囲のみを結像する。このため、試料がZ方向に所定の厚み以上の形状である場合には、ディスクスキャン方式を採用した顕微鏡が好適である。
なお、図11においては、図10の構成にディスクスキャン方式を採用した場合の顕微鏡装置を例示するが、これに限定されるものではない。例えば、第1の実施形態に係る顕微鏡装置にディスクスキャン方式を用いることも可能である。
(シート照明)
図12は、図10の構成に更にシート照明を適用した顕微鏡装置の概略構成図である。
これまでに説明してきた顕微鏡装置では、対物レンズ4が励起光の照射と蛍光の検出とを行っている。これに対し、シート照明20では、励起光の照射については励起用対物レンズ4Aが行い、蛍光の検出については励起用対物レンズと垂直に配置されている検出用対物レンズ4Bが行う。図12のシリンドリカルレンズ17は、励起光ビームを絞り、試料面(図12においては図示を省略)においてシート状の照明をするために設けられている。
図12は、図10の構成に更にシート照明を適用した顕微鏡装置の概略構成図である。
これまでに説明してきた顕微鏡装置では、対物レンズ4が励起光の照射と蛍光の検出とを行っている。これに対し、シート照明20では、励起光の照射については励起用対物レンズ4Aが行い、蛍光の検出については励起用対物レンズと垂直に配置されている検出用対物レンズ4Bが行う。図12のシリンドリカルレンズ17は、励起光ビームを絞り、試料面(図12においては図示を省略)においてシート状の照明をするために設けられている。
シート照明20を採用する顕微鏡装置であっても、図10や図11に示す構成の顕微鏡装置と同様に、開口板13A、13Bを切り替えてそれぞれの偏心開口14A、14Bを透過した成分からそれぞれ画像を得ることで、視差のある画像対を得る。シート照明20を用いることで、シート状の励起光が試料に照射されるため、試料が受けるダメージを抑えつつ、試料の3次元の超解像画像を生成することができる。
シート照明20は、結像の光軸方向に関して有限の範囲のみを照明するため、標本面5近傍の物質のみが励起される。このため、試料がZ方向に所定の厚み以上の薄い形状である場合には、シート照明20を用いる顕微鏡が好適である。
なお、図12においては、図10の構成にシート照明20を適用した場合の顕微鏡装置を例示するが、これに限定されるものではない。例えば、第1の実施形態に係る顕微鏡装置にシート照明20を適用することも可能である。
図13は、本実施形態に係る顕微鏡装置による試料の3次元構造の撮像処理を示したフローチャートである。図13は、上述の複数回に分けて撮像を行って視差のある画像対を得る構成の顕微鏡装置が、試料全体の3次元の超解像画像のデータを得るまでの動作フローを示す。
上記の第1の実施形態に係る顕微鏡装置の動作フローを示す図6と比較すると、ステップS11〜ステップS13までの処理は、それぞれ図6のステップS1〜ステップS3の処理と同様である。
ステップS14で、Z方向の位置情報の演算に必要な視差のある画像対を取得済みであるか否かを判定する。PC9において部材13A、13Bの切り替え制御を行ったか否かに基づき判定することができる。画像の取得が済んでいない(ステップS14でNoの)場合には、ステップS15に進み、画像に視差を与えるための制御、すなわち、光路上に配置されている部材13Aと部材13Bとを切り替えるための制御を実施し、ステップS12に戻る。画像対の取得が済んでいる(ステップS14でYesの)場合は、ステップS16に進む。
ステップS16以降の処理については、図6のステップS4以降の処理と同様である。
図13に示す一連の処理によっても、図6の同時に画像対を取得する場合と同様の効果を得ることができる。
図13に示す一連の処理によっても、図6の同時に画像対を取得する場合と同様の効果を得ることができる。
図13についても、図6と同様に、例えば、画像対を取得するごとに、取得した画像対から輝点のX、Y及びZ方向の位置情報を求め、この動作を繰り返していき、試料全体の3次元構造の画像データを得る構成とすることもできる。
本発明は、上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
2 光源
3 照明光学系
4、4A、4B 対物レンズ
5 標本面
6 ダイクロイックミラー
7、7A、7B 結像レンズ
8 カメラ
9 PC
10A、10B 光路
11A、11B 偏光板
12 偏光ビームスプリッタ
14A、14B 偏心開口
15 回転ディスク
16 マイクロレンズアレイ
17 シリンドリカルレンズ
18A、18B ミラー
19 軸
20 シート照明
21 アキシコンレンズ
3 照明光学系
4、4A、4B 対物レンズ
5 標本面
6 ダイクロイックミラー
7、7A、7B 結像レンズ
8 カメラ
9 PC
10A、10B 光路
11A、11B 偏光板
12 偏光ビームスプリッタ
14A、14B 偏心開口
15 回転ディスク
16 マイクロレンズアレイ
17 シリンドリカルレンズ
18A、18B ミラー
19 軸
20 シート照明
21 アキシコンレンズ
Claims (11)
- 試料の3次元構造を撮像する方法であって、
所定の波長の光により励起した場合に蛍光性を有する第1の状態と蛍光性を有しない第2の状態とをスイッチング可能な物質により、前記試料の構造をラベリングする工程と、
前記所定の波長の光により照明光学系を用いて前記物質を照明し、前記第1の状態にある物質の少なくとも一部を励起する工程と、
前記励起された物質を結像光学系を用いて結像する工程と、
前記結像する工程において生じる視差を有する複数の画像を取得する工程と、
前記複数の画像における前記物質の前記試料内における光軸と垂直な面内方向の位置を特定する工程と、
前記複数の画像における前記物質の前記試料内における前記面内方向の位置を用いて、前記物質の前記試料内における前記光軸方向の位置を特定する工程と、
前記物質を励起する工程から前記物質の前記試料内における前記光軸方向の位置を特定する工程までを繰り返し、前記試料全体の3次元構造を得る工程と、
を有する3次元構造の撮像方法。 - 前記結像する工程において、結像の焦点深度の増大を誘起させる工程と、
を更に有することを特徴とする請求項1記載の3次元構造の撮像方法。 - 前記結像の焦点深度の増大を誘起させる工程は、アキシコンレンズを用いてベッセルビームを生成することによる、ことを特徴とする請求項2記載の3次元構造の撮像方法。
- 前記複数の画像を取得する工程においては、前記試料からの光を分割して、分割したそれぞれの光を用いることにより、視差のある複数の画像を同時に取得することを特徴とする請求項1から3のいずれか1項記載の3次元構造の撮像方法。
- 前記結像の焦点深度の増大を誘起させる工程は、前記試料からの光を分割する工程の前に行うことを特徴とする請求項4記載の3次元構造の撮像方法。
- 前記結像の焦点深度の増大を誘起させる工程は、前記試料からの光を分割する工程の後に行うことを特徴とする請求項4記載の3次元構造の撮像方法。
- 前記照明光学系は、結像の光軸方向に有限の厚みを持ち、前記照明光学系の光軸方向に関して有限の範囲を照明することを特徴とする請求項1から6のいずれか1項記載の3次元構造の撮像方法。
- 前記励起する工程において、前記第一の状態にある物質の少なくとも一部は、前記第一の状態にある最近傍の物質と前記結像の空間分解能以内の距離で励起されることを特徴とする請求項1から7のいずれか1項記載の3次元構造の撮像方法。
- 前記面内方向の位置は、マルチエミッタ対応のアルゴリズムを適用して解析を行うことにより特定することを特徴とする請求項1から8のいずれか1項記載の3次元構造の撮像方法。
- 前記結像光学系は、光軸方向の有限の範囲のみを結像させることを特徴とする請求項1記載の3次元構造の撮像方法。
- 試料の3次元構造を撮像する顕微鏡装置であって、
所定の波長の光により励起した場合に蛍光性を有する第1の状態と蛍光性を有しない第2の状態とをスイッチング可能な物質により、前記試料の構造をラベリングするラベリング部と、
前記所定の波長の光により前記物質を照明し、前記第1の状態にある物質の少なくとも一部を励起する照明光学系と、
前記励起された物質を結像する結像光学系と、
前記結像光学系により結像する工程において生じる視差を有する複数の画像を取得し、
前記複数の画像における前記物質の前記試料内における光軸と垂直な面内方向の位置を特定し、
前記複数の画像における前記物質の前記試料内における前記面内方向の位置を用いて、前記物質の前記試料内における前記光軸方向の位置を特定し、
前記物質を励起する工程から前記物質の前記試料内における前記光軸方向の位置を特定する工程までを繰り返し、前記試料全体の3次元構造を得る画像処理部と、
を有する顕微鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/133,012 US20160313548A1 (en) | 2015-04-21 | 2016-04-19 | Method for capturing image of three-dimensional structure of specimen and microscopic device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015086919 | 2015-04-21 | ||
JP2015086919 | 2015-04-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016206652A true JP2016206652A (ja) | 2016-12-08 |
Family
ID=57487218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016032050A Pending JP2016206652A (ja) | 2015-04-21 | 2016-02-23 | 試料の3次元構造の撮像方法及び顕微鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016206652A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018179078A1 (ja) * | 2017-03-28 | 2018-10-04 | オリンパス株式会社 | 光分析装置、光分析方法、およびプログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04171415A (ja) * | 1990-11-02 | 1992-06-18 | Nikon Corp | 長焦点深度高分解能照射光学系 |
JPH075368A (ja) * | 1993-06-17 | 1995-01-10 | Fuji Photo Film Co Ltd | 蛍光顕微鏡 |
JPH0763508A (ja) * | 1993-08-31 | 1995-03-10 | Ishikawajima Harima Heavy Ind Co Ltd | レーザ顕微鏡 |
JP2011247601A (ja) * | 2010-05-22 | 2011-12-08 | Yokohama National Univ | 微小流動場撮影装置 |
JP2012042524A (ja) * | 2010-08-13 | 2012-03-01 | Nikon Corp | 画像処理装置および方法 |
WO2013176549A1 (en) * | 2012-05-24 | 2013-11-28 | Stichting Vu-Vumc | Optical apparatus for multiple points of view three-dimensional microscopy and method |
JP2014224813A (ja) * | 2013-05-14 | 2014-12-04 | カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh | 3d高解像度局在顕微鏡法のための方法 |
JP2015505620A (ja) * | 2012-01-24 | 2015-02-23 | カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh | 高分解能3d蛍光顕微鏡法のための顕微鏡および方法 |
US20150160448A1 (en) * | 2012-04-27 | 2015-06-11 | Koh Young Technology Inc. | Stereo microscope system |
JP2015135463A (ja) * | 2013-12-19 | 2015-07-27 | オリンパス株式会社 | 顕微鏡装置、及び、顕微鏡システム |
-
2016
- 2016-02-23 JP JP2016032050A patent/JP2016206652A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04171415A (ja) * | 1990-11-02 | 1992-06-18 | Nikon Corp | 長焦点深度高分解能照射光学系 |
JPH075368A (ja) * | 1993-06-17 | 1995-01-10 | Fuji Photo Film Co Ltd | 蛍光顕微鏡 |
JPH0763508A (ja) * | 1993-08-31 | 1995-03-10 | Ishikawajima Harima Heavy Ind Co Ltd | レーザ顕微鏡 |
JP2011247601A (ja) * | 2010-05-22 | 2011-12-08 | Yokohama National Univ | 微小流動場撮影装置 |
JP2012042524A (ja) * | 2010-08-13 | 2012-03-01 | Nikon Corp | 画像処理装置および方法 |
JP2015505620A (ja) * | 2012-01-24 | 2015-02-23 | カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh | 高分解能3d蛍光顕微鏡法のための顕微鏡および方法 |
US20150160448A1 (en) * | 2012-04-27 | 2015-06-11 | Koh Young Technology Inc. | Stereo microscope system |
WO2013176549A1 (en) * | 2012-05-24 | 2013-11-28 | Stichting Vu-Vumc | Optical apparatus for multiple points of view three-dimensional microscopy and method |
JP2014224813A (ja) * | 2013-05-14 | 2014-12-04 | カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh | 3d高解像度局在顕微鏡法のための方法 |
JP2015135463A (ja) * | 2013-12-19 | 2015-07-27 | オリンパス株式会社 | 顕微鏡装置、及び、顕微鏡システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018179078A1 (ja) * | 2017-03-28 | 2018-10-04 | オリンパス株式会社 | 光分析装置、光分析方法、およびプログラム |
US11119022B2 (en) | 2017-03-28 | 2021-09-14 | Olympus Corporation | Optical analysis device, optical analysis method, and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6934856B2 (ja) | 複数の対象面を同時にイメージングする光シート顕微鏡 | |
EP2817670B1 (en) | Multi-focal structured illumination microscopy systems and methods | |
JP5677473B2 (ja) | 焦点調整装置および焦点調整方法 | |
JP6503221B2 (ja) | 3次元情報取得装置、及び、3次元情報取得方法 | |
US10191263B2 (en) | Scanning microscopy system | |
JP2015135463A (ja) | 顕微鏡装置、及び、顕微鏡システム | |
JP5854680B2 (ja) | 撮像装置 | |
JP2011133816A (ja) | 演算装置、演算方法、演算プログラム及び顕微鏡 | |
JP5914242B2 (ja) | 観察装置 | |
US9134523B2 (en) | Predictive focusing for image scanning systems | |
JP2023060003A (ja) | コントラストを増進し、かつ焦点を見出すための干渉縞の使用を伴う透過照明撮像 | |
WO2017042556A1 (en) | Polarisation microscope | |
JP2016114520A (ja) | 3次元位置情報取得方法及び3次元位置情報取得装置 | |
JP4512698B2 (ja) | レーザ顕微鏡 | |
JP7225108B2 (ja) | 多焦点構造化照明顕微鏡システム及び方法 | |
US20140022373A1 (en) | Correlative drift correction | |
JP6363477B2 (ja) | 3次元形状測定装置 | |
US20160054552A1 (en) | Confocal laser scanning microscope | |
US20220291495A1 (en) | Multi-focal light-sheet structured illumination fluorescence microscopy system | |
US20220057329A1 (en) | Method and apparatus for detecting fluorescence signals in a three-dimensional region of a sample | |
JP2009293994A (ja) | 光学顕微鏡、及び観察方法 | |
KR101505745B1 (ko) | 이중 검출 반사 공초점 현미경 및 이를 사용하는 시편의 높이의 정보를 검출하는 방법 | |
KR100679643B1 (ko) | 자동초점 조절패턴을 채택하는 자동초점 조절장치 및그것을 사용한 자동초점 조절방법 | |
US20190285401A1 (en) | Determining the arrangement of a sample object by means of angle-selective illumination | |
JP2016206652A (ja) | 試料の3次元構造の撮像方法及び顕微鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200303 |