JP6253395B2 - 画像生成システム - Google Patents

Description

本発明は、画像生成システムに関し、特に、光学系の解像限界を超える解像度の標本画像を生成する画像生成システムに関する。

近年、照明光を空間的に変調して標本に照射することにより光学系の解像限界を超える解像度（以降、超解像）の標本画像を得る技術が開発され、実用化されている。そのような超解像技術は、例えば、特許文献１で開示されている。

また、超解像成分を含む標本のデジタル画像をフィルタ処理し超解像成分を強調することで、超解像成分が良好に視認し得る超解像画像を生成する技術も知られている。このような技術は、例えば、特許文献２及び特許文献３に開示されている。

国際公開２００７／０４３３８２号パンフレット 特開２０１２−０７８４０８号公報 特開２０１３−０２００８３号公報

ところで、標本上に形成される照明光のスポット形状は、照明光の偏光状態によって変化する。例えば、図１に示すように、直線偏光である照明光を高いＮＡ（Numerical Aperture）を有する対物レンズで集光する場合、照明光束中の偏光方向の分布が照明光の光軸に対して対称ではないため、標本上に形成される照明光のスポット形状が楕円形状となり、光軸に対して非対称となる。この場合、図２に示すように、光学系の点像分布関数（ＰＳＦ：Point Spread Function）も楕円形状であり光軸に対して非対称であるため、光学系が有する分解能は光軸と直交するＸ方向とＹ方向で異なることになる。

光学系が有する分解能がＸ方向とＹ方向で異なると、その光学系を備える装置で生成される画像の解像度（分解能ともいう）もＸ方向とＹ方向で異なることになり、望ましくない。ただし、従来の装置では、分解能の方向依存性はごくわずかであることから、画像の解像度の方向依存性もわずかであり、その影響が顕在化するには至っていないのが通常である。

しかしながら、例えば、特許文献２及び特許文献３に開示されるように、超解像成分を含む画像を生成し、さらに、その画像の超解像成分をフィルタ処理によって強調すると、分解能の方向依存性が強調されて画像へ影響を及ぼすことになる。このため、このような場合には、画像の解像度の方向依存性が顕在化する可能性がある。

以上のような実情を踏まえ、本発明は、方向に依存しない解像度を有する、超解像成分が強調された超解像画像を生成する技術を提供することを目的とする。

本発明の第１の態様は、標本からの光を検出する光検出器と、対物レンズを含み、前記対物レンズのカットオフ周波数を越える周波数成分である超解像成分を含む前記標本からの光を前記光検出器に伝達する超解像成分伝達手段と、前記光検出器からの出力信号に基づいて生成される前記標本の画像の前記超解像成分を強調する画像処理手段と、を含み、前記超解像成分伝達手段は、前記標本に照射する照明光の光路中に配置され、前記照明光の光束中の偏光方向の分布が前記照明光の光軸に対して対称となるように、前記照明光の偏光状態を変換する偏光変換手段を含む画像生成システムを提供する。

本発明の第２の態様は、第１の態様に記載の画像生成システムにおいて、前記偏光変換手段は、前記照明光を円偏光に変換する画像生成システムを提供する。

本発明の第３の態様は、第１の態様に記載の画像生成システムにおいて、前記偏光変換手段は、前記照明光をラジアル偏光に変換する画像生成システムを提供する。

本発明の第４の態様は、第１の態様乃至第３の態様のいずれか１つに記載の画像生成システムにおいて、前記超解像成分伝達手段は、前記照明光を出射する光源と、前記照明光の光路と前記標本からの光の光路とを分岐する光路分岐手段と、を含み、前記偏光変換手段は、前記光源と前記光路分岐手段との間に配置される画像生成システムを提供する。

本発明の第５の態様は、第１の態様乃至第３の態様のいずれか１つに記載の画像生成システムにおいて、前記超解像成分伝達手段は、前記照明光の光路と前記標本からの光の光路とを分岐する光路分岐手段と、を含み、前記偏光変換手段は、前記対物レンズと前記光路分岐手段との間に配置される画像生成システムを提供する。

本発明の第６の態様は、第１の態様乃至第５の態様のいずれか１つに記載の画像生成システムにおいて、前記偏光変換手段は、１／４波長板である画像生成システムを提供する。

本発明の第７の態様は、第１の態様乃至第６の態様のいずれか１つに記載の画像生成システムにおいて、前記偏光変換手段は、光学軸の方向を互いに異ならせて配置された複数の１／２波長板である画像生成システムを提供する。

本発明の第８の態様は、第１の態様乃至第７の態様のいずれか１つに記載の画像生成システムにおいて、前記偏光変換手段は、前記照明光の光路に対して挿脱自在に配置される画像生成システムを提供する。

本発明の第９の態様は、第１の態様乃至第８の態様のいずれか１つに記載の画像生成システムにおいて、前記超解像成分伝達手段は、前記標本上における前記照明光の強度分布を変調する変調手段を含む画像生成システムを提供する。

本発明の第１０の態様は、第９の態様に記載の画像生成システムにおいて、前記変調手段は、前記対物レンズの瞳位置または瞳共役位置に配置された、前記標本を走査する走査手段である画像生成システムを提供する。

本発明の第１１の態様は、第９の態様に記載の画像生成システムにおいて、前記変調手段は、前記対物レンズの焦点面と共役な位置に配置された、前記標本を走査する走査手段である画像生成システムを提供する。

本発明の第１２の態様は、第１の態様乃至第１１の態様のいずれか１つに記載の画像生成システムにおいて、前記超解像成分伝達手段は、前記対物レンズの焦点面と共役な位置に開口が形成された共焦点絞りを含む共焦点顕微鏡である画像生成システムを提供する。

本発明の第１３の態様は、第１の態様乃至第１１の態様のいずれか１つに記載の画像生成システムにおいて、前記超解像成分伝達手段は、非線形光学顕微鏡である画像生成システムを提供する。

本発明によれば、方向に依存しない解像度を有する、超解像成分が強調された超解像画像を生成する技術を提供することができる。

直線偏光である照明光を高いＮＡを有する対物レンズで集光する様子を示した図である。 図１に示す条件で算出される光学系のＰＳＦを示した図である。 実施例１に係る蛍光顕微鏡システムの構成を例示した図である。 図３に例示される蛍光顕微鏡システムに含まれる回転ディスクの構成を例示した図である。 実施例２に係る蛍光顕微鏡システムの構成を例示した図である。 実施例２に係る蛍光顕微鏡システムで走査画像取得前に実行される事前処理を例示した図である。 実施例３に係る蛍光顕微鏡システムの構成を例示した図である。 実施例４に係る蛍光顕微鏡システムの構成を例示した図である。

図３は、本実施例に係る蛍光顕微鏡システムの構成を例示した図である。図４は、図３に例示される蛍光顕微鏡システムに含まれる回転ディスクの構成を例示した図である。

図３に例示される蛍光顕微鏡システム１００は、標本の超解像画像を生成する画像生成システムである。蛍光顕微鏡システム１００は、標本Ｓの光学像をＣＣＤカメラ２０に形成する蛍光顕微鏡本体１０と、標本Ｓからの光を検出する光検出器であるＣＣＤカメラ２０と、ＣＣＤカメラ２０からの出力信号に基づいて生成される標本Ｓの画像に対して画像処理を行う計算機３０及び画像処理ボード４０と、標本Ｓの画像を記録する記録媒体５０と、標本Ｓの画像を表示するモニタ６０とを備えている。

蛍光顕微鏡本体１０は、照明光であるレーザ光を出射する、レーザ１及びシングルモード光ファイバー２を含むファイバー光源と、ファイバー光源から出射したレーザ光のビーム径を変更するビームエキスパンダ３を備えている。蛍光顕微鏡本体１０は、さらに、レーザ光が透過しレーザ光が照射された標本Ｓからの蛍光が反射するダイクロイックミラーＤＭと、ダイクロイックミラーＤＭを挟んで配置されたマイクロレンズアレイ４及び回転ディスク５と、マイクロレンズアレイ４及び回転ディスク５を回転させるモータ６を備えている。

ダイクロイックミラーＤＭは、レーザ光の光路と標本からの蛍光の光路とを分岐する光路分岐手段である。マイクロレンズアレイ４はダイクロイックミラーＤＭのレーザ１側に、回転ディスク５はダイクロイックミラーＤＭの標本Ｓ側に配置される。回転ディスク５は、光を透過する領域が周期的に形成された周期的な変調パターンを有し、標本Ｓ上におけるレーザ光の強度分布を変調する変調手段であり、また、回転することで標本Ｓを走査する、対物レンズＯＢの焦点面と共役な位置に配置された走査手段でもある。

蛍光顕微鏡本体１０は、ダイクロイックミラーＤＭと標本Ｓの間の照明光路中に、標本Ｓの中間像を回転ディスク５上に形成する結像光学系７を含んでいる。結像光学系７は、対物レンズＯＢと結像レンズＴＬとからなる。また、蛍光顕微鏡本体１０は、ダイクロイックミラーＤＭとＣＣＤカメラ２０の間の検出光路中に、レーザ光を遮断するバリアフィルタ８と、回転ディスク５上に形成された中間像をＣＣＤカメラ２０に投影する撮像レンズ９を含んでいる。さらに、蛍光顕微鏡本体１０は、対物レンズＯＢとダイクロイックミラーＤＭの間の照明光路中に配置され、直線偏光であるレーザ光を円偏光に変換する１／４波長板７０を含んでいる。

図４に例示されるように、回転ディスク５は、光を遮蔽する遮光部５ａと光を透過させる領域である複数の開口部５ｂを含んでいる。複数の開口部５ｂは、それぞれ開口直径ｗのピンホール形状を有し、縦横共に開口周期ｐで整列している。回転ディスク５は、ピンホール状の開口部５ｂを有する、いわゆるニポーディスクである。マイクロレンズアレイ４は、マイクロレンズアレイ４の各レンズの焦点位置が回転ディスク５に形成されたピンホール形状の開口部５ｂに一致するように、配置されている。マイクロレンズアレイ４及び回転ディスク５は、モータ６によって回転する。モータ６は、マイクロレンズアレイ４と回転ディスク５の相対的な位置関係が変化しないように、これらを回転させる。これにより、レーザ１から出射したレーザ光の多くが開口部５ｂを通過するため、レーザ光を効率よく標本Ｓに照射することができる。

蛍光顕微鏡本体１０では、回転ディスク５が回転して標本Ｓの中間像位置でレーザ光の空間強度分布と蛍光の空間強度分布を変調することで、以下のような現象が生じる。

まず、回転ディスク５が標本Ｓに照射されるレーザ光の空間強度分布を変調することによって、標本Ｓで生じる蛍光の周波数成分のうち対物レンズＯＢのカットオフ周波数ｆｃを上回る高周波成分の一部がカットオフ周波数ｆｃ以下の周波数にシフトして、結像光学系３により中間像位置に伝達される。さらに、回転ディスク５が標本Ｓからの蛍光（中間像）の空間強度分布を復調することにより、カットオフ周波数ｆｃ以下の周波数にシフトした成分が元の高周波成分に復元されて、その後、撮像レンズ９によりＣＣＤカメラ２０の撮像面に伝達される。

即ち、蛍光顕微鏡システム１００では、蛍光顕微鏡本体１０は、対物レンズＯＢのカットオフ周波数ｆｃを越える周波数成分（超解像成分）を含む蛍光をＣＣＤカメラ２０に伝達する超解像成分伝達手段として機能するとともに、一般的な超解像技術である構造化照明法（ＳＩＭ）では画像処理によって行われる復調処理も自動的に行う。

さらに、蛍光顕微鏡本体１０では、対物レンズＯＢとダイクロイックミラーＤＭの間に１／４波長板７０が設けられていることにより、レーザ光が直線偏光ではなく円偏光として対物レンズＯＢに入射する。円偏光は、レーザ光（照明光）の光束中の偏光方向の分布がレーザ光の光軸（対物レンズの光軸）に対して対称であるので、標本Ｓ上に形成されるレーザ光のスポットの形状も光軸に対して対称となり、光学系のＰＳＦも光軸に対して対称となる。

ＣＣＤカメラ２０は、蛍光顕微鏡本体１０によって伝達された超解像成分を含む蛍光を受光し、超解像成分を含む標本Ｓの画像信号を計算機３０に出力する。上述したように、蛍光顕微鏡本体１０では、標本Ｓに形成されるレーザ光のスポット形状が光軸に対して対称であるので、計算機３０に出力される画像信号は方向に依存しない分解能を有している。計算機３０及び画像処理ボード４０は、ＣＣＤカメラ２０から出力信号（画像信号）に基づいて生成される標本Ｓの画像（以降、原画像と記す。）を生成する画像生成手段であり、且つ、原画像の超解像成分を強調する画像処理手段である。一般に、対物レンズＯＢのカットオフ周波数を越える超解像成分は微弱であり、弱いコントラストでしか伝達することができない。蛍光顕微鏡システム１００では、計算機３０及び画像処理ボード４０が超解像成分をそれ以下の周波数成分に比べて相対的に強調することで、超解像成分が良好に可視化された超解像画像を得ることができる。超解像成分を強調する処理は、例えば、デジタルフィルタ処理である。計算機３０及び画像処理ボード４０で処理された標本Ｓの超解像画像は、必要に応じて、記録媒体５０に記録され、モニタ６０に表示される。

以上のように、本実施例に係る蛍光顕微鏡システム１００によれば、方向に依存しない解像度を有する、超解像成分が強調された超解像画像を生成することができる。

一般的な構造化照明法（ＳＩＭ）を用いて超解像画像を生成する場合には、変調パターンの基準となる方向を変えて複数枚の原画像の取得が行われる。これに対して、蛍光顕微鏡システム１００では、複数枚の原画像を取得する必要がなく、原画像を一枚取得すれば足りる。さらに、一般的な構造化照明法（ＳＩＭ）では画像処理によって行われる復調処理も、蛍光顕微鏡システム１００では、蛍光顕微鏡本体１０によって光学的に行われる。このため、蛍光顕微鏡システム１００によれば、一般的な構造化照明法（ＳＩＭ）に比べて、超解像画像を高速に生成することができる。

また、計算機３０及び画像処理ボード４０で行われる超解像成分を強調するフィルタ処理は、ＰＳＦが光軸に対して対称であることを前提に設計されたフィルタによって行われるのが通常である。蛍光顕微鏡システム１００では、１／４波長板７０によって円偏光に変換されたレーザ光が対物レンズＯＢに入射し、光学系のＰＳＦが光軸に対して対称となっている。このため、蛍光顕微鏡システム１００によれば、フィルタ処理によって従来よりも超解像成分を最適に強調することができる。

なお、蛍光顕微鏡システム１００では、レーザ光の光束中の偏光方向の分布がレーザ光の光軸に対して対称となるようにレーザ光の偏光状態を変換する偏光変換手段を備えていれば良い。従って、偏光変換手段は、直線偏光を円偏光に変換する１／４波長板７０に限られず、直線偏光をラジアル偏光に変換する手段であってもよい。なお、ここで、光軸に対して対称とは、２回を上回る回転対称のことをいう。即ち、直線偏光や楕円偏光のような２回対称は含まない。特に４回や８回などの４の倍数の回転対称であることがより好ましい。ラジアル偏光に変換する手段は、例えば、光学軸の方向を互いに異ならせて配置された複数の波長板（１／２波長板）であってもよい。レーザ光の光束中の光軸に対して対称な領域が光学軸の方向が異なる波長板に入射することで、それぞれの領域の偏光方向が異なる角度だけ回転し、それによって、レーザ光の偏光状態が光軸に対して対称な偏光方向の分布を有する状態に変換されてもよい。また、偏光変換手段は偏光方向を変更することができればよいため、波長板の代わりに液晶素子であってもよい。

また、蛍光顕微鏡システム１００では、偏光変換手段である１／４波長板７０がダイクロイックミラーＤＭと対物レンズＯＢとの間に配置されているが、偏光変換手段は、照明光（レーザ光）を照明光の光束中の偏光方向の分布が照明光の光軸に対して対称な状態で対物レンズＯＢに入射させる限り、任意の位置に配置することができる。従って、レーザ光と蛍光の両方に作用するダイクロイックミラーＤＭと対物レンズＯＢの間の光路中ではなく、レーザ光のみに作用するレーザ１とダイクロイックミラーＤＭの間の光路中に配置されても良い。また、ダイクロイックミラーＤＭを含む蛍光キューブ内に配置されていても良い。

偏光変換手段をダイクロイックミラーＤＭと対物レンズＯＢとの間に配置した場合には、ダイクロイックミラーＤＭに入射するレーザ光は所定の偏光方向を有する直線偏光である。このため、ダイクロイックミラーＤＭは、その所定の偏光方向を有する直線偏光に合せて設計されていればよく、ダイクロイックミラーＤＭの性能を発揮させやすいといったメリットがある。一方、偏光変換手段をレーザ１とダイクロイックミラーＤＭの間に配置した場合には、偏光変換手段が蛍光に作用しない。このため、偏光変換手段を透過することによる蛍光の検出効率の低下を防止することができる。

また、図３及び図４では、マイクロレンズアレイ４とニポーディスクの組み合わせが例示されているが、例えば、回転ディスク５（ニポーディスク）の代わりに、ラインアンドスペース構造を有する回転ディスクが用いられても良い。この場合、マイクロレンズアレイ４の代わりに、回転ディスクに形成されたライン状の開口部に焦点位置が一致するように配置されたシリンドリカルレンズを含むことが望ましい。標本Ｓ上におけるレーザ光の強度分布を変調する変調手段は、光を透過する領域が周期的に形成された周期的な変調パターンを有していればよい。

図５は、本実施例に係る蛍光顕微鏡システムの構成を例示した図である。図５に例示される蛍光顕微鏡システム１０１は、実施例１に係る蛍光顕微鏡システム１００と同様に、標本の超解像画像を生成する画像生成システムである。

蛍光顕微鏡システム１０１は、レーザ走査型顕微鏡（以降、ＬＳＭと記す）の一種である共焦点顕微鏡である蛍光顕微鏡本体１１０と、標本Ｓからの光を検出する光検出器である光電子増倍管（以降、ＰＭＴと記す）１２０と、ＰＭＴ１２０からの出力信号に基づいて生成される標本Ｓの画像に対して画像処理を行うＰＣ１３０と、標本Ｓの画像を記録する記憶装置１４０と、標本Ｓの画像を表示するモニタ１５０とを備えている。

蛍光顕微鏡本体１１０は、レーザ光Ｌ１を出射するレーザ１１１と、照明光路中に配置され、直線偏光であるレーザ光を円偏光に変換する１／４波長板１６０と、レーザ光Ｌ１が透過し標本Ｓからの蛍光Ｌ２が反射するダイクロイックミラーＤＭと、標本Ｓを走査するガルバノミラー１１２と、変調制御信号に基づいてガルバノミラー１１２を駆動するガルバノミラー駆動装置１１３と、対物レンズＯＢの瞳をガルバノミラー１１２にリレーするリレー光学系ＲＬと、レーザ光Ｌ１を標本Ｓに集光させる対物レンズＯＢと、を備えている。ガルバノミラー１１２は、対物レンズＯＢの瞳共役位置に配置されている。

１／４波長板１６０は、標本Ｓに照射する照明光であるレーザ光Ｌ１の光路中に配置され、レーザ光Ｌ１の光束中の偏光方向の分布がレーザ光Ｌ１の光軸（対物レンズＯＢの光軸）に対して対称となるように、レーザ光Ｌ１の偏光状態を変換する偏光変換手段である。ダイクロイックミラーＤＭは、レーザ光Ｌ１の光路と標本Ｓからの蛍光Ｌ２の光路とを分岐する光路分岐手段である。レーザ光Ｌ１の集光位置は、ＰＣ１３０からの変調制御信号に基づいて、ガルバノミラー駆動装置１１３がガルバノミラー１１２を駆動することにより、光軸と直交するＸＹ平面上で移動する。即ち、ガルバノミラー１１２は、集光位置を変化させることによって標本Ｓ上におけるレーザ光Ｌ１の強度分布を変調する変調手段であり、標本Ｓを走査する走査手段でもある。

蛍光顕微鏡本体１１０は、さらに、ダイクロイックミラーＤＭの反射光路上（つまり、ダイクロイックミラーＤＭとＰＭＴ１２０との間の検出光路上）に、結像レンズＴＬと、共焦点絞り１１４と、レンズ１１５と、を備えている。共焦点絞り１１４には、対物レンズＯＢによるレーザ光Ｌ１の集光位置（つまり、対物レンズＯＢの焦点位置）と光学的に共役な位置にピンホール（開口）が形成されている。

蛍光顕微鏡本体１１０では、レーザ１１１から出射されたレーザ光Ｌ１は、１／４波長板１６０で円偏光に変換された後、ダイクロイックミラーＤＭを透過して、ガルバノミラー１１２及びリレー光学系ＲＬを介して対物レンズＯＢに入射する。そして、対物レンズＯＢが円偏光であるレーザ光Ｌ１を標本Ｓ上に集光することで、レーザ光Ｌ１が標本Ｓに照射される。このとき、レーザ光のスポット形状は対物レンズＯＢの光軸に対して対称な形状である。レーザ光Ｌ１が照射された標本Ｓでは、集光位置に存在する蛍光物質が励起されて、レーザ光Ｌ１の照射強度に線形に依存する光量の蛍光Ｌ２を発光する。蛍光Ｌ２は、レーザ光Ｌ１と同じ経路を反対方向に進行して、ダイクロイックミラーＤＭに入射する。ダイクロイックミラーＤＭを反射した蛍光Ｌ２は、結像レンズＴＬにより集光されて共焦点絞り１１４に入射する。共焦点絞り１１４では、集光位置以外から生じた蛍光は遮断され、集光位置から生じた蛍光Ｌ２が開口を通過する。その後、蛍光Ｌ２は、レンズ１１５を介してＰＭＴ１２０に入射して検出される。

共焦点顕微鏡は、所定の条件下では、共焦点効果により対物レンズのカットオフ周波数を越える超解像成分を検出することができる。本実施例に係る蛍光顕微鏡システム１０１は、この現象を利用して超解像画像を生成するものであり、共焦点顕微鏡である蛍光顕微鏡本体１１０は、対物レンズＯＢのカットオフ周波数を越える周波数成分である超解像成分を含む標本からの光をＰＭＴ１２０に伝達する超解像成分伝達手段である。

ＰＭＴ１２０は、蛍光顕微鏡本体１１０によって伝達された超解像成分を含む蛍光Ｌ２の光量に応じた検出信号を生成して、ＰＣ１３０へ出力する。ＰＣ１３０は、ＰＣ１３０がガルバノミラー駆動装置１１３に出力する変調制御信号とＰＭＴ１２０からの検出信号とから標本Ｓの走査画像を生成する。なお、上述したように、蛍光顕微鏡本体１１０では、標本Ｓに形成されるレーザ光のスポット形状が光軸に対して対称であるので、ＰＣ１３０で生成される標本Ｓの走査画像は、方向に依存しない分解能を有している。ＰＣ１３０は、さらに、標本Ｓの走査画像の超解像成分をそれ以下の周波数成分に比べて相対的に強調することで、超解像成分が良好に可視化された超解像画像を生成する。即ち、ＰＣ１３０は、ＰＭＴ１２０から出力信号に基づいて生成される標本Ｓの走査画像を生成する画像生成手段であり、且つ、走査画像の超解像成分を強調する画像処理手段である。ＰＣ１３０で実行される超解像成分を強調する処理は、例えば、デジタルフィルタ処理である。ＰＣ１３０で処理された標本Ｓの超解像画像は、必要に応じて、記憶装置１４０に記録され、モニタ１５０に表示される。

図６は、蛍光顕微鏡システム１０１で走査画像取得前に実行される前処理を例示した図である。蛍光顕微鏡システム１０１は、超解像画像を生成するために、図６に示す前処理を実行する。以下、図６を参照しながら、前処理について説明する。

まず、ステップＳ１では、観察に使用するレーザ光の波長λ、対物レンズＯＢの開口数ＮＡから、対物レンズＯＢのカットオフ周波数ｆｃを算出して設定する。対物レンズＯＢのカットオフ周波数ｆｃは、ｆｃ＝（２×ＮＡ）／λの式により算出される。

次に、ステップＳ２では、走査画像のナイキスト周波数ｆｎを設定する。走査画像のナイキスト周波数ｆｎは、超解像成分を記録するために、ステップＳ１で算出した対物レンズのカットオフ周波数ｆｃよりも大きな値を設定する。走査画像のナイキスト周波数ｆｎは、超解像成分を適切に検出するためには高い値に設定することが望ましい。一方で、走査画像のナイキスト周波数ｆｎがあまりに高くなりすぎると検出光量の低下やノイズ増加などの要因となる。従って、走査画像のナイキスト周波数ｆｎは、例えば、カットオフ周波数ｆｃの約１．５倍以上であり約４倍以下に設定することが望ましい。

ステップＳ３では、ステップＳ２で設定されたナイキスト周波数ｆｎに基づいて、標本Ｓのサンプリング間隔ｄｓを算出して設定する。サンプリング間隔ｄｓは、ナイキスト周波数ｆｎがサンプリング周波数の１／２となるように、ｄｓ＝０．５／ｆｎの式によって算出される。なお、走査画像取得時の標本Ｓの走査は、ステップＳ３で設定されたサンプリング間隔ｄｓが実現されるようにＰＣ１３０で変調制御信号が生成され、ガルバノミラー駆動装置１１３に出力されることにより行われる。

ステップＳ４では、標本Ｓにおける蛍光のエアリーディスク径ｄａ、結像レンズＴＬ及びリレー光学系ＲＬと組み合わせたときの対物レンズＯＢの倍率Ｍｏｂ、及び、調整係数αから、共焦点絞り１１４のピンホール径ｄｐを算出して設定する。エアリーディスク径ｄａは、蛍光波長をλｅｍとするとき、ｄａ＝（１．２２×λｅｍ）／ＮＡの式により算出される。そして、ピンホール径ｄｐは、ｄｐ＝α×ｄａ×Ｍｏｂの式により算出される。調整係数αを１未満の値にすることにより、ピンホール径を共焦点絞り１１４における蛍光のエアリーディスク径（ｄａ×Ｍｏｂ）よりも小さくすることができる。このため、調整係数αは１未満にすることが望ましい。ただし、調整係数αを小さくしすぎると検出光量が低下し、調整係数αを大きすぎると超解像成分が少なくなることを勘案して、調整係数αを設定する。調整係数αは、例えば、０．５である。

最後に、ステップＳ５で、カットオフ周波数ｆｃを越える超解像成分を強調するフィルタ処理のためのデジタルフィルタを設定し、前処理を終了する。このときに設定されるデジタルフィルタは、ＰＳＦが光軸に対して対称であることを前提に設計されたものである。

このような前処理を実行することで、共焦点絞り１１４のピンホール径がエアリーディスク径に対して小さく設定され、且つ、走査画像取得時に、走査画像のナイキスト周波数が対物レンズのカットオフ周波数よりも大きくなるような変調制御信号がガルバノミラー駆動装置１１３に出力される。このため、蛍光顕微鏡システム１０１では、蛍光顕微鏡本体１１０によって超解像成分を含む蛍光がＰＭＴ１２０に伝達され、ＰＭＴ１２０からの出力信号及びＰＣ１３０が生成する変調制御信号に基づいて、超解像成分を含む走査画像が生成される。さらに、ＰＣ１３０により走査画像の超解像成分がフィルタ処理によって強調されることで、超解像成分が可視化される。

以上のように、本実施例に係る蛍光顕微鏡システム１０１によっても、実施例１に係る蛍光顕微鏡システム１００と同様に、方向に依存しない解像度を有する、超解像成分が強調された超解像画像を生成することができる。また、光学系のＰＳＦが光軸に対して対称であるので、フィルタ処理によって従来よりも超解像成分を最適に強調することができる点も、蛍光顕微鏡システム１００と同様である。

超解像成分を強調するフィルタ処理は、光学系のＰＳＦに応じてフィルタを設計することで最適化される。従って、光軸に対して非対称なＰＳＦに対してフィルタ処理を最適化する場合には、画像の向き毎にフィルタを設計する必要がある。これは、例えば、ガルバノミラー１１２によるラスタースキャンの向きを変えるなどして画像を回転させると、画像に対して相対的にＰＳＦが回転し，異なるＰＳＦとなってしまうからである。これに対して、蛍光顕微鏡システム１０１では、１／４波長板１６０によって円偏光に変換されたレーザ光が対物レンズＯＢに入射するため、標本Ｓ上に形成されるレーザ光のスポットの形状も光軸に対して対称となり、光学系のＰＳＦも光軸に対して対称となる。このため、画像の向き毎にフィルタを設計する必要がなく、画像の向きによらず単一のフィルタで最適化されたフィルタ処理を実行することができる。

なお、蛍光顕微鏡システム１０１でも、レーザ光の光束中の偏光方向の分布がレーザ光の光軸に対して対称となるようにレーザ光の偏光状態を変換する偏光変換手段を備えていれば良い点、偏光変換手段は波長板に限られない点、偏光変換手段はレーザ光にのみ作用する位置に配置されても、レーザ光と蛍光の両方に作用する位置に配置されても良い点は、実施例１に係る蛍光顕微鏡システム１００と同様である。

図７は、本実施例に係る蛍光顕微鏡システムの構成を例示した図である。図７に例示される蛍光顕微鏡システム１０２は、実施例１に係る蛍光顕微鏡システム１００と同様に、標本の超解像画像を生成する画像生成システムである。

蛍光顕微鏡システム１０２は、非線形光学顕微鏡の一種である２光子励起顕微鏡である蛍光顕微鏡本体２１０と、標本Ｓからの光を検出する光検出器であるＰＭＴ２２０と、ＰＭＴ２２０からの出力信号に基づいて生成される標本Ｓの画像に対して画像処理を行うＰＣ２３０と、標本Ｓの画像を記録する記憶装置２４０と、標本Ｓの画像を表示するモニタ２５０とを備えている。

蛍光顕微鏡本体２１０は、超短パルスレーザ光であるレーザ光Ｌ３を出射する超短パルスレーザ２１１と、照明光路中に配置され、直線偏光であるレーザ光Ｌ３を円偏光に変換する１／４波長板２６０と、レーザ光Ｌ３が透過し標本Ｓからの蛍光Ｌ４が反射するダイクロイックミラーＤＭと、標本Ｓを走査するガルバノミラー２１２と、変調制御信号に基づいてガルバノミラー２１２を駆動するガルバノミラー駆動装置２１３と、レーザ光Ｌ３を標本Ｓに集光させる対物レンズＯＢと、対物レンズＯＢの瞳をガルバノミラー２１２にリレーするリレー光学系ＲＬと、を備えている。ガルバノミラー２１２は、対物レンズＯＢの瞳共役位置に配置されている。

１／４波長板２６０は、標本Ｓに照射する照明光であるレーザ光Ｌ３の光路中に配置され、レーザ光Ｌ３の光束中の偏光方向の分布がレーザ光Ｌ３の光軸（対物レンズＯＢの光軸）に対して対称となるように、レーザ光Ｌ３の偏光状態を変換する偏光変換手段である。ダイクロイックミラーＤＭは、レーザ光Ｌ３の光路と標本Ｓからの蛍光Ｌ４の光路とを分岐する光路分岐手段である。レーザ光Ｌ３の集光位置は、ＰＣ２３０からの変調制御信号に基づいて、ガルバノミラー駆動装置２１３がガルバノミラー２１２を駆動することにより、光軸と直交するＸＹ平面上で移動する。即ち、ガルバノミラー２１２は、集光位置を変化させることによって標本Ｓ上におけるレーザ光Ｌ３の強度分布を変調する変調手段であり、標本Ｓを走査する走査手段でもある。

蛍光顕微鏡本体２１０は、図５に示す蛍光顕微鏡本体１１０と異なり、２光子励起により共焦点効果を生じさせることができる。このため、蛍光Ｌ４（２光子蛍光）をＰＭＴ２２０へ導く構成が蛍光顕微鏡本体１１０と異なっているが、２光子励起顕微鏡である蛍光顕微鏡本体２１０も、蛍光顕微鏡本体１１０と同様に、共焦点効果により対物レンズのカットオフ周波数を越える超解像成分を検出することができる。本実施例に係る蛍光顕微鏡システム１０２は、この現象を利用して超解像画像を生成するものであり、蛍光顕微鏡本体２１０は、対物レンズＯＢのカットオフ周波数を越える周波数成分である超解像成分を含む標本からの光をＰＭＴ２２０に伝達する超解像成分伝達手段である。

ＰＭＴ２２０は、蛍光顕微鏡本体２１０によって伝達された超解像成分を含む蛍光Ｌ４の光量に応じた検出信号を生成して、ＰＣ２３０へ出力する。ＰＣ２３０は、ＰＣ２３０がガルバノミラー駆動装置２１３に出力する変調制御信号とＰＭＴ２２０からの検出信号とから標本Ｓの走査画像を生成する。なお、蛍光顕微鏡本体２１０では、標本Ｓに形成されるレーザ光のスポット形状が光軸に対して対称であるので、ＰＣ２３０で生成される標本Ｓの走査画像は、方向に依存しない分解能を有している。ＰＣ２３０は、さらに、標本Ｓの走査画像の超解像成分をそれ以下の周波数成分に比べて相対的に強調することで、超解像成分が良好に可視化された超解像画像を生成する。即ち、ＰＣ２３０は、ＰＭＴ２２０から出力信号に基づいて生成される標本Ｓの走査画像を生成する画像生成手段であり、且つ、走査画像の超解像成分を強調する画像処理手段である。ＰＣ２３０で実行される超解像成分を強調する処理は、例えば、デジタルフィルタ処理である。ＰＣ２３０で処理された標本Ｓの超解像画像は、必要に応じて、記憶装置２４０に記録され、モニタ２５０に表示される。

蛍光顕微鏡システム１０２でも、実施例２に係る蛍光顕微鏡システム１０１と同様に、走査画像取得前に、超解像画像を生成するために前処理を実行する。蛍光顕微鏡システム１０２で実行される前処理は、ステップＳ４が省略される点を除き、図６に示す前処理と同様である。前処理を実行することで、走査画像取得時に、走査画像のナイキスト周波数が対物レンズのカットオフ周波数よりも大きくなるような変調制御信号がガルバノミラー駆動装置２１３に出力される。このため、蛍光顕微鏡システム１０２では、蛍光顕微鏡本体２１０によって超解像成分を含む蛍光がＰＭＴ２２０に伝達され、ＰＭＴ２２０からの出力信号及びＰＣ２３０が生成する変調制御信号に基づいて超解像成分を含む走査画像が生成される。さらに、ＰＣ２３０により走査画像の超解像成分がフィルタ処理によって強調されることで、超解像成分が可視化される。

以上のように、本実施例に係る蛍光顕微鏡システム１０２によっても、実施例１及び実施例２に係る蛍光顕微鏡システムと同様に、方向に依存しない解像度を有する、超解像成分が強調された超解像画像を生成することができる。また、光学系のＰＳＦが光軸に対して対称であるので、フィルタ処理によって従来よりも超解像成分を最適に強調することができる点も、実施例１及び実施例２に係る蛍光顕微鏡システムと同様である。

なお、蛍光顕微鏡システム１０２でも、レーザ光の光束中の偏光方向の分布がレーザ光の光軸に対して対称となるようにレーザ光の偏光状態を変換する偏光変換手段を備えていれば良い点、偏光変換手段は波長板に限られない点、偏光変換手段はレーザ光にのみ作用する位置に配置されても、レーザ光と蛍光の両方に作用する位置に配置されても良い点は、実施例１に係る蛍光顕微鏡システム１００及び実施例２に係る蛍光顕微鏡システム１０１と同様である。また、光学系のＰＳＦが光軸に対して対称であるため、画像の向き毎にフィルタを設計する必要がなく、画像の向きによらず単一のフィルタで最適化されたフィルタ処理を実行することができる点は、実施例２に係る蛍光顕微鏡システム１０１と同様である。

図８は、本実施例に係る顕微鏡システムの構成を例示した図である。図８に例示される顕微鏡システム１０３は、実施例１に係る蛍光顕微鏡システム１００と同様に、標本の超解像画像を生成する画像生成システムである。

顕微鏡システム１０３は、蛍光顕微鏡の構成と微分干渉顕微鏡の構成を備える顕微鏡本体３１０と、標本Ｓからの蛍光を検出する光検出器であるＰＭＴ３２０と、標本Ｓを透過した透過光を検出する光検出器であるＰＭＴ３３０と、ＰＭＴ３２０またはＰＭＴ３３０からの出力信号に基づいて生成される標本Ｓの画像に対して画像処理を行うＰＣ３４０と、標本Ｓの画像を記録する記憶装置３５０と、標本Ｓの画像を表示するモニタ３６０とを備えている。

顕微鏡本体３１０は、主に、微分干渉画像を取得するための光学素子が追加されている点、偏光変換手段である１／４波長板３７０が標本Ｓに照射する照明光（レーザ光）の光路に対して挿脱自在に配置されている点が、実施例２に係る蛍光顕微鏡システム１０１の蛍光顕微鏡本体１１０と異なっている。以下では、蛍光顕微鏡本体１１０との相違点を中心に、顕微鏡本体３１０について説明する。

顕微鏡本体３１０は、微分干渉画像を取得するための光学素子として、照明光路上の微分干渉素子であるＤＩＣプリズムＰ１と、検出光路上の微分干渉素子であるＤＩＣプリズムＰ２と、アナライザ（検光子）として機能する偏光素子である偏光板３１９を備えている。ＤＩＣプリズムＰ２は光路中に固定されているのに対して、ＤＩＣプリズムＰ１は蛍光観察時に光路中から取り除くことができるように光路に対して挿脱自在に配置されている。また、偏光板３１９は、レーザ光の偏光方向とクロスニコル状態となるような向きに配置されている。

顕微鏡本体３１０は、対物レンズＯＢの瞳共役位置にガルバノミラー３１２を備えている。ガルバノミラー３１２と対物レンズＯＢの間には、対物レンズＯＢの瞳をガルバノミラー３１２に投影する瞳リレー光学系である結像レンズＴＬ及び瞳投影レンズ３１４が設けられている。

以上のように構成された顕微鏡システム１０３では、蛍光画像を取得する場合には、まず、１／４波長板３７０をレーザ３１１とダイクロイックミラーＤＭの間の照明光路に挿入し、且つ、ＤＩＣプリズムＰ１を照明光路から取り除く。さらに、実施例２で上述した図６に示す前処理を実行して、その後、標本Ｓを走査することで、実施例１から実施例３に係る蛍光顕微鏡システムと同様に、方向に依存しない解像度を有する、超解像成分が強調された超解像画像を生成することができる。また、光学系のＰＳＦが光軸に対して対称であるので、フィルタ処理によって従来よりも超解像成分を最適に強調することができる点も、実施例１から実施例３に係る蛍光顕微鏡システムと同様である。

また、顕微鏡システム１０３では、微分干渉画像を取得する場合には、まず、直線偏光をＤＩＣプリズムＰ１に入射させるために、１／４波長板３７０を照明光路から取り除き、且つ、ＤＩＣプリズムＰ１を照明光路から挿入する。その後、標本Ｓを走査することで、顕微鏡システム１０３は、ＰＭＴ３３０から出力信号とガルバノミラー駆動装置３１３に出力される変調制御信号とに基づいて、微分干渉画像を生成することができる。

顕微鏡システム１０３でも、レーザ光の光束中の偏光方向の分布がレーザ光の光軸に対して対称となるようにレーザ光の偏光状態を変換する偏光変換手段を備えていれば良い点、偏光変換手段は波長板に限られない点、偏光変換手段はレーザ光にのみ作用する位置に配置されてもレーザ光と蛍光の両方に作用する位置に配置されても良い点は、実施例１から実施例３に係る蛍光顕微鏡システムと同様である。また、蛍光観察時には、光学系のＰＳＦが光軸に対して対称であるため、画像の向き毎にフィルタを設計する必要がなく、画像の向きによらず単一のフィルタで最適化されたフィルタ処理を実行することができる点も、実施例２及び実施例３に係る蛍光顕微鏡システムと同様である。

なお、顕微鏡システム１０３は、第二次高調波発生（ＳＨＧ）顕微鏡として使用することもできる。ＳＨＧ顕微鏡は、照明光の偏光状態によって発生する光の強度が変化する方向性を有していて、照明光の偏光状態が直線偏光である場合と円偏光である場合では、検出する光の強度が変化する。顕微鏡システム１０３によれば、１／４波長板３７０が挿脱可能に配置されているため、ＳＨＧ観察を照明光の偏光状態が直線偏光と円偏光のいずれの状態ででも行うことができる。

本発明の画像生成システムは、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。例えば、画像生成システムは、Image Scanning Microscopy（以降、ＩＳＭと記す）で用いられる共焦点顕微鏡を備えてもよく、ＩＳＭによって実現されるピンホール径を小さくした場合と同様の効果によって超解像画像を生成しても良い。また、直線偏光光を発するレーザ光源を用いたいろいろな超解像画像生成の方法に適用可能である。

１、１１１、３１１ レーザ
２ シングルモード光ファイバー
３ ビームエキスパンダ
４ マイクロレンズアレイ
５ 回転ディスク
５ａ 遮光部
５ｂ 開口部
６ モータ
７ 結像光学系
８ バリアフィルタ
９ 撮像レンズ
１０ 蛍光顕微鏡本体
２０ ＣＣＤカメラ
３０ 計算機
４０ 画像処理ボード
５０ 記録媒体
６０、１５０、２５０、３６０ モニタ
７０、１６０、２６０、３７０ １／４波長板
１００、１０１、１０２ 蛍光顕微鏡システム
１０３ 顕微鏡システム
１１０、２１０ 蛍光顕微鏡本体
１１２、２１２、３１２ ガルバノミラー
１１３、２１３、３１３ ガルバノミラー駆動装置
１１４、３１６ 共焦点絞り
１１５、３１５、３１７、３１８ レンズ
１２０、２２０、３２０、３３０ ＰＭＴ
１３０、２３０、３４０ ＰＣ
１４０、２４０、３５０ 記憶装置
２１１ 超短パルスレーザ
３１０ 顕微鏡本体
３１４ 瞳投影レンズ
３１９ 偏光板
ＯＢ 対物レンズ
ＴＬ 結像レンズ
ＤＭ ダイクロイックミラー
ＲＬ リレー光学系
Ｓ 標本
Ｌ１、Ｌ３ レーザ光
Ｌ２、Ｌ４ 蛍光
Ｐ１、Ｐ２ ＤＩＣプリズム

Claims (13)

1. 標本からの光を検出する光検出器と、
   対物レンズを含み、前記対物レンズのカットオフ周波数を越える周波数成分である超解像成分を含む前記標本からの光を前記光検出器に伝達する超解像成分伝達手段と、
   前記光検出器からの出力信号に基づいて生成される前記標本の画像の前記超解像成分を強調する画像処理手段と、を含み、
   前記超解像成分伝達手段は、前記標本に照射する照明光の光路中に配置され、前記照明光の光束中の偏光方向の分布が前記照明光の光軸に対して対称となるように、前記照明光の偏光状態を変換する偏光変換手段を含む
   ことを特徴とする画像生成システム。
2. 請求項１に記載の画像生成システムにおいて、
   前記偏光変換手段は、前記照明光を円偏光に変換する
   ことを特徴とする画像生成システム。
3. 請求項１に記載の画像生成システムにおいて、
   前記偏光変換手段は、前記照明光をラジアル偏光に変換する
   ことを特徴とする画像生成システム。
4. 請求項１乃至請求項３のいずれか１項に記載の画像生成システムにおいて、
   前記超解像成分伝達手段は、
   前記照明光を出射する光源と、
   前記照明光の光路と前記標本からの光の光路とを分岐する光路分岐手段と、を含み、
   前記偏光変換手段は、前記光源と前記光路分岐手段との間に配置される
   ことを特徴とする画像生成システム。
5. 請求項１乃至請求項３のいずれか１項に記載の画像生成システムにおいて、
   前記超解像成分伝達手段は、前記照明光の光路と前記標本からの光の光路とを分岐する光路分岐手段と、を含み、
   前記偏光変換手段は、前記対物レンズと前記光路分岐手段との間に配置される
   ことを特徴とする画像生成システム。
6. 請求項１乃至請求項５のいずれか１項に記載の画像生成システムにおいて、
   前記偏光変換手段は、１／４波長板である
   ことを特徴とする画像生成システム。
7. 請求項１乃至請求項６のいずれか１項に記載の画像生成システムにおいて、
   前記偏光変換手段は、光学軸の方向を互いに異ならせて配置された複数の１／２波長板である
   ことを特徴とする画像生成システム。
8. 請求項１乃至請求項７のいずれか１項に記載の画像生成システムにおいて、
   前記偏光変換手段は、前記照明光の光路に対して挿脱自在に配置される
   ことを特徴とする画像生成システム。
9. 請求項１乃至請求項８のいずれか１項に記載の画像生成システムにおいて、
   前記超解像成分伝達手段は、前記標本上における前記照明光の強度分布を変調する変調手段を含む
   ことを特徴とする画像生成システム。
10. 請求項９に記載の画像生成システムにおいて、
    前記変調手段は、前記対物レンズの瞳位置または瞳共役位置に配置された、前記標本を走査する走査手段である
    ことを特徴とする画像生成システム。
11. 請求項９に記載の画像生成システムにおいて、
    前記変調手段は、前記対物レンズの焦点面と共役な位置に配置された、前記標本を走査する走査手段である
    ことを特徴とする画像生成システム。
12. 請求項１乃至請求項１１のいずれか１項に記載の画像生成システムにおいて、
    前記超解像成分伝達手段は、前記対物レンズの焦点面と共役な位置に開口が形成された共焦点絞りを含む共焦点顕微鏡である
    ことを特徴とする画像生成システム。
13. 請求項１乃至請求項１１のいずれか１項に記載の画像生成システムにおいて、
    前記超解像成分伝達手段は、非線形光学顕微鏡である
    ことを特徴とする画像生成システム。