JP2012173725A - Image generation device and microscope device - Google Patents
Image generation device and microscope device Download PDFInfo
- Publication number
- JP2012173725A JP2012173725A JP2011038855A JP2011038855A JP2012173725A JP 2012173725 A JP2012173725 A JP 2012173725A JP 2011038855 A JP2011038855 A JP 2011038855A JP 2011038855 A JP2011038855 A JP 2011038855A JP 2012173725 A JP2012173725 A JP 2012173725A
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnification
- low
- cell
- binarized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、高精細な蛍光タイリング画像を生成する画像生成装置と、これを有する顕微鏡装置に関する。 The present invention relates to an image generation apparatus that generates a high-definition fluorescent tiling image and a microscope apparatus having the image generation apparatus.
従来、細胞の蛍光観察において、標本に対して視野が狭い高倍では、標本全体を表す蛍光画像のつなぎ合わせた画像を生成(所謂タイリング処理)するために、隣り合う蛍光画像に対してシームレスになるようにある程度ののりしろを用意し、画像のマッチングを行う必要がある。ここでマッチングとは予め標本全体を碁盤の目のように矩形で区切り、各々の位置までステージを動かして画像を取得する際にその碁盤の目よりも大きめの視野で撮影し、隣り合う画像との重なり(以後、のりしろという)を画像そのものの相関や差分を使って位置決めすることを表している。このようなマッチングは、ステージの位置決め誤差を吸収することを目的として用いられている(例えば、特許文献1参照)。 Conventionally, in the fluorescence observation of cells, when the field of view is narrow with respect to the specimen, in order to generate a joined image of the fluorescence images representing the entire specimen (so-called tiling processing), it is possible to seamlessly perform adjacent fluorescence images. It is necessary to prepare a certain amount of margin so as to match the images. Here, matching means that the entire specimen is divided into rectangles like a grid, and when the stage is moved to each position to acquire an image, the image is taken with a larger field of view than the grid, and adjacent images are captured. This means that the overlap (hereinafter referred to as “margin”) is positioned using the correlation and difference of the image itself. Such matching is used for the purpose of absorbing a positioning error of the stage (see, for example, Patent Document 1).
しかしながら、上記のマッチングに必要なのりしろには、必ずなんらかの像(例えば、細胞など)が含まれていなければならないこと、およびのりしろは最終的な標本全体における画像を生成するには余分な情報として扱われるといった無駄が存在する。また全体的にタイリングを行う場合には、のりしろに対するマッチング度合いが上下左右で必ずしも同じにはならず、バランス調整の問題も生じてくる。さらに、蛍光画像では、のりしろとなる部分は光が無く真っ暗の画像であり、マッチングの基準となる像がないための蛍光画像のタイリングを行うことが非常に難しいという問題がある。 However, the margin required for the above matching must always contain some image (for example, a cell), and the margin is treated as extra information to generate the final image of the entire specimen. There is a waste of being. Further, when tiling is performed as a whole, the degree of matching with respect to the margin is not necessarily the same in the upper, lower, left, and right directions, and a problem of balance adjustment also arises. Further, in the fluorescence image, there is a problem that the part that becomes the margin is a dark image without light, and it is very difficult to perform tiling of the fluorescence image because there is no image as a reference for matching.
本発明は、上記課題に鑑みて行われたものであり、標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供することを目的とする。 The present invention has been made in view of the above problems, and generates a high-definition fluorescent tiling image in a wide range with high positioning accuracy from a low-magnification image of a specimen and a fluorescent image higher in magnification than the low-magnification image. An object of the present invention is to provide an image generating apparatus capable of performing the above and a microscope apparatus having the same.
上記課題を解決するため、本発明は、顕微鏡の結像位置に配設された撮像装置からの画像を処理してタイリング画像を生成する画像生成装置であって、前記撮像装置を介して取得した、標本の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段を有することを特徴とする画像生成装置を提供する。 In order to solve the above-described problem, the present invention is an image generation device that generates a tiling image by processing an image from an imaging device disposed at an imaging position of a microscope, and is acquired via the imaging device. A plurality of binarized fluorescence images obtained by binarizing a plurality of high-magnification fluorescence images of a specimen and a binarized sample image obtained by binarizing a low-magnification image over the entire specimen are resized to the same magnification, and There is provided an image generating apparatus comprising image generating means for generating one fluorescent image obtained by tiling the binary fluorescent images with reference to a binarized specimen image.
また、本願発明は、細胞を培養するウェルの底部全面の細胞画像を取得する低倍画像取装置と、前記低倍画像取得装置より倍率の高い蛍光画像を取得する蛍光画像取得装置と、前記細胞画像から前記細胞を抽出した第1の細胞画像と、前記蛍光画像から前記細胞を抽出した第2の細胞画像とを用いて、前記第2の細胞画像の前記第1の細胞画像に対するテンプレートマッチングを行い、前記蛍光画像の前記細胞画像に対する位置を決定する画像生成装置と、を有することを特徴とする顕微鏡装置を提供する。 The present invention also relates to a low-magnification image capturing device that acquires a cell image of the entire bottom of a well in which cells are cultured, a fluorescent image acquisition device that acquires a fluorescent image with a higher magnification than the low-magnification image acquisition device, and the cell Using the first cell image obtained by extracting the cells from the image and the second cell image obtained by extracting the cells from the fluorescence image, template matching of the second cell image with respect to the first cell image is performed. And an image generation device that determines a position of the fluorescence image with respect to the cell image.
本発明によれば、標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供することができる。 According to the present invention, an image generating apparatus capable of generating a high-definition fluorescent tiling image in a wide range with high positioning accuracy from a low-magnification image of a specimen and a fluorescent image higher in magnification than the low-magnification image, A microscope apparatus can be provided.
以下、本願の一実施形態にかかる画像生成装置を有する顕微鏡装置について図面を参照しつつ説明する。なお、以下の実施の形態は、発明の理解を容易にするためのものに過ぎず、本願発明の技術的思想を逸脱しない範囲において当業者により実施可能な付加・置換等を施すことを排除することは意図していない。 Hereinafter, a microscope apparatus having an image generation apparatus according to an embodiment of the present application will be described with reference to the drawings. The following embodiments are only for facilitating the understanding of the invention, and excluding additions and substitutions that can be performed by those skilled in the art without departing from the technical idea of the present invention. It is not intended.
図1に示すように、本実施形態にかかる画像生成装置40を有する顕微鏡装置1は、ウェルプレート10を載置するためのステージ3、ステージ3の上方に配置された低倍用照明光学系4、ステージ3の下方に配置された低倍結像光学系5、低倍結像光学系5と交換可能に配設された励起光学系24を含む蛍光結像光学系20、低倍結像光学系5または蛍光結像光学系20の結像位置に配置され、光軸に挿入された結像光学系の像を撮像するカメラ14、および取得した画像を処理して後述するタイリング画像を生成する画像生成装置40を有している。なお、ステージ3、低倍用照明光学系4、低倍結像光学系5、および蛍光結像光学系20は、下方に不図示のベース部を備えた不図示の顕微鏡支柱に対して、不図示の支持部材を介して上下方向の位置を変更可能に支持されている。
As shown in FIG. 1, a
本実施形態において、ウェルプレート10の各ウェル10a中には、図3に示すように細胞等の位相物体である試料2が不図示の培養液と共に注入されている。
In the present embodiment, a
低倍結像光学系5は、図1に示すように、低倍用照明光学系4で照明された任意のウェル10a内の試料(細胞)2を観察するために配置されている。また、低倍結像光学系5は、ステージ3側から順に、高開口数の低倍対物レンズ12と鏡筒部13とから構成され、カメラ14の光軸に励起光学系24を含む蛍光結像光学系20と選択的に挿脱可能に構成されている。
As shown in FIG. 1, the low-magnification imaging
低倍用対物レンズ12は、ウェル10aの底面から射出された光を略漏れなく集光するための高い開口数(NA)を有する対物レンズであり、本実施形態においてはΦ6.4mm程度の実視野を実現するために、倍率が1.25倍、開口数が0.25以上のものが用いられている。
The low-magnification
蛍光結像光学系20は、低倍から高倍までの複数の対物レンズ21を光軸に交換可能にする為のレボルバ23と、励起光学系24に結合される鏡筒部25と、試料2に励起光を照射するための励起光源22とから構成されている。励起光学系24と鏡筒部25との結合部には、蛍光観察時に使用されるダイクロイックミラー26と、エミッションフィルタ27を含むフィルタキューブ28が光軸に挿脱可能に配置されている。
The fluorescence imaging
光軸に選択的に挿入された低倍結像光学系5の結像位置、または蛍光光学系20の結像位置に配置されたカメラ14には、2/3インチCCDカメラが用いられる。また、カメラ14には、画像生成装置40が接続されている。
A 2/3 inch CCD camera is used as the
画像生成装置40は、カメラ14で取得した画像処理手段である例えばパーソナルコンピュータ(以後、単にPCと記す)41とモニタ42とキーボードやマウスなどの入出力デバイス43とから構成されている。また、PC41は、取得した画像を保存するメモリ44を内蔵し、画像処理および画像生成に必要なハードやソフトが搭載されている。なお、メモリ44は、外付けハードディスクのような外部保存装置を使用することも可能である。
The
低倍用照明光学系4は、ウェル10a内の試料2を透過照明するためのものであり、ステージ3側から順に、不図示の、コンデンサレンズ、開口絞り、可動絞り、コレクタレンズ、および光源を有する。なお、低倍用照明光学系4は、低倍結像光学系5が光軸に挿入された時のみならず、蛍光結像光学系20を光軸に挿入した時の透過照明用としても使用可能である。
The low-magnification illumination
不図示の可動絞りは、ウェル10aの底面を略均一に照明するための低NAの照明光を生成するための絞り部材である。不図示の可動絞りには、照明光学系4から射出される照明光のNA(以下、「照明NA」という。)が0.1以下となるように、絞り径や光軸上の位置等が予め設計された絞り部材が用いられている。なお、可動絞りは、照明光がウェル10aの壁面で反射または透過することを防止するために、照明光の光束がウェル10aの内径よりも小さくなるように照明光の照射領域を絞る役割も果たしている。
A movable diaphragm (not shown) is a diaphragm member for generating low NA illumination light for illuminating the bottom surface of the well 10a substantially uniformly. The movable diaphragm (not shown) has a diaphragm diameter, a position on the optical axis, and the like so that the NA of illumination light emitted from the illumination optical system 4 (hereinafter referred to as “illumination NA”) is 0.1 or less. A previously designed throttle member is used. The movable diaphragm also plays a role of narrowing the illumination light irradiation region so that the luminous flux of the illumination light is smaller than the inner diameter of the
また、可動絞りには、可動絞りを光軸方向および光軸に垂直な方向へ移動させるための不図示の移動機構と、絞り径を変更するための不図示の絞り径調整機構が備えられている。これにより、前記移動機構によって可動絞りを光軸方向へ移動させることで、試料2への照明光の主光線の角度を変更することができる。また、前記絞り径調整機構によって可動絞りの絞り径を変更し、照明光の実効的なNAを変更することができる。さらには、前記移動機構によって可動絞りを光軸に垂直な方向へ移動させることで、照明光学系4から射出される照明光の試料2に対する照射位置を光軸に垂直な方向へ変更することができる。
Further, the movable diaphragm is provided with a movement mechanism (not shown) for moving the movable diaphragm in the optical axis direction and a direction perpendicular to the optical axis, and a diaphragm diameter adjustment mechanism (not shown) for changing the diaphragm diameter. Yes. Thereby, the angle of the chief ray of the illumination light to the
不図示のコンデンサレンズには、コンデンサレンズを光軸方向へ移動させるための不図示の移動機構が備えられている。これにより、当該移動機構によってコンデンサレンズを光軸方向へ移動させることで、照明光の集光位置を光軸方向へ変更することができ、これによって視野内のシェーディングなどを除去することができる。 The condenser lens (not shown) is provided with a movement mechanism (not shown) for moving the condenser lens in the optical axis direction. Thereby, the condenser lens is moved in the optical axis direction by the moving mechanism, whereby the condensing position of the illumination light can be changed in the optical axis direction, and shading in the field of view can be removed.
不図示の光源には、位相物体の観察に好適なコヒーレント性の高い赤色LED(発光ダイオード)が用いられている。これにより、照明の均一性と長寿命性を確保することができる。また、培養液内のフェノールレッド等の栄養素が培養液の劣化に伴って変色し、これが可視域の光を吸収してしまうため、培養状態によって観察像の明るさが変化してしまうという影響を解消することができる。 As a light source (not shown), a red LED (light emitting diode) with high coherence suitable for observation of a phase object is used. Thereby, the uniformity and long life of illumination can be ensured. In addition, nutrients such as phenol red in the culture solution change color with the deterioration of the culture solution, and this absorbs light in the visible range, so the brightness of the observed image changes depending on the culture state. Can be resolved.
本実施形態にかかる顕微鏡装置1において、低倍用照明光学系4の光源から発せられた照明光は、コレクタレンズを経た後、可動絞りを通過する。可動絞りは、光軸上の位置によって、主光線の方向を変えることができ、開口の大きさや開口部の位置を光軸から離れた位置に変化させることにより、照明光の実効的なNAを変えることができる。そして照明光は、開口絞りを通過し、コンデンサレンズで集光されることにより、必要な照明光の実効的なNAや主光線の方向を形成することとなる。このようにして形成された照明光は、ステージ3上の96ウェルプレート10における任意のウェル10a内の試料2に培養液を介して照射される。このように、照明光学系4は、試料2に対して一点に集光する光束の収束角とその主光線の方向が制御された照明を実現することができる。
In the
ここで、当該ウェル10a内の培養液の液面は、表面張力によりウェル10aの壁面近傍が凹面となってレンズ効果(メニスカス効果)が生じる。本顕微鏡装置1では、低倍対物レンズ12の開口数を十分に大きくし、低倍結像光学系5を構成する低倍対物レンズ12の開口数よりも小さい実効的なNAを持つ照明光を培養液の凹面に照射することで、培養液の凹面によって照明光の方向が低倍対物レンズ12の外側に向かって屈折しても、培養液の液面によるレンズ効果の影響を受けにくくしている。また、このときに、照明光の主光線の方向を培養液の液面により屈折される方向を考慮して、屈折される方向とは逆方向に光軸に対して主光線の方向を向けることで、屈折した照明光がウェル10aの壁面で反射又は透過することを防止することができ、即ち照明光束がウェル10a内のみを進行することととなり、これによってウェル10aのウェルの底面をムラなく略均一に照明することができる。
Here, the surface of the culture solution in the
そして、結像光学系5を構成する低倍対物レンズ12の開口数よりも小さいNAの照明光で照明された試料2からの光は、結像光学系5の低倍対物レンズ12に入射する。ここで、低倍対物レンズ12は上述のように高開口数の対物レンズであるため、ウェル10aの底面から射出された光(前述の屈折した照明光で照明された試料2からの光を含む)を略漏れなく集光することができる。このようにして低倍対物レンズ12によって集光された光は、不図示の結像レンズを介して、カメラ14の撮像面上に試料2の像を形成する。なお、詳細には、上述のような主光線の方向と照明光の実効的なNAを持つ照明光によってウェル10aの壁面での反射光、即ちノイズ光の発生を抑えながらウェル10aの底面を略均一に照明することで、試料2の背景(バックグラウンド)からの光(直接光)のNAが小さくなるため、直接光と試料2で回折された回折光とが干渉してコントラストの良好な試料2の観察像が形成されることとなる。このようにして形成された試料2の像は、カメラ14で撮影されてモニタ42に表示され、使用者に観察されることとなる。
ここで、再生医療の研究等において培養した細胞の高精細な蛍光画像を視野の全域を観察することが求められている。本願の画像生成装置40では、後述するように低倍で取得した細胞画像を基準にして高倍の蛍光画像をタイリングした蛍光タイリング画像を生成する。このため、本願では、低倍細胞画像取得時に培養液のレンズ効果の影響を考慮しながら視野の全域で観察を行うために、低倍対物レンズ12に0.25相当の開口数と1.25倍程度の倍率となるようにしている。
Then, light from the
Here, there is a demand for observing the entire field of view of high-definition fluorescent images of cells cultured in regenerative medicine research and the like. As will be described later, the
また、本実施形態にかかる顕微鏡装置1は、上述のように照明光の実効的なNAが0.1以下、対物レンズ12の倍率が1.25倍で開口数が0.25以上であり、これによって視野の全域(Φ6.4mm程度の実視野)で観察を行うことができる。また、上述のように96ウェルプレート10におけるウェル10aの内径はΦ6.4mm程度であるため、本実施形態にかかる顕微鏡装置1は、2/3インチCCDカメラであるカメラ14によって、96ウェルプレート10のウェル10aの底面全域を1枚の画像として一度に撮影することができる。培養液の凹面によるレンズ効果の影響を解消した試料2の低倍画像を取得することができる。
In addition, as described above, the
また、上述のように培養液のレンズ効果の大きさは、培養容器の種類、培養液の組成、培養容器の材質、及び培養液の量等によって様々に変化する。特に、培養容器の種類によって培養液の凹面の直径は異なり、これによって凹面の曲率半径は大きく変化し、レンズ効果も大きく変化することとなる。 Further, as described above, the magnitude of the lens effect of the culture solution varies depending on the type of the culture vessel, the composition of the culture solution, the material of the culture vessel, the amount of the culture solution, and the like. In particular, the diameter of the concave surface of the culture medium varies depending on the type of the culture vessel, and as a result, the radius of curvature of the concave surface changes greatly, and the lens effect also changes greatly.
そこで、本実施形態にかかる顕微鏡装置1は、培養液のレンズ効果の変化に応じて、上述のように可動絞りを光軸方向に移動させたり、可動絞りの絞り径を変更させたりすることで、照明光の実効的なNAや照明光の主光線の方向を変更することができる。これにより、培養液のレンズ効果が変化した場合でも、これに対応した低NAの照明光によって培養容器の底面を略均一に照明することができ、レンズ効果の影響を解消した試料2の低倍画像を取得することができる。
Therefore, the
図3(a)は、カメラ14で取得したウェル10aの底面全域にわたる試料(細胞)2の画像30をモニタ42に表示した一例である。ここで取得した画像30は、PC41のメモリに、ウェル10aの情報と共に保存される。
FIG. 3A is an example in which an
次に、高倍の対物レンズ21を用いて、試料2からの蛍光像を取得する場合について説明する。
Next, a case where a fluorescent image from the
使用者は、低倍結像光学系5に変えて蛍光光学系20をカメラ14の光軸に挿入すると共に、取得する蛍光像に対応するダイクロイックミラー26とエミッションフィルタ27を内蔵するフィルタキューブ28を励起光学系24に配置する。
The user changes the low-magnification imaging
励起光源22からの励起光は、フィルタキューブ28内のダイクロイックミラー26で対物レンズ21側に反射されて対物レンズ21を介してウェル10a内の試料2に照射される。
Excitation light from the
試料2は、前もって所定の蛍光を発する物質が導入されており、照射された励起光により所定波長の蛍光を発する。試料2で発光した蛍光は、対物レンズ21で集光されてダイクロイックミラー26に向かって鏡筒25を進行して、ダイクロイックミラー26を透過し、さらにエミッションフィルタ27を透過して不図示の結像レンズでカメラ14の撮像面に結像する。カメラ14の撮像面に結像した試料2の蛍光像は、カメラ14で撮像されてPC41内のメモリ44にウェル10aの情報と共に保存されると共に、モニタ42に表示される。
The
図4(a)に示す蛍光像35は、このようにして取得された円形視野の蛍光像を所定サイズ(一辺がA)の正方形にリサイズした画像の一例である。
The
PC41は、一辺Aの正方形でウェル10aの底面全域の高倍の蛍光画像35をそれぞれ取得して、各蛍光像35を取得時ステージ3のXY座標と共にメモリ44に保存する。
The
このようにして、画像生成装置40は、低倍結像光学系5で取得したウェル10aの底面全域の画像30(図3(a)参照)と蛍光結像光学系20で取得した複数の蛍光像35(図4(a)参照)をメモリ44にそれぞれの情報付きで保存する。
In this way, the
続いて、低倍率で取得した画像30と高倍率で取得した複数の蛍光画像35を用いて、高倍の蛍光画像35の蛍光タイリング画像135(図5参照)を生成する手順について図2に示すフローチャートを参照しつつ説明する。
Next, FIG. 2 shows a procedure for generating a fluorescence tiling image 135 (see FIG. 5) of the high-
(ステップS1)
画像生成装置40のPC41は、メモリ44から低倍で取得した画像30(図3(a)参照)を読み出す。
(Step S1)
The
(ステップS2)
PC41は、画像30の輝度ムラを補正して補正画像を生成する。輝度ムラ補正には、ウェルプレート10の各ウェル10aに細胞を培養する培養液のみを注入した状態で各ウェル10aの底面全域の補正用画像を取得してメモリ44に保存しておく。PC41は、取得した細胞の画像30と画像30に対応する補正用画像との差分処理を行い、細胞の画像30の輝度ムラを補正した補正画像を生成する。なお、輝度ムラ補正は、上記差分処理に限らず、細胞の画像30に対して十分広い帯域を有するローパスフィルタ(例えば、ガウシアンフィルタ等)をかけ、画像30との差分を取ることでも可能である。
(Step S2)
The
(ステップS3)
PC41は、輝度ムラ補正した補正用画像を二値化処理して、二値化細胞画像30aを生成する(図3(b)参照)。これにより、細胞2は、細胞内構造が均一化され、二値化された細胞像2aとなる。詳しくは、細胞を抽出にあたって、ステップS2における輝度ムラ補正画像に対して、明らかに背景となる領域の輝度をサンプリングし、そのノイズ成分、すなわち背景輝度の平均値μ1、標準偏差σ1を計算する。この背景部分のノイズ成分ではない輝度値が細胞であるとし、輝度ムラ補正画像を(μ1ーm1×σ1)を閾値として二値化する。ここで、m1は適当な倍率である。輝度ムラ補正画像における細胞像は暗いため輝度値が小さい。そこで、閾値(μ1ーm1×σ1)を超えた輝度値を持つ画素を輝度値=0(背景)、閾値を下回る輝度値を持つ画を輝度値=1(細胞)とする処理を行い、二値化細胞画像30aを生成し、メモリ44に保存する。二値化細胞画像30aは、細胞2が明るく、背景が暗い画像となる。
(Step S3)
The
(ステップS4)
次に蛍光画像35の処理を行う。PC41は、メモリ44に保存されている高倍で取得した蛍光画像35(図4(a)参照)を読み出す。
(Step S4)
Next, the
(ステップS5)
PC41は、メモリ44から読み出した蛍光画像35の輝度ムラ補正を行い輝度ムラ補正蛍光画像を生成する。輝度ムラ補正の方法は、ステップS2と同様の方法を使用する。PC41は、輝度ムラ補正蛍光画像を用いて、背景部分のノイズ成分すなわち背景輝度の平均値μ2と、標準偏差σ2を計算する。
(Step S5)
The
(ステップS6)
PC41は、ステップS3と同様の処理により輝度ムラ補正蛍光画像を二値処理して、二値化蛍光画像35a(図4(b)参照)を生成し、メモリ44に保存する。このとき、蛍光画像35の細胞部分が明るいとして、ステップS5で得られた輝度ムラ補正蛍光画像を(μ2+m2×σ2)を閾値として二値化する。ここで、m2は適当な倍率である。輝度ムラ蛍光補正画像における細胞像は明るいため輝度値が大きい。そこで、閾値(μ2+m2×σ2)を超えた輝度値を持つ画素を輝度値=1(細胞)、閾値を下回る輝度値を持つ画を輝度値=0(背景)とする処理を行い、二値化蛍光画像35aを生成し、メモリ44に保存する。PC41は、ステップS4からステップS6までの処理をウェル10aで取得した複数の高倍の蛍光画像35の全てにわたって行う。この結果、メモリ44には、ウェル10a底面全域を二値化した低倍の二値化細胞画像30aと複数の高倍の蛍光画像35それぞれを二値化した複数の二値化蛍光画像35aが保存される。
(Step S6)
The
(ステップS7、S8)
PC41は、ステップS1からステップS6で形成した二値化細胞画像30aと複数の二値化蛍光画像35aそれぞれの像倍率を同じにするため、それぞれの倍率差に基き二値化細胞画像30aと複数の二値化蛍光画像35aをそれぞれリサイズする。これにより、それぞれの二値化画像における細胞2aは、ほぼ同じサイズにリサイズされる。図5(a)は、このようにして得られた同倍率にリサイズされた二値化細胞画像130aを、図5(b)は、同倍にリサイズされた二値化蛍光画像135a(テンプレート画像)をそれぞれ示している。
(Steps S7, S8)
In order to make the image magnifications of the
(ステップS9、S10)
PC41は、リサイズした二値化蛍光画像135aをテンプレートとして、リサイズした二値化細胞画像130aに対してテンプレートマッチング処理を実行する。二値化細胞画像マッチング評価値には、マッチングに使用する画像が両者とも二値化画像であることから両画像の差分値を使用する。そして、この差分値が最も小さい時にテンプレート画像の位置とし、タイリング位置決定する。
(Steps S9 and S10)
The
(ステップS11)
このようなテンプレートマッチング処理を取得した全ての高倍蛍光画像35に対して行うことでウェル10aの底面全域にわたる高倍蛍光画像を配置した蛍光タイリング画像を生成することができる。なお、このテンプレートマッチング処理は、そのまま行うとPC41における計算に時間がかかるため、メモリ44に保存されている蛍光画像35を取得した時のステージ3のXY座標を使って、低倍細胞画像30のおおよその位置を求め、この求められた位置を基準として所定のサーチ範囲を決めておくことによりテンプレートマッチング処理時間を短縮することができる。
(Step S11)
By performing such template matching processing on all the high-
このように、本実施形態にかかる画像生成装置では、従来のようなのりしろ部分に存在するパターン画像のマッチング度を評価してタイリングするのではなく(蛍光画像ではのりしろ部分は真っ暗でマッチング度を評価するパターン画像が存在しない)、低倍で取得した標本の全体画像の二値化画像を基準として、高倍で取得した蛍光画像の細胞の発光パタンのマッチング度を評価することで、高倍で取得した蛍光画像のタイリングを行うことができる。また、従来のようにのりしろ部分を使用しないため、高倍の蛍光画像の取得時にのりしろ部分を考慮する必要が無く、のりしろ部分で発生するタイリング誤差を小さく抑えることができる。 As described above, the image generating apparatus according to the present embodiment does not evaluate and tile the matching degree of the pattern image existing in the marginal portion as in the past (in the fluorescent image, the marginal portion is dark and the matching degree is high). There is no pattern image to evaluate), and by using the binarized image of the entire sample image obtained at low magnification as a reference, it is obtained at high magnification by evaluating the degree of matching of the emission pattern of the cells of the fluorescence image obtained at high magnification The tiling of the fluorescent image can be performed. In addition, since the margin portion is not used as in the prior art, it is not necessary to consider the margin portion when acquiring a high-magnification fluorescent image, and the tiling error that occurs in the margin portion can be suppressed to a low level.
なお、上記説明において、ウェル底面全域の低倍画像は、明視野透過像の画像を使用して高倍の蛍光画像をテンプレートマッチング処理する場合について述べたが、低倍画像に代わってウェル底面全域の低倍蛍光画像を使用することも可能である。この場合、図1において、低倍用照明光学系4と低倍結像光学系5は、必要なく蛍光結像光学系20で低倍の蛍光画像と高倍の蛍光画像を取得する構成にすれば良い。また、ステップS3の二値化処理において、ステップS6と同様に輝度ムラ補正画像を(μ1+m1×σ1)を閾値として二値化する。低倍蛍光画像では、輝度ムラ補正画像における細胞像は明るいため輝度値が大きい。そこで、閾値(μ1+m1×σ1)を超えた輝度値を持つ画素を輝度値=1(細胞)、閾値を下回る輝度値を持つ画素を輝度値=0(背景)とする処理を行うように変更する。そして、その他の処理は、上述と同様の処理を行うことで同様の作用、効果を奏することができる。
In the above description, the low-magnification image of the entire well bottom surface has been described for the case where the high-magnification fluorescent image is subjected to template matching processing using the bright-field transmission image. It is also possible to use low-magnification fluorescent images. In this case, in FIG. 1, the low-magnification illumination
以上述べたように、本実施形態にかかる画像生成装置は、低倍細胞画像を基準として高倍の蛍光画像をテンプレートすることで高倍の蛍光画像を高い位置精度でテンプレートマッチングすることができる。この結果、ウェルの底面全域にわたり高い位置精度で配置した高倍蛍光画像を得ることができる。 As described above, the image generation apparatus according to the present embodiment can template-match a high-magnification fluorescent image with high positional accuracy by using a high-magnification fluorescent image as a template based on the low-magnification cell image. As a result, a high-magnification fluorescent image arranged with high positional accuracy over the entire bottom surface of the well can be obtained.
1 顕微鏡装置
2 試料(細胞)
3 ステージ
4 低倍用照明光学系
5 低倍結像光学系
10 ウェルプレート
12 低倍対物レンズ
13、25 鏡筒部
14 カメラ
20 蛍光結像光学系
21 対物レンズ
22 励起光源
23 レボルバ
24 励起光学系
26 ダイクロイックミラー
27 エミッションフィルタ
28 フィルタキューブ
30 低倍細胞画像
30a 二値化細胞画像
35 高倍蛍光画像
35a 二値化蛍光画像
40 画像生成装置
41 PC
42 モニタ
43 入力装置
44 メモリ
130a 蛍光タイリング画像
135a テンプレート
1
3
42 monitor 43
Claims (7)
前記撮像装置を介して取得した、標本の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段を有することを特徴とする画像生成装置。 An image generation device that generates a tiling image by processing an image from an imaging device disposed at an imaging position of a microscope,
A plurality of binarized fluorescent images obtained by binarizing a plurality of high-magnification fluorescent images of a specimen and a binarized specimen image obtained by binarizing the low-magnification image over the entire specimen, obtained through the imaging device, An image generation apparatus comprising: an image generation unit that generates a single fluorescence image that is resized to a magnification and tiles each of the binarized fluorescence images with the binarized sample image as a reference.
前記画像生成手段は、前記位置座標を参考にして予備タイリング後、前記二値化標本画像と前記二値化蛍光画像との差分値が最小となる位置にそれぞれの前記二値化蛍光画像をタイリングすることを特徴とする請求項1に記載の画像生成装置。 The low-magnification image and the plurality of high-magnification fluorescent images each have a position coordinate value at the time of acquisition,
The image generation means, after preliminary tiling with reference to the position coordinates, each binarized fluorescent image at a position where a difference value between the binarized sample image and the binarized fluorescent image is minimum. The image generating apparatus according to claim 1, wherein tiling is performed.
前記低倍画像取得装置より倍率の高い蛍光画像を取得する蛍光画像取得装置と、
前記細胞画像から前記細胞を抽出した第1の細胞画像と、前記蛍光画像から前記細胞を抽出した第2の細胞画像とを用いて、前記第2の細胞画像の前記第1の細胞画像に対するテンプレートマッチングを行い、前記蛍光画像の前記細胞画像に対する位置を決定する画像生成装置と、を有することを特徴とする顕微鏡装置。 A low-magnification image capturing device that acquires a cell image of the entire bottom surface of a well in which cells are cultured;
A fluorescence image acquisition device for acquiring a fluorescence image having a higher magnification than the low magnification image acquisition device;
A template for the first cell image of the second cell image using a first cell image obtained by extracting the cell from the cell image and a second cell image obtained by extracting the cell from the fluorescence image. An image generating apparatus that performs matching and determines a position of the fluorescent image with respect to the cell image.
前記照明光学系の照明光の実効的なNAは、前記結像光学系の対物レンズの開口数より小さいことを特徴とする請求項5または6に記載の顕微鏡装置。 The low-magnification image acquisition device includes an illumination optical system and an imaging optical system,
The microscope apparatus according to claim 5 or 6, wherein an effective NA of illumination light of the illumination optical system is smaller than a numerical aperture of an objective lens of the imaging optical system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011038855A JP2012173725A (en) | 2011-02-24 | 2011-02-24 | Image generation device and microscope device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011038855A JP2012173725A (en) | 2011-02-24 | 2011-02-24 | Image generation device and microscope device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012173725A true JP2012173725A (en) | 2012-09-10 |
Family
ID=46976623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011038855A Withdrawn JP2012173725A (en) | 2011-02-24 | 2011-02-24 | Image generation device and microscope device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012173725A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016026481A (en) * | 2014-03-31 | 2016-02-18 | 大日本印刷株式会社 | Colony detection system, colony detection method, and program |
WO2016035444A1 (en) * | 2014-09-05 | 2016-03-10 | 住友電気工業株式会社 | Microscope |
CN109790505A (en) * | 2016-09-28 | 2019-05-21 | 奥林巴斯株式会社 | Cell state measuring device |
WO2020161826A1 (en) * | 2019-02-06 | 2020-08-13 | オリンパス株式会社 | Imaging device |
CN114152610A (en) * | 2021-11-02 | 2022-03-08 | 桂林优利特医疗电子有限公司 | Slide cell scanning method based on visual target marker |
-
2011
- 2011-02-24 JP JP2011038855A patent/JP2012173725A/en not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016026481A (en) * | 2014-03-31 | 2016-02-18 | 大日本印刷株式会社 | Colony detection system, colony detection method, and program |
JP2016028606A (en) * | 2014-03-31 | 2016-03-03 | 大日本印刷株式会社 | Colony detection system, colony detection method, and program |
WO2016035444A1 (en) * | 2014-09-05 | 2016-03-10 | 住友電気工業株式会社 | Microscope |
CN109790505A (en) * | 2016-09-28 | 2019-05-21 | 奥林巴斯株式会社 | Cell state measuring device |
DE112017004878T5 (en) | 2016-09-28 | 2019-06-13 | Olympus Corporation | Zell state measuring device |
WO2020161826A1 (en) * | 2019-02-06 | 2020-08-13 | オリンパス株式会社 | Imaging device |
US11808931B2 (en) | 2019-02-06 | 2023-11-07 | Evident Corporation | Image pickup apparatus with rotation unit |
CN114152610A (en) * | 2021-11-02 | 2022-03-08 | 桂林优利特医疗电子有限公司 | Slide cell scanning method based on visual target marker |
CN114152610B (en) * | 2021-11-02 | 2023-06-27 | 桂林优利特医疗电子有限公司 | Slide cell scanning method based on visual target mark |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107526156B (en) | Light sheet microscope and method for operating a light sheet microscope | |
US9088729B2 (en) | Imaging apparatus and method of controlling same | |
JP4890096B2 (en) | Image acquisition apparatus, image acquisition method, and image acquisition program | |
EP3918402B1 (en) | Calibration of a light-field imaging system | |
JP5633753B2 (en) | Focus control method and culture observation apparatus | |
CN102313980A (en) | Signal conditioning package, dressing table fluctuation correcting method and program | |
US10073258B2 (en) | Microscope system | |
WO2014196203A1 (en) | Image acquisition device, image acquisition method, and program | |
EP2834832B1 (en) | Integrated optical and charged particle inspection apparatus | |
EP3318912B1 (en) | Phase contrast microscope and imaging method | |
JP7109130B2 (en) | microscope | |
JP2021193459A (en) | Low resolution slide imaging, slide label imaging and high resolution slide imaging using dual optical path and single imaging sensor | |
JP2012173725A (en) | Image generation device and microscope device | |
JP2012042669A (en) | Microscope control device and optical distortion correction method | |
JP2020535478A (en) | Double-pass macro image | |
JP2008046305A (en) | Automatic focusing device, microscope, and automatic focusing method | |
JP2012220558A (en) | Microscope device | |
JP6419761B2 (en) | Imaging arrangement determination method, imaging method, and imaging apparatus | |
JP2017151132A (en) | Phase difference microscope and imaging method | |
JP2011081082A (en) | Optical observation device and optical observation method using transmissive light illumination | |
US11150457B2 (en) | Observation device | |
JP2012159794A (en) | Microscope device | |
JP2011017620A (en) | Shape measuring method, image processing program, and observation device | |
US12014511B2 (en) | Sample imaging via two-pass light-field reconstruction | |
JP2012181341A (en) | Microscope device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |