[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2012173725A - Image generation device and microscope device - Google Patents

Image generation device and microscope device Download PDF

Info

Publication number
JP2012173725A
JP2012173725A JP2011038855A JP2011038855A JP2012173725A JP 2012173725 A JP2012173725 A JP 2012173725A JP 2011038855 A JP2011038855 A JP 2011038855A JP 2011038855 A JP2011038855 A JP 2011038855A JP 2012173725 A JP2012173725 A JP 2012173725A
Authority
JP
Japan
Prior art keywords
image
magnification
low
cell
binarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011038855A
Other languages
Japanese (ja)
Inventor
Masabumi Mimura
正文 三村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011038855A priority Critical patent/JP2012173725A/en
Publication of JP2012173725A publication Critical patent/JP2012173725A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image generation device capable of generating a wide-range high-definition fluorescence tiling image having high positioning accuracy obtained by a low magnification image and a fluorescence image having magnification higher than that of the low magnification image of a sample and to provide a microscope device having the image generation device.SOLUTION: An image generation device 40 generating a tiling image by processing an image from an imaging apparatus 14 disposed in the imaging position of a microscope 1 includes image generation means 41 generating one fluorescence image obtained by re-sizing a plurality of binarized fluorescence images obtained by binarizing the plurality of high-magnification fluorescence images of a sample 2 obtained through the imaging apparatus and a binarized sample image obtained by binarizing a low magnification image over the whole of the sample obtained through the imaging apparatus to the same magnification and tailing each of the binarized fluorescence images with the binarized sample image as a reference.

Description

本発明は、高精細な蛍光タイリング画像を生成する画像生成装置と、これを有する顕微鏡装置に関する。   The present invention relates to an image generation apparatus that generates a high-definition fluorescent tiling image and a microscope apparatus having the image generation apparatus.

従来、細胞の蛍光観察において、標本に対して視野が狭い高倍では、標本全体を表す蛍光画像のつなぎ合わせた画像を生成(所謂タイリング処理)するために、隣り合う蛍光画像に対してシームレスになるようにある程度ののりしろを用意し、画像のマッチングを行う必要がある。ここでマッチングとは予め標本全体を碁盤の目のように矩形で区切り、各々の位置までステージを動かして画像を取得する際にその碁盤の目よりも大きめの視野で撮影し、隣り合う画像との重なり(以後、のりしろという)を画像そのものの相関や差分を使って位置決めすることを表している。このようなマッチングは、ステージの位置決め誤差を吸収することを目的として用いられている(例えば、特許文献1参照)。   Conventionally, in the fluorescence observation of cells, when the field of view is narrow with respect to the specimen, in order to generate a joined image of the fluorescence images representing the entire specimen (so-called tiling processing), it is possible to seamlessly perform adjacent fluorescence images. It is necessary to prepare a certain amount of margin so as to match the images. Here, matching means that the entire specimen is divided into rectangles like a grid, and when the stage is moved to each position to acquire an image, the image is taken with a larger field of view than the grid, and adjacent images are captured. This means that the overlap (hereinafter referred to as “margin”) is positioned using the correlation and difference of the image itself. Such matching is used for the purpose of absorbing a positioning error of the stage (see, for example, Patent Document 1).

特開2007−065669号公報JP 2007-065669 A

しかしながら、上記のマッチングに必要なのりしろには、必ずなんらかの像(例えば、細胞など)が含まれていなければならないこと、およびのりしろは最終的な標本全体における画像を生成するには余分な情報として扱われるといった無駄が存在する。また全体的にタイリングを行う場合には、のりしろに対するマッチング度合いが上下左右で必ずしも同じにはならず、バランス調整の問題も生じてくる。さらに、蛍光画像では、のりしろとなる部分は光が無く真っ暗の画像であり、マッチングの基準となる像がないための蛍光画像のタイリングを行うことが非常に難しいという問題がある。   However, the margin required for the above matching must always contain some image (for example, a cell), and the margin is treated as extra information to generate the final image of the entire specimen. There is a waste of being. Further, when tiling is performed as a whole, the degree of matching with respect to the margin is not necessarily the same in the upper, lower, left, and right directions, and a problem of balance adjustment also arises. Further, in the fluorescence image, there is a problem that the part that becomes the margin is a dark image without light, and it is very difficult to perform tiling of the fluorescence image because there is no image as a reference for matching.

本発明は、上記課題に鑑みて行われたものであり、標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供することを目的とする。   The present invention has been made in view of the above problems, and generates a high-definition fluorescent tiling image in a wide range with high positioning accuracy from a low-magnification image of a specimen and a fluorescent image higher in magnification than the low-magnification image. An object of the present invention is to provide an image generating apparatus capable of performing the above and a microscope apparatus having the same.

上記課題を解決するため、本発明は、顕微鏡の結像位置に配設された撮像装置からの画像を処理してタイリング画像を生成する画像生成装置であって、前記撮像装置を介して取得した、標本の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段を有することを特徴とする画像生成装置を提供する。   In order to solve the above-described problem, the present invention is an image generation device that generates a tiling image by processing an image from an imaging device disposed at an imaging position of a microscope, and is acquired via the imaging device. A plurality of binarized fluorescence images obtained by binarizing a plurality of high-magnification fluorescence images of a specimen and a binarized sample image obtained by binarizing a low-magnification image over the entire specimen are resized to the same magnification, and There is provided an image generating apparatus comprising image generating means for generating one fluorescent image obtained by tiling the binary fluorescent images with reference to a binarized specimen image.

また、本願発明は、細胞を培養するウェルの底部全面の細胞画像を取得する低倍画像取装置と、前記低倍画像取得装置より倍率の高い蛍光画像を取得する蛍光画像取得装置と、前記細胞画像から前記細胞を抽出した第1の細胞画像と、前記蛍光画像から前記細胞を抽出した第2の細胞画像とを用いて、前記第2の細胞画像の前記第1の細胞画像に対するテンプレートマッチングを行い、前記蛍光画像の前記細胞画像に対する位置を決定する画像生成装置と、を有することを特徴とする顕微鏡装置を提供する。   The present invention also relates to a low-magnification image capturing device that acquires a cell image of the entire bottom of a well in which cells are cultured, a fluorescent image acquisition device that acquires a fluorescent image with a higher magnification than the low-magnification image acquisition device, and the cell Using the first cell image obtained by extracting the cells from the image and the second cell image obtained by extracting the cells from the fluorescence image, template matching of the second cell image with respect to the first cell image is performed. And an image generation device that determines a position of the fluorescence image with respect to the cell image.

本発明によれば、標本の低倍画像と低倍画像より高倍の蛍光画像とから位置決め精度が高く、広い範囲の高精細な蛍光タイリング画像を生成することができる画像生成装置と、これを有する顕微鏡装置を提供することができる。   According to the present invention, an image generating apparatus capable of generating a high-definition fluorescent tiling image in a wide range with high positioning accuracy from a low-magnification image of a specimen and a fluorescent image higher in magnification than the low-magnification image, A microscope apparatus can be provided.

実施の形態に係る顕微鏡装置の概略構成図。1 is a schematic configuration diagram of a microscope apparatus according to an embodiment. タイリング画像を生成するフローチャート。The flowchart which produces | generates a tiling image. (a)は低倍画像取得装置により取得された画像、(b)は(a)に示す画像を二値化処理した画像。(A) is an image acquired by the low-magnification image acquisition device, and (b) is an image obtained by binarizing the image shown in (a). (a)は蛍光画像取得装置より取得された蛍光画像、(b)は(a)に示す蛍光画像を二値化処理した蛍光画像。(A) is the fluorescence image acquired from the fluorescence image acquisition apparatus, (b) is the fluorescence image which binarized the fluorescence image shown to (a). (a)は、図4(b)に示す二値化蛍光画像を用いて図3(b)に示す二値化画像にテンプレートマッチングを行って得られた蛍光タイリング画像を示し、(b)はタイリング画像の一例を示す。(A) shows a fluorescence tiling image obtained by performing template matching on the binarized image shown in FIG. 3 (b) using the binarized fluorescent image shown in FIG. 4 (b), and (b) Indicates an example of a tiling image.

以下、本願の一実施形態にかかる画像生成装置を有する顕微鏡装置について図面を参照しつつ説明する。なお、以下の実施の形態は、発明の理解を容易にするためのものに過ぎず、本願発明の技術的思想を逸脱しない範囲において当業者により実施可能な付加・置換等を施すことを排除することは意図していない。   Hereinafter, a microscope apparatus having an image generation apparatus according to an embodiment of the present application will be described with reference to the drawings. The following embodiments are only for facilitating the understanding of the invention, and excluding additions and substitutions that can be performed by those skilled in the art without departing from the technical idea of the present invention. It is not intended.

図1に示すように、本実施形態にかかる画像生成装置40を有する顕微鏡装置1は、ウェルプレート10を載置するためのステージ3、ステージ3の上方に配置された低倍用照明光学系4、ステージ3の下方に配置された低倍結像光学系5、低倍結像光学系5と交換可能に配設された励起光学系24を含む蛍光結像光学系20、低倍結像光学系5または蛍光結像光学系20の結像位置に配置され、光軸に挿入された結像光学系の像を撮像するカメラ14、および取得した画像を処理して後述するタイリング画像を生成する画像生成装置40を有している。なお、ステージ3、低倍用照明光学系4、低倍結像光学系5、および蛍光結像光学系20は、下方に不図示のベース部を備えた不図示の顕微鏡支柱に対して、不図示の支持部材を介して上下方向の位置を変更可能に支持されている。   As shown in FIG. 1, a microscope apparatus 1 having an image generation apparatus 40 according to the present embodiment includes a stage 3 on which a well plate 10 is placed, and a low-magnification illumination optical system 4 disposed above the stage 3. , A low-magnification imaging optical system 5 including a low-magnification imaging optical system 5 disposed below the stage 3, an excitation optical system 24 disposed in exchange for the low-magnification imaging optical system 5, and a low-magnification imaging optical system A camera 14 that picks up an image of the imaging optical system that is disposed at the imaging position of the system 5 or the fluorescence imaging optical system 20 and is inserted in the optical axis, and processes the acquired image to generate a tiling image to be described later The image generation apparatus 40 is provided. The stage 3, the low-magnification illumination optical system 4, the low-magnification imaging optical system 5, and the fluorescence imaging optical system 20 are not connected to a microscope column (not shown) having a base portion (not shown) below. The position in the vertical direction is supported via a support member shown in the figure so as to be changeable.

本実施形態において、ウェルプレート10の各ウェル10a中には、図3に示すように細胞等の位相物体である試料2が不図示の培養液と共に注入されている。   In the present embodiment, a sample 2 that is a phase object such as a cell is injected into each well 10a of the well plate 10 together with a culture solution (not shown) as shown in FIG.

低倍結像光学系5は、図1に示すように、低倍用照明光学系4で照明された任意のウェル10a内の試料(細胞)2を観察するために配置されている。また、低倍結像光学系5は、ステージ3側から順に、高開口数の低倍対物レンズ12と鏡筒部13とから構成され、カメラ14の光軸に励起光学系24を含む蛍光結像光学系20と選択的に挿脱可能に構成されている。   As shown in FIG. 1, the low-magnification imaging optical system 5 is arranged for observing a sample (cell) 2 in an arbitrary well 10a illuminated by the low-magnification illumination optical system 4. The low-magnification imaging optical system 5 includes, in order from the stage 3 side, a low-magnification objective lens 12 having a high numerical aperture and a lens barrel 13, and includes a fluorescence coupling including an excitation optical system 24 on the optical axis of the camera 14. The optical system 20 can be selectively inserted into and removed from the image optical system 20.

低倍用対物レンズ12は、ウェル10aの底面から射出された光を略漏れなく集光するための高い開口数(NA)を有する対物レンズであり、本実施形態においてはΦ6.4mm程度の実視野を実現するために、倍率が1.25倍、開口数が0.25以上のものが用いられている。   The low-magnification objective lens 12 is an objective lens having a high numerical aperture (NA) for condensing light emitted from the bottom surface of the well 10a with almost no leakage. In this embodiment, the objective lens 12 has a diameter of about 6.4 mm. In order to realize the field of view, one having a magnification of 1.25 times and a numerical aperture of 0.25 or more is used.

蛍光結像光学系20は、低倍から高倍までの複数の対物レンズ21を光軸に交換可能にする為のレボルバ23と、励起光学系24に結合される鏡筒部25と、試料2に励起光を照射するための励起光源22とから構成されている。励起光学系24と鏡筒部25との結合部には、蛍光観察時に使用されるダイクロイックミラー26と、エミッションフィルタ27を含むフィルタキューブ28が光軸に挿脱可能に配置されている。   The fluorescence imaging optical system 20 includes a revolver 23 for exchanging a plurality of objective lenses 21 from low magnification to high magnification with an optical axis, a lens barrel portion 25 coupled to an excitation optical system 24, and a sample 2. It is comprised from the excitation light source 22 for irradiating excitation light. A dichroic mirror 26 used at the time of fluorescence observation and a filter cube 28 including an emission filter 27 are arranged at the coupling portion between the excitation optical system 24 and the lens barrel portion 25 so as to be detachable from the optical axis.

光軸に選択的に挿入された低倍結像光学系5の結像位置、または蛍光光学系20の結像位置に配置されたカメラ14には、2/3インチCCDカメラが用いられる。また、カメラ14には、画像生成装置40が接続されている。   A 2/3 inch CCD camera is used as the camera 14 disposed at the imaging position of the low-magnification imaging optical system 5 selectively inserted on the optical axis or the imaging position of the fluorescence optical system 20. The camera 14 is connected to an image generation device 40.

画像生成装置40は、カメラ14で取得した画像処理手段である例えばパーソナルコンピュータ(以後、単にPCと記す)41とモニタ42とキーボードやマウスなどの入出力デバイス43とから構成されている。また、PC41は、取得した画像を保存するメモリ44を内蔵し、画像処理および画像生成に必要なハードやソフトが搭載されている。なお、メモリ44は、外付けハードディスクのような外部保存装置を使用することも可能である。   The image generation apparatus 40 includes, for example, a personal computer (hereinafter simply referred to as a PC) 41, a monitor 42, and an input / output device 43 such as a keyboard and a mouse, which are image processing means acquired by the camera 14. The PC 41 has a built-in memory 44 for storing the acquired image, and is equipped with hardware and software necessary for image processing and image generation. The memory 44 can use an external storage device such as an external hard disk.

低倍用照明光学系4は、ウェル10a内の試料2を透過照明するためのものであり、ステージ3側から順に、不図示の、コンデンサレンズ、開口絞り、可動絞り、コレクタレンズ、および光源を有する。なお、低倍用照明光学系4は、低倍結像光学系5が光軸に挿入された時のみならず、蛍光結像光学系20を光軸に挿入した時の透過照明用としても使用可能である。   The low-magnification illumination optical system 4 is for transmitting and illuminating the sample 2 in the well 10a. A condenser lens, an aperture stop, a movable stop, a collector lens, and a light source (not shown) are sequentially provided from the stage 3 side. Have. The low magnification illumination optical system 4 is used not only when the low magnification imaging optical system 5 is inserted into the optical axis but also for transmission illumination when the fluorescence imaging optical system 20 is inserted into the optical axis. Is possible.

不図示の可動絞りは、ウェル10aの底面を略均一に照明するための低NAの照明光を生成するための絞り部材である。不図示の可動絞りには、照明光学系4から射出される照明光のNA(以下、「照明NA」という。)が0.1以下となるように、絞り径や光軸上の位置等が予め設計された絞り部材が用いられている。なお、可動絞りは、照明光がウェル10aの壁面で反射または透過することを防止するために、照明光の光束がウェル10aの内径よりも小さくなるように照明光の照射領域を絞る役割も果たしている。   A movable diaphragm (not shown) is a diaphragm member for generating low NA illumination light for illuminating the bottom surface of the well 10a substantially uniformly. The movable diaphragm (not shown) has a diaphragm diameter, a position on the optical axis, and the like so that the NA of illumination light emitted from the illumination optical system 4 (hereinafter referred to as “illumination NA”) is 0.1 or less. A previously designed throttle member is used. The movable diaphragm also plays a role of narrowing the illumination light irradiation region so that the luminous flux of the illumination light is smaller than the inner diameter of the well 10a in order to prevent the illumination light from being reflected or transmitted by the wall surface of the well 10a. Yes.

また、可動絞りには、可動絞りを光軸方向および光軸に垂直な方向へ移動させるための不図示の移動機構と、絞り径を変更するための不図示の絞り径調整機構が備えられている。これにより、前記移動機構によって可動絞りを光軸方向へ移動させることで、試料2への照明光の主光線の角度を変更することができる。また、前記絞り径調整機構によって可動絞りの絞り径を変更し、照明光の実効的なNAを変更することができる。さらには、前記移動機構によって可動絞りを光軸に垂直な方向へ移動させることで、照明光学系4から射出される照明光の試料2に対する照射位置を光軸に垂直な方向へ変更することができる。   Further, the movable diaphragm is provided with a movement mechanism (not shown) for moving the movable diaphragm in the optical axis direction and a direction perpendicular to the optical axis, and a diaphragm diameter adjustment mechanism (not shown) for changing the diaphragm diameter. Yes. Thereby, the angle of the chief ray of the illumination light to the sample 2 can be changed by moving the movable diaphragm in the optical axis direction by the moving mechanism. Further, the effective NA of the illumination light can be changed by changing the stop diameter of the movable stop by the stop diameter adjusting mechanism. Furthermore, the irradiation position of the illumination light emitted from the illumination optical system 4 on the sample 2 can be changed in the direction perpendicular to the optical axis by moving the movable diaphragm in the direction perpendicular to the optical axis by the moving mechanism. it can.

不図示のコンデンサレンズには、コンデンサレンズを光軸方向へ移動させるための不図示の移動機構が備えられている。これにより、当該移動機構によってコンデンサレンズを光軸方向へ移動させることで、照明光の集光位置を光軸方向へ変更することができ、これによって視野内のシェーディングなどを除去することができる。   The condenser lens (not shown) is provided with a movement mechanism (not shown) for moving the condenser lens in the optical axis direction. Thereby, the condenser lens is moved in the optical axis direction by the moving mechanism, whereby the condensing position of the illumination light can be changed in the optical axis direction, and shading in the field of view can be removed.

不図示の光源には、位相物体の観察に好適なコヒーレント性の高い赤色LED(発光ダイオード)が用いられている。これにより、照明の均一性と長寿命性を確保することができる。また、培養液内のフェノールレッド等の栄養素が培養液の劣化に伴って変色し、これが可視域の光を吸収してしまうため、培養状態によって観察像の明るさが変化してしまうという影響を解消することができる。   As a light source (not shown), a red LED (light emitting diode) with high coherence suitable for observation of a phase object is used. Thereby, the uniformity and long life of illumination can be ensured. In addition, nutrients such as phenol red in the culture solution change color with the deterioration of the culture solution, and this absorbs light in the visible range, so the brightness of the observed image changes depending on the culture state. Can be resolved.

本実施形態にかかる顕微鏡装置1において、低倍用照明光学系4の光源から発せられた照明光は、コレクタレンズを経た後、可動絞りを通過する。可動絞りは、光軸上の位置によって、主光線の方向を変えることができ、開口の大きさや開口部の位置を光軸から離れた位置に変化させることにより、照明光の実効的なNAを変えることができる。そして照明光は、開口絞りを通過し、コンデンサレンズで集光されることにより、必要な照明光の実効的なNAや主光線の方向を形成することとなる。このようにして形成された照明光は、ステージ3上の96ウェルプレート10における任意のウェル10a内の試料2に培養液を介して照射される。このように、照明光学系4は、試料2に対して一点に集光する光束の収束角とその主光線の方向が制御された照明を実現することができる。   In the microscope apparatus 1 according to the present embodiment, the illumination light emitted from the light source of the low magnification illumination optical system 4 passes through the movable aperture after passing through the collector lens. The movable diaphragm can change the direction of the principal ray depending on the position on the optical axis, and the effective NA of the illumination light can be changed by changing the size of the aperture or the position of the aperture to a position away from the optical axis. Can be changed. The illumination light passes through the aperture stop and is collected by the condenser lens, thereby forming the effective NA of the necessary illumination light and the direction of the principal ray. The illumination light thus formed is applied to the sample 2 in an arbitrary well 10a in the 96-well plate 10 on the stage 3 through the culture solution. As described above, the illumination optical system 4 can realize illumination in which the convergence angle of the light beam condensed at one point on the sample 2 and the direction of the principal ray thereof are controlled.

ここで、当該ウェル10a内の培養液の液面は、表面張力によりウェル10aの壁面近傍が凹面となってレンズ効果(メニスカス効果)が生じる。本顕微鏡装置1では、低倍対物レンズ12の開口数を十分に大きくし、低倍結像光学系5を構成する低倍対物レンズ12の開口数よりも小さい実効的なNAを持つ照明光を培養液の凹面に照射することで、培養液の凹面によって照明光の方向が低倍対物レンズ12の外側に向かって屈折しても、培養液の液面によるレンズ効果の影響を受けにくくしている。また、このときに、照明光の主光線の方向を培養液の液面により屈折される方向を考慮して、屈折される方向とは逆方向に光軸に対して主光線の方向を向けることで、屈折した照明光がウェル10aの壁面で反射又は透過することを防止することができ、即ち照明光束がウェル10a内のみを進行することととなり、これによってウェル10aのウェルの底面をムラなく略均一に照明することができる。   Here, the surface of the culture solution in the well 10a has a concave surface in the vicinity of the wall surface of the well 10a due to surface tension, and a lens effect (meniscus effect) occurs. In the microscope apparatus 1, illumination light having an effective NA smaller than the numerical aperture of the low-magnification objective lens 12 constituting the low-magnification imaging optical system 5 is set by sufficiently increasing the numerical aperture of the low-magnification objective lens 12. By irradiating the concave surface of the culture solution, even if the direction of the illumination light is refracted toward the outside of the low-magnification objective lens 12 due to the concave surface of the culture solution, it is less affected by the lens effect due to the liquid surface of the culture solution. Yes. At this time, the direction of the principal ray of the illumination light is directed to the optical axis in the direction opposite to the direction of the refracting in consideration of the direction of refracting the principal ray of the illumination light by the liquid surface of the culture solution. Thus, it is possible to prevent the refracted illumination light from being reflected or transmitted by the wall surface of the well 10a, that is, the illumination light beam travels only in the well 10a, and thereby the bottom surface of the well of the well 10a is uniformly distributed. Illumination can be performed substantially uniformly.

そして、結像光学系5を構成する低倍対物レンズ12の開口数よりも小さいNAの照明光で照明された試料2からの光は、結像光学系5の低倍対物レンズ12に入射する。ここで、低倍対物レンズ12は上述のように高開口数の対物レンズであるため、ウェル10aの底面から射出された光(前述の屈折した照明光で照明された試料2からの光を含む)を略漏れなく集光することができる。このようにして低倍対物レンズ12によって集光された光は、不図示の結像レンズを介して、カメラ14の撮像面上に試料2の像を形成する。なお、詳細には、上述のような主光線の方向と照明光の実効的なNAを持つ照明光によってウェル10aの壁面での反射光、即ちノイズ光の発生を抑えながらウェル10aの底面を略均一に照明することで、試料2の背景(バックグラウンド)からの光(直接光)のNAが小さくなるため、直接光と試料2で回折された回折光とが干渉してコントラストの良好な試料2の観察像が形成されることとなる。このようにして形成された試料2の像は、カメラ14で撮影されてモニタ42に表示され、使用者に観察されることとなる。
ここで、再生医療の研究等において培養した細胞の高精細な蛍光画像を視野の全域を観察することが求められている。本願の画像生成装置40では、後述するように低倍で取得した細胞画像を基準にして高倍の蛍光画像をタイリングした蛍光タイリング画像を生成する。このため、本願では、低倍細胞画像取得時に培養液のレンズ効果の影響を考慮しながら視野の全域で観察を行うために、低倍対物レンズ12に0.25相当の開口数と1.25倍程度の倍率となるようにしている。
Then, light from the sample 2 illuminated with illumination light having an NA smaller than the numerical aperture of the low-magnification objective lens 12 constituting the imaging optical system 5 enters the low-magnification objective lens 12 of the imaging optical system 5. . Here, since the low-magnification objective lens 12 is an objective lens having a high numerical aperture as described above, light emitted from the bottom surface of the well 10a (including light from the sample 2 illuminated with the above-described refracted illumination light is included. ) Can be collected almost without leakage. The light condensed by the low-magnification objective lens 12 in this way forms an image of the sample 2 on the imaging surface of the camera 14 via an imaging lens (not shown). Specifically, the bottom surface of the well 10a is substantially reduced while suppressing the generation of reflected light, that is, noise light, on the wall surface of the well 10a by the illumination light having the principal ray direction and the effective NA of the illumination light as described above. By uniformly illuminating, the NA of light (direct light) from the background of the sample 2 is reduced, so that the direct light and the diffracted light diffracted by the sample 2 interfere with each other and the sample has good contrast Two observation images are formed. The image of the sample 2 formed in this way is taken by the camera 14, displayed on the monitor 42, and observed by the user.
Here, there is a demand for observing the entire field of view of high-definition fluorescent images of cells cultured in regenerative medicine research and the like. As will be described later, the image generation apparatus 40 of the present application generates a fluorescence tiling image obtained by tiling a high-magnification fluorescence image with reference to a cell image acquired at a low magnification. For this reason, in the present application, in order to perform observation over the entire field of view while taking into consideration the influence of the lens effect of the culture medium when acquiring low-magnification cell images, the low-magnification objective lens 12 has a numerical aperture equivalent to 0.25 and 1.25 The magnification is about double.

また、本実施形態にかかる顕微鏡装置1は、上述のように照明光の実効的なNAが0.1以下、対物レンズ12の倍率が1.25倍で開口数が0.25以上であり、これによって視野の全域(Φ6.4mm程度の実視野)で観察を行うことができる。また、上述のように96ウェルプレート10におけるウェル10aの内径はΦ6.4mm程度であるため、本実施形態にかかる顕微鏡装置1は、2/3インチCCDカメラであるカメラ14によって、96ウェルプレート10のウェル10aの底面全域を1枚の画像として一度に撮影することができる。培養液の凹面によるレンズ効果の影響を解消した試料2の低倍画像を取得することができる。   In addition, as described above, the microscope apparatus 1 according to the present embodiment has an effective NA of illumination light of 0.1 or less, a magnification of the objective lens 12 of 1.25, and a numerical aperture of 0.25 or more. As a result, observation can be performed in the entire field of view (actual field of view of about 6.4 mm). Further, as described above, since the inner diameter of the well 10a in the 96 well plate 10 is about Φ6.4 mm, the microscope apparatus 1 according to the present embodiment uses the camera 14 which is a 2/3 inch CCD camera to the 96 well plate 10. The entire bottom surface of the well 10a can be taken as a single image at a time. A low-magnification image of the sample 2 in which the influence of the lens effect due to the concave surface of the culture solution is eliminated can be acquired.

また、上述のように培養液のレンズ効果の大きさは、培養容器の種類、培養液の組成、培養容器の材質、及び培養液の量等によって様々に変化する。特に、培養容器の種類によって培養液の凹面の直径は異なり、これによって凹面の曲率半径は大きく変化し、レンズ効果も大きく変化することとなる。   Further, as described above, the magnitude of the lens effect of the culture solution varies depending on the type of the culture vessel, the composition of the culture solution, the material of the culture vessel, the amount of the culture solution, and the like. In particular, the diameter of the concave surface of the culture medium varies depending on the type of the culture vessel, and as a result, the radius of curvature of the concave surface changes greatly, and the lens effect also changes greatly.

そこで、本実施形態にかかる顕微鏡装置1は、培養液のレンズ効果の変化に応じて、上述のように可動絞りを光軸方向に移動させたり、可動絞りの絞り径を変更させたりすることで、照明光の実効的なNAや照明光の主光線の方向を変更することができる。これにより、培養液のレンズ効果が変化した場合でも、これに対応した低NAの照明光によって培養容器の底面を略均一に照明することができ、レンズ効果の影響を解消した試料2の低倍画像を取得することができる。   Therefore, the microscope apparatus 1 according to the present embodiment moves the movable diaphragm in the optical axis direction or changes the diaphragm diameter of the movable diaphragm as described above according to the change in the lens effect of the culture solution. The effective NA of the illumination light and the direction of the chief ray of the illumination light can be changed. As a result, even when the lens effect of the culture solution changes, the bottom surface of the culture vessel can be illuminated almost uniformly by the low NA illumination light corresponding to this, and the magnification of the sample 2 in which the influence of the lens effect is eliminated is low. Images can be acquired.

図3(a)は、カメラ14で取得したウェル10aの底面全域にわたる試料(細胞)2の画像30をモニタ42に表示した一例である。ここで取得した画像30は、PC41のメモリに、ウェル10aの情報と共に保存される。   FIG. 3A is an example in which an image 30 of the sample (cell) 2 obtained over the entire bottom surface of the well 10 a acquired by the camera 14 is displayed on the monitor 42. The acquired image 30 is stored in the memory of the PC 41 together with information on the well 10a.

次に、高倍の対物レンズ21を用いて、試料2からの蛍光像を取得する場合について説明する。   Next, a case where a fluorescent image from the sample 2 is acquired using the high-magnification objective lens 21 will be described.

使用者は、低倍結像光学系5に変えて蛍光光学系20をカメラ14の光軸に挿入すると共に、取得する蛍光像に対応するダイクロイックミラー26とエミッションフィルタ27を内蔵するフィルタキューブ28を励起光学系24に配置する。   The user changes the low-magnification imaging optical system 5 and inserts the fluorescence optical system 20 into the optical axis of the camera 14 and also installs a filter cube 28 including a dichroic mirror 26 and an emission filter 27 corresponding to the acquired fluorescence image. Arranged in the excitation optical system 24.

励起光源22からの励起光は、フィルタキューブ28内のダイクロイックミラー26で対物レンズ21側に反射されて対物レンズ21を介してウェル10a内の試料2に照射される。   Excitation light from the excitation light source 22 is reflected by the dichroic mirror 26 in the filter cube 28 toward the objective lens 21 and is irradiated to the sample 2 in the well 10 a through the objective lens 21.

試料2は、前もって所定の蛍光を発する物質が導入されており、照射された励起光により所定波長の蛍光を発する。試料2で発光した蛍光は、対物レンズ21で集光されてダイクロイックミラー26に向かって鏡筒25を進行して、ダイクロイックミラー26を透過し、さらにエミッションフィルタ27を透過して不図示の結像レンズでカメラ14の撮像面に結像する。カメラ14の撮像面に結像した試料2の蛍光像は、カメラ14で撮像されてPC41内のメモリ44にウェル10aの情報と共に保存されると共に、モニタ42に表示される。   The sample 2 is preliminarily introduced with a substance that emits a predetermined fluorescence, and emits a fluorescence having a predetermined wavelength by the irradiated excitation light. The fluorescence emitted from the sample 2 is collected by the objective lens 21, travels through the lens barrel 25 toward the dichroic mirror 26, passes through the dichroic mirror 26, and further passes through the emission filter 27 to form an image (not shown). The lens forms an image on the imaging surface of the camera 14. The fluorescence image of the sample 2 imaged on the imaging surface of the camera 14 is captured by the camera 14 and stored in the memory 44 in the PC 41 together with the information of the well 10a and displayed on the monitor 42.

図4(a)に示す蛍光像35は、このようにして取得された円形視野の蛍光像を所定サイズ(一辺がA)の正方形にリサイズした画像の一例である。   The fluorescent image 35 shown in FIG. 4A is an example of an image obtained by resizing the fluorescent image of the circular field obtained in this way into a square having a predetermined size (A side is A).

PC41は、一辺Aの正方形でウェル10aの底面全域の高倍の蛍光画像35をそれぞれ取得して、各蛍光像35を取得時ステージ3のXY座標と共にメモリ44に保存する。   The PC 41 acquires a high-magnification fluorescent image 35 of the square of one side A and the entire bottom surface of the well 10a, and stores each fluorescent image 35 in the memory 44 together with the XY coordinates of the stage 3 at the time of acquisition.

このようにして、画像生成装置40は、低倍結像光学系5で取得したウェル10aの底面全域の画像30(図3(a)参照)と蛍光結像光学系20で取得した複数の蛍光像35(図4(a)参照)をメモリ44にそれぞれの情報付きで保存する。   In this way, the image generating device 40 has the image 30 (see FIG. 3A) of the entire bottom surface of the well 10a acquired by the low-magnification imaging optical system 5 and a plurality of fluorescence acquired by the fluorescence imaging optical system 20. The image 35 (see FIG. 4A) is stored in the memory 44 with the respective information.

続いて、低倍率で取得した画像30と高倍率で取得した複数の蛍光画像35を用いて、高倍の蛍光画像35の蛍光タイリング画像135(図5参照)を生成する手順について図2に示すフローチャートを参照しつつ説明する。   Next, FIG. 2 shows a procedure for generating a fluorescence tiling image 135 (see FIG. 5) of the high-magnification fluorescence image 35 using the image 30 obtained at the low magnification and the plurality of fluorescence images 35 obtained at the high magnification. This will be described with reference to a flowchart.

(ステップS1)
画像生成装置40のPC41は、メモリ44から低倍で取得した画像30(図3(a)参照)を読み出す。
(Step S1)
The PC 41 of the image generation apparatus 40 reads the image 30 (see FIG. 3A) acquired from the memory 44 at a low magnification.

(ステップS2)
PC41は、画像30の輝度ムラを補正して補正画像を生成する。輝度ムラ補正には、ウェルプレート10の各ウェル10aに細胞を培養する培養液のみを注入した状態で各ウェル10aの底面全域の補正用画像を取得してメモリ44に保存しておく。PC41は、取得した細胞の画像30と画像30に対応する補正用画像との差分処理を行い、細胞の画像30の輝度ムラを補正した補正画像を生成する。なお、輝度ムラ補正は、上記差分処理に限らず、細胞の画像30に対して十分広い帯域を有するローパスフィルタ(例えば、ガウシアンフィルタ等)をかけ、画像30との差分を取ることでも可能である。
(Step S2)
The PC 41 corrects the luminance unevenness of the image 30 and generates a corrected image. For luminance unevenness correction, a correction image of the entire bottom surface of each well 10a is acquired and stored in the memory 44 in a state where only the culture medium for culturing cells is injected into each well 10a of the well plate 10. The PC 41 performs a difference process between the acquired cell image 30 and a correction image corresponding to the image 30 to generate a corrected image in which luminance unevenness of the cell image 30 is corrected. The luminance unevenness correction is not limited to the above-described difference processing, but can be performed by applying a low-pass filter (for example, a Gaussian filter) having a sufficiently wide band to the cell image 30 to obtain a difference from the image 30. .

(ステップS3)
PC41は、輝度ムラ補正した補正用画像を二値化処理して、二値化細胞画像30aを生成する(図3(b)参照)。これにより、細胞2は、細胞内構造が均一化され、二値化された細胞像2aとなる。詳しくは、細胞を抽出にあたって、ステップS2における輝度ムラ補正画像に対して、明らかに背景となる領域の輝度をサンプリングし、そのノイズ成分、すなわち背景輝度の平均値μ1、標準偏差σ1を計算する。この背景部分のノイズ成分ではない輝度値が細胞であるとし、輝度ムラ補正画像を(μ1ーm1×σ1)を閾値として二値化する。ここで、m1は適当な倍率である。輝度ムラ補正画像における細胞像は暗いため輝度値が小さい。そこで、閾値(μ1ーm1×σ1)を超えた輝度値を持つ画素を輝度値=0(背景)、閾値を下回る輝度値を持つ画を輝度値=1(細胞)とする処理を行い、二値化細胞画像30aを生成し、メモリ44に保存する。二値化細胞画像30aは、細胞2が明るく、背景が暗い画像となる。
(Step S3)
The PC 41 binarizes the correction image corrected for luminance unevenness, and generates a binarized cell image 30a (see FIG. 3B). Thereby, the cell 2 becomes a binarized cell image 2a with a uniform intracellular structure. Specifically, when extracting the cells, the brightness of the region that clearly becomes the background is sampled from the brightness unevenness corrected image in step S2, and the noise components, that is, the average value μ1 of the background brightness and the standard deviation σ1 are calculated. The luminance value that is not a noise component in the background portion is assumed to be a cell, and the luminance unevenness correction image is binarized using (μ1−m1 × σ1) as a threshold value. Here, m1 is an appropriate magnification. Since the cell image in the luminance unevenness corrected image is dark, the luminance value is small. Therefore, a process is performed in which a pixel having a luminance value exceeding the threshold (μ1−m1 × σ1) is set to luminance value = 0 (background), and an image having a luminance value lower than the threshold is set to luminance value = 1 (cell). A valued cell image 30 a is generated and stored in the memory 44. The binarized cell image 30a is an image in which the cells 2 are bright and the background is dark.

(ステップS4)
次に蛍光画像35の処理を行う。PC41は、メモリ44に保存されている高倍で取得した蛍光画像35(図4(a)参照)を読み出す。
(Step S4)
Next, the fluorescent image 35 is processed. The PC 41 reads the fluorescence image 35 (see FIG. 4A) acquired at a high magnification stored in the memory 44.

(ステップS5)
PC41は、メモリ44から読み出した蛍光画像35の輝度ムラ補正を行い輝度ムラ補正蛍光画像を生成する。輝度ムラ補正の方法は、ステップS2と同様の方法を使用する。PC41は、輝度ムラ補正蛍光画像を用いて、背景部分のノイズ成分すなわち背景輝度の平均値μ2と、標準偏差σ2を計算する。
(Step S5)
The PC 41 corrects luminance unevenness of the fluorescent image 35 read from the memory 44 and generates a luminance unevenness corrected fluorescent image. The method for correcting luminance unevenness uses the same method as in step S2. The PC 41 calculates the noise component of the background portion, that is, the average value μ2 of the background luminance and the standard deviation σ2 using the luminance unevenness corrected fluorescent image.

(ステップS6)
PC41は、ステップS3と同様の処理により輝度ムラ補正蛍光画像を二値処理して、二値化蛍光画像35a(図4(b)参照)を生成し、メモリ44に保存する。このとき、蛍光画像35の細胞部分が明るいとして、ステップS5で得られた輝度ムラ補正蛍光画像を(μ2+m2×σ2)を閾値として二値化する。ここで、m2は適当な倍率である。輝度ムラ蛍光補正画像における細胞像は明るいため輝度値が大きい。そこで、閾値(μ2+m2×σ2)を超えた輝度値を持つ画素を輝度値=1(細胞)、閾値を下回る輝度値を持つ画を輝度値=0(背景)とする処理を行い、二値化蛍光画像35aを生成し、メモリ44に保存する。PC41は、ステップS4からステップS6までの処理をウェル10aで取得した複数の高倍の蛍光画像35の全てにわたって行う。この結果、メモリ44には、ウェル10a底面全域を二値化した低倍の二値化細胞画像30aと複数の高倍の蛍光画像35それぞれを二値化した複数の二値化蛍光画像35aが保存される。
(Step S6)
The PC 41 performs binary processing on the luminance unevenness-corrected fluorescent image by the same process as in step S <b> 3, generates a binary fluorescent image 35 a (see FIG. 4B), and stores it in the memory 44. At this time, assuming that the cell portion of the fluorescent image 35 is bright, the luminance unevenness corrected fluorescent image obtained in step S5 is binarized using (μ2 + m2 × σ2) as a threshold value. Here, m2 is an appropriate magnification. Since the cell image in the luminance unevenness fluorescence correction image is bright, the luminance value is large. Therefore, binarization is performed by setting a pixel having a luminance value exceeding the threshold (μ2 + m2 × σ2) to luminance value = 1 (cell) and an image having a luminance value lower than the threshold being luminance value = 0 (background). A fluorescent image 35 a is generated and stored in the memory 44. The PC 41 performs the processing from step S4 to step S6 over all of the plurality of high-magnification fluorescent images 35 acquired in the well 10a. As a result, the memory 44 stores a low-magnification binarized cell image 30a binarized over the entire bottom surface of the well 10a and a plurality of binarized fluorescent images 35a binarized from the plurality of high-magnification fluorescent images 35, respectively. Is done.

(ステップS7、S8)
PC41は、ステップS1からステップS6で形成した二値化細胞画像30aと複数の二値化蛍光画像35aそれぞれの像倍率を同じにするため、それぞれの倍率差に基き二値化細胞画像30aと複数の二値化蛍光画像35aをそれぞれリサイズする。これにより、それぞれの二値化画像における細胞2aは、ほぼ同じサイズにリサイズされる。図5(a)は、このようにして得られた同倍率にリサイズされた二値化細胞画像130aを、図5(b)は、同倍にリサイズされた二値化蛍光画像135a(テンプレート画像)をそれぞれ示している。
(Steps S7, S8)
In order to make the image magnifications of the binarized cell image 30a formed in steps S1 to S6 and the binarized fluorescent images 35a the same, the PC 41 uses the binarized cell image 30a and the plural binarized cell images 30a based on the respective magnification differences. Each of the binarized fluorescent images 35a is resized. Thereby, the cell 2a in each binarized image is resized to substantially the same size. FIG. 5A shows the binarized cell image 130a resized to the same magnification obtained in this way, and FIG. 5B shows the binarized fluorescent image 135a (template image resized to the same magnification). ) Respectively.

(ステップS9、S10)
PC41は、リサイズした二値化蛍光画像135aをテンプレートとして、リサイズした二値化細胞画像130aに対してテンプレートマッチング処理を実行する。二値化細胞画像マッチング評価値には、マッチングに使用する画像が両者とも二値化画像であることから両画像の差分値を使用する。そして、この差分値が最も小さい時にテンプレート画像の位置とし、タイリング位置決定する。
(Steps S9 and S10)
The PC 41 executes template matching processing on the resized binarized cell image 130a using the resized binarized fluorescent image 135a as a template. Since the images used for matching are both binarized images, the difference value between the two images is used as the binarized cell image matching evaluation value. The position of the template image is determined when the difference value is the smallest, and the tiling position is determined.

(ステップS11)
このようなテンプレートマッチング処理を取得した全ての高倍蛍光画像35に対して行うことでウェル10aの底面全域にわたる高倍蛍光画像を配置した蛍光タイリング画像を生成することができる。なお、このテンプレートマッチング処理は、そのまま行うとPC41における計算に時間がかかるため、メモリ44に保存されている蛍光画像35を取得した時のステージ3のXY座標を使って、低倍細胞画像30のおおよその位置を求め、この求められた位置を基準として所定のサーチ範囲を決めておくことによりテンプレートマッチング処理時間を短縮することができる。
(Step S11)
By performing such template matching processing on all the high-magnification fluorescent images 35 that have been acquired, it is possible to generate a fluorescence tiling image in which the high-magnification fluorescent images over the entire bottom surface of the well 10a are arranged. If this template matching process is performed as it is, it takes time for calculation in the PC 41. Therefore, using the XY coordinates of the stage 3 when the fluorescent image 35 stored in the memory 44 is acquired, the low-magnification cell image 30 is displayed. The template matching processing time can be shortened by obtaining an approximate position and determining a predetermined search range based on the obtained position.

このように、本実施形態にかかる画像生成装置では、従来のようなのりしろ部分に存在するパターン画像のマッチング度を評価してタイリングするのではなく(蛍光画像ではのりしろ部分は真っ暗でマッチング度を評価するパターン画像が存在しない)、低倍で取得した標本の全体画像の二値化画像を基準として、高倍で取得した蛍光画像の細胞の発光パタンのマッチング度を評価することで、高倍で取得した蛍光画像のタイリングを行うことができる。また、従来のようにのりしろ部分を使用しないため、高倍の蛍光画像の取得時にのりしろ部分を考慮する必要が無く、のりしろ部分で発生するタイリング誤差を小さく抑えることができる。   As described above, the image generating apparatus according to the present embodiment does not evaluate and tile the matching degree of the pattern image existing in the marginal portion as in the past (in the fluorescent image, the marginal portion is dark and the matching degree is high). There is no pattern image to evaluate), and by using the binarized image of the entire sample image obtained at low magnification as a reference, it is obtained at high magnification by evaluating the degree of matching of the emission pattern of the cells of the fluorescence image obtained at high magnification The tiling of the fluorescent image can be performed. In addition, since the margin portion is not used as in the prior art, it is not necessary to consider the margin portion when acquiring a high-magnification fluorescent image, and the tiling error that occurs in the margin portion can be suppressed to a low level.

なお、上記説明において、ウェル底面全域の低倍画像は、明視野透過像の画像を使用して高倍の蛍光画像をテンプレートマッチング処理する場合について述べたが、低倍画像に代わってウェル底面全域の低倍蛍光画像を使用することも可能である。この場合、図1において、低倍用照明光学系4と低倍結像光学系5は、必要なく蛍光結像光学系20で低倍の蛍光画像と高倍の蛍光画像を取得する構成にすれば良い。また、ステップS3の二値化処理において、ステップS6と同様に輝度ムラ補正画像を(μ1+m1×σ1)を閾値として二値化する。低倍蛍光画像では、輝度ムラ補正画像における細胞像は明るいため輝度値が大きい。そこで、閾値(μ1+m1×σ1)を超えた輝度値を持つ画素を輝度値=1(細胞)、閾値を下回る輝度値を持つ画素を輝度値=0(背景)とする処理を行うように変更する。そして、その他の処理は、上述と同様の処理を行うことで同様の作用、効果を奏することができる。   In the above description, the low-magnification image of the entire well bottom surface has been described for the case where the high-magnification fluorescent image is subjected to template matching processing using the bright-field transmission image. It is also possible to use low-magnification fluorescent images. In this case, in FIG. 1, the low-magnification illumination optical system 4 and the low-magnification imaging optical system 5 are configured to acquire a low-magnification fluorescent image and a high-magnification fluorescent image by the fluorescence imaging optical system 20 without necessity. good. Further, in the binarization process of step S3, the luminance unevenness correction image is binarized using (μ1 + m1 × σ1) as a threshold value as in step S6. In the low-magnification fluorescent image, since the cell image in the luminance unevenness correction image is bright, the luminance value is large. Therefore, the processing is changed so that the pixel having the luminance value exceeding the threshold (μ1 + m1 × σ1) is set to luminance value = 1 (cell) and the pixel having the luminance value lower than the threshold is set to luminance value = 0 (background). . And other processes can show the same operation and effect by performing the same processes as described above.

以上述べたように、本実施形態にかかる画像生成装置は、低倍細胞画像を基準として高倍の蛍光画像をテンプレートすることで高倍の蛍光画像を高い位置精度でテンプレートマッチングすることができる。この結果、ウェルの底面全域にわたり高い位置精度で配置した高倍蛍光画像を得ることができる。   As described above, the image generation apparatus according to the present embodiment can template-match a high-magnification fluorescent image with high positional accuracy by using a high-magnification fluorescent image as a template based on the low-magnification cell image. As a result, a high-magnification fluorescent image arranged with high positional accuracy over the entire bottom surface of the well can be obtained.

1 顕微鏡装置
2 試料(細胞)
3 ステージ
4 低倍用照明光学系
5 低倍結像光学系
10 ウェルプレート
12 低倍対物レンズ
13、25 鏡筒部
14 カメラ
20 蛍光結像光学系
21 対物レンズ
22 励起光源
23 レボルバ
24 励起光学系
26 ダイクロイックミラー
27 エミッションフィルタ
28 フィルタキューブ
30 低倍細胞画像
30a 二値化細胞画像
35 高倍蛍光画像
35a 二値化蛍光画像
40 画像生成装置
41 PC
42 モニタ
43 入力装置
44 メモリ
130a 蛍光タイリング画像
135a テンプレート
1 Microscope device 2 Sample (cell)
3 Stage 4 Low-magnification illumination optical system 5 Low-magnification imaging optical system 10 Well plate 12 Low-magnification objective lens 13, 25 Lens barrel part 14 Camera 20 Fluorescence imaging optical system 21 Objective lens 22 Excitation light source 23 Revolver 24 Excitation optical system 26 Dichroic mirror 27 Emission filter 28 Filter cube 30 Low-magnification cell image 30a Binarized cell image 35 High-magnification fluorescence image 35a Binarized fluorescence image 40 Image generation device 41 PC
42 monitor 43 input device 44 memory 130a fluorescent tiling image 135a template

Claims (7)

顕微鏡の結像位置に配設された撮像装置からの画像を処理してタイリング画像を生成する画像生成装置であって、
前記撮像装置を介して取得した、標本の複数の高倍の蛍光画像を二値化した複数の二値化蛍光画像と前記標本全体にわたる低倍画像を二値化した二値化標本画像を、同倍率にリサイズして前記二値化標本画像を基準として前記二値化蛍光画像をそれぞれタイリングした一つの蛍光画像を生成する画像生成手段を有することを特徴とする画像生成装置。
An image generation device that generates a tiling image by processing an image from an imaging device disposed at an imaging position of a microscope,
A plurality of binarized fluorescent images obtained by binarizing a plurality of high-magnification fluorescent images of a specimen and a binarized specimen image obtained by binarizing the low-magnification image over the entire specimen, obtained through the imaging device, An image generation apparatus comprising: an image generation unit that generates a single fluorescence image that is resized to a magnification and tiles each of the binarized fluorescence images with the binarized sample image as a reference.
前記低倍画像と複数の前記高倍蛍光画像は、取得時の位置座標値をそれぞれ有し、
前記画像生成手段は、前記位置座標を参考にして予備タイリング後、前記二値化標本画像と前記二値化蛍光画像との差分値が最小となる位置にそれぞれの前記二値化蛍光画像をタイリングすることを特徴とする請求項1に記載の画像生成装置。
The low-magnification image and the plurality of high-magnification fluorescent images each have a position coordinate value at the time of acquisition,
The image generation means, after preliminary tiling with reference to the position coordinates, each binarized fluorescent image at a position where a difference value between the binarized sample image and the binarized fluorescent image is minimum. The image generating apparatus according to claim 1, wherein tiling is performed.
前記低倍画像、前記蛍光画像、および前記タイリング画像を保存する保存手段を有することを特徴とする請求項1または2に記載の画像生成装置。   The image generation apparatus according to claim 1, further comprising a storage unit that stores the low-magnification image, the fluorescence image, and the tiling image. 前記低倍画像は、低倍の蛍光画像であることを特徴とする請求項1から3のいずれか一項に記載の画像生成装置。   The image generation apparatus according to claim 1, wherein the low-magnification image is a low-magnification fluorescent image. 細胞を培養するウェルの底部全面の細胞画像を取得する低倍画像取装置と、
前記低倍画像取得装置より倍率の高い蛍光画像を取得する蛍光画像取得装置と、
前記細胞画像から前記細胞を抽出した第1の細胞画像と、前記蛍光画像から前記細胞を抽出した第2の細胞画像とを用いて、前記第2の細胞画像の前記第1の細胞画像に対するテンプレートマッチングを行い、前記蛍光画像の前記細胞画像に対する位置を決定する画像生成装置と、を有することを特徴とする顕微鏡装置。
A low-magnification image capturing device that acquires a cell image of the entire bottom surface of a well in which cells are cultured;
A fluorescence image acquisition device for acquiring a fluorescence image having a higher magnification than the low magnification image acquisition device;
A template for the first cell image of the second cell image using a first cell image obtained by extracting the cell from the cell image and a second cell image obtained by extracting the cell from the fluorescence image. An image generating apparatus that performs matching and determines a position of the fluorescent image with respect to the cell image.
前記低倍画像取得装置は、前記細胞を培養するウェルの培養液表面の変形によるメニスカス効果を抑制して前記ウェルの底部全面の前記細胞画像を取得することを特徴とする請求項5に記載の顕微鏡装置。   The said low-magnification image acquisition apparatus suppresses the meniscus effect by the deformation | transformation of the culture medium surface of the well which culture | cultivates the said cell, and acquires the said cell image of the bottom part whole surface of the said well. Microscope device. 前記低倍画像取得装置は、照明光学系と、結像光学系とを有し、
前記照明光学系の照明光の実効的なNAは、前記結像光学系の対物レンズの開口数より小さいことを特徴とする請求項5または6に記載の顕微鏡装置。
The low-magnification image acquisition device includes an illumination optical system and an imaging optical system,
The microscope apparatus according to claim 5 or 6, wherein an effective NA of illumination light of the illumination optical system is smaller than a numerical aperture of an objective lens of the imaging optical system.
JP2011038855A 2011-02-24 2011-02-24 Image generation device and microscope device Withdrawn JP2012173725A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011038855A JP2012173725A (en) 2011-02-24 2011-02-24 Image generation device and microscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011038855A JP2012173725A (en) 2011-02-24 2011-02-24 Image generation device and microscope device

Publications (1)

Publication Number Publication Date
JP2012173725A true JP2012173725A (en) 2012-09-10

Family

ID=46976623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011038855A Withdrawn JP2012173725A (en) 2011-02-24 2011-02-24 Image generation device and microscope device

Country Status (1)

Country Link
JP (1) JP2012173725A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016026481A (en) * 2014-03-31 2016-02-18 大日本印刷株式会社 Colony detection system, colony detection method, and program
WO2016035444A1 (en) * 2014-09-05 2016-03-10 住友電気工業株式会社 Microscope
CN109790505A (en) * 2016-09-28 2019-05-21 奥林巴斯株式会社 Cell state measuring device
WO2020161826A1 (en) * 2019-02-06 2020-08-13 オリンパス株式会社 Imaging device
CN114152610A (en) * 2021-11-02 2022-03-08 桂林优利特医疗电子有限公司 Slide cell scanning method based on visual target marker

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016026481A (en) * 2014-03-31 2016-02-18 大日本印刷株式会社 Colony detection system, colony detection method, and program
JP2016028606A (en) * 2014-03-31 2016-03-03 大日本印刷株式会社 Colony detection system, colony detection method, and program
WO2016035444A1 (en) * 2014-09-05 2016-03-10 住友電気工業株式会社 Microscope
CN109790505A (en) * 2016-09-28 2019-05-21 奥林巴斯株式会社 Cell state measuring device
DE112017004878T5 (en) 2016-09-28 2019-06-13 Olympus Corporation Zell state measuring device
WO2020161826A1 (en) * 2019-02-06 2020-08-13 オリンパス株式会社 Imaging device
US11808931B2 (en) 2019-02-06 2023-11-07 Evident Corporation Image pickup apparatus with rotation unit
CN114152610A (en) * 2021-11-02 2022-03-08 桂林优利特医疗电子有限公司 Slide cell scanning method based on visual target marker
CN114152610B (en) * 2021-11-02 2023-06-27 桂林优利特医疗电子有限公司 Slide cell scanning method based on visual target mark

Similar Documents

Publication Publication Date Title
CN107526156B (en) Light sheet microscope and method for operating a light sheet microscope
US9088729B2 (en) Imaging apparatus and method of controlling same
JP4890096B2 (en) Image acquisition apparatus, image acquisition method, and image acquisition program
EP3918402B1 (en) Calibration of a light-field imaging system
JP5633753B2 (en) Focus control method and culture observation apparatus
CN102313980A (en) Signal conditioning package, dressing table fluctuation correcting method and program
US10073258B2 (en) Microscope system
WO2014196203A1 (en) Image acquisition device, image acquisition method, and program
EP2834832B1 (en) Integrated optical and charged particle inspection apparatus
EP3318912B1 (en) Phase contrast microscope and imaging method
JP7109130B2 (en) microscope
JP2021193459A (en) Low resolution slide imaging, slide label imaging and high resolution slide imaging using dual optical path and single imaging sensor
JP2012173725A (en) Image generation device and microscope device
JP2012042669A (en) Microscope control device and optical distortion correction method
JP2020535478A (en) Double-pass macro image
JP2008046305A (en) Automatic focusing device, microscope, and automatic focusing method
JP2012220558A (en) Microscope device
JP6419761B2 (en) Imaging arrangement determination method, imaging method, and imaging apparatus
JP2017151132A (en) Phase difference microscope and imaging method
JP2011081082A (en) Optical observation device and optical observation method using transmissive light illumination
US11150457B2 (en) Observation device
JP2012159794A (en) Microscope device
JP2011017620A (en) Shape measuring method, image processing program, and observation device
US12014511B2 (en) Sample imaging via two-pass light-field reconstruction
JP2012181341A (en) Microscope device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140513