[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4997255B2 - Cell image analyzer - Google Patents

Cell image analyzer Download PDF

Info

Publication number
JP4997255B2
JP4997255B2 JP2009000168A JP2009000168A JP4997255B2 JP 4997255 B2 JP4997255 B2 JP 4997255B2 JP 2009000168 A JP2009000168 A JP 2009000168A JP 2009000168 A JP2009000168 A JP 2009000168A JP 4997255 B2 JP4997255 B2 JP 4997255B2
Authority
JP
Japan
Prior art keywords
cell
image
region
organ
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009000168A
Other languages
Japanese (ja)
Other versions
JP2009122115A (en
Inventor
浩輔 ▲高▼木
佳弘 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009000168A priority Critical patent/JP4997255B2/en
Publication of JP2009122115A publication Critical patent/JP2009122115A/en
Application granted granted Critical
Publication of JP4997255B2 publication Critical patent/JP4997255B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、動植物の細胞画像を画像処理することにより所定のデータ抽出を行う細胞画像解析装置に関する。   The present invention relates to a cell image analysis apparatus that extracts predetermined data by performing image processing on cell images of animals and plants.

バイオテクノロジーや医薬品開発の分野では、動植物細胞や微生物などに対する様々薬品や薬などの物質の効果や影響、またはこれらの物質に対する動植物細胞や微生物等の反応を確認する作業が行われている。例えば神経細胞などの複雑な形態的特長を有する細胞を観察対象とする場合には、個々の細胞の位置を認識して、細胞の総数、個々の細胞の形態的特長量を、観察・記録し、データ化する作業が必要となる。   In the fields of biotechnology and drug development, work is being performed to confirm the effects and influences of substances such as various drugs and drugs on animal and plant cells and microorganisms, or the reactions of animal and plant cells and microorganisms to these substances. For example, when targeting cells with complex morphological features such as nerve cells, the position of each cell is recognized, and the total number of cells and the amount of morphological features of each cell are observed and recorded. , Work to convert to data is required.

しかしながら、複雑な形態の細胞の総数を数える観察作業は研究者の目視観察に依存しており、観察結果が研究者間でばらついたり、顕微鏡画像を長時間観察することによる疲労により観察結果が変動するという問題があった。複雑な形態的な特徴を有する複数の細胞を個別に識別しそれらの特徴量を自動的に抽出する手段は実現されていない、あるいは、充分な精度を実現しえないというのが現状である。   However, the observation work to count the total number of cells in complex forms depends on the researchers' visual observation, and the observation results fluctuate between researchers, and the observation results fluctuate due to fatigue due to long-term observation of the microscopic images. There was a problem to do. At present, a means for individually identifying a plurality of cells having complicated morphological features and automatically extracting their feature amounts has not been realized, or sufficient accuracy cannot be realized.

特に、薬物のスクリーニングの場合、試料となる細胞の条件を様々に変える必要があるため、観察対象となる細胞の数が膨大になる。このため、取得した細胞の画像を自動的に認識する装置が強く必要とされている。   In particular, in the case of drug screening, it is necessary to change the conditions of the cells to be the sample in various ways, so that the number of cells to be observed becomes enormous. For this reason, there is a strong need for an apparatus that automatically recognizes the acquired cell image.

このため、分析に最適な被写体の撮像位置を検出する技術(特許文献1参照)や、細胞画像から正しく形状抽出を行うことができる技術(特許文献2参照)が開示されている。   For this reason, a technique (see Patent Document 1) that detects an imaging position of a subject that is optimal for analysis and a technique that can correctly extract a shape from a cell image (see Patent Document 2) are disclosed.

細胞を使ったスクリーニングにおいては、細胞の画像から、個々の細胞を識別し、それら細胞の境界を決定し、個々の細胞の形状の特徴量を抽出し、薬剤による効果を定量化し比較する方法が一般的である(特許文献3参照)。   In screening using cells, there is a method that identifies individual cells from cell images, determines the boundaries of those cells, extracts the features of individual cell shapes, and quantifies and compares the effects of drugs. It is general (refer patent document 3).

これら一連の細胞の画像解析で特に困難でありかつ重要である処理は、細胞の個々の識別である。細胞の識別を誤った場合、細胞の数自体が不正確なものとなる。この場合、統計的に処理された、それぞれの細胞の特徴量のデータの信頼性が失われる。これらの理由から、良い精度での画像処理が必要とされている。   A particularly difficult and important process in image analysis of these series of cells is the individual identification of the cells. If the cells are mistakenly identified, the number of cells is inaccurate. In this case, the reliability of the characteristic amount data of each cell processed statistically is lost. For these reasons, image processing with good accuracy is required.

一般に細胞の画像は、死んだ細胞の器官の残骸、撮像する以前に細胞に対して行う処理過程で入った細胞以外のゴミ、同様に気泡類、撮像装置の焦点が合わないために生じる部分的に境界の不明確な細胞、などを含む。これらのことが困難な一つの原因である。   In general, an image of a cell is a remnant of an organ of a dead cell, debris other than a cell that was entered in a process performed on the cell before imaging, as well as bubbles, and partial images that occur because the imaging device is out of focus. Including cells with unclear boundaries. These are one of the causes that are difficult.

解析処理プログラムを備えた画像解析装置の一つの長所は、直接人間による観察を自動化する点にあるが、前項のような画像に含まれる様々な困難な要素は、特に処理を自動化した場合に顕著になる。   One advantage of an image analysis device equipped with an analysis processing program is that it directly automates observation by humans, but the various difficult elements included in the image as described in the previous section are particularly noticeable when the processing is automated. become.

また、撮像時の状態にも拠るが、細胞は、空間的な配置により、画像上重なって見えることが良くあり、これら細胞の重なりが、個々の細胞を認識・識別を困難にするもう一つの原因として挙げられる。   Although depending on the state at the time of imaging, the cells often appear to overlap each other due to the spatial arrangement, and the overlap of these cells makes another cell difficult to recognize and identify. It is cited as the cause.

このように、細胞が重なっている場合には、細胞の境界が複雑に絡み合っているので、個々の細胞が画像上に占める領域を特定することは難しく、そのため、細胞の領域を特定し、個々の細胞を認識する手段は、精度の上からも現実的ではなくなる。   In this way, when cells overlap, the boundaries of the cells are intricately intertwined, so it is difficult to identify the area that each cell occupies on the image. The means for recognizing these cells is not realistic in terms of accuracy.

個々の細胞を認識する際の間違いとして上げられるものは、見落とし、と、数え過ぎである。   There are too many mistakes to be recognized when recognizing individual cells.

”見落とし”は本来細胞として認識すべきものを細胞として認識しないことであり、”数えすぎ”は細胞以外のものを細胞として認識してしまうことから生じる。   “Overlook” means that what is supposed to be recognized as a cell is not recognized as a cell, and “too many” results from recognizing something other than a cell as a cell.

このうち見落としの例としては、画像上、2つ以上の細胞が重なって存在し、それら個々の細胞の境界の認識が困難である場合、これら複数の細胞を単一の細胞として識別してしまう、という状況が考えられる。   Among these, as an example of oversight, when two or more cells overlap in the image and it is difficult to recognize the boundary between these individual cells, these cells are identified as a single cell. , The situation can be considered.

また、数えすぎとは、逆に本来以上に境界を認識しすぎてしまうために、細胞が重なっている領域内の細胞数を本来の数以上に見積もってしまう、ということが1つの例である。   On the other hand, over-counting is one example in which the number of cells in a region where cells overlap is estimated beyond the original number because the boundary is recognized too much. .

さらに、画像は、しばしば細胞以外のゴミ等を含むが、これらを細胞として認識してしまうことから数えすぎがおこる。   Furthermore, images often contain dust other than cells, but they are recognized as cells, so that they are overcounted.

特開2001−242085JP2001-242085 特開2002−312761JP2002312761 特許公表2000−509827Patent publication 2000-509827

本発明は、細胞の総数や個々の細胞の特徴量を精度良く抽出することができる細胞画像解析装置を提供することを目的とする。   An object of the present invention is to provide a cell image analysis apparatus capable of accurately extracting the total number of cells and the feature amount of each individual cell.

本発明に係る細胞画像解析装置は、同一細胞の細胞膜と、少なくとも一つの細胞内器官とを異なる染色又は蛍光物質で発色させ、これらの画像をそれぞれ取得する細胞画像取得手段と、前記細胞画像取得手段で得られた前記細胞膜の画像と、前記細胞内器官の画像とに対して、細胞膜及び細胞内器官の領域をそれぞれ決定する領域決定手段と、前記領域決定手段で得られた前記細胞膜及び細胞内器官の領域から、それぞれの中心点を抽出する中心点抽出手段を具備する。前記中心点抽出手段は、前記細胞内器官の領域が前記細胞膜の領域に包含されるときに前記それぞれの中心点より細胞中心を判定する判定手段を具備する。The cell image analysis apparatus according to the present invention comprises a cell image acquisition means for causing the cell membrane of the same cell and at least one intracellular organ to develop color with different staining or fluorescent materials, and acquiring these images, respectively, and the cell image acquisition Region determining means for respectively determining the region of the cell membrane and the organ of the cell with respect to the image of the cell membrane obtained by the means and the image of the intracellular organ; and the cell membrane and the cell obtained by the region determining means Center point extracting means for extracting each center point from the internal organ region is provided. The center point extraction means includes determination means for determining a cell center from each center point when the intracellular organ region is included in the cell membrane region.

本発明に係る細胞画像解析方法は、同一細胞の細胞膜と、少なくとも一つの細胞内器官とを異なる染色又は蛍光物質で発色させ、これらの画像をそれぞれ取得する細胞画像取得ステップと、前記細胞画像取得手段で得られた前記細胞膜の画像と、前記細胞内器官の画像とに対して、細胞膜及び細胞内器官の領域をそれぞれ決定する領域決定ステップと、前記領域決定ステップで得られた前記細胞膜及び細胞内器官の領域から、それぞれの中心点を抽出する中心点抽出ステップを含む。前記中心点抽出ステップは、前記細胞内器官の領域が前記細胞膜の領域に包含されるときに前記それぞれの中心点より細胞中心を判定する判定ステップを含む。The cell image analysis method according to the present invention comprises a cell image acquisition step of acquiring a color of a cell membrane of the same cell and at least one intracellular organ with different staining or fluorescent materials, and acquiring these images, respectively. An area determining step for determining an area of the cell membrane and an intracellular organ with respect to the image of the cell membrane obtained by the means and an image of the intracellular organ; and the cell membrane and the cell obtained in the area determining step A center point extracting step for extracting each center point from the internal organ region is included. The center point extraction step includes a determination step of determining a cell center from each center point when the intracellular organ region is included in the cell membrane region.

本発明によれば、個々の複雑な形態的な特徴を有する細胞を正しく認識し、これら細胞の総数を正確に数え、さらに個々の細胞の特徴量を、細胞画像から自動的に抽出することができる。   According to the present invention, it is possible to correctly recognize cells having individual complex morphological features, accurately count the total number of these cells, and automatically extract feature amounts of individual cells from cell images. it can.

本発明の一実施の形態に係る画像処理装置の構成を示すブロック図。1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.

本発明の一実施の形態に係る画像処理の全体の流れを示すフロー図。The flowchart which shows the whole flow of the image processing which concerns on one embodiment of this invention.

本発明の一実施の形態に係る中心点判定(吟味)の流れを示すフロー図。The flowchart which shows the flow of the center point determination (examination) which concerns on one embodiment of this invention.

本発明の一実施の形態に係る単一画像から中心点を抽出する場合の流れを示すフロー図。The flowchart which shows the flow in the case of extracting a center point from the single image which concerns on one embodiment of this invention.

細胞が不規則な形状をとる場合を例にとって、細胞中心を決定する方法を説明するための図。The figure for demonstrating the method of determining a cell center for the case where a cell takes an irregular shape as an example.

抽出された細胞境界を使って中心点を求める方法を説明するための図。The figure for demonstrating the method of calculating | requiring a center point using the extracted cell boundary.

具体的な細胞中心の決定方法を説明するための図。The figure for demonstrating the determination method of a specific cell center.

細胞核が細胞膜の外にはみ出ている場合の処理を説明するための図。The figure for demonstrating the process when the cell nucleus has protruded out of the cell membrane.

細胞中心判定部によって、細胞境界内に細胞中心が2つ存在する場合の判定方法を説明するための図。The figure for demonstrating the determination method when two cell centers exist in a cell boundary by a cell center determination part.

異なる種類の細胞が複雑に重なりあっている場合を示す図。The figure which shows the case where different types of cells overlap in a complicated manner.

細胞の3次元画像の取得方法について示す図。The figure shown about the acquisition method of the three-dimensional image of a cell.

3次元画像処理の効果を説明するための図。The figure for demonstrating the effect of a three-dimensional image process.

図面を参照して本発明の実施の形態を説明する。本発明を実施するための基本的な構成を図1を用いて説明する。図1は本発明の一実施の形態に係る画像処理装置の構成を示すブロック図であり、本実施の形態に係る細胞画像解析装置の基本構成として走査型共焦点光学顕微鏡を例示している。   Embodiments of the present invention will be described with reference to the drawings. A basic configuration for carrying out the present invention will be described with reference to FIG. FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention, and illustrates a scanning confocal optical microscope as a basic configuration of a cell image analysis apparatus according to the present embodiment.

光源20として、例えば波長488nmのアルゴンレーザを用いる。光源20から出射されたレーザ光はコリメートレンズ22によりビーム直径が拡大されて、平行光束に変換されてダイクロイックミラー25に導かれる。ダイクロイックミラー25に導かれたレーザ光は、ダイクロイックミラー25で反射されて、XYスキャナ30に入射し、XYスキャナ30でXY軸方向に走査される。XYスキャナ30を通ったレーザ光は、対物レンズ35に入射し、測定対象である溶液状の試料42に集光される。なお、ダイクロイックミラー25は光源20からのレーザ光の波長の光を反射し、光源20からのレーザ光の波長より長い波長の光を透過させる。また、XYスキャナ30としてガルバノミラーが通常用いられる。   For example, an argon laser having a wavelength of 488 nm is used as the light source 20. The laser beam emitted from the light source 20 is expanded in beam diameter by the collimator lens 22, converted into a parallel light beam, and guided to the dichroic mirror 25. The laser light guided to the dichroic mirror 25 is reflected by the dichroic mirror 25, enters the XY scanner 30, and is scanned by the XY scanner 30 in the XY axis direction. The laser light that has passed through the XY scanner 30 enters the objective lens 35 and is focused on a solution-like sample 42 that is a measurement target. The dichroic mirror 25 reflects light having a wavelength of laser light from the light source 20 and transmits light having a wavelength longer than the wavelength of laser light from the light source 20. Further, a galvanometer mirror is usually used as the XY scanner 30.

試料42は、蛍光物質で標識されて、詳細は後述する顕微鏡の試料ステージ40上に載置されたマイクロプレート41上に置かれている。蛍光物質として、例えば、ローダミン・グリーン(RhG)が用いられる。試料42から発せられる蛍光は、対物レンズ35を再び通過し、XYスキャナ30を通ってダイクロイックミラー25を通過し、ミラー50で反射されてレンズ51に到達する。レンズ51で蛍光は集光されて、ピンホール52の開口部でフォーカスされた後に、光検出器55で受光される。光検出器55で受光された蛍光信号は光電流信号に変換され、画像処理部80に入力され、詳細は後述する信号処理、画像解析等の演算が行われて。モニタ上に試料の蛍光画像が抽出される。なお、光検出器55として通常CCD(Charge Coupled Device)カメラが用いられるが、CMOS(Complememtary Metal Oxide Semiconductor)イメージセンサ等を用いても良い。   The sample 42 is labeled with a fluorescent substance, and is placed on a microplate 41 placed on a sample stage 40 of a microscope, which will be described in detail later. For example, rhodamine green (RhG) is used as the fluorescent material. The fluorescence emitted from the sample 42 passes through the objective lens 35 again, passes through the XY scanner 30, passes through the dichroic mirror 25, is reflected by the mirror 50, and reaches the lens 51. The fluorescent light is collected by the lens 51, focused at the opening of the pinhole 52, and then received by the photodetector 55. The fluorescence signal received by the photodetector 55 is converted into a photocurrent signal and input to the image processing unit 80, and calculation such as signal processing and image analysis described later is performed in detail. A fluorescent image of the sample is extracted on the monitor. Note that a CCD (Charge Coupled Device) camera is normally used as the light detector 55, but a CMOS (Complementary Metal Oxide Semiconductor) image sensor or the like may be used.

試料42を収容する容器として、例えば底面が透明に施された96穴のマイクロプレート41が用いられる。対物レンズ35の先端とマイクロプレート41の間は、液浸水で満たされている。マイクロプレート41は、試料ステージ40の上に保持される。試料ステージ40には、試料ステージ40が直交する2方向に移動可能なように、2個のステッピングモータ(図示しない)が取り付けられており、それぞれのステッピングモータは試料ステージコントローラ45に接続されている。試料ステージコントローラ45はコンピュータ10に接続されており、試料ステージ40を保持し、コンピュータ10からの指令により、ステッピングモータを駆動することによって試料ステージ40をX方向とY方向に移動させて、試料42面を適切な位置に配置する、
また、対物レンズ35をZ方向に移動させることにより、レーザ光のフォーカス位置をZ軸方向に沿って上下に移動させることができる。
As a container for accommodating the sample 42, for example, a 96-hole microplate 41 having a transparent bottom surface is used. The space between the tip of the objective lens 35 and the microplate 41 is filled with immersion water. The microplate 41 is held on the sample stage 40. Two stepping motors (not shown) are attached to the sample stage 40 so that the sample stage 40 can move in two directions orthogonal to each other, and each stepping motor is connected to the sample stage controller 45. . The sample stage controller 45 is connected to the computer 10, holds the sample stage 40, and moves the sample stage 40 in the X direction and the Y direction by driving a stepping motor according to a command from the computer 10, thereby Place the face in the correct position,
In addition, by moving the objective lens 35 in the Z direction, the focus position of the laser light can be moved up and down along the Z-axis direction.

なお、蛍光物質については、ローダミン・グリーンに限ることなく、光源の波長を対応させることができれば、例えば、TMR(Tetrame−hylrhodamine)、サイファイヴ(Cy5)、FITC(Fluorescein−isothiocyanate)、TOTO1、Acridine−Orange、Texas−Redなどを用いても良い。   Note that the fluorescent material is not limited to rhodamine green, and can correspond to the wavelength of the light source. -Orange, Texas-Red, etc. may be used.

光検出器55からの出力は画像処理部80に入力して、種々の画像処理が行われるが、画像処理部80は以下のような各処理部を備えている。まず、光検出器55からの出力(本明細書においては、特に断らない限り、「撮影画像」が出力されるものとする)に基づいて、細胞中心抽出処理部81は、画像中の個々の細胞について、その中心(以下、「細胞中心」と称する)となる点を検出する。細胞中心判定部82は、複数の画像間で細胞中心抽出処理部81で抽出された点を比較し、細胞中心として不適切と判断した点を除いた点を細胞中心として決定する。細胞境界抽出部83は、細胞中心判定部82で決定された細胞中心点を囲む境界を抽出する。特徴量抽出処理部84は、細胞境界抽出部83の結果に基づいて、個々の細胞の形態的特徴量を抽出する。細胞の総数抽出処理部85は、細胞中心抽出処理部81から特徴量抽出処理部84の結果を解析して画像に含まれる細胞の個数を抽出する。   The output from the photodetector 55 is input to the image processing unit 80 and various image processing is performed. The image processing unit 80 includes the following processing units. First, based on the output from the light detector 55 (in this specification, unless otherwise specified, “photographed images” are output), the cell center extraction processing unit 81 is configured to output individual images in the image. A point that is the center of the cell (hereinafter referred to as “cell center”) is detected. The cell center determination unit 82 compares the points extracted by the cell center extraction processing unit 81 between a plurality of images, and determines a point excluding the point determined to be inappropriate as the cell center as the cell center. The cell boundary extraction unit 83 extracts a boundary surrounding the cell center point determined by the cell center determination unit 82. The feature amount extraction processing unit 84 extracts morphological feature amounts of individual cells based on the result of the cell boundary extraction unit 83. The total cell number extraction processing unit 85 analyzes the result of the feature amount extraction processing unit 84 from the cell center extraction processing unit 81 and extracts the number of cells included in the image.

なお、画像処理部80を構成するハードウェアとしては、例えば汎用コンピュータ或いはパーソナルコンピュータ等のようにコンピュータプログラムによって作動する汎用的な処理装置を用いることができる。また、画像処理部80は、コンピュータ10の一部であっても良い。本実施の形態では、上記のような処理装置に、画像処理部80として機能させるためのコンピュータプログラム、すなわち細胞中心抽出処理部81、細胞中心判定部82、細胞境界抽出部83、個々の細胞の特徴量抽出処理部84、細胞の総数抽出処理部85のそれぞれの機能を実現させるためのプログラムをインストールして細胞画像の処理装置を構成している。   In addition, as hardware which comprises the image process part 80, the general purpose processing apparatus which operate | moves by a computer program like a general purpose computer or a personal computer can be used, for example. The image processing unit 80 may be a part of the computer 10. In the present embodiment, a computer program for causing the processing apparatus as described above to function as the image processing unit 80, that is, the cell center extraction processing unit 81, the cell center determination unit 82, the cell boundary extraction unit 83, and the individual cell A program for realizing the functions of the feature amount extraction processing unit 84 and the total cell number extraction processing unit 85 is installed to constitute a cell image processing apparatus.

上記のように構成された本発明の一実施の形態に係る細胞画像解析装置の動作を図2から図4のフロー図を参照して説明する。なお、図2は本発明の一実施の形態に係る画像処理の全体の流れを示すフロー図、図3は本発明の一実施の形態に係る中心点判定(吟味)の流れを示すフロー図、図4は本発明の一実施の形態に係る単一画像から中心点を抽出する場合の流れを示すフロー図である。   The operation of the cell image analysis apparatus according to the embodiment of the present invention configured as described above will be described with reference to the flowcharts of FIGS. 2 is a flowchart showing the overall flow of image processing according to an embodiment of the present invention. FIG. 3 is a flowchart showing the flow of center point determination (examination) according to an embodiment of the present invention. FIG. 4 is a flowchart showing a flow when a center point is extracted from a single image according to an embodiment of the present invention.

図2を参照して、本実施の形態に係る画像処理の全体の流れを説明する。まず、撮影の準備として、観察の対象となる各種条件下での試料42となる細胞を準備し、適当な染色を行って、発光させるための操作を細胞(以下、「試料」とも称する)に対して行う。これらの試料を試料ステージ40に設置して位置を固定する。これらの準備が終了したら、試料42の画像を光検出器55(例えばデジタルカメラ)により検出(撮像)する(ステップA1)。この場合において、試料42の位置を固定したまま、必要な回数(すなわち複数回)フィルターの変更を行って撮像条件の変更を行いながら試料を撮影する。さらに、マイクロプレート41を使って試料の位置を変更しながら試料42を撮像する。次に、各画像についてそれぞれの細胞の中心点(すなわち細胞中心)を抽出する(ステップA2)。そして、ステップA2で求めた細胞中心について、複数の画像間で照合することによって、細胞中心であるかどうかを吟味して、細胞中心を決定する(ステップA3)。次に、ステップA3で求めた細胞中心に基づいて各細胞の境界を抽出する(ステップA4)。そして、上記の解析結果に基づいて、各細胞の特徴量を抽出したり、細胞の総数を計数した結果を出力する(ステップA5)。   With reference to FIG. 2, the overall flow of the image processing according to the present embodiment will be described. First, as a preparation for photographing, a cell to be a sample 42 under various conditions to be observed is prepared, and an operation for performing appropriate staining and light emission is performed on the cell (hereinafter also referred to as “sample”). Against. These samples are placed on the sample stage 40 and their positions are fixed. When these preparations are completed, the image of the sample 42 is detected (captured) by the photodetector 55 (for example, a digital camera) (step A1). In this case, the sample is photographed while changing the imaging condition by changing the filter a required number of times (that is, a plurality of times) while the position of the sample 42 is fixed. Further, the sample 42 is imaged while changing the position of the sample using the microplate 41. Next, the center point of each cell (that is, the cell center) is extracted for each image (step A2). Then, the cell center obtained in step A2 is collated between a plurality of images to examine whether it is a cell center and to determine the cell center (step A3). Next, the boundary of each cell is extracted based on the cell center obtained in step A3 (step A4). And based on said analysis result, the feature-value of each cell is extracted or the result which counted the total number of cells is output (step A5).

上記のように試料を撮像して特徴量の抽出などを行う場合において、まず異なる複数の染色方法で細胞を染色した場合について説明する。   A case where cells are stained by a plurality of different staining methods in the case where a sample is imaged to extract a feature amount as described above will be described.

細胞画像は、一般に、細胞内のたんぱく質や、細胞内の核を染色したり、蛍光たんぱく質を使いて、これらの操作により発色した光を顕微鏡などにより、拡大して撮像されることが多い。   In general, cell images are often imaged by magnifying the light developed by these operations using a microscope or the like by staining intracellular proteins and intracellular nuclei or using fluorescent proteins.

特に複数種類の細胞が混在している試料においては、染色方法によって特定の種類の細胞のみ発光するように操作することができる。この性質を使って、観察したい細胞に対して、特徴的な染色方法あるいは発光の操作を行うことができる。   In particular, in a sample in which a plurality of types of cells are mixed, the operation can be performed so that only specific types of cells emit light by the staining method. Using this property, a characteristic staining method or luminescence operation can be performed on cells to be observed.

そして、異なる周波数帯の光を透過する複数のフィルターを用意して、細胞の同一の場所を、異なるフィルターを通して撮像することにより、同一の対象(細胞)に対して、異なる条件で撮像した複数の画像を取得することができる。   Then, by preparing a plurality of filters that transmit light in different frequency bands and imaging the same place of cells through different filters, the same object (cell) is imaged under different conditions. Images can be acquired.

細胞中心の判定(吟味)処理の流れを、図3に示す。なお、図3において、図2と同じ部分には同じ符号を付している。上記のようにして複数の画像を撮像して、同一の細胞の試料であって、同じ位置の画像を複数の条件で撮像する(ステップA1)。次に、それぞれの画像中のそれぞれの細胞の細胞中心の候補を抽出する(ステップA2)。そして、細胞中心の候補として抽出した画像中の各点に対して、異なる画像中で最も近い点を対になるパートナー点として検出する(ステップB1)。なお、このパートナー点の検出は、他の画像の各点に対しても同様に検出する。次に、詳細は後述するように、細胞核領域が細胞膜領域に完全に含まれるかどうかを判断する(ステップB2)。そして、複数の画像中のパートナー点が一致することを条件として、複数の画像中のパートナー点が一致した点を細胞中心として決定する(ステップB3)。これにより、正しい細胞中心を抽出できる。   The flow of the cell center determination (examination) process is shown in FIG. In FIG. 3, the same parts as those in FIG. A plurality of images are picked up as described above, and images of the same cell and at the same position are picked up under a plurality of conditions (step A1). Next, candidate cell centers for each cell in each image are extracted (step A2). Then, for each point in the image extracted as a cell center candidate, the closest point in a different image is detected as a partner point to be paired (step B1). This partner point is similarly detected for each point of other images. Next, as will be described in detail later, it is determined whether or not the cell nucleus region is completely included in the cell membrane region (step B2). Then, on the condition that the partner points in the plurality of images match, the point where the partner points in the plurality of images match is determined as the cell center (step B3). Thereby, the correct cell center can be extracted.

上記の処理において、ステップA2の各画像における中心点(の候補)の抽出処理を図4を参照して説明する。まず、撮像画像から細胞と他の物質(例えば溶媒)との境界を、画像処理によって、強調処理する(ステップC1)。次に、強調処理後の画像に対して二値化処理を行って、境界を検出する(ステップC2)。境界を検出したら、境界内の各点の座標(x、y)における特徴量を抽出して(ステップC3)、抽出した特徴量に対するしきい値を設定する(ステップC4)。そして、設定したしきい値に基づく特徴的な点を抽出するとともに(ステップC5)、その近傍点をまとめて(ステップC6)、中心点(の候補)を抽出する(ステップC7)。   In the above processing, the center point (candidate) extraction processing in each image in step A2 will be described with reference to FIG. First, the boundary between a cell and another substance (for example, a solvent) is enhanced from the captured image by image processing (step C1). Next, a binarization process is performed on the image after the enhancement process to detect a boundary (step C2). When the boundary is detected, the feature amount at the coordinates (x, y) of each point in the boundary is extracted (step C3), and a threshold value for the extracted feature amount is set (step C4). Then, characteristic points based on the set threshold value are extracted (step C5), the neighboring points are collected (step C6), and the center point (candidate) is extracted (step C7).

図5を参照して、細胞が不規則な形状をとる場合を例にとって、細胞中心を決定する方法を説明する。図5において、(a)は、1つの細胞体すべてを染色した場合を示す図、(b)は細胞核のみを染色した場合の図である。また、(c)は、(a)と(b)とを重ね合わせた図であって、(d)は、(a)と(b)の重なった部分を細胞中心(★印で表記)として設定した図である。   With reference to FIG. 5, a method for determining a cell center will be described by taking as an example a case where a cell has an irregular shape. In FIG. 5, (a) is a figure which shows the case where all the one cell bodies are dye | stained, (b) is a figure at the time of dyeing | staining only a cell nucleus. (C) is a diagram in which (a) and (b) are overlaid, and (d) is a cell center (denoted by ★) where the overlapping portion of (a) and (b) is the cell center. FIG.

まず、図5の(a)と(b)に示すような画像を得るために、画像を適当な値で2値化し、その0と1の境界を細胞体(或いは細胞核)の境界として設定する等の処理を行う。これにより、(a)に示すような細胞体境界や(b)に示すような細胞核境界が抽出される。なお、図5の細胞核画像は、二値化を行った細胞核の輪郭を表示しているが、通常、細胞核は円形もしくは楕円状である。しかし、複数の細胞が近接しているもしくは三次元上重なっている場合には、図に示すような、複雑な形状を示す。   First, in order to obtain an image as shown in FIGS. 5A and 5B, the image is binarized with an appropriate value, and the boundary between 0 and 1 is set as the boundary of the cell body (or cell nucleus). And so on. Thereby, a cell body boundary as shown in (a) and a cell nucleus boundary as shown in (b) are extracted. Note that the cell nucleus image in FIG. 5 displays the outline of the binarized cell nucleus, but the cell nucleus is usually circular or elliptical. However, when a plurality of cells are close to each other or three-dimensionally overlap, a complicated shape as shown in the figure is shown.

次に、所定のアルゴリズムを使って、細胞体境界や細胞核の境界で囲まれた画像のそれぞれの中心点を抽出する。なお、この場合において、細胞体の画像のみを用いている場合には、抽出された境界が単一の細胞によるものであるか、複数の細胞によりできたものであるかは判断できない。例えば、細胞の中心点の候補は、図5の(a)及び(b)における細胞体画像や細胞核の中心のように推定される。そして、(a)と(b)を(c)に示すように重ね合わせて、(d)に示すような細胞中心を決定することができる。   Next, the center point of each image surrounded by the cell body boundary and the cell nucleus boundary is extracted using a predetermined algorithm. In this case, when only the cell body image is used, it cannot be determined whether the extracted boundary is formed by a single cell or a plurality of cells. For example, the candidate for the center point of the cell is estimated as the cell body image and the center of the cell nucleus in FIGS. 5 (a) and 5 (b). Then, (a) and (b) can be superimposed as shown in (c) to determine the cell center as shown in (d).

ここで、中心点の求め方はいくつか考えられる。細胞核画像などの場合には、染色後の核の発光量は細胞核中心が最も高く核の周辺はこれらと比較してより少なく発光するという傾向がある。よって、細胞核の中心は、画像中の輝度が局所的に高くなる位置として求めることができる。   Here, there are several ways to find the center point. In the case of a cell nucleus image or the like, the amount of light emitted from the nucleus after staining tends to be highest at the center of the cell nucleus and less emitted around the nucleus as compared with these. Therefore, the center of the cell nucleus can be obtained as a position where the luminance in the image is locally increased.

逆に細胞膜を染色する、あるいは、細胞中の特定たんぱく質を発光させるなどの方法で撮像された細胞画像は、必ずしも上記のような特徴を持つとは限らない。
これらの画像に対しては、抽出された細胞境界を使って中心点を求める方法が適していると考えられる。具体的には細胞境界の重心点を求めたり、あるいは、境界の幅に注目し、極大になる幅を求め、その中間点を中心点とするなどの方法がある。例えば、図6では、2つの細胞の一部が重なっているような場合を例にとっているが、この場合には、極大値は画像中で2つ得られるので、その極大値が両者とも長さlとして得られたのであれば、それらの中間点l/2の位置を細胞中心として推定或いは決定することができる。
Conversely, a cell image captured by a method such as staining a cell membrane or causing a specific protein in a cell to emit light does not necessarily have the characteristics described above.
For these images, a method of obtaining the center point using the extracted cell boundary is considered suitable. Specifically, there are methods such as obtaining the center-of-gravity point of the cell boundary, or paying attention to the width of the boundary, obtaining the maximum width, and setting the middle point as the center point. For example, FIG. 6 shows an example in which two cells are partially overlapped. In this case, since two local maximum values are obtained in the image, both local maximums are lengths. If it is obtained as l, the position of the intermediate point l / 2 can be estimated or determined as the cell center.

図7を参照して、具体的な細胞中心の決定方法を説明する。図7においても、細胞体画像と細胞核画像の2つの画像を使った解析を例に取って説明する。まず、それぞれの画像に対して、細胞中心の候補となる点を抽出する。この時に、細胞体画像における細胞中心の候補として点a1、点a2、点a3の3点が抽出され、細胞核画像における細胞中心の候補として点b1、点b2、点b3の3点が抽出されたものとする。次に2つの画像を重ね合わせて、抽出した細胞中心の候補の最短距離となるパートナー点を他の画像の細胞中心の候補を参照して検出する。このとき、例えば、候補点a1を取り、この点ともっとも近い点を点b1、点b2、点b3の中から検出する。仮に最も近い点が点b2とすると、点a1のパートナー点は点b2となる。このように、点a1、点a2、点a3の各点に対するパートナー点を求め、同様に点b1、点b2、点b3の各点に対するパートナー点を求める。このように、細胞体画像上の各点に対して最も近い細胞核上の点をそれぞれの候補に対するパートナー点とし、細胞核画像上の各点に対して、細胞体画像上の中心点候補で最も近い点をそれぞれの候補に対するパートナー点とする。これにより、2つの画像の各点に対してパートナー点が求められるが、お互いのパートナー点の位置が一致するもののみを細胞中心として決定する。これにより正しい細胞中心が決定される。   A specific cell center determination method will be described with reference to FIG. In FIG. 7 as well, an analysis using two images of a cell body image and a cell nucleus image will be described as an example. First, for each image, a point that is a candidate for a cell center is extracted. At this time, three points of points a1, a2, and a3 are extracted as cell center candidates in the cell body image, and three points of points b1, b2, and b3 are extracted as cell center candidates in the cell nucleus image. Shall. Next, the two images are overlapped, and the partner point that is the shortest distance of the extracted cell center candidates is detected with reference to the cell center candidates of other images. At this time, for example, the candidate point a1 is taken, and the point closest to this point is detected from the points b1, b2, and b3. If the closest point is point b2, the partner point of point a1 is point b2. In this way, partner points for the points a1, a2, and a3 are obtained, and similarly, partner points for the points b1, b2, and b3 are obtained. In this way, the closest point on the cell nucleus to each point on the cell body image is the partner point for each candidate, and each point on the cell nucleus image is closest to the center point candidate on the cell body image Points are partner points for each candidate. As a result, a partner point is obtained for each point of the two images, but only those whose partner points coincide with each other are determined as cell centers. This determines the correct cell center.

なお、上記の方法によれば、試料中に含まれるゴミなどの細胞以外の物体を誤って細胞と認識する誤検出の確率を低減することができる。例えば、上記のような、細胞核と細胞体の画像を使った解析を例にとれば、ゴミなどの細胞以外の物体は核をもたないため、パートナー点の位置が一致することはなく、細胞ではないと判断することができる。   In addition, according to said method, the probability of the misdetection which recognizes objects other than cells, such as garbage contained in a sample, as a cell erroneously can be reduced. For example, in the case of the analysis using the image of the cell nucleus and the cell body as described above, since the object other than the cell such as dust does not have the nucleus, the positions of the partner points do not coincide with each other. It can be judged that it is not.

なお、上記の方法で決定した細胞中心に対して、さらに別の条件を満たすことが好ましい。例えば、細胞核は細胞内器官であるので、細胞核は常に細胞膜内に存在しなくてはならない。   In addition, it is preferable to satisfy | fill another condition with respect to the cell center determined by said method. For example, since the cell nucleus is an intracellular organ, the cell nucleus must always exist in the cell membrane.

しかしながら、図8に示すように、細胞中心を誤って決定してしまい、細胞核が細胞膜の外にはみ出ている場合が考えられる。このように、誤って決定された細胞中心を除外するために、各細胞中心に対して、核領域が細胞膜内領域に完全に含まれることを条件として追加することが好ましい(なお、図中☆印の部分が細胞核として決定された部分である)。   However, as shown in FIG. 8, it is conceivable that the cell center is erroneously determined and the cell nucleus protrudes outside the cell membrane. Thus, in order to exclude erroneously determined cell centers, it is preferable to add to each cell center on the condition that the nucleus region is completely included in the region in the cell membrane (in the figure ☆ The marked part is the part determined as the cell nucleus).

図9を参照して、上記のようにして検出された細胞中心から個々の細胞境界を検出する細胞境界抽出部83の動作を説明する。図9は、細胞中心判定部82によって、細胞境界内に細胞中心が2つ存在する場合の判定方法を説明するための図である。   With reference to FIG. 9, the operation of the cell boundary extraction unit 83 that detects individual cell boundaries from the cell centers detected as described above will be described. FIG. 9 is a diagram for explaining a determination method when there are two cell centers in the cell boundary by the cell center determination unit 82.

複雑な形態を持ち、それぞれの個体により形状が著しく異なる細胞の場合、図9のような細胞体画像の境界からはこの画像中に含まれる細胞が1つなのか2つなのかを、従来では判断することはできないか、あるいは困難である。   In the case of a cell having a complicated shape and having a shape that is remarkably different depending on each individual, it is conventionally determined whether the cell included in this image is one or two from the boundary of the cell body image as shown in FIG. Judgment is impossible or difficult.

本実施の形態では、異なる条件で試料の画像を取得し(図9の(a))、重ね合わせて(図9の(b))、細胞中心を決定している(図9の(c))。図9の(c)に示すように、細胞中心判定部82で検出した中心が2の場合には、細胞の数は2であるものと判定される。従って、この場合には、細胞を隔てる境界が存在すると推定することができる。よって、本実施の形態によって細胞中心が正しく求められている場合には、適当なアルゴリズムを使うことで、例えば図9の(c)に示すように、例えば破線部分を2つの細胞の境界に設定することにより、各細胞の境界を推定することができる。   In the present embodiment, sample images are acquired under different conditions ((a) in FIG. 9) and superimposed ((b) in FIG. 9) to determine the cell center ((c) in FIG. 9). ). As shown in (c) of FIG. 9, when the center detected by the cell center determination unit 82 is 2, the number of cells is determined to be 2. Therefore, in this case, it can be estimated that there is a boundary separating the cells. Therefore, when the cell center is correctly obtained according to the present embodiment, for example, as shown in FIG. 9C, for example, a broken line portion is set at the boundary between two cells by using an appropriate algorithm. By doing so, the boundary of each cell can be estimated.

図9に示す結果は、その周囲長や突起等の各細胞の形態的特徴量を抽出する場合、結果に重大な影響を与える。例えば細胞の周囲長、細胞の外節器官の有無などを特徴量として抽出する場合を考える。   The results shown in FIG. 9 have a significant effect on the results when extracting the morphological features of each cell such as the perimeter and protrusions. For example, consider the case where the perimeter of a cell, the presence or absence of an outer segment organ of the cell, and the like are extracted as feature amounts.

図9の(a)の細胞体画像のみを使って細胞を1個として認識した場合には、細胞の周囲長は1つの細胞として算出されるので、2つの細胞分の周囲長となってしまう。このように、この場合における細胞の周囲長は、実際の周囲長の倍程度、すなわち2つ分の細胞の周囲長となり、これらの重なり状態が頻出する画像上では、平均周囲長を正確に見積もることができなくなる。   When only one cell body image in FIG. 9 (a) is used to recognize one cell, the perimeter of the cell is calculated as one cell, so that the perimeter of two cells is obtained. . As described above, the perimeter of the cell in this case is about twice the actual perimeter, that is, the perimeter of two cells, and the average perimeter is accurately estimated on an image in which these overlapping states occur frequently. I can't do that.

上記のように本実施の形態によれば、細胞の数などの誤認識による細胞の特徴量パラメタの精度も高くすることができる。   As described above, according to the present embodiment, it is possible to increase the accuracy of the feature parameter of the cell due to erroneous recognition such as the number of cells.

図10は、異なる種類の細胞が複雑に重なりあっている場合を示す図である。なお図10の(a)は細胞が重なり合った場合の例を示している。この画像に対し単純な二値化を行うと、図10の(b)に示すように、2つの細胞がほぼ重なっているため、この二値化画像から細胞の数が2つであることを認識するのは困難である。   FIG. 10 is a diagram illustrating a case where different types of cells overlap in a complicated manner. FIG. 10A shows an example in which cells overlap each other. When simple binarization is performed on this image, as shown in FIG. 10 (b), two cells are almost overlapped, so that the number of cells is two from this binarized image. It is difficult to recognize.

このように細胞が重なりあっているような場合に対して、細胞の種類が異なる(例えば、細胞種1と細胞種2である)場合には、特定の細胞種のみ撮像することで、1種類の細胞の画像のみ取得することができる(図10の(c)参照)。なお、2つの細胞の種類を区別して染色あるいは発光させる手段がある場合には、本実施の形態に係る細胞解析装置を使うことで、重なった画像を個々の細胞ごとの画像に分割することができる。これにより、細胞の重なりに起因する画像の複雑さを減少することができ、細胞の数を正確に数えることができ、個々の細胞の形態的特徴をより良く抽出することができる。また、細胞の種類によって光学系のフィルターを変更して2つの画像を取得しても良い。   In contrast to the case where the cells overlap in this way, when the cell types are different (for example, cell type 1 and cell type 2), only one specific cell type is imaged. It is possible to acquire only the cell image (see FIG. 10C). In addition, when there is a means for staining or emitting light by distinguishing two cell types, the overlapped image can be divided into images for individual cells by using the cell analysis device according to the present embodiment. it can. As a result, the complexity of the image due to the overlapping of cells can be reduced, the number of cells can be accurately counted, and the morphological features of individual cells can be extracted better. Also, two images may be acquired by changing the filter of the optical system depending on the type of cell.

特に上記の方法で検出された細胞境界により、細胞の分類を高い精度で行うことができる。分類は、上記のように検出された周囲長などの形態的特徴量を使って行われる。精度良く検出された特徴量を使えば、細胞の分類の精度を上げることができる。   In particular, the cell classification can be performed with high accuracy by the cell boundary detected by the above method. The classification is performed using morphological features such as the perimeter detected as described above. If the feature amount detected with high accuracy is used, the accuracy of cell classification can be improved.

なお、上記の実施の形態では、細胞画像が2次元画像の場合を例にとって説明したが、図11に示すように、3次元画像を取得し、その3次元画像について画像解析を行うことにより、更に精度を上げることができる。例えば、図11の(a)に示すような細胞について高さ方向をZ軸として、Z軸に垂直な平面でZ軸の位置を変えながら細胞の断層像(2次元画像)を撮像する。これにより、図11の(b)に示すような、高さの異なる複数の2次元画像が得られる。これらの複数の2次元画像に基づいて、図11の(c)に示すような細胞の3次元画像を得ることができる。なお、複数の2次元画像の画像処理方法は、上記の実施の形態で説明した処理と同じ方法によって処理可能であり、これにより、各2次元画像における正確な細胞中心の決定などの処理を行うことができる。
この場合において、例えば、図12の(a)に示すような細胞があった場合に、例えば、矢視Bの2次元画像は、細胞核を含まない図12の(b)に示すような画像となり、矢視Cの2次元画像は、細胞核を含んだ図12の(c)に示すような画像になる。このように、2次元画像のみでは、例えば、図12の(c)に示すような細胞核を捉えられないために、細胞として計数できないようなものであっても、例えば、高さ方向(水平方向であってももちろんかまわない)を変化させて複数の細胞画像を撮像して、3次元画像を得ることによって、より正確な画像解析を行うことができる。
In the above embodiment, the case where the cell image is a two-dimensional image has been described as an example. However, as illustrated in FIG. 11, by acquiring a three-dimensional image and performing image analysis on the three-dimensional image, Furthermore, the accuracy can be increased. For example, a tomographic image (two-dimensional image) of a cell as shown in FIG. 11A is taken while changing the position of the Z axis on a plane perpendicular to the Z axis with the height direction as the Z axis. As a result, a plurality of two-dimensional images having different heights as shown in FIG. Based on these two-dimensional images, a three-dimensional image of a cell as shown in FIG. 11C can be obtained. Note that the image processing method for a plurality of two-dimensional images can be processed by the same method as that described in the above embodiment, thereby performing processing such as accurate cell center determination in each two-dimensional image. be able to.
In this case, for example, when there is a cell as shown in FIG. 12A, for example, the two-dimensional image of the arrow B is an image as shown in FIG. The two-dimensional image of the arrow C is an image as shown in FIG. Thus, even if the two-dimensional image alone cannot capture the cell nucleus as shown in FIG. 12C, for example, it cannot be counted as a cell, for example, in the height direction (horizontal direction). However, it does not matter if it is a matter of course. By taking a plurality of cell images and obtaining a three-dimensional image, more accurate image analysis can be performed.

上記の各実施形態から下記の発明が抽出できる。なお、下記の各発明は単独で適用しても良いし、適宜組み合わせて適用しても良い。   The following inventions can be extracted from the above embodiments. Each of the following inventions may be applied alone or in appropriate combination.

本発明の一実施の形態に係る細胞画像解析装置は、複数の細胞に対して異なる染色で発色をさせる細胞染色手段と、前記複数の細胞を異なる条件で撮像して複数の画像を取得する細胞画像取得手段と、前記複数の画像中の各細胞に含まれる所定の要素を抽出する画像解析手段を具備することを特徴とする。ここで、前記細胞に含まれる要素は、細胞の境界、細胞体の中心、細胞核の中心、細胞の突起であることが好ましい。上記の細胞画像解析装置において、下記の実施態様が好ましい。
(1) 前記画像解析手段は、異なる2つ以上の画像のそれぞれに対して、前記複数の細胞の各細胞中心を推定する手段と、前記推定した細胞中心を前記複数の画像間で照合することによって、細胞中心を決定する手段を具備すること。
(2) 前記画像解析手段は、異なる2つ以上の画像のそれぞれに対して、異なる方法で前記複数の細胞の各細胞中心を推定する手段と、前記推定した細胞中心を前記複数の画像間で照合することによって、細胞中心を決定する手段を具備すること。
(3) 前記要素で細胞の個数を計数すること。
(4) 前記要素で個々の細胞の形状や、形態や、境界を推定すること。ここで、個々の細胞の形状・形態・境界を、各細胞の細胞中心を用いて決定すること
(5) 前記要素に基づいて細胞を分類すること。
(6) 前記細胞画像取得手段は少なくとも細胞核の画像を取得すること。
(7) 前記細胞画像取得手段は少なくとも細胞膜の画像を取得すること。
(8) 前記細胞中心を推定する手段は少なくとも細胞核の画像を用いて細胞中心を推定すること。
(9) 前記細胞中心を推定する手段は少なくとも細胞膜の画像を用いて細胞中心を推定すること。
(10) 前記細胞画像取得手段は平行かつ異なる平面の細胞の断層像を複数枚撮像する撮像手段と、前記複数の断層像から3次元像を構築する3次元構築手段とを具備し、
(11) 前記画像解析手段は前記平面の細胞の断層像に対して画像処理を行うこと。
A cell image analysis apparatus according to an embodiment of the present invention includes a cell staining unit that causes a plurality of cells to develop colors with different staining, and a cell that captures a plurality of images by imaging the plurality of cells under different conditions. Image acquisition means and image analysis means for extracting a predetermined element contained in each cell in the plurality of images are provided. Here, the element contained in the cell is preferably a cell boundary, a cell body center, a cell nucleus center, or a cell protrusion. In the above cell image analysis apparatus, the following embodiments are preferable.
(1) The image analysis means collates the estimated cell centers between the plurality of images and means for estimating the cell centers of the plurality of cells for each of two or more different images. Means for determining the cell center.
(2) The image analysis unit is configured to estimate each cell center of the plurality of cells by using a different method for each of two or more different images, and determine the estimated cell center between the plurality of images. Having means for determining cell centers by collating.
(3) Count the number of cells with the element.
(4) Estimating the shape, form, and boundaries of individual cells with the elements. Here, the shape, form, and boundary of each cell are determined using the cell center of each cell.
(5) Classifying cells based on the elements.
(6) The cell image acquisition means acquires at least an image of a cell nucleus.
(7) The cell image acquisition means acquires at least an image of a cell membrane.
(8) The means for estimating the cell center is to estimate the cell center using at least an image of a cell nucleus.
(9) The means for estimating the cell center is to estimate the cell center using at least an image of a cell membrane.
(10) The cell image acquisition unit includes an imaging unit that captures a plurality of tomographic images of cells in parallel and different planes, and a three-dimensional construction unit that constructs a three-dimensional image from the plurality of tomographic images.
(11) The image analysis means performs image processing on the tomographic image of the planar cell.

本発明の他の実施の形態に係る細胞画像解析装置は、細胞膜と、少なくとも一つの細胞内器官とを異なる染色又は蛍光タンパクで発色させ、これらの画像をそれぞれ取得する細胞画像取得手段と、前記細胞画像取得手段で得られた前記細胞膜の画像と、前記細胞内器官の画像とに対して、細胞膜及び細胞内器官の領域をそれぞれ決定する領域決定手段と、前記細胞内器官の領域が前記細胞膜の領域に包含されるときに細胞として判定する判定手段とを具備することを特徴とする。本細胞画像解析装置において、前記細胞内器官は細胞核であることが好ましく、更には、前記細胞画像取得手段は平行かつ異なる平面の細胞の断層像を複数枚撮像する撮像手段と、前記複数の断層像から3次元像を構築する3次元構築手段とを具備し、前記領域決定手段は、前記3次元像に対して前記細胞膜及び前記細胞内器官の領域決定を行い、前記判定手段は、前記3次元像に対して細胞として判定することが好ましい。   A cell image analysis device according to another embodiment of the present invention comprises a cell image acquisition means for coloring a cell membrane and at least one intracellular organ with different staining or fluorescent proteins, and acquiring these images, respectively. Region determining means for respectively determining a cell membrane and a region of the intracellular organ with respect to the image of the cell membrane obtained by the cell image acquisition means and the image of the intracellular organ; and the region of the intracellular organ is the cell membrane And determining means for determining as a cell when included in the region. In this cell image analysis apparatus, it is preferable that the intracellular organ is a cell nucleus, and further, the cell image acquisition unit includes an imaging unit that captures a plurality of tomographic images of cells in parallel and different planes, and the plurality of tomograms. Three-dimensional construction means for constructing a three-dimensional image from the image, wherein the region determination means determines the region of the cell membrane and the organ in the cell with respect to the three-dimensional image, and the determination means includes the three-dimensional image It is preferable to determine as a cell with respect to the dimensional image.

本発明の更に他の実施の形態に係る細胞画像解析装置は、複数の細胞を異なる条件で撮像した複数の画像を用いて細胞を認識することを特徴とする。ここにおいて、前記異なる条件は染色方法又は発色条件或いはその両者であることが好ましい。また、前記染色方法は、細胞体内の特定たんぱく質の染色、核の染色、蛍光たんぱくを用いた遺伝子発現時の発色を用いることが好ましい。   A cell image analysis apparatus according to still another embodiment of the present invention is characterized in that a cell is recognized using a plurality of images obtained by imaging a plurality of cells under different conditions. Here, the different conditions are preferably a staining method and / or a coloring condition. In addition, the staining method preferably uses staining of a specific protein in a cell body, staining of a nucleus, or color development during gene expression using a fluorescent protein.

本発明は、上記各実施の形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施し得ることが可能である。さらに、上記各実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得る。   The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements.

また、例えば各実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。   In addition, for example, even if some structural requirements are deleted from all the structural requirements shown in each embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the effect of the invention Can be obtained as an invention.

10…コンピュータ
20…光源
22…コリメートレンズ
25…ダイクロイックミラー
30…XYスキャナ
35…対物レンズ
40…試料ステージ
41…マイクロプレート
42…試料
45…試料ステージコントローラ
50…ミラー
51…レンズ
52…ピンホール
55…光検出器
80…画像処理部
81…細胞中心抽出処理部
82…細胞中心判定部
83…細胞境界抽出部
84…特徴量抽出処理部
85…総数抽出処理部
DESCRIPTION OF SYMBOLS 10 ... Computer 20 ... Light source 22 ... Collimating lens 25 ... Dichroic mirror 30 ... XY scanner 35 ... Objective lens 40 ... Sample stage 41 ... Microplate 42 ... Sample 45 ... Sample stage controller 50 ... Mirror 51 ... Lens 52 ... Pinhole 55 ... Photodetector 80 ... Image processing unit 81 ... Cell center extraction processing unit 82 ... Cell center determination unit 83 ... Cell boundary extraction unit 84 ... Feature amount extraction processing unit 85 ... Total number extraction processing unit

Claims (6)

同一細胞の細胞膜と、少なくとも一つの細胞内器官とを異なる染色又は蛍光物質で発色させ、これらの画像をそれぞれ取得する細胞画像取得手段と、
前記細胞画像取得手段で得られた前記細胞膜の画像と、前記細胞内器官の画像とに対して、細胞膜及び細胞内器官の領域をそれぞれ決定する領域決定手段と、
前記領域決定手段で得られた前記細胞膜及び細胞内器官の領域から、それぞれの中心点を抽出する中心点抽出手段を具備し、
前記中心点抽出手段が、前記細胞内器官の領域が前記細胞膜の領域に包含されるときに前記それぞれの中心点より細胞中心を判定する判定手段具備することを特徴とする細胞画像解析装置。
A cell image acquisition means for coloring the same cell membrane and at least one intracellular organ with different staining or fluorescent substances, and acquiring these images,
Area determining means for determining the area of the cell membrane and the organ of the cell with respect to the image of the cell membrane obtained by the cell image acquisition means and the image of the organ of the cell;
Center point extraction means for extracting the respective center points from the region of the cell membrane and intracellular organ obtained by the region determination means,
The cell image analysis apparatus, wherein the center point extraction means includes determination means for determining a cell center from each center point when the area of the intracellular organ is included in the area of the cell membrane.
請求項1に記載の細胞画像解析装置において、前記細胞内器官は細胞核であることを特徴とする細胞画像解析装置。   The cell image analysis apparatus according to claim 1, wherein the intracellular organ is a cell nucleus. 請求項1又は請求項2に記載の細胞画像解析装置において、
前記細胞画像取得手段は平行かつ異なる平面の細胞の断層像を複数枚撮像する撮像手段と、前記複数の断層像から3次元像を構築する3次元構築手段とを具備し、
前記領域決定手段は、前記3次元像に対して前記細胞膜及び前記細胞内器官の領域決定を行い、
前記判定手段は、前記3次元像に対して細胞として判定することを特徴とする細胞画像解析装置。
In the cell image analysis device according to claim 1 or 2,
The cell image acquisition means includes imaging means for imaging a plurality of tomographic images of cells in parallel and different planes, and a three-dimensional construction means for constructing a three-dimensional image from the plurality of tomographic images,
The region determining means determines the region of the cell membrane and the organ in the cell with respect to the three-dimensional image,
The cell image analysis apparatus characterized in that the determination means determines the cell as a cell with respect to the three-dimensional image.
同一細胞の細胞膜と、少なくとも一つの細胞内器官とを異なる染色又は蛍光物質で発色させ、これらの画像をそれぞれ取得する細胞画像取得ステップと、
前記細胞画像取得手段で得られた前記細胞膜の画像と、前記細胞内器官の画像とに対して、細胞膜及び細胞内器官の領域をそれぞれ決定する領域決定ステップと、
前記領域決定ステップで得られた前記細胞膜及び細胞内器官の領域から、それぞれの中心点を抽出する中心点抽出ステップを含み、
前記中心点抽出ステップが、前記細胞内器官の領域が前記細胞膜の領域に包含されるときに前記それぞれの中心点より細胞中心を判定する判定ステップ含む細胞画像解析方法。
A cell image acquisition step of causing the cell membrane of the same cell and at least one intracellular organ to develop color with different staining or fluorescent materials, and acquiring each of these images;
A region determining step for determining a region of a cell membrane and an intracellular organ with respect to an image of the cell membrane obtained by the cell image acquisition means and an image of the intracellular organ;
A center point extracting step of extracting each center point from the region of the cell membrane and the organ in the cell obtained in the region determining step,
The cell image analysis method, wherein the center point extraction step includes a determination step of determining a cell center from the respective center points when the intracellular organ region is included in the cell membrane region.
請求項4に記載の細胞画像解析方法において、前記細胞内器官は細胞核であることを特徴とする細胞画像解析方法。   5. The cell image analysis method according to claim 4, wherein the intracellular organ is a cell nucleus. 請求項4又は請求項5に記載の細胞画像解析方法において、
前記細胞画像取得ステップは平行かつ異なる平面の細胞の断層像を複数枚撮像する撮像ステップと、前記複数の断層像から3次元像を構築する3次元構築ステップとを含み、
前記領域決定ステップは、前記3次元像に対して前記細胞膜及び前記細胞内器官の領域決定を行い、
前記判定ステップは、前記3次元像に対して細胞として判定することを特徴とする細胞画像解析方法。
In the cell image analysis method according to claim 4 or 5,
The cell image acquisition step includes an imaging step of imaging a plurality of tomographic images of cells in parallel and different planes, and a three-dimensional construction step of constructing a three-dimensional image from the plurality of tomographic images,
The region determining step determines the region of the cell membrane and the organ in the cell with respect to the three-dimensional image,
The cell image analysis method according to claim 1, wherein the determination step includes determining the three-dimensional image as a cell.
JP2009000168A 2009-01-05 2009-01-05 Cell image analyzer Expired - Fee Related JP4997255B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009000168A JP4997255B2 (en) 2009-01-05 2009-01-05 Cell image analyzer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009000168A JP4997255B2 (en) 2009-01-05 2009-01-05 Cell image analyzer

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004035341A Division JP4271054B2 (en) 2004-02-12 2004-02-12 Cell image analyzer

Publications (2)

Publication Number Publication Date
JP2009122115A JP2009122115A (en) 2009-06-04
JP4997255B2 true JP4997255B2 (en) 2012-08-08

Family

ID=40814394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009000168A Expired - Fee Related JP4997255B2 (en) 2009-01-05 2009-01-05 Cell image analyzer

Country Status (1)

Country Link
JP (1) JP4997255B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5355275B2 (en) * 2009-07-24 2013-11-27 オリンパス株式会社 Cell image analyzer
JP5513038B2 (en) * 2009-08-21 2014-06-04 オリンパス株式会社 3D cell image analyzer
US9086378B2 (en) * 2012-09-06 2015-07-21 Olympus Corporation Method of analyzing image of cell in laminated structure and method of evaluating laminated structure for corneal transplantation
JP2014157158A (en) * 2014-04-17 2014-08-28 Olympus Corp Cell observation method, three-dimensional cell image analysis system, and three-dimensional cell image analyzer used therefor
JP2016090234A (en) * 2014-10-29 2016-05-23 大日本印刷株式会社 Image processing device, image processing program, and image processing method
JP6375925B2 (en) * 2014-12-15 2018-08-22 コニカミノルタ株式会社 Image processing apparatus, image processing system, image processing program, and image processing method
JP7026694B2 (en) 2017-09-27 2022-02-28 富士フイルム株式会社 Image analyzers, methods and programs
US20200408770A1 (en) 2018-02-28 2020-12-31 Nitto Boseki Co., Ltd. Method for isolating cell nuclei having enhanced antigenicity from fixed cells or ffpe tissue section, and antigen activator and kit therefor
JP7283642B1 (en) 2021-09-29 2023-05-30 日東紡績株式会社 Methods for Enrichment of Cells or Cell Nuclei

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60164236A (en) * 1984-02-07 1985-08-27 Hamamatsu Photonics Kk Cell measuring method
JPH10293094A (en) * 1997-02-24 1998-11-04 Olympus Optical Co Ltd Sight meter
WO1998038490A1 (en) * 1997-02-27 1998-09-03 Cellomics, Inc. A system for cell-based screening
US6169816B1 (en) * 1997-05-14 2001-01-02 Applied Imaging, Inc. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
JP4854832B2 (en) * 2000-03-27 2012-01-18 オリンパス株式会社 Cell image analysis method, apparatus, and recording medium
US6636623B2 (en) * 2001-08-10 2003-10-21 Visiongate, Inc. Optical projection imaging system and method for automatically detecting cells with molecular marker compartmentalization associated with malignancy and disease
US6658143B2 (en) * 2002-04-29 2003-12-02 Amersham Biosciences Corp. Ray-based image analysis for biological specimens

Also Published As

Publication number Publication date
JP2009122115A (en) 2009-06-04

Similar Documents

Publication Publication Date Title
JP4997255B2 (en) Cell image analyzer
AU2022200112B2 (en) Methods and apparatus for detecting an entity in a bodily sample
US10692209B2 (en) Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program
US9110305B2 (en) Microscope cell staining observation system, method, and computer program product
JP4271054B2 (en) Cell image analyzer
US20080279441A1 (en) Cell-Image Analysis Method, Cell-Image Analysis Program, Cell-Image Analysis Apparatus, Screening Method, and Screening Apparatus
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
US20220012884A1 (en) Image analysis system and analysis method
US20040243318A1 (en) Microbe examining device and method
JP4500138B2 (en) Cell image analysis method
JP5530126B2 (en) Three-dimensional cell image analysis system and three-dimensional cell image analyzer used therefor
JP4728025B2 (en) Cell image analyzer
EP3991088A1 (en) Scanning/pre-scanning quality control of slides
JP2014157158A (en) Cell observation method, three-dimensional cell image analysis system, and three-dimensional cell image analyzer used therefor
US20240346810A1 (en) Light microscopy method, device and computer program product
US20220207725A1 (en) Fluorescence image display method and fluorescence image analyzer
EP4137795A1 (en) Fluorescence image analysis method, fluorescence image analyser, fluoresence image analysis program
US20240346839A1 (en) Light microscopy method, device and computer program product
US12140545B2 (en) Information processing device for analyzing a specimen
CN114144660A (en) Information processing apparatus and program
CN118914187A (en) Material evidence investigation method, device, equipment and storage medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4997255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees