JP2021064115A - 細胞画像解析方法及び細胞解析装置 - Google Patents

Abstract

【課題】細胞の形状を非侵襲的に且つ良好に観察する。【解決手段】本発明に係る細胞解析装置の一態様は、ホログラフィック顕微鏡（１０）と、ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、細胞の位相画像を作成する画像作成部（２３，２４）と、ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された細胞領域学習モデルが記憶される第１学習モデル記憶部（２５１）と、第１学習モデル記憶部に記憶されている細胞領域学習モデルを用い、解析対象の細胞について画像作成部で作成された位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力する細胞領域推定部（２５）と、を備える。【選択図】図１

Description

本発明は、細胞について得られた観察画像を解析処理する細胞画像解析方法、及び該方法を用いた細胞解析装置に関し、さらに詳しくは、細胞形状の観察や細胞面積の評価に好適な細胞画像解析方法及び細胞解析装置に関する。

再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞、或いは間葉系幹細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。再生医療分野では観察後の細胞を引き続き培養するため、非破壊的及び非侵襲的に細胞状態の観察や確認を行うことが重要である。こうした非破壊的・非侵襲的な細胞状態の評価は、細胞観察装置で得られる細胞画像を利用した形態学的な評価が一般的である。

一般に細胞などの薄く透明な観察対象物は光の吸収が少ないため、光学的な強度像では対象物の形態を認識することは難しい。そのため、従来一般に、細胞の観察には位相差顕微鏡が広く利用されている。位相差顕微鏡では光が対象物を通過する際に変化する位相の変化量を画像化するため、透明である細胞の形態も可視化した位相差画像を得ることができる。特許文献１には、こうした位相差顕微鏡で得られる位相差画像に基づいて、多能性幹細胞について、未分化細胞のみからなる良好な細胞コロニーと未分化逸脱細胞を含む不良の細胞コロニーとを識別する技術が開示されている。

特開２０１４−１８１８４号公報 国際特許公開第２０１６／１６２９４５号

培養中の細胞の状態が良好であるかどうかを評価する際に、細胞の形状は一つの重要な要素である。また、細胞の形状は、細胞の機能や特性を解明するうえでも重要である。しかしながら、細胞の種類や細胞の背景（培地）の状態などによっては、位相差顕微鏡による位相差画像でも細胞の内外を隔てる細胞膜が明瞭に観察できず、また細胞内外の画素値に差が生じず、細胞の正確な形状を把握することが困難である場合がある。

本発明は上記課題を解決するためになされたものであり、その主たる目的は、細胞の形状を非侵襲的に且つ良好に観察することができる細胞画像解析方法及び細胞解析装置を提供することである。

上記課題を解決するためになされた本発明に係る細胞画像解析方法の一態様は、
ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで学習モデルを作成する学習モデル作成ステップと、
前記学習モデルを用い、解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力する領域推定ステップと、
を有するものである。

また上記課題を解決するためになされた本発明に係る細胞解析装置の一態様は、
ホログラフィック顕微鏡と、
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、前記細胞の位相画像を作成する画像作成部と、
ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された細胞領域学習モデルが記憶される第１学習モデル記憶部と、
前記第１学習モデル記憶部に記憶されている細胞領域学習モデルを用い、解析対象の細胞について前記画像作成部で作成された位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力する細胞領域推定部と、
を備えるものである。

上記ホログラフィック顕微鏡は典型的にはデジタルホログラフィック顕微鏡であり、上記位相画像は例えば、デジタルホログラフィック顕微鏡により得られるホログラムデータに基づく計算処理により求められた位相情報に基づいて再構成される画像である。

細胞質内には様々な細胞小器官が存在するが、その中で細胞骨格は、細胞質内全体に繊維状又は網状に存在する構造要素であり、細胞の形状・形態を決定するものである。したがって、細胞骨格が分布している領域を的確に抽出できれば、その領域の形状が概ね細胞形状を示しているものとみなすことができる。主要な細胞骨格の一つであるアクチンフィラメントは染色することで蛍光画像上で可視化することができるものの、染色は侵襲的な処理である。そこで、本発明に係る細胞画像解析方法及び細胞解析装置では、機械学習のアルゴリズムを利用して、細胞の位相画像から細胞領域推定画像を作成し、この画像から細胞の形状や形態を評価できるようにした。

即ち、本発明の上記態様による細胞画像解析方法及び細胞解析装置では、機械学習による学習モデルを作成する際に、適宜の細胞についての位相画像と、同じ細胞の細胞骨格を染色して蛍光顕微鏡等で観察することで得られた染色画像に基づく擬似的な細胞領域画像とを用いる。位相画像は上述したようにホログラムデータに基づく計算処理によって得られるものであり、細胞に対して非侵襲的に得られる。解析対象の細胞の細胞核を観察する際には、上記学習モデルを用い、その細胞について得られた位相画像を入力することで、細胞領域推定画像を出力画像として得ることができる。

このようにして本発明の上記態様による細胞画像解析方法及び細胞解析装置によれば、細胞に対する染色等の侵襲的な処理を行うことなく、細胞領域が明瞭に示された細胞領域推定画像を得ることができる。これにより、ユーザは、細胞の形状や形態を把握することができる。また、解析対象である細胞の撮影（測定）は非侵襲的に行えるので、細胞形状を把握したあとの細胞を引き続き培養したり、別の目的の分析や観察に供したりすることができる。

本発明に係る細胞画像解析方法を用いた細胞解析装置の一実施形態の概略構成図。 本実施形態の細胞解析装置で使用されている全層畳み込みニューラルネットワークの構造の概念図。 本実施形態の細胞解析装置における学習モデル作成時の処理の流れを示すフローチャート。 本実施形態の細胞解析装置における解析対象である細胞の撮影から細胞形状推定画像出力までの処理の流れを示すフローチャート。 本実施形態の細胞解析装置における細胞領域推定画像及び核領域推定画像から細胞形状推定画像を算出する際の説明図。 アクチンフィラメント染色画像と明視野画像の一例を示す図。 本実施形態の細胞解析装置における学習モデル作成時に使用する正解画像の処理過程を示す図であり、染色蛍光画像の元画像（ａ）、背景除去・二値化後の画像（ｂ）、及びクロージング処理後の画像（ｃ）。 本実施形態の細胞解析装置におけるＦＣＮ処理の入力画像（ＩＨＭ位相像）（ａ）と処理結果である出力画像（細胞領域推定画像）（ｂ）の一例を示す図。 本実施形態の細胞解析装置におけるＦＣＮ処理の入力画像（ＩＨＭ位相像）と該ＩＨＭ位相像から推定された細胞領域とを重ねて表示した画像を示す図。 図９に示した画像に対応する正解画像（正しい細胞領域を示す画像）。 本実施形態の細胞解析装置におけるＦＣＮ処理の入力画像（ＩＨＭ位相像）（ａ）と処理結果である出力画像（核位置推定画像）（ｂ）の一例を示す図。 本実施形態の細胞解析装置における細胞領域推定の過程の各画像の一例を示す図。

以下、本発明に係る細胞画像解析方法及び細胞解析装置の一実施形態について、添付図面を参照して説明する。
図１は、本発明に係る細胞画像解析方法を実施するための一実施形態である細胞解析装置の要部のブロック構成図である。

本実施例の細胞解析装置１は、顕微観察部１０、制御・処理部２０、ユーザインターフェイスである入力部３０及び表示部４０、を備える。また、細胞解析装置１には、ＦＣＮモデル作成部５０が付設されている。

顕微観察部１０はインライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、細胞１４を含む培養プレート１３が配置される。

制御・処理部２０は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相情報算出部２３と、画像作成部２４と、細胞領域推定部２５と、核位置推定部２６と、細胞形状推定部２７と、表示処理部２８と、を機能ブロックとして備える。また、細胞領域推定部２５は細胞領域学習モデル記憶部２５１を含み、核位置推定部２６は核位置学習モデル記憶部２６１を含む。

ＦＣＮモデル作成部５０は、学習データ入力部５１と、画像位置合わせ処理部５２と、蛍光画像前処理部５３と、蛍光画像二値化部５４と、学習実行部５５と、モデル構築部５６と、を機能ブロックとして含む。このＦＣＮモデル作成部５０において作成される学習済みの学習モデルが、制御・処理部２０における記憶部に格納され細胞領域学習モデル記憶部２５１及び核位置学習モデル記憶部２６１として機能する。

通常、制御・処理部２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御・処理部２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。

また、ＦＣＮモデル作成部５０の実体も、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーションである。通常、このコンピュータは制御・処理部２０と異なるコンピュータであるが、同じコンピュータであってもよい。つまり、ＦＣＮモデル作成部５０の機能を制御・処理部２０に持たせることもできる。

まず、本実施形態の細胞解析装置１において、細胞の観察画像であるＩＨＭ位相像を作成するまでの作業及び処理について説明する。
オペレータが細胞１４を含む培養プレート１３を所定位置にセットして入力部３０で所定の操作を行うと、撮影制御部２１は顕微観察部１０を制御し、以下のような手順でホログラムデータを取得する。

即ち、光源部１１は１０°程度の角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は細胞１４を透過する際に位相が変化した光であり、他方、参照光１５は細胞１４を透過しないので細胞１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像つまりホログラムが形成される。

光源部１１及びイメージセンサ１２は、図示しない移動機構によって、連動してＸ軸方向及びＹ軸方向に順次移動される。これにより、光源部１１から発せられたコヒーレント光の照射領域（観察領域）を培養プレート１３上で移動させ、広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。

上述したように顕微観察部１０で得られたホログラムデータは逐次、制御・処理部２０に送られ、ホログラムデータ記憶部２２に格納される。制御・処理部２０において、位相情報算出部２３は、ホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。画像作成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成する。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献２等に開示されている周知のアルゴリズムを用いることができる。

図８（ａ）、図１１（ａ）はＩＨＭ位相像の一例である。透明である細胞は一般的な光学顕微鏡では視認しにくいが、ＩＨＭ位相像では個々の細胞をかなり明瞭に観察できることが分かる。但し、ＩＨＭ位相像でも個々の細胞の形状を正確に把握することは難しい。これは、細胞内外で画素値に殆ど差がない場合があることなどによる。

図６（ａ）及び（ｂ）は同じ領域におけるアクチンフィラメントの蛍光染色画像及び通常の顕微鏡による明視野画像を示す。図６（ａ）に示すように、アクチンフィラメントは細胞骨格の一種であり、細胞の内部全体に繊維形状に存在する。図６（ｂ）に示すように、明視野画像において細胞領域を視認することは難しいものの、アクチンフィラメントが存在している領域には細胞が存在していることが分かる。このことから、アクチンフィラメントが分布している領域は細胞領域であるとみなすことができる。そこで、本実施形態の細胞解析装置では、機械学習法の一つである全層畳み込みニューラルネットワーク（ＦＣＮ：Fully Convolutional Neural network）を利用して、間葉系幹細胞（ＭＳＣ：Mesenchymal Stem Cells）についてのＩＨＭ位相像とその細胞の細胞骨格（ここではアクチンフィラメント）を染色した蛍光画像から学習モデルを作成した。そして、その学習モデルを用いＩＨＭ位相像を入力画像とし、細胞領域推定画像を出力画像として得られるようにした。

図２は、ＦＣＮの構造の概念図である。ＦＣＮの構造や処理の詳細は多くの文献に詳しく説明されている。また、米国マスワークス（MathWorks）社が提供している「MATLAB」などの市販の或いはフリーのソフトウェアを利用した実装も可能である。そのため、ここでは概略的に説明する。

図２に示すように、ＦＣＮは、例えば畳み込み層とプーリング層との繰り返しが多層化された多層ネットワーク６０と、畳み込みニューラルネットワークにおける全結合層に相当する畳み込み層６１と、を含む。この場合、多層ネットワーク６０では、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。但し、多層ネットワーク６０は、プーリング層がなく畳み込み層のみで構成されていてもよい。また、最終段の畳み込み層６１では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込み及び逆畳み込みを行う。このＦＣＮでは、ＩＨＭ位相像などの入力画像６３に対してセマンティックセグメンテーションを行うことで、細胞領域を他の領域と区画してラベル付けしたセグメンテーション画像６４を出力することができる。

ここでは、入力されるＩＨＭ位相像における画素単位でのラベル化を行うように多層ネットワーク６０及び畳み込み層６１を設計する。即ち、出力画像であるセグメンテーション画像６４においてラベル付けされる一つの領域の最小単位は、ＩＨＭ位相像上の一つの画素である。そのため、仮にＩＨＭ位相像上で細胞領域のサイズが１画素程度であったとしても、ラベル画像６４において細胞領域は一つの領域として検出される。

ＦＣＮにより上記のようなセマンティックセグメンテーションを行うには、予め多数の学習用の画像データを用いて、多層ネットワーク６０に含まれる複数の畳み込み層や最終段の畳み込み層６１それぞれにおけるフィルタの係数（重み）を学習させ学習モデルを構築しておく必要がある。

図３に示すフローチャートに従って、ＦＣＮモデル作成部５０において学習処理を行う際の動作を説明する。なお、学習の際には、例えば、一般的に機械学習でしばしば用いられている確率的勾配降下法を利用した学習を行うことができる。

ＦＣＮモデル作成部５０の学習データ入力部５１は、画像作成部２４で作成されたＩＨＭ位相像とそれに対応する正解画像（ここでは厳密には正解画像の元となる染色蛍光画像）とを一組とする学習データ（教師データ、訓練データとも呼ばれるが、ここでは学習データという）を予め多数組読み込む（ステップＳ１１）。ＩＨＭ位相像は、上述したように細胞解析装置１で実際に細胞を撮影したデータに基づいて作成されるものであるが、必ずしも特定の細胞解析装置に限らず、同様の構成の他の細胞解析装置で得られたものでよい。一方、正解画像の元となる画像は、ＩＨＭ位相像を作成したときの細胞の細胞骨格（ここではアクチンフィラメント）を染色し、それを適宜の顕微鏡で撮影した蛍光画像（細胞骨格染色蛍光画像）である。染色の手法は細胞骨格を染色可能であれば特に問わないが、一般的にはファロイジンなどを用いることができる。

一組であるＩＨＭ位相像と染色蛍光画像とでは細胞の位置や方向、大きさなどが全く同じであることが望ましいが、一般には、デジタルホログラフィック顕微鏡での撮影と並行して蛍光画像を取得することはできないため、得られるＩＨＭ位相像と染色蛍光画像とで細胞の位置や方向、大きさなどが異なることは避けられない。そこで、画像位置合わせ処理部５２は、いずれか一方の画像の平行移動、回転、拡大・縮小などの画像処理を行うことで、両画像の位置合わせを実施する（ステップＳ１２）。一般的には、細胞がより明瞭に視認可能であるＩＨＭ位相像を基準として、染色蛍光画像の位置を合わせるように画像処理を行うとよい。この位置合わせの作業は、例えばウェルの縁部や培養プレートに付加したマークなどを参照してオペレータが手作業で行ってもよいが、所定のアルゴリズムで自動的に実施するようにしてもよい。

次に、蛍光画像前処理部５３は染色蛍光画像において細胞核の領域がより明確になるように、ノイズ除去処理、及び背景除去処理を実施する（ステップＳ１３、Ｓ１４）。ノイズ除去処理は外乱等によるノイズを除去することを目的としており、例えば、線形フィルタ、メディアンフィルタなどの各種のフィルタを用いることができる。また、背景除去処理は、細胞骨格以外の背景部分にある強度ムラを除去することを主な目的としたものであり、背景減算処理として、平均値フィルタを利用した方法などが知られている。ノイズ除去処理、及び背景除去処理の手法自体は従来の画像処理で利用されている様々な手法を利用することができる。

蛍光画像二値化部５４は上記のように前処理がなされた画像を二値化処理して、細胞骨格が分布している領域とそれ以外の領域とを明確化した二値化画像を作成する（ステップＳ１５）。さらに蛍光画像二値化部５４は、二値化後の画像に対し膨張処理と縮小処理とを組み合わせたクロージング処理を実施する（ステップＳ１６）。

図７（ａ）はアクチンフィラメント染色蛍光画像の元画像、図７（ｂ）は図７（ａ）に示した画像に対し背景除去及び二値化を行った後の画像、図７（ｃ）は図７（ｂ）に示した画像に対しクロージング処理を行った後の画像の一例である。以下で説明する画像も同様であるが、ここでは、間葉系幹細胞（ＭＳＣ）を解析の対象としている。

一般的にアクチンフィラメント染色蛍光画像では、アクチンフィラメントが存在しない背景部分における強度ムラが大きいので、背景除去処理を実施しないとアクチンフィラメント領域を的確に抽出することが可能な二値化が行えない。それに対し、背景除去処理を事前に行うことで、図７（ｂ）に示したように、アクチンフィラメント領域が的確に抽出されている二値化画像を得ることができる。

また、上述したようにアクチンフィラメントは細胞の内部に繊維状に張り巡らされているが、必ずしも均等に存在しているわけではなく、細胞内であってもアクチンフィラメントが存在しない又はその密度が低いために二値化すると部分的に黒色になる画素が生じる。そこで、二値化後にクロージング処理を行うことで、周囲が白色である画素については黒色であっても白色に変換する。これにより、細胞骨格が実際に存在している部分だけではなく、細胞骨格が分布している範囲つまりは細胞領域を示す画像を得ることができる。即ち、クロージング処理後の画像は、対応するＩＨＭ位相像上の各画素について、細胞領域とそれ以外の領域とを区分けした画像である。

全ての学習データについて上記ステップＳ１２〜Ｓ１６の処理を行うことで、ＩＨＭ位相像とクロージング処理後の染色蛍光画像とを組とする多数の学習データが揃ったならば、学習実行部５５は、その多数の学習データを用いて、ＦＣＮの学習を実行する（ステップＳ１７）。即ち、ＦＣＮ処理によるセマンティックセグメンテーションの結果が正解画像にできるだけ近くなるように、そのネットワークにおける複数の畳み込み層でのフィルタ係数を学習する。モデル構築部５６は、その学習の繰り返しの過程でモデルを構築し、所定の学習が終了すると、モデル構築部５６はその学習結果に基づく学習モデルを保存する（ステップＳ１８）。
このようにして作成された細胞領域学習モデルを構成するデータが、細胞解析装置１における細胞領域学習モデル記憶部２５１に格納される。

また、本実施形態の細胞解析装置１では、細胞領域のほかに、各細胞の細胞核を推定するための核位置学習モデルを細胞領域学習モデルと同様の手順で作成する。核位置学習モデルを作成する際には、正解画像として細胞核を染色した染色蛍光画像が必要であり、細胞核の染色には一般的に利用されているＤＡＰＩ（4',6-diamidino-2-phenylindole）、ヨウ化プロピジウム、ＳＹＴＯＸ（登録商標）、ＴＯ−ＰＲＯ（登録商標）−３などを用いることができる。なお、核位置学習モデルの作成の際には、染色蛍光画像について上記ステップＳ１１〜Ｓ１５の処理を実行するが、ステップＳ１６の処理は不要である。その理由は、二値化後の細胞骨格染色蛍光画像では細胞領域において画素抜けが生じておりその画素を黒色から白色に変換する必要があるのに対し、二値化後の細胞核染色画像は細胞核の位置を的確に表していて画素抜けが殆どないからである。

次に、細胞解析装置１で行われる、解析対象である細胞についての細胞形状推定画像の作成処理について、図４に示すフローチャートを参照して説明する。

オペレータは解析対象の細胞１４を含む培養プレート１３を顕微観察部１０の所定位置にセットし、入力部３０で所定の操作を行う。これにより、撮影制御部２１の制御の下で顕微観察部１０は、試料（培養プレート１３中の細胞１４）の撮影を実施する（ステップＳ２１）。位相情報算出部２３及び画像作成部２４は、その撮影により得られたホログラムデータに基づいて位相計算を実行し、ＩＨＭ位相像を形成する（ステップＳ２２）。

そのあと、細胞領域推定部２５は、ステップＳ２２で得られたＩＨＭ位相像を入力画像として読み込み、細胞領域学習モデル記憶部２５１に格納されている細胞領域学習モデルを用いたＦＣＮによる処理を実施し、入力画像に対応したセグメンテーション画像を出力する（ステップＳ２３）。このときのセグメンテーション画像は、入力画像であるＩＨＭ位相像と同じ観察範囲について、細胞領域とそれ以外の背景領域とを区別して示す細胞領域推定画像である。

よく知られているように、上述したような学習を行うことで構築した学習モデルを利用したＦＣＮ処理では、画素毎にセマンティックセグメンテーションの確からしさの確率を示す数値が得られる。つまり、ここでは、細胞領域であるとの推定の確からしさの確率が画素毎に得られる。そこで細胞領域推定部２５は、画素毎のその確率値を所定の閾値と比較し、閾値以上の確率値を有する画素を白、それ以外を黒とした二値のセグメンテーション画像を出力する。

このときに使用される細胞領域学習モデルは高い精度で以て細胞領域のセマンティックセグメンテーションが可能なモデルであるので、観察対象である細胞についてのＩＨＭ位相像上の細胞領域を高い精度で且つ画素単位で以てセマンティックセグメンテーションすることができる。

図８（ｂ）は、図８（ａ）に示したＩＨＭ位相像を入力画像として得られる出力画像つまりは細胞領域推定画像の一例である。図９は、ＩＨＭ位相像と該ＩＨＭ位相像から推定された細胞領域とを重ねて表示した画像を示す図である。また、図１０は、図９に示した画像に対応する正解画像（正しい細胞領域を示す画像）である。図９と図１０とを比較すると、細胞領域がかなり的確に推定されていることが分かる。

次に、核位置推定部２６は、ステップＳ２２で得られたＩＨＭ位相像を入力画像として読み込み、核位置学習モデル記憶部２６１に格納されている核位置学習モデルを用いたＦＣＮによる処理を実施し、入力画像に対応したセグメンテーション画像を出力する（ステップＳ２４）。このときのセグメンテーション画像は、入力画像であるＩＨＭ位相像と同じ観察範囲について、細胞核の領域とそれ以外の領域とを区別して示す核位置推定画像である。図１１（ｂ）は、図１１（ａ）に示したＩＨＭ位相像を入力画像として得られる出力画像つまりは核位置推定画像の一例である。

細胞領域推定画像と同様に、このときにも、ＦＣＮ処理によって画素毎に得られるセグメンテーションの確からしさの確率を示す数値が得られる。つまり、ここでは、細胞領域であるとの推定の確からしさの確率値を所定の閾値と比較し、閾値以上の確率値を有する画素を白、それ以外を黒とした二値のセグメンテーション画像を出力すればよい。

また、画素毎にセグメンテーションの確からしさの確率値をグレイスケールで表したグレイスケール画像を出力画像として取得し、次のような極大値領域抽出処理を実行して核位置の候補点が明示された核位置推定画像を作成してもよい。

即ち、核位置推定部２６はまず、グレイスケール画像である核位置推定画像において、黒である領域（背景領域）以外の、核である領域を空間的に膨張させる。次いで、その膨張画像において、ノイズ許容値を予め考慮して定めたオフセット値を各画素の信号値（輝度値）から減算することで、輝度を全般的に低下させる。そのあと、膨張処理前の画像と輝度低下後の画像との間で、画素毎の輝度値の引き算処理を行う。膨張処理前の元画像と輝度低下後の画像との間で画素毎に引き算を行うと、元画像において輝度値がピークである付近の狭い範囲において、そのピークの値とは無関係に、輝度値が非ゼロとなり、それ以外の領域では輝度値がゼロになる。即ち、この処理によって、元画像の中でその周囲よりも輝度値が高い極大値の領域を抽出することができる。なお、この極大値領域抽出処理のアルゴリズムは画像処理において一般的なものであるが、このアルゴリズムに限らず、極大値領域抽出処理には適宜の既知の手法を用いることができる。

核位置推定部２６は、極大値領域を抽出した画像を作成したあとに、該画像を二値化することで核位置の候補点を示す核位置候補点画像を作成する。そして、この核位置候補点画像を核位置推定画像の代わりに用いればよい。極大値領域抽出処理を行うことなく画素毎の確率値に基づく二値化を行うと、例えばごく隣接して存在する複数の細胞核を一つの細胞核として抽出してしまうような場合があるが、極大値領域抽出処理を行うことで、それぞれの細胞核の位置をより正確に特定することができる。

細胞領域推定部２５及び核位置推定部２６により細胞領域推定画像及び核位置推定画像がそれぞれ得られると、細胞形状推定部２７は、以下のようにして細胞形状推定画像を作成する。図５は、細胞領域推定画像及び核領域推定画像から細胞形状推定画像を算出する際の説明図である。

細胞形状推定部２７は、まず核位置推定画像に基づく分水嶺処理を実行する（ステップＳ２５）。分水嶺処理は一般にWatershedアルゴリズムとして周知の画像処理であり、例えばまず、画像中の核位置の領域を抽出したあと、隣接する領域の間の距離を求め、隣接領域の中央が谷になる（暗くなる）画像を作成する。そして、その画像に対し分水嶺による分離を行うことで、抽出された核の領域をそれぞれ略中心とする複数の領域に分割して細胞の境界線が明示された境界線画像を作成する。

上述したように、細胞領域推定画像は細胞が存在する領域とそれ以外の背景領域とを区画した画像であるが、複数の細胞が密着して存在している場合、それら密着している複数の細胞は一つの細胞領域として描出され、個々の細胞の形状や形態は分からない。そこで、細胞形状推定部２７は、細胞領域推定画像と上記分水嶺処理の結果である境界線画像とに基づいて、図５中に示すように、細胞領域推定画像上の各細胞領域を個々の細胞に分離して細胞の形状（輪郭）を明確化した細胞形状推定画像を作成する（ステップＳ２６）。そして、表示処理部２８は、ステップＳ２６で作成された細胞形状推定画像を表示部４０の画面上に表示する（ステップＳ２７）。

図１２は上述した細胞形状推定の過程の各画像の一例を示す図であり、（ａ）はＩＨＭ位相像、（ｂ）はＩＨＭ位相像に核位置推定結果を重ね書き（核位置推定結果を緑色でオーバーレイ）した画像（核位置推定結果を緑色でオーバーレイ）、（ｃ）は細胞形状推定画像、（ｄ）はＩＨＭ位相像に細胞領域推定結果を重ね書き（細胞領域推定結果を黄色でオーバーレイ）した画像、である。ＩＨＭ位相像上ではその形状が明確には把握できない細胞についても、図１２（ｃ）に示す細胞形状推定画像ではその形状が明確になる。また、図１２（ｄ）に示す重ね書き画像では、ＩＨＭ位相像で細胞領域が明確に把握可能となる。

このようにして本実施形態の細胞解析装置では、個々の細胞の形状や形態が明示された細胞形状推定画像を表示部４０に表示することで、生細胞の非侵襲的な形状観察を可能とすることができ、その観察に使用した細胞を引き続き培養したり別の目的に使用したりすることも可能である。

また、細胞領域推定画像から、撮影範囲内で細胞が存在する全領域が分かるので、細胞形状推定部２７は例えば、細胞全体の面積を算出したり、撮影範囲全体の面積に対する細胞面積の割合を算出したり、さらには個々の細胞の面積や長さ、或いは周囲長などの情報を算出して、個々の細胞の面積、周囲長等の平均値、中央値、分散などの統計情報を算出することもできる。こうした個々の細胞の形態に関する情報を利用して、細胞培養における工程管理や品質管理を行うこともできる。

なお、上記実施形態では、細胞領域や細胞核のセマンティックセグメンテーションのための機械学習法としてＦＣＮを用いていたが、通常の畳み込みニューラルネットワークでもよいことは明らかである。また、ニューラルネットワークを用いた機械学習法に限らず、画像についてのセマンティックセグメンテーションが可能な機械学習法であれば本発明を適用することが有効である。こうした機械学習法としては、例えばサポートベクターマシン、ランダムフォレスト、アダブーストなどがある。

また、上記実施形態の細胞解析装置では、顕微観察部１０としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス（軸外し）型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。

また、上記実施形態や各種の変形例はあくまでも本発明の一例であり、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。

［種々の態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。

（第１項）本発明に係る細胞画像解析方法の一態様は、
ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで学習モデルを作成する学習モデル作成ステップと、
前記学習モデルを用い、解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力する領域推定ステップと、
を有するものである。

（第８項）また本発明に係る細胞解析装置の一態様は、
ホログラフィック顕微鏡と、
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、前記細胞の位相画像を作成する画像作成部と、
ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された細胞領域学習モデルが記憶される第１学習モデル記憶部と、
前記第１学習モデル記憶部に記憶されている細胞領域学習モデルを用い、解析対象の細胞について前記画像作成部で作成された位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力する細胞領域推定部と、
を備えるものである。

第１項に記載の細胞画像解析方法、及び第８項に記載の細胞解析装置によれば、観察対象である細胞の領域を示す画像、つまりは細胞内と細胞外との境界が明示された画像を非侵襲的に得ることができる。したがって、ユーザによる細胞の形状や形態の観察が容易になる。また、細胞形状等の観察をしたあとの細胞を引き続き培養したり、別の目的の分析や観察に供したりすることができる。また、或る程度の広い範囲の観察画像を得る場合でも、撮影対象の範囲が或る程度広くても、ホログラフィック顕微鏡による撮影自体は短時間で済み、撮影後のコンピュータでの計算処理によって広い範囲の位相画像を再構成することができる。したがって、撮影に時間を掛けずに、つまりは撮影による生細胞への影響を抑えながら、ウェル等の容器内の広い範囲に存在する細胞の形状や形態を良好に観察したり解析したりすることができる。

（第２項）第１項に記載の細胞画像解析方法において、
前記学習モデル作成ステップでは、擬似的な細胞領域画像を正解画像とした学習データに基づく細胞領域学習モデルのほかに、細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核位置画像を正解画像とした学習データを用い、機械学習を行うことで核位置学習モデルを作成し、
前記領域推定ステップでは、前記細胞領域学習モデルを用い細胞領域推定画像を出力し、さらに、
前記核位置学習モデルを用い、解析対象の細胞についての位相画像を入力画像とし、細胞核の位置を示す核位置推定画像を出力する核位置推定ステップと、
前記核位置推定画像に基づいて個々の細胞の境界を推定し、該細胞の境界の情報を前記細胞領域推定画像とから個々の細胞を分離して示した細胞形状推定画像を求める細胞形状推定ステップと、
有するものとすることができる。

（第９項）また第８項に記載の細胞解析装置では、
ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核位置画像を正解画像とした学習データを用い、機械学習を行うことで作成された核位置学習モデルが記憶される第２学習モデル記憶部と、
前記第２学習モデル記憶部に記憶されている核位置学習モデルを用い、解析対象の細胞について前記画像作成部で作成された位相画像を入力画像とし、核位置を示す核位置推定画像を出力する核位置推定部と、
前記核位置推定画像に基づいて個々の細胞の境界を推定し、該細胞の境界の情報と前記細胞領域推定画像とから個々の細胞を分離して示した細胞形状推定画像を求める細胞形状推定部と、
をさらに備えるものとすることができる。

第２項に記載の細胞画像解析方法、及び第９項に記載の細胞解析装置では、細胞領域の推定と同様に、機械学習の手法を利用して、細胞核の位置を推定した核位置推定画像が作成される。一部の例外的な細胞を除けば、通常、一つの細胞は一つの核を持つ。核位置推定画像ではこの細胞核の位置が明確に示される。また、通常、核位置推定画像では、隣接する複数の細胞の核の区分けも明確である。複数の細胞が密着して存在している場合、上記細胞領域推定画像ではその密着状態である複数の細胞が一つの細胞領域として描出される場合があり、この場合、個々の細胞の形状や形態の把握が困難である。これに対し、核位置推定画像では個々の細胞に対応する細胞核の位置が把握可能であるので、その核位置に基づいて隣接する細胞を区分けする境界線を推定し、その境界線を利用して一つの細胞領域を個々の細胞に区分けすることができる。

このようにして第２項に記載の細胞画像解析方法、及び第９項に記載の細胞解析装置によれば、細胞の密度が高い等により複数の細胞が密着していたりかたまっていたりした場合であっても、個々の細胞の形状や形態を非侵襲的に観察することができる。それによって、個々の細胞の面積や周囲長などの情報も取得することができ、培養条件等の管理や細胞の状態の確認などに有用な情報を得ることができる。

（第１０項）また第８項又は第９項に記載の細胞解析装置では、
細胞の位相画像を入力画像とし、これに対応する染色画像に基づく擬似的な領域画像を正解画像とした学習データを用い、機械学習を行うことで学習モデルを作成する学習モデル作成部、をさらに備えるものとすることができる。

即ち、第８項に記載の細胞解析装置は、細胞の位相画像から細胞領域推定画像を求めるために利用される学習モデルを作成する機能を有していなくてもよいが、第１０項に記載の細胞解析装置はその機能を有する。したがって、第１０項に記載の細胞解析装置によれば、例えば、細胞領域推定部において解析対象の細胞の位相画像に対して得られた細胞領域推定画像を、学習データに加えて学習モデルを再構築する、といった学習モデルの改良を容易に行うことができる。

（第３項）第１項又は第２項に記載の細胞画像解析方法において、前記学習モデル作成ステップでは、細胞の位相画像と染色画像との位置合わせ処理、及び該染色画像の背景除去処理を行うものとすることができる。

（第１１項）また第１０項に記載の細胞解析装置において、前記学習モデル作成部は、細胞の位相画像と染色画像との位置合わせ処理、及び該染色画像の背景除去処理を行うものとすることができる。

第３項に記載の細胞画像解析方法、及び第１１項に記載の細胞解析装置によれば、染色画像の撮影をホログラフィック顕微鏡による撮影と同時に行えない、同じ装置で行えない等の理由で、位相画像と染色画像との拡大率や位置が合わない場合であっても、位置合わせ処理によって位相画像と染色画像とで同じ細胞の位置合わせを行うことができる。それによって、位相画像上の画素と染色画像上の画素とを一対一に対応付けることができ、位相画像を的確にセマンティックセグメンテーションすることができる学習モデルを作成することができる。また、通常、顕微鏡等により得られた染色画像では背景の強度ムラが避けられないが、背景除去処理を行うことで背景部分の強度ムラの影響を無くすことができる。それによっても、位相画像を的確にセマンティックセグメンテーションすることができる学習モデルを作成することができる。

（第４項）第３項に記載の細胞画像解析方法において、前記学習モデル作成ステップでは、背景除去処理後の染色画像に対し二値化処理及びクロージング処理を行うものとすることができる。

（第１２項）また第１１項に記載の細胞解析装置において、前記学習モデル作成部は、背景除去処理後の染色画像に対し二値化処理及びクロージング処理を行うものとすることができる。

アクチンフィラメント等の細胞骨格は細胞の内部に繊維状に張り巡らされているが、必ずしも均等に存在しているわけではなく、細胞内であっても細胞骨格が存在しない又はその密度が低いために単純に二値化すると部分的に黒色になる画素が生じる。これに対し、 第４項に記載の細胞画像解析方法、及び第１２項に記載の細胞解析装置によれば、二値化後にクロージング処理を行うことで、細胞骨格が実際に存在している部分だけではなく、細胞骨格が分布している範囲つまりは細胞領域を示す画像を確実に得ることができる。

（第５項）第１項乃至第４項のいずれか１項に記載の細胞画像解析方法では、前記機械学習は全畳み込みニューラルネットワークを用いたものとすることができる。

（第１３項）また第８項乃至第１２項のいずれか１項に記載の細胞解析装置では、前記機械学習は全畳み込みニューラルネットワークを用いたものとすることができる。

第５項に記載の細胞画像解析方法、及び第１３項に記載の細胞解析装置によれば、細胞領域を画素単位で正確に示すことができる。

（第７項）第２項に記載の細胞画像解析方法において、前記細胞形状推定ステップでは、前記細胞形状推定画像を用いて、個々の細胞の面積、周囲長、長さの情報のいずれかを取得するものとすることができる。

（第１４項）また第９項に記載の細胞解析装置において、前記細胞形状推定部は、前記細胞形状推定画像を用いて、個々の細胞の面積、周囲長、長さの情報のいずれかを取得するものとすることができる。

第７項に記載の細胞画像解析方法、及び第１４項に記載の細胞解析装置によれば、複数の細胞が密着した状態であっても、細胞毎の面積、周囲長、或いは長さなどの情報をユーザに提供することができる。

なお、ここで解析対象とする細胞の種類は特に限定されないが、非侵襲的に細胞の形状や形態を観察したり、細胞面積等を算出したりする必要がある用途に有用であり、典型的には、その対象は間葉系幹細胞である。

（第６項）即ち、第１項乃至第５項のいずれか１項に記載の細胞画像解析方法では、解析対象の細胞は間葉系幹細胞を含む幹細胞であるものとすることができる。

１…細胞解析装置
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１４…細胞
１５…参照光
１６…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…位相情報算出部
２４…画像作成部
２５…細胞領域推定部
２５１…細胞領域学習モデル記憶部
２６…核位置推定部
２６１…核位置学習モデル記憶部
２７…細胞形状推定部
３０…入力部
４０…表示部
５０…ＦＣＮモデル作成部
５１…学習データ入力部
５２…画像位置合わせ処理部
５３…蛍光画像前処理部
５４…蛍光画像二値化部
５５…学習実行部
５６…モデル構築部
６０…多層ネットワーク
６１…畳み込み層
６３…入力画像
６４…セグメンテーション画像

Claims (14)

1. ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで学習モデルを作成する学習モデル作成ステップと、
   前記学習モデルを用い、解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力する領域推定ステップと、
   を有する、細胞画像解析方法。
2. 前記学習モデル作成ステップでは、擬似的な細胞領域画像を正解画像とした学習データに基づく細胞領域学習モデルのほかに、細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核位置画像を正解画像とした学習データを用い、機械学習を行うことで核位置学習モデルを作成し、
   前記領域推定ステップでは、前記細胞領域学習モデルを用い細胞領域推定画像を出力し、さらに、
   前記核位置学習モデルを用い、解析対象の細胞についての位相画像を入力画像とし、細胞核の位置を示す核位置推定画像を出力する核位置推定ステップと、
   前記核位置推定画像に基づいて個々の細胞の境界を推定し、該細胞の境界の情報と前記細胞領域推定画像とから個々の細胞を分離して示した細胞形状推定画像を求める細胞形状推定ステップと、
   有する、請求項１に記載の細胞画像解析方法。
3. 前記学習モデル作成ステップでは、細胞の位相画像と染色画像との位置合わせ処理、及び該染色画像の背景除去処理を行う、請求項１に記載の細胞画像解析方法。
4. 前記学習モデル作成ステップでは、背景除去処理後の染色画像に対し二値化処理及びクロージング処理を行う、請求項３に記載の細胞画像解析方法。
5. 前記機械学習は全畳み込みニューラルネットワークを用いたものである、請求項１に記載の細胞画像解析方法。
6. 解析対象の細胞は間葉系幹細胞を含む幹細胞である、請求項１に記載の細胞画像解析方法。
7. 前記細胞形状推定ステップでは、前記細胞形状推定画像を用いて、個々の細胞の面積、周囲長、長さの情報のいずれかを取得する、請求項２に記載の細胞画像解析方法。
8. ホログラフィック顕微鏡と、
   前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、前記細胞の位相画像を作成する画像作成部と、
   ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された細胞領域学習モデルが記憶される第１学習モデル記憶部と、
   前記第１学習モデル記憶部に記憶されている細胞領域学習モデルを用い、解析対象の細胞について前記画像作成部で作成された位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力する細胞領域推定部と、
   を備える、細胞解析装置。
9. ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核位置画像を正解画像とした学習データを用い、機械学習を行うことで作成された核位置学習モデルが記憶される第２学習モデル記憶部と、
   前記第２学習モデル記憶部に記憶されている核位置学習モデルを用い、解析対象の細胞について前記画像作成部で作成された位相画像を入力画像とし、核位置を示す核位置推定画像を出力する核位置推定部と、
   前記核位置推定画像に基づいて個々の細胞の境界を推定し、該細胞の境界の情報と前記細胞領域推定画像とから個々の細胞を分離して示した細胞形状推定画像を求める細胞形状推定部と、
   をさらに備える、請求項８に記載の細胞解析装置。
10. 細胞の位相画像を入力画像とし、これに対応する染色画像に基づく擬似的な領域画像を正解画像とした学習データを用い、機械学習を行うことで学習モデルを作成する学習モデル作成部、をさらに備える、請求項８に記載の細胞解析装置。
11. 前記学習モデル作成部は、細胞の位相画像と染色画像との位置合わせ処理、及び該染色画像の背景除去処理を行う、請求項１０に記載の細胞解析装置。
12. 前記学習モデル作成部は、背景除去処理後の染色画像に対し二値化処理及びクロージング処理を行う、請求項１１に記載の細胞解析装置。
13. 前記機械学習は全畳み込みニューラルネットワークを用いたものである、請求項８に記載の細胞解析装置。
14. 前記細胞形状推定部は、前記細胞形状推定画像を用いて、個々の細胞の面積、周囲長、長さの情報のいずれかを取得する、請求項９に記載の細胞解析装置。

Images