JP5780865B2 - 画像処理装置、撮像システム、画像処理システム - Google Patents

Description

本発明は、画像処理装置、撮像システム、および画像処理システムに関し、特にデジタル画像による検体観察を支援するための技術に関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（検体）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャル・スライド・システムが注目を集めている。バーチャル・スライド・システムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。

光学顕微鏡と同等程度の操作をバーチャル・スライド・システムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャル・スライド・システムで作成したデジタルデータをＰＣやワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。

バーチャル・スライド・システムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。また、取得したデジタルデータを画像解析し、例えば細胞の形状把握や個数算出、細胞質と核の面積比（Ｎ／Ｃ比）を算出することで、病理診断に有用な種々の情報の提示も可能となる。

ところで、バーチャル・スライド・システムの結像光学系は解像力を重視する設計のため、被写界深度が極めて浅い。そのため、撮像対象である検体の厚みに対してピントの合う範囲が非常に狭く、焦点位置から奥行き方向（結像光学系の光軸に沿った方向あるいはプレパラートの観察面に垂直な方向）に外れた位置にある組織や細胞は、像がボケてしまう。したがって、１枚の二次元画像だけで検体全体を観察することは難しい。また、ボケを多く含む画像では特徴量抽出や画像認識の精度が低下するため、コンピュータによる画像解析の信頼性が低下するという問題もある。

このような問題を解決する方法の一つとして、深度合成と呼ばれる画像処理方法が知られている。深度合成とは、焦点位置を変えながら撮像することで得られた複数枚の画像（以後「Ｚスタック画像」とも呼ぶ）から、被写界深度の深い画像を生成する方法である。例えば特許文献１には、Ｚスタック画像のそれぞれを複数の部分領域に分割し、部分領域毎に深度合成を行うことによりパンフォーカス画像を生成するシステムが開示されている。

特開２００５−０３７９０２号公報

特許文献１の方法によれば、画像全域についてピントの合った、ボケの少ない画像が得られる。しかしながら、このようなパンフォーカス画像は、検体全体の様子を大まかに把握するのには有用であるものの、検体の一部を詳細に観察したり、組織・細胞等の立体構造や三次元分布を把握したりする目的には適していない。深度合成により奥行き方向の情報が失われているため、画像を見ても、ユーザーは画像中の各構造物（細胞、核など）の前後関係を判断できないためである。また、本来奥行き方向の異なる位置に存在する構造物同士が画像上で同じコントラストで重なり合ってしまっていると、目視の場合はもちろん、コンピュータによる画像解析の場合でも、構造物同士の分離や識別が困難となる。

本発明はかかる問題に鑑みなされたものであり、デジタル画像を利用した検体観察において、検体の奥行き方向の情報を維持し、且つコンピュータによる画像解析処理に適した画像を生成するための技術を提供することを目的とする。

本発明の第１態様は、構造物を含む検体を光軸方向の焦点位置を変えながら顕微鏡装置で撮像することにより得られた複数の原画像、を取得する画像取得手段と、前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第１の画像を生成するとともに、前記第１の画像よりもボケの低減度合いが小さい第２の画像を生成する画像生成手段と、前記第１の画像に対し画像解析処理を適用することによって、前記第１の画像に含まれる構造物に関する情報として、細胞の輪郭、核の輪郭、細胞の数、細胞の形状、細胞質の面積、核の面積、細胞質と核の面積比のうちの少なくともいずれかの情報を取得する解析手段と、を備え、前記画像生成手段は、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる一部の原画像を選択し、前記選択された一部の原画像を用いて前記第１の画像を生成する画像処理装置を提供する。

本発明の第２態様は、構造物を含む検体を光軸方向の焦点位置を変えながら撮像して、複数の原画像を取得する撮像装置と、前記撮像装置から前記複数の原画像を取得する前記第１態様に係る画像処理装置と、を備える撮像システムを提供する。

本発明の第３態様は、構造物を含む検体を光軸方向の焦点位置を変えながら撮像するこ
とにより得られた複数の原画像を格納する画像サーバーと、前記画像サーバーから前記複数の原画像を取得する前記第１態様に係る画像処理装置と、を備える画像処理システムを提供する。

本発明の第４態様は、構造物を含む検体を光軸方向の焦点位置を変えながら顕微鏡装置で撮像することにより得られた複数の原画像、を取得する画像取得ステップと、前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第１の画像を生成するとともに、前記第１の画像よりもボケの低減度合いが小さい第２の画像を生成する画像生成ステップと、前記第１の画像に対し画像解析処理を適用することによって、前記第１の画像に含まれる構造物に関する情報として、細胞の輪郭、核の輪郭、細胞の数、細胞の形状、細胞質の面積、核の面積、細胞質と核の面積比のうちの少なくともいずれかの情報を取得する解析ステップと、をコンピュータに実行させるプログラムであって、前記画像生成ステップでは、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる一部の原画像が選択され、前記選択された一部の原画像を用いて前記第１の画像が生成されるプログラムを提供する。

本発明によれば、デジタル画像を利用した検体観察において、検体の奥行き方向の情報を維持し、且つコンピュータによる画像解析処理に適した画像を生成することが可能となる。

第１実施形態における撮像システムの装置構成の全体図。 第１実施形態における撮像装置の機能ブロック図。 深度合成の概念図。 検体と深度および距離情報との関係を示す概念図。 第１実施形態における画像処理全体の流れを示すフローチャート。 第１実施形態における画像生成処理の流れを示すフローチャート。 第１実施形態における深度合成処理の流れを示すフローチャート。 第１実施形態における画像解析の流れを示すフローチャート。 第２実施形態における画像処理システムの装置構成の全体図。 第２実施形態における画像処理全体の流れを示すフローチャート。 第３実施形態における深度合成処理の流れを示すフローチャート。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像システムの装置構成の全体図である。
本実施形態における撮像システムは、撮像装置（顕微鏡装置）１０１、画像処理装置１０２、表示装置１０３から構成され、撮像対象となる検体（被検試料）の二次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２の間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１は、光軸方向に焦点位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャル・スライド装置である。二次元画像の取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子が用いられる。なお、バーチャル・スライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像（Ｚスタック画像）から、画像解析に適した解析用画像を生成する機能、目視による観察に適した観察用画像を生成する機能、解析用画像に対し画像解析処理を適用する機能等をもつ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像と画像解析結果を表示するモニターであり、ＣＲＴや液晶ディスプレイ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２と表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

（撮像装置の構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１６、プレ計測
ユニット２１７、メイン制御系２１８、外部インターフェース２１９から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸の移動が可能である。光軸方向はＺ方向とする。プレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２１８の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２１７によって計測した検体の位置情報および厚み情報（距離情報）と、ユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。
結像光学系２０７は、プレパラート２０６の検体の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Correlated double sampling）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。システム最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１６で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１６のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Region Of Interest）など動作タイミングの制御も合わせて行う。

現像処理ユニット２１６は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、フィルタ処理部２１４、γ補正部２１５から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、
ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補完処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

フィルタ処理部２１４は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１５は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像に施される。

一般的な現像処理機能としては、ＲＧＢ信号をＹＣＣ等の輝度色差信号へ変換する色空間変換や大容量の画像データを圧縮する処理も含まれるが、本実施形態ではＲＧＢデータを直接使用し、かつデータ圧縮を行わないものとする。
また、不図示ではあるが、結像光学系２０７を構成するレンズ群の影響によって撮像エリア内の周辺部の光量が落ちることを補正する周辺減光補正の機能を搭載しても良い。あるいは、結像光学系２０７で生じる各種収差の内、結像の位置ずれを補正する歪曲収差補正、色毎の像の大きさの違いを補正する倍率色収差補正など、各種光学系の補正処理機能を搭載しても良い。

プレ計測ユニット２１７は、プレパラート２０６上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するためのプレ計測を行うユニットである。本計測の前にプレ計測ユニット２１７によって情報を取得することで、無駄のない撮像を実施することが可能となる。また、Ｚスタック画像を取得する際の撮像開始位置と終了位置（焦点位置の範囲）および撮像間隔（焦点位置の間隔。Ｚ間隔とも呼ぶ。）の指定もプレ計測ユニット２１７が生成する情報に基づいて行われる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２１７は、取得した画像から検体のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。検体厚み情報の取得方法については後述する。

メイン制御系２１８は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２１８および現像処理ユニット２１６の機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２１８および現像処理ユニット２１６の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。

外部インターフェース２１９は、現像処理ユニット２１６によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等のインターフェースが使用される。

本計測での撮像処理の流れを簡単に説明する。プレ計測により得られた情報に基づき、ステージ制御ユニット２０５が、ステージ２０２上の検体の位置決めを行い、検体に対する撮像の位置決めを行う。照明ユニット２０１から照射された光は、検体を透過し、結像光学系２０７によって撮像センサ２０８の撮像面に結像する。撮像センサ２０８の出力信号はＡＦＥ２０９によりデジタル画像（ＲＡＷデータ）に変換され、そのＲＡＷデータは現像処理ユニット２１６によりＲＧＢの二次元画像に変換される。このようにして得られた二次元画像は画像処理装置１０２へ送られる。

以上の構成および処理によって、ある焦点位置における検体の二次元画像を取得することができる。ステージ制御ユニット２０５によって光軸方向（Ｚ方向）に焦点位置をシフトさせながら、上記の撮像処理を繰り返すことにより、焦点位置が異なる複数枚の二次元画像を取得することができる。ここでは、本計測の撮像処理で得られる各々の二次元画像をＺスタック画像又は原画像と称す。

なお、本実施形態においては、単板方式のイメージセンサでカラー画像を取得する例を説明したが、ＲＧＢ別の三つのイメージセンサによりカラー画像を取得する三板方式を用いてもよい。あるいは、一つのイメージセンサと三色の光源を用い、光源色を切り替えながら三回の撮像を行うことによってカラー画像を取得する三回撮像方式を用いてもよい。

（深度合成について）
図３は、深度合成の概念図である。図３を用いて深度合成処理の概要を説明する。
画像５０１〜５０７は７枚のＺスタック画像であり、３次元的に異なる空間位置に複数の構造物が含まれる検体に対して、焦点位置を光軸方向（Ｚ方向）に順次変更しながら７回撮像を行うことで得られたものである。５０８〜５１０は取得された画像５０１中に含まれる構造物を示す。構造物５０８は画像５０３の焦点位置ではピントが合うが、画像５０１の焦点位置ではボケた像となる。そのため、画像５０１では構造物５０８の構造把握は困難である。構造物５０９は画像５０２の焦点位置でピントが合うが、画像５０１の焦点位置では若干ボケた像となる。画像５０１では構造物５０９の構造把握は十分ではないものの、可能な状況にある。構造物５１０は画像５０１の焦点位置でピントが合うため、画像５０１により構造把握が十分に行える。

図３において、黒で塗りつぶされた構造物は合焦するもの、白抜きの構造物は若干ボケるもの、破線で示した構造物はボケが大きいもの、をそれぞれ表している。すなわち、画像５０１、５０２、５０３、５０４、５０５、５０６、５０７において、構造物５１０、５１１、５１２、５１３、５１４、５１５、５１６にそれぞれピントが合う。なお、図３に示す例では、構造物５１０〜５１６は水平方向に位置が異なっているものとして説明する。

画像５１７は、画像５０１〜５０７における焦点の合った構造物５１０〜５１６の領域をそれぞれ切り出し、それらの合焦領域を合成して得られた画像を示している。上記のように複数の画像の合焦領域をつなぎ合わせることにより、画像の全領域でピントの合った深度合成画像を取得することができる。このようにデジタル画像処理によって被写界深度の深い画像を生成する処理は、焦点合成（フォーカス・スタッキング）とも呼ばれる。また、図３に示したように、焦点の合ったコントラストの高い領域を選択し、つなぎ合わせる方法は、セレクト＆マージ方式と呼ばれる。本実施形態では、このようなセレクト＆マージ方式により深度合成を行う例を説明するが、もちろん他の深度合成方法を採用してもよい。

（検体の厚みについて）
図４は、検体と深度および距離情報との関係を示す概念図である。本図を用いて、本実施形態の特徴である深度範囲の概念を説明する。
図４は、プレパラートの断面を模式的に示している。プレパラートは、透明なスライドグラス６０２とカバーグラス６０１の間に検体６０３を固定した構造である。カバーグラス６０１と検体６０３との間には透明な接着剤である封止剤が存在する。

６０４は、基準位置６０５からカバーグラス６０１の上面までの距離を示している。また、６０６は、基準位置６０７からスライドグラス６０２の下面までの距離を示している。これらの距離６０４、６０６は、例えばレーザー変位計などを用いて計測することができる。

６０８は、検体６０３の厚みを示している。検体厚み６０８を直接計測することは難しいため、基準位置６０５と６０７の間隔から、距離６０４および６０６、カバーグラス厚６０９、スライドグラス厚６１０を減算することによって、厚み６０８を算出するとよい。なお、カバーグラス６０１およびスライドグラス６０２には、把持方法や封止の影響、および検体の厚さばらつきによって、うねりが生じる。そのため、精度の良い検体厚み６０８の計測のためには、二次元平面（ＸＹ平面）内の複数の位置で距離情報を取得し、それらの平均や中間値をとることが好ましい。

カバーグラス厚６０９は、計測することもできるし、予め登録された規定値を用いることもできる。計測する場合は、カバーグラス６０１のうねりを考慮し、複数点で厚みを計測するとよい。一方、規定値を用いる場合は、カバーグラス６０１の厚さのばらつきはないものとみなす。
スライドグラス厚６１０も、カバーグラス厚６０９と同様に、計測結果を用いてもよいし、予め登録された規定値を用いてもよい。一般にスライドグラス６０２の方がカバーグラス６０１よりも大きい。そのため、基準位置６０５からスライドグラス６０２の上面までの距離を計測し、その計測結果と距離６０６の合計値を基準位置６０５と６０７の間隔から減算することでも、スライドグラス厚６１０を算出することが可能である。

６１１ａ〜６１１ｄは、検体６０３内に含まれる構造物である。ここでは、６１１ａ〜６１１ｄはそれぞれ細胞の核を示しているものとする。核６１１ｂは光軸に垂直な面で切断されている。核６１１ｂと６１１ｃは光軸方向（Ｚ方向）の位置（深さ）が異なっているが、光軸方向から見たときには（つまりＸＹ平面に投影したときには）重なりを有しているものとする。

６１２は、カバーグラス６０１の下面、つまり検体６０３の表面を示している。結像光学系の焦点位置をこの位置６１２に合わせることで、検体６０３の表面の画像を撮影することができる。なお、実際には、プレパラートのうねりや検体６０３の厚みばらつきなどがあるため、位置６１２に合わせても、検体６０３の表面の全領域にピントが合うわけではなく、ピントの合う領域とボケた領域が混在することになる。光軸上のどの位置に焦点を合わせた場合でも同様である。また、観察や解析の対象となる構造物（細胞核など）が存在するＺ方向位置も図４のようにランダムであるため、ある一つの焦点位置で撮像するだけでは、病理診断に必要な情報が十分に得られない可能性がある。

そのため従来システムでは、例えば、カバーグラス下面とスライドグラス上面の間の深度範囲内で、焦点位置を徐々にずらしながら複数のＺスタック画像を取得し、これら全てのＺスタック画像を深度合成してパンフォーカス画像を生成することが一般に行われる。しかしながら、この方法により得られる合成画像では、像のボケは非常に低減されるものの、検体の奥行き方向の情報が完全に失われてしまい、核６１１ａ〜６１１ｄの前後関係（上下関係）は把握することができない。また、核６１１ｂの像と核６１１ｃの像が合成
画像上で重なり合って（混ざり合って）しまい、それらを区別することが困難になる。このような像の重なりが生じると、例えば細胞の形状把握や個数算出、細胞質と核の面積比（Ｎ／Ｃ比）の算出などの画像解析処理において精度低下を招く可能性があり、好ましくない。

そこで本実施形態のシステムでは、画像解析に用いるための「解析用画像」については、全てのＺスタック画像ではなく、一部（検体の厚さよりも小さい深度範囲）のＺスタック画像のみを用いて深度合成を行うことで、画像解析に適した合成画像を提供する。解析用画像は、Ｚスタック画像（原画像）に比べて適度にボケが低減された画像となる。さらに本システムは、解析用画像（第１の画像）とは別に、ユーザーの目視による観察に適した「観察用画像」（第２の画像）を生成することもできる。観察用画像は、解析用画像に比べてボケの低減度合いが小さい画像である。すなわち、観察用画像では、焦点位置から外れた構造物の像に適度にボケを残すことで、構造物の上下関係の直観的な把握を容易にしているのである。なおＺスタック画像のボケ具合（つまり被写界深度）が観察に適している場合には、原画像であるＺスタック画像そのものを観察用画像に用いることもできる。
このように、本システムは、用途（コンピュータによる画像解析か、ユーザーによる目視観察か）に応じて、適切な被写界深度（あるいはコントラスト）の画像が自動的に生成される点に一つの特徴を有しており、これによりユーザーの利便性の向上を図るものである。

ここで、解析用画像と観察用画像の違いは、深度合成に用いるＺスタック画像が選択される深度範囲の大きさが異なる点、具体的には、解析用画像の深度範囲のほうが観察用画像の深度範囲よりも大きい点である。言い換えると、解析用画像のほうが観察用画像よりも深度合成に用いるＺスタック画像の数が多い。あるいは、解析用画像のほうが観察用画像よりも被写界深度が深い、解析用画像のほうが観察用画像よりもボケの低減度合いが大きい（ボケが小さい）、という言い方もできる。解析用画像の深度範囲は、解析対象となる構造物の大きさや診断種類（組織診か細胞診か）に応じて、適宜決定することができる。具体的には、画像解析において識別（検出）すべき構造物（細胞や核等）の大きさと概ね等しくなるように、深度範囲を決定するとよい。例えば、組織診用の検体の場合、正常細胞の核の大きさは約３〜５μｍ、異常細胞の核の大きさは〜約１０μｍであるため、深度範囲は３μｍ以上１０μｍ以下に設定するとよい。Ｚスタック画像同士の焦点位置の間隔（Ｚ間隔）が１μｍであれば、カバーグラス６０１のうねりが存在しない場合、３〜１０枚程度のＺスタック画像が解析用画像の深度合成に用いられることとなる。

（システムの動作）
図５は、撮像システムの画像処理全体の流れを示すフローチャートである。本図を用いて、Ｚスタック画像の撮像処理、並びに、観察用画像および解析用画像の生成処理の流れを説明する。なお、プレ計測処理は本計測処理の前に終了しており、プレパラートのＸＹ平面の低解像度画像とＺ方向の距離情報および厚み情報とは、図５の処理が開始する前にメイン制御系２１８に伝送されているものとする。

ステップＳ７０１では、メイン制御系２１８が、エッジ検出や物体認識などの公知の画像処理を用いて、プレ計測で得られたＸＹ平面画像から検体が存在する範囲を検出する。ここで検出された範囲が、本計測における撮像範囲に指定される。このように、プレパラート全体を撮像するのではなく、プレ計測の結果に基づき撮像範囲を制限する（小さくする）ことで、処理時間の短縮とデータ量の削減を図ることが可能となる。

ステップＳ７０２では、メイン制御系２１８が、プレ計測で得られたプレパラートのＺ方向の距離情報および厚み情報に基づいて、Ｚ方向の撮像範囲を指定する。具体的には、
撮像開始位置（例えばカバーグラス下面）、撮像終了位置（例えばスライドグラス上面）、撮像間隔（Ｚ間隔）を指定するとよい。撮像間隔は、結像光学系２０７の被写界深度に基づいて決めることができる。例えば、焦点位置の±０．５μｍの範囲でピントが合っているとみなせる場合（被写界深度は１μｍ）、撮像間隔は１μｍかそれより小さくするとよい。撮像間隔は一定でもよいし、撮像範囲の中で変化させてもよい。例えば、細胞診と組織診では検体の厚みが異なるため（細胞診の場合は数十μｍ、組織診の場合は数μｍ）、細胞診の場合に組織診よりも撮像間隔を広くすることも好ましい。撮像間隔を広くすることで、撮像回数が減り、取得するＺスタック画像の枚数も減るため、撮像時間の短縮およびデータ量を削減する効果が得られる。
ステップＳ７０１、Ｓ７０２で得られた撮像範囲の情報は、ステージ制御ユニット２０５、撮像ユニット２１０、現像処理ユニット２１６にそれぞれ伝送される。

次に、各焦点位置での二次元画像（Ｚスタック画像）の撮像が行われる。
まずステップＳ７０３では、ステージ制御ユニット２０５が、ステージ２０２をＸ，Ｙ方向に移動させ、検体の撮像範囲と結像光学系２０７および撮像センサ２０８の画角との位置合わせを行う。また、ステージ２０２をＺ方向に移動させて、検体上の焦点位置を撮像開始位置に合わせる。

ステップＳ７０４では、照明ユニット２０１が検体を照明し、撮像ユニット２１０が画像を取り込む。本実施形態ではＢａｙｅｒ配列のセンサを想定しているため、１回の撮像で次動作に移ることができる。三板式も同様である。光源切り替えによる三回撮像方式の場合は、同じ位置で光源をＲ、Ｇ、Ｂと切り替え、それぞれの像を取得後、次ステップへ進む。

ステップＳ７０５では、撮像データを現像処理ユニット２１６で処理し、ＲＧＢ画像を生成後、画像処理装置１０２へ伝送する。撮像装置１０１内のストレージへ画像を一次保存した後、伝送するステップを踏んでも良い。Ｓ７０３〜Ｓ７０５の処理で、一つの焦点位置における一枚のＺスタック画像が取得できる。

ステップＳ７０６では、全ての焦点位置の撮像が完了したか否か（つまり、焦点位置が撮像終了位置に到達したか否か）を判断する。撮像が完了、すなわち全てのＺスタック画像の取得が完了した場合はステップＳ７０７へ進む。焦点位置が撮像終了位置に到達していなければ、Ｓ７０３に戻り、Ｓ７０２で指定された撮像間隔だけ焦点位置をシフトし、次の撮像を行う。例えば、撮像開始位置と撮像終了位置の間の距離が３０μｍであり、撮像間隔が１μｍの場合であれば、Ｓ７０３〜Ｓ７０６の処理が３１回繰り返され、３１枚のＺスタック画像が取得されることになる。

ステップＳ７０７では、全Ｚスタック画像取得の結果を受けて、画像処理装置１０２が画像生成処理の各種設定を行う。ここでは、取得したＺスタック画像の枚数の把握と、観察用画像および解析用画像それぞれの画像生成に必要な距離情報、被写界深度の範囲などの情報取得および設定が行われる。
ステップＳ７０８では、画像処理装置１０２が、ステップＳ７０７で設定した値に基づき観察用画像および解析用画像の生成を行う。詳細については図６を用いて後ほど説明する。

ステップＳ７０９以降は、観察用画像および解析用画像を利用する処理の一例である。ステップＳ７０９では、画像処理装置１０２が、観察用画像に対する処理を行うのか、解析用画像に対する処理を行うのかを判断する。観察用画像に対する処理の場合はステップＳ７１０へ、解析用画像に対する処理の場合はステップＳ７１１へそれぞれ進む。なお、このフローチャートでは観察用画像に対する処理と解析用画像に対する処理とが排他的に
実行されるように示されているが、両方の処理を並列に又は順番に実行することもできる。

ステップＳ７１０では、画像処理装置１０２が観察用画像を取得し、それを表示装置１０３に表示する。観察用画像は、複数のＺスタック画像の中からユーザーにより又は自動的に選択されたＺスタック画像そのものであってもよいし、Ｓ７０８において、奥行き方向の情報が得られる範囲で深度合成された合成画像であってもよい。
ステップＳ７１１では、画像処理装置１０２が、処理対象とする解析用画像を取得する。ステップＳ７１２では、画像処理装置１０２が、選択した解析用画像をもとに画像解析処理を実施する。画像解析処理の詳細については図８を用いて後ほど説明する。

ステップＳ７１３では、画像処理装置１０２が、画像解析処理（Ｓ７１２）の結果を表示装置１０３に表示する。このとき、ステップＳ７１０において表示されている観察用画像に対して補足情報として解析結果を提示することが望ましい。解析結果は、観察用画像と並べて表示してもよいし、観察用画像にオーバーレイ表示してもよいし、その他のどのような表示態様でもよい。

なお、図５のフローチャートでは、Ｚスタック画像の撮像、観察用画像および解析用画像の生成、解析、表示という一連の流れを説明したが、本システムの動作はこの例に限らない。例えば、Ｓ７０１〜Ｓ７０６の撮像処理と、Ｓ７０７〜Ｓ７０８の画像生成処理と、Ｓ７０９〜Ｓ７１３の解析・表示処理とは、時間的に別々に行っても構わない。例えば、ストッカー（不図示）に収容した複数のプレパラートに対して撮像処理のみバッチ的に実行し、各プレパラートのＺスタック画像群を画像処理装置１０２内の記憶装置あるいはネットワーク上の記憶装置に蓄積することもできる。そして、画像生成処理や解析・表示処理については、ユーザーが、任意の時間に、記憶装置の中から任意の画像を選んで、処理を行うことができる。

（画像生成処理）
図６は、画像生成処理の流れを示すフローチャートである。ここでは、図５のステップＳ７０８の詳細について説明する。
ステップＳ８０１では、画像処理装置１０２が、画像生成の対象が観察用画像か解析用画像かを判断する。観察用画像の場合はステップＳ８０２へ、解析用画像の場合はステップＳ８０７へそれぞれ進む。なお、このフローチャートでは、観察用画像の生成処理と解析用画像の生成処理とが排他的に実行されるように示されているが、実際には、観察用画像と解析用画像の両方を生成するため、両方の生成処理が並列に又は順番に実行される。

（１）観察用画像の生成処理
ステップＳ８０２では、ユーザーが、複数の焦点位置に対応する複数のＺスタック画像の中から一枚の画像を選択する。例えば、ユーザーに焦点位置を指定させてもよいし、複数の画像を並べたプレビュー画面を提示してユーザーに画像を選ばせてもよい。

ステップＳ８０３では、ステップＳ８０２で選択された画像が目視観察に十分な被写界深度を持っているか否かを判断する。被写界深度が十分な場合はステップＳ８０６へスキップする（この場合、Ｚスタック画像がそのまま観察用画像として用いられる）。被写界深度が十分ではない、すなわち奥行き情報の欠落が認められる場合はステップＳ８０４へ進む。なお、被写界深度が十分か否かは、ユーザーが画像のプレビューを見て判断することができる。

ステップＳ８０４では、ユーザーが、観察用画像の生成に用いるＺスタック画像の範囲（深度範囲）を指定する。このとき、深度範囲を指定してもよいし、画像の枚数を指定し
てもよい。例えば、２枚合成、３枚合成、・・・といった複数種類のプレビュー画像を画面表示し、ユーザーに所望の合成枚数を選択させる構成をとることも好ましい。なおプレビュー画像は、粗画像を使って深度合成したものでもよいし、深度合成よりも簡易な合成処理（加算、αブレンドなど）で作成したものでもよい。

ステップＳ８０５では、画像処理装置１０２は、指定された深度範囲内にある複数のＺスタック画像を選択し、深度合成処理を実施する。深度合成処理の詳細については図７を用いて後ほど詳細に説明する。
ステップＳ８０６では、画像処理装置１０２は、ステップＳ８０２で選択された画像、もしくはステップＳ８０５で生成された深度合成画像を、観察用画像として指定する。観察用画像は画像処理装置１０２内の記憶装置またはネットワーク上の所定の記憶装置に格納される。

（２）解析用画像の生成処理
ステップＳ８０７では、画像生成の対象が解析用途であることを受けて、画像処理装置１０２が、深度合成の際に基準位置となる画像（これを基準画像と呼ぶ）を複数枚のＺスタック画像の中から選択する。基準画像の選択はユーザーが行ってもよい。ここで、基準位置は任意に設定できるが、カバーグラスの下面、つまり検体の上側（結像光学系側）の表面を基準位置に選ぶことが好ましい。通常の画像では、焦点位置（焦点面）よりも上に存在する構造物と下に存在する構造物の両方が、ボケた像となって画像に重畳されることとなる。これに対し、検体表面に焦点位置を合わせた画像の場合は、焦点位置の上には封止剤やカバーグラスなどの透明な物体の他は存在しないため、ボケ成分が半分（下側の構造体のみ）となるからである。ボケの少ないクリアな画像の方が画像解析には好適である。あるいは、解析対象の構造物が分かっている場合には、その構造物に最もピントの合っている画像を基準画像として選んでもよいし、解析対象とする深度（例えば検体の中心とか、検体表面からＸμｍなど）が決まっている場合には、その深度の画像を選んでもよい。

ステップＳ８０８では、解析用画像の生成に用いるＺスタック画像の範囲（深度範囲）を指定する。深度範囲は、Ｓ８０７で指定された基準位置が深度範囲の上端又は中心又は下端になるように設定される。深度範囲の指定はユーザーが行うこともできるが、好ましくは、画像処理装置１０２が解析対象のサイズや解析の目的などに応じて自動で決定するとよい。例えば、組織診において細胞質と核の面積比であるＮ／Ｃ比の算出を行う場合、核の直径が正常細胞で３〜５μｍ程度、核肥大や多核化の場合はその数倍程度に膨らむことを考慮し、深度範囲は３μｍ以上１０μｍ以下に設定するとよい。また、細胞診の場合は、細胞形状を把握するために、通常、数十μｍ程度の大きさ（厚み）の剥離細胞の全体像把握が目的となる。それゆえ、深度範囲は２０μｍ程度に設定するとよい。このような解析対象や解析目的と望ましい深度範囲の大きさとの対応関係は、予め画像処理装置１０２に設定されているものとする。
またステップＳ８０８において、深度範囲に加えて、深度合成に用いる画像のＺ方向の間隔（Ｚ間隔）を設定してもよい。例えば、細胞診の場合は、組織診の場合に比べて深度範囲が大きいため、深度範囲内のすべての画像を深度合成に用いると処理時間が長くなる。そこで、深度範囲が大きい場合や解析対象のサイズが大きい場合などには、Ｚ間隔を大きくとることで画像数を減らし、処理時間を削減するとよい。

ステップＳ８０９では、画像処理装置１０２が、Ｓ８０７とＳ８０８で設定された深度範囲内に含まれる複数のＺスタック画像を選択する。そして、ステップＳ８１０において、画像処理装置１０２は、これらのＺスタック画像を用いて深度合成処理を実施する。深度合成処理の内容はステップＳ８０５と同じであるため、図７を用いて後ほど説明する。

ステップＳ８１１では、画像処理装置１０２は、ステップＳ８１０で生成された深度合成画像を、解析用画像として指定する。解析用画像は画像処理装置１０２内の記憶装置またはネットワーク上の所定の記憶装置に格納される。
以上の処理によって、観察用画像と解析用画像の双方を、同じＺスタック画像群から得ることができる。

（深度合成処理）
図７は、深度合成処理の流れを示すフローチャートである。ここでは、図６のステップＳ８０５、Ｓ８１０の詳細について説明する。

ステップＳ９０１では、画像処理装置１０２は、深度合成の対象として選択された複数のＺスタック画像を取得する。前述のとおり、観察用画像に比べて解析用画像の方が、深度合成に用いる画像の数が多い。

ステップＳ９０２では、画像処理装置１０２は、取得した画像各々に対して、画像を所定のサイズの複数の小領域に分割する。この分割領域のサイズは、観察や解析の対象となる構造物（細胞、核など）のサイズを考慮して決められる。例えば、分割領域の一辺の長さが、観察や解析の対象となる構造物の直径の１／２倍から１倍程度のサイズになるよう、分割領域のサイズを設定するとよい。

ステップＳ９０３では、画像処理装置１０２は、各画像の各分割領域について、コントラスト値を検出する。コントラスト検出の一例として、分割領域毎に離散コサイン変換を行って周波数成分を求め、周波数成分の中で高周波成分の総和を求め、コントラストの度合いを示す値として採用する方法が挙げられる。また、単純に分割領域内での輝度値の最大値と最小値の差を求めたり、エッジ検出の空間フィルタを用いてエッジ量を算出し、得られた値をコントラスト値としたりしても良い。コントラスト検出に関しては、既知の様々な方法を適用することが可能である。

ステップＳ９０４では、画像処理装置１０２は、コントラストＭＡＰを作成する。コントラストＭＡＰとは、分割領域の数と同じ数の要素をもつテーブルであり、各要素に、対応する分割領域のコントラスト値と画像番号とがＭＡＰ値としてマッピングされたものである。例えば、Ｓ９０２において画像が１００×１００個の領域に分割される場合、コントラストＭＡＰも１００×１００個の要素をもつ。ステップＳ９０４では、Ｓ９０１で取得した複数の画像の内の任意の一枚（例えば、深度範囲の上端の画像など）が選ばれ、その画像のコントラスト値と画像番号が初期値としてコントラストＭＡＰに入力される。

ステップＳ９０５では、画像処理装置１０２は、ステップＳ９０４で選んだ画像とは異なる画像を比較対象画像として選択する。
ステップＳ９０６では、画像処理装置１０２は、比較対象画像とコントラストＭＡＰとの間で、コントラスト値の比較を行う。比較対象画像のコントラスト値の方が高い場合は、ステップＳ９０７へ進む。比較対象画像のコントラスト値の方が低い、もしくは両画像のコントラスト値が同じ場合は、ステップＳ９０７の処理をスキップしてステップＳ９０８へと進む。
ステップＳ９０７では、画像処理装置１０２は、比較対象画像のコントラスト値及び画像番号をコントラストＭＡＰに書き込む（コントラストＭＡＰの更新）。Ｓ９０６のコントラスト値の比較およびＳ９０７のコントラストＭＡＰの更新は、分割領域ごとに行われる。

ステップＳ９０８では、画像処理装置１０２は、ステップＳ９０１で選択した全画像に対して比較処理を実施したか否かを判断する。すべての画像で比較処理が完了した場合は
ステップＳ９０９へ進む。完了していない場合は、ステップＳ９０５へ戻り、以後比較処理を繰り返す。これにより、分割領域ごとに最もコントラスト値が高い画像番号が記録されたコントラストＭＡＰが完成する。

ステップＳ９０９では、画像処理装置１０２は、コントラストＭＡＰを参照して、分割領域ごとに、該当する画像番号のＺスタック画像から分割画像を抽出する。
ステップＳ９１０では、画像処理装置１０２は、ステップＳ９０９で抽出した分割画像をつなぎ合わせるスティッチングの処理を実施する。以上のステップを経ることで、複数枚のＺスタック画像から、高コントラストの領域、すなわちピントの合った鮮明な領域をつなぎ合わせた合成画像を生成することができる。

（画像解析処理）
図８は、画像解析の流れを示すフローチャートである。ここでは、図５のステップＳ７１２の詳細について説明する。

ステップＳ１１０１では、画像処理装置１０２が、解析用に深度合成を行った解析用画像を取得する。ここでは、組織診を例に挙げ、薄くスライスされた組織片をＨＥ（ヘマトキシリン・エオシン）染色した検体を対象とする。

ステップＳ１１０２では、画像処理装置１０２が、解析用画像中に含まれる解析対象となる細胞のエッジを抽出する。ここでは、エオシンによって細胞が赤ないしピンク色に染色されていることを利用し、赤ないしピンク色の色域の領域を抽出する処理が行われる。本実施形態の解析用画像では、深度合成によって像のボケが低減されているため、エッジ抽出および後段の輪郭抽出を精度良く行うことができる。なお、抽出処理をより精度良く行うため、解析用画像に対し空間フィルタによるエッジ強調処理を事前に施しても構わない。ここでのエッジ抽出は、実際には細胞膜の検出となる。

ステップＳ１１０３では、画像処理装置１０２が、ステップＳ１１０２で抽出されたエッジに基づき、細胞の輪郭を抽出する。ステップＳ１１０２で抽出されたエッジが不連続かつ断続的なものの場合、その間をつなぐ処理を施すことで連続的な輪郭を抽出することが可能となる。不連続点をつなぐ方法は一般的な線形の補間で構わないが、より精度を高めるためにより高次の補間式を採用してもよい。

ステップＳ１１０４では、画像処理装置１０２が、ステップＳ１１０３で検出された輪郭をもとに個々の細胞の認識、特定を行う。一般に細胞は円形をしており、そのサイズも概ね決まっている。したがって、形状やサイズなどの知識情報を利用することで、細胞か否かの誤判定を少なくすることができる。また本実施形態では、解析用画像を生成する際の深度範囲を細胞の核のサイズに基づいて適切な範囲に設定しているため、異なる深度に存在する細胞同士が画像上で重なり合うことが極力抑えられている。それゆえ、細胞を認識、特定する処理を精度良く行うことが可能となる。なお、一部では細胞の重なりを生じていることで細胞の特定が難しいものも存在する可能性がある。その場合は、後段の細胞核の特定結果を待って、再度認識、特定の処理を実施すればよい。

ステップＳ１１０５では、画像処理装置１０２が、細胞核の輪郭を抽出する。ＨＥ染色では、細胞の核はヘマトキシリンによって青紫に染色され、その周囲の細胞質はエオシンによって赤色に染色される。そこで、ステップＳ１１０５では、中心部分が青紫色であり、且つその周囲が赤色である部分を検出し、青紫色の領域と赤色の領域の間の境界を抽出する処理が行われる。

ステップＳ１１０６では、画像処理装置１０２が、ステップＳ１１０５で検出された輪
郭情報をもとに細胞核の特定を行う。正常細胞では一般に核の大きさは３〜５μｍ程度であるが、異常をきたすとサイズの肥大、多核化、異形化など様々な変化を生じる。ステップＳ１１０４で特定された細胞内に含まれていることが存在の目安の一つとなる。ステップＳ１１０４で特定が困難であった細胞に関しても、核を特定することで判断することが可能となる。

ステップＳ１１０７では、画像処理装置１０２が、ステップＳ１１０４およびステップＳ１１０６で特定した細胞および細胞核のサイズを計測する。ここでのサイズは面積を示しており、細胞膜内の細胞質の面積と核内の面積をそれぞれ求める。また、細胞の総数を数えたり、その形状やサイズの統計情報をとったりしても良い。

ステップＳ１１０８では、画像処理装置１０２が、ステップＳ１１０７で得られた面積情報をもとに、細胞質と核の面積比であるＮ／Ｃ比を算出する。個々の細胞について算出した結果の統計情報を得る。

ステップＳ１１０９では、画像処理装置１０２が、解析用画像の領域内、場合によってはユーザーによって指定された範囲内において、全細胞に関する解析処理を完了したか否かを判断する。解析処理が完了した場合は処理を完了する。解析処理が完了していない場合は、ステップＳ１１０２へ戻り解析処理を繰り返す。
以上のステップにより診断支援に有用な画像解析を実施することが可能となる。

（本実施形態の利点）
上述の説明のように、本実施形態によれば、焦点位置が異なる複数枚のＺスタック画像をもとに、観察用画像と解析用画像の２種類の画像を生成することができる。観察用画像は、解析用画像に比べて被写界深度が浅く、被写界深度から外れた構造物（細胞や核など）は画像においてボケた像となる。ユーザーが画像を目視観察する場合は、このボケた像が、被写体の立体構造や三次元分布の把握を助ける奥行き情報として有用である。一方、解析用画像については、解析対象のサイズや解析の目的に応じた適切な範囲で深度合成をすることで、解析対象が画像上で重なり合うことが極力抑えられ、これにより、画像解析処理を高精度に行うことが容易となる。このように、本実施形態のシステムでは、同じＺスタック画像群から用途・目的に応じて２種類の画像を生成できるので、ユーザーの利便性を向上することができる。

また、複数のＺスタック画像を用いて深度合成を行ったので、単一深度の被写界深度の浅い画像に対しエッジ強調等の深度回復処理を適用しただけの画像と比べて、アーティファクトが出にくく、精度の高い診断に使用可能な高品質な画像を生成することができる。しかも、Ｚスタック画像は、検体の置かれたステージもしくは撮像素子を光軸方向に移動するという簡易な処理で取得可能であるとともに、またそのような機構をもつ撮像装置は比較的容易に実現することができるという利点もある。

また本実施形態では、セレクト＆マージ方式で深度合成を行っているが、この方法は第３実施形態で述べる空間周波数フィルタリング方式などの他の方法と比べて、処理が簡易であり、回路規模、演算量とも抑えることができるという利点がある。

なお上記実施形態では、撮像装置１０１によりＺスタック画像の撮像を行った後、画像処理装置１０２で画像生成および画像解析の処理を行ったが、処理の手順はこれに限られない。撮像装置１０１と画像処理装置１０２が連携することによって、必要なタイミングで撮像を行うこともできる。例えば、画像処理装置１０２が目的に適した画像の生成にはＺスタック像が不足、もしくはそもそも存在しないと判断した場合に、撮像装置１０１に対し必要な撮像範囲（ＸＹ領域、Ｚ位置、Ｚ間隔）を指定してもよい。これにより撮像時
間およびデータ量を抑えた画像取得が可能となる。

［第２実施形態］
本発明の第２実施形態に係る画像処理システムを図に従って説明する。
第１実施形態においては、観察用画像と解析用画像の生成に用いるＺスタック画像を、撮像装置で都度取得する例を示した。第２実施形態では、Ｚスタック画像が予め取得されており、画像処理装置は画像生成の際に画像サーバーから必要なＺスタック画像を取得する例を示す。また、細胞診と組織診で画像合成の前処理を変更する点も、第１実施形態と異なる。以上の点を中心に説明を行う。

図９は、第２実施形態に係る画像処理システムの装置構成の全体図である。
本実施形態における画像処理システムは、画像サーバー１２０１、画像処理装置１０２、表示装置１０３から構成される。画像処理装置１０２は検体の二次元画像（Ｚスタック画像）を画像サーバー１２０１から取得し表示することができる。画像サーバー１２０１と画像処理装置１０２の間は、ネットワーク１２０２を介して、汎用Ｉ／ＦのＬＡＮケーブル１２０３で接続される。画像サーバー１２０１は、撮像装置（バーチャル・スライド装置）によって撮像されたＺスタック画像を保存する大容量の記憶装置を備えたコンピュータである。画像サーバー１２０１は、画像データの他、撮像装置で行われたプレ計測のデータも合わせて保存しているものとする。画像処理装置１０２および表示装置１０３は第１実施形態のものと同様である。

図９の例では、画像サーバー１２０１と画像処理装置１０２と表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を画像サーバーに組み込んでもよい。また画像サーバー、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像サーバーや画像処理装置の機能を分割して複数の装置によって実現してもよい。

（システムの動作）
図１０は、画像処理装置による画像処理全体の流れを示すフローチャートである。本図を用いて、本実施形態の特徴である観察用画像と解析用画像の生成処理の流れを説明する。なお、第１実施形態と同様の処理については同じ符号を付記し、説明は省略する。
ステップＳ１３０１では、画像処理装置１０２が、画像生成の対象となる対象検体のＺスタック画像群から任意の一枚（例えば最上位の焦点位置の画像）を画像サーバー１２０１から読み出し、その画像のプレビューを表示装置１０３に表示する。そして、ユーザーに、プレビュー画像上で、観察や解析の対象となる構造物が存在するＸＹ範囲（観察用画像及び解析用画像の作成が必要な範囲）を指定させる。

ステップＳ１３０２では、画像処理装置１０２が、Ｚスタック画像群のＡＦ情報に基づいて、画像生成に用いるＺスタック画像のＺ方向（光軸方向）の撮像範囲を決定する。ＡＦ情報とは、撮像装置のオートフォーカス機能（例えば、画像の周波数成分もしくはコントラスト値によって合焦を検出する機能）によって撮像時に作成された、各画像の焦点位置に関する情報である。本実施形態の場合、ＡＦ情報はＺスタック画像群とともに画像サーバー１２０１に格納されている。

ステップＳ１３０３では、画像処理装置１０２が、対象検体が細胞診用か組織診用かを判断する。細胞診か組織診かをユーザーに指定させることもできるが、画像処理装置１０２が対象検体の厚みや染色方法によって細胞診か組織診かを自動で判断することも可能である。一般に組織診は検体の厚みが４〜５μｍ程度、細胞診では数十μｍ以上となる。また、染色も組織診ではＨＥ染色が、細胞診ではパパニコロウ染色が用いられるのが一般的
であり、検体の色味によって組織診用か細胞診用かを推定することができる。なお、検体の厚みの情報は、画像サーバー１２０１に格納されていてもよいし、ステップＳ１３０２で取得したＡＦ情報から推定してもよい。また染色方法（又は色味）の情報は、画像サーバー１２０１に格納されていてもよいし、画像処理装置１０２が画像処理によって取得してもよい。細胞診の場合はステップＳ１３０４へ、組織診の場合はステップＳ１３０５へそれぞれ進む。

ステップＳ１３０４では、細胞診であることを受けて、画像処理装置１０２は、選択する画像のＺ間隔を広めに設定する。これは細胞診では厚みが数十μｍになることを考慮してのことである。組織診の場合よりもＺ間隔を広くする（例えば１〜数μｍ）ことで、深度合成に用いるＺスタック画像の数が減るため、処理時間の短縮を図ることができる。

ステップＳ１３０５では、組織診であることを受けて、画像処理装置１０２は、選択する画像のＺ間隔を狭めに設定する。これは組織診では検体の厚みが数μｍ程度の薄さであることによる。撮像装置１０１の結像光学系のＮＡが０．７前後であれば、被写界深度は±０．５μｍ程度であり、それでも検体厚みの方が大きいことになる。鮮明な画像取得ためには、Ｚ間隔を０．５μｍ程度にすることが好ましい。

ステップＳ１３０６では、画像処理装置１０２が、Ｓ１３０２で指定したＺ範囲と、Ｓ１３０４又はＳ１３０５で指定したＺ間隔に従って、必要なＺスタック画像を画像サーバー１２０１から取得する。その後、第１実施形態と同様の処理によって、観察用画像と解析用画像が生成され、各画像に対して必要な処理が行われる（Ｓ６０７〜Ｓ６１３）。

上述の説明のように、本実施形態においても、第１実施形態と同様、同じＺスタック画像群から観察用画像と解析用画像の２種類の画像を生成することができ、ユーザーの利便性を向上することができる。特に、本実施形態では、既に取得した画像を基に観察用画像および解析用画像を生成することで、撮像装置による撮像時間を考慮せず所望の画像を得ることが可能となる。また、組織診か細胞診かで深度合成に用いる画像のＺ間隔を自動で調整するので、細胞診の場合の処理時間を短縮することができる。さらに、組織診か細胞診かの判断を自動で行うようにすれば、さらなる利便性を提供することも可能となる。

［第３実施形態］
本発明の第３実施形態について説明する。前述の実施形態ではセレクト＆マージ方式により深度合成を行ったのに対し、第３実施形態では、原画像同士を空間周波数領域で加算する空間周波数フィルタリング方式により深度合成を実施する点が異なる。
図１１は、深度合成処理の流れを示すフローチャートである。図１１は、第１実施形態における図６のステップＳ８０５及びＳ８１０の詳細な内容を示している。第１実施形態ではコントラスト値比較による分割画像の選択とつなぎ合わせについて説明した。本実施形態では、複数枚の画像を使用した周波数領域での画像合成と復元によって、被写界深度を拡大する処理（深度回復とも呼ぶ）を説明する。

ステップＳ１４０１では、画像処理装置１０２は、深度回復処理の対象となる複数枚のＺスタック画像を取得する。
ステップＳ１４０２では、画像処理装置１０２は、取得した画像各々に対して、画像を所定のサイズの複数の領域に分割する。

ステップＳ１４０３では、画像処理装置１０２は、分割領域ごとに、深度合成に用いる画像を選択する。第１および第２実施形態と同様、観察用画像であれば奥行き情報が補える範囲の枚数の画像が選ばれ、解析用画像であれば解析対象となる細胞や核の重なりが最小限となる厚みの範囲を考慮して選択する画像の枚数が決定される。画像の選択は予め指
定した領域の範囲とプレ計測結果に基づく。

ステップＳ１４０４では、画像処理装置１０２は、ステップＳ１４０３で選択した分割画像に対してフーリエ変換を適用する。ここでは空間周波数変換としてフーリエ変換を例示しているが、離散コサイン変換など、他の周波数変換処理を用いても構わない。
ステップＳ１４０５では、画像処理装置１０２は、すべての画像に対してフーリエ変換を適用したか否かを判断する。すべての画像に対してフーリエ変換を適用した場合にはステップＳ１４０６へ進む。変換処理が適用されていない画像があればステップＳ１４０４へ戻り、次の画像に対して変換処理が適用される。

ステップＳ１４０６では、画像処理装置１０２は、すべての分割画像に対して周波数変換処理の適用が完了したことを受けて、ＸＹ平面上で同じ位置となる分割画像の周波数成分を適当な重み付けをしながら加算する。
ステップＳ１４０７では、画像処理装置１０２は、加重加算で得られたフーリエスペクトル（画像情報）を逆フーリエ変換して、焦点の合った画像を生成する。ここでは、周波数領域から空間領域への逆変換を想定している。
ステップＳ１４０８では、画像処理装置１０２は、必要に応じてエッジ強調や平滑化、ノイズ除去等のフィルタ処理を適用する。なお本ステップは必須ではない。

上述の説明のように、本実施形態においても、第１実施形態と同様、同じＺスタック画像群から観察用画像と解析用画像の２種類の画像を生成することができ、ユーザーの利便性を向上することができる。特に、本実施形態の空間周波数フィルタリング方式では、セレクト＆マージ方式のように最もコントラスト値の高い画像が排他的に選ばれるのではなく、複数の画像が周波数領域で加算されるため、より高品質な画像生成が可能となる。

［その他の実施形態］
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

また第１〜第３実施形態では、検体に対する焦点位置が異なる複数のＺスタック画像から観察用画像と解析用画像の２種類の画像を生成する例を示したが、本発明はこれに限定されるものではない。例えば、観察用画像が不要（あるいはＺスタック画像をそのまま使
う）であれば、解析用画像のみを生成するようにしてもよい。また、深度合成により被写界深度を拡大するのではなく、撮像装置の結像光学系の絞り値を制御することにより、用途に合わせて被写界深度を拡大させた画像を取得することもできる。また、複数のＺスタック画像ではなく、単一の画像と検体までの距離情報とを取得し、距離情報に基づくＰＳＦ（点像分布関数）の推定を行う一般的な深度回復技術を適用することにより、解析用画像に対する被写界深度の拡大を行うことも可能である。

さらには、第１から第３実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、第１実施形態や第２実施形態のシステムに対し第３実施形態の深度合成処理を適用してもよいし、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属するものである。

１０１：撮像装置、１０２：画像処理装置、１０３：表示装置、１２０１：画像サーバー

Claims (18)

1. 構造物を含む検体を光軸方向の焦点位置を変えながら顕微鏡装置で撮像することにより得られた複数の原画像、を取得する画像取得手段と、
   前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第１の画像を生成するとともに、前記第１の画像よりもボケの低減度合いが小さい第２の画像を生成する画像生成手段と、
   前記第１の画像に対し画像解析処理を適用することによって、前記第１の画像に含まれる構造物に関する情報として、細胞の輪郭、核の輪郭、細胞の数、細胞の形状、細胞質の面積、核の面積、細胞質と核の面積比のうちの少なくともいずれかの情報を取得する解析手段と、
   を備え、
   前記画像生成手段は、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる一部の原画像を選択し、前記選択された一部の原画像を用いて前記第１の画像を生成する
   ことを特徴とする画像処理装置。
2. 前記画像生成手段は、前記画像解析処理において解析対象となる構造物の大きさに応じて、前記第１の画像の生成に用いる原画像が選択される前記深度範囲の大きさを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段は、組織診用の検体の場合と細胞診用の検体の場合とで、前記第１の画像の生成に用いる原画像が選択される前記深度範囲の大きさを異ならせる
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像生成手段は、組織診用の検体の場合に、前記第１の画像の生成に用いる原画像が選択される前記深度範囲の大きさを３μｍ以上１０μｍ以下に設定する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記第１の画像の生成に用いる原画像が選択される前記深度範囲は、ユーザーにより指定される
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像生成手段は、前記選択された一部の原画像それぞれの合焦領域を合成する深度合成処理を行うことにより、前記第１の画像を生成する
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
7. 前記画像生成手段は、原画像を複数の領域に分割し、その分割領域ごとに、前記選択された一部の原画像の中から最もコントラスト値の高い画像を選択し、分割領域ごとに選択された画像同士をつなぎ合わせることにより、前記第１の画像を生成する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記画像生成手段は、原画像を複数の領域に分割し、その分割領域ごとに、前記選択された一部の原画像同士を空間周波数領域で加算することにより、前記第１の画像を生成する
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記構造物は細胞又は核である
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像処理装置。
10. 前記第２の画像は、ユーザーが目視による観察に用いるための画像である
    ことを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。
11. 前記第２の画像とともに、前記解析手段により取得された前記構造物に関する情報を、表示装置に出力する手段をさらに備える
    ことを特徴とする請求項１〜１０のうちいずれか１項に記載の画像処理装置。
12. 前記第１の画像の生成に用いる原画像が選択される深度範囲は、前記第２の画像の生成に用いる原画像が選択される深度範囲よりも大きい
    ことを特徴とする請求項１〜１１のうちいずれか１項に記載の画像処理装置。
13. 構造物を含む検体を光軸方向の焦点位置を変えながら撮像して、複数の原画像を取得する顕微鏡装置と、
    前記顕微鏡装置から前記複数の原画像を取得する請求項１〜１２のうちいずれか１項に記載の画像処理装置と、を備える
    ことを特徴とする撮像システム。
14. 前記顕微鏡装置は、前記検体の厚みを計測する計測ユニットを有する
    ことを特徴とする請求項１３に記載の撮像システム。
15. 前記顕微鏡装置は、前記計測ユニットの計測結果に基づいて、前記複数の原画像を取得する際の撮像開始位置を決定する
    ことを特徴とする請求項１４に記載の撮像システム。
16. 前記顕微鏡装置は、組織診用の検体の場合と細胞診用の検体の場合とで、前記複数の原画像を取得する際の光軸方向の焦点位置の間隔を異ならせる
    ことを特徴とする請求項１３〜１５のうちいずれか１項に記載の撮像システム。
17. 構造物を含む検体を光軸方向の焦点位置を変えながら撮像することにより得られた複数の原画像を格納する画像サーバーと、
    前記画像サーバーから前記複数の原画像を取得する請求項１〜１２のうちいずれか１項
    に記載の画像処理装置と、を備える
    ことを特徴とする画像処理システム。
18. 構造物を含む検体を光軸方向の焦点位置を変えながら顕微鏡装置で撮像することにより得られた複数の原画像、を取得する画像取得ステップと、
    前記複数の原画像をもとに、原画像よりも構造物の像のボケが低減された第１の画像を生成するとともに、前記第１の画像よりもボケの低減度合いが小さい第２の画像を生成する画像生成ステップと、
    前記第１の画像に対し画像解析処理を適用することによって、前記第１の画像に含まれる構造物に関する情報として、細胞の輪郭、核の輪郭、細胞の数、細胞の形状、細胞質の面積、核の面積、細胞質と核の面積比のうちの少なくともいずれかの情報を取得する解析ステップと、
    をコンピュータに実行させるプログラムであって、
    前記画像生成ステップでは、前記検体から得られた前記複数の原画像の内から、前記検体の厚さよりも小さい深度範囲内に焦点位置が含まれる一部の原画像が選択され、前記選択された一部の原画像を用いて前記第１の画像が生成される
    ことを特徴とするプログラム。

Images