JP4046161B2 - 標本画像データ処理方法及び標本検査システム - Google Patents
標本画像データ処理方法及び標本検査システム Download PDFInfo
- Publication number
- JP4046161B2 JP4046161B2 JP2002314878A JP2002314878A JP4046161B2 JP 4046161 B2 JP4046161 B2 JP 4046161B2 JP 2002314878 A JP2002314878 A JP 2002314878A JP 2002314878 A JP2002314878 A JP 2002314878A JP 4046161 B2 JP4046161 B2 JP 4046161B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- specimen
- image
- layer
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Sampling And Sample Adjustment (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、標本深さが異なる複数の層毎に撮像した標本画像データの処理方法及び標本検査システムに関する。
【0002】
【従来の技術】
病院等の医療機関や大学の研究所等においては、顕微鏡による細胞や組織等の標本検査等が頻繁に行われている。ところで標本検査は、膨大な数の細胞を顕微鏡で拡大して広大な検査領域になった状態で検査をするため多大な労力と負担を要していた。このため、細胞や組織等の標本検査においては、検査の全体効率を向上させるために、顕微鏡等で悪性細胞の有無を検査して、悪性細胞が発見された場合には、その部分を撮像してマーキング等により特定する検査部門と、この特定された部分について医学的な診断を行う診断部門との分業が行われている。そして、分業された各部門間を繋ぐものとして、近年、電話回線等の公衆回線やインターネット専用回線等のデータ伝送媒体が利用されはじめ、標本画像をデータ化しデータ伝送媒体により標本画像を各部門間でやり取りするようになっている。このため、本願出願人等は、標本画像のデータ化の仕方として、顕微鏡で拡大した細胞や組織等の標本を、ラインセンサでライン画像として撮像し、このライン画像をコンピュータによる画像処理によって、標本全体の広大な領域の鮮明な撮像画像を迅速に作成する手段を提案している(特許願2002−097495号、特許願2002−097497号、特許願2002−097498号、特許願2002−097499号)。
【0003】
【発明が解決しようとする課題】
しかし細胞や組織等の標本検査においては、一定の焦点位置の標本深さ平面のみを観察して悪性細胞や悪性を考慮すべき細胞と判断できるとは限らず、その標本深さとは異なる標本深さの細胞の形状等を観察しなければ判断できない場合も多い。したがって細胞や組織の検査を的確に行うためには、顕微鏡の焦点位置を変えて、立体的に細胞や組織を検査することが重要になっている。
【0004】
しかるに上述した出願に係る発明では、広大な撮像領域について、鮮明な画像を迅速に作成することができるものの、広大な撮像領域を持つ撮像画像であるためにモニタ等の表示手段でその撮像画像を原寸大で全て表示することは不可能になっている。また、標本深さの異なる画像を複数用意している場合、1つの画像が広大な撮像領域を持つため、画像データ量が大変多く別の標本深さの画像を迅速に表示することが困難であった。
【0005】
そこで本発明の目的は、標本深さの異なる複数の層の画像データを迅速に表示することができる標本画像データ処理方法及び標本検査システムを提供することにある。
【0006】
【課題を解決するための手段】
上記課題を解決すべく、本発明による標本画像データの処理方法は、標本深さが異なる複数の層の画像データを表示して、立体的に細胞や組織等を検査する標本検査において、標本の検査領域において、複数のラインセンサを介して標本深さが異なる複数の層毎のライン画像を同時に撮像する工程と、上記ライン画像を合成して上記検査領域の全体について上記層毎の標本画像データを生成し記録する工程と、上記各標本画像データから抽出すべき平面領域を指定する工程と、上記指定された平面領域の上記層毎の画像データを、上記検査領域の全体についての層毎の標本画像データから抽出し、ひとまとまりのものとして記憶する工程と、上記ひとまとまりのものとして記憶された平面領域の層毎の画像データから、この平面領域の選択した層の画像を抽出して表示手段に表示する工程とを含む標本画像データ処理方法としている。また、本発明による標本検査システムは、標本深さが異なる複数の層の画像データを表示して、立体的に細胞や組織等を検査する標本検査システムであって、標本の検査領域において、複数のラインセンサを介して標本深さが異なる複数の層毎のライン画像を同時に撮像する手段と、上記ライン画像を合成して上記検査領域の全体について上記層毎の標本画像データを生成し記録する手段と、上記各標本画像データから抽出すべき平面領域を指定する手段と、上記指定された平面領域の上記層毎の画像データを、上記検査領域の全体についての層毎の標本画像データから抽出し、ひとまとまりのものとして記憶する手段と、上記ひとまとまりのものとして記憶された平面領域の層毎の画像データに基づいて、この平面領域の層毎の画像を択一的に又はその複数の組み合わせを同時的に表示手段に表示させる画像処理装置とを含む標本検査システムとしている。また好ましくは、上記平面領域の層毎の画像を表示するときは選択された複数の抽出画像を並列的に又は重畳して表示可能としてあるほうがよい。
【0007】
【発明の実施の形態】
発明の実施の形態を実施例に基づき図面を参照して説明する。図1に示す標本検査システムは、画像作成部門3の端末605と、検査部門4の端末41と、診断部門5の端末51とを備えた細胞診用標本検査システムである。各端末は電話回線等の公衆回線やインターネット専用回線等のデータ伝送媒体によりデータの送受信が可能になっている。ここで画像作成部門3では、標本である細胞や組織を顕微鏡装置6で拡大して撮像して画像を作成し、検査部門4では、この画像から悪性細胞や悪性を考慮すべき細胞を特定し、診断部門5では、この特定された細胞について診断を行う。また端末605、41、51は、それぞれ記憶部653、42、52を備えており、これらの記憶部には、標本深さ(焦点位置)が異なる3つの層毎に撮像した、細胞や組織の画像データ32a〜32c、42a〜42c、52a〜52cがそれぞれ記憶してある。ここでいう標本深さは、顕微鏡装置6で標本を撮像するときの標本の深さ方向の焦点位置の違いを示す。つまり、上述した3つの層は層32aが対物レンズに一番近い最上層であり、層32cは対物レンズから一番遠い最下層であり、層32bは層32aと層32cとの中間層である。
【0008】
次に図2〜図7を参照しつつ、画像作成部門3における細胞や組織の画像データの作成手順について説明する。まず最初に、この画像データの作成手順を概説する。標本601の細胞や組織の3つの標本深さが異なる位置を、標本601との高さを異ならして配列した電子撮像装置であるラインセンサ631a、631b、631cにそれぞれ同時に結像させる。本実施例では、図4に示すように階段状に各ラインセンサ631a、631b、631cを配置することによって標本601との高さを異ならせている。そして、3個のラインセンサ631a、631b、631cによって、3つの異なる標本深さの画像をライン画像データとして読み取る。そして、図2〜図4に示す移動手段604によって、標本601を水平移動させ、図3に示す端末605によって、このライン画像データを記憶部651に記憶していく。次に画像処理装置内の演算処理部651によって、この記録したライン画像から、標本601の標本深さが異なる3つの層毎の画像データを生成する。以下詳述する。
【0009】
まず、図2と図3とを参照しつつ、顕微鏡602の全体構成を概説する。本発明の実施例で使用する顕微鏡602は光学顕微鏡である。細胞や組織等の検査では、焦点の合っている部分のみを見ただけでは、悪性細胞と判断することは難しい場合があり、焦点の合っていないぼんやりと写った(焦点ぼけした)部分を注目することがある。光学顕微鏡である顕微鏡602で撮像するとこの焦点の合っていない情報も画像データとして残せるので細胞や組織等の検査には、好適である。顕微鏡602は、鏡筒625と、この鏡筒に装着した目視観察用接眼レンズ623、標本601のある程度の2次元的な広がりを撮像する2次元CCDセンサ部627、対物レンズ621等からなる光学レンズを備えている。また鏡筒625は、この鏡筒を上下移動させるラックアンドピニオン機構661を介して、L字型の架台606に支持されている。そして、標本601を裏面から照射するために、外部に設けたハロゲンランプ(図示せず。)からの光を導入する光ファイバー607が、L字型の架台606の下部に接続してある。
【0010】
ところで光学レンズは、図4に示すように、2個のレンズ621a、621bで構成される複合レンズからなる対物レンズ621と、互いに平行に高さを異ならして配置した3個のラインセンサ631a、631b、631c毎に設置された3個の蒲鉾型の収差補正レンズ622a、622b、622cとから構成してある。収差補正レンズ622a、622b、622cは、図4の破線と、実線と、一点破線とで示したように、X軸方向にそれぞれ互いにラインセンサの素子間分ずれた位置にあってかつ異なる標本深さの層(表層601b、中間層601b、下層601c)を、それぞれラインセンサ631a、631b、631cに結像するような光学的形状に形成したものである。なお対物レンズ621は、倍率の異なるものが3個、レボルバ624に装着してあり、相互に手動切り替え可能になっている。
【0011】
さて図4に示すように、3個のラインセンサ631a、631b、631cと、収差補正レンズ622a、622b、622cとは、カメラケース632に収納されており、このカメラケース632は、図2に示すように顕微鏡602の鏡筒625の先端に着脱可能に装着してある。なおこの装着部の形状は、レンズ取り付け部分についての、一眼レフカメラの標準取り付け形状である、Fマウントを採用している。ラインセンサ631a等は、1辺が7μmの荷電結合素子を1個ずつ、直線状に4000個配列して構成してある。したがって、撮像倍率が100倍の場合は、幅が、7μm ÷ 100 =0.07μm、長さが、7μm× 4000個 ÷ 100 = 0.28mmの範囲を、一度に撮像することができる。
【0012】
L字型の架台606の水平部の上には、移動手段604が設置されている。移動手段604は、標本601を載せるチルティングテーブル642と、このチルティングテーブルを左右および前後方向に水平移動させるリニアモータ641とを備えている。リニアモータ641は公知の技術であって、帯状に配列した永久磁石の上を、電機子が移動するものであり、高速駆動、高応答性、そして高精度位置決めが可能である。そして、リニアモータ641は、後述するようにコンピュータによってリモートコントロールされ、所定の位置に標本601を移動させる。
【0013】
チルティングテーブル642は、平面視にて正三角形を構成するように配置した3個の超音波モータ642aと、この超音波モータの垂直の出力軸642cの先端で3点支持される平板形状のテーブル部642dと、この超音波モータの相互の位置を固定する固定部材642bとから構成してある。そして、垂直の出力軸642cの先端は、テーブル部642dの裏面上に形成した窪みに当接しており、相互の水平方向位置がずれないようにしている。
【0014】
超音波モータ642aは公知の技術であって、電圧を加えると変形する圧電セラミックス上に弾性部材を当設し、この圧電セラミックスに超音波領域の電圧をかけて弾性部材に屈曲振動を発生させ、これにより出力軸を回転させるものであり、高い応答性と制御性とを有し、作動音が小さい等の特性を有している。ここで使用する超音波モータ642aは、出力軸642cがネジ構造になっており、この出力軸が回転して上下に可動する。そしてチルティングテーブル642は、コンピュータからの指示によって、標本601の傾きと、焦点距離とを調整する。
【0015】
ランプ部626には、ハロゲンランプ(図示せず。)が収納してあり、このハロゲンランプからの光を、ハーフミラーにより、顕微鏡602の光軸に沿うように直角に曲げて標本601に照射し、この標本からの反射光を増強して、鮮明な撮像を得ている。この落射光源であるランプ部626を使用するときは、標本601が光の透過性が低い物質のときである。また標本601の裏面からも照射できるように透過光源として、外部に設けたハロゲンランプ(図示せず。)からの光を導入する光ファイバー607が、L字型の架台606の下部に接続してある。細胞や組織等のように光の透過性が高いものを見るときはこちらからの光源を主光源とすることが多く、本実施例でも標本601の裏面から照射させている。
【0016】
また2次元CCDセンサ部627内には、ある程度2次元的な広がりを撮像可能な2次元CCDセンサ(図示せず。)を備えている。すなわち細胞検査においては、顕微鏡602によって拡大した画像を、直接表示手段に表示して、この表示画面を見ながら悪性細胞が存在する特定の部位や範囲等を確認することが必要になる場合もある。しかるに撮像素子がラインセンサ631a等のみだった場合、一時に撮像できるライン画像は極めて幅が狭いため、この幅が狭いライン画像の表示画面を見ながら、悪性細胞が存在する特定の部位や範囲を確認することは困難である。一方、ある程度2次元的な広がりを撮像可能な2次元CCDセンサを備えて、これによる表示画面を見ながら、細胞や組織等の特定の部位や範囲を確認することは容易である。そこで、2次元CCDセンサを備えることにより、標本601内の特定の部位や範囲を容易に確認できるようにしている。
【0017】
この2次元CCDセンサは、一般的なCCDカメラに使用されている、一辺が21μmの電荷結合素子を、縦横600 × 600 = 約35万個、平面的に配置したものであり、標本601の所定の範囲を、ハーフミラーを介して撮像する。
【0018】
さて端末605は、市販用のコンピュータ、いわゆるパソコンを使用するものであって、演算処理部651、表示手段652、及びライン画像データを記憶する記憶部653とから構成される。この演算処理部651は、画像処理装置内に設けられ、後述するように、標本601の撮像領域の設定、移動手段604の移動、この移動手段のエンコーダからフィードバックされた移動量を基にしたラインセンサ631a等の撮像実行指示、このラインセンサで撮像したライン画像データの取り込み、およびこのライン画像データを合成して撮像領域の全体的な平面画像の作成を行なう。
【0019】
次に上述した構成部品によって、細胞や組織の画像データ32a〜32cを作成する手順を説明する。図2に示すように、まず検査対象である細胞や組織片を、スライドガラスとカバーガラスとの間に挟んだ標本601を、チルティングテーブル642のテーブル部642dの上面にセットし、移動しないようにバキューム手段等によって、この標本をこのテーブル部642dに吸着等して固定する。次に図7に示すように、標本601の検査領域611をパソコンの入力手段からの入力により設定する。
【0020】
ところで検査領域611を設定する理由は、後述するようにラインセンサ631a等で順次撮像するライン画像の撮像の、始点611aと終点611bとを設定するためである。なお検査領域611の設定には、ある程度の2次元的な広がりを有する撮像画像が必要になるため、2次元CCDセンサからの撮像データを、端末605の表示手段652に表示させ、その表示画面を見ながら、移動手段604をXY方向に移動調整して行う。これにより、対角線上の位置611a、611bのXY座標が、移動手段604のリニアモータ641の移動始点と終点位置に対応する情報として、演算処理部651に記憶される。したがって後述するように、ラインセンサ631a等によって撮像する場合には、演算処理部651からの指示によって、リニアモータ641を、最初の撮像位置である内側位置611aから、最後の撮像位置である水平方向位置611bまで順次移動させる。
【0021】
なお検査領域611の設定の際には、標本601の焦点距離と、傾きとの調整を同時に行なう。すなわち検査領域611を設定する際に、まず始点位置611aにおいて、表示手段652に表示された、2次元CCDセンサからの表示画像を見ながら、標本601の表層601aに焦点を合わせ、次にリニアモータ641をX軸方向に移動させて、検査領域611の右端部位置で焦点を合わせる。そしてこの焦点位置のずれから、X軸方向の傾きを算出して、チルティングテーブル642の傾きを調整する。そして次に同様な手段によって、検査領域611の右上部位置611bで焦点を合わせて、Y軸方向の傾きを調整する。
【0022】
ここで2次元CCDセンサの焦点位置と、標本601の表層601aを撮像するラインセンサ631aの焦点位置とが一致するように構成しておけば、直ちにこの標本の表層601aに、ラインセンサ631aの焦点を合わせることができる。そして、他のラインセンサ631b、631cはラインセンサ631aと同時にそれぞれの焦点深さの位置に焦点が合うように収差補正レンズ622a、622b、622cが設計されているので、2次元CCDセンサの焦点を合わせた段階で、3つのラインセンサ全てに焦点が合うこととなる。
【0023】
次いで、図7、図8を参照しつつ、ラインセンサ631a等で標本601を撮像する手順を説明する。この撮像は、演算処理部651に内蔵してあるプログラムによって制御される。演算処理部651は先ず最初に、エンコーダによって検査位置j=0、k=0を設定し、この検査位置を、座標X=0、Y=0として認識する。そしてこのXY座標(0、0)位置に、リニアモータ641によって標本601を移動させる。このXY座標(0、0)位置は、図7に示す検査領域611の左下隅611aであり、この点が撮像を開始する始点となる。図8では、(a)の位置となり、ラインセンサ631aが左下隅611aと重なる位置に配置される。
【0024】
さて検査領域611の左下隅611a位置に、撮像位置の始点が設定されると、演算処理部651は、X軸に移動量dxを設定し、検査位置(0、0)におけるラインセンサ631a、631b、631cで撮像したそれぞれのライン画像を、記憶部653に記憶すると共に、X軸方向に一定の速度で、リニアモータ641の移動を開始させる。(図8(a)〜(c))移動手段604の移動量は、エンコーダにより計測されて、演算処理部651にそのデータが送られる。そして、移動手段604によって検査領域611が、X軸方向にラインセンサ631a等の1計測幅分だけ移動されたと演算処理部651により判断されたときに、2番目の検査位置X=1dx、Y=0、すなわち座標(1dx、0)におけるこのラインセンサからのライン画像を記憶部653に記憶する。
【0025】
そして演算処理部651は、1ライン画像を記録する毎に、kに1を加えていき、リニアモータ642が一定の速度でX軸方向に移動し、検査位置が図7に示す検査領域611の右下隅に至るまで、(図8の(d)〜(f)の動きに相当)X軸方向長さLの1列の範囲について、順次ライン画像を記憶部653に記憶する。
【0026】
そして検査領域611の最下段、すなわちY軸座標=0の撮像の取り込みが完了すると、演算処理部651は、エンコーダにj=1を設定し、検査位置X=L、Y=1dy、すなわちXY座標(L、1dy)位置に、リニアモータ641によって検査位置を移動させる。この位置は、図7に示す検査領域611の左下隅611aから、X軸方向にLだけ右であって、ラインセンサ631a等の長さ分だけY軸方向に移動した位置である。そして、Y=1dyの位置において、検査領域611の右端から左端まで、順次ライン画像を取り込む。
【0027】
このようにして、ラインセンサ631a等の走査方向を、右から左へ、又は左から右へと変更しつつ、ラインセンサ631a等が新たな撮像範囲に移動した瞬間に、演算処理部651は、順次ライン画像を計測座標と共に記憶部653に記録する。そして、J>nまでに達すると、演算処理部651は、検査領域611の全領域を撮像したと判断し、記録したライン画像を合成して、3つの異なる標本深さの層601a、601b、601cにおける全検査領域の平面画像データを、それぞれ記憶部653に層画像データ32a、32b、32cとして記憶する。
【0028】
なお演算処理部651は、ラインセンサ631a等で撮像する際に、上述した検査領域611におけるXY座標と、標本深さすなわちZ軸座標とを、個々の撮像したライン画像データに付加する。すなわち図4に示すように、ラインセンサ631a、631b、631cで同時に撮像する標本深さが異なる層601a、601b、601cは、互いにX軸方向にラインセンサの素子間分ずれているが、このズレ量は、ラインセンサ631aで撮像されるライン画像を基準とするとラインセンサ631bで撮像されるライン画像の座標のXの値はこのズレ量が加算され、X座標値は1素子間分ずらして付加される。さらにラインセンサ631cで撮像されるライン画像の座標のXの値はさらに1素子間分ずらして付加されることになる。そして、層601a、601b、601cは、互いにZ軸方向にラインセンサの設けられる高さ分ずれているが、このズレ量は、ラインセンサ631aで撮像されるライン画像を基準とするとラインセンサ631bで撮像されるライン画像の座標のZの値はこのズレ量が加算され、Z座標値は1高さ分ずらして付加される。さらにラインセンサ631cで撮像されるライン画像の座標のZの値はさらに1高さ分ずらして付加されることになる。このように端末605の演算処理部651によって、個々のライン画像を撮像する際に、標本601の全検査領域611における撮像位置のXYZ座標を、このライン画像データに付加される。
【0029】
また、ラインセンサ631a〜631cの撮像の仕方は、上述のように全てのラインセンサを常に撮像状態にしておいてもよいし、標本の端部(図8の(a)〜(c)に相当)では、図8(a)では、ラインセンサ631cのみで撮像し、図8(b)では、ラインセンサ631cと631bとで撮像し、図8(c)以降では、全てのラインセンサで撮像し、標本の他の端部(図8の(d)〜(f)に相当)では、図8(d)までは全てのラインセンサで撮像しており、図8(e)では、ラインセンサ631bと631aとで撮像し、図8(f)では、ラインセンサ631aのみで撮像するように、演算処理部651により制御して撮像してもよい。つまり、このように標本の存在しない位置を撮像することになるラインセンサでは撮像しないように制御すれば、画像データから標本の存在しない場所の撮像データをなくすことができるようになる。
【0030】
次にこの全検査領域の画像データ32a〜32cを表示手段652に表示させる方法を説明する。端末605に表示すべき層画像例えば32aを選択する。端末605の演算処理部651は、選択された層画像32aの全領域のサムネイル(縮小画像)を表示手段652に表示する。そして、サムネイル上に縮小ではない画像を表示すべき所望の平面領域を指定されると、演算処理部651は、記憶部653に記憶されている画像データから層画像データ32aを選択し、そこから指定された平面領域に相当する画像データを抽出する。そして、他の層画像データ32b、32cからも指定された平面領域に対応した位置の平面領域に相当する画像データを演算処理部651は抽出する。そして、この各層画像データ32a〜32cから抽出された各平面領域の画像データをひとまとまりのものとして演算処理部651は画像処理装置内にある画像保存メモリに記憶する。その後、演算処理部651は、表示手段652に選択された層画像32aの指定された平面領域の画像を表示させる。
【0031】
このように、演算処理部651は、表示手段652に表示された平面領域の各層画像データを抽出して画像保存メモリに別に記憶しているので、作業者が表示されている層画像を見て、焦点が合ってなくぼんやりと写っている部分に注目したく、この表示されている層画像とは違う位置に焦点が合った標本深さの他の層画像を見たくなったときに、この画像保存メモリに別に記憶してある画像データを使って時間をかけずに他の層画像を表示装置652に表示させることができる。このため、作業者は、端末605のみを使用してあたかも顕微鏡602の接眼レンズ623を覗きながら、3つの焦点位置の標本深さを観察しているかのように、表示手段652に指定した任意の平面領域の画像を表示することができる。つまり、抽出した平面領域に対応する各層画像データを別に演算処理部651が記憶することにより、端末605のみで、仮想的に顕微鏡で見た視野を再現することができることになる。
【0032】
なお、図4に示すように、ラインセンサ631a等毎にそれぞれ収差補正レンズ622a等を設ける場合に限らず、図5に示すように、複数(実施例では3つ)の曲率半径を持つ収差補正レンズ722によって、標本深さの異なる層701a、701b、701cを、ラインセンサ731a、731b、731cに結像させてもよい。またラインセンサ631a等の構成は、CCDを1個づつ4000個配列する場合に限らず、数個ずつを更に長く配列してもよい。また、ラインセンサ631a等を構成する各々のCCDのサイズは、小さい方が解像度の良い画像を撮像できるが、大きいサイズのCCDを使用する場合には、撮像の拡大率を大きくすれば、解像度の良い画像を撮像することができる。
【0033】
また標本601の焦点位置や傾き調整は、上述した手動ではなく、レーザ投光 手段を有する合焦手段を顕微鏡602に組み込み、コンピュータからの指示に基づいてチルティングテーブル642を移動させることによって、自動化することも容易にできる。さらに、ラインセンサ631a等の数は、上述したような3個に限らず、2個でもあるいは4個以上にすることも可能であり、それぞれの数に相当する標本深さの検査領域を同時に撮像することができる。
【0034】
さて次に、細胞検査システムについて説明する。まず演算処理部651は、それぞれ記憶部653に記憶した、3つの標本深さの層601a、601b、601cにおける全検査領域の画像データ32a〜32cを、画像作成部門3の記憶部653に記憶すると共に、大容量記録媒体であるDVDに記録する。そして、このDVDは、検査部門4と、診断部門5に送付され、それぞれ端末41、51を介して記憶部42、52に記憶される。これにより、検査対象となる細胞や組織について、標本深さの異なる層601a、601b、601cにおける全検査領域の同一画像データ42a〜42c、52a〜52cが、検査部門4と診断部門5の端末41、51にも、存在することとなる。
【0035】
ここで各部門毎に記憶部653,42,52を備え、細胞や組織の全撮像領域の画像データを記録させた理由は、この画像データが、標本毎に1Gバイト程度またはそれ以上の膨大な容量となるためである。すなわち、この画像データを1つの共通サーバ等に記録しておき、各部門の端末から、データ伝送媒体を利用してアクセスやダウンロード等させるシステムも考えられるが、画像のデータ容量が大きすぎるため、現在の伝送速度では、送受信に時間が掛かりすぎて実用に適さないからである。
【0036】
そこでまず検査部門4では、記憶部42に記憶した画像データ42a〜42cから、細胞や組織の3つの層の中から所望の層の所定の平面領域の画像を端末41に表示させ、悪性細胞や悪性を考慮すべき細胞の有無を検査する。画像データ42a〜42cは端末41の第1の画像表示手段としての表示手段41aで表示可能な面積よりも広い面積の画像データであるため、端末41で表示させるには、所望の層の画像データから表示させる所定の平面領域を指定することになる。
【0037】
そして悪性細胞や悪性を考慮すべき細胞があれば、その範囲を表示画面上で特定する。この特定方法としては、表示画面上で、その細胞が見られる範囲を、枠線や色分けで区分するもの、表示画像中に矢印や記号やコメントを挿入するものが準備されている。
【0038】
複数の部門で同時に検査等をする場合はまず、検査部門4と診断部門5と画像作成部門3との間を電話回線等の公衆回線やインターネット専用回線等のデータ伝送媒体により通信可能状態とする。検査部門4の作業者が端末41を操作し、端末41に表示すべき層画像例えば42aを選択する。端末41は、選択された層画像を指定する標本深さ情報を第1条件として設定する。そして、端末41は設定された層画像42aの全体のサムネイル(縮小画像)を表示手段41aに表示する。
【0039】
作業者はそこから縮小ではない画像を表示すべき所望の平面領域を選択する。端末41は、この選択された平面領域を指定する座標情報等を第2条件として設定する。そして、端末41の演算処理部は、他の層画像データ42b、42cからも指定された平面領域に対応した位置の平面領域に相当する画像データを抽出する。そして、この各層画像データ42a〜42cから抽出された各平面領域の画像データをひとまとまりのものとして演算処理部は画像処理装置内にある画像保存メモリに記憶する。その後、端末41は、第1条件と第2条件とを用い記憶部42に記憶されている画像データから層画像データ42aを選択し、そこから選択された平面領域に相当する画像データを抽出し、表示手段41aに選択された平面領域の画像を表示させる。第1条件や第2条件は選択された平面領域の層画像データと違い、非常に小さなデータ量であるため、データ伝送媒体により送受信しても通信に時間がかかることはない。
【0040】
同時に端末41は、送信手段によりデータ伝送媒体を介して画像作成部門3と診断部門5との端末605、51に第1条件および第2条件を送信する。端末605、51は、受信した第1条件および第2条件とを用い記憶部653、52に記憶されている対応画像データから層画像データ32a、52aを選択し、そこから選択された平面領域に相当する画像データを抽出し、第2の画像表示手段としての表示手段652,51aに端末41に表示した画像に対応した対応画像を表示させる。もちろんこのとき、端末605、51も端末41と同様に、端末605、51の各演算処理部は、他の層画像データ32b、32c又は52b、52cから指定された平面領域に対応した位置の平面領域に相当する画像データを抽出する。そして、この各層画像データ32a〜32c又は52a〜52cから抽出された各平面領域の画像データをひとまとまりのものとして各演算処理部は画像処理装置内にある画像保存メモリに記憶している。
【0041】
以上により、第1条件と第2条件の2つの条件をデータ伝送媒体により送受信するだけで、検査部門4の端末41と画像作成部門3の端末605および診断部門5の端末51には同じ画像が表示されることとなる。
【0042】
そして、検査部門4の作業者が端末41に表示されている画像上に、マウスやキーボード等の入力装置から枠線や色分けで区分したり、表示画像中に矢印や記号やコメントを挿入する指標を表示すると、端末41は、その指標の種類や座標等を表す情報を第3条件として設定する。この第3条件も第1,2条件と同様に選択された平面領域の層画像データに比べるとデータ量が少なく通信に時間がかかることはない。そして同時に端末41は、送信手段によりデータ伝送媒体を介して画像作成部門3の端末605と診断部門5の端末51とに第3条件を送信する。端末605、51は、受信した第3条件を用い指標を表示手段652,51aに表示する。このため、端末605、51の表示手段652,51aにも端末41に表示される指標に対応した指標が表示される。
【0043】
このため、検査部門4と画像作成部門3と診断部門5とがデータ伝送媒体を介して第1〜3条件という少ないデータ量を送受信するのみで、広大な撮像領域を持つ画像の中の同じ平面領域を見ながら検討することが可能となり、例えば診断部門5では、悪性細胞を探す手間を必要としない。また、検査部門4で特定された悪性細胞や悪性を考慮すべき細胞以外においても、診断部門5で別に悪性を考慮すべき細胞を発見したり、さらに高倍率の撮像データ等が必要な場合には、診断部門5の作業者が端末51の表示画面上でその位置を特定したり、撮像条件の指示を付記すれば、すでに上記端末41で説明したことと同様に端末51がデータ伝送媒体を介して、第1〜3条件を検査部門4と画像作成部門3の端末605、41に送信し、その特定範囲や撮像条件等が直ちに表示され、その表示された指示に従って、迅速かつ的確に処理を行うことが可能になる。
【0044】
そして、例えば検査部門4の作業者が、現在表示されている画像の焦点が合っている部分のみでは、悪性細胞か判断がつかず、焦点が合っていない焦点ぼけしている部分を焦点の合っている別の標本深さの層画像で見たい場合、作業者が焦点の合っている別の標本深さの層の画像を端末41に指定すると、端末41の演算処理部は、表示している平面領域に対応する別の層画像データを画像保存メモリに記憶しているので、第1条件を変更するだけで全撮像領域から新たに対応する平面領域を抽出する必要なしにすぐに別な層画像を表示することができる。つまり、作業者が、現在表示されている層画像42aから42bに表示を切り換えたい場合、例えば作業者が層画像42bを選択すると、端末41は、選択された層画像を指定する標本深さ情報を第1条件として再設定し、表示手段41aに画像保存メモリの抽出された層画像42bを表示する。そして、端末41が他の端末605、51に変更した第1条件のみを送信するだけで、他の端末にも端末41と同じ変更された層画像が画像保存メモリから抽出され直ちに表示されることになる。
【0045】
上記実施例では、3部門で同時に同じ画像を見て検討をしていたが、これに限らず、2部門のみや4部門以上で同様に同じ画像を見ながら検討をしてもよい。このように、データ伝送媒体を介して、情報や意見の交換を行うことができるので、あたかも各部門が一堂に会したように、極めて的確な標本検査を効率的に行うことが可能になる。また本発明は、単に細胞や組織に限らず、血液やバクテリア等の標本検査にも利用できる。また、上記実施例では、各層の抽出画像を択一的に表示手段652に表示する構成としたが、これに限らず、各層の抽出画像の複数の組み合わせを同時的に表示手段652に表示するようにしてもよい。例えば、抽出された2つ以上の標本深さの画像を重畳して表示してもよく、また、抽出された2つ以上の画像を並列的に表示手段652に表示させてもよい。この場合、平面領域を画面の大きさの半分以下にすれば、2つ以上の画像を並列的に表示手段に表示させることができる。このようにすると、表示手段652に2つ以上の画像を表示するので、立体的に認識しやすくなり検査がよりしやすくなる。また、顕微鏡装置のラインセンサも3本に限らず、1本でもそれ以上でもよい。
【0046】
【発明の効果】
標本深さの異なる複数の層画像データを迅速に表示手段に表示させることができる。また、複数の画像を並列的に又は重畳して表示すれば、立体的に認識しやすくなる。
【図面の簡単な説明】
【図1】検査システムの全体構成図である。
【図2】顕微鏡装置の構成である。
【図3】顕微鏡装置の他の構成図である。
【図4】光学レンズの構成図である。
【図5】光学レンズの他の構成図である。
【図6】ラインセンサと収差補正レンズの拡大正面図である。
【図7】ライン画像の撮像手順の説明図である。
【図8】ラインセンサの撮像に関する説明である。
【符号の説明】
601 標本
602 顕微鏡
631 ラインセンサ(電子撮像装置)
651 演算処理部(画像処理装置)
652 表示手段
653 記憶部
Claims (5)
- 標本深さが異なる複数の層の画像データを表示して、立体的に細胞や組織等を検査する標本検査において、
標本の検査領域において、複数のラインセンサを介して標本深さが異なる複数の層毎のライン画像を同時に撮像する工程と、
上記ライン画像を合成して上記検査領域の全体について上記層毎の標本画像データを生成し記録する工程と、
上記各標本画像データから抽出すべき平面領域を指定する工程と、
上記指定された平面領域の上記層毎の画像データを、上記検査領域の全体についての層毎の標本画像データから抽出し、ひとまとまりのものとして記憶する工程と、
上記ひとまとまりのものとして記憶された平面領域の層毎の画像データ
から、この平面領域の選択した層の画像を抽出して表示手段に表示する工程と
を含む標本画像データ処理方法。 - 請求項1において、上記標本は細胞診用標本である標本画像データ処理方法。
- 標本深さが異なる複数の層の画像データを表示して、立体的に細胞や組織等を検査する標本検査システムであって、
標本の検査領域において、複数のラインセンサを介して標本深さが異なる複数の層毎のライン画像を同時に撮像する手段と、
上記ライン画像を合成して上記検査領域の全体について上記層毎の標本画像データを生成し記録する手段と、
上記各標本画像データから抽出すべき平面領域を指定する手段と、
上記指定された平面領域の上記層毎の画像データを、上記検査領域の全体についての層毎の標本画像データから抽出し、ひとまとまりのものとして記憶する手段と、
上記ひとまとまりのものとして記憶された平面領域の層毎の画像データに基づいて、この平面領域の層毎の画像を択一的に又はその複数の組み合わせを同時的に表示手段に表示させる画像処理装置と
を含む標本検査システム。 - 請求項3において、上記標本が細胞診用標本である標本検査システム。
- 請求項3または4において、上記平面領域の層毎の画像を表示するときは選択された複数の抽出画像を並列的に又は重畳して表示可能としてある標本検査システム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002314878A JP4046161B2 (ja) | 2002-10-29 | 2002-10-29 | 標本画像データ処理方法及び標本検査システム |
KR1020030075423A KR20040038743A (ko) | 2002-10-29 | 2003-10-28 | 표본 화상 데이터 처리 방법, 표본 검사 시스템 및 표본검사 방법 |
US10/696,627 US7593556B2 (en) | 2002-10-29 | 2003-10-28 | Sample picture data processing method and sample inspection system and method |
EP03024944A EP1422648B1 (en) | 2002-10-29 | 2003-10-29 | System and method for inspection of pictures of a sample |
DE60314711T DE60314711T2 (de) | 2002-10-29 | 2003-10-29 | System und Verfahren zur Inspektion von Probenbildern |
KR1020050062023A KR100897674B1 (ko) | 2002-10-29 | 2005-07-11 | 표본 검사 시스템 및 표본 검사 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002314878A JP4046161B2 (ja) | 2002-10-29 | 2002-10-29 | 標本画像データ処理方法及び標本検査システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004150895A JP2004150895A (ja) | 2004-05-27 |
JP4046161B2 true JP4046161B2 (ja) | 2008-02-13 |
Family
ID=32459072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002314878A Expired - Fee Related JP4046161B2 (ja) | 2002-10-29 | 2002-10-29 | 標本画像データ処理方法及び標本検査システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4046161B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4667944B2 (ja) * | 2005-04-20 | 2011-04-13 | シスメックス株式会社 | 画像作成装置 |
JP4102842B1 (ja) * | 2006-12-04 | 2008-06-18 | 東京エレクトロン株式会社 | 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム |
JP4065893B1 (ja) * | 2006-12-04 | 2008-03-26 | 東京エレクトロン株式会社 | 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム |
JP5862671B2 (ja) * | 2011-08-23 | 2016-02-16 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
JP2014238344A (ja) * | 2013-06-07 | 2014-12-18 | 富士ゼロックス株式会社 | 画像処理システム、画像処理装置及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60164236A (ja) * | 1984-02-07 | 1985-08-27 | Hamamatsu Photonics Kk | 細胞計測方法 |
JPH03211682A (ja) * | 1990-01-17 | 1991-09-17 | Hitachi Medical Corp | 圧縮画像データ再生方法 |
JP2886947B2 (ja) * | 1990-05-25 | 1999-04-26 | スズキ株式会社 | 凝集パターン判定方法およびその装置 |
JPH04142055A (ja) * | 1990-10-01 | 1992-05-15 | Nec Yamagata Ltd | 半導体ウェーハの外観検査装置 |
JP3257010B2 (ja) * | 1992-01-07 | 2002-02-18 | 株式会社日立製作所 | パターン検査方法及び装置 |
JP3300791B2 (ja) * | 1993-02-04 | 2002-07-08 | 株式会社日立製作所 | パターン欠陥検出方法とその装置 |
JP2001242085A (ja) * | 2000-02-29 | 2001-09-07 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
-
2002
- 2002-10-29 JP JP2002314878A patent/JP4046161B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004150895A (ja) | 2004-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10139613B2 (en) | Digital microscope and method of sensing an image of a tissue sample | |
JP4937850B2 (ja) | 顕微鏡システム、そのvs画像生成方法、プログラム | |
JP4970869B2 (ja) | 観察装置および観察方法 | |
JP4878913B2 (ja) | 顕微鏡システム、顕微鏡画像の合成方法、及びプログラム | |
JP2019056917A (ja) | 全自動高速顕微鏡スライドスキャナ | |
JP2017194699A5 (ja) | ||
JP4818592B2 (ja) | 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム | |
JP5822345B2 (ja) | ホールスライドイメージ作成装置 | |
JP2011109644A (ja) | 被写界深度が向上した撮像システム及び撮像方法 | |
JP2011085932A (ja) | 被写界深度が向上した撮像システム及び撮像方法 | |
US20160062101A1 (en) | Method and apparatus for small and large format histology sample examination | |
CN105004723A (zh) | 病理切片扫描3d成像与融合装置及方法 | |
US7865007B2 (en) | Microscope system, observation method and observation program | |
JP4346888B2 (ja) | 顕微鏡装置 | |
JP4046161B2 (ja) | 標本画像データ処理方法及び標本検査システム | |
JP2005266718A (ja) | 顕微鏡画像撮影システム | |
EP1918751A1 (en) | Microscope system, observation method and observation program | |
KR100897674B1 (ko) | 표본 검사 시스템 및 표본 검사 방법 | |
JP4231915B2 (ja) | 標本検査方法及びシステム | |
Weinstein et al. | Reinvention of light microscopy: array microscopy and ultrarapidly scanned virtual slides for diagnostic pathology and medical education | |
JP2021021850A (ja) | オートフォーカス顕微鏡及び顕微鏡画像の自動撮像装置 | |
JP6068010B2 (ja) | 顕微鏡システム | |
JP6130650B2 (ja) | 診断用データ管理装置及び診断用データ管理システム | |
DE FR | System und Verfahren zur Inspektion von Probenbildern Système et procédé pour l’inspection d’images d’un échantillon |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |