[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2005083841A - 透過電子顕微鏡システムおよびそれを用いた検査方法 - Google Patents

透過電子顕微鏡システムおよびそれを用いた検査方法 Download PDF

Info

Publication number
JP2005083841A
JP2005083841A JP2003314909A JP2003314909A JP2005083841A JP 2005083841 A JP2005083841 A JP 2005083841A JP 2003314909 A JP2003314909 A JP 2003314909A JP 2003314909 A JP2003314909 A JP 2003314909A JP 2005083841 A JP2005083841 A JP 2005083841A
Authority
JP
Japan
Prior art keywords
transmission electron
image
database
electron microscope
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003314909A
Other languages
English (en)
Other versions
JP4154300B2 (ja
Inventor
Akira Nakagaki
亮 中垣
Yuji Takagi
裕治 高木
Hiroto Okuda
浩人 奥田
Hiroshi Kakibayashi
博司 柿林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp, Hitachi High Tech Corp filed Critical Hitachi High Technologies Corp
Priority to JP2003314909A priority Critical patent/JP4154300B2/ja
Priority to US10/918,340 priority patent/US7034299B2/en
Publication of JP2005083841A publication Critical patent/JP2005083841A/ja
Application granted granted Critical
Publication of JP4154300B2 publication Critical patent/JP4154300B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/22Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222Image processing arrangements associated with the tube
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

【課題】
試料中に含まれるウィルスや細菌などについて、その有無の判定や種別判定を、観察者によらず安定して効率よく行得るようにする。また、地理的に離れた場所で作られたデータベースを利用することで、新種の細菌などであっても迅速に特定が行えるようにする。
【解決手段】
試料を観察するための顕微鏡に、ウィルスなどの微小物体の名称とそれを観察するときの前処理法、撮像条件、撮像された画像データ等を格納したデータベースにアクセスする手段を設け、判定したい微小物体の名称などをキーとしてそのデータベースから検索された前処理法および撮像条件に従って試料を撮像し、その画像とデータベース内の画像を比較することで試料内の微小物体を特定する。
【選択図】 図1

Description

本発明は、疾病の原因特定や食品の衛生管理などを目的として、得られた試料を顕微鏡で観察し、その試料内に微生物が存在するか否か、存在する場合は、どの種の微生物であるかを特定する透過電子顕微鏡システムおよびそれを用いた検査方法に関する。
ウィルスや細菌が原因となって発生する疾病や食中毒の対策においては、人や家畜等になんらかの症状が現れた場合に、その原因を特定することがまず必要となる。その場合、その患者等から糞便などのサンプルを採取し、そのサンプルにウィルスや細菌が含まれているかが調べられる。対象となるウィルス等は非常に微小であるため、これらを観察するために、通常の場合、透過型電子顕微鏡など微小サンプルを高分解能で観察できる顕微鏡が用いられる。この透過型電子顕微鏡は、サンプルを透過した電子を結像し画像を形成することから、蛋白質などの微小3次元構造をもつ物体の観察などにも適している。
このような目的のための透過型電子顕微鏡については、例えば(株)日立ハイテクノロジーズのH-7600透過電子顕微鏡カタログに記載されている。電子銃、照射系電子レンズ、試料ホルダ・ステージ、結像系電子レンズ、カメラ、真空廃棄系、制御系等から構成される。
これら顕微鏡を用いて試料内のウィルスを観察する場合には、まず被験者の糞便や生体組織を採取し、次にそれらに対し、それらを透過型電子顕微鏡像において実際に観察可能な観察用試料にするための前処理を行う。
観察用試料としては、大別して、(1)ネガティブ染色試料、(2)染色切片試料、(3)凍結切片試料の3種類がある。
(1)のネガティブ染色試料は、生体組織や糞便などを試薬や遠心分離機を用いて精製、濃縮したものを電子顕微鏡用のメッシュに載せたものである。ウィルス等の微粒子状試料が代表例である。染色剤としては一般にはタングステン酸液が用いられる。この方法では、ウィルスの場合にはウィルスの周囲に染色剤の土手が形成されることにより、土手とウィルスの間でコントラストが形成されることになる。
(2)の染色切片試料は、動植物の生体組織をダイヤモンド刃等を用いて厚さ数十nmの切片にして、電子顕微鏡用のメッシュに載せたものである。切片にする際には、生体組織の固定、脱水、包埋、切削などのプロセスがある。電子顕微鏡で組織構造に対応したコントラストを得るためには一般に染色が必要である。染色剤には、酢酸ウラン、クエン酸鉛、水酸化鉛、酢酸鉛などの重金属を含む試薬を用いる。通常はウランと鉛で2重染色する。染色が必要な理由は、生体を構成する主な元素が水素、酸素、炭素、窒素など軽元素であるため電子線に対する散乱能とその元素間差が小さく、像コントラストが極めて付きにくいからである。染色されるのは組織中の蛋白質であり、蛋白質の濃度が高いほど強く染色されるので、結果として電子顕微鏡像には蛋白質濃度に依存したコントラストが得られる。
(3)の凍結切片試料は、生体組織を液体ヘリウムや液体窒素で冷却した銅ブロックに接触させて瞬時に凍結させ、冷却ステージと装備したミクロトームを用いて凍結した状態のまま切削したものである。活性状態の組織構造観察が目的であり、固定や染色は行わず、かつ観察には冷却試料ステージを装備したクライオ電子顕微鏡を用いる。染色しないので、像のコントラストは低い。
上で述べたような前処理により形成された観察用資料は、次に電子顕微鏡のステージに搭載され、数万倍から数十万倍の拡大像で観察される。ウィルスなどの微生物の特定を行う場合には、上記の拡大像を人が観察し、その形状や内部構造の特徴からウィルスの有無、ウィルス種の判定を行う。また蛋白質などの構造解析を行う際には、観察用試料を電子顕微鏡の試料ステージを傾斜しながら何枚も拡大像を撮影し、それらの画像をCT(Computer tomography)処理することにより、数十nmオーダの微細立体構造を得る。
最近の透過電子顕微鏡は、自動フォーカス合わせ、画像撮像などの機能が制御パソコン上に実現されており、観察作業の効率化が図られているが、撮像された画像からそのウィルスなどの微生物の有無を判定し、又その種類を特定することは人手により行われている。実際には、過去に発見されたウィルスが一覧となった書籍や文献と、現在観察している画像を人が照らし合わせその微生物を特定することが行われる。
このような方法による判定の問題点としては、まずその作業に手間がかかるということがある。得られた画像には、特定したい微生物の他にもさまざまな夾雑物が紛れ込んでおり、それらの中から目的とする微生物を特定する必要があるためである。また、膨大な過去の微生物データを人が検索するのも時間がかかり労力を要する。またウィルス判定が観察者の個人スキルやそのときの疲労度等に依存する可能性があることも問題である。
またその他の問題点としては、新種のウィルス等への対応がある。ウィルスや微生物はそれ自身も成長・変異しており、従来まで発見されていない新種のウィルスが急に発生する場合も起こりうる。その結果、参照している文献などに現在観察しているウィルスが掲載されていない場合には、そのウィルスを特定するのに多大な時間が必要となる恐れがある。
また、例えば日本国内において、アフリカなど世界各地で局地的に存在する微生物による疾病か否かを判断する場合も、同様なことが起こりうる。通常このような場合は、国内外の大規模な研究機関にサンプルを送付し、判定を依頼することになるため、その発見・対応が遅れる恐れがある。
本発明の目的は、上記した従来技術の問題点を解決して、対象試料中に微生物が存在するか否かの判定や微生物の種別特定が容易に行えるような透過電子顕微鏡システムおよびそれを用いた検査方法提供することにある。
また、本発明の目的は、地理的に離れた場所において発見された新種ウィルスであってもそれらの情報を広域ネットワークを通じて収集することで、迅速に判定できるようなネットワークシステムを提供することにある。
上記の目的を達成するために、本発明では、各種の微生物の透過電子顕微鏡画像およびその画像を取得するための前処理方法および撮像条件を記憶するデータベースにアクセスする手段と試料内に含まれるか否かを判定する微小物体を選定するためのキーワードを入力する入力部と前記キーワードを用いて選定された1以上の微小物体についての画像と前処理方法と撮像条件とを前記データベース部から受信する手段と、上記の受信された前処理方法に従って処理された試料を、上記の受信された撮像条件により画像を撮像する画像撮像部と前記画像撮像部において撮像された画像と、前記データベースから受信した画像とを比較する比較部と上記比較部での比較結果を出力する出力部を備える透過電子顕微鏡システムとした。
また、上記の透過顕微鏡システムにおいては、当該システムがアクセスするデータベースが、各微生物についての名称、外観情報、幾何学的情報、透過電子顕微鏡像、該画像撮像時の加速電圧、該画像撮像時の試料前処理方法、微生物が引き起こす病状や障害についての情報のいずれか1以上を含むこととする。
また、この透過顕微鏡システムにおいては、微生物を特定するためのキーワードが、微生物の名称、微生物の大きさや形状などの幾何学的情報、微生物が引き起こす病状や障害についての情報のいずれかを含むこととする。
また、上記の透過顕微鏡システムにおいては、当該出力部に、前記データベースから受信した1以上の微小物体についての画像データと前記画像撮像部から得られた画像データとそれらの画像の比較処理結果と表示することとする。
また本発明においては、上記の透過電子顕微鏡システムが広域ネットワークに接続されたネットワークシステムにおいて、この広域ネットワークに1以上のデータベース作成サイトを接続し、当該透過電子顕微鏡システムは、上記データベース作成サイトに保管されたオリジナルデータベースの全部もしくは一部のデータから作成されたデータベースをアクセスすることを特徴とするネットワークシステムを提供する。
以上で述べた本発明にかかる透過顕微鏡システムにより、対象試料中に微生物が存在するか否かの判定や微生物の種別特定が容易に行えるようになる。また地理的に離れた場所において発見された新種ウィルスであってもそれらの情報を広域ネットワークを通じて収集することで、迅速に判定できるようになる。
以下本発明の実施形態について説明する。
図1は本発明にかかる透過電子顕微鏡システム118を示したものである。本システムは、電子銃101、照射レンズ103、対物レンズ104、結像レンズ105、蛍光版106、撮像制御部107、観察試料109を搭載するメッシュ108、カメラ111等から構成される画像撮像系の他、外部との入出力などを行う入出力部113、画像データ演算などを行う演算部112、演算結果などを保存する記憶部113、撮像された微小物体を判定する際に参照データとして用いるデータベース部117、各部位の動作を制御する統括部115などがあり、これらの各部位は内部バス110により接続されている。
本システムにおける画像撮像の流れは、通常の透過電子顕微鏡での画像撮像と同じであり以下のとおり行われる。まず、観察したい微生物などが含まれると思われる人の排泄物や細胞組織などを入手する。次に、これに対し所定の前処理を行い、透過電子顕微鏡で観察可能な観察サンプルを作成し、これをメッシュ108に搭載する。人の排泄物や細胞組織などには、観察したい物体以外にさまざまな物体が含まれるため、入手したサンプルから顕微鏡観察に適した試料を作成するために、薬品処理や遠心分離処理、染色処理などを行うのがこの前処理である。
次にその物体の観察に適した撮像条件、例えば電子ビーム102の加速電圧や観察倍率を設定する。これらのデータは、キーボードやマウスなどを備えた入出力部113を通して操作者が指定しても良いし、あらかじめ記憶部116に記憶されている情報を用いてもよい。これらの撮像条件データは統括部115を経由して、撮像制御部107に伝えられる。画像撮像の際には、電子銃101から放射された電子ビーム102が照射レンズ103や、偏向器(図示せず)などにより試料109に対して平行にされ、試料109に入射される。
試料を透過した電子ビームは、結像レンズ105等を経て蛍光版106に像を形成する。あらかじめ指定した倍率で画像撮像を行うため、撮像制御部107は、制御信号104を通して結像レンズ105を制御する。形成された像は、カメラ111により撮影され、得られた画像データは、内部バス110を経由して記憶部116に送られ記憶される。
またこの画像データは入出力部113に出力されることある。この目的のため、入出力部113はディスプレイモニタやプリンタなどを備えている。本発明における透過顕微鏡システムは、上記の手順によって得られる画像データから、そこに存在するウィルス、細菌等(以下、「微生物等」とする)を判定することを目的とする。次に、この処理の流れについて説明する。
図2は、本システムにおける処理の流れを示したものである。まず処理に先立ち、システムの操作者が人の排泄物または血液などのサンプルを準備する。このサンプルの中に含まれる微生物等を特定することが目的である。次に、操作者が入出力部113に備えたキーボード等を通じて、微生物等を特定するためのキーワードを指定する(ステップ201)。このキーワードとは、特定したい微小物体を絞り込むためのいかなる情報をも含む。例を挙げれば、その外観特徴を示す情報(例えば、「球形」「楕円球形」)であったり、その微生物等によって引き起こされる病状などの情報(例えば、「腹痛」「嘔吐」「発熱」)などであったり、またその微生物等が属すると疑われる微生物郡の具体的な名称「天然痘ウィルス」「インフルエンザウィルス」などである。
次に、統括部115は、受け取った前記キーワードを用いて、データベース117内に蓄えられた微生物等に関するデータを検索し、今観察しようとしているサンプルと比較するための1以上の比較対象微生物を検索し選び出す(ステップ202)。
図3は、微生物等に関する情報を記憶していあるデータベース117の構成の概略を示している。データベース117は、各微生物についての種々のデータが整理・格納されている。このデータベース117には、各物体を特徴付けるあらゆるデータが格納可能であるが、主なものをあげれば、名称、透過電子顕微鏡画像データ、画像撮像時の条件、画像撮像時の前処理方法、その微生物によって起こる症状などの情報、その微小物体の外観や大きさなどを示す情報等である。
これらのデータベースは、ウィルスや微生物などを専門に研究する研究機関などで作成されるものとする。ここで同一微生物に対する画像データは複数であってもよい。特に、その3次元的な構造により、観察する方向により見え方が異なる微生物に対しては、さまざま方向より観察した画像データを保持するほうが好ましい。
ステップ202では、得られたキーワードをもとにこのデータベースからそのキーワードに関係する1以上の微生物(比較対象微生物)が選択される。例えば、キーワードとして「球状」といった外観情報が与えられた場合であれば、データベース117内の、各微生物の特徴が記載された欄を参照し、その特徴が「球状」である複数の微生物が、比較対象として選択される。指定されたキーワードが、引き起こされる症状である場合や、特定の微生物郡の名称(「インフルエンザ」等)である場合も同様の方法で、該当する微生物がデータベース117から検索される。
次に、結果選ばれた微生物に関する、画像撮像時の前処理方法、画像撮像条件、画像データが統括部115によりデータベース117から読み出され(ステップ203)、その情報が記憶部116に格納され、また、入出力113に表示される(ステップ204)。
これにより操作者は、データベース117内に存在する、自らが指定したキーワードに関連する微生物等のデータを閲覧することが可能になる。期待した検索結果が得られなかった場合には、キーワードを変更し、再度ステップ201、202、203、204の処理を行うことも可能である。
この表示された画像データから、操作者は検査対象の微生物を特定することもできる。
しかし、より高い精度で検査対象の微生物を特定するためには、更に以下のステップを行う。
先ず操作者は、データベースの検索結果である1以上の比較対象微生物の中から、実際に比較判定を行う1以上の微生物を入出力113を通して統括部115に対して指示し(ステップ205)、統括部115はそれを記憶部116に記憶しておく。
次に、操作者は比較判定対象微生物から任意の1つを選択し、データベース117の検索により得られたその微生物に対応する前処理方法を、入手したサンプルに対して行う(ステップ207)。
そして、前処理後のサンプルをメッシュ108に搭載した後、入出力部113から画像撮像開始を指示する。
統括部115は、この指示を受けて、記憶部116に保存されたその微生物を観察する際の撮像条件で画像撮像を行う旨を撮像制御部107に対し指示し、画像が取得される(ステップ208)。その後、カメラ111を通して得られた画像データは、記憶部116に転送・記憶される。
またこの画像は入出力部113で表示されることもある。撮像された画像データが記憶部116に格納されると、統括部115は、記憶部116に記憶された撮像画像と、同様に記憶部116に格納された、現在の比較判定対象である微生物の画像データを演算部112に転送し、それらの比較判定処理を行うよう支持する。
また、微生物の画像を取得することを、操作者が自ら行ってもよい。この場合、記憶部116に格納され、また、ステップ204で入出力113に表示された情報に基づいて、操作者は、微生物に対する画像撮像時の前処理を施し、表示された画像撮像条件に基づいて透過電子顕微鏡の各条件を設定して透過電子像を取得する。この取得した画像を記憶部116に転送して格納し、統括部115で、記憶部116に記憶された撮像画像と、同様に記憶部116に格納された、現在の比較判定対象である微生物の画像データを演算部112に転送し、それらの比較判定処理を行う。
図6は、演算部112における比較判定処理の流れを説明したフロー図である。演算部112は、撮像された画像データの入力(ステップ601)および比較判定対象ウィルスの画像データの入力(ステップ602)後、処理を開始する。図5に示す撮像画像501は、撮像された画像データを、テンプレート画像506は比較判定対象となる微生物の画像データを模式的に表現したものである。
本図においては、撮像された画像は、一辺が1000画素以上の比較的大きな画像であり、その画像視野内には、128×128画素程度程度の大きさで複数の微生物が撮像されている。またテンプレート画像506には、同じく128x128画素程度の大きさで、微生物1つ(画像内の丸物体)が撮像されている。図5の撮像画像501では、視野内に、ある微生物503(ここではウィルスAと呼ぶ)と他の微生物502(同じく、ウィルスB)そして、前処理などの影響により存在する夾雑物504が複数個存在する例を示している。
比較判定処理においては、まず撮像画像501の視野内から、微生物が存在する位置の特定が行われる(ステップ603)。この目的を達成する方法のひとつとしては、画像のテンプレートマッチング法がある。これは、テンプレート画像506をテンプレートとし、撮像画像501においてこのテンプレートとの類似度が高い部分を探す処理である。
類似度の指標としては、例えば、相互相関係数等を用いればよい。相互相関係数は、2つの画像が類似するほどその値が1に近づく性質を持つ。具体的には、撮像画像501において、テンプレート画像506と同サイズの局所ウィンドウ505を定義し、この領域を1画素づつ移動させながら、各位置においてテンプレート画像506と、局所ウィンドウ505内の画素値との相関係数計算を行い、撮像画像501の各位置での相関係数を得る。そして得られた相関係値がある一定のしきい値より大きい場所を判定対象が存在する領域とする。
判定結果画像508はこの処理の結果を模式的に示しており、局所領域(点線の箱)507が示されている部分が、微生物が存在すると判定された領域である。細長い形状をもつ夾雑物504は、テンプレート506との相関係数値が低いため、微生物と認識されていない。
なお、本図においては、ウィルスB502が存在する領域も微生物存在領域として認識されている。通常の場合、ウィルスBとテンプレート506では、その微生物の形状が実際には異なるが、相互相関係数でそれらの類似度を表現した場合には、2つの画像間の微妙な違いが係数として大きく反映されない恐れがあるケースを想定しているためである。
相互相関係数に対し与えるしきい値を適当に設定することで、ウィルスBが存在する位置を、微生物が存在しない領域として判定できる場合もあるであろうがこのようなしきい値を確実に設定するのは現実的でない。つまり相互相関係数法では、画像501内に存在するテンプレート画像506に似通った領域を選択できるのみで、厳密なウィルス種の特定は困難である。そこでテンプレートと撮像画像501内の各微生物との類似度をより精密に計算することが必要になる。
この目的のための処理として、各画像から得た特徴量ベクトルを用いる方法がある。特徴量ベクトルとは、各画像に撮影されている微生物が、どの程度細長いか?輪郭がどの程度ギザギザしているか?どの程度の明るさを持つか?その表面の模様(テキスチャ)が細かいか粗いか?といった情報を画像処理により数値表現したものを要素として並べたベクトルのことである。
テンプレート506から画像処理により、その微生物のさまざまな特徴を表現する数値データを計算し、特徴量ベクトル(vd)を作成する(ステップ604)。また撮像画像501内の各微生物について同様に特徴量ベクトルVn(n=1.2,...。nは画像内の微生物に対して与えた通し番号)を計算する(ステップ605)。
図5には、撮像画像501の2つの微生物509、510から、特徴量ベクトルv1,v2を計算する様子を示している。まず、図5(a)において、撮像画像501内で局所ウィンドウ505を1画素ずつずらしていき、図5(b)に示すようにテンプレート506の特徴量ベクトルと類似している微生物502と503とを抽出し、各微生物の特徴量ベクトルの類似度から、テンプレート506と各微生物がどの程度類似しているかを計算する(ステップ606)。
ここで計算する類似度としては、例えば2つのベクトル間の距離が挙げられる。これは類似する微生物の特徴ベクトル同士は、類似した値を持つことが期待され2ベクトル間の距離が短くなることが期待されるのに対し、異種の微生物間では2ベクトルの距離が大きくなることが期待されるからである。この指標を用いた場合には、距離が大きいほど類似度が低いということになる。
演算部112は、この特徴量ベクトルを用いた方法により、撮像画像501内の各微生物についてテンプレート506との類似度を計算し、その結果を、記憶部116に転送した後、比較判定処理を終了する。その後、統括部は得られた結果を記憶部116から読み出し、入出力部113に表示することで比較判定結果を操作者に提示する(ステップ209)。これらの処理は、操作者が指定した1以上の比較対象微生物の全てについて行われる(ステップ206)。
つまり、演算部112での一連の比較判定処理により、1以上の比較対象微生物それぞれに対して固有の前処理が行われた後に撮像された画像と、その画像においてその微生物が存在すると思われる領域と、その領域に撮像された物体と比較判定対象との類似度のデータが記憶部116に格納される。統括部115は、その後、比較判定処理の結果を記憶部116から読み出し、入出力部113に表示する(ステップ209)。
図7は、撮像画像501から得られた判定結果データを入出力部113に示した一例を示している。撮像画像501を得たときの前処理方法や撮像条件は、データウィンドウ704に表示されており操作者が容易に確認できるようになっている。比較対象表示ウィンドウ706には、現在判定しようとしている画像(データベースから取得したもの)とそれについての前処理方法や撮像条件などが表示されている。
拡大画像703は、撮像画像501から判定された複数個の微生物から操作者が任意に指定した1微生物(例えば本図では、微生物702)についての拡大像であり、その画像と比較対象画像との類似度がデータウィンドウ708に表示されている。
これにより操作者は、観察像501から任意に選択した微生物が、どの程度比較対象と似ているのかを画像および類似度により確認できる。またウィンドウ705には、画像視野内で検出された各微生物についての比較対象との類似度の一覧が表示される。
このようなデータをみれば、操作者は、撮像画像501から検出した微生物の全数を把握でき、また類似度の低い微生物を見つけることで、異微生物(図7中の502)の存在を容易に確認することができる。
比較判定結果の他の表示例を図9に示す。これは同一のサンプルに対し、3種の比較対象微生物A,B,Cの判定を行った結果を1画面に表示した結果である。各判定対象についての情報は、撮像画像901、データベースから得たテンプレート画像902、それらの画像撮像条件や前処理法などを表示するデータウィンドウ903として表示されている。
この図においては、テンプレートの画像と撮像画像内の物質が一致するのは微生物Aだけであるので、この試料には微生物Aが存在し、微生物B、Cは存在しなかったことが判定できる。このような画面を用いれば、試料サンプルに複数の微生物が含まれる場合であっても、それらを一度に確認することができる。また試料サンプルの中に、比較対照物体のいずれも存在しなかった場合であっても、図9に示す画面を通じて操作者が確認できるため、データベース検索に用いるキーワードを変更して再評価を行うなどのアクションを起こすことができる。
また、本システムにおいては、なんらかの条件で画像を撮像した後に、その画像に類似する画像データをデータベース117から検索し入出力部113に表示することも可能である。
例えば、図4は、撮像された微生物画像401をキーとして検索された、その画像が類似するデータベース117内の画像データ403とその微生物の情報404を一覧表示した画面である。画像の検索は、撮像した画像データから計算した特徴量ベクトルと、データベース117内に保存されている各画像から計算された特徴量ベクトルとの類似度を計算し、その類似度が高いものだけを選ぶことで行える。
このようにすれば、前処理方法や撮像条件にかかわらず、画像情報として類似する微生物を検索することができるので、検索された結果を参考にして、その時観察しているサンプルに対する前処理方法や撮像条件の変更を行うことも可能となる。
また、本システムにおいては、撮像系による画像撮像を行うか否かにかかわらず、得られた観察画像や判定結果、データベース117に保存されている各種微生物のデータを入出力部113に整理し、操作者に見やすい形式で表示することも可能である。
以上で述べた本発明の実施例によれば、微生物等の専門研究機関などが作成したデータベースを利用し、入手したサンプルに含まれる微生物等の判定を効率よく行える。
なお、図1に示したシステムにおいては、画像撮像の手段として透過電子顕微鏡を用いているが、これには限られず、任意の画像撮像手段を用いた場合であっても、それに適した前処理や画像撮像条件の制御をデータベースに蓄積されたデータを通して行うことで、同じ機能が達成される。またデータベースは必ずしも、図1に示すように画像撮像系と内部バスで接続される必要はなく、外部機器との通信手段を備えた入出力部113を通してアクセスしてもよい。
次に、本発明にかかる他の実施例について図8を用いて説明する。本図においては、インターネットなどの広域ネットワーク801に、1以上の図1で説明した透過顕微鏡システム118が接続されており、また同広域ネットワークに1以上のデータベース作成サイト801が接続されている様子を示している。データベース作成サイト801は、ウィルスや微生物の専門研究機関などで新たに発見された新種の微生物に関する種々のデータや、すでに見つかっている微生物等について新たに得られた情報等を、図3に示したデータベースと同様の形式で整理保存しオリジナルデータベース802として、広域ネットワーク801上に公開する機能を持つ。
本例では、このようなデータベース作成サイトが複数個、広域ネットワーク801に接続されている。これは、もともとウィルスや微生物の発生にはその地域に依存することもあり、地理的に離れたところで発見される新種のウィルス等の情報をより早急に広域ネットワーク上に公開するためである。各システム118において、保持するデータベース117をこれらのオリジナルデータベース802の内容により更新すれば、各々のシステム118において、最新のデータを用いた解析が行えることになる。
データベースの更新の際は、各システム118側から一定の間隔をもって、各データベース作成サイト802の内容を問い合わせ、ローカルデータベース117に含まれるデータより新たなデータが存在すれば、そのデータを広域ネットワーク801またはその他の手段を通じて取得し、ローカルデータベース117に格納することを行っても良いし、また、データベース作成サイト801側から、新データをオリジナルデータベース802に登録した時点で、各システム118に対しそのデータを送信するようにしてもよい。
また、それぞれのデータベース作成サイト801において、他のデータベース作成サイトにあるオリジナルデータの内容を参照し、自らのオリジナルデータベースに含まれないデータを収集する仕組みを設ければ、複数のデータベース作成サイトが、同一の内容のオリジナルデータベースを管理することも可能である。
複数のオリジナルデータベースの内容が同一に保たれていれば、各システム118は、ある特定のデータベースサイトにアクセスするだけで、その時点で入手可能な全てのデータを取得することも可能である。また、各システム118がローカルなデータベースを持たず、広域ネットワーク801を通じて直接オリジナルデータベースにアクセスし、試料の比較判定処理を行うことももちろん可能である。
本発明にかかる顕微鏡システムの構成を示すブロック図である。 本発明にかかる、微生物同定処理のフロー図である。 顕微鏡システムがアクセスする微生物データベースを説明する表である。 入出力部におけるデータベース検索結果の表示例を示す表示画面の正面図である。 顕微鏡システムにおける判定処理の説明図であって、(a)は、撮像画像501内で局所ウィンドウ505を1画素ずつずらしてい様子を説明する撮像画像の正面図、(b)は、テンプレート506の特徴量ベクトルと類似している微生物502と503とを抽出しした結果を示す撮像画像の正面図である。 顕微鏡システムにおける判定処理のフロー図である。 顕微鏡システムのおける微生物判定結果の表示例を示す表示画面の正面図である。 本発明にかかるネットワークシステムの構成を示すブロック図である。 顕微鏡システムのおける微生物判定結果の表示例を示す表示画面の正面図である。
符号の説明
101…電子銃、102…電子ビーム、103…照射レンズ、104…制御信号、105…結像レンズ、106…蛍光体、107…撮像制御部、108…メッシュ、109…観察試料、110…内部バス、111…カメラ、112…演算部、113…入出力部、115…統括部、116…記憶部、117…データベース、118…顕微鏡システム、401…撮像された微生物画像、403…データベース内の画像データ、404…微生物の関する情報、501…観察画像、502…ウィルスB、503…ウィルスA、504…夾雑物、505…局所ウィンドウ、506…テンプレート画像、507…判定された局所領域、509…ウィルスA、510…ウィルスB、702…微生物、703…拡大画像、704…データウィンドウ、705…判定結果一覧、706…比較対象表示ウィンドウ、708…データウィンドウ、801…広域ネットワーク、802…オリジナルデータベース、901…撮像画像、902…テンプレート画像、903…データウィンドウ

Claims (9)

  1. ウィルスや蛋白質等の微小物体を含む試料に電子線を照射する電子線照射手段と、該電子線照射手段により照射されて試料を透過した電子を結像させて透過電子像を取得する透過電子像取得手段と、該透過電子像取得手段で取得された透過電子像から前記試料内に存在する微小物体の特定を行う透過電子顕微鏡システムであって、
    前記透過電子像取得手段で取得した各種の微生物の透過電子画像、および該透過電子画像を取得するための前処理方法および前記電子線照射手段と透過電子像取得手段とによる前記透過電子画像を取得するための撮像条件を記憶するデータベース手段と、
    該データベース手段にアクセスするアクセス手段と、
    前記試料内に含まれるか否かを判定する微小物体を選定するためのキーワードを入力する入力手段と、
    該入力手段から入力されたキーワードに基づいて前記アクセス手段を介して前記データベース手段に記憶されている前記選定された微小物体の透過電子画像と該透過電子画像に対応して記憶されている前記処理方法と撮像条件との情報を前記データベース部から受信する受信手段と、
    該受信手段で受信した前記処理方法と撮像条件との情報を表示する表示手段と
    を更に備えたことを特徴とする透過電子顕微鏡システム。
  2. 請求項1記載の透過電子顕微鏡システムであって、更に
    前記受信手段で受信した前記撮像条件に基づいて前記処理方法に従って処理された試料を撮像する画像撮像部と、
    該画像撮像部において撮像された画像と、前記データベースから受信した画像とを比較する比較部と、
    該比較部での比較結果を出力する出力部と
    を備えたことを特徴とする透過電子顕微鏡システム。
  3. 請求項1に記載の透過電子顕微鏡システムであって、前記データベース手段は、各微生物についての名称、外観情報、大きさや形状などの幾何学的情報、透過電子顕微鏡像、該画像撮像時の加速電圧、該画像撮像時の試料前処理方法、微生物が引き起こす病状や障害についての情報を記憶することを特徴とする透過電子顕微鏡システム。
  4. 請求項1に記載の透過電子顕微鏡システムであって、前記入力手段から入力する微小物体を特定するためのキーワードが、微生物の名称、外観情報、微生物の大きさや形状などの幾何学的情報、微生物が引き起こす病状や障害についての情報を含むことを特徴とする透過電子顕微鏡システム。
  5. 請求項1に記載の透過電子顕微鏡システムであって、前記出力部は、前記データベースから受信した1以上の微生物についての画像データと前記画像撮像部から得られた画像データとそれらの画像の比較処理結果とを表示することを特徴とする透過電子顕微鏡システム。
  6. ウィルスや蛋白質等の微小物体を含む試料に電子線照射手段により電子線を照射し、該照射により前記試料を透過した電子を透過電子像取得手段により結像させて透過電子像を取得し、該取得した透過電子像から前記試料内に存在する微小物体の特定を行う方法であって、
    前記取得した各種の微生物の透過電子画像、および該透過電子画像を取得するための前処理方法および前記電子線照射手段と透過電子像取得手段とによる前記透過電子画像を取得するための撮像条件をデータベースに記憶し、
    前記試料内に含まれるか否かを判定する微小物体を選定するためのキーワードを入力し、
    該入力されたキーワードに基づいて前記データベースに記憶されている情報の中から前記選定された微小物体の透過電子画像と該透過電子画像に対応して記憶されている前記処理方法と撮像条件との情報を抽出し、
    該データベースから抽出した前記処理方法と撮像条件との情報を画面上に表示する
    ことを特徴とする透過電子顕微鏡システムを用いた検査方法。
  7. 請求項6記載の透過電子顕微鏡システムを用いた検査方法であって、更に、
    前記データベースから抽出した前記撮像条件に基づいて前記抽出した処理方法に従って処理された試料を撮像し、
    該撮像して得た画像と、前記データベースから受信した画像とを比較し、
    該比較した結果を出力する
    ことを特徴とする透過電子顕微鏡システムを用いた検査方法。
  8. 請求項6に記載の透過電子顕微鏡システムを用いた検査方法であって、前記データベースは、各微生物についての名称、外観情報、大きさや形状などの幾何学的情報、透過電子顕微鏡像、該画像撮像時の加速電圧、該画像撮像時の試料前処理方法、微生物が引き起こす病状や障害についての情報を記憶することを特徴とする透過電子顕微鏡システムを用いた検査方法。
  9. 請求項6に記載の透過電子顕微鏡システムを用いた検査方法であって、前記データベースから受信した1以上の微生物についての画像データと前記撮像して得られた画像データとそれらの画像の比較処理結果とを表示することを特徴とする透過電子顕微鏡システムを用いた検査方法。
JP2003314909A 2003-09-08 2003-09-08 透過電子顕微鏡システムおよびそれを用いた検査方法 Expired - Fee Related JP4154300B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003314909A JP4154300B2 (ja) 2003-09-08 2003-09-08 透過電子顕微鏡システムおよびそれを用いた検査方法
US10/918,340 US7034299B2 (en) 2003-09-08 2004-08-16 Transmission electron microscope system and method of inspecting a specimen using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003314909A JP4154300B2 (ja) 2003-09-08 2003-09-08 透過電子顕微鏡システムおよびそれを用いた検査方法

Publications (2)

Publication Number Publication Date
JP2005083841A true JP2005083841A (ja) 2005-03-31
JP4154300B2 JP4154300B2 (ja) 2008-09-24

Family

ID=34225187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003314909A Expired - Fee Related JP4154300B2 (ja) 2003-09-08 2003-09-08 透過電子顕微鏡システムおよびそれを用いた検査方法

Country Status (2)

Country Link
US (1) US7034299B2 (ja)
JP (1) JP4154300B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008535519A (ja) * 2005-04-15 2008-09-04 インテリジェント ヴァイルス イメージング インコーポレイテッド 細胞の構造及びその構成要素を分析する方法
JP2010151523A (ja) * 2008-12-24 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法および装置
JP2010529428A (ja) * 2007-05-30 2010-08-26 インテリジェント ヴァイルス イメージング インコーポレイテッド イメージ内のウィルス顆粒を集計及び区分する方法
JP2011095225A (ja) * 2009-11-02 2011-05-12 Olympus Corp 画像処理装置、画像処理方法および顕微鏡システム
JP2013515958A (ja) * 2009-12-23 2013-05-09 アプライド プレシジョン インコーポレイテッド 高密度の確率的サンプリング撮像のシステムおよび方法
JP2014157772A (ja) * 2013-02-18 2014-08-28 Horon:Kk 走査型電子顕微鏡および検査装置
JP2018092952A (ja) * 2018-03-15 2018-06-14 株式会社ホロン 走査型電子顕微鏡および検査装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712140B2 (en) * 2005-04-15 2014-04-29 Intelligent Virus Imaging Inc. Method of analyzing cell structures and their components
TWI277734B (en) * 2005-10-26 2007-04-01 Li Bing Huan Method for observing living bodies using an electron microscopy
EP1890136A1 (en) * 2006-08-16 2008-02-20 FEI Company Method for obtaining images from slices of a specimen
US8712141B2 (en) 2007-05-30 2014-04-29 Intelligent Virus Imagaing Inc. Method for counting and segmenting viral particles in an image
US7936913B2 (en) * 2007-08-07 2011-05-03 Nextslide Imaging Llc Network image review in clinical hematology
US20100142772A1 (en) * 2008-12-08 2010-06-10 Shenzhen Microprofit Medical Equipment Co.,Ltd. Method and Device for Intelligent Recognition of Microorganisms
US20100166268A1 (en) * 2008-12-30 2010-07-01 Ebm Technologies Incorporated Storage system for storing the sampling data of pathological section and method thereof
JP5954377B2 (ja) * 2014-08-19 2016-07-20 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US11914131B1 (en) * 2020-08-16 2024-02-27 Gregory Dimitrenko Optical testing system for detecting infectious disease, testing device, specimen collector and related methods
CN116482137B (zh) * 2023-04-11 2023-11-17 东莞市汇览精密五金有限公司 一种新冠病毒快速检测装置及检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01213949A (ja) * 1988-02-22 1989-08-28 Shimadzu Corp 分析条件設定装置および測定データ処理装置
JPH0363566A (ja) * 1989-07-31 1991-03-19 Shimadzu Corp 分析装置の分析指示装置
JPH0694606A (ja) * 1992-09-16 1994-04-08 Hitachi Ltd 原子吸光光度計
JPH09145718A (ja) * 1995-11-22 1997-06-06 A & T:Kk 分析検査装置における攪拌装置の制御装置
JP2001004506A (ja) * 1999-06-24 2001-01-12 Shichiro Miyazawa 電子顕微鏡試料作製装置及び電子顕微鏡試料作製方法
JP2002148213A (ja) * 2000-11-13 2002-05-22 Hitachi Kenki Fine Tech Co Ltd X線検査装置および記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187790B2 (en) * 2002-12-18 2007-03-06 Ge Medical Systems Global Technology Company, Llc Data processing and feedback method and system
JP2004212355A (ja) * 2003-01-09 2004-07-29 Hitachi Ltd バイオ電子顕微鏡及び試料の観察方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01213949A (ja) * 1988-02-22 1989-08-28 Shimadzu Corp 分析条件設定装置および測定データ処理装置
JPH0363566A (ja) * 1989-07-31 1991-03-19 Shimadzu Corp 分析装置の分析指示装置
JPH0694606A (ja) * 1992-09-16 1994-04-08 Hitachi Ltd 原子吸光光度計
JPH09145718A (ja) * 1995-11-22 1997-06-06 A & T:Kk 分析検査装置における攪拌装置の制御装置
JP2001004506A (ja) * 1999-06-24 2001-01-12 Shichiro Miyazawa 電子顕微鏡試料作製装置及び電子顕微鏡試料作製方法
JP2002148213A (ja) * 2000-11-13 2002-05-22 Hitachi Kenki Fine Tech Co Ltd X線検査装置および記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008535519A (ja) * 2005-04-15 2008-09-04 インテリジェント ヴァイルス イメージング インコーポレイテッド 細胞の構造及びその構成要素を分析する方法
JP2010529428A (ja) * 2007-05-30 2010-08-26 インテリジェント ヴァイルス イメージング インコーポレイテッド イメージ内のウィルス顆粒を集計及び区分する方法
JP2010151523A (ja) * 2008-12-24 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法および装置
JP2011095225A (ja) * 2009-11-02 2011-05-12 Olympus Corp 画像処理装置、画像処理方法および顕微鏡システム
JP2013515958A (ja) * 2009-12-23 2013-05-09 アプライド プレシジョン インコーポレイテッド 高密度の確率的サンプリング撮像のシステムおよび方法
JP2014157772A (ja) * 2013-02-18 2014-08-28 Horon:Kk 走査型電子顕微鏡および検査装置
JP2018092952A (ja) * 2018-03-15 2018-06-14 株式会社ホロン 走査型電子顕微鏡および検査装置

Also Published As

Publication number Publication date
JP4154300B2 (ja) 2008-09-24
US7034299B2 (en) 2006-04-25
US20050051725A1 (en) 2005-03-10

Similar Documents

Publication Publication Date Title
JP4154300B2 (ja) 透過電子顕微鏡システムおよびそれを用いた検査方法
JP6981533B2 (ja) 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
EP0745243B9 (en) Automated cytological specimen classification methods
EP4130843A1 (en) Microscope system, projection unit, and sperm sorting assistance method
JPWO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20220383629A1 (en) Label-free cell classification and screening system based on hybrid transfer learning
WO2016189469A1 (en) A method for medical screening and a system therefor
US20040014165A1 (en) System and automated and remote histological analysis and new drug assessment
JP7253273B2 (ja) 生殖医療支援システム
Secci et al. Quantitative analysis of gene expression in RNAscope-processed brain tissue
Deshpande et al. A Brief Bibliometric Survey of Explainable AI in Medical Field.
WO2022121284A1 (zh) 大视场高通量高分辨病理切片分析仪
US20230230398A1 (en) Image processing device, image processing method, image processing program, and diagnosis support system
JPH08315144A (ja) パターン分類装置及びそのパターン分類方法
CN113158996A (zh) 一种基于扫描电子显微镜图像和人工智能的硅藻两步识别和分类方法
Krappe et al. Automated classification of bone marrow cells in microscopic images for diagnosis of leukemia: a comparison of two classification schemes with respect to the segmentation quality
CN111289510B (zh) 体外诊断仪、图像切换方法和可读存储介质
US20240153088A1 (en) Medical image analysis apparatus, medical image analysis method, and medical image analysis system
US20230055377A1 (en) Automated training of a machine-learned algorithm on the basis of the monitoring of a microscopy measurement
JP3654835B2 (ja) 検体の下調べ機能を備えた検査体系
US10417482B2 (en) Observation system
Sergeev et al. Development of automated computer vision methods for cell counting and endometrial gland detection for medical images processing
WO2023195405A1 (ja) 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム
Tian et al. Cryogenic superresolution correlative light and electron microscopy of vitreous sections
US20230058796A1 (en) Fluorescence image analysis method, fluorescence image analyzer, fluorescence image analysis program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051024

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051024

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060511

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130711

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees