[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4822634B2 - 対象物の案内のための座標変換を求める方法 - Google Patents

対象物の案内のための座標変換を求める方法 Download PDF

Info

Publication number
JP4822634B2
JP4822634B2 JP2001262748A JP2001262748A JP4822634B2 JP 4822634 B2 JP4822634 B2 JP 4822634B2 JP 2001262748 A JP2001262748 A JP 2001262748A JP 2001262748 A JP2001262748 A JP 2001262748A JP 4822634 B2 JP4822634 B2 JP 4822634B2
Authority
JP
Japan
Prior art keywords
coordinate
coordinate system
position acquisition
transformation
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001262748A
Other languages
English (en)
Other versions
JP2002186603A (ja
Inventor
グラウマン ライナー
ミチュケ マチアス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10137914A external-priority patent/DE10137914B4/de
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2002186603A publication Critical patent/JP2002186603A/ja
Application granted granted Critical
Publication of JP4822634B2 publication Critical patent/JP4822634B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating thereof
    • A61B6/582Calibration
    • A61B6/583Calibration using calibration phantoms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/547Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4405Constructional features of apparatus for radiation diagnosis the apparatus being movable or portable, e.g. handheld or mounted on a trolley
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Length-Measuring Devices Using Wave Or Particle Radiation (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はX線装置により撮像すべき第1の対象物の座標系と、第1の対象物に対して相対的に案内すべき第2の対象物の座標系との間の座標変換を求める方法に関する。
【0002】
【従来の技術】
第1の対象物に対する第2の対象物の相対的な案内は、一般的に光学的な像情報を用いて支援される、第1の対象物に対する第2の対象物の相対的な案内を意味し、その際に第2の対象物の像がX線装置により得られた第1の対象物の像情報内に重畳される。
【0003】
このような方法は特に医学の分野で益々意義を増しており、ナビゲーション装置により案内される侵襲の際、通常生体から取得された像情報内に医学器具の像が重畳される。この方法で手術者は、生体内に少なくとも部分的に入っており、その先端をもはや直接に見られない器具を、像情報を手がかりに、生体に故意でなく損傷を与える危険なしに、生体の検査又は処置すべき組織範囲に対して相対的に導くことができる。
【0004】
このようなナビゲーション装置により案内される侵襲を可能にする、即ち器具の像を生体の像情報内に正確な位置と姿勢で重畳するためには、生体に書き込んだ座標系と案内すべき器具の座標系との間の数学的な関係を確立する必要があり、そのため時折、生体に人口的な標識又は解剖学的な標識、例えば特徴のある骨構造を固定する。その際、解剖学的又は人口的な標識は、X線装置により取得する生体の像情報内に明らかに可視化せねばならず、また生体組織に容易に到達できねばならない。人口的な標識は、所謂レジストレーションを行えるよう、例えば生体の皮膚表面に取付ける。これは、案内のために使用する生体座標系の空間的座標系内の、案内すべき器具の座標系内で表される座標の空間的変換規則を求めることを意味する。標識はその際、通常生体の座標系と器具の座標系との間の座標変換を求め得るように、器具と一緒に動かさねばならない。非常に精密な医学的侵襲の際には標識を生体の身体に剛固に取忖ける。例として、患者の頭部へのステレオタクティクなフレームの取付け又は患者の骨又は脊柱への標識の取付けが挙げられる。標識の取付けは、独立した手術で行われる。なぜならば、標識を案内のために使用する手術前の撮像の前に既に取付けねばならないからである。
【0005】
標識の取付けとレジストレーションは患者に対して不所望の処置であり、手術者にとっても、ナビゲーション装置で案内される侵襲の準備に比較的時間のかかる処置である。
【0006】
ドイツ特許第695 03 814号明細書からコンピュータ支援外科のための装置および方法は公知である。この装置では特定の光パターンを患者の身体個所に投影し、それから先ず3D像を発生させ、かつ記憶する。光パターンをビデオカメラにより撮像し、そして3D像を光パターンから発生させる。身体表面に際立つ光パターンの3D像を記憶した3D像により、これらが共通の基準フレームを形成するように重畳させる。さらにカメラでパターンを与えるポインタ手段を撮像する。このポインタ手段を、重畳した3D像内に案内のために重畳させる。
【0007】
ドイツ特許出願公開第196 32 273号明細書は、運動能力のある身体の幾何学的大きさを決定するための方法を開示している。
【0008】
ドイツ特許出願公開第195 36 180号明細書は、患者の三次元の身体データに対する器具の相対的な位置を確認するため、身体内部の空間的な座標系を確定するため内部の標識装置を固定的に身体と結合することを提案する。身体の解析走査中、解析走査の際に得た三次元の身体データの位置を、標識装置により確定した身体内部の基準系内で決定する。外部の標識装置により確定した身体外部の基準系に対し相対的に、内部の標識装置により確定した基準系の位置および方位を決定する。外部の標識装置を基準にして案内すべき器具の位置と方位を決定し、それにより内部の標識装置、従ってまた三次元の身体データヘの関係を作る。
【0009】
ドイツ特許出願公開第43 06 037号明細書から、心電図から位置を確認した心臓内の活動の中心を、超音波断面像と結び付けるための装置および方法は公知である。その際、位置捕捉システムを用いて心臓内の活動の位置を心電図から決定し、かつその位置を超音波断画像内に標示する。
【0010】
【発明が解決しようとする課題】
本発明の課題は、X線装置により撮像すべき第1の対象物の座標系と、第1の対象物に対し相対的に案内すべき第2の対象物の座標系との間の座標変換を求める方法であって、第1の対象物の座標系と、第2の対象物の座標系との間の関係を示すために、標識を付したレジストレーションが不要である方法を提供することにある。
【0011】
【課題を解決するための手段】
この課題は、本発明によれば、X線装置により撮像すべき第1の対象物の座標系と、第1の対象物に対し相対的に案内すべき第2の対象物の座標系との問の座標変換を求める方法であって、X線装置および第2の対象物の位置を求める位置捕捉システムが存在する場合に用いる方法において、下記のステップ、
a)X線装置により第1の対象物からの像情報を取得する前に較正過程で位置捕捉システム、X線装置および第1の対象物の座標系間の変換関係L、VおよびSを求めるステップ(ここでLはX線装置に配置されており位置捕捉システムと共同作用する標識の座標系と、位置捕捉システムの座標系との間の座標変換、Vは位置捕捉システムの座標系と、第1の対象物の座標系との問の座標変換、そしてSは第1の対象物に対し相対的なX線装置の参照位置に対する標識の座標系と第1の対象物の座標系との間の座標変換)、
b)X線装置および位置捕捉システムの互いに相対的な変更された位置の結果として、X線装置により第1の対象物からの像情報を取得する間に較正に比べて変更された、標識の座標系と位置捕捉システムの座標系との間の座標変換L'を求めるステップ、又はX線装置により第1の対象物からの像情報を取得する間に較正に比べて変更された、第1の対象物に対し相対的なX線装置の参照位置に対する標識の座標系と位置捕捉システムの座標系との問の座標変換 S 'を求めるステップ、
c)第2の対象物の座標系と位置捕捉システムの座標系との間の座標変換L"を求めるステップ、および
d)ステップa)ないしc)で求めた座標変換V、L、L'、LS'、L"およびSを手がかりにして第2の対象物の座標系と第1の対象物の座標系との間の座標変換を求めるステップ
を含むことを特徴とする方法により解決される。
従って、本発明によれば、次の発明が提案される
1)X線装置により撮像すべき第1の対象物の座標系と、第1の対象物に対し相対的に案内すべき第2の対象物の座標系との間の座標変換を求める方法であって、X線装置および第2の対象物の位置を求めるための位置捕捉システムが存在し、下記のステップ
a)X線装置により第1の対象物からの像情報を取得する前に1つの較正過程で位置捕捉システム、X線装置および第1の対象物の座標系の間の変換関係L、Vを求めるステップ(ここでLはX線装置に配置され位置捕捉システムと共同作用する標式の座標系と位置捕捉システムの座標系との間の座標変換、Vは位置捕捉システムの座標系と第1の対象物の座標系との間の座標変換を表す)
b)X線装置および位置捕捉システムの互いに相対的な変更された位置の結果として、X線装置により第1の対象物からの像情報を取得する間に較正に比べて変更された、標識の座標系と位置捕捉システムの座標系との間の座標変換L'を求めるステップ、
c)第2の対象物の座標系と位置捕捉システムの座標系との間の座標変換L"を求めるステップ、および
d)ステップa)ないしc)で求めた座標変換V、L、L'、L"を手がかりにして、座標変換L、L'からM=L'L -1 に従って座標変換Mを求め、第2の対象物の座標系と第1の対象物の座標系との間の座標変換を関係VML"により求めるステップ
を含む対象物の案内のための座標変換を求める方法(請求項1)
(2)X線装置により撮像すべき第1の対象物の座標系と、第1の対象物に対し相対的に案内すべき第2の対象物の座標系との間の座標変換を求める方法であって、X線装置および第2の対象物の位置を求めるための位置捕捉システムが存在し、下記のステップ、
a)X線装置により第1の対象物からの像情報を取得する前に1つの較正過程で位置捕捉システム、X線装置および第1の対象物の座標系の間の変換関係Sを求めるステップ(ここでSは第1の対象物に対して相対的なX線装置の参照位置に対する標識の座標系と第1の対象物の座標系との間の座標変換を表す)、
b)X線装置により第1の対象物からの像情報を取得する間に較正に比べて変更された、第1の対象物に対して相対的なX線装置の参照位置に対する標識の座標系と位置捕捉システムの座標系との間の座標変換L S 'を求めるステップ、
c)第2の対象物の座標系と位置捕捉システムの座標系との間の座標変換L"を求めるステップ、および
d)ステップa)ないしc)で求めた座標変換S、L S '、L"を手がかりにして、第2の対象物の座標系と第1の対象物の座標系との間の座標変換を関係SL S ' -1 L"により求めるステップ
を含む対象物の案内のための座標変換を求める方法(請求項2)
【0012】
本発明によれば、単に撮像に関与する機器と対象物との間の座標変換を求めることで、標識によるレジストレーションを行うことなく、第1の対象物の座標系と第2の対象物の座標系との間の変換関係を、第1の対象物に対し相対的に第2の対象物を案内するために導き出せる。
【0013】
本発明の変形例では、第2の対象物の像を、C字形アームX線装置により得た第1の対象物の3D像内に、案内の目的で重畳する。その際、種々の2D像を、第1の対象物に対し相対的にC字形アームX線装置のX線システムの相異なる投影角度において取得した一連の2D投影から得る。この場合、一回の較正過程でX線較正ファントムを用いて各X線装置に対し患者測定前に得た、所謂投影マトリックスで表された投影ジオメトリを知ることが必要である。この較正過程の間に前述の座標変換L、VおよびSを求める。投影マトリックスの求め方ならびに座標変換L、VおよびSの求め方は、M.MitschkeおよびN.Navabの論文"Recording Projection Geometry : How A cheap camera can outperform a expensive stereo system"、IEEE Computer Society Conference on Computer Vision and Pattern Recognition、2000年6月13〜15日、ヒルトン ヘプド アイランド、サウスカロライナ、第1巻、第193〜200頁に詳細に記載されているので、その内容を参照されたい。
【0014】
較正過程で求めた座標変換L、VおよびSを手がかりに、最後に位置捕捉システムを用いて第1の対象物からの像情報の取得中に求めた座標変換L'、LS'およびL"の使用下に、第2の対象物の座標系と第1の対象物の座標系との間の座標変換を決定する。
【0015】
本発明の実施例では、X線装置に配置した標識の座標系と、位置捕捉システムの座標系との間の変換関係の変化を示す座標変換Mが座標変換LおよびL'からM=L'L-1に従って求められる。この変化は、位置捕捉システムおよびX線装置がナビゲーション装置により案内される侵襲の際、通常較正の際とは異なる互いに相対的な位置および方位に位置することの結果である。従って本発明の変形例では、第2の対象物の座標系と、第1の対象物の座標系との間の座標変換を関係VML"により表す。
【0016】
本発明の他の実施例では、第2の対象物の座標系と第1の対象物の座標系との間の座標変換を関係SL'-1L"により表す。ここで第1の対象物に対し相対的なX線装置の参照位置に対する座標変換LS'は第1の対象物のX線撮像中に位置捕捉システムを用いて求める。
【0017】
【発明の実施の形態】
本発明の実施例を、X線装置、位置捕捉システムならび第1および第2の対象物の、個々の座標系間の変換関係の例を示す添付の概要図面に示す。
【0018】
図面はC字形アームX線装置1および位置捕捉システム2を示す。
【0019】
C字形アームX線装置1は昇降装置4を有する装置台車3を備え、それと支持部5で結合している。支持部5にX線放射源6およびX線検出器7を備え、本実施例では同心にその周縁に沿って移動可能なC字形アーム8を支えている(両方向矢印aを参照)。さらにC字形アーム8は、支持部5と一緒にその揺動軸線Bの周りを、本例の場合には両方向矢印bの方向に同心に揺動可能である。
【0020】
C字形アームX線装置1により、図1中に概要を示す寝台11上に横たわる患者Pの2Dおよび3D像を得、指示装置12上に表示する。そのための装置、特に像計算機は公知の方法で構成しており、従って図示せず、かつ説明もしない。
【0021】
本実施例の位置捕捉システム2は、2つのカメラ20、21を含むカメラシステム、本実施例ではX線放射源6に配置した標識板22と医学器具10に配置した標識23を有する光学的な位置捕捉システムである。位置捕捉システム2により、標識板22、従ってX線放射源6およびX線検出器7を含むX線システムの位置と方位および標識23、従ってまた器具10の位置と方位を決定する。
【0022】
位置決定のために必要な位置捕捉システムの計算手段、例えば市販の計算機はそれ自体公知の方法で構成しており、従って同様に図示せずかつ説明もしない。
【0023】
位置捕捉システム2を用いて、ナビゲーション装置により案内される患者Pへの侵襲が可能となり、その際図示しない手術者は器具10を、例えば指示装置12上に表示され、その中に器具10の像が重畳された患者Pの像情報を手がかりにして患者Pに対し相対的に案内する。患者Pの像情報は、ナビゲーション装置により案内される侵襲、本実施例では手術の間、即ち患者Pに対する医学的侵襲の間に、C字形アームX線装置1により得られる。
【0024】
ナビゲーション装置により案内される侵襲を実行するには、患者Pに書き込んだ座標系OWと器具10に書き込んだ座標系OIとの間の座標変換を知ることが必要である。本発明による求め方を以下に説明する。
【0025】
X線システム又はX線放射源6に座標系OX、位置捕捉システム2のカメラシステムに座標系OS、そしてX線放射源6に配置した標識板22に座標系OTを書き込んである。これら座標系を、図面では全て直角座標系として示すが、必ずしも直角座標系でなくてもよい。さらに座標系の位置と方位およびそれらの呼び方は、単なる例示と理解すべきである。
【0026】
案内は、好適には手術中にC字形アームX線装置1により取得した患者Pの3D情報を手がかりに行うべきなので、最初に通常一回のオフライン較正過程で、即ち患者測定の前に、C字形アームX線装置1の投影ジオメトリを所謂投影マトリックスの形態でX線較正ファントムを用いて求める。そのために適したX線較正ファントムは、例えば米国特許第5,822,396号明細書に記載されている。
【0027】
オフライン較正過程で得た投影ジオメトリを用い、C字形アームX線装置1で取得した一連の2D投影から対象物、本実施例では患者Pの3D像を発生する。投影ジオメトリを求める途中のオフライン較正過程で、座標変換L、Q、VおよびSも求める。ここで、LはX線源6に配置してあり位置捕捉システム2に属する標識板22の座標系OTと位置捕捉システム2のカメラシステムの座標系OSとのの座標変換、Qは標識板22の座標系O T とX線システムの座標系O X との間の座標変換、Vは位置捕捉システム2の座標系OSと患者Pの座標系OWとの間又はX線較正ファントムの較正中の座標変換、そしてSは較正ファントムに対し相対的なC字形アーム8の参照位置に対する標識板22の座標系OT患者Pの座標系OWとの間又はX線較正ファントムの較正中の座標変換である。C字形アーム8の参照位置は、例えば較正ファントム又は患者Pの3D像を得るために、一連の2D投影における第1の2D投影を取得できる位置にある。座標変換Lは図中に破線で示す。なぜならば、この座標変換は通常図中に示す患者測定の際に、オフライン較正時の状況に比べ変化するからである。この変化はオフライン較正の際に比べC字形アームX線装置1の、従ってまた互いに相対的な標識板22と位置捕捉システム2のカメラシステムの変化した位置および方位に基づく。
【0028】
オフライン較正からこうして3D撮像に対する投影マトリックスも、座標変換L、Q、VおよびSも公知であり、その求め方はM.MitschkeおよびN.Navab著の論文"Recovering Projection Geometry : How a cheap camera can outperform an expensive stereo system"、 IEEE Computer Society Conference on Computer Vision and Pattern Recognition、2000年6月13〜15日、ヒルトン ヘッド アイランド、サウスカロライナ、第1巻、第193〜200頁に詳細に記載されているので、その内容を参照されたい。投影ジオメトリと座標変換は、本実施例の場合C字形アームX線装置1の像計算機と共同作用する位置捕捉システム2の計算機を用いて行う。投影マトリックスならびに座標変換L、Q、VおよびSは、C字形アームX線装置1の、図示しないメモリ内に対象物の3D像の再構成と案内の目的で用意しておく。
【0029】
C字形アーム8およびカメラシステムが、オフライン較正に比べ異なる互いに相対的な位置を占める、C字形アームX線装置1による患者Pの患者測定の間、即ち3D像の取得の間に、様々な投影方向から患者Pの一連の2D投影を取得する。その際、位置捕捉システム2を用いてC字形アーム8の位置を決定し、それからC字形アーム8とカメラシステムの互いに相対的な位置の変化の結果としての座標変換L'を導出する。最後に元の座標変換Lと、患者測定の間に求めた座標変換L'とから、患者測定の間の標識板22の位置および方位の変化をオフライン較正に比較して別の座標変換Mにより記述する。座標変換Mは座標変換M=L、L'からM=L'L-1に従って求める。
【0030】
ナビゲーション装置により案内される侵襲の際、位置捕捉システム2のカメラシステムの座標系OSと、患者Pの座標系OWとの問の変換関係が判る。器具10の位置と方位は、標識3と位置捕捉システム2のカメラシステムを用いて求める。その際、位置捕捉システム2のカメラシステムの座標系OSに対する、案内すべき医学器具10の座標系OIの座標変換はL"と呼ばれる。それに従い、2D像内に示される再構成された患者Pのボリュウムに対する、位置捕捉システム2により追跡される医学器具10の位置と方位を直接的に求める。器具の座標系OIと患者Pの座標系OWとの間の座標変換は、その際VML"として求める。この座標変換を手がかりにして、最後に器具10の像が正しい位置と方位で、支持装置12上に表示される再構成された患者Pのボリュウム内に重畳される。
【0031】
器具10の座標系OIと、患者Pの座標系OWとの間の座標変換の求め方の第2の変形例では座標変換Sを使用する。その場合、患者測定中は、オフライン較正時に比べ位置捕捉システム2のカメラシステムに対し相対的なC字形アーム8の変化した位置に基づき、しかし座標変換Sを求めたC字形アーム8の参照位置と等しい参照位置で、座標変換LS'を位置捕捉システム2を用いて求める。この場合にも、位置捕捉システム2のカメラシステムの座標系OSと、患者Pの座標系OWとの間の関係が判つたので、座標変換L"の使用の下に同じく器具10の座標系OIから患者Pの座標系OWへの座標変換を行う。座標変換規則は、ここではSLS'-1L"により表される。
【0032】
こうして、単にオフライン較正過程で座標変換L、VおよびSを求め、かつ手術中に、即ち患者測定の間に、座標変換L'又はLS'およびL"を求めることにより、患者Pの座標系OWと器具10の座標系OIとの間の座標変換を、患者Pに対し相対的に器具10を案内するために求める。その結果、標識を付したレジストレーションは本発明により避けられる。
【0033】
なお案内のために使用する位置捕捉システムは、必ずしも光学的な位置捕捉システムでなくでもよい。電磁的又は他の公知の位置捕捉システムも使用できろ
【0034】
図面に記入した座標変換の方向は例示に過ぎないと理解されるべきである。重要なのは、2つの座標系間の座標変換の求め方である。
【0035】
以上本発明を、医学的な使用を例として説明した。しかし本発明は、医学の分野に限定することなく応用可能である。
【図面の簡単な説明】
【図1】 本発明の一実施例に係る医学診断装置の概略構成図。
【符号の説明】
1 X線装置
2 位置捕捉システム
3 装置車
4 昇降装置
5 支持部
6 X線放射源
7 X線検出器
8 C字形アーム
10 第2の対象物(医学器具)
11 患者寝台
12 指示装置
20、21 カメラ
22 標識板
23 標識
I 第2の対象物の座標系
S 位置捕捉システムの座標系
T 標識の座標系
W 第1の対象物の座標系
X X線システムの座標系
P 第1の対象物(患者)

Claims (3)

  1. X線装置(1)により撮像すべき第1の対象物(P)の座標系(OW)と、第1の対象物(P)に対し相対的に案内すべき第2の対象物(10)の座標系(OI)との間の座標変換を求める方法であって、X線装置(1)および第2の対象物(10)の位置を求めるための位置捕捉システム(2)が存在、下記のステップ、
    a)X線装置(1)により第1の対象物(P)からの像情報を取得する前に1つの較正過程で位置捕捉システム(2)、X線装置(1)および第1の対象物(P)の座標系の間の変換関係L、Vを求めるステップ(ここでLはX線装置(1)に配置され位置捕捉システム(2)と共同作用する標識(22)の座標系(OT)と位置捕捉システム(2)の座標系(OS)との間の座標変換、Vは位置捕捉システム(2)の座標系(OS)と第1の対象物(P)の座標系(O W )との間の座標変換を表す)、
    b)X線装置(1)および位置捕捉システム(2)の互いに相対的な変更された位置の結果として、X線装置(1)により第1の対象物(P)からの像情報を取得する間に較正に比べて変更された、標識(22)の座標系(OT)と位置捕捉システム(2)の座標系(OS)との間の座標変換L'を求めるステップ、
    c)第2の対象物(10)の座標系(OI)と位置捕捉システム(2)の座標系(OS)との間の座標変換L"を求めるステップ、および
    d)ステップa)ないしc)で求めた座標変換V、L、L'、L"を手がかりにして、座標変換L、L'からM=L'L -1 に従って座標変換Mを求め、第2の対象物(10)の座標系(OI)と第1の対象物(P)の座標系(OW)との間の座標変換を関係VML"により求めるステップ
    を含むことを特徴とする対象物の案内のための座標変換を求める方法。
  2. X線装置(1)により撮像すべき第1の対象物(P)の座標系(O W )と、第1の対象物(P)に対し相対的に案内すべき第2の対象物(10)の座標系(O I )との間の座標変換を求める方法であって、X線装置(1)および第2の対象物(10)の位置を求めるための位置捕捉システム(2)が存在し、下記のステップ、
    a)X線装置(1)により第1の対象物(P)からの像情報を取得する前に1つの較正過程で位置捕捉システム(2)、X線装置(1)および第1の対象物(P)の座標系の間の変換関係Sを求めるステップ(ここでSは第1の対象物(P)に対して相対的なX線装置(1)の参照位置に対する標識(22)の座標系(O T )と第1の対象物(P)の座標系(O W )との間の座標変換を表す)、
    b)X線装置(1)により第1の対象物(P)からの像情報を取得する間に較正に比べて変更された、第1の対象物(P)に対して相対的なX線装置(1)の参照位置に対する標識(22)の座標系(O T )と位置捕捉システム(2)の座標系(O S )との間の座標変換L S 'を求めるステップ、
    c)第2の対象物(10)の座標系(O I )と位置捕捉システム(2)の座標系(O S )との間の座標変換L"を求めるステップ、および
    d)ステップa)ないしc)で求めた座標変換S、L S '、L"を手がかりにして、第2の対象物(10)の座標系(O I )と第1の対象物(P)の座標系(O W )との間の座標変換を関係SL S ' -1 L"により求めるステップ
    を含むことを特徴とする対象物の案内のための座標変換を求める方法
  3. X線装置がC字形アームX線装置(1)であることを特徴とする請求項1または2記載の方法。
JP2001262748A 2000-08-31 2001-08-31 対象物の案内のための座標変換を求める方法 Expired - Fee Related JP4822634B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE10042963 2000-08-31
DE10137914.5 2001-08-02
DE10042963.7 2001-08-02
DE10137914A DE10137914B4 (de) 2000-08-31 2001-08-02 Verfahren zur Ermittlung einer Koordinatentransformation für die Navigation eines Objekts

Publications (2)

Publication Number Publication Date
JP2002186603A JP2002186603A (ja) 2002-07-02
JP4822634B2 true JP4822634B2 (ja) 2011-11-24

Family

ID=26006884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001262748A Expired - Fee Related JP4822634B2 (ja) 2000-08-31 2001-08-31 対象物の案内のための座標変換を求める方法

Country Status (2)

Country Link
US (1) US6533455B2 (ja)
JP (1) JP4822634B2 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6666579B2 (en) * 2000-12-28 2003-12-23 Ge Medical Systems Global Technology Company, Llc Method and apparatus for obtaining and displaying computed tomography images using a fluoroscopy imaging system
DE10210287B4 (de) * 2002-03-08 2004-01-22 Siemens Ag Verfahren und Vorrichtung zur markerlosen Registrierung für navigationsgeführte Eingriffe
DE10210648A1 (de) * 2002-03-11 2003-10-02 Siemens Ag Verfahren zur Erfassung und Darstellung eines in ein zu untersuchendes oder behandelndes Hohlraumorgan eines Patienten eingeführten medizinischen Instruments
DE10224011A1 (de) * 2002-05-29 2003-12-24 Siemens Ag Rechnergestütztes Rekonstruktionsverfahren für ein dreidimensionales Objekt
EP1380263B1 (de) * 2002-07-12 2007-08-29 MYCRONA Gesellschaft für innovative Messtechnik mbH Verfahren und Vorrichtung zur Bestimmung der Ist-Position einer Struktur eines Untersuchungsobjektes
DE10232681A1 (de) * 2002-07-18 2004-01-29 Siemens Ag Verfahren und Vorrichtung zur Positionierung eines Patienten in einem medizinischen Diagnose-oder Therapiegerät
EP1378206B1 (de) * 2002-09-12 2004-01-21 BrainLAB AG Röntgenbildunterstützte Navigation mit ursprünglichen, zweidimensionalen Röntgenbildern
US6928142B2 (en) * 2002-10-18 2005-08-09 Koninklijke Philips Electronics N.V. Non-invasive plaque detection using combined nuclear medicine and x-ray system
US7398116B2 (en) * 2003-08-11 2008-07-08 Veran Medical Technologies, Inc. Methods, apparatuses, and systems useful in conducting image guided interventions
US8150495B2 (en) * 2003-08-11 2012-04-03 Veran Medical Technologies, Inc. Bodily sealants and methods and apparatus for image-guided delivery of same
DE102004001858A1 (de) * 2003-10-22 2005-05-25 Schaerer Mayfield Technologies Gmbh Verfahren zur Fluoroskopie-basierten Neuronavigation
DE10360025B4 (de) * 2003-12-19 2006-07-06 Siemens Ag Verfahren zur Bildunterstützung eines mit einem medizinischen Instrument durchgeführten operativen Eingriffes
US8494612B2 (en) * 2004-03-03 2013-07-23 Deutsches Krebsforschungszentrum Incremental real-time recording of tracked instruments in tubular organ structures inside the human body
US7641660B2 (en) * 2004-03-08 2010-01-05 Biomet Manufacturing Corporation Method, apparatus, and system for image guided bone cutting
FR2879433B1 (fr) * 2004-12-17 2008-01-04 Gen Electric Procede pour determiner une geometrie d'acquisition d'un systeme medical
US7488107B2 (en) * 2005-08-18 2009-02-10 General Electric Company Method and apparatus to detect and correct alignment errors in x-ray systems used to generate 3D volumetric images
US20070066881A1 (en) 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
EP1924198B1 (en) 2005-09-13 2019-04-03 Veran Medical Technologies, Inc. Apparatus for image guided accuracy verification
JP5140810B2 (ja) * 2005-09-28 2013-02-13 財団法人ヒューマンサイエンス振興財団 断層撮影画像の重ね合わせ表示方法及び断層撮影画像を重ね合わせて表示するためのコンピュータプログラム
DE102005051102B4 (de) * 2005-10-24 2011-02-24 Cas Innovations Gmbh & Co. Kg System zur medizinischen Navigation
WO2007115825A1 (en) * 2006-04-12 2007-10-18 Nassir Navab Registration-free augmentation device and method
EP1892668B1 (en) * 2006-08-22 2012-10-03 BrainLAB AG Registration of imaging data
US7671887B2 (en) * 2006-11-20 2010-03-02 General Electric Company System and method of navigating a medical instrument
IL188262A (en) * 2007-01-10 2011-10-31 Mediguide Ltd System and method for superimposing a representation of the tip of a catheter on an image acquired by a moving imager
DE102008009266B4 (de) * 2008-02-15 2013-01-10 Siemens Aktiengesellschaft Verfahren und Einrichtung zur Kalibrierung einer Instrumentenlokalisierungseinrichtung mit einer Bildgebungsvorrichtung
DE102008012857B4 (de) * 2008-03-06 2018-08-09 Siemens Healthcare Gmbh Medizinsystem und Verfahren zur ortsrichtigen Zuordnung eines Bilddatensatzes zu einem elektromagnetischen Navigationssystem
EP2328500B1 (en) 2008-06-11 2017-03-22 Dune Medical Devices Ltd. Double registration
DE102008035736B8 (de) * 2008-07-31 2013-07-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Röntgenbild-Aufnahmesystem und Röntgenbild-Aufnahmeverfahren zur Aufnahme vonRöntgenprojektionsbildern und von Ausrichtungsinformationen für aufgenommeneRöntgenprojektionsbilder
DE102009006417B4 (de) * 2009-01-28 2016-10-06 Siemens Healthcare Gmbh Überwachung eines medizinischen Gerätes
FR2941861B1 (fr) * 2009-02-12 2012-06-22 Gen Electric Procede de calibration de la position relative d'une table et d'un bras en c d'un systeme d'imagerie medical
TW201110941A (en) * 2009-09-25 2011-04-01 Accumis Inc Image capture system for recording X-ray images in real-time
WO2012169990A2 (en) 2010-05-04 2012-12-13 Pathfinder Therapeutics, Inc. System and method for abdominal surface matching using pseudo-features
DE102010020284A1 (de) * 2010-05-12 2011-11-17 Siemens Aktiengesellschaft Bestimmung von 3D-Positionen und -Orientierungen von chirurgischen Objekten aus 2D-Röntgenbildern
DE102010020781B4 (de) * 2010-05-18 2019-03-28 Siemens Healthcare Gmbh Bestimmung und Überprüfung der Koordinatentransformation zwischen einem Röntgensystem und einem Operationsnavigationssystem
US8696549B2 (en) 2010-08-20 2014-04-15 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation in endoscopic applications
CN102204846B (zh) * 2011-04-22 2012-10-31 重庆伟渡医疗设备股份有限公司 一种医学成像部件位置改变后对其快速精确定标的方法
US9510771B1 (en) 2011-10-28 2016-12-06 Nuvasive, Inc. Systems and methods for performing spine surgery
DE102012200921B4 (de) * 2012-01-23 2014-08-21 Siemens Aktiengesellschaft Verfahren zum Ermitteln einer Abweichung eines medizinischen Instruments von einer Zielposition
WO2013126659A1 (en) 2012-02-22 2013-08-29 Veran Medical Technologies, Inc. Systems, methods, and devices for four dimensional soft tissue navigation
RU2014154006A (ru) * 2012-06-05 2016-08-10 Конинклейке Филипс Н.В. Калибровка с декомпозицией на слои движения рентгеновских ст-томографов
DE102012021623B4 (de) * 2012-11-06 2021-03-04 Otto-Von-Guericke-Universität Magdeburg Vorrichtung und Verfahren zur Kalibrierung von Trackingsystemen in Bildgebungssystemen
CN103006335B (zh) * 2013-01-06 2015-01-28 新博医疗技术有限公司 一种手术导航用的通用标定模及标定方法
US8966681B2 (en) 2013-02-26 2015-03-03 Linda L. Burch Exercise mat
CA2905050C (en) 2013-03-15 2018-03-06 The Cleveland Clinic Foundation Method and system to facilitate intraoperative positioning and guidance
WO2014192889A1 (ja) 2013-05-29 2014-12-04 地方独立行政法人東京都立産業技術研究センター X線エネルギー別画像再構成装置及び方法並びにx線三次元測定装置及び方法
US10531814B2 (en) 2013-07-25 2020-01-14 Medtronic Navigation, Inc. Method and apparatus for moving a reference device
US9848922B2 (en) 2013-10-09 2017-12-26 Nuvasive, Inc. Systems and methods for performing spine surgery
US20150305612A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
EP3282997B1 (en) 2015-04-15 2021-06-16 Mobius Imaging, LLC Integrated medical imaging and surgical robotic system
JP6680470B2 (ja) 2015-06-05 2020-04-15 地方独立行政法人東京都立産業技術研究センター 画像取得装置及び画像取得方法並びに画像補正プログラム
CN105078581A (zh) * 2015-09-07 2015-11-25 四川大学 一种具有自定位功能的移动式机器人手术系统
CN105588582B (zh) * 2015-12-31 2018-09-07 中交第一航务工程局有限公司 一种测控定位装置的位置标定方法和系统
US11596369B2 (en) * 2016-05-03 2023-03-07 Daegu Gyeongbuk Institute Of Science And Technology Navigation system for vascular intervention and method for generating virtual x-ray image
WO2018013536A2 (en) 2016-07-12 2018-01-18 Gys Tech Llc D/B/A Cardan Robotics Multi-stage dilator and cannula system and method
CN109862845B (zh) 2016-09-16 2022-12-30 莫比乌斯成像公司 用于在手术机器人系统中安装机器人臂的系统和方法
US11000336B2 (en) * 2016-09-23 2021-05-11 Koninklijke Philips N.V. Visualization of an image object relating to an instrucment in an extracorporeal image
JP7170631B2 (ja) 2016-10-05 2022-11-14 ニューヴェイジヴ,インコーポレイテッド 外科ナビゲーションシステム及び関連する方法
EP3528735A4 (en) 2016-10-21 2020-04-29 Mobius Imaging LLC METHODS AND SYSTEMS FOR SETTING TARGET PATHWAYS AND LOCATIONS FOR IMAGE-GUIDED SURGERY
US11751948B2 (en) 2016-10-25 2023-09-12 Mobius Imaging, Llc Methods and systems for robot-assisted surgery
US10682129B2 (en) 2017-03-23 2020-06-16 Mobius Imaging, Llc Robotic end effector with adjustable inner diameter
WO2019032849A2 (en) 2017-08-11 2019-02-14 GYS Tech, LLC d/b/a Cardan Robotics METHOD AND APPARATUS FOR FIXING A REFERENCE MARKER TO A PATIENT
WO2019070997A1 (en) 2017-10-04 2019-04-11 GYS Tech, LLC d/b/a Cardan Robotics SYSTEMS AND METHODS FOR REALIZING SPINAL SURGERY WITH SIDE ACCESS
US11678939B2 (en) 2017-10-05 2023-06-20 Mobius Imaging Llc Methods and systems for performing computer assisted surgery
FR3076203B1 (fr) * 2017-12-28 2019-12-20 Thales Procede et systeme pour calibrer un systeme d'imagerie a rayons x
WO2019152846A1 (en) 2018-02-02 2019-08-08 Centerline Biomedical, Inc. Graphical user interface for marking anatomic structures
WO2019152850A1 (en) 2018-02-02 2019-08-08 Centerline Biomedical, Inc. Segmentation of anatomic structures
CA3117848A1 (en) * 2018-11-18 2020-05-22 Trig Medical Ltd. Spatial registration method for imaging devices
US11304623B2 (en) * 2018-12-25 2022-04-19 Biosense Webster (Israel) Ltd. Integration of medical imaging and location tracking
CN113646808A (zh) 2019-04-04 2021-11-12 中心线生物医药股份有限公司 空间跟踪系统与增强现实显示器的配准
WO2020206421A1 (en) 2019-04-04 2020-10-08 Centerline Biomedical, Inc. Spatial registration of tracking system with an image using two-dimensional image projections
CN110251209B (zh) * 2019-05-24 2020-09-15 北京贝麦克斯科技有限公司 一种校正方法和装置
US20210303758A1 (en) * 2020-03-31 2021-09-30 Ultraleap Limited Accelerated Hardware Using Dual Quaternions
CN113262048B (zh) * 2021-04-25 2022-06-24 深影医疗科技(深圳)有限公司 空间配准方法、装置、终端设备及术中导航系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4306037A1 (de) 1993-02-26 1994-09-08 Siemens Ag Gerät und Verfahren zum Verknüpfen mindestens eines aus einem Elektrokardiogramm lokalisierten Zentrums intrakardialer Aktivität mit einem Ultraschall-Schnittbild
GB9405299D0 (en) 1994-03-17 1994-04-27 Roke Manor Research Improvements in or relating to video-based systems for computer assisted surgery and localisation
US5769861A (en) 1995-09-28 1998-06-23 Brainlab Med. Computersysteme Gmbh Method and devices for localizing an instrument
JP3881696B2 (ja) 1995-12-21 2007-02-14 シーメンス コーポレイト リサーチ インコーポレイテツド X線ジオメトリの校正
DE19632273A1 (de) 1996-08-09 1998-02-12 Helge Zwosta Körpersensorik
DE19703556A1 (de) * 1997-01-31 1998-08-06 Philips Patentverwaltung Verfahren und Anordnung zur Positionsbestimmung bei der Röntgenbildgebung
US6026315A (en) * 1997-03-27 2000-02-15 Siemens Aktiengesellschaft Method and apparatus for calibrating a navigation system in relation to image data of a magnetic resonance apparatus
JP2000014664A (ja) * 1998-07-06 2000-01-18 Toshiba Corp X線診断装置及び放射線診断装置
US6285902B1 (en) * 1999-02-10 2001-09-04 Surgical Insights, Inc. Computer assisted targeting device for use in orthopaedic surgery
US6470207B1 (en) * 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
US6466815B1 (en) * 1999-03-30 2002-10-15 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same

Also Published As

Publication number Publication date
US20020044631A1 (en) 2002-04-18
US6533455B2 (en) 2003-03-18
JP2002186603A (ja) 2002-07-02

Similar Documents

Publication Publication Date Title
JP4822634B2 (ja) 対象物の案内のための座標変換を求める方法
US11759272B2 (en) System and method for registration between coordinate systems and navigation
CN109416841B (zh) 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
US7664542B2 (en) Registering intra-operative image data sets with pre-operative 3D image data sets on the basis of optical surface extraction
EP1982650B1 (en) Surgery support device, method, and program
US8509511B2 (en) Image processing apparatus and X-ray diagnostic apparatus
EP0501993B1 (en) Probe-correlated viewing of anatomical image data
US6359959B1 (en) System for determining target positions in the body observed in CT image data
JP2950340B2 (ja) 三次元データ組の登録システムおよび登録方法
JP4220780B2 (ja) 手術システム
US7251522B2 (en) X-ray image-assisted navigation using original, two-dimensional x-ray images
US8244064B2 (en) Method for registering and merging medical image data
JP2001061861A (ja) 画像撮影手段を備えたシステムおよび医用ワークステーション
US20090082784A1 (en) Interventional medical system
EP2298223A1 (en) Technique for registering image data of an object
JP2008126075A (ja) Ctレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法
US20240164848A1 (en) System and Method for Registration Between Coordinate Systems and Navigation
WO2008035271A2 (en) Device for registering a 3d model
US11883151B2 (en) Probe with radiopaque tag
CN114159160B (zh) 手术导航方法、装置、电子设备、存储介质
CN116999129A (zh) 一种用于神经外科穿刺手术的定位导航系统及方法
JP3634416B2 (ja) 手術器具の位置表示装置
CN118924429A (en) Visual operation navigation method and system for neurosurgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110426

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110906

R150 Certificate of patent or registration of utility model

Ref document number: 4822634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees