JP2002510230A

JP2002510230A - Stereoscopic image navigation method and apparatus

Info

Publication number: JP2002510230A
Application number: JP50581699A
Authority: JP
Inventors: シャヒディ、ラミン
Original assignee: Leland Stanford Junior University
Current assignee: Leland Stanford Junior University
Priority date: 1997-06-27
Filing date: 1998-06-26
Publication date: 2002-04-02
Also published as: EP0999785A4; WO1999000052A1; EP0999785A1

Abstract

(57)【要約】記憶装置（２０２）を有し、外科用器具又は指針（１０９）、位置追跡システム（１０５、１１０、１１１）、及び表示装置（１０２）に接続された外科用ナビゲーションシステム。指針（１０９）の位置及び方向は、実時間で追跡され、コンピュータ（１０１）へ送られる。コンピュータの記憶装置（２０２）では、MRI、CT、その他の患者の立体スキャンからのデータがロードされ、このデータは、指針（１０９）の視点からの患者の人体組織構造の３次元的透視画像を実時間で動的に表示するために使用される。 (57) Abstract: A surgical navigation system having a storage device (202) and connected to a surgical instrument or pointer (109), a position tracking system (105, 110, 111), and a display device (102). The position and orientation of the pointer (109) are tracked in real time and sent to the computer (101). The computer storage (202) is loaded with data from MRI, CT, and other stereoscopic scans of the patient, which data provides a three-dimensional perspective image of the patient's body tissue structure from the perspective of the pointer (109). Used for dynamic display in real time.

Description

【発明の詳細な説明】立体的画像ナビゲーション方法及び装置技術分野本発明は、ナビゲーション（navigation）を目的として３次元対象物の画像を生成するための方法及び装置に関し、特に、内科及び外科用に上記画像を生成するための方法及び装置に関する。背景技術内科及び外科分野では、人体組織の各部分の精密な画像化が益々重要な技術となっている。侵入式の外科的処置による患者の外傷を小さくするために、小さい切開部を通じて最小の侵入で体内に外科的処置を施すための技術が開発されてきた。このような処置では、外科医により、直接に見ることができなかったり、見ずらい人体組織の部分に手術を施す必要がある。さらに、体内の幾つかの部分は、非常に複雑な構造や非常に小さい構造を含んでおり、より繊細な処置を外科医が施せるように、このような構造の可視性を高くする必要がある。また、このような処置の計画を立てるとき、最適な外科手術的な軌道（トラジェクトリー（trajectory））を決定するために、体内のこのような構造の位置及び方向を評価する必要がある。近年、内部の人体組織構造の画像を得ることのできる新しい医療技術が開発された。この技術は、伝統的なＸ線法と比較して大きな利点を有する。比較的新しい技術には、ミクロインパルス・レーダー（Microimpulse Radar）（MIR）、コンピュータ・トモグラフィー（CT）、磁気共鳴画像化（Magnetic Resonance Ima ging）（MRI）、ポジション・エミッション・トモグラフィー（Position Emissi on Tomography）（PET）、超音波（Ultrasound）（US）スキャン、及び様々なその他の技術がある。これらの方法は、それぞれ、他の技術と比較して、利点と欠点を有する。例えば、MRI技術は、３次元画像を生成するのに有用であるが、特定タイプの組織に実用できるだけであり、一方、CTスキャンは、他の人体組織構造の画像を生成するのに有用である。対照的に、USスキャンは、比較的速く処置を行えるが、その精度と信号対雑音（SN）比に限定される。画像化の問題は、特に、患者の頭蓋骨の内側に繊細な外科的処置を施すような神経外科分野において深刻である。上記技術は、頭蓋骨内の構造の画像から様々な人体組織の特徴を精度良く突き止める外科医の能力を向上させた。しかし、これは、２次元画像で外科医が見ているものを手術台上の実際には３次元の患者と合致させる必要があることから、手術室のセッチング（sett ing）の際の助けとなるだけであった。神経外科医は、依然、神経外科医の人体解剖学の知識の範囲に頼らざるおえない。何年も前に、この問題に取り組んだ定位的（ステレオタクチック（stereotact ic））技術が開発された。この定位的脳外科診療では、診療用画像に用いる基準点を与える基準フレームが患者の頭部に取り付けられる。このデバイスは、外科用器具を、目標とする脳内腫瘍へと所望の軌道に沿わせて切り開くためのガイドをさらに含む。このように、従前の神経外科技術では、外科医は、さながら、濃霧の中に、浅瀬、珊瑚礁、岩礁、氷山、等のような幾多の障害物を有する海原で船を航海させる船長のようなものである。たとえ、船長がこれら障害物の非常に良い地図を有していたとしても、船の正確な位置を地図上で追跡し続けなければならない、という不変的な問題がある。これと同様に、脳内構造を示す精密な画像スキャンを有する神経外科医は、依然、目標の位置へと不都合なくナビゲーションを行うために、実際の外科手術的な軌道の位置決めを正確にできなければならない。手術室のセッチングの際に、外科医によって施される他の処置が神経に影響を与えずに、この相互的な関係が行われることがさらに必要である。このナビゲーションの問題は、米国特許第５３８３４５４号（Bucholz）（１９９５年１月２４日発行）で取り組まれている。この特許には、頭部画像上に頭部内の外科用プローブの位置を指示するためのシステムが開示される。このシステムは、定位的フレームを使用して、基準点を与え、これら基準点に関するプローブの先端の位置を計測するための手段を与える。この情報は、コンピュータ手段によって画像に変換される。米国特許第５２３０６２３号（Guthrie）（１９９３年７月２７日発行）には、手術中の指針の位置を検出し、これをコンピュータ上に読み出し、グラフィック表示装置に接続させることが開示される。この指針は、外科医が指針を手放さずにコンピュータの制御を行えるように“３次元マウス”としても使用できる。米国特許第５６１７８５７号（Chaderら）（１９９７年４月８日発行）には、位置検出システムの手段により医用器具の位置を相互作用的に追跡するための画像化システム及び方法が記載されている。指針は、小形発光ダイオード（LED）を含んでおり、放射線センサの固定アレイが設けられ、これにより、LEDの放射するパルスが検出され、この情報を使用して、指針の位置が動的に探知される。参考文献として、米国特許第５６２２１７０号（Schulz）（１９９７年４月２２日発行）も挙げられる。これには、同様のシステムが、プローブで探られる対象物（例えば、脳）の模型画像に関する侵入式外科用プローブの指針を表示するためのコンピュータ表示装置に接続されることが開示される。米国特許第５５３１２２７号（Schneider）（１９９６年７月２日発行）は、脳をわたるナビゲーションを行えるように外科用プローブの表示を実時間で与えることが望ましい、という多数の他の参考文献にみられる問題を明示的に取り扱っている。この特許には、動的に実時間で外科医の視線に沿った画像を与えるためのシステムが開示される。このシステムでは、表示される画像は、３次元データを再構成したものから再度薄切りしたスライス画像（ユーザーの特定する視線に沿った様々な位置でこの視線に直交する断面又は薄片）である。よって、視線の視点が常に対象物の外側からのものであるが、仮想画像を定義するために使用される断面は外科医により選定される対象物を通じる様々な薄片（又はスライス）を構成し得る。これら画像は、外科医の頭部に取り付けたビデオカメラのような視線に沿って向けられる画像記録デバイスにより得られる実際の画像上に重ね合わされ、合成画像が表示され得る。上記システムは、様々な方法でナビゲーション問題に取り組もうとするものであり、これらは仝て、手術室での処置中に外科医による抜粋的な映像化の特定レベルを要する共通の欠点を有する。外科医が目標とする腫瘍又は組織障害に向けて脳を通じて処置を行うとき、外科手術的な軌道の周囲の全ての構造について全て知ることが望まれる。従前のシステムでは、備えられている表示装置は、この情報の全てを単一の利便的な実時間表示に与えず、観察者は、頭の中で行う概念的な周囲構造の描画を得るために、断片を寄せ集めたり、表示情報を再度方向付けたりしなくてはならない。これらのことは、手術室のセッチングにおいて、実用上、重大な不利点である。従前のシステムに欠落しているものは、他の特徴により隠されている構造を含む３次元及び２次元で脳内の視線に沿った外科用プローブの先に見える様々な構造を実時間で示す３次元表示である。発明の開示本発明は、外科手術中に、実時間で人体組織構造の３次元画像を表示するための改良システム及び方法を提供する。外科医は、外科的処置を施している間、この構造にわたってナビゲーションを行える。また、このシステムは、外科的処置の計画を立てるのに有用である。このシステムは、表示装置及び入力デバイス（例えば、キーボード及びマウス）を接続したコンピュータを含む。また、このシステムは、コンピュータに接続される位置追跡システムも含む。コンピュータには、外科医が使用する外科用プローブ又は器具も接続される。位置追跡システムは、使用の際、外科用器具の位置及び方向を指示するために、データを実時間で連続的にコンピュータに与える。コンピュータには、CTやMRIのような画像化スキャンにより生成された患者データを収納する記憶装置がさらに含まれ、患者データから人体組織構造の２次元及び３次元画像が生成される。患者に関するこれら画像の登録又はレジストレーション（registration）手段が与えられる。コンピュータの記憶装置は、人体組織の画像の生成を制御するプログラムをさらに与える。これらプログラムは、スキャン画像の分割を行うためのソフトウェアを含み、様々なタイプの構造や組織を識別することができ、また、スキャンデータからの２次元及び３次元画像を再構成できる。このソフトウェアは、様々な大きさや方向で表示でき、また、様々な位置や方向で薄切りにしたスライス平面により生成される様々な断面映像を表示でき、これら全ては外科医によって制御できる。この画像生成ソフトウェアは、映像の位置及び方向を変えたり、対象の映像領域にある様々なタイプの組織、構造及び表面の表示透明度又は不透明度を変えるためのユーザー制御（ユーザーにより制御される）手段を有し、人体組織構造の透視画像である３次元画像を生成する、という重要な特徴を有する。これにより、ユーザーは、画像の視軸にある表面や構造を効果的に“見通す（又はシースルー（see through）する）”ことができ、特定の映像に潜んでいる他の構造を見えるようにすることができる。さらに、画像は、外科用プローブ又は器具を使用しているときに、その長手方向の軸に沿って、その先端から見ている外科用プローブ又は器具の視点から生成される。よって、侵入式の外科用器具（例えば、外科用メス、ピンセット）が人体の切開部に挿入されると、人体の内側の視点から人体組織構造の３次元的透視映像が表示装置に表示される。これら画像は、全て、“大急ぎ（又は、オン・ザ・フライ（on the fly））で“実時間で生成される。よって、器具を移動したり回転させると、位置追跡システムが、器具の位置及び方向を指示するデータをコンピュータへ連続的に与え、表示される画像は、器具が指し示す構造を示すように、連続的に更新される。また、それ自身で画像を生成できるプローブ又は器具（例えば、超音波プローブ、内視鏡、外科用顕微鏡、等）のために、システムは、その画像とスキャンデータから生成されたものとを統合するための手段を与える。ソフトウェアにより、ユーザーは、これら器具から生成された“実際の画像”と、スキャンデータから生成された“仮想画像”とを重ね合わせることができる。本発明の目的は、外科的処置を施している間に外科医が遭遇する人体組織構造の３次元的透視画像を生成するためのシステム及び方法を提供することである。本発明の第二の目的は、画像に対応する視点の位置及び方向を変えるためのユーザー制御手段を有する、上記画像を生成するためのシステム及び方法を提供することである。本発明の他の目的は、表示される画像が、通常の映像に潜んでいる構造及び特徴を示すことができるように、対象の映像領域にある構造及び表面の不透明度を変えるためのユーザー制御手段を有する、上記画像を生成するためのシステム及び方法を提供することである。本発明の他の目的は、外科医の使用する器具の長手方向の軸に沿った方向にある器具の先端に位置する視点を有する、上記画像を生成するためのシステム及び方法を提供することである。本発明の他の目的は、表示される画像が、外科医の使用する器具の位置に連続的に対応するように、実時間で上記画像を生成するためのシステム及び方法を提供することである。本発明の他の目的は、外科医の使用する画像生成器具により生成された画像と、上記画像とを比較し、組み合わせるためのシステム及び方法を提供することである。本発明のこれら及びその他の目的、利点、特性及び特徴は、好適な実施例の詳細な説明と添付の図面を考察することによって、よりよく理解され得る。図面の簡単な説明図１は、神経外科的処置を施している間、手術室で使用される本発明の装置の概念的な透視図である。図２は、本発明のコンピュータシステム及び光学追跡システムの概念的なブロック図である。図３は、本発明の方法を実施する際に守られる手術前データを使用するナビゲーションプロトコルの概念的なブロック図である。図４は、本発明の方法を実施する際に守られる超音波手術中データを使用するナビゲーションプロトコルの概念的なブロック図である。図５は、本発明の方法を実施する際に守られる内視鏡プロトコルの概念的なブロック図である。図６は、本発明の手術前プロトコルを備えた手術前コンピュータプログラムの概念的なフローチャートである。図７は、本発明の超音波プロトコルを備えた手術前超音波コンピュータプログラムの概念的なフローチャートである。図８は、本発明の内視鏡プロトコルを備えた手術中内視鏡コンピュータプログラムの概念的なフローチャートである。図９は、本発明に従って生成した表示を示し、外側の視点からの頭部の３次元的透視映像と、頭部の軸方向、前額方向、及び前後方向の断面映像を示す。図１０は、本発明に従って生成した表示を示し、内側の観視点からの頭部の３次元的透視映像と、頭部の軸方向、前額方向、及び前後方向の断面映像を示す。図１１ａは、本発明を実施するために使用した外科用プローブと人の頭蓋骨のプラスチック模型を示す。図１１ｂは、実施目的の模型の内部構造を示すために、頭蓋骨の上部を取り外した図１１ａの頭蓋骨模型の他の形態を示す。図１２は、図１１ａ及び図１１ｂに示す頭蓋骨模型の、本発明により生成された二つの表示の簡単な複写である。図１３は、図１１ａ及び図１１ｂの頭蓋骨の、本発明の他の二つの表示の簡単な複写である。図１４は、実際の人の頭蓋骨の、本発明によって生成された合成表示の複写である。発明を実施する最良の形態図１は、神経外科的手術を施すか又はその計画を立てる際に使用されるような本発明の装置を示す。この図では、患者の頭部（１１２）には腫瘍又は組織障害（１１７）があり、これが、手術の目標となる対象物である。当業者に既知の関連技術と同様の技術に従って予め得られたスキャンデータによって生成される画像の登録又はレジストレーション（registration）ができるように、基準点マーカー（１１３）、（１１４）が頭部に取り付けられる。外科医に保持された外科用プローブ又は器具（１０９）が、対象の組織に向けられる。コンピュータ（１０１）が、キーボード（１０３）及びマウス（１０４）を含むユーザー入力デバイス、及びビデオ表示デバイス（好適に、カラーモニター）に接続される。表示デバイス（１０２）は、手術中に外科医が容易に見ることのできる場所に配置され、また、ユーザー入力デバイス（１０３）、（１０４）は、外科的処置を施している間、容易に手の届く範囲内に配置される。この装置は、さらに、位置追跡システムをさらに含む。この位置追跡システムは、好適に、手術台を見渡せるところに取り付けた検出ユニット（１０５）、及び外科用器具（１０９）に取り付けた少なくとも二つの発光ダイオード（LED）（１１０）、（１１１）を有する光学追跡システム（以下、OTS）である。これらLEDは、好適に、赤外線パルス信号を連続的に放射し、この赤外線パルス信号は、外科用器具（１０９）から見えるところにある検出ユニット（１０５）に取り付けた複数の赤外線検出器（１０６）、（１０７）、（１０８）に検出される。器具（１０９）及び検出ユニット（１０５）は、両方とも、コンピュータ（１０１）に接続され、コンピュータ（１０１）は、LE Dからのパルス放射のタイミング及び同期と、検出器（１０６）〜（１０８）で受信した赤外線信号の記録及び処理とを制御する。OTSは、これら信号を処理して、器具（１０９）の位置及び方向を指示するデータを生成するためのソフトウェアをさらに含む。OTSは、位置検出データを実時間で連続的に生成し、外科用器具（１０９）が動くと、その位置及び方向が、検出ユニット（１０５）によって連続的に追跡され、コンピュータ（１０１）に記録される。OTSは、米国特許第５６１７８５７号（Schulz）、同第５６２２１７０号（Schulz）に記載のシステムと同様の商業的に入手可能の“Flashpoint 3-D Optical Localizer（商品名）”（Image Guided Technologies社、Boulder、Colorado）のような既知のタイプのものが好適である。しかし、本発明は、このような特定のOTSに限定されず、音波位置検出システムのような他の位置追跡システムも使用できる。図１に示すように、外科用器具（１０９）は、先細形であり、長手方向の軸と、対象の組織に指向される先端部（１１５）とを有する。この器具は、図１に破線で示す円錐形の視野（１１６）を有する内視鏡であり得る。図示の器具は、患者の頭部の外側の位置で保持される。頭蓋骨に切開部（１１８）が形成された場合、器具は、この切開部を通じて挿入され得る。この位置を図１に破線で示す。これら両方の位置では、器具は、LED（１１０）、（１１１）と検出ユニット（１０５）との間の視線が遮られないように、保持される。内視鏡や他の光学式映像化法の応用では、器具は、考察対象の領域に強い光を当てて際だたせるために、レーザー式目標設定システム（図示せず）を含み得る。図２は、位置追跡システムに接続したコンピュータシステムの概念的なブロック図を示す。コンピュータ（１０１）は、中央演算処理ユニット（CPU）（２０１）を含み、このCPU（２０１）には、記憶装置（２０２）、ビデオ表示装置（１０２）、キーボード及びマウス（１０３）、（１０４）、光学検出器（１０６）〜（１０８）、及び外科用器具（１０９）に取り付けたLEDが接続されている。コンピュータの記憶装置は、位置追跡システムを作動し、制御するためのソフトウェア手段を収納している。変形的な好適な実施例では、OTSの構成成分（１０５）〜（１０９）は、コンピュータ（１０１）に接続され且つ外科用器具（１０９）の位置及び方向を指示するデータを連続的に与える他のコンピュータ又はコントローラに接続、制御され得る。上記の本発明の装置は、図３〜５に示す外科的プロトコルを実施するために操作される。図３は、本発明に従って外科的処置を行う間の画像を生成するために、手術前データを処理するためのプロトコル（“pre-opプロトコル”）の概念的なブロック図である。患者の頭部の３次元（３Ｄ）画像データは、当業者には既知の従来の医用画像化技術の一つ又はそれ以上の技術から予め得られているものと仮定する。好適に、このデータは、例えば、超音波スキャンデータと比較して高精度、高精細度の画像が得られるCT、MIR及び／又はMRIスキャン技術から得られる。スキャンデータは、ディスクドライブ又はテープドライブのような付加的な入力手段（図示せず）を通じてコンピュータ記憶装置（２０２）にロード（load）、貯蔵される（符号３０１）。患者データは、一般的に既知の技術に従ってレジストレーションされる（符号３０２）。この手順は、全データ集合の３次元的なレジストレーション、又は順次薄切りした二次元的なレジストレーションであり得る。３次元的なレジストレーションに従うと、その後、画像は、３次元ボクセル（voxel）データのアレイを生成するために立体的（又はボリューメトリック（volumetric））又は平面的描出化（レンダリング（rendering））を使用して記憶装置で再構成される（符号３０３）。次に、一つ又はそれ以上の既知の分割技術を使用して、これらデータを分割し（符号３０４）、異なったタイプの頭部の物質（骨、脳組織、血管構造及び脳室構造、等）やその表面の位置のような様々な人体組織の特徴を識別する。好適に、分割処理は、異なったタイプの構造に異なった表示色を指定することを含み、これにより、カラービデオ表示装置でこれらの識別を容易に行うことができる。例えば、血管系統を青色で示し、骨を茶色で示す、等であり得る。好適な実施例では、これらの色指定は、キーボード（１０３）及びマウス（１０４）の手段によって、ユーザーが変えることができる。また、好適な実施例では、表示の不透明度は、キーボード（１０３）、マウス（１０４）又は他の入力デバイス（例えば、音声入力デバイス）の手段によってユーザーが変えることができ、これにより、ビデオ表示に潜んでいる特徴の識別をより容易に行うことができる。２次元的なレジストレーションが行われる変形的なプロトコルでは、各２次元画像サンプルの分割が行われ（符号３０９）、次に、３次元データが、分割データの薄切り（又はスライス）から再構成される（符号３１０）。この変形的なプロトコルは、図に破線で示される。図３を参照して、pre-opプロトコルの次のフェーズは、表示されるべき画像を定義するために、映像ベクトルの位置及び方向を決定することである（符号３０５）。この映像ベクトルは、外科用器具（１０９）の現在の位置及び方向を突き止めるために、OTSを問いただすことによって得られる。次に、この情報とともに、３次元スキャンデータが、結果的に得られる３次元的透視映像の位置決め及び方向付けを行い、この映像を指示し、明晰にする表示画像の切断面及び基準マーカーを定義するために、処理される（符号３０６）。次に、この処理を行った３次元的透視画像は、ビデオ表示装置（１０２）上に表示される（符号３０７）。また、任意の切断面の２次元（２Ｄ）断面映像のような他の２次元画像も、好適に、解明を目的として、３次元的透視表示と一緒に表示される。最後に、pre-opプロトコルは、連続的なループ処理であり、外科用器具（１０９）の位置及び方向に対応する映像ベクトルの位置の変化について、OTSが、繰り返し問いただされる（符号３０８）。よって、表示される画像は、外科的処置の間、連続的に更新され、結果的に得られる表示は、実時間で絶えず新たに供給される。また、画像データも貯蔵又は一時的に記憶され、引き続くプロトコルに従った他の使用に利用できるようになっている（符号３１１）。外科用器具（１０９）は、その先端（１０５）に位置した超音波変換器を含み、患者の頭部に接触し、それ自身で、超音波画像化データをスキャンし、検出する。図４は、手術中（“intra-op”）超音波（“US”）プロトコルの概念的なブロック図であり、外科手術中のUS画像データを処理する。典型的に、超音波変換器は、人体組織の対象の領域の平面扇形区域からデータを生成するフェーズド集束アレイであり、変換器の中心軸（本明細書では、外科用器具（１０９）の長手方向の軸上にある）が、スキャン区域の平面にある。この軸に関して外科用器具及び変換器を回転させることにより、対象の領域の円錐形ボリューム（volume）のUSスキャンデータが収集され、貯蔵される（符号４０１）。この円錐は、変換器スキャンの“視野”を定義する。変換器の位置及び方向は、OTSによって追跡され、決定され（符号４０２）、U Sデータを使用して、対象の領域の３次元intra-op画像データを再構成する（符号４０３）。このデータは、pre-opデータの処理（３０６）と同様のやり方で処理され（符号４０４）、次に、任意の所望の対応する超音波データの２次元画像と一緒に３次元画像を生成するために使用される（符号４０５）。これらintra- op画像は、pre-opプロトコル（符号３１１）により生成されたpre-op画像と融合され（符号４０６）、合成画像がさらに表示される。最後に、OTSは、連続的にストローブ（strobe）され（符号４０７）、超音波画像は、連続的に新たに供給される。図５は、内視鏡が外科用器具（１０９）の先端（１１５）に配置される、intr a-opプロトコルの概念的なブロック図でありる。このプロトコルも、内視鏡の位置で外科用顕微鏡を使用する処置に提供できる。画像データが、内視鏡又は顕微鏡の視線（本明細書では、外科用器具（１０９）の長手方向の軸）に直交する平面の２次元画像を表すＣＣＤカメラ又は他の既知の技術を使用して、得られる（符号５０１）。外科用器具の位置及び方向は、OTSによって追跡され、決定され（符号５０２）、アナログ・ツー・デジタル（“A/D”）変換がこのデータで行われる（符号５０３）。視点の位置は、OTSデータから決定され（符号５０４）、内視鏡又は顕微鏡画像データが処理され（符号５０５）、表示用の所望の画像が生成される（符号５０６）。これらintra-op画像は、pre-op プロトコル（符号３１１）によって生成されたpre-op画像と融合され（符号５０８）、合成画像がさらに表示される。最後に、OTSは、連続的にストローブされ（符号５０７）、超音波画像が絶えず新たに供給される。上述したプロトコルは、コンピュータ（１０１）の記憶装置（２０２）に収納されるプログラムモジュールにより供給される。図６は、pre-opプロトコルを供給するプログラムのフローチャートの概念的なブロック図である。プログラムが開始され（符号６０１）、予め得た患者のスキャンデータ（例えば、MRI又はCT データ）をコンピュータが受信し、ロードする。コンピュータは、OTSからのデータをさらに読み取り（符号６０３）、スキャンを行った患者データをレジストレーションする（符号６０４）。３次元立体的描出化に、スキャンデータを使用して、３次元画像データに再構成され（符号６０５）、分割がこの再構成で行われる（符号６０６）。図に破線で示す変形的な実施例では、分割が２次元スライスで行われ（符号６１５）、次に、これら分割スライスが、全３次元画像データに再構成される。プログラムは、次に、ユーザーが画像表示用の視野を選択できるように、キーボード（１０３）又はマウス（１０４）からの入力データを読み取る（符号６０７）。次に、画像データは、任意に選択した基準マーカー、物質不透明度、カラー、又はプログラムによってユーザーに与えられる他の選択肢と一緒に、所望の映像を生成するために、処理され、変換される（符号６０８）。また、ユーザーは、内視鏡、顕微鏡、超音波変換器、又は外科的手術中に使用される他の映像化デバイスの視野を示す重ね合わせた円錐と一緒に頭部全体の３次元表示を要求できる。次に、結果的に得られる処理済み画像は、好適に、ビデオ表示装置（１０２）上にカラーで表示される（符号６０９）。コンピュータは、次に、OTSデータを読み取り（符号６１０）、外科用器具が移動したか否かを決定する（符号６１１）。外科用器具が移動した場合、プログラム制御が、図６に示す、新しい視野の選択（符号６０７）及び引き続く作業（６０８）〜（６１０）に戻る。器具の位置が変わらなかった場合、いずれの予め貯蔵した表示画像を新しく供給して、表示される画像は貯蔵される（符号６１２）。プログラムは、作業を中断するべきか否かについてのユーザーからの要求をさらに捜し（符号６１３）、このような要求がなかった場合、作業（６１１）及び（６１２）が繰り返される。よって、コンピュータは、ユーザーが終了を要求するまで、作業のループが続けられる（符号６１４）。図７は、超音波intra-opプロトコルを供給するプログラムのフローチャートの概念的なブロック図である。プログラムが開始すると（符号７０１）、コンピュータが、外科用器具（１０９）の先端９１１５）のUS変換器からデータを受信し、ロードする。このようなデータは、通常、対象の領域の位置を特定するために、極座標や球面座標を使用して生成され、プログラムは、好適に、このデータを直交座標系に変換する（符号７０３）。次に、OTSデータが、外科用器具（１０９）の位置及び方向を決定するために読み取られ（符号７０４）、整列したデータスライスの集合体からのUSデータを使用して、USスキャンデータを表す３次元画像データを再構成する（符号７０５）。この画像データは、pre-opデータの処理（符号６０８）と同様のやり方で、プログラムによって処理され、変換され（符号７０６）、結果的に得られる画像が表示される（符号７０７）。図６に示すpre-opプログラムと同様に、OTSが問いただされ（符号７０９）、外科用器具が移動したか否かを決定し（符号７１３）、器具が移動した場合、新しいUS表示画像が再構成される。好適な実施例では、プログラムは、対象の領域の他のUSスキャンを行うか否かについてユーザーに問いかける（符号７１６）。他のUSスキャンを行う場合、プログラム制御は、図７の作業（符号７０２）へ戻り、新たなUSデータがUS変換器で得られる。他のUSスキャンが要求されなかった場合（符号７１６）、プログラムは、作業（符号７０５）へ戻り、新しい３次元画像が現在のUSスキャンデータから再構成される。前回の問いかけから外科用器具が移動しなかったことをOTSの問いかけが決定した場合（符号７０９）、US画像は、図６に示すプログラムによって得られたpr e-op画像と融合され（符号７１０）、組合わせた画像が表示される（符号７１１）。OTSは、外科用器具が移動したか否かについての決定をするために、再度、問いかける（符号７１２）。外科用器具が移動した場合、プログラムは、新しいスキャンのユーザーの問いかけ（符号７１６）に戻る。そうでなければ、プログラムは、作業を中断するべきか否かについてのユーザーからの要求を捜し（符号７１４）、このような要求がなかった場合、作業が繰り返される（符号７１３）。よって、コンピュータは、図６のpre-opプログラムと同様、ユーザーが終了を要求する（符号７１５）まで作業のループが続けられる。内視鏡／顕微鏡intra-opプログラムは、図８に概念的なブロック図で示すフローチャートを有する内視鏡intra-opプログラムにより好適に供給される。プログラムが開始すると（符号８０１）、コンピュータが、内視鏡から画像データを受信し、ロードする（符号８０２）。このデータは、デジタル化され（符号８０３）、好適に、ビデオ表示装置（１０２）に表示される（符号８０４）。OTSが問いただされ（符号８０５）、内視鏡の位置及び方向を決定する情報を受信する（符号８０６）。この情報を使用して、図６に示すpre-opプログラムによって得られたpre-opデータが検索され（符号８０７）、内視鏡の視点からの３次元仮想画像を再構成するために使用される（符号８０８）。この画像は、図６に示すpre-opプログラムによる３次元画像表示と同様のやり方で、表示される（符号８０９）。この画像は、作業（符号８０４）で表示された内視鏡画像と融合される（符号８１０）。次に、OTSがストローブされ（符号８１２）、前回の問いかけから内視鏡が移動したか否かについて決定する（符号８１３）。内視鏡が移動した場合、プログラム制御は作業（符号８０２）へ戻り、内視鏡で受信した画像データを新たに供給する。そうでなければ、プログラムは、作業を中断するべきか否かについてのユーザーからの要求を捜し（符号８１４）、このような要求がなかった場合、作業（符号８１３）が繰り返される。よって、コンピュータは、図６、７のpre-op及びintra-opプログラムと同様に、ユーザーが終了を要求するまで作業のループが続けられる（符号８１５）。上記のプログラムモジュールは、個別に設計され、これらは、個別に実行できるようにも設計できる。よって、pre-opプログラムが終了した後、intra-opプログラムの一方又は両方を実行できる。しかし、好適に、これらプログラムは、外科的手術中、並列に操作され、手術が継続すると、pre-opデータ画像及びintra-opデータ画像が、全て、連続的に新たに供給される。既知のプログラム並列処理方法が、このために使用できる。上記のプログラムは、好適に、コンピュータグラフィック応用に適応されるコンピュータ（１０１）上で行われる。これらプログラムに適応するコンピュータは、シリコン・グラフィックス社（Silicon Graphics,Inc.、Mountain View，Ca lifornia）から商業的に入手可能である。上記のプログラムでの大半の個々の画像処理作業を行うためのグラフィックソフトウェアモジュールも、他のソースと同様、シリコン・グラフィック社から商業的に入手可能である。図９は、患者の頭部（１１２）の内部にある目標とする組織障害又は腫瘍（１１７）に向けて指向した図１の外科用プローブ（１０９）を有する上記システムによって得られた３次元画像表示（９０１）の略図である。表示（９０１）の縁部は、境界線（９００）で示される。表示（９０１）は、プローブ（１０９）の先端（１１５）からの透視映像である。この表示は、連続的に新たに供給され、プローブ（１０９）が移動すると、表示される画像（９０１）が直ちに変わる。ここで、プローブ（１０９）の全部が患者の頭部の外側に示されるが、表示（９０１）は、脳及び目標とする腫瘍（１１７）のような内部の人体組織構造を示す。本発明のシステムでは、表示特性は、内部構造を強調したり、あまり強調させないように、実時間で調整できる。これらの構造は、異なった物質に対して異なった色づけをして表示することにより識別できる。また、皮膚、頭蓋骨及び脳細胞の表示不透明度は、目標とする腫瘍（１１７）に注目して他の構造の詳細を与えたり強調するために減衰できる。表示（９０１）は、隠れた構造を表面及び対象物を通じて見ることのできる“Ｘ線の目”を外科医に効果的に与える。この表示では、頭部の内部構造の全体が考察、研究でき、切開前に、外科手術的な軌道を計画立てることができる。さらに、外科用器具（１０９）がメスである場合、外科医は、最初の切開前に、表示（９０１）により、表面に画されたいずれの構造も直ちに見ることができる。図９は、考察下の領域をより明示、解明するための、在来の軸方向（９０２）、前額方向（９０３）及び前後方向（９０４）の２次元表示も示す。外科用器具（１０９）が内視鏡又はUS変換器である場合、視野（１１６）は、内視鏡（１０９）から見える皮膚の表面と円錐形の視野（１１６）との交差部を指示する準円形画像（９０５）によって表示（９０１）に指示される。この円錐形の視野も、２次元表示（９０２）〜（９０４）に完全に重ね合わされる。好適な実施例では、表示は、視野（９０５）で内視鏡により見られる実際の画像、及び視野（９０５）にある同一領域の３次元的透視画像を示すこともでき、これら補助的な画像は、好適に、器具（１０９）がUS変換器であるときに含まれる。患者の頭部に切開部（１１８）が形成された後、内視鏡が挿入され、目標とする人体組織構造の内部映像が与えられる。図１０は、目標とする組織障害又は腫瘍（１１７）に向けて指向した図１の内視鏡（１０９）（図１に破線で示す変形的な位置）を有する上記システムによって得られた３次元的画像表示（１００１）の略図である。表示（１００１）の縁部は、境界線（１００１）により示される。表示（１００１）は、内視鏡（１０９）の先端（１１５）を通過しその軸に直交した切断平面を有する３次元的断面映像を与えるように処理されたものである。上記と同様に、内視鏡の視野（９０５）が、この表示に指示され、好適な実施例では、補助的な表示が、視野（９０５）の内視鏡により見られる実際の画像、及び視野（９０５）の同一の領域の３次元的透視画像も示し、これら補助的な表示は、図１０には示されていない。この図は、さらに好適に、さらに明示、解明を目的とする在来の軸方向（１００２）、前額方向（１００３）及び前後方向（１００４）の２次元表示も含む。図１１ａ、１１ｂ、１２及び１３は、本発明の好適な実施例によって生成される３次元表示をさらに示す。図１１ａ、１１ｂは、ベース部（１１０２）と、着脱可能の上部（１１０１）とを有する頭蓋骨のプラスチック模型を示す。頭蓋骨（１１０１）、（１１０２）は、スタンド（１１０６）上に固定される。また、図１１ａは、本発明に従って表示を生成するためにOTS（図示せず）に接続したL ED（１１０５）を有する指針（１１０４）を示す。上部（１１０１）には複数のホール（１１０３）が設けられ、指針（１１０４）が頭蓋骨の内部に進入できるようになっている。図１１ｂには、上部（１１０３）を取り外した頭蓋骨が示される。内部構造（１１０７）のプラスチック模型が頭蓋骨の内部に作られ、これら内部構造は、図示のように、簡単に確認できる配置構成の固体である。図１１ａ、１１ｂの頭蓋骨は、図１２、１３に示す表示を生成するために使用される“pre-op”画像データを生成するためにスキャンされる。図１２、１３の表示の縁部は、それぞれ、境界線（１２００）、（１３００）で示される。図１２は、図１に示す指針の一及び方向と同様に、指針（１１０４）を上部中央の外部から頭蓋骨に向けた頭蓋骨の二つの表示（１２０１）、（１２０２）の合成画である。表示（１２０１）は、この指針の一からの３次元的透視映像である。表示（１２０２）は、これと同一の映像であるが、頭蓋骨物質の表示不透明度が減衰されている。この不透明度の減衰により、図示のように、内部構造（１１０７）が鮮明に可視化される。実際に使用している間、システムは、外科医がこの不透明度を変えて実時間で画像を調整できるようにし、頭蓋骨構造及び内部構造の両方を様々な態様で表示装置に可視化できる。ここで、表示（１２０１）に示す表面等高線は、有限サイズの描出化レイヤー（layer）又はボクセル（voxel）によって生成される。これら等高線は、データをスムーシング（smoothing）したり、ボクセル又はレイヤーのサイズを小さくすることによって小さくできる。図１３は、開口部（１１０３）のうちの一つを通じて進入させた指針（１１０４）おる二つの表示の合成画である。表示（１３０２）は、頭蓋骨内部の指針の先端からの映像である。表示（１３０１）は、指針の軸に沿った頭蓋骨の外側からの構造全体の映像である。すなわち、表示（１３０２）は表示（１３０１）の一部を実質的に拡大したものである。表示（１３０１）は、指針の軸に垂直な指針の先端を通じる切断面で一部を切断した頭蓋骨を示す。これら表示の両方は、本発明によって生成される３次元表示の透視画法的特徴を鮮明に示す。最後に、図１４は、実際の人の頭部の、システムによって生成された表示の簡単な合成画である。表示（１４０１）は、図示のように直交する切断面によって定義された部分を切断した頭部全体の透視映像である。図１４の表示の縁部は、境界線（１４００）で示される。この表示は、二つの切断面の交差線に沿って頭部に向けて指向した内視鏡の視野も示し、内視鏡の先端は、円錐の頂点にある。表示（１４０２）は、垂直方向の切断面によって生成された２次元断面映像であり、表示（１４０３）は、水平方向の切断面によって生成された、これに対応する断面映像である。さらに、表示（１４０２）、（１４０３）の画像はまた、表示（１４０１）の３次元画像上で変換（回転及び拡大）され、重ね合わされる。これら表示の両方は、円錐形の視野と切断面との交差部も指示する。表示（１４０４）は、内視鏡で見られる実際の画像である。表示（１４０５）は、本発明に従って立体的描出化によりスキャンデータから再構成された内視鏡画像の仮想透視映像である。表示（１４０６）は、本発明に従って平面的描出化によりスキャンデータから再構成された、狭い視野を有する内視鏡の視点からの画像の仮想透視映像である。この表示（１４０６）は、外科手術的な軌道を計画立てる際に、外科用プローブと一緒に使用できる。表示（１４０７）は、表示（１４０６）（狭い視野）を拡大したものであり、顕微鏡を通じて見られ得る仮想画像を示す。最後に、表示（１４０８）は、平面的描出化を使用するスキャンデータからの頭部全体の分割３次元透視映像であり、表示（１４０９）は、現有のシステムで可能な表示の潤沢な多様性及び可転性を示す。これら全ての表示は、実時間で同時に外科医に提供され、オンラインで変えることができる。以上の説明から明らかなように、本発明は、実際の外科的処置の間、人体組織構造をわたってナビゲーションを行うための改良した手段を提供する。システムにより、外科医は、余分な手作業を要することなく、処置を行うのに使用する同一の器具と一緒に表示を選択し、調節することができる。表示が実時間で直ちに与えられることから、画像が、処置の中断を一切必要としない。また、このシステムによって与えられる仮想画像は、在来の手段を通じて得られる画像と連続的に相互的に関連される。さらに、本発明が神経外科応用や他の外科的又は医学的診療応用に限定されないことは、当業者には明らかであろう。例えば、本発明を具体化するシステムは、“pre-op”スキャンデータが得られるように、人工衛星からの情報を利用する実際の航海又は航空ナビゲーションにより得られ得る。指針デバイスは、船舶又は航空機自身に代えられ、ビデオ表示装置は、特殊な画像化ゴーグル又はヘルメットに置換できる。本発明の好適な実施例の以上の説明は、図説を目的として与えられただけのものであり、開示される精密な形態に限定されない。多数の変更物及び変形物が上記の教示からなされ得る。本発明の精神及び範囲は、以下の請求の範囲及び全ての等価物の範囲に定義されるべきである。DETAILED DESCRIPTION OF THE INVENTION Stereoscopic image navigation method and apparatus Technical field The present invention Images of three-dimensional objects are used for navigation A method and apparatus for generating In particular, Generate the above images for internal medicine and surgery And a method and apparatus for the same. Background art In the medical and surgical fields, Accurate imaging of each part of human body tissue is increasingly important technology Has become. To reduce patient trauma from invasive surgical procedures, small Techniques have been developed for performing surgical procedures on the body with minimal invasion through the incision. Was. In such a procedure, By the surgeon, You ca n’t see it directly, You see It is necessary to perform surgery on a part of the human body tissue that is difficult. further, Some parts of the body , Including very complex and very small structures, Surgeon giving more delicate procedure So that It is necessary to increase the visibility of such structures is there. Also, When planning such an action, Optimal surgical trajectory Trajectory) Position of such a structure in the body Position and direction need to be evaluated. recent years, A new medical technology has been developed that can obtain images of the internal human tissue structure. Was. This technology is It has significant advantages over traditional X-ray methods. Relatively new Technology Microimpulse Radar (MIR), Ko Computer tomography (CT), Magnetic Resonance Ima ging) (MRI), Position Emission Tomography on Tomography) (PET), Ultrasound (US) scan, And various There are other technologies. These methods are Respectively, Compared to other technologies, Benefits and deficiencies Have a point. For example, MRI technology Useful for generating 3D images, Special Can only be used for certain types of organizations, on the other hand, CT scan Other human body structures Useful for generating images of structures. In contrast, US Scan Relatively quick treatment Can be It is limited to its accuracy and signal-to-noise (SN) ratio. The problem with imaging is In particular, Delicate surgery inside the patient's skull This is a serious problem in the field of neurosurgery in which surgical procedures are performed. The above technology is In the skull Improve surgeon's ability to accurately locate various human tissue features from structural images I let it. But, this is, What the surgeon sees in the two-dimensional image is actually on the operating table Need to match with the 3D patient, Operating room setting ing) only helped. Neurosurgeon still, Neurosurgeon human body You have to rely on your knowledge of anatomy. Years ago, Stereotactic (stereotact) ic)) The technology was developed. In this stereotactic brain surgery, Criteria used for medical images A reference frame that gives points is attached to the patient's head. This device is Surgery Equipment Guide to cut into desired brain tumor along desired trajectory Further included. in this way, With traditional neurosurgery techniques, The surgeon Just like Dark In the fog, Ford, coral reef, Reef, iceberg, In the sea with many obstacles like It's like a captain navigating a ship. for example, The captain is very Even if you have a good map, I have to keep track of the exact location of the ship on the map No, There is an immutable problem. Similarly, Precise image showing brain structure image A neurosurgeon with a scan still, Navigate to the target location without inconvenience In order to do Must be able to accurately position the actual surgical trajectory Absent. When setting up the operating room, Other procedures performed by the surgeon may affect the nerves. Without affecting It is further necessary that this interrelationship takes place. The problem with this navigation is U.S. Pat. No. 5,383,454 (Bucholz) (1) (Issued January 24, 995). This patent includes: Head on head image A system for indicating the position of a surgical probe within a unit is disclosed. This cis The system is Using stereotactic frames, Give a reference point, Professional on these reference points Provides a means for measuring the position of the tip of the probe. This information Computer hand It is converted to an image by the step. No. 5,230,623 (Guthrie), issued July 27, 1993, , Detects the position of the pointer during surgery, Read this on the computer, Graphic It is disclosed to connect to a display device. This guideline Surgeon let go of guidelines It can also be used as a "three-dimensional mouse" so that a computer can be controlled without using it. U.S. Patent No. 5,617,857 (Chader et al.) (Issued April 8, 1997) An image for interactively tracking the position of a medical device by means of a position detection system. An imaging system and method is described. The guidelines are Small light emitting diode (LED) And A fixed array of radiation sensors is provided, This allows LED radiation Pulse is detected, Using this information, The position of the pointer is dynamically detected. For reference, U.S. Patent No. 5,622,170 (Schulz) (April 22, 1997) Issued on a daily basis). This includes A similar system, What is probed for Object (for example, For displaying the guide of the invasive surgical probe on the model image of the brain) It is disclosed to be connected to a computer display device. U.S. Pat. No. 5,531,227 (Schneider) (issued July 2, 1996) Provides real-time display of surgical probes for navigation across the brain Is desirable, Explicitly address the issues found in many other references. ing. This patent includes: Dynamically provide images along the surgeon's gaze in real time A system is disclosed. In this system, The displayed image is 3D day Sliced image from the reconstructed data (a line of sight specified by the user) To Cross-sections or slices perpendicular to this line of sight at various locations along it. Therefore, Gaze The viewpoint is always from outside the object, Used to define virtual images Various slices (or slices) through the object selected by the surgeon Can be constructed. These images are Like a video camera on the surgeon ’s head Superimposed on the actual image obtained by the image recording device oriented along the line of sight Forgotten, A composite image may be displayed. The above system Trying to tackle navigation problems in various ways Yes, These are Identify excerpted visualizations by surgeons during procedures in the operating room It has the common disadvantage of requiring a bell. Towards a tumor or tissue disorder targeted by the surgeon When performing treatment through the brain All structures around the surgical trajectory It is desirable to know. In previous systems, The display device provided is this Without giving all of the information to a single convenient real-time display, The observer Concept to do in head In order to obtain a realistic drawing of the surrounding structure, Gathering fragments, Redirect display information I have to get rid of it. These things are In the setting of the operating room, Real For business use This is a significant disadvantage. What is missing from the old system is: Other features Surgical professionals along the line of sight in the brain in three and two dimensions, including more hidden structures 3 is a three-dimensional display showing, in real time, various structures that can be seen at the front of the probe. Disclosure of the invention The present invention During surgery, To display a three-dimensional image of the human body structure in real time An improved system and method are provided. The surgeon During the surgical procedure, This Navigation across the structure of Also, This system is Surgical procedure Useful for planning. This system is Display device and input device ( For example, Keyboard and mouse). Also, This The stem is Also includes a position tracking system connected to a computer. On the computer Is A surgical probe or instrument used by the surgeon is also connected. Position tracking system Is When using, To indicate the position and orientation of the surgical instrument, Data in real time Give to the computer continuously. Computers have Imaging tools such as CT and MRI A storage device for storing the patient data generated by the scan; Patient de 2D and 3D images of the human body structure are generated from the data. This about the patient Registration of images Alternatively, a registration means is provided. Computer storage devices A program that controls the generation of images of human tissue Give to them. These programs are: Software for dividing scanned images Including Different types of structures and organizations can be identified, Also, Scande 2D and 3D images from the data can be reconstructed. This software is various Can be displayed in size and direction, Also, Slicing plane sliced in various positions and directions Can display various cross-sectional images generated by All of this is controlled by the surgeon it can. This image generation software Change the position and direction of the image, Target video area Various types of organizations in the region, Change the display clarity or opacity of structures and surfaces User control (user controlled) means for Human body structure Generate a three-dimensional image that is a perspective image, It has an important feature. This , The user Efficiently “see through” (or seesell) the surface or structure on the visual axis of the image -(See through)) " Look at other structures lurking in a particular video Can be obtained. further, The image is Using a surgical probe or instrument sometimes, Along its longitudinal axis, Surgical probe seen from its tip or Generated from the perspective of the instrument. Therefore, Invasive surgical instruments (eg, Surgical scalpel , Tweezers) is inserted into the incision in the human body, Human body tissue from inside perspective of human body A three-dimensional perspective image of the structure is displayed on the display device. These images are all, “Daikyu (Or "On the fly" "generated in real time. Therefore , When you move or rotate the instrument, The position tracking system The position and orientation of the device Continuously giving the data to be instructed to the computer, The displayed image is The instrument points As shown in the structure shown, Updated continuously. Also, A probe or instrument that can generate images on its own (eg, Ultrasonic probe , Endoscope, Surgical microscope, Etc.) the system, The image and scan Provide a means to integrate with those generated from data. By software , The user “Real images” generated from these instruments, Scan data The “virtual image” generated from this can be superimposed. The purpose of the present invention is Human anatomy encountered by surgeons during surgical procedures For generating a three-dimensional perspective image of It is to provide a stem and a method. A second object of the present invention is to User for changing the position and direction of the viewpoint corresponding to the image User control means, A system and method for generating the image are provided. Is Rukoto. Another object of the present invention is to The displayed image is Structures and features hidden in ordinary images To be able to show signs Opacity of structures and surfaces in the target image area Having user control means for changing A system for generating the above image and And provide methods. Another object of the present invention is to In the direction along the longitudinal axis of the surgeon's instrument Having a viewpoint located at the tip of the instrument A system for generating the image, and Is to provide a way. Another object of the present invention is to The displayed image is Continuous at the location of the instrument used by the surgeon To respond A system and method for generating the image in real time is provided. Is to provide. Another object of the present invention is to The image generated by the image generator used by the surgeon , Compare with the above image, By providing systems and methods for combining is there. These and other objects of the invention, advantage, Characteristics and characteristics Is By considering the detailed description of the preferred embodiment and the accompanying drawings, better Can be understood. BRIEF DESCRIPTION OF THE FIGURES FIG. During a neurosurgical procedure, Of the device of the present invention used in the operating room It is a conceptual perspective view. FIG. The conceptual block diagram of the computer system and optical tracking system of the present invention. FIG. FIG. Navigator using pre-operative data protected in practicing the method of the present invention FIG. 3 is a conceptual block diagram of an application protocol. FIG. Using Ultrasound Intraoperative Data Protected in Performing the Method of the Invention It is a conceptual block diagram of a navigation protocol. FIG. The conceptual block of the endoscope protocol followed when implementing the method of the present invention. It is a lock figure. FIG. Of a pre-operative computer program with the pre-operative protocol of the present invention. It is a conceptual flowchart. FIG. Pre-operative ultrasound computer program with ultrasound protocol of the present invention It is a conceptual flowchart of a RAM. FIG. Intraoperative endoscope computer program with endoscopic protocol of the present invention It is a conceptual flowchart of a RAM. FIG. FIG. 6 shows a display generated in accordance with the present invention; 3D of head from outside viewpoint Perspective images, Axial direction of the head, Forehead direction, And a cross-sectional image in the front-rear direction. FIG. FIG. 6 shows a display generated in accordance with the present invention; Head 3 from inside view Dimensional perspective images, Axial direction of the head, Forehead direction, And a cross-sectional image in the front-rear direction. FIG. The surgical probe used to practice the invention and the human skull 3 shows a plastic model. FIG. In order to show the internal structure of the model to be implemented, Remove the top of the skull 11b shows another form of the skull model of FIG. 11a. FIG. The skull model shown in FIGS. 11a and 11b, Generated by the present invention Here is a simple copy of the two displays. FIG. 11a and 11b of the skull, Simple two other indications of the present invention It is a perfect copy. FIG. Of a real human skull, In copying the composite display generated by the present invention is there. BEST MODE FOR CARRYING OUT THE INVENTION FIG. As used in performing or planning neurosurgery 1 shows the device of the invention. In this figure, Tumor or tissue damage on the patient's head (112) (117) This is, This is the target of surgery. Functions known to those skilled in the art Image generated by scan data obtained in advance according to the same technology as To be able to register or register images Reference point marker Car (113), (114) is attached to the head. Surgery held by surgeon Probe or instrument (109) for Aimed at the target organization. Computer (1 01) User input device including keyboard (103) and mouse (104) chair, And a video display device (preferably, Color monitor). display The device (102) Placed where it can be easily seen by the surgeon during surgery And Also, User input device (103), (104) Performing a surgical procedure While It is located within easy reach. This device is further, Location tracking Further includes a system. This location tracking system Preferably, Overlooking the operating table A detection unit (105) attached to the rollers, And attached to surgical instruments (109) At least Two light emitting diodes (LED) (110), Optical tracking system having (111) (Hereafter, OTS). These LEDs are Preferably, Continuously emits infrared pulse signals Shoot, This infrared pulse signal Visible from surgical instrument (109) A plurality of infrared detectors (106) attached to the detection unit (105), (107 ), It is detected at (108). The instrument (109) and the detection unit (105) both, Connected to the computer (101), The computer (101) LE Timing and synchronization of pulse emission from D, With detectors (106) to (108) It controls the recording and processing of the received infrared signal. OTS Process these signals hand, Software for generating data indicating the position and orientation of the instrument (109) Further included. OTS Generate position detection data continuously in real time, Surgical When the instrument (109) moves, The position and direction are By the detection unit (105) Tracked continuously It is recorded on the computer (101). OTS US Patent No. 5617857 (Schulz), No. 5,622,170 (Schulz). Commercially available “Flashpoint 3-D Optical Localizer” (trade name) ) "(Image Guided Technologies, Boulder, Known colorado) Of Those are preferred. But, The present invention Not limited to such specific OTS, sound Other position tracking systems, such as a wave position detection system, can also be used. As shown in FIG. The surgical instrument (109) Tapered, With a longitudinal axis , A tip (115) directed to the tissue of interest. This instrument Broken in Figure 1 It may be an endoscope having a conical field of view (116) indicated by lines. The illustrated device is Suffering Held outside of the person's head. When an incision (118) is formed in the skull If The equipment is It can be inserted through this incision. This position is shown by a broken line in FIG. In both these positions, The equipment is LED (110), (111) and the detection unit ( 105) so that the line of sight is not obstructed Will be retained. Endoscopes and other optical projection In the application of the imaging method, The equipment is To shine a strong light on the area under consideration , A laser targeting system (not shown) may be included. FIG. A conceptual block diagram of a computer system connected to a position tracking system. Fig. The computer (101) Central Processing Unit (CPU) (20 1) In this CPU (201), Storage device (202), Video display device ( 102), Keyboard and mouse (103), (10 4), Optical detectors (106) to (108), And attached to surgical instruments (109) LED is connected. Computer storage devices Create a location tracking system Move Contains software means for control. Modified preferred embodiment Then The components (105) to (109) of the OTS are Connect to computer (101) Continuously providing data indicating the position and orientation of the surgical instrument (109). Connected to another computer or controller Can be controlled. The device of the present invention described above, Procedures to perform the surgical protocol shown in FIGS. Made. FIG. To generate images during performing a surgical procedure according to the present invention , Concept of protocol for processing preoperative data (“pre-op protocol”) FIG. The three-dimensional (3D) image data of the patient's head is For those skilled in the art, Obtained in advance from one or more of the known conventional medical imaging techniques Assume that Preferably, This data is For example, Compared to the ultrasound scan data High precision, CT for obtaining high-definition images, Obtained from MIR and / or MRI scanning techniques It is. Scan data is Additional, such as a disk drive or tape drive To the computer storage device (202) through various input means (not shown) Load, It is stored (reference numeral 301). Patient data is Registered according to generally known techniques (sign 302). This step is Three-dimensional registration of all data sets, Or order Subsequent two-dimensional registration can be sliced. Three-dimensional registration According to the solution, afterwards, The image is Array of three-dimensional voxel data (Or volumetric) or planar to generate Reconstructed on storage using rendering (rendering) No. 303). next, Using one or more known segmentation techniques, These days Data (symbol 304), Different types of head matter (bones, Brain tissue, Vasculature Construction and ventricular structure, ) And various body tissue characteristics such as their surface location You. Preferably, The splitting process is Specify different display colors for different types of structures And This allows Easy identification of these on color video displays Can be. For example, The vascular system is shown in blue, Showing bones in brown, And so on. Good In a preferred embodiment, These color specifications are Keyboard (103) and mouse (104) ) Means User can change. Also, In a preferred embodiment, Display opacity The degree is Keyboard (103), A mouse (104) or other input device (eg, , Voice input device) can be changed by the user, This , Identification of features hidden in the video display can be performed more easily. Two-dimensional In a variant protocol where a strong registration is performed, 2D image sump Is performed (reference numeral 309). next, Three-dimensional data Slicing of divided data (Or 310). This variant protocol is , This is indicated by a broken line in the figure. Referring to FIG. The next phase of the pre-op protocol is The image to be displayed To define Determining the position and direction of the video vector (reference numeral 30) 5). This video vector is Protrude the current position and orientation of the surgical instrument (109) To stop Obtained by asking OTS. next, With this information To 3D scan data Positioning and positioning of the resulting three-dimensional perspective image And direction, Direct this video, The cut surface and reference mark of the displayed image to be clear To define the It is processed (reference numeral 306). next, Did this processing The three-dimensional perspective image is Displayed on the video display device (102) (reference numeral 307) . Also, Off any Other two-dimensional images, such as two-dimensional (2D) cross-sectional images of the cross section, Preferably, Purpose of elucidation As It is displayed together with the three-dimensional perspective display. Finally, The pre-op protocol is It is a continuous loop process, Surgical instruments (10 9) Regarding the change in the position of the video vector corresponding to the position and direction, OTS, Repetition A question is asked again (reference numeral 308). Therefore, The displayed image is Surgical procedure During Continuously updated, The resulting display is New supply constantly in real time Is done. Also, Image data is also stored or temporarily stored, Continued protocol Accordingly, it can be used for other uses (reference numeral 311). The surgical instrument (109) Including an ultrasonic transducer located at its tip (105) , Touching the patient ’s head, On its own, Scan the ultrasound imaging data, Detect You. FIG. Conceptual block of intra-op (“intra-op”) ultrasound (“US”) protocol It is a lock diagram, Process US image data during surgery. Typically, Ultrasonic conversion The vessel is A phased collection that generates data from a planar sector of a region of interest in human tissue A bundle array, The central axis of the transducer (here, Length of surgical instrument (109) On the axis of the direction) Lies in the plane of the scan area. This axis By rotating the surgical instrument and the transducer with respect to Cone of the area of interest US scan data of volume is collected, Stored (401) . This cone is Define the "field of view" of the transducer scan. The position and orientation of the transducer Tracked by OTS, Is determined (reference numeral 402), U Using S data Reconstruct 3D intra-op image data of the target area No. 403). This data is Processing is performed in the same manner as the processing of pre-op data (306). (404) next, 2D image of any desired corresponding ultrasound data Is used to generate a three-dimensional image together with (405). These intra- The op image is Fused with pre-op image generated by pre-op protocol (311) (Reference numeral 406), The composite image is further displayed. Finally, OTS Continuously It is strobed (reference numeral 407), Ultrasound images New supply continuously Is done. FIG. An endoscope is placed at the tip (115) of the surgical instrument (109); intr It is a conceptual block diagram of an a-op protocol. This protocol also Endoscope position Can be provided for procedures using surgical microscopes. Image data is Endoscope or microscope Mirror line of sight (here, The longitudinal direction of the surgical instrument (109) Using a CCD camera or other known technology to represent a two-dimensional image of a plane perpendicular to the do it, Is obtained (reference numeral 501). The position and orientation of the surgical instrument Added by OTS Traced, Is determined (reference numeral 502), Analog-to-digital ("A / D") conversion Is performed on this data (reference numeral 503). The position of the viewpoint is Determined from OTS data (Reference numeral 504), The endoscope or microscope image data is processed (reference numeral 505), table A desired image for presentation is generated (reference 506). These intra-op images are pre-op Fused with the pre-op image generated by the protocol (reference numeral 311) (reference numeral 50) 8), The composite image is further displayed. Finally, OTS Continuously strobed (Reference number 507), Ultrasound images are constantly being renewed. The protocol described above is Stored in the storage device (202) of the computer (101) Is supplied by a program module. FIG. Provides pre-op protocol It is a conceptual block diagram of the flowchart of the program supplied. The program Is started (reference numeral 601), Patient scan data obtained in advance (for example, MRI or CT Data) is received by the computer, To load. Computer Data from OTS Data is further read (reference numeral 603), Register scanned patient data (Reference numeral 604). For three-dimensional rendering Scan data Use, Reconstructed into three-dimensional image data (reference numeral 605), The split is this reconstruction (Step 606). In an alternative embodiment, shown in broken lines in the figure, Division is two-dimensional It is performed with rice (reference numeral 615), next, These divided slices All 3D image data Restructured into data. The program is next, To allow the user to select a field of view for displaying images, Key The input data from the board (103) or the mouse (104) is read (reference numeral 60). 7). next, Image data is Arbitrarily selected fiducial markers, Material opacity, Kara - Or with other options given to you by the program, Desired To generate the video, Processed It is converted (reference 608). Also, user Is Endoscope, microscope, Ultrasonic transducer, Or other imaging used during the surgical procedure Requesting a three-dimensional view of the entire head, with superimposed cones showing the field of view of the device Wear. next, The resulting processed image is Preferably, Video display device (10 2) It is displayed in color on top (reference numeral 609). Computer next, OTS Day Data (610), It is determined whether the surgical instrument has moved (reference numeral 6). 11). Where surgical instruments have moved If Program control As shown in FIG. Select new field of view (607) and pull It returns to the following work (608)-(610). If the position of the device did not change, I New supply of pre-stored display image of deviation, The displayed image is stored ( 612). The program is Are you a user on whether or not to stop working? Further searching for these requests (reference numeral 613), If there was no such request, work( 611) and (612) are repeated. Therefore, Computer the user Until you request termination, The work loop continues (reference numeral 614). FIG. The flowchart of the program that supplies the ultrasonic intra-op protocol It is a conceptual block diagram. When the program starts (reference numeral 701), Compu Data Receiving data from the US transducer on the tip 9115) of the surgical instrument (109) , To load. Such data, Normal, To locate the area of interest , Generated using polar and spherical coordinates, The program is Preferably, This data It is converted to an orthogonal coordinate system (reference numeral 703). next, OTS data Surgical instruments (10 9) read to determine the position and orientation (reference 704); Aligned data US data from a collection of Use, Reconstruct three-dimensional image data representing US scan data (705) ). This image data is In the same manner as the processing of the pre-op data (reference numeral 608), Processed by the program, Converted (symbol 706), The resulting image Is displayed (reference numeral 707). Like the pre-op program shown in FIG. OTS was asked (reference 709), Determining whether the surgical instrument has moved (reference 713); If the equipment moves, new A new US display image is reconstructed. In a preferred embodiment, The program is Target area The user is asked whether another US scan is to be performed (reference numeral 716). If you do another US scan, Program control is Return to the operation (reference numeral 702) in FIG. And New US data is obtained with the US converter. No other US scan was requested Case (reference numeral 716), The program is Return to operation (reference numeral 705) New 3D The image is reconstructed from the current US scan data. OTS question determined that the surgical instrument did not move from the previous question (Reference numeral 709), US images are Pr obtained by the program shown in FIG. Fused with the e-op image (symbol 710), The combined image is displayed (reference numeral 71). 1). OTS To make a decision as to whether the surgical instrument has moved, again , Ask (reference 712). If the surgical instrument moves, The program is new Return to the question of the user of the scan (reference numeral 716). Otherwise, Professional Grams are Look for a request from the user as to whether or not to No. 714), If there was no such request, The operation is repeated (reference numeral 713). ). Therefore, Computer Like the pre-op program in FIG. 6, End user (715), the operation loop is continued. Endoscope / microscope intra-op program FIG. 8 is a flowchart showing a conceptual block diagram. It is preferably supplied by an endoscope intra-op program having a chart. Blog When the ram starts (reference numeral 801), Computer Receiving image data from the endoscope Believe in Load (reference numeral 802). This data is Digitized (reference numeral 803) ), Preferably, It is displayed on the video display device (102) (reference numeral 804). OTS asks It is done (reference number 805), Receive information that determines the position and direction of the endoscope ( Reference numeral 806). Using this information, Obtained by the pre-op program shown in FIG. The retrieved pre-op data is searched (reference numeral 80). 7), Used to reconstruct a 3D virtual image from the endoscope viewpoint (code 808). This image is Same as 3D image display by pre-op program shown in FIG. In the manner of It is displayed (reference numeral 809). This image is At work (reference numeral 804) The image is fused with the displayed endoscope image (reference numeral 810). next, OTS strobe (Reference number 812), Determine if the endoscope has moved since the last question (Reference numeral 813). If the endoscope moves, Program control is a work (reference numeral 802). Back to The image data received by the endoscope is newly supplied. Otherwise, Step The program is Look for requests from users as to whether they should stop working ( 814), If there was no such request, Work (reference numeral 813) is repeated It is. Therefore, Computer FIG. Same as 7 pre-op and intra-op programs As, The work loop continues until the user requests termination (reference numeral 815). . The above program module is Individually designed, They are, Can be run individually Can be designed to be. Therefore, After the pre-op program ends, intra-op pro One or both of the programs can be executed. But, Preferably, These programs are: Outside During a surgical operation, Operated in parallel, As the surgery continues, pre-op day Data image and intra-op data image all, Newly supplied continuously. Known programs Program parallel processing method, Can be used for this. The above program is Preferably, Cores adapted to computer graphics applications It is performed on the computer (101). Computers compatible with these programs Is Silicon Graphics, Inc. Inc. , Mountain View, Ca lifornia). Most individual pictures in the above program Graphic software modules for performing image processing tasks are also available from other sources. Similarly, it is commercially available from Silicon Graphics. FIG. 9 shows a target tissue disorder or tumor (1) inside the patient's head (112). 17) above with the surgical probe (109) of FIG. 1 directed towards 17) 3 is a schematic diagram of a three-dimensional image display (901) obtained by the above. Edge of display (901) The parts are indicated by the border (900). The display (901) shows the probe (109). It is a fluoroscopic image from the tip (115). This indication will be supplied continuously continuously, When the probe (109) moves, the displayed image (901) changes immediately. Here, all of the probes (109) are shown outside the patient's head. However, the display (901) shows the internals such as the brain and the target tumor (117). 1 shows a human body tissue structure. In the system of the present invention, the display characteristics emphasize the internal structure. And can be adjusted in real time so that it doesn't emphasize too much. These structures are different The different substances can be identified by displaying them in different colors. Also skin The display opacity of the skin, skull and brain cells depends on the target tumor (117). Can be attenuated to give or emphasize other structural details. The display (901) is hidden "X-ray eyes" that allow the user to see the structure through the surface and the object Give to. In this view, the entire internal structure of the head can be considered and studied, before the incision You can plan a surgical trajectory. In addition, surgical instruments (109) If the scalpel is a scalpel, the surgeon will display (901) on the surface prior to the first incision. Any structure drawn is immediately visible. FIG. 9 shows the area under consideration Conventional axial direction (902), forehead direction (903) and front and back for clarification and elucidation A two-dimensional display of direction (904) is also shown. If the surgical instrument (109) is an endoscope or US transducer, the field of view (116) The intersection of the surface of the skin seen from the endoscope (109) and the conical field of view (116) Quasi-circular image to indicate The display (901) is instructed by (905). This conical field of view is also two-dimensional It is completely superimposed on the indications (902) to (904). In the preferred embodiment, the display Is the actual image seen by the endoscope in the field of view (905) and the field of view (905) It is also possible to show a three-dimensional perspective image of a certain area, and these auxiliary images are preferably Suitably included when instrument (109) is a US converter. After an incision (118) is made in the patient's head, the endoscope is inserted and targeted. An internal image of the human anatomy is provided. FIG. 10 shows the target tissue disorder or tumor. The endoscope (109) of FIG. 1 which is directed toward the ulcer (117) (the deformation indicated by a broken line in FIG. 1) Image display (1001) obtained by the above system having FIG. The edge of the display (1001) is indicated by the border (1001) You. The display (1001) passes through the tip (115) of the endoscope (109) and is It has been processed to give a three-dimensional cross-sectional image with orthogonal cutting planes. You. As before, the field of view (905) of the endoscope is indicated on this display and In the example, the auxiliary display is the actual image seen by the endoscope in the field of view (905). , And a three-dimensional perspective image of the same area of the field of view (905) As shown, these auxiliary displays are not shown in FIG. This figure is even better. The conventional axial direction (1002) and the forehead direction (1 003) and the front-back direction (1004). 11a, 11b, 12 and 13 are generated according to a preferred embodiment of the present invention. FIG. 11a and 11b show the base (1102) and the Figure 4 shows a plastic model of a skull with a removable top (1101). skull (1101) and (1102) are fixed on the stand (1106). Also, FIG. 11a shows an L connected to an OTS (not shown) to generate a display in accordance with the present invention. A pointer (1104) having an ED (1105) is shown. The upper part (1101) A hole (1103) is provided so that the pointer (1104) can enter the inside of the skull It has become. FIG. 11b shows the skull with the upper part (1103) removed. It is. A plastic model of the internal structure (1107) is made inside the skull, The internal structure is a solid having a configuration that can be easily confirmed as shown in the figure. The skulls of FIGS. 11a, 11b are used to generate the display shown in FIGS. Generate “pre-op” image data Scanned for The edges of the display in FIGS. 00) and (1300). FIG. 12 is the same as one direction and the direction of the pointer shown in FIG. Of the skull with the pointer (1104) pointing to the skull from the top center outside (1201) and (1202). The display (1201) indicates this guideline. 3 is a three-dimensional perspective image from one of FIG. The display (1202) is the same video However, the display opacity of the skull material has been attenuated. This opacity attenuation As shown, the internal structure (1107) is clearly visualized. Actually use The system allows the surgeon to change this opacity and adjust the image in real time. So that both the skull structure and the internal structure can be visualized on the display in various ways. Wear. Here, the surface contour shown in the display (1201) is a finite-size rendering layer. (Layer) or voxel (voxel). These contours are Smoothing or reducing the size of voxels or layers Can be made smaller. FIG. 13 shows a pointer (110) entered through one of the openings (1103). 4) It is a composite image of the two displays. The display (1302) is an image from the tip of the pointer inside the skull. Display (130 1) is an image of the entire structure from the outside of the skull along the axis of the pointer. Ie , Display (1302) is a substantial enlargement of a portion of display (1301). The display (1301) cuts a part at the cutting plane passing through the tip of the pointer perpendicular to the axis of the pointer. 1 shows a skull that has been removed. Both of these displays are three-dimensional displays generated by the present invention. This clearly shows the perspective features of. Finally, FIG. 14 shows a simplified representation of a real human head generated by the system. It is a simple composite image. The indication (1401) is indicated by a cross section orthogonal to the drawing. It is a fluoroscopic image of the entire head obtained by cutting a defined portion. The edge of the display in FIG. Indicated by the border (1400). The display shows the head along the intersection of the two cutting planes. Also shown is the field of view of the endoscope oriented towards the part, the tip of the endoscope being at the apex of the cone. The display (1402) is a two-dimensional cross-sectional image generated by a vertical cutting plane. In addition, the display (1403) corresponds to this generated by the horizontal cutting plane. This is a cross-sectional image. Further, the images of the display (1402) and (1403) are also displayed in a table. Is transformed (rotated and enlarged) on the three-dimensional image shown in FIG. Is done. Both of these displays also indicate the intersection of the conical field of view and the cutting plane. Display (1 404) is the actual image seen by the endoscope. The display (1405) indicates the present invention. Of endoscopic images reconstructed from scan data by stereoscopic rendering according to It is a fluoroscopic image. The display (1406) is scanned by planar rendering according to the present invention. Of the image from the viewpoint of an endoscope with a narrow field of view reconstructed from scan data It is a fluoroscopic image. This display (1406) is useful when planning a surgical trajectory. , Can be used with surgical probes. The display (1407) is the display (1406) (Narrow field of view) magnification, showing a virtual image that can be seen through a microscope . Finally, the display (1408) displays the data from the scan data using planar rendering. It is a divided 3D fluoroscopic image of the whole head, and the display (1409) is the existing system. It shows a rich variety and rollability of possible indications. All these displays are the same in real time Sometimes offered to surgeons and can be changed online. As is apparent from the above description, the present invention provides a method for treating human tissue during an actual surgical procedure. An improved means for navigating through the structure is provided. system Allows the surgeon to Display with the same equipment used to perform the procedure without extra manual work The indication can be selected and adjusted. Because the display is given immediately in real time , The image does not require any interruption of the procedure. Also given by this system Virtual images are continuously correlated with images obtained through conventional means. You. Further, the present invention is not limited to neurosurgery applications or other surgical or medical practice applications. It will be apparent to those skilled in the art. For example, a system embodying the present invention Uses information from satellites to obtain “pre-op” scan data It can be obtained by actual navigation or air navigation. The pointer device is Is replaced by the aircraft itself, and the video display is equipped with special imaging goggles or Can be replaced with The foregoing description of a preferred embodiment of the invention has been presented for purposes of illustration only. And is not limited to the precise form disclosed. Numerous changes and variants It can be made from the teachings described above. The spirit and scope of the invention is defined by the following claims and all Should be defined within the scope of the equivalent of

【手続補正書】特許法第１８４条の８第１項【提出日】平成１１年５月４日（１９９９．５．４）【補正内容】請求の範囲１．３次元対象物の画像を生成するための方法であって、対象物の立体的な第一のスキャンデータを得る工程、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記第一のスキャンデータを使用する工程、前記第一の仮想画像データに基づいた前記対象物の画像を表示するための視野及び視点を選択する工程、前記視野とともに前記視点からの前記対象物の第一の３次元的透視画像を生成するために、前記第一の仮想画像データを処理する工程、前記第一の３次元的透視画像を表示する工程、を含む方法。２．請求項１の方法であって、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記第一のスキャンデータを使用する工程は、前記対象物の選択した特徴を識別するために、前記第一の仮想画像データを分割する工程、を含む、方法。３．請求項１の方法であって、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記第一のスキャンデータを使用する工程は、前記第一の仮想画像データで表される前記対象物の特徴の位置を決定するために、前記対象物に関して前記第一の仮想画像データのレジストレーションを行う工程、を含む、方法。４．請求項１の方法であって、前記第一の３次元的透視画像を表示する前記工程に続けて、前記第一の仮想画像データに基づいた前記対象物の画像を表示するための他の視点及び視野を選択する工程、前記視野とともに前記他の視点からの前記対象物の第一の３次元的透視画像を生成するために、前記第一の仮想画像データを処理する工程、及び前記第一の３次元的透視画像を表示する工程、を任意の所望とする回数だけ繰り返すことをさらに含む、方法。５．請求項１の方法であって、対象物の立体的な第二のスキャンデータを得る工程、前記第二のスキャンデータで構造情報を表す第二の仮想画像データを再構成するために、前記第二のスキャンデータを使用する工程、前記仮想画像データに基づいた前記対象物の画像を表示するために選択した前記視点及び視野と一致するように前記第二の仮想画像データに基づいた前記対象物の画像を表示するための視点及び視野を決定する工程、前記視野とともに前記視点からの前記対象物の第二の３次元的透視画像を生成するために、前記第二の仮想画像データを処理する工程、及び前記第二の３次元的透視画像を表示する工程、をさらに含む、方法。６．請求項５の方法であって、前記第一の３次元的透視画像と、前記第二の３次元的透視画像とを融合し、組合せ画像を表示する工程、をさらに含む、方法。７．請求項１の方法であって、対象物の第三のスキャンデータを得る工程、前記第三のスキャンデータに基づいた前記対象物の第三の画像表示するための視点及び視野を選択する工程、前記第三の画像を表示する工程、対象物の立体的な第一のスキャンデータを得る工程、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記第一のスキャンデータを使用する工程、前記第三のスキャンデータに基づいた前記対象物の前記第三の画像を表示するために選択した前記視点及び視野と一致するように前記第一の仮想画像に基づいた前記対象物の画像を表示するための視点及び視野を決定する工程、前記視野とともに前記視点からの前記対象物の第一の画像を生成するために、前記第一の仮想画像データを処理する工程、及び前記第一の３次元的透視画像を表示する工程、をさらに含む、方法。８．請求項７の方法であって、前記第三の画像と前記第一の３次元的透視画像とを融合し、組合せ画像を表示する工程、をさらに含む、方法。９．３次元対象物の画像を生成するための装置であって、記憶装置を有するコンピュータ、前記コンピュータに接続した表示手段、前記コンピュータに接続した入力手段、前記コンピュータに接続され、ユーザーによって移動可能の指針手段、及び前記コンピュータ及び前記指針手段に接続した位置追跡手段であって、この位置追跡手段が、前記指針の位置及び方向を連続的に検出し、この位置及び方向を前記コンピュータへ送る、位置追跡手段、を含み、前記コンピュータの記憶装置が、立体的な第一のスキャンデータを収納し、さらに、プログラムを収納し、このプログラムによって、前記コンピュータが、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記第一のスキャンデータを使用すること、前記位置追跡手段によって検出された前記指針手段の位置及び方向であるべき前記第一の仮想画像データに基づいた前記対象物の画像を表示するための視点を決定すること、前記視点からの前記対象物の第一の３次元的透視画像を生成するために、前記第一の仮想画像データを処理すること、及び前記第一の３次元的透視画像を表示すること、を行う、ところの装置。１０．請求項９の装置であって、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記第一のスキャンデータを使用することは、前記対象物の選択した特徴を識別するために、前記第一の仮想画像データを分割すること、を含む、装置。１１．請求項９の装置であって、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記第一のスキャンデータを使用することは、前記第一の仮想画像データで表される前記対象物の特徴の位置を決定するために、前記対象物に関して前記第一の仮想画像データのレジストレーションを行うこと、を含む、装置。１２．請求項９の装置であって、前記プログラムが、前記第一の３次元的透視画像を表示することに続けて、前記第一の仮想画像データに基づいた前記対象物の画像を表示するための他の視点を選択すること、前記他の視点からの前記対象物の第一の３次元的透視画像を生成するために、前記第一の仮想画像データを処理すること、及び前記第一の３次元的透視画像を表示すること、を任意の所望とする回数だけ繰り返し、行う、ところの装置。１３．請求項９の装置であって、前記プログラムが、対象物の立体的な第二のスキャンデータを得ること、前記第二のスキャンデータで構造情報を表す第二の仮想画像データを再構成するために、前記第二のスキャンデータを使用すること、前記仮想画像データに基づいた前記対象物の画像を表示するために選択した前記視点と一致するように前記第二の仮想画像データに基づいた前記対象物の画像を表示するための視点を決定すること、前記視点からの前記対象物の第二の３次元的透視画像を生成するために、前記第二の仮想画像データを処理すること、及び前記第二の３次元的透視画像を表示すること、をさらに行う、ところの装置。１４．請求項１３の装置であって、前記プログラムが、前記第一の３次元的透視画像と、前記第二の３次元的透視画像とを融合し、組合せ画像を表示すること、をを行う、ところの装置。１５．請求項９の装置であって、前記プログラムが、対象物の第二のスキャンデータを得ること、前記第二のスキャンデータで構造情報を表す第二の仮想画像データを再構成するために、前記第二のスキャンデータを使用すること、前記仮想画像データに基づいた前記対象物の画像を表示するために選択した前記視点と一致するように前記第二の仮想画像に基づいた前記対象物の画像を表示するための視点を決定すること、前記視点からの前記対象物の第二の画像を生成するために、前記第二の仮想画像データを処理すること、及び前記第二の画像を表示すること、を行う、ところの装置。１６．請求項１５の装置であって、前記プログラムが、前記第二の画像と前記第一の３次元的透視画像とを融合し、組合せ画像を表示すること、を行う、ところの装置。１７．請求項７の方法であって、前記対象物の第三の画像を表示するための視点及び視野を選択するための工程に続けて、前記第三の画像が得られる対象物の領域に光をあて、明るくする工程、をさらに含む、方法。１８．請求項７の方法であって、前記第三のスキャンデータを得る前記工程が、内視鏡によって行われる、ところの方法。１９．請求項７の方法であって、前記第三のスキャンデータを得る前記工程が、顕微鏡によって行われる、ところの方法。２０．請求項７の方法であって、前記第三のスキャンデータを得る前記工程が、ＣＣＤカメラによって行われる、ところの方法。２１．請求項１、５又は７の方法であって、前記視野とともに前記視点からの前記対象物の第一又は第二の３次元的透視画像を生成するために、第一又は第二の画像データを処理する前記工程が、前記対象物の断面映像を定義するために、少なくとも一つの切断平面を選択する工程、及び前記の少なくとも一つの切断平面によって決定された前記対象物の３次元的透視切断画像を生成する工程、を含む、ところの方法。２２．請求項１、５又は７の方法であって、第一又は第二の仮想画像データを再構成するために、第一又は第二のスキャンデータを使用する前記工程が、これらの観察のために、前記３次元的透視画像に示される異なった構造の不透明度を調節する工程、を含む、ところの方法。２３．請求項１の方法であって、前記第一のスキャンデータがMIRデータである、ところの方法。２４．請求項１の方法であって、前記第一のスキャンデータがCTデータである、ところの方法。２５．請求項１の方法であって、前記第一のスキャンデータがMRIデータである、ところの方法。２６．請求項１の方法であって、前記第一のスキャンデータがPETデータである、ところの方法。２７．請求項１の方法であって、前記第一のスキャンデータが超音波データである、ところの方法。２８．対象物のスキャンデータを使用して前記スキャンデータで構造情報を表す画像データを再構成するためのプログラムを収納した記憶装置を有するコンピュータ、前記コンピュータに接続した表示手段、前記コンピュータに接続した入力手段、前記コンピュータに接続され、ユーザーによって移動可能の指針手段、及び前記コンピュータ及び前記指針手段に接続され、前記指針手段の位置及び方向を検出し、前記位置及び方向を前記コンピュータへ送るための位置追跡手段、を含む、３次元対象物の画像を生成するためのシステムにおいて、前記画像を生成するための方法であって、対象物の立体的な第一のスキャンデータを得る工程、前記コンピュータの記憶装置に前記立体的な第一のスキャンデータをローディングする工程、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記コンピュータの前記プログラムを使用する工程、前記第一の仮想画像データに基づいた前記対象物の画像を表示するための視点を選択するために、前記指針手段を使用する工程、前記指針手段の位置及び方向を前記位置追跡手段で検出する工程、前記視ｓｎ手段の前記位置及び方向を前記コンピュータへ送る工程、前記画像を表示するための視野を選択する工程、前記視野とともに前記視点からの前記対象物の第一の３次元的透視画像を生成するために、前記第一の仮想画像データを前記コンピュータの手段で処理する工程、前記第一の３次元的透視画像を前記表示手段で表示する工程、を含む方法。２９．請求項２８の方法であって、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記コンピュータで前記プログラムを使用する前記工程が、前記対象物の選択した特徴を識別できるように、前記第一の仮想画像データを分割するために、前記プログラムを使用する工程、を含む、ところの方法。３０．請求項２８の方法であって、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記コンピュータで前記プログラムを使用する前記工程が、前記第一の仮想画像データで表される前記対象物の特徴の位置を決定するために、前記対象物に関して、前記第一の仮想画像データをレジストレーションする工程、を含む、ところの方法。３１．請求項２８の方法であって、前記第一の３次元的透視画像を表示する前記工程に続けて、前記第一の仮想画像データに基づいた前記対象物の画像を表示するための他の視点及び視野を選択するために、前記指針手段を使用する工程、前記指針手段の位置及び方向を前記位置追跡手段で検出する工程、前記指針手段の前記位置及び方向を前記コンピュータへ送る工程、前記視野とともに前記他の視点からの前記対象物の第二の３次元的透視画像を生成するために、前記第一の仮想画像データを前記コンピュータの手段で処理する工程、及び前記第二の３次元的透視画像を前記表示手段で表示する工程、を任意の所望の回数だけ繰り返す、ところの方法。３２．請求項２８の方法であって、対象物の立体的な第二のスキャンデータを得る工程、前記コンピュータの記憶装置に前記立体的なスキャンデータをローディングする工程、前記立体的な第二のスキャンデータで構造情報を表す第二の仮想画像データを再構成するために、前記コンピュータで前記プログラムを使用する工程、前記第一の仮想画像データに基づいた前記対象物の前記画像を表示するために選択した前記視点及び視野と一致するように、前記第二の仮想画像データに基づいた前記対象物の画像を表示するための視点及び視野を決定する工程、前記視野とともに前記視点からの前記対象物の第二の３次元的透視画像を生成するために、前記第二の加増画像データを前記コンピュータの手段で処理する工程、及び前記第二の３次元的透視画像を前記表示手段で表示する工程、をさらに含む方法。３３．請求項３３の方法であって、前記第二の３次元的透視画像と前記第一の３次元的透視画像とを融合し、組合せ画像を表示する工程、をさらに含む方法。３４．対象物のスキャンデータを使用して前記スキャンデータで構造情報を表す画像データを再構成するためのプログラムを収納した記憶装置を有するコンピュータ、前記コンピュータに接続した表示手段、前記コンピュータに接続した入力手段、前記コンピュータに接続され、ユーザーによって移動可能の指針手段、及び前記コンピュータ及び前記指針手段に接続され、前記指針手段の位置及び方向を検出し、前記位置及び方向を前記コンピュータへ送るための位置追跡手段、を含む、３次元対象物の画像を生成するためのシステムにおいて、３次元退場物の画像を生成するための方法であって、対象物の第三のスキャンデータを得る工程、前記コンピュータの記憶装置に前記第二のスキャンデータをローディングする工程、前記第三のスキャンデータに基づいた前記対象物の第三の画像を表示するための視点及び視野を選択する工程、前記第三の画像を前記表示手段で表示する工程、対象物の立体的な第一のスキャンデータを得る工程、前記コンピュータの記憶装置に前記立体的な第一のスキャンデータをローディングする工程、前記第一のスキャンデータで構造情報を表す第一の仮想画像データを再構成するために、前記コンピュータで前記プログラムを使用する工程、前記第一の仮想画像データに基づいた前記対象物の画像を表示するための視点を選択するために、前記指針手段を使用する工程、前記指針手段の位置及び方向を前記位置追跡手段で検出する工程、前記指針手段の前記位置及び方向を前記コンピュータへ送る工程、前記画像を表示するための視野を選択する工程、前記視野とともに前記視点からの前記対象物の第一の３次元的透視画像を生成するために、前記第一の仮想画像データを前記コンピュータの手段で処理する工程、及び前記第一の３次元的透視画像を前記表示手段で表示する工程、を含む方法。３５．請求項３４の豊富であって、前記第三の画像と前記第一の３次元的透視画像とを融合し、組合せ画像を表示する工程、をさらに含む方法。３６．請求項３４の方法であって、前記対象物の第三の画像を表示するための視点及び視野を選択する前記工程に続けて、前記第三の画像が得られる対象物の領域に光をあて、明るくする工程、をさらに含む方法。３７．請求項３４の方法であって、前記第三のスキャンデータを得るための前記工程が、内視鏡の手段によって行われる、ところの方法。３８．請求項３４の方法であって、前記第三のスキャンデータを得るための前記工程が、顕微鏡の手段によって行われる、ところの方法。３９．請求項３４の方法であって、前記第三のスキャンデータを得るための前記工程が、ＣＣＤカメラの手段によって行われる、ところの方法。４０．請求項２８、３２又は３４の方法であって、前記視野とともに前記視点からの前記対象物の第一又は第二の３次元的透視画像を生成するために、第一又は第二の仮想画像データを処理する前記工程が、前記対象物の断面映像を定義するために、少なくとも一つの切断平面を選択する工程、及び前記の少なくとも一つの切断平面によって決定された前記対象物の３次元的透視断面画像を生成する工程、を含む、ところの方法。４１．請求項２８、３２又は３４の方法であって、第一又は第二の仮想画像データを再構成するために、第一又は第二のスキャンデータを使用する前記工程が、これらの観察を容易に行えるように前記３次元的透視画像に示される異なった構造の不透明度を調節する工程、を含む、ところの方法。４２．請求項２８の方法であって、前記第一のスキャンデータが、MIRデータである、ところの方法。４３．請求項２８の方法であって、前記第一のスキャンデータが、CTデータである、ところの方法。４４．請求項２８の方法であって、前記第一のスキャンデータが、MRIデータである、ところの方法。４５．請求項２８の方法であって、前記第一のスキャンデータが、PETデータである、ところの方法。４６．請求項２８の方法であって、前記第一のスキャンデータが、超音波データである、ところの方法。[Procedure of Amendment] Article 184-8, Paragraph 1 of the Patent Act [Submission Date] May 4, 1999 (1999.5.4) [Correction contents] The scope of the claims 1. A method for generating an image of a three-dimensional object, comprising: Obtaining three-dimensional first scan data of the object; Reconstructing first virtual image data representing structural information with the first scan data Using the first scan data for: A field of view for displaying an image of the object based on the first virtual image data And a process of selecting a viewpoint, Generating a first three-dimensional perspective image of the object from the viewpoint together with the field of view Processing the first virtual image data to perform Displaying the first three-dimensional perspective image; A method that includes 2. The method of claim 1, wherein Reconstructing first virtual image data representing structural information with the first scan data In order to use the first scan data, Separating the first virtual image data to identify selected features of the object; Cracking process, Including, methods. 3. The method of claim 1, wherein Reconstructing first virtual image data representing structural information with the first scan data In order to use the first scan data, To determine the position of the feature of the object represented by the first virtual image data And performing registration of the first virtual image data with respect to the object. Process, Including, methods. 4. The method of claim 1, wherein Following the step of displaying the first three-dimensional perspective image, Another for displaying an image of the object based on the first virtual image data Selecting a viewpoint and a field of view, A first three-dimensional perspective image of the object from the other viewpoint together with the visual field; Processing the first virtual image data to generate; and Displaying the first three-dimensional perspective image; Further comprising repeating the step any desired number of times. 5. The method of claim 1, wherein Obtaining three-dimensional second scan data of the object; Reconstructing second virtual image data representing structural information with the second scan data Using the second scan data for: Before selecting to display an image of the object based on the virtual image data The object based on the second virtual image data so as to match the viewpoint and the visual field Determining a viewpoint and a field of view for displaying an image of an object, Generating a second three-dimensional perspective image of the object from the viewpoint with the field of view Processing the second virtual image data to perform Displaying the second three-dimensional perspective image; The method further comprising: 6. The method of claim 5, wherein Fusing the first three-dimensional perspective image with the second three-dimensional perspective image; A process of displaying a combined image, The method further comprising: 7. The method of claim 1, wherein Obtaining third scan data of the object; A third of the object based on the third scan data; A step of selecting a viewpoint and a visual field for displaying an image, Displaying the third image, Obtaining three-dimensional first scan data of the object; Reconstructing first virtual image data representing structural information with the first scan data Using the first scan data for: Displaying the third image of the object based on the third scan data Based on the first virtual image to match the viewpoint and field of view selected for Determining a viewpoint and a field of view for displaying an image of the object, To generate a first image of the object from the viewpoint with the field of view, Processing the first virtual image data; and Displaying the first three-dimensional perspective image; The method further comprising: 8. The method of claim 7, wherein Fusing the third image and the first three-dimensional perspective image to display a combined image Process, The method further comprising: 9. An apparatus for generating an image of a three-dimensional object, comprising: A computer having a storage device, Display means connected to the computer, Input means connected to the computer, Pointer means connected to the computer and movable by a user; and Position tracking means connected to the computer and the pointer means; The position tracking means continuously detects the position and direction of the pointer, and determines the position and direction. Position tracking means for sending to the computer, Including A storage device of the computer for storing the first three-dimensional scan data; In addition, storing the program, With this program, the computer Reconstructing first virtual image data representing structural information with the first scan data Using the first scan data to: Should be the position and direction of the pointer means detected by the position tracking means A viewpoint for displaying an image of the object based on the first virtual image data; To decide, Generating a first three-dimensional perspective image of the object from the viewpoint; Processing the first virtual image data to produce Displaying the first three-dimensional perspective image; I do, The device. 10. The device of claim 9, Reconstructing first virtual image data representing structural information with the first scan data In order to use the first scan data, Separating the first virtual image data to identify selected features of the object; Cracking, An apparatus, including: 11. The device of claim 9, Reconstructing first virtual image data representing structural information with the first scan data In order to use the first scan data, To determine the position of the feature of the object represented by the first virtual image data And performing registration of the first virtual image data with respect to the object. thing, An apparatus, including: 12. The device of claim 9, The program is Continuing with displaying the first three-dimensional perspective image, Another for displaying an image of the object based on the first virtual image data Choosing a viewpoint, In order to generate a first three-dimensional perspective image of the object from the other viewpoint, Processing the first virtual image data; and Displaying the first three-dimensional perspective image; Is repeated any desired number of times, and The device. 13. The device of claim 9, The program is Obtaining three-dimensional second scan data of the object; Reconstructing second virtual image data representing structural information with the second scan data Using the second scan data to: Before selecting to display an image of the object based on the virtual image data An image of the object based on the second virtual image data so as to match the viewpoint View for viewing Determining points, In order to generate a second three-dimensional perspective image of the object from the viewpoint, Processing the second virtual image data; and Displaying the second three-dimensional perspective image; Do more, The device. 14． 14. The device of claim 13, wherein The program is Fusing the first three-dimensional perspective image with the second three-dimensional perspective image; Displaying the combined image, Do the The device. 15. The device of claim 9, The program is Obtaining a second scan of the object; Reconstructing second virtual image data representing structural information with the second scan data Using the second scan data to: Displaying an image of the object based on the virtual image data Based on the second virtual image to match the viewpoint selected for Determining a viewpoint for displaying an image of the object, The second virtual image to generate a second image of the object from the viewpoint. Processing the image data; and Displaying the second image; I do, The device. 16. The device of claim 15, wherein The program is Fusing the second image with the first three-dimensional perspective image and displaying a combined image To do, I do, The device. 17． The method of claim 7, wherein Step of selecting a viewpoint and a field of view for displaying a third image of the object Followed by Illuminating the area of the object where the third image is obtained with a step of brightening; The method further comprising: 18. The method of claim 7, wherein The step of obtaining the third scan data is performed by an endoscope, Where way. 19. The method of claim 7, wherein The step of obtaining the third scan data is performed by a microscope, Where way. 20. The method of claim 7, wherein The step of obtaining the third scan data is performed by a CCD camera , Where way. 21. The method of claim 1, 5 or 7, wherein First or second three-dimensional perspective view of the object from the viewpoint with the field of view Processing the first or second image data to generate an image, Selecting at least one cutting plane to define a cross-sectional image of the object; Steps, and A three-dimensional transparency of the object determined by the at least one cutting plane; Generating a visual cut image, including, Where way. 22. The method of claim 1, 5 or 7, wherein First or second scan to reconstruct the first or second virtual image data The step of using the data comprises: For these observations, the opacity of the different structures shown in the three-dimensional perspective image was Adjusting the brightness, including, Where way. 23. The method of claim 1, wherein The first scan data is MIR data, Where way. 24. The method of claim 1, wherein The first scan data is CT data, Where way. 25. The method of claim 1, wherein The first scan data is MRI data, Where way. 26. The method of claim 1, wherein The first scan data is PET data, Where way. 27. The method of claim 1, wherein The first scan data is ultrasound data, Where way. 28. Using the scan data of the object, the structure information is represented by the scan data. Computer having a storage device in which a program for reconstructing image data is stored. Computer, display means connected to the computer, and input means connected to the computer. Force means, pointer means connected to the computer and movable by a user, And the position and direction of the pointer means connected to the computer and the pointer means. Position tracking means for detecting direction and sending the position and direction to the computer; A system for generating an image of a three-dimensional object, comprising: A method for achieving Obtaining three-dimensional first scan data of the object; Load the three-dimensional first scan data into the storage device of the computer. The process of Reconstructing first virtual image data representing structural information with the first scan data Using the program of the computer for: Viewpoint for displaying an image of the object based on the first virtual image data Using the pointer means to select A step of detecting the position and direction of the pointer means by the position tracking means, Sending the position and direction of the viewing sn means to the computer; Selecting a field of view for displaying the image, Generating a first three-dimensional perspective image of the object from the viewpoint together with the field of view To process the first virtual image data by means of the computer, About Displaying the first three-dimensional perspective image on the display unit; A method that includes 29. 29. The method of claim 28, wherein Reconstructing first virtual image data representing structural information with the first scan data The step of using the program on the computer to The first virtual image data so that the selected feature of the object can be identified; Use the above program to split Process, including, Where way. 30. 29. The method of claim 28, wherein Reconstructing first virtual image data representing structural information with the first scan data The step of using the program on the computer to To determine the position of the feature of the object represented by the first virtual image data Registering the first virtual image data with respect to the object Process, including, Where way. 31. 29. The method of claim 28, wherein Following the step of displaying the first three-dimensional perspective image, Another for displaying an image of the object based on the first virtual image data Using the pointer means to select a viewpoint and a field of view, A step of detecting the position and direction of the pointer means by the position tracking means, Sending the position and orientation of the pointer means to the computer; A second three-dimensional perspective image of the object from the other viewpoint together with the field of view Processing the first virtual image data by means of the computer to generate Steps, and Displaying the second three-dimensional perspective image on the display unit; Is repeated any desired number of times, Where way. 32. 29. The method of claim 28, wherein Obtaining three-dimensional second scan data of the object; Loading the three-dimensional scan data into the storage device of the computer; Process, The second virtual image data representing the structural information is represented by the stereoscopic second scan data. Using the program on the computer to reconfigure, To display the image of the object based on the first virtual image data Based on the second virtual image data, match the selected viewpoint and field of view. Determining a viewpoint and a field of view for displaying the image of the object that was, Generating a second three-dimensional perspective image of the object from the viewpoint with the field of view To process the second augmented image data by the means of the computer. And Displaying the second three-dimensional perspective image on the display unit; A method further comprising: 33. 34. The method of claim 33, wherein Fusing the second three-dimensional perspective image with the first three-dimensional perspective image, A process of displaying an image A method further comprising: 34. Using the scan data of the object, the structure information is represented by the scan data. Computer having a storage device in which a program for reconstructing image data is stored. Computer, display means connected to the computer, and input means connected to the computer. Force means, pointer means connected to the computer and movable by a user, And the position and direction of the pointer means connected to the computer and the pointer means. Position tracking means for detecting direction and sending the position and direction to the computer; A system for generating an image of a three-dimensional object, comprising: A method for generating images hand, Obtaining third scan data of the object; Loading the second scan data into a storage device of the computer Process, Displaying a third image of the object based on the third scan data; Selecting the viewpoint and field of view of the Displaying the third image on the display means, Obtaining three-dimensional first scan data of the object; Load the three-dimensional first scan data into the storage device of the computer. The process of Reconstructing first virtual image data representing structural information with the first scan data Using the program on the computer for: Viewpoint for displaying an image of the object based on the first virtual image data Using the pointer means to select A step of detecting the position and direction of the pointer means by the position tracking means, Sending the position and orientation of the pointer means to the computer; Selecting a field of view for displaying the image, Generating a first three-dimensional perspective image of the object from the viewpoint together with the field of view To process the first virtual image data by means of the computer, And Displaying the first three-dimensional perspective image on the display unit; A method that includes 35. Claim 34 rich, Fusing the third image and the first three-dimensional perspective image to display a combined image Process, A method further comprising: 36. 35. The method of claim 34, wherein In the step of selecting a viewpoint and a visual field for displaying a third image of the object, continue, Illuminating the area of the object where the third image is obtained with a step of brightening; A method further comprising: 37. 35. The method of claim 34, wherein The step of obtaining the third scan data is performed by means of an endoscope. To be Where way. 38. 35. The method of claim 34, wherein The step of obtaining the third scan data is performed by means of a microscope. To be Where way. 39. 35. The method of claim 34, wherein The step of obtaining the third scan data is performed by means of a CCD camera. It is done, Where way. 40. 35. The method of claim 28, 32 or 34, First or second three-dimensional perspective view of the object from the viewpoint with the field of view Processing the first or second virtual image data to generate an image, Selecting at least one cutting plane to define a cross-sectional image of the object; Steps, and A three-dimensional transparency of the object determined by the at least one cutting plane; A step of generating a visual section image, including, Where way. 41. 35. The method of claim 28, 32 or 34, First or second scan to reconstruct the first or second virtual image data The step of using the data comprises: To facilitate these observations, the different three-dimensional perspective images Adjusting the opacity of the structure, including, Where way. 42. 29. The method of claim 28, wherein The first scan data is MIR data, Where way. 43. 29. The method of claim 28, wherein The first scan data is CT data, Where way. 44. 29. The method of claim 28, wherein The first scan data is MRI data, Where way. 45. 29. The method of claim 28, wherein The first scan data is PET data, Where way. 46. 29. The method of claim 28, wherein The first scan data is ultrasound data, Where way.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ａ６１Ｂ 8/00 Ａ６１Ｂ 19/00 ５０２ 19/00 ５０２ 5/05 ３８０ ──────────────────────────────────────────────────続き Continued on the front page (51) Int.Cl. ⁷ Identification symbol FI Theme coat ゛ (Reference) A61B 8/00 A61B 19/00 502 19/00 502 5/05 380

Claims

[Claims] 1. A method for generating an image of a three-dimensional object, comprising: Obtaining three-dimensional first scan data of the object; Reconstructing first virtual image data representing structural information with the first scan data Using the first scan data for: Viewpoint for displaying an image of the object based on the first virtual image data The step of selecting In order to generate a first three-dimensional perspective image of the object from the viewpoint, Processing the first virtual image data; Displaying the first three-dimensional perspective image; A method that includes 2. The method of claim 1, wherein Reconstructing first virtual image data representing structural information with the first scan data In order to use the first scan data, Separating the first virtual image data to identify selected features of the object; Cracking process, Including, methods. 3. The method of claim 1, wherein Reconstructing first virtual image data representing structural information with the first scan data In order to use the first scan data, To determine the position of the feature of the object represented by the first virtual image data And performing registration of the first virtual image data with respect to the object. Process, Including, methods. 4. The method of claim 1, wherein Following the step of displaying the first three-dimensional perspective image, Another for displaying an image of the object based on the first virtual image data The process of selecting the viewpoint, In order to generate a first three-dimensional perspective image of the object from the other viewpoint, Processing the first virtual image data; and Displaying the first three-dimensional perspective image; Further comprising repeating the step any desired number of times. 5. The method of claim 1, wherein Obtaining three-dimensional second scan data of the object; Reconstructing second virtual image data representing structural information with the second scan data Using the second scan data for: Before selecting to display an image of the object based on the virtual image data An image of the object based on the second virtual image data so as to match the viewpoint Determining a viewpoint for displaying the In order to generate a second three-dimensional perspective image of the object from the viewpoint, Processing the second virtual image data; and Displaying the second three-dimensional perspective image; The method further comprising: 6. The method of claim 5, wherein Fusing the first three-dimensional perspective image with the second three-dimensional perspective image; A process of displaying a combined image, The method further comprising: 7. The method of claim 1, wherein Obtaining second scan data of the object; Reconstructing second virtual image data representing structural information with the second scan data The second scan data in order to Process to use, Before selecting to display an image of the object based on the virtual image data Displaying an image of the object based on the second virtual image so as to match the viewpoint The process of determining the viewpoint to do The second virtual image to generate a second image of the object from the viewpoint. Processing image data; and Displaying the second image, The method further comprising: 8. The method of claim 7, wherein Fusing the second image with the first three-dimensional perspective image and displaying a combined image Process, The method further comprising: 9. An apparatus for generating an image of a three-dimensional object, comprising: A computer having a storage device, Display means connected to the computer, Input means connected to the computer, Pointer means connected to the computer and movable by a user; and A position tracker connected to the computer and the pointer means Stage, the position tracking means continuously detects the position and direction of the pointer, Position tracking means for transmitting the position and the direction to the computer, Including A storage device of the computer for storing the first three-dimensional scan data; In addition, storing the program, With this program, the computer Reconstructing first virtual image data representing structural information with the first scan data Using the first scan data to: Should be the position and direction of the pointer means detected by the position tracking means A viewpoint for displaying an image of the object based on the first virtual image data; To decide, In order to generate a first three-dimensional perspective image of the object from the viewpoint, Processing the first virtual image data; and Displaying the first three-dimensional perspective image; I do, The device. 10. The device of claim 9, Reconstructing first virtual image data representing structural information with the first scan data In order to use the first scan data, Separating the first virtual image data to identify selected features of the object; Cracking, An apparatus, including: 11. The device of claim 9, Reconstructing first virtual image data representing structural information with the first scan data In order to use the first scan data, To determine the position of the feature of the object represented by the first virtual image data And performing registration of the first virtual image data with respect to the object. thing, An apparatus, including: 12. The device of claim 9, The program is Continuing with displaying the first three-dimensional perspective image, Another for displaying an image of the object based on the first virtual image data Choosing a viewpoint, A first three-dimensional perspective image of the object from the other viewpoint Processing the first virtual image data to generate Displaying the first three-dimensional perspective image; Is repeated any desired number of times, and The device. 13. The device of claim 9, The program is Obtaining three-dimensional second scan data of the object; Reconstructing second virtual image data representing structural information with the second scan data Using the second scan data to: Before selecting to display an image of the object based on the virtual image data An image of the object based on the second virtual image data so as to match the viewpoint Determining a viewpoint for displaying the In order to generate a second three-dimensional perspective image of the object from the viewpoint, Processing the second virtual image data; and Displaying the second three-dimensional perspective image; Do more, The device. 14． 14. The device of claim 13, wherein The program is Fusing the first three-dimensional perspective image with the second three-dimensional perspective image; Displaying the combined image, Do the The device. 15. The device of claim 9, The program is Obtaining a second scan of the object; Reconstructing second virtual image data representing structural information with the second scan data Using the second scan data to: Before selecting to display an image of the object based on the virtual image data Displaying an image of the object based on the second virtual image so as to match the viewpoint To determine the perspective to do The second virtual image to generate a second image of the object from the viewpoint. Processing the image data; and Displaying the second image; I do, The device. 16. The device of claim 15, wherein The program is Fusing the second image with the first three-dimensional perspective image and displaying a combined image To do, I do, The device.