JP4490442B2 - 手術中の２次元画像および手術前の３次元画像をアフィン重ね合わせするための方法およびシステム - Google Patents

Description

関連出願の相互参照
本出願は、米国暫定出願番号６０／５３７８２０、２００４年６月２１日出願の優先権を主張するものであり、この刊行物全体を参照する。

技術分野
本発明は、手術中および出術前の画像を重ね合わせする方法および装置に関するものであり、より詳細には、手術中の２次元画像を手術前の３次元画像と重ね合わせるための方法およびシステムに関連する。

背景技術
人間組織および器官の画像は、多くの医学条件の診断および治療を支援するのに使用される重要なツールである。磁気共振画像法（ＭＲＩ）およびコンピュータトモグラフ（ＣＴ）などの画像様式は高品質な３次元（３Ｄ）画像を形成する。これら画像様式は典型的には、手術前に患者を画像化するのに使用される。

実際、胸部ガン、ほふく性ガン、および脳腫瘍の治療で、手術前画像は腫瘍の程度を良好に表す。なぜなら動的な画像化、パラメトリックなモデリングを実行することができからである。しかし複数のキャプチャを行なう拡散または他の機能的ＭＲまたはＣＴ画像化方法は、インタラクティブな内部手続き画像化には非実用的なものとなる。典型的には治療中に２次元（２Ｄ）蛍光透視鏡画像が記録される。これらの画像はインターベンショナルデバイスをリアルタイムで監視するのには役に立つが、閉鎖された磁気ＭＲおよびＣＴの画像品質および組織コントラストを有していない。

インターベンショナル蛍光透視鏡画像または治療中の蛍光透視鏡画像は診断のため、または侵襲性治療介入を最小にするガイド装置として使用される。介入的外科治療は、患者の解剖学についてのアップデートにアクセスし、または可動器官の位置を変更するのに医師を必要とする。介入中のリアルタイム画像（重ね合わせなし）は、患者と画像との所要の関係を確立する。透視鏡画像の画像品質が低いと、種々異なる治療に対するその使用が妨げられる。手術中の蛍光透視鏡画像を（容積は３次元画像とみなされ、以下では画像とする）、従来の高磁界ＭＲＩシステムまたはＣＴシステムからの高品質手術前容積／画像により増強する重ね合わせ手続きが必要である。

発明の概要
本発明は、手術中のターゲットフィーチャの２次元（２Ｄ）医学画像を手術前のターゲットフィーチャの３次元（３Ｄ）医学画像と重ね合わせる装置および方法に関するものである。ターゲットフィーチャの３Ｄ画像は第１スケルトングラフに変換される。ターゲットフィーチャの２Ｄ画像は第２スケルトングラフに変換される。第１スケルトングラフと第２スケルトングラフのグラフマッチングがグラフの荒いアライメントを得るために実行され、第１スケルトングラフと第２スケルトングラフが重ね合わされる。

次に、図面を参照しながら本発明の有利な実施形態について以下で詳しく説明する。図中、同じ要素には同じ参照符号が付されている。

図１は、本発明による例としての磁気共鳴画像（ＭＲＩ）装置に対するシステムアーキテクチャの概略図である。

図２は、本発明により手術中の２次元画像を得るためのＣアームガントリーの概略図である。

図３は、手術前の３次元画像を手術中の２次元画像と本発明により重ね合わせるための装置の概略的ブロック回路図である。

図４ａ−４ｂは、本発明により手術前画像と手術中画像とを重ね合わせるための処理を示すフローチャートである。

図５は、本発明によるターゲットフィーチャのスケルトングラフと相応する３Ｄグラフを表す図である。

図６は、本発明により第１の期間で、一連の血管をモニタされる造影剤がどのように流れるかを示す図である。

図７は、本発明により第２の期間で、一連の血管をモニタされる造影剤がどのように流れるかを示す図である。

実施例
本発明は、手術前の３次元画像を手術中の２次元画像と重ね合わせ、介入手続きを支援するための方法に関するものである。種々の様式を、磁気共鳴画像（ＭＲＩ）またはコンピュータトモグラフのような３次元画像を得るために使用することができる。画像を得るために使用することのできる装置の例は、Ｓｉｅｍｅｎｓ社製造のＭＡＧＮＥＴＯＭ ＳｙｍｐｈｏｎｙおよびＳＯＮＡＴＯＭ Ｓｅｎｓａｔｉｏｎである。

図１は、本発明により高品質の手術前３Ｄ画像を得るために使用することのできる例としてのＭＲＩシステムのコンポーネントを概略的に示す。ＭＲＩシステムはスキャンルーム１００に配置されている。マグネット１０８は画像化手続きのために第１磁界を形成する。マグネット１０８には勾配コイル１１０が、磁界にＸ，Ｙ，Ｚ方向で勾配を形成するために配置されている。勾配コイル１１０にはラジオ周波数（ＲＦ）コイル１１２が配置されている。ＲＦコイル１１２は、スピンを９０゜または１８０°回転させるのに必要な第２磁界を形成する。ＲＦコイル１１２はまた身体内のスピンからの信号を検知する。

患者１０２はマグネット１０８内で、コンピュータにより制御される患者テーブル１０６に配置される。テーブル１０６は１ｍｍの精度で位置決めされる。スキャンルーム１００はＲＦシールド１０４によって包囲されている。シールド１０４は高出力ＲＦパルスが病院へ輻射されるのを防止する。シールドはまた、テレビジョンおよびラジオからの種々のＲＦ信号がＭＲＩシステムにより検知されるのを防止する。いくつかのスキャンルームはまた磁気シールドにより包囲されており、この磁気シールドは磁界が病院へ伝播するのを防止する。最近のマグネットでは、マグネットシールドがマグネットの必須部分である。

ＭＲＩシステムの中央エレメントはコンピュータ１２６である。コンピュータ１２６はＭＲＩシステムのすべての要素を制御する。コンピュータ１２６の制御下にあるＲＦ要素はラジオ周波数源１３８とパルスプログラマ１３４である。ラジオ周波数源１３８は所望の周波数の正弦波を形成する。パルスプログラマ１３４はＲＦパルスをアポダイズされたｓｉｎｃパルスに整形する。ＲＦ増幅器１３６はパルス出力をｍＷからｋＷに増幅する。コンピュータ１２６はまた勾配パルスプログラマ１２２を制御し、この勾配パルスプログラマ１２２は３つの勾配フィールドのそれぞれの形状と振幅を設定する。勾配増幅器１２０は勾配パルスの出力を、勾配コイル１１０を駆動するのに十分なレベルに増幅する。

ＭＰＩシステムの操作者は、コントロールコンソール１２８によりコンピュータ１２６に入力する。画像化シーケンスが選択され、コンソール１２８からカスタマイズされる。操作者は画像を、コンソール１２８に配置されたビデオディスプレイ上で観察することができるか、またはフィルムプリンタ（図示せず）上に画像のハードコピーを作成することができる。

本発明によれば、外科的手続きに先行して患者は、前記のＭＲＩシステムのような高品質の画像化システムにより画像化される。外科的手続きの間には、低品質の２次元画像が記録される。典型的にはＸ線システムがこれらの画像を得るために使用される。このようなシステムの例は、Ｓｉｅｍｅｎｓ社により製造されるＡＸＩＯＭ Ａｒｔｉｓ ＭＰである。

図２は、蛍光透視鏡Ｘ線画像化システムを概略的に示す。Ｃアーム２１２はＸ線源２０８と画像増倍装置２１０を患者の周囲軌道（例えば円形軌道）に支持する。当業者には公知のように、Ｘ線画像は対象物から平面への放射線投影である。この投影は、Ｘ線源２０８から画像面上の各点（ｘ、ｙ）に放射されたＸ線に沿ったすべての吸収の集合を記録する各点（ｘ、ｙ）におけるｘとｙの２次元関数であるとみなすことができる。３Ｄ血管造影像データは、Ｘ線装置のＣアームガントリーが、患者が存在するときにそのアイソセンタを中心に回転することによってキャプチャされる。

図３は、手術前３Ｄ画像を手術中の２Ｄ画像と重ね合わせるための本発明の例としてのシステムのブロック回路図である。本発明は、手術前画像と手術中画像を利用して、ターゲットフィーチャ、例えば特定の組織領域内の血管のより有益で、費用のかからない記録画像を提供するものである。このことは侵襲性が最小である治療的介入のテーマである。例えば腫瘍は手術前に近接ＭＲＩシステムまたはＣＴシステムを使用して画像化し、手術中に蛍光透視鏡システムを使用して画像化することができる。画像は記録され、混合され、腫瘍および影響を受ける腫瘍領域についての構造情報と機能情報を提供する。
蛍光透視鏡システムを使用して手術中に記録された連続画像は手術前画像と時間を越えて混合され、医師を支援する。手術中に変形が検知されると、手術前画像を変形し、手術中画像と重ね合わせる前に変形をエミュレートするために本発明を使用することができる。

所望の組織領域または器官の３次元（３Ｄ）画像は近接ＭＲＩシステム（図１）またはＣＴシステム（図示せず）を使用して得ることができる。これは例えば１．５ Ｔ ＭＡＧＮＥＴＯＭ Ｓｏｎａｔａ ｓｃａｎｎｅｒであり、Ｓｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ社から市販されている。データが組織領域または器官ｌの画像から収集され、プロセッサ３０４によるさらなる処理のために記憶される。とりわけターゲットフィーチャ、例えば特定の組織領域と関連する血管の断面は画像からセグメント化され、スケルトングラフが後で詳細に説明するように記憶される。この画像は手術的手続きの前に獲得される。他の器官または内部構造も必要であれば画像化される。

同じ所望のターゲットフィーチャの２次元（２Ｄ）画像が次に蛍光透視鏡システム３０２を使用して獲得される。手術的手続き中に初期画像が獲得され、プロセッサ３０４に記憶される。蛍光透視鏡システムからの２Ｄ画像と、近接ＭＲＩからの手術前３Ｄ画像の厳密な記録が実行される。有利には３Ｄ画像手術前画像と２Ｄ画像手術中画像は比較的類似の状態にある。例えば画像化された内部器官は、適切な重ね合わせを補償するために両方の画像化プロセスに対して近似的に同じ状態（例えば位置と遠近）であるべきである。

上に示したように３Ｄ画像データと２Ｄ画像データはプロセッサ３０４に入力される。プロセッサ３０４はグラフィックユーザインタフェース（ＧＵＩ）を含み、これによりユーザは手動で画像中の対象領域の周りに境界線または輪郭線を描くことができる。択一的に、セグメント化アルゴリズムを使用して対象領域を識別し、ユーザの相互作用なしで輪郭線を描くことができる。当業者には公知のセグメント化アルゴリズムを使用することができる。プロセッサ３０４は、画像を記憶するデータベース３０６を有する。

ディスプレイ３１０が画像表示のために含まれており、記録された画像を表示する。インタフェースデバイス３０８、例えばキーボード、マウスまたは他の公知の形式のデバイスも含まれている。

図４ａ−４ｂは、本発明により手術前３Ｄ画像を手術中２Ｄ画像とを重ね合わせるための方法を示すフローチャートである。患者は手術的手続きの前にＭＲＩスキャンまたはＣＴスキャンを受け、ターゲットフィーチャの手術前３Ｄ画像が獲得される（ステップ４０２）。スキャンされた３Ｄ画像は後で使用するために記憶される。本発明との関連でターゲットフィーチャは血管である。血管と周囲組織を観察することにより種々の異常を診断することができる。例えばこのような方法は肝臓のガン細胞、脳異常、および心臓異常の検知に使用することができる。

ターゲットフィーチャは３Ｄ画像からセグメント化される（ステップ４０４）。造影剤が通常のようにタ―ゲットエリアに、介入手続き中に注入される。血管のセグメント化はまったく容易である。造影剤の血管を通る流れは、３Ｄ血管が蛍光透視鏡画像シーケンスから抽出するのにも使用することができる。これについては後で詳細に説明する。３Ｄ画像は所望エリアの高解像度像を提供し、ユーザはこのエリアの柔組織を視覚化することができ、深度測定を行なうこともできる。

次にセンタラインがセグメント化された３Ｄ画像から抽出される（ステップ４０６）。本発明によれば、３Ｄ対象物間引きのための平行間引きアルゴリズムがセンタラインの識別のために使用される。このようなアルゴリズムの例は刊行物"Ａ Ｐａｒａｌｌｅｌ Ｔｈｉｎｎｉｎｇ Ａｌｇｏｒｉｔｈｍ ｏｒ ３−Ｄ Ｐｉｃｔｕｒｅｓ"、Ｔｓａｏ ＆ Ｆｕ著、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， １７：３１５−３３１， １９８１に記載されており、ここに参考文献として挙げておく。センタラインの抽出により、血管の中央軸にあるボクセルの集合が得られる。連結性に対するテストが実行され、これは血管セグメントおよび分枝の識別に使用される。例えば血管セグメントの一部であるボクセルは典型的には２つだけの隣接ボクセルを有し、これに対し、分枝ボクセルは通常以下に示すようなより多くの隣接ボクセルを有する：
ｘｘ ｘｘｘｘｘｘ
ｘｘｘｘｘｏ
ｘｘｘｘｘｘｘｘ
ここでｏは分枝ボクセルであり、ｘは隣接ボクセルである。

３Ｄスケルトンツリーは間引きアルゴリズムから達成され、データベース３０６に３Ｇグラフとして記憶される（ステップ４０８）。このようなグラフの例が図５に示されている。スケルトングラフは、各血管セグメントをスケルトングラフのノードとして提示することにより発生される。血管セグメントに関する付加的情報はデータベース３０６に記憶される。このような情報は血管セグメントの長さと直径をノードの属性として含むことができる。血管セグメント間の連結情報はスケルトングラフのエッジとして提示される。血管の特有構造であるから、スケルトングラフは常にツリー形状である。より詳細にはグラフは通常、有限の根付きツリーである。スケルトングラフは有向非環グラフに、方向をエッジに比較的に太い直径の血管ノードから比較的に細い直径の血管ノードへの造影剤の流れ（これは後で説明するように２Ｄグラフから得られる）に基づいて割り当てることにより変換される（３Ｄグラフに対して）。

次に患者は手術的手続きの開始時に２Ｄ画像蛍光透視鏡システムを使用してスキャンされる（ステップ４１０）。有利には患者は、手術前に３Ｄ画像化システムによりスキャンされたときと同じ位置に位置決めされる。ここでスキャンの角度と遠近は同じである。２Ｄスキャンからの画像も同様に記憶される。

ターゲットフィーチャは２Ｄ画像からセグメント化される（ステップ４１２）。このことは、フィーチャをゼロコントラスト画像から減算することにより実行される。いったんターゲットフィーチャがセグメント化されると、２Ｄ画像の３Ｄグラフを得ることが所望される。しかしこれは簡単なタスクではない。２Ｄ画像は画像中の対象物の深さを指示することはできないから、重なり合う対象物が接続しているのか否かを区別するのは困難である。例えばターゲットフィーチャが一連の血管の場合、２Ｄ画像では血管の所定のセグメントが重なっており、従って別個の血流なのか、またはセグメントの重なりが連結された血管の分枝を指示するのかを区別するのは不可能である。

これを区別するために、血管を通る造影剤の流れが所定の期間にわたって調査される（ステップ４１４）。血管を通る造影剤の流れは、ルーテッド有向非環グラフをマッチングするのに類似する方法を使用して検知することができる。このような方法は"Ｓｋｅｌｅｔｏｎ Ｂａｓｅｄ Ｓｈａｐｅ Ｍａｔｃｈｉｎｇ ａｎｄ Ｒｅｔｒｉｅｖａｌ"、Ｈ． Ｓｕｎｄａｒ ｅｔ ａｌ． 著、Ｐｒｏｃｅｅｄｉｎｇｓ， Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｃｏｎｆｅｒｅｎｃｅ， ＳＭＩ ２００３に記載されており、本願の参考文献とする。血管のグラフは、血管の各交差点または分枝点における造影剤の到着時間および出発時間を記録することにより作成される。流れをモニタすることにより、深さを検出することができる。

本発明によれば、各交差点または分枝点における造影剤の到着時間および出発時間が記録される（ステップ４１６）。図６は、造影剤が血管をどのように流れるかを示すグラフィック表示である。最初の時点で、造影剤のスタート点が検出される。次に血管を通る造影剤の流れが所定のインターバルで追跡される。このモニタは所定のインターバルで反復され、これにより造影剤の流れを分析して、血管の構造を検出することができる。画像６０２は、造影剤が存在しない血管を含む組織領域を示す。
画像６０４は、造影剤が血管に注入され、所定の期間にわたってモニタされた同じ組織領域を示す。

造影剤が血管の特定のセグメントを通って流れると、この血管はハイライトされ、特定のセグメントが隣接するセグメントに接続しているのか、または２つのセグメントが重なっているのかを指示する。図６は、この関係をグレースケール強度が変化する血管によって示すが、当業者であれば別のカラースキームを使用するような別の形式の提示を使用できることも理解されよう。血管６０６−６１４の各分枝は異なる強度を有する。

図７は、同じ組織領域６０２を示し、画像７０４は画像６０４に対するよりも後の時点での造影剤の流れを示す。この画像から、血管６０６と６０８は重なっており、接続していないことが分る。このような決定により、組織領域での深度測定を行なうことができ、２Ｄ蛍光透視鏡画像を３Ｄ画像に重ね合わせる際の手助けとなる。

いったん血管を通る造影剤の流れが分析されると、３Ｄグラフが２Ｄスケルトンツリーから形成される（ステップ４１８）。３Ｄグラフは組織領域にある血管の構造を示し、血管の重なりおよび偽りの交差に関する曖昧さを明瞭にする。次に３Ｄグラフのグラフマッチングが、スケルトンツリーを２Ｄ画像から３Ｄ画像に粗くアライメントすることにより実行される（ステップ４２０）。ルーテッド有向非環グラフマッチングのために普通使用される方法をこのステップの実施のために使用することができる。このような方法の一例は上記の"Ｓｋｅｌｅｔｏｎ Ｂａｓｅｄ Ｓｈａｐｅ Ｍａｔｃｈｉｎｇ ａｎｄ Ｒｅｔｒｉｅｖａｌ"に記載されている。

いったん粗いアライメントが得られると、反復最近点（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｅｔ Ｐｏｉｎｔ （ＩＣＰ））アルゴリズムがスケルトンツリーの重ね合わせをリファインするために使用される。単葉蛍光透視鏡画像が、２Ｄ−３Ｄ重ね合わせを実行するために使用される。グラフマッチングは粗いアライメントを提供するだけでなく、２Ｄと３Ｄとの間の血管の対応関係も提供する。対応関係は、ＩＣＰアルゴリズムをセンタライン（ポンとの集合）に適用する際に制約として使用される。これにより重ね合わせプロセス中に局所的最小値が回避され、このことはアルゴリズムを非常に頑強にする。

付加的に、造影剤の流れをモニタしている間に得られた２Ｄ画像のシーケンス全体が、２Ｄ−３Ｄ重ね合わせの間に使用される。この情報は主に、３Ｄ画像の単葉投影に存在する曖昧さを回避するために使用される。重ね合わせパートナーは、２Ｄフィーチャと３Ｄフィーチャの投影におけるすべての対応点の最小二乗差を使用して最適化される。最適化は６つのパラメータに対して、すなわち３つの並進運動と３つの回転運動に対して実行される。

３Ｄ手術前画像を２Ｄ手術中画像と重ね合わせるための方法に対する実施例を説明したが、当業者であれば上述の説明に基づき種々の変形を施すことができる。例えば本発明は画像の固定的な重ね合わせを指向するものであるが、変形可能な重ね合わせを実行することもできる。このような場合、最適化ステップは変形を制御するためのパラメータを含むこととなる。いったん２Ｄ画像と３Ｄ画像との間で一次重ね合わせが完成されると、重ね合わせは２Ｄ画像でフィーチャを追跡することによって維持される。いずれの動き追跡アルゴリズムもこの目的のために使用することができる。

シェープモデルも、３Ｄ画像または以前の２Ｄ画像シーケンスからシェープモデルを獲得することにより使用することができる。シェープモデルは、スケルトン抽出を導くために、および最適化ステップのために使用することができる。

したがって、特許請求の範囲に記載された本発明の枠内にある既述の個々の実施形態において変更を行えることは自明である。

図１は、本発明による例としての磁気共鳴画像（ＭＲＩ）装置に対するシステムアーキテクチャの概略図である。 図２は、本発明により手術中の２次元画像を得るためのＣアームガントリーの概略図である。 図３は、手術前の３次元画像を手術中の２次元画像と本発明により重ね合わせるための装置の概略的ブロック回路図である。 図４ａ−４ｂは、本発明により手術前画像と手術中画像とを重ね合わせるための処理を示すフローチャートである。 図５は、本発明によるターゲットフィーチャのスケルトングラフと相応する３Ｄグラフを表す図である。 図６は、本発明により第１の期間で、一連の血管をモニタされる造影剤がどのように流れるかを示す図である。 図７は、本発明により第２の期間で、一連の血管をモニタされる造影剤がどのように流れるかを示す図である。

Claims (11)

1. 手術中のターゲットフィーチャの２次元（２Ｄ）医学画像を手術前のターゲットフィーチャの３次元（３Ｄ）医学画像と重ね合わせるためのシステムであって、該システムは：
   ・ターゲットフィーチャを画像化するために２Ｄ画像化装置と；
   ・ターゲットフィーチャの３Ｄ画像を記憶するためのデータベースと；
   ・２Ｄ画像を受信し、処理するためのプロセッサとを有し；
   該プロセッサは：
   ｉ）ターゲットフィーチャの３Ｄ画像を第１スケルトングラフに変換するステップ；
   ｉｉ）ターゲットフィーチャの２Ｄ画像を第２スケルトングラフに変換するステップ；
   当該２Ｄ画像を第２スケルトングラフに変換するステップは、
   ・２Ｄ画像からのターゲットフィーチャをセグメント化するステップ；
   ・ターゲットフィーチャを通る造影剤の流れを調査するステップ；
   によって実行され、
   前記造影剤の流れを調査するステップは、
   ・ターゲットフィーチャの各交差点における造影剤の流れの到着時間および出発時間を記録するステップ；
   ・到着時間と出発時間に基づいて、交差点が接続された交差点であるのか、重なり合う交差点であるのかを検出するステップ；
   を有し、
   ｉｉｉ）第１スケルトングラフと第２スケルトングラフのグラフマッチングを実行して、グラフの粗いアライメントを獲得するステップ；
   ｉｖ）第１スケルトングラフと第２スケルトングラフを重ね合わせるステップ；
   を実行し、
   重ね合わされた画像を表示するシステム。
2. 請求項１記載のシステムであって、
   ターゲットフィーチャは特定の組織領域における血管であるシステム。
3. 請求項１記載のシステムであって、
   ターゲットフィーチャの３Ｄ画像を第１スケルトングラフに変換するステップはさらに：
   ・３Ｄ画像からのターゲットフィーチャをセグメント化するステップ；
   ・セグメント化された３Ｄからセンタラインを抽出するステップ；
   を有するシステム。
4. 請求項３記載のシステムであって、
   センタラインを平行間引きアルゴリズムを使用して抽出するシステム。
5. 請求項１記載のシステムであって、
   グラフマッチングを実行するステップはさらにルーテッド有向非環グラフの使用を含むシステム。
6. 請求項１記載のシステムであって、
   第１スケルトングラフト第２スケルトングラフを重ね合わせるステップはさらに：
   ・反復最近点アルゴリズムを使用して重ね合わせをリファインするステップ；
   を有するシステム。
7. 請求項１記載のシステムであって、
   第１スケルトングラフト第２スケルトングラフの重ね合わせは、造影剤を２Ｄ画像で追跡することにより維持するシステム。
8. 請求項１記載のシステムであって、
   単葉蛍光画像を、２Ｄ画像と３Ｄ画像の重ね合わせ実行のために使用するシステム。
9. 請求項１記載のシステムであって、
   ２Ｄ画像のシーケンスは時間的に連続するシステム。
10. 請求項１記載のシステムであって、
    ターゲットフィーチャは人間器官に関連するシステム。
11. 請求項１０記載のシステムであって、
    器官は肝臓であるシステム。

Images