JP4836122B2 - 手術支援装置、方法及びプログラム - Google Patents

Description

本発明は手術支援装置、方法及びプログラムに係り、特に、手術前に撮影した手術部位の複数の高精細断層画像を表示手段に表示させることで手術の実施を支援する手術支援装置及び手術支援方法、コンピュータを前記手術支援装置として機能させるための手術支援プログラムに関する。

核磁気共鳴コンピュータ断層撮影法（ＭＲＩ：Magnetic Resonance Imaging、ＮＭＲ−ＣＴ：Nuclear Magnetic Resonance-Computed Tomographyともいう）は、静磁場内にある生体内のスピンをもつ原子核の核磁気共鳴現象を利用して生体の断層画像を得るものであり、Ｘ線ＣＴ撮影のような放射線被爆がなく、骨による影響を受けず、任意の方向についての高精細な断層画像が得られる等の特長を有しており、手術や検査等、医療の様々な場面で用いられている（なお、以下では核磁気共鳴コンピュータ断層撮影法による撮影によって得られた断層画像をＭＲＩ画像と称する）。

例えば、外科手術では、正確性を向上させるために、事前に患者のＭＲＩ画像を撮影しておき、実際の術野とＭＲＩ画像とを繰り返し見比べながら手術を進める場合がある。なお、人間の脳等の臓器には機能的に重要な場所（機能野：eloquent area）があるので（例えば運動野・感覚野・言語野・視覚野・聴覚野等）、各機能野がどの位置にどのように分布しているかを事前に調べ、手術中に参照される頭部のＭＲＩ画像上に各機能野の分布具合を地図として表示させることも行われている（functional mapping ＭＲＩともいう）。

ところで、実際に手術する場合、頭頸部は顔面骨や頭蓋骨に覆われ、脳をはじめとする重要な臓器がありかつ複雑な構造をしているため、拡大した手術野をとって全体を視野に入れて手術することが困難な場所である。このため脳神経外科における定位脳手術や、経鼻的脳下垂体主要摘出手術、耳鼻咽喉科における副鼻腔の内視鏡手術などでは、安全かつ正確に手術するために狭く小さい術野で今どこを操作しているかを３次元的に知る必要がある。また、胸部、腹部、尿路系の内視鏡手術でも同様の問題を含んでいる。

例えば定位脳手術では、術前に、患者（対象物）に、後の手術操作が容易にできるように設計されたフレーム（このフレームは単に患者の頭部を固定するだけでなく、座標を決められるようにスケールが付いたフレームで「定位脳手術用フレーム」または「定位脳手術用固定装置」ともいう）を装着し、これを含めた手術野を含む周辺をＭＲＩやＣＴスキャンして撮影し、その撮影画像から臓器を含む各部位の３次元座標を計算し、手術の対象である目的の部位に到達するまでの予め定めた原点からの移動距離を計算する。そして手術は、目的の部位に到達するまでの経路を確保、例えば頭部各所の孔からの器具挿入や、任意の場所で頭蓋骨に穴（例えば、直径１．２乃至１．６ｍｍ）を開けて目的の部位において、腫瘍の一部を採取して調べたり（生検ともいう）、電気的に凝固したり、刺激電極を設置したり、出血を吸引したりする。

しかしながら、手術中に、実際に目標に到達できているかをリアルタイムに検証・確認することは不可能であった。このため、刺入した針の先端をＣＴ室やＭＲＩ室で撮影し、その画像を確認していた（ＣＴ／ＭＲ誘導下の定位脳手術ともいう）。このＣＴ／ＭＲ誘導下の定位脳手術は、場所と器具の制限が極めて多かった。また、フレームを装着するには鋭利な固定器具で皮膚を刺す必要があり、局所麻酔薬を使用するものの苦痛が伴い、患者に過大な負担を強要していた。さらに、手術室にＣＴ／ＭＲＩ装置を設置して撮影する方法（術中ＣＴ／ＭＲＩともいう）もあるが、手術室の改造など莫大な設備投資を要するという問題がある。

また、耳鼻科領域の手術では内視鏡で確認する場合があり、この場合、ＣＴ／ＭＲ誘導下の手術は行われないのが一般的である。このような内視鏡手術では局部的な視界であるため、全体像が見えにくく、手術操作を施している部位が正確にどの部位か判別が困難な場合がある。

これらのために、様々な技術が考えられている。例えば、非特許文献１には、脳神経外科の手術において、赤外光を用いた位置検出により、手術前に撮影した頭部のＭＲＩ画像と術野の空間を共通の座標系によって対応付けると共に、現在手術操作を加えている箇所の位置を検出し、現在手術操作を加えている箇所をＭＲＩ画像上で表示するように構成された光学式手術ナビゲーション装置が開示されている。

また、非特許文献２には、超音波プローブによって手術中に超音波断層画像を撮影すると共に、超音波プローブの位置を赤外光によって検出することで、手術前に撮影した頭部のＭＲＩ画像を手術中に撮影した超音波断層画像と対応付け、非特許文献１に記載の光学式手術ナビゲーション装置と同様に、現在手術操作を加えている箇所をＭＲＩ画像上で表示するように構成されたナビゲーション装置が開示されている。

また、特許文献１には、３次元スキャンユニットを用いて、患者の皮膚表面から３次元イメージデータを獲得し、手術前に撮影した患者のＭＲＩ画像等の画像情報を、対応させて表示することを可能にするデータ登録に関する技術が開示されている。
Medtronic SNT、"StealthStation"、[online]、[平成１７年９月２日検索]、インターネット＜ＵＲＬ：http://www.stealthstation.com/physician/neuro/library/treon.jsp＞ Medtronic SNT、"SonoNav"、[online]、[平成１７年９月２日検索]、インターネット＜ＵＲＬ：http://www.stealthstation.com/physician/neuro/library/sononav.jsp＞ 特表平９−５１１４３０号公報

しかしながら、上記ナビゲーション装置は、装置が極めて高価であり、利用にあたっては患者にマーカーを施した術前の画像撮影（ＭＲＩなど）が必要であるので患者の負担が軽減することはない。また、患者の足元など一定方向からの光によって手術器具の位置を検出するため、手術器具の使用方向の自由度が低く、術者の負担が増加する。

また、上記データ登録に関する技術では、手術器具の位置を検出するため、専用の追跡ユニットが必要であると共に、座標系をさらに較正する必要があり、装置構成が複雑化すると共に、処理も煩雑になる。

さらに、手術中に手術器具の位置や操作位置を知るために、上述の術中ＣＴ／ＭＲＩを利用することも考えられるが、手術室の改造など莫大な設備投資を要するという問題がある。

本発明は上記事実を考慮して成されたもので、手術中の手術部位の状態を精度良く表す画像を提示することを簡易な構成で実現できる手術支援装置、手術支援方法及び手術支援プログラムを得ることが目的である。

上記目的を達成するために、請求項１に記載の発明に係る手術支援装置は、対象物の表面を光学的に測定し、前記対象物表面の各個所の３次元位置を表す表面形状情報を得る形状計測手段と、手術前に撮影した対象物の複数の高精細断層画像を入力する入力手段と、手術前に前記形状計測手段により表面形状情報を取得し取得された表面形状情報及び前記入力手段で入力された複数の高精細断層画像に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置とを対応づける対応処理手段と、手術中に前記形状計測手段により前記対象物表面を光学的に測定し、取得した対象物表面の表面形状情報に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置との対応関係を補正すると共に、手術中に前記形状計測手段により手術に利用する所定形状の手術器具の露出部分を光学的に測定し、取得した露出部分の表面形状情報に基づいて前記手術器具の露出部分の位置を求め、求めた露出部分の位置に基づいて、前記手術器具の先端部位を含む非露出部分の３次元位置を表す器具位置情報を取得する取得手段と、前記取得手段によって取得された前記器具位置情報に基づき、前記手術器具の非露出部分を表す手術器具画像が前記手術器具の先端部位を含む非露出部分の各位置に位置するように、前記手術器具画像を前記高精細断層画像に合成する合成手段と、前記合成手段によって合成された高精細断層画像を表示手段に表示させる表示制御手段と、を含んで構成されている。

本発明に係る手術支援装置では、手術前に撮影した手術部位の複数の高精細断層画像（１回の断層撮影で得られる手術部位の複数の断面を各々高精細に可視化した画像）を用いる。なお、複数の高精細断層画像に基づいて生成された手術部位の３次元モデルを用いてもよい。また、上記の手術部位は頭部に限られるものではなく、生体の任意の部位に適用できる。また、上記の高精細断層画像としては、例えば、核磁気共鳴コンピュータ断層撮影法によって撮影したＭＲＩ画像（このＭＲＩ画像には、ＭＲＩ画像上に各機能野の分布具合を地図として表示させたfunctional mapping ＭＲＩ画像も含まれる）が好適であるが、手術部位を高精細に表す断層画像であればよく、例えばＸ線ＣＴ撮影等の他の撮影方法で撮影した断層画像を適用してもよい。手術部位の３次元モデルとしては、例えば手術部位を多数個の立体要素の集合として表す３次元モデルを適用することができ、該３次元モデルは、例えば複数の高精細断層画像から、手術部位に相当する画像領域を各々抽出し、抽出した画像領域に対して手術部位の表面又は内部に位置し画像上での判別が容易な特徴点（例えば手術部位が副鼻腔であれば顔面の表面や副鼻腔を形成する骨や粘膜等の特徴部分に対応している点）を多数設定すると共に各特徴点の３次元位置を求め、手術部位の外縁を表す立体モデルを、設定した各特徴点を頂点（節点）とする多数個の立体要素へ分割することで生成することができる。この３次元モデルを所定方向の平面へ投影した画像を用いたり、３次元モデルの所定方向の切断面の画像を用いたりすることもできる。

また、形状計測手段は、手術部位（例えば頭部や顔面）の表面等の対象物の表面を光学的に測定し、対象物表面の各個所の３次元位置を表す表面形状情報を得る。この形状計測手段の一例は、所定方向の光線を対象物に投影し対象物上の光線位置の変動により３次元位置を計測する光切断法による形状計測装置、格子状の光線を対象物に投影し３次元位置を計測するパターン投影法による形状計測装置、レーザビーム等の光スポットを所定方向に走査し３次元位置を計測する光走査法による形状計測装置等の計測装置がある。なお、本発明では、手術操作を始める前に、複数の高精細断層画像と位置あわせ（レジストレーションともいう。後述する対応付け）をするために手術部位の表面形状を計測する。一方、手術中には術野はドレープと呼ばれる布で覆われているために、限られた部分しか露出しない（例えば、副鼻腔の手術では鼻が露出される）。このため、手術前に表面形状情報を得る。入力手段は、手術前に撮影した対象物の複数の高精細断層画像を入力する。また、対応処理手段は、形状計測手段で取得された表面形状情報及び入力手段で入力された複数の高精細断層画像に基づいて、対象物表面の各個所と高精細断層画像中の表面位置とを対応づける。これにより、手術前には患者にマーカーを施して撮影する必要はない。

また、取得手段は、手術中に、手術に利用する所定形状の手術器具の露出部分を光学的に測定し、測定した露出部分の位置に基づいて手術器具の先端部位を含む非露出部分（手術中に露出しない部分、例えば手術部位の内部や深層、底面等に入り込む部分）の３次元位置を表す器具位置情報を取得する。

なお、取得手段は、手術中に対象物の表面（例えば手術部位の表面（手術中に露出する部分））を光学的に測定し、その表面の各個所の３次元位置を表す露出位置情報を取得するようにしてもよい。例えば、手術中の操作により対象物の微動や変形（または手術部位に変位や変形）が生じた場合、対応処理手段で対応づけられた対象物表面の各個所と高精細断層画像中の表面位置との対応関係が崩れるので、手術前に撮影された高精細断層画像の精度が低下することになる。そこで、所定時間ごとに取得手段によって取得される露出位置情報が表す対象物の表面（例えば顔など）の各個所の３次元位置が変化するので、その変化された露出位置情報に基づき、対象物の各個所に対する複数の高精細断層画像を補正すなわち対象物表面の各個所と高精細断層画像中の表面位置との対応関係を補正する補正手段を備える。これにより、微動や変形が生じた後の対象物の状態を精度良く表す高精細断層画像を得ることができる。

合成手段は、高精細断層画像に、手術器具画像を合成する。すなわち、合成手段は、取得手段によって取得された器具位置情報に基づき、手術器具の非露出部分を表す手術器具画像が、手術器具の先端部位を含む非露出部分の各位置に位置するように、手術器具画像を高精細断層画像に合成する。合成された高精細断層画像は、表示制御手段によって表示手段に表示されるので、手術中の手術部位の状態を精度良く表す画像を手術者等に提示することができ、手術の精度向上に寄与することができる。

対象物の表面各個所の表面形状情報と、手術前に撮影した対象物の複数の高精細断層画像とを、対応処理手段により対応づけるので、手術前には患者にマーカーを施して撮影する必要はないため、患者に苦痛を与えることなく、フレームも不要でマーカーも必要とせず、容易に画像を提供することができる。また、取得手段による対象物表面の光学的な測定と手術器具の光学的な測定とを取得手段により行うことができ、構成が簡単かつ大幅に安価な装置で実現できるので、本発明に係る手術支援装置は、手術中にＭＲＩ画像の撮影を定期的に行う等の場合と比較して、装置構成を大幅に簡素化することができる。また、光学的な測定は、何れもＭＲＩ撮影装置による撮影等と比較して短時間で行うことができるので、本発明によれば、上記測定を行うことで手術が長時間中断されることも回避することができる。

請求項２の発明は、請求項１記載の手術支援装置において、前記形状計測手段は、前記対象物の表面をレーザ光で走査する走査装置と、前記対象物の表面で反射されたレーザ光を受光することで前記対象物の表面のうちレーザ光が照射された個所の３次元位置を検出する検出手段と、を含んで構成され、前記検出手段による３次元位置の検出を、前記対象物の表面上の各個所をレーザ光で走査しながら繰り返し行うことを特徴とする。これによって、前記表面形状情報及び前記器具位置情報を取得することができる。なお、検出手段による３次元位置の検出は、例えば三角測量法を適用して行うことができる。

前記形状計測手段を上記構成とすることにより、対象物、例えば手術部位の表面上の各個所の３次元位置を非接触で検出できるので、手術部位の表面上の各個所に接触しながら前記各個所の３次元位置を検出する等の場合と比較して、手術部位に悪影響を与えたり、手術部位に変位や変形を生じさせることなく、手術部位の表面上の各個所の３次元位置を検出することができる。また、前記形状計測手段は、対象物表面の測定と手術器具の位置の測定について共通の構成とすることにより、走査装置によるレーザ光の走査や検出手段によるレーザ光の受光が１装置で達成可能となり、装置構成を簡略化することができる。また、走査装置によるレーザ光の走査範囲等を調整する作業も一度の調整で全ての調整を実行することができる。形状計測手段は、計測時間の短縮化等のために請求項２の前記光走査法による形状計測装置等を用いることが好ましい。

なお、前記取得手段は、前記対象物の表面を撮像する撮像手段を更に備えることができる。対応処理手段では、形状計測手段により表面形状情報を取得するが、対象物表面の各個所の位置を推測するためには、表面形状情報によって３次元位置が判明している手術部位の表面の各個所が、３次元的な対象物におけるどの部分に対応しているのかを判断して対応付けを行うことが好ましい。この対応付けは、例えば手術部位の表面に表れている特徴（例えば目、鼻や耳などの顔の特徴部分等）を利用することができる。一例として手術部位の表面に表れている特徴部分を効率的に得るためには、対象物の表面を撮像する撮像手段によって撮像された画像を用いることができる。この撮像された画像も用いて対象物の各個所の位置の推測を行えば、対象物表面に表れている特徴の種類等に拘らず（例えば前記特徴が色の変化等のように、３次元位置の変化を伴わない特徴であっても）、撮像手段によって撮像された画像に基づいて対応付けを行うことができるので、前記対応関係の精度を向上させることができる。なお撮像手段は、その撮像範囲が対象物の表面上の各個所の３次元位置が検出される範囲（例えば前記走査装置によるレーザ光の走査範囲）と一致するように前記走査装置や検出手段と共通に設置されることが望ましい。これにより、撮像手段によって撮像された画像と表面形状情報との対応付けを行う必要が無くなり、表面形状情報の対応付けをより容易に行うことができる。

前記取得手段は、測定した露出部分の複数位置及び所定形状に対応する予め定めたデータに基づいて、前記手術器具の先端部位を含む非露出部分の３次元位置を推定することができる。

手術に使用される手術器具は、予め定められた所定形状の器具である。このため、その寸法や、使用目的、その使用方向等は既知である。そこで、これらに対応するデータを予め登録しておくことにより、手術器具全体の３次元位置を検出するための手段を新たに設ける必要がなくなるので、装置構成をより簡素化することができる。

前記合成手段は、前記取得手段によって取得された前記器具位置情報に基づき、前記手術器具の先端部位を予め定めた移動範囲だけ移動させたときの推定位置を求め、前記手術器具の先端部位の移動前の位置から前記推定位置または前記推定位置の途中位置までの複数位置に、前記手術器具の先端部位を表す手術器具画像が位置するように、前記手術器具画像を推定位置画像として、前記高精細断層画像にさらに合成することができる。

また、前記合成手段は、前記取得手段によって取得された前記器具位置情報に基づき、前記手術器具の先端部位を予め定めた移動範囲だけ移動させたときの推定位置を求め、前記手術器具の先端部位の移動前の位置から前記推定位置または前記推定位置の途中位置までの複数位置に、前記手術器具の先端部位を表す手術器具画像が位置するように、前記手術器具画像を推定位置画像として、前記高精細断層画像にさらに合成することができる。

手術は、その進行状況によって、手術野内において手術器具の先端部分をどれだけ移動（進行）させるべきかを検討する場合がある。この場合、手術器具が位置している場所からどれだけ移動させると、どの部位に到達するかを提示できれば、手術者等には有効な情報提供となる。そこで、取得手段によって取得された器具位置情報に基づき、手術器具の先端部位を予め定めた移動範囲だけ移動させたときの推定位置を求める。そして、手術器具の先端部位の移動前の位置から推定位置または前記推定位置の途中位置までの複数位置を求める。この複数位置は、所定間隔毎の断続的な位置でもよく、連続的な位置でもよい。これらの複数位置に手術器具の先端部位を表す手術器具画像が位置するように、前記手術器具画像を推定位置画像として、前記高精細断層画像にさらに合成する。合成した画像は、複数位置に手術器具画像が位置するよう重なってもよく、各位置で別個の合成画像を生成し、順次出力してもよい。これにより、手術者等に、手術野内において手術器具の先端部分が、手術器具が現在位置している場所から移動させたときに、どの部位に到達するかを容易に提示できる。

他の発明に係る手術支援システムが作動する方法は、本発明の手術支援装置と同様に、手術中の手術部位の状態を精度良く表す画像を提示することを簡易な装置構成で実現できる。詳細には、高精細断層画像を表示する表示手段を備えた手術支援システムにおいて、手術中に前記表示手段に表示される前記高精細断層画像に手術器具を同時に表示させて手術を支援する手術支援システムが作動する方法であって、対象物の表面を光学的に測定し、前記対象物表面の各個所の３次元位置を表す表面形状情報を得るステップと、手術前に撮影した対象物の複数の高精細断層画像を入力するステップと、手術前に前記形状計測手段により表面形状情報を取得し取得された表面形状情報及び前記入力手段で入力された複数の高精細断層画像に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置とを対応づけるステップと、手術中に前記対象物表面を光学的に測定し、取得した対象物表面の表面形状情報に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置との対応関係を補正すると共に、手術中に、手術に利用する所定形状の手術器具の露出部分を光学的に測定し、取得した露出部分の表面形状情報に基づいて前記手術器具の露出部分の位置を求め、求めた露出部分の位置に基づいて、前記手術器具の先端部位を含む非露出部分の３次元位置を表す器具位置情報を取得するステップと、前記取得された前記器具位置情報に基づき、前記手術器具の非露出部分を表す手術器具画像が前記手術器具の先端部位を含む非露出部分の各位置に位置するように、前記手術器具画像を前記高精細断層画像に合成するステップと、前記合成された高精細断層画像を表示手段に表示させるステップと、を含む。

なお、本発明では、手術前に、対象物表面の各個所と高精細断層画像中の表面位置とを対応づけ、この対応を基にする。手術中は、手術に利用する手術器具の器具位置情報を取得し、手術器具画像を、複数の高精細断層画像の各々に合成して表示する。手術中は一般的に、術野はドレープと呼ばれる布で覆われており、形状計測手段による計測が困難な場合が多い。しかし、極限られた部分（例えば、副鼻腔の手術では鼻が露出）の形状計測を行いつつ、上記の対応付けを繰り返し行っても良い。また、ドレープと呼ばれる布を剥ぎ取るだけで、術野の露出が容易である。このため、露出できる顔面の特異的構造、例えば鼻や耳などを光学的に測定し、再度位置合わせ（レジストレーション）を行うようにしてもよい。

また、その他の発明に係る手術支援プログラムをコンピュータで実行することにより、前記コンピュータが本発明の手術支援装置として機能することになり、手術中の手術部位の状態を精度良く表す画像を提示することを簡易な構成で実現できる。詳細には、高精細断層画像を表示する表示手段が接続されたコンピュータを備えた手術支援システムにおいて実行され、手術中に前記表示手段に表示される前記高精細断層画像に手術器具を同時に表示させて手術を支援する手術支援プログラムであって、前記コンピュータで実行させる処理として、対象物の表面を光学的に測定し、前記対象物表面の各個所の３次元位置を表す表面形状情報を得るステップと、手術前に撮影した対象物の複数の高精細断層画像を入力するステップと、手術前に前記形状計測手段により表面形状情報を取得し取得された表面形状情報及び前記入力手段で入力された複数の高精細断層画像に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置とを対応づけるステップと、手術中に前記対象物表面を光学的に測定し、取得した対象物表面の表面形状情報に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置との対応関係を補正すると共に、手術中に、手術に利用する所定形状の手術器具の露出部分を光学的に測定し、取得した露出部分の表面形状情報に基づいて前記手術器具の露出部分の位置を求め、求めた露出部分の位置に基づいて、前記手術器具の先端部位を含む非露出部分の３次元位置を表す器具位置情報を取得するステップと、前記取得された前記器具位置情報に基づき、前記手術器具の非露出部分を表す手術器具画像が前記手術器具の先端部位を含む非露出部分の各位置に位置するように、前記手術器具画像を前記高精細断層画像に合成するステップと、前記合成された高精細断層画像を表示手段に表示させるステップと、の各処理を含む。

以上説明したように本発明は、対象物の表面各個所の表面形状情報と、手術前に撮影した対象物の複数の高精細断層画像とを、点ではなく表面形状を対象として対応処理する対応処理手段により対応づけるので、手術前には患者にマーカーを施して撮影する必要がないばかりか患者に苦痛を与えることなく、例えば定位脳手術で用いられる３次元座標を知るためのフレームも不要で、容易に画像を提供することができる。また、対象物表面の光学的な測定と手術器具の光学的な測定とを形状計測手段により行うことができ、構成が簡単かつ大幅に安価な装置で実現できる、という優れた効果を有する。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。なお、以下では本発明を、手術部位としての患者の頭部（特に、顔面や副鼻腔等）についての手術の支援に適用した場合を例に説明するが、本発明はこれに限定されるものではない。

図１には本実施形態に係る手術支援装置１０が示されている。手術支援装置１０はパーソナル・コンピュータ（ＰＣ）等から成るコンピュータ１２を備えている。コンピュータ１２はＣＰＵ１２Ａ、ＲＯＭ１２Ｂ、ＲＡＭ１２Ｃ及び入出力ポート１２Ｄを備えており、これらはバス１２Ｅを介して互いに接続されている。また、入出力ポート１２Ｄには、ユーザが任意の情報を入力したり各種の指示を与えるためのキーボード１４及びマウス１６、ＬＣＤ又はＣＲＴから成り任意の情報を表示可能なディスプレイ１８、ハードディスクドライブ（ＨＤＤ）２０及びＣＤ−ＲＯＭドライブ２２が各々接続されている。なお、ディスプレイ１８は本発明に係る表示手段に対応している。また、手術支援装置１０は、請求項１の手術支援装置、そして請求項７及び請求項８の手術支援システムに対応している。

コンピュータ１２のＨＤＤ２０には、後述する３次元生態モデルの生成を行うための３次元モデル生成プログラム、及び後述するＭＲＩ画像表示処理を行うためのＭＲＩ画像表示プログラム等の手術ナビゲーションプログラムが予めインストールされている。本実施形態において、コンピュータ１２は請求項８に記載のコンピュータに、手術ナビゲーションプログラムは請求項８記載の発明に係る手術支援プログラムに対応しており、コンピュータ１２は手術ナビゲーションプログラムを実行することで、請求項１に記載の手術支援装置として機能することが可能となる。

手術ナビゲーションプログラムをコンピュータ１２にインストール（移入）するには幾つかの方法があるが、例えば手術ナビゲーションプログラムをセットアッププログラムと共にＣＤ−ＲＯＭに記録しておき、このＣＤ−ＲＯＭをコンピュータ１２のＣＤ−ＲＯＭドライブ２２にセットし、ＣＰＵ１２Ａに対して前記セットアッププログラムの実行を指示すれば、ＣＤ−ＲＯＭから手術ナビゲーションプログラムが読み出されてＨＤＤ２０に順に書き込まれ、必要に応じて各種の設定が行われることで、手術ナビゲーションプログラムのインストールが行われる。

また、コンピュータ１２の入出力ポート１２Ｄには、核磁気共鳴コンピュータ断層撮影法により任意の方向についての生体の高精細な断層画像（ＭＲＩ画像）を撮影可能なＭＲＩ撮影装置２４、及び３次元形状測定装置３０が各々接続されている。なお、入出力ポート１２Ｄには、ビデオカメラ（例えば３個）を接続することができる。ビデオカメラは、本発明に必須の構成ではなく、必要に応じて用いることができる。ＭＲＩ撮影装置２４は、本発明に係る「手術部位の複数の高精細断層画像」を手術前に撮影する撮影装置であり、手術を行う手術室とは別に設けられたＭＲＩ撮影室に設置されている。なお、コンピュータ１２が後述するＭＲＩ画像表示処理を実行するにあたり、ＭＲＩ撮影装置２４からは手術前にＭＲＩ撮影装置２４によって撮影されたＭＲＩ画像のデータを取得できていればよいので、コンピュータ１２はＭＲＩ撮影装置２４と接続されていなくてもよく、ＭＲＩ画像のデータは例えばＣＤ−ＲやＣＤ−ＲＷ、ＭＯ、ＺＩＰ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の各種記録媒体の何れかを介して対応する読み取り装置によりＭＲＩ撮影装置２４からコンピュータ１２へ送られるようにしてもよい。従って、ＭＲＩ撮影装置２４や各種記録媒体の読み取り装置からＭＲＩ画像のデータを取得する入出力ポート１２Ｄは本発明の入力手段に対応する。

なお、図１では、手術者が手術中に用いる手術器具３６を示した。この手術器具３６は、棒状の器具であり、手術野にあって対象物（手術部位）に接触したり進入したりする非露出部分となる先端部分３６Ｂを含む非露出側３６Ｃと、手術者が所持する等の露出部分となる露出側３６Ｄと、から構成されている。露出側３６Ｄには、所定径（例えば５ｍｍ）の球体３６Ａがアームを介して所定個数（例えば３個）取り付けられている。この球体３６Ａは、手術器具３６の各位置を特定するための検出基準となるものである。手術器具３６の形状は予め計測されており、手術器具３６に対する球体３６Ａの位置関係も予め計測されている。これらの計測データは、ＨＤＤ２０に予め格納されている。なお、手術器具の変形例として、非露出部を目視するために術野にファイバーを挿入する内視鏡装置がある。内視鏡装置は、倍率調整や先端部の屈曲度合いを調整する調整機構、そしてファイバを主要構成としている（図示省略）。これらの内視鏡装置の形状を予め計測しておき、図示しない調整機構に対する内視鏡装置の変形量や位置関係も予め計測しておく。そして、内視鏡装置の位置を特定するために、上記の球体を設けると共に、変形に寄与する調整機構の調整量を入力するようにすれば、手術器具３６と同様に内視鏡装置の位置関係及び可動関係を特定することができる。これらの計測データは、ＨＤＤ２０に格納すればよい。

ここで、本実施の形態では手術支援装置１０として３次元形状測定装置３０を備えているが、この３次元形状測定装置３０は患者の顔面等の形状測定を行うと共に、手術中の手術器具の位置検出を行うという、異なる対象物（の３次元位置）を測定することを兼用している。

図３に示すように、３次元形状測定装置３０は、一対のレール５４の間に掛け渡された可動ベース５６を備えている。可動ベース５６は、レール５４と平行に延設されモータ５８によって回転されるボールネジ６０が螺合しており、ボールネジ６０の回転に伴いレール５４に沿って摺動移動される。また、可動ベース５６にはレーザ光源を含んで構成された発光部６２が取付けられており、発光部６２のレーザ光（送出レーザ光）射出側には、可動ベース５６に取付けられたミラー６４、モータ７２の回転軸に取付けられモータ７２の駆動に伴って向きが変更されるガルバノメータミラー６６が順に配置されている。発光部６２から射出された送出レーザ光は、ミラー６４、ガルバノメータミラー６６で反射されることで、筐体外へ射出される。

また、３次元形状測定装置３０の筐体外へ射出された送出レーザ光は、被照射体（例えば手術部位としての脳の表面）で反射され、戻りレーザ光として、カバー５０を透過してミラー６７に入射される。ミラー６７は、ガルバノメータミラー６６と同一の向きでモータ７２の回転軸に取付けられ、モータ７２の駆動に伴って向きが変更されるように構成されている。ミラー６７の戻りレーザ光射出側にはミラー６８、レンズ６９、多数個の光電変換素子が一列に配列されて成るラインセンサ７０が順に配置されており、ミラー６７に入射された戻りレーザ光はミラー６７、６８で反射され、レンズ６９を透過することで、ラインセンサ７０で受光される。ラインセンサ７０からの出力信号は増幅器やＡ／Ｄ変換器を介して３次元形状測定装置３０のコントローラに入力される（何れも図示省略）。またコントローラには、可動ベース５６の位置を検出する位置センサと、ガルバノメータミラー６６（及びミラー６７）の向きを検出する角度センサも接続されている。

コントローラは、ラインセンサ７０から増幅器・Ａ／Ｄ変換器を経て入力された受光データに基づいて、ラインセンサ７０の何れの光電変換素子でレーザ光が受光されたかを判断し、ラインセンサ７０上でのレーザ光を受光した光電変換素子の位置と、センサによって検出された可動ベース５６の位置及びガルバノメータミラー６６の向きに基づいて、被照射体上のレーザ光照射位置の３次元座標（詳しくは、３次元形状測定装置３０の筐体の位置を基準として設定された３次元座標系（筐体座標系と称する）における３次元座標）を三角測量法により検出（演算）する。また、コントローラにはモータ７２、５８が各々接続されており、モータ７２を駆動してガルバノメータミラー６６（及びミラー６７）の向きを変化させることで、被照射体上のレーザ光照射位置をモータ７２の回転軸の軸線と直交する方向に沿って移動させる（主走査）と共に、モータ５８を移動して可動ベース５６を移動させることで、被照射体上のレーザ光照射位置をレール５４と平行な方向に沿って移動させる（副走査）。

これにより、被照射体の表面形状（被照射体の表面の各個所の３次元座標）が、その全面に亘り、３次元形状測定装置３０によって測定されることになる。３次元形状測定装置３０はコンピュータ１２から指示されると被照射体の表面形状の測定を行い、測定によって得られた被照射体の表面の各個所の３次元座標を表すデータ（以下、このデータを表面測定データと称する）をコンピュータ１２へ出力する。なお、表面測定データは本発明に係る表面形状情報に対応しており、レール５４、可動ベース５６、モータ５８、ボールネジ６０、発光部６２、ミラー６４、ガルバノメータミラー６６及びモータ７２は請求項２に記載の走査装置に、ミラー６７、６８、レンズ６９、ラインセンサ７０及びモータ７２は請求項２に記載の検出手段に各々対応している。また、ビデオカメラを設置する場合には、３次元形状測定装置３０による測定範囲と同一の範囲を撮像するように、位置及び向きが調節されることが好ましい。さらに、３次元形状測定装置３０による測定範囲は、患者である対象物の顔部分全域（好ましくは頭部全域）を少なくとも含み、手術者が手術器具３６を操作する操作範囲を網羅する３次元領域を含むように予め設定されている。

図２に示すように、３次元形状測定装置３０は、測定範囲が患者である対象物の顔部分全域を少なくとも含みかつ手術者が手術器具３６を操作する操作範囲を網羅する３次元領域を含むように設置することが好ましい。この場合、手術の操作で手術者の邪魔にならない位置の一例として患者である対象物の斜め上方（図２では右上方向）から手術部位付近を走査できる位置に設置することが好ましい。このようにすれば、３次元形状測定装置３０によって、患者である対象物の頭部の形状または顔部の形状が検出され、各部位の３次元座標が測定される。これと共に、３次元形状測定装置３０によって、手術器具３６に取り付けられた光反射率の高い材料から成る球体３６Ａの３次元座標が３次元形状測定装置３０によって測定される。

なお、図２では、副鼻腔の手術を一例として示しているが、手術中に鼻が露出される患者を覆うドレープと呼ばれる布は省略している。また、３次元形状測定装置３０を手術台に固定することで、手術台をローテーション（回転）することにより患者の体位を変更できると共に、３次元形状測定装置３０と患者の位置は不変であるためレジストレーションは後述するように初回のみ行えばよい。

次に本実施形態の作用を説明する。本実施形態において、耳鼻咽喉科における副鼻腔に関する手術を行うにあたっては、まずＭＲＩ撮影室で患者（手術の対象者）の頭部のＭＲＩ画像がＭＲＩ撮影装置２４によって事前に撮影される。なお、ＭＲＩ画像の撮影時には、ＭＲＩ画像に写る材質から成る術前マークを施すことは不要である。これは後述するように、３次元形状測定装置３０で測定した各部位の位置から患者の特徴的な位置や形状（例えば、図５（Ｂ）に示す両耳及び鼻やそれらの頂点である基準点８１）を決定するためである。

ＭＲＩ画像の一例は、図５（Ａ）に示すように、患者の頭部に対して一定間隔（例えば１ｍｍ程度）で設定した複数の断面の各々について、ＭＲＩ撮影装置２４によって撮影される。なお、上述のように撮影時にはマーカーは不要であるが、表面形状を認識することにより各種の部位を同定するための耳、鼻、口、目などを含んで撮影する。これにより、設定した各断面を高精細に可視化した複数のＭＲＩ画像（手術部位の複数の高精細断層画像）が得られる。なお、撮影によって得られた複数のＭＲＩ画像の各々には、患者の皮膚と空気の境界線が含まれており、その境界線から患者の表面形状を構築することができる。また、ＭＲＩ撮影装置２４によって撮影された複数のＭＲＩ画像は本発明に係る複数の高精細断層画像（ＭＲＩ画像）に対応している。

上記の撮影によって得られた複数のＭＲＩ画像のデータは、ＭＲＩ撮影装置２４からコンピュータ１２に入力され、ＨＤＤ２０に記憶される。そして、コンピュータ１２によって患者の３次元生態モデルとして表面形状の３次元モデルの生成が行われ、患者のレジストレーションに用いられる（詳細は後述）。

本実施形態では、手術を進めるにあたり手術者によりコンピュータ１２に対して手術ナビゲーションプログラムの起動が指示されることで、手術中にはコンピュータ１２によってＭＲＩ画像表示処理を含む手術ナビゲーション処理が実行される。このＭＲＩ画像表示処理を含む手術ナビゲーション処理について、図４のフローチャートを参照して説明する。

まず患者を所定体位に（例えば横臥）させ、手術野である頭部をしっかりと固定する。また、３次元形状測定装置３０を(術野の上で手術操作の妨げにならない場所など)所定の位置に固定する。これらの固定が完了し、手術に移行することを表す情報がキーボード１４を介して手術者によって入力されると、ステップ１００へ進み、ステップ１００ではキーボード１４により手術ナビゲーションプログラムの起動が指示されるまで否定判定を繰り返し、肯定されると、ステップ１０２へ進む。ステップ１０２では、各種の初期データを取得する。この初期データには、複数のＭＲＩ画像のデータや３次元形状測定装置３０の位置関係のデータ、手術器具３６の計測データなどがある。このステップ１０２以降ステップ１１６までの処理では、手術中の筐体座標系における座標値をＭＲＩ座標系における座標値に変換するための座標変換式を求めるキャリブレーション処理を含むレジストレーションが行われる。レジストレーションは、ＭＲＩ画像による患者の顔の表面形状と３次元形状測定装置３０で測定した表面形状の位置合わせ処理である。

次のステップ１０４では、３次元形状測定装置３０に対して表面形状の測定を指示する。これにより、３次元形状測定装置３０では、患者の顔表面を含む患者の頭部へ向けて送出レーザ光を射出し、患者の頭部で反射された戻りレーザ光のラインセンサ７０上での受光位置に基づいてレーザ光の照射位置の３次元座標を検出（演算）することを、ガルバノメータミラー６６（及びミラー６７）の向きを変化させると共に可動ベース５６を移動させながら繰り返すことで、患者の顔の表面形状（顔の各個所の３次元座標）の測定を行う。この３次元形状測定装置３０による表面形状の測定結果として出力される表面測定データは筐体座標系における３次元座標値である。３次元形状測定装置３０による表面形状測定が完了すると、ステップ１０６において、「レジストレーション中」であることを表すメッセージをディスプレイ１８に表示させる。この表示は、現在の状態がＭＲＩ画像による患者の顔の表面形状と３次元形状測定装置３０で測定した表面形状の位置合わせ処理を実行中であることを報知している。

次のステップ１０８では、複数のＭＲＩ画像を用いて、ＭＲＩ画像を再構築することにより３次元生態モデル（表面形状の３次元モデル）を生成する。この表面形状の３次元モデルの生成について説明する。まず入力されたデータが表す複数のＭＲＩ画像から基準点を抽出する。この場合の基準点とは、患者の表面における何れかの頂点や肢体の一点でよく、具体的には、鼻の頂点部位、耳の最上位の部位、口の端部、眼球中心等がある。この基準点は、ＭＲＩ画像における患者の皮膚と空気の境界線が複数のＭＲＩ画像の中で最外周となる点を検出したり、複数のＭＲＩ画像の境界線をつなぐ曲面形状が鼻、耳、口、眼球等の特徴部分であることを特定し、その特定した特徴部分の頂点を検出したりする画像処理により抽出し、顔面の表面を抽出する。

次に、抽出した点のうち何れか１つを原点として３次元座標系（以下、ＭＲＩ座標系と称する）を設定する。また、複数のＭＲＩ画像から患者の表面に相当する画像領域（すなわち境界線）を各々抽出し、複数のＭＲＩ画像から各々抽出した画像領域に対し、顔の表面に位置し、ＭＲＩ画像や表面測定データ、画像上での判別が容易な特徴点（顔面や鼻、耳、口、眼球等の特徴部分に対応している点）を多数設定し、ＭＲＩ座標系での各特徴点の３次元座標を求めると共に、各特徴点のＭＲＩ座標系での３次元座標と、各特徴点のＭＲＩ画像上での位置をＨＤＤ２０等に記憶する。

上記設定した多数の特徴点のうち、患者の表面に位置している特徴点（節点）を辺で結び、辺で囲まれた部分を平面とみなすことで、患者の頭部の外縁を表す立体モデル（表面形状の３次元モデル）を生成する。図５（Ｃ）には（紙面の右側）、患者の頭部表面を表す立体モデルを示した。この立体モデルである表面形状の３次元モデルは、多数個の立体要素へ分割することにより、患者の頭部の複数のＭＲＩ画像から、患者頭部の表面形状を多数個の立体要素の集合として表すことができる。また、コンピュータ１２は、ＭＲＩ座標系での各特徴点（各節点）の３次元座標に基づいて表面形状の３次元モデルにおける節点の疎密を調べ、表面形状の３次元モデル中に節点の間隔が大きい（密度が低い）領域が存在していた場合には、該領域に対して節点を追加することで、表面形状の３次元モデルを構成する各立体要素のサイズを均一化することができる。そしてコンピュータ１２は、生成した表面形状の３次元モデルのデータをＨＤＤ２０に記憶させる。

上述の３次元生態モデルである表面形状の３次元モデルの生成をコンピュータ１２とは別のコンピュータで行い、生成された表面形状の３次元モデルのデータをコンピュータ１２へ転送するようにしてもよい。また、表面形状の３次元モデルを事前に生成済みの場合には上述のステップ１０８の処理は、格納されたメディアから生成済みのデータを読み取るのみでよい。

なお、本実施形態では、詳細は後述される表面形状を位置合わせに用いるための表面形状の３次元モデルを生成すればよいが、他の３次元生体モデルとしては副鼻腔の３次元モデルや脳の３次元モデル等のように臓器やその一部をモデル化してもよい。この一例として、頭部表面とその内部について特徴点を設定し、ＭＲＩ座標系での各特徴点の３次元座標を求めることで、患者の頭部の内部の臓器についてもモデル生成を行うことができる。例えば、副鼻腔の３次元モデルの場合、複数のＭＲＩ画像から患者の副鼻腔に相当する画像領域を各々抽出し、複数のＭＲＩ画像から各々抽出した画像領域に対し、頭部の表面又は内部に位置し、ＭＲＩ画像や表面測定データ、画像上での判別が容易な特徴点を多数設定し、ＭＲＩ座標系での各特徴点の３次元座標を求めると共に、各特徴点のＭＲＩ座標系での３次元座標と、各特徴点のＭＲＩ画像上での位置をＨＤＤ２０等に記憶する。また、脳の３次元モデルの場合、複数のＭＲＩ画像から患者の脳に相当する画像領域を各々抽出し、複数のＭＲＩ画像から各々抽出した画像領域に対し、脳の表面又は内部に位置し、ＭＲＩ画像や表面測定データ、超音波断層画像上での判別が容易な特徴点（脳溝や脳回、動脈、静脈等の脳の特徴部分に対応している点、脳腫瘍と正常部との境界に相当する点も含む）を多数設定し、ＭＲＩ座標系での各特徴点の３次元座標を求めると共に、各特徴点のＭＲＩ座標系での３次元座標と、各特徴点のＭＲＩ画像上での位置をＨＤＤ２０等に記憶する。

表面形状の３次元モデル（３次元生態モデル）の再構築が終了すると、ステップ１１０へ進み、顔面の特徴部位を決定した後、パターンマッチングにより３次元形状測定装置３０による表面形状データと合成するための変換式を求める。ステップ１０８で再構築した表面形状の３次元モデルは、ＭＲＩ座標系における３次元座標値でその表面位置を特定できる。一方、ステップ１０４で取得した３次元形状測定装置３０による表面測定データは筐体座標系における３次元座標値でその表面位置を特定できる。そこでまずパターンマッチングによりステップ１０８で再構築した表面形状の３次元モデルの表面位置と、ステップ１０４で取得した３次元形状測定装置３０による表面測定データの位置とが一致する（位置誤差が少なくとも最小となる）ように、ＭＲＩ座標系または筐体座標系の座標軸を移動及び回転の少なくとも一方を実行する。この座標系の座標軸の移動や回転を行うための行列式がＭＲＩ座標系と筐体座標系との間の座標変換式のパラメータである。このパターンマッチングにより、耳、鼻、口、目などを含む顔面の特徴部位を対応させる。この対応させるための座標軸の移動や回転を行う行列式を計算することで、筐体座標系における３次元座標値と、術前のＭＲＩ座標系における３次元座標値との間で３次元座標値を変換する座標変換式を導出し、導出した座標変換式をＨＤＤ２０に記憶させる。

次に、ステップ１１２では、パターンマッチングされた表面形状の３次元モデル中の何れか１点を、ナビゲーション原点として設定する。この設定は、手術者によって行ってもよく、上記のようにして抽出した点の何れか１つを自動的に設定してもよい。次のステップ１１４では、設定したナビゲーション原点を座標軸原点とした座標系を設定する。すなわち、術前のＭＲＩ座標系における３次元座標値から設定したナビゲーション原点を座標軸原点とした座標系における３次元座標値に変換する座標変換式を導出し、導出した座標変換式をＨＤＤ２０に記憶させる。このようにナビゲーション原点(ｘ＝０、ｙ＝０、ｚ＝０)を設定することにより、頭頸部と術中画像取得装置の位置関係が変わらない限りレジストレーションをする必要はない。つまり、ナビゲーション原点からみた空間的位置情報（ｘ座標、ｙ座標、ｚ座標）を表示することが可能であり、術野のどの位置がＭＲＩ画像のどの位置に相当するかを示せるようになる。以上のようにすることでキャリブレーション処理が完了する。次のステップ１１６では、「レジストレーション完了」のメッセージをディスプレイ１８に表示する。

なお、上記では表面形状についてＭＲＩ座標系と筐体座標系の点同士の対応によりパターンマッチングする場合を説明したが、３次元形状測定装置３０による表面測定データから筐体座標系における顔面の表面形状の形状測定モデルを生成して表面形状全体でパターンマッチングしてもよい。この形状測定モデルは、表面形状の３次元モデルと同様にして生成することができる。

このように、手術前にレジストレーションが完了する。すなわち手術開始前に（患者を手術用の布（ドレープ）で覆う前に）、患者を固定して体位を取った後、３次元形状測定装置３０を術野上で手術操作の妨げにならない場所等に固定し、耳・鼻・口・目などを含む顔面を走査・測定し、この位置情報（３次元座標値）をＭＲＩ画像を再構築した頭頸部表面の位置と対応させる。そして、その中の一点を原点（ｘ＝０、ｙ＝０、ｚ＝０）とする。位置の対応においては３次元形状測定装置３０による表面測定データは、３次元座標値を持つ点群であるので、ＭＲＩ画像から表面を抽出（サーフェイスレンダリング）し、特徴部位を抽出して、この特徴部位がマッチングするよう座標変換式を求める。これにより頭頸部と３次元形状測定装置３０の位置関係が変わらない限りレジストレーションをする必要はない。これにより原点からみた空間的位置情報（ｘ，ｙ，ｚ座標）を表示することが可能であり、術野のどの位置がＭＲＩのどの位置に相当するかを示すことができる。レジストレーション用のデータ取得が完了すると、術者は手洗いをし、術衣を着て、患者の手術する場所を消毒し、手術操作を加える部分のみを露出して他は布（ドレープ）で覆い隠す。次に手術開始となるが、この間は約１０から１５分あり、上述のレジストレーションの計算処理には充分な時間がある。

以上のようにして、レジストレーションが終了したのち、手術開始とする場合、術者は、キーボード１４により開始指示することで、ステップ１１８が肯定されステップ１２０へ進む。ステップ１２０では、手術前に撮影されたＭＲＩ画像のデータをＨＤＤ２０から読み込み、読み込んだデータに基づいてＭＲＩ画像（患者の頭部の高精細な断層画像）をディスプレイ１８に表示させる。この場合、ナビゲーション原点からみた空間的位置情報（ｘ座標、ｙ座標、ｚ座標）による表示がなされる。ディスプレイ１８に表示された上記のＭＲＩ画像を参照することで、手術者は、患者の頭部における位置等を正確に判断することができる。なお、ＭＲＩ画像の表示専用の高精細なディスプレイを設け、この高精細ディスプレイにＭＲＩ画像を表示させるようにしてもよい。

ＭＲＩ画像がディスプレイ１８に表示されると、手術者は、手術操作を開始するが、この手術操作には例えば手術器具３６を頭部へ挿入する等の操作が含まれている。そして、このような操作を加える場合、ディスプレイ１８に表示されているＭＲＩ画像を参照しても、手術者がどこに手術器具３６が位置するのか、どこまで手術器具３６を挿入してよいのか等の位置や範囲等を精度良く判断することが困難となる。このため、本処理では、ＭＲＩ画像の表示を開始してからリアルタイムまたは一定時間が経過する毎に手術器具３６の位置測定をしかつその手術器具３６の画像をＭＲＩ画像に合成してディスプレイ１８に表示する処理を行う。

まずステップ１２２では、３次元形状測定装置３０に対して手術器具３６の測定を指示する。これにより、３次元形状測定装置３０では、手術器具３６へ向けて送出レーザ光を射出し、手術器具３６の球体３６Ａで反射された戻りレーザ光のラインセンサ７０上での受光位置に基づいてレーザ光の照射位置の３次元座標を検出（演算）することを、ガルバノメータミラー６６（及びミラー６７）の向きを変化させると共に可動ベース５６を移動させながら繰り返すことで、手術器具３６（の各個所の３次元座標）の測定を行う。

ステップ１２４では、ステップ１２２において得られた３次元形状測定装置３０からの手術器具３６の位置データに基づいて手術器具３６の３次元座標を求める。手術器具３６は、既知の形状であり、球体３６Ａの位置（３次元座標）を測定できれば、手術器具３６の各部位の位置を求めることができる。そこで、球体３６Ａの位置（３次元座標）から、手術器具３６の先端部分３６Ｂを含む各位置を求める。各位置の３次元座標値は、筐体座標系のものであるため、先に求めた筐体座標系の座標値からＭＲＩ座標系の座標値への座標変換式をＨＤＤ２０から読み出し、読み出した座標変換式を用いて、手術器具３６の各点の３次元座標（筐体座標系における座標値）を、ＭＲＩ座標系における３次元座標値へ各々変換する。さらに、ナビゲーション原点を座標値原点にするための座標変換式をＨＤＤ２０から読み出し、読み出した座標変換式を用いて、ＭＲＩ座標系における３次元座標値を各々変換して、座標変換後の位置データをＨＤＤ２０に記憶させる。これにより、器具位置情報（先端部分３６Ｂ等の非露出部分の位置データ）を含む手術器具３６の位置データと表面形状の３次元モデル（及びＭＲＩ画像）との位置合わせが完了する。

ステップ１２６では、ＭＲＩ画像（または表面形状の３次元モデル）に手術器具３６を表す手術器具画像を合成する。すなわち、上記ステップ１２４において手術器具３６の３次元座標値が求まっている。この３次元座標値の各位置に手術器具画像の各位置を対応させて、ＭＲＩ画像に手術器具画像を合成する。ところで、手術器具３６は、先端部分３６Ｂ等のように、目視的には非露出部分（手術器具３６が患者頭部の内部に位置する部分、例えば３次元形状測定装置３０で位置検出できない顔面内部等の非露出部分）を有することになる。上記のように、ＭＲＩ画像に手術器具画像を合成することで、ＭＲＩ画像に非露出部分の手術器具画像を表示することができる。

ところで、手術中は、その進行状況によって、手術器具の先端部分をどれだけ移動（進行）させるべきかを検討する場合がある。手術器具３６が、患者頭部の内部（例えば顔面内部）に位置している場合はなおさらである。本実施の形態では、手術器具３６の形状が予め既知であるので、上述のように、３次元形状測定装置３０では３次元座標を検出できない非露出部分の位置の特定は容易である。また、移動距離が設定されていれば手術器具３６を仮想的に移動させることが可能である。

そこで、ステップ１２８では、手術器具３６の移動シミュレーションの処理のための画像を生成する。まず、ステップ１２４で求めた球体３６Ａの位置（３次元座標）による手術器具３６の先端部分３６Ｂの位置を基準として、予め定めた移動範囲（例えば、５ｃｍだけ手術器具３６の軸方向へ直進すること。この移動量や方向は、手術者が入力するようにしてもよい。）の到達位置（推定位置）を求める。この到達位置は、予め移動範囲として設定された値の位置のみでもよく、予め移動範囲として設定された値の位置を最終地点として、その途中の１または複数位置としてもよい。１または各位置の３次元座標値は、筐体座標系のものであるため、先に求めた筐体座標系からＭＲＩ座標系への座標変換式およびナビゲーション原点を座標軸原点にするための座標変換式をＨＤＤ２０から読み出し、読み出した座標変換式を用いて、手術器具３６の到達位置の１または各点の３次元座標（筐体座標系における座標値）を、ＭＲＩ座標系における３次元座標値へ変換し、さらにナビゲーション原点を座標軸原点にした座標値に変換して座標変換後の位置データをＨＤＤ２０に記憶させる。これにより、予め移動範囲として定めた移動方向に対する移動量で到達することが予測される１または複数の位置の位置情報（特に、先端部分３６Ｂの非露出部分の位置データ）が３次元生態モデル（及びＭＲＩ画像）へ位置合わせされる。そして、この１又は各位置に手術器具３６の先端部分３６Ｂの画像を重畳した画像を生成すれば、手術器具３６を仮想的に移動させたことに相当する画像を提示できる。

このように、手術器具が位置している場所からどれだけ移動させると、どの部位に到達するかを提示できれば、手術者等には有効な情報提供となる。なお、到達位置として複数位置を定める場合、所定間隔毎の断続的な位置でもよく、連続的な位置でもよい。また、これらの１または複数の到達位置に手術器具の先端部位を表す手術器具画像が位置するように、手術器具画像を推定位置画像として、高精細断層画像にさらに合成する場合、合成する画像は、複数位置に手術器具画像が位置するよう重なってもよく、各位置で別個の合成画像を生成し、順次出力してもよい。これにより、手術者等に、手術野内において手術器具の先端部分が、手術器具が現在位置している場所から移動させたときに、どの部位に到達するかを容易に提示することができる。なお、上述の手術器具３６の移動シミュレーションが不要の場合には、ステップ１２８の処理は不要である。

次のステップ１３０では、ステップ１２６及び１２８による手術器具３６の先端部分３６Ｂの位置及び先端部分３６Ｂが移動することが推定される到達位置に合成された手術器具画像を含むＭＲＩ画像をディスプレイ１８に表示させることで、ディスプレイ１８に表示しているＭＲＩ画像を更新してステップ１２２に戻る。

これにより、ディスプレイ１８に更新表示された上記のＭＲＩ画像を参照することで、手術者は、手術中の各種の手術操作により対象物（患者頭部の外部や内部）の各部の状態を正確に判断することができる。また、上述したＭＲＩ画像の更新表示は、手術が終了する迄の間（ステップ１３２の判定が肯定される迄の間）、繰り返し行われるので、手術者は、随時更新表示されるＭＲＩ画像を参照することで、手術器具の位置や、手術器具を移動させたときの到達位置等の位置関係を確認しながら手術を行うことができる。また、ディスプレイ１８に表示させるＭＲＩ画像は、事前に調査した各機能野の分布具合が地図として重畳表示されたfunctional mapping ＭＲＩ画像であってもよいが、このfunctional mapping ＭＲＩ画像を表示するようにした場合、手術者は、手術操作を加えている部位と各機能野の位置関係を把握しながら手術を進めることができる。

このように、術前のＭＲＩ画像の冠状断、矢状断、水平断を再構築して表示し、手術位置を点滅するポイントとして表示する。さらに、棒状の手術器具を刺入することのシミュレーションとして、例えばまっすぐに５ｃｍ刺入すると、どこに到達するかなどを計算し即座に画像に表示できる。

このようにして、手術中にナビゲーションが実行される。すなわちすなわち、３次元形状測定装置３０により、手術器具３６の位置を走査・測定する。この３次元座標値の位置は上述の原点からみた空間的な位置情報として表示でき、ＭＲＩ画像上に表示できる。また、棒状の手術器具の端に球を複数付け、球の位置を感知することにより先端の位置を計算してＭＲＩ画像上に表示できる。このときには、上述のレジストレーション（位置合わせ）のためのデータ取得は特に必要としない。これは、第１：術野の大部分は手術用の布で覆われていて見えない、第２：患者はピンなどを用いなくても動かないように固定でき、故意に患者の体位を変えない限りスキャナと患者の位置は変わらず、最初のレジストレーションのみで良い、という理由からである。

しかし、知らずのうちに患者の位置が動いている場合や、意図的に患者の位置を変えて手術を行いたい場合には、ナビゲーションの精度を向上するため、上述のレジストレーションを再度実行することが好ましい。特に、耳鼻咽喉科における手術では、術野に特徴ある表面形状を含むため、レジストレーションに必要なデータを手術中でも（布に隠れていないので）取得することができる。ドレープにより表面が隠れている場合には、、手術者は布（ドレープ）を取り除き、上述のようにして筐体座標系の変動に伴うレジストレーションを再実行すればよい。これは、表面形状取得のための３次元形状測定装置３０で同時に手術器具の位置も測定できるという本実施形態の手術支援装置１０に固有のものであり、最初にレジストレーションを行い、２回目以降簡単なレジストレーションを行い、高いナビゲーション精度を維持することもできる。

以上説明したように、本実施形態に係る手術支援装置１０では、３次元形状測定装置３０によって対象物（本実施形態では患者の頭部）の表面が光学的に測定されることで得られた表面形状データと、事前に撮影したＭＲＩ画像との対応を容易にとることができる。また、表面形状データと３次元生態モデル（表面形状の３次元モデル）とのパターンマッチングにより、耳、鼻、口、目などを含む顔面の特徴部位を対応させることができるので、筐体座標系における３次元座標値と、術前のＭＲＩ座標系における３次元座標値との対応が簡便に求められる。このため、ＭＲＩ画像に写る材質から成る術前マークを施すことは不要であると共に、患者の頭部等の対象物をフレームなどで強固に固定する必要はない。さらに、手術器具の位置を、患者の頭部等の対象物の形状を測定するための３次元形状測定装置で兼用することによって、装置構成を簡単にすることができる。

なお、本実施の形態の手術支援装置１０は、深部脳刺激術・破壊術、脳腫瘍生検術、血腫吸引術など、先に述べた定位脳手術の他、頭頚部腫瘍の摘出術、副鼻腔炎の根治術など耳鼻咽喉科・口腔外科領域の手術の開始時、摘出中、摘出終了時など随時周囲と手術操作を加えた部分の適切な解剖学的位置関係を確認しながら安全な手術を行うことができる。また、残存腫瘍(腫瘍の取り残し)の確認が行え、摘出を完全にすることが可能になる。これらを実現するために、患者に苦痛を与えるフレームの固定や、術前ＣＴ／ＭＲＩ撮影時のマーカーなど煩雑な手技も必要ない。

また、本実施形態に係る手術支援装置１０では、３次元形状測定装置３０による表面形状の測定及び手術器具３６の位置測定が１０秒程度の時間で完了するので、手術中にＭＲＩ画像の撮影を定期的に行う場合と比較して手術操作の中断時間が大幅に短縮される。

また、本実施形態に係る手術支援装置１０は、既存の脳神経外科の手術設備に、３次元形状測定装置３０、３次元モデル生成プログラム及びＭＲＩ画像表示プログラム等の手術ナビゲーションプログラムをインストールしたコンピュータ１２を追加するのみで実現できるので、手術中にＭＲＩ画像の撮影を定期的に行う場合と比較して遙かに低コストで実現することができる。

なお、本実施の形態において、ビデオカメラによって撮像された画像を表面測定データと表面形状の３次元モデルとの対応付けに用いることで、例えば顔の表面の色の変化等のように表面測定データ上では明瞭でない特徴も利用して表面測定データと表面形状の３次元モデルとの対応付けを行うことができるので、表面測定データと表面形状の３次元モデルとの対応付けの精度を向上させることができる。

また、上記では本発明に係る高精細断層画像としてＭＲＩ画像を例に説明したが、手術部位を高精細に表す断層画像であればよく、例えばＸ線ＣＴ撮影等、他の公知の撮影方法で撮影された断層画像を適用してもよい。また、本発明に係る高精細断層画像以外に、他の撮影方法（例えばポジトロン・エミッション断層撮影法（ＰＥＴ）やシングル・フォトン・エミッション・コンピュータ断層撮影法（ＳＰＥＣＴ）等）で撮影された他の断層画像も参照しながら手術が行われる場合、他の断層画像を本発明に係る高精細断層画像と事前に対応付けておき、前述のように表面測定データ及び非露出部分データに基づいて本発明に係る高精細断層画像を補正した後に、補正後の高精細断層画像に基づいて前記他の断層画像も補正して表示するようにしてもよい。

また、上記実施の形態では、本発明の形状測定手段の一例として、レーザ光を走査しながら光走査法による形状測定を行い３次元座標を得る３次元形状測定装置を用いた場合を説明したが、本発明はこれに限定されるものではない。例えば、所定方向の光線を対象物に投影し対象物上の光線位置の変動により３次元位置を計測する光切断法による形状計測装置、格子状の光線を対象物に投影し３次元位置を計測するパターン投影法による形状計測装置、その他の３次元座標値を得ることができる形状測定装置を用いても良い。

手術支援装置の概略構成を示すブロック図である。 ３次元形状測定装置を独立して備える場合の概念図である。 ３次元形状測定装置の内部構成を示す斜視図である。 手術支援装置のコンピュータで実行されるＭＲＩ画像表示処理の内容を示すフローチャートである。 ＭＲＩ画像に関係するイメージ図であり、（Ａ）は撮影時の想像断面、（Ｂ）は頭部横臥時の基準点、（Ｃ）はＭＲＩ画像そして生成モデル、を示す。

符号の説明

１０ 手術支援装置
１２ コンピュータ
１８ ディスプレイ
２２ ドライブ
２４ ＭＲＩ撮影装置
２６ 手術顕微鏡
３０ ３次元形状測定装置
３６ 手術器具
８１ 基準点

Claims (8)

1. 対象物の表面を光学的に測定し、前記対象物表面の各個所の３次元位置を表す表面形状情報を得る形状計測手段と、
   手術前に撮影した対象物の複数の高精細断層画像を入力する入力手段と、
   手術前に前記形状計測手段により表面形状情報を取得し取得された表面形状情報及び前記入力手段で入力された複数の高精細断層画像に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置とを対応づける対応処理手段と、
   手術中に前記形状計測手段により前記対象物表面を光学的に測定し、取得した対象物表面の表面形状情報に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置との対応関係を補正すると共に、手術中に前記形状計測手段により手術に利用する所定形状の手術器具の露出部分を光学的に測定し、取得した露出部分の表面形状情報に基づいて前記手術器具の露出部分の位置を求め、求めた露出部分の位置に基づいて、前記手術器具の先端部位を含む非露出部分の３次元位置を表す器具位置情報を取得する取得手段と、
   前記取得手段によって取得された前記器具位置情報に基づき、前記手術器具の非露出部分を表す手術器具画像が前記手術器具の先端部位を含む非露出部分の各位置に位置するように、前記手術器具画像を前記高精細断層画像に合成する合成手段と、
   前記合成手段によって合成された高精細断層画像を表示手段に表示させる表示制御手段と、
   を含む手術支援装置。
2. 前記形状計測手段は、前記対象物の表面をレーザ光で走査する走査装置と、前記対象物の表面で反射されたレーザ光を受光することで前記対象物の表面のうちレーザ光が照射された個所の３次元位置を検出する検出手段と、を含んで構成され、前記検出手段による３次元位置の検出を、前記対象物の表面上の各個所をレーザ光で走査しながら繰り返し行うことを特徴とする請求項１記載の手術支援装置。
3. 前記取得手段は、測定した露出部分の複数位置及び所定形状に対応する予め定めたデータに基づいて、前記手術器具の先端部位を含む非露出部分の３次元位置を推定することを特徴とする請求項１記載の手術支援装置。
4. 前記高精細断層画像は、核磁気共鳴コンピュータ断層撮影法によって撮影したＭＲＩ画像であることを特徴とする請求項１記載の手術支援装置。
5. 前記合成手段は、前記取得手段によって取得された前記器具位置情報に基づき、前記手術器具の先端部位を予め定めた移動範囲だけ移動させたときの推定位置を求め、前記推定位置または前記推定位置までの少なくとも１つの途中位置に、前記手術器具の非露出部分を表す手術器具画像が位置するように、前記手術器具画像を推定位置画像として、前記高精細断層画像にさらに合成することを特徴とする請求項１記載の手術支援装置。
6. 前記合成手段は、前記取得手段によって取得された前記器具位置情報に基づき、前記手術器具の先端部位を予め定めた移動範囲だけ移動させたときの推定位置を求め、前記手術器具の先端部位の移動前の位置から前記推定位置または前記推定位置の途中位置までの複数位置に、前記手術器具の先端部位を表す手術器具画像が位置するように、前記手術器具画像を推定位置画像として、前記高精細断層画像にさらに合成することを特徴とする請求項１記載の手術支援装置。
7. 高精細断層画像を表示する表示手段を備えた手術支援システムにおいて、手術中に前記表示手段に表示される前記高精細断層画像に手術器具を同時に表示させて手術を支援する手術支援システムが作動する方法であって、
   対象物の表面を光学的に測定し、前記対象物表面の各個所の３次元位置を表す表面形状情報を得るステップと、
   手術前に撮影した対象物の複数の高精細断層画像を入力するステップと、
   手術前に前記形状計測手段により表面形状情報を取得し取得された表面形状情報及び前記入力手段で入力された複数の高精細断層画像に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置とを対応づけるステップと、
   手術中に前記対象物表面を光学的に測定し、取得した対象物表面の表面形状情報に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置との対応関係を補正すると共に、手術中に、手術に利用する所定形状の手術器具の露出部分を光学的に測定し、取得した露出部分の表面形状情報に基づいて前記手術器具の露出部分の位置を求め、求めた露出部分の位置に基づいて、前記手術器具の先端部位を含む非露出部分の３次元位置を表す器具位置情報を取得するステップと、
   前記取得された前記器具位置情報に基づき、前記手術器具の非露出部分を表す手術器具画像が前記手術器具の先端部位を含む非露出部分の各位置に位置するように、前記手術器具画像を前記高精細断層画像に合成するステップと、
   前記合成された高精細断層画像を表示手段に表示させるステップと、
   を含む手術支援システムが作動する方法。
8. 高精細断層画像を表示する表示手段が接続されたコンピュータを備えた手術支援システムにおいて実行され、手術中に前記表示手段に表示される前記高精細断層画像に手術器具を同時に表示させて手術を支援する手術支援プログラムであって、
   前記コンピュータで実行させる処理として、
   対象物の表面を光学的に測定し、前記対象物表面の各個所の３次元位置を表す表面形状情報を得るステップと、
   手術前に撮影した対象物の複数の高精細断層画像を入力するステップと、
   手術前に前記形状計測手段により表面形状情報を取得し取得された表面形状情報及び前記入力手段で入力された複数の高精細断層画像に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置とを対応づけるステップと、
   手術中に前記対象物表面を光学的に測定し、取得した対象物表面の表面形状情報に基づいて、前記対象物表面の各個所と高精細断層画像中の表面位置との対応関係を補正すると共に、手術中に、手術に利用する所定形状の手術器具の露出部分を光学的に測定し、取得した露出部分の表面形状情報に基づいて前記手術器具の露出部分の位置を求め、求めた露出部分の位置に基づいて、前記手術器具の先端部位を含む非露出部分の３次元位置を表す器具位置情報を取得するステップと、
   前記取得された前記器具位置情報に基づき、前記手術器具の非露出部分を表す手術器具画像が前記手術器具の先端部位を含む非露出部分の各位置に位置するように、前記手術器具画像を前記高精細断層画像に合成するステップと、
   前記合成された高精細断層画像を表示手段に表示させるステップと、
   の各処理を含む手術支援プログラム。

Images