JP6548110B2 - 医用観察支援システム及び臓器の３次元模型 - Google Patents

Description

本発明は、被検体における臓器の観察を支援する医用観察支援システム及び臓器の３次元模型に関し、特に、直感的な操作による実用性の高い観察支援を実現するための改良に関する。

近年の医用イメージング装置の進展に伴い、診断や手術の場において、３次元仮想画像等の医用画像が広く利用されるようになってきた。斯かる技術では、事前にＣＴ（Computed Tomography）装置や磁気共鳴映像（MRI;Magnetic Resonance Imaging）装置等により撮影された臓器の画像データ、或いは斯かる画像データに基づいてコンピュータグラフィックスの技術によりコンピュータの画面上に再現される３次元仮想画像等から、被験者における臓器の解剖学的構造を把握することができる。

３次元データに基づいて立体（３次元のオブジェクト）を作成する３次元造型装置が近年急速に発展し、注目を集めている。３次元造型機（rapid prototyping）或いは立体プリンタ（３Ｄプリンタ）等と称されるものがその一例である。とりわけ、透明材料を用いて前記立体を作成可能な３次元造型装置によれば、臓器の模型に関して、例えば臓器内部の血管や腫瘍等の病変部位を有色の材料で、周囲の組織を透明材料でそれぞれ構成することで、臓器内部の血管や腫瘍等を外部から視認可能な３次元模型を作成することができる。斯かる技術によれば、被験者個々の臓器の性状を反映した所謂オーダーメイドモデルとしての３次元模型を作成でき、診断や手術の支援に利用できる（例えば、非特許文献１を参照）。

Igami T, Nakamura Y, et al. ?Application of a Three-dimensional Print of a Liver in Hepatectomy for Small Tumors Invisible by Intraoperative Ultrasonography: Praliminary Experience.″World Journal of Surgery, _DOI.10.1007/s00268-014-2740-7, 2014

前記医用画像の表示技術において、例えば３次元の画像を所望の方向から観望するためには、３次元画像空間に予め設定された複数の軸に対する回転を指示することでその３次元画像を動かしたり、或いは視点位置を３次元画像空間内で指定させることで再描画させる等、比較的複雑な手順が必要であった。前記３次元仮想画像においては、定量的な計測或いは切断面の表示といった処理が容易に実現される。例えば、手術に際して、切除対象となる部位の付近における血管の長さ等を測定する必要があるが、前記３次元仮想画像においては、コンピュータの画面上で対象となる区間を指定することにより、その区間の長さの算出及び算出結果の表示等が行われる。しかしながら、斯かる指定も、例えば３次元画像の中の位置をマウス等の入力デバイスを用いて行う必要があり、比較的複雑な手順となったり、或いは３次元画像が表示された２次元平面のディスプレイにおいては所望の位置を正確に入力することが困難となる場合があった。

前記３次元造型装置により作成された前記臓器の３次元模型は、臓器の形状やその立体感の把握等に有用である。しかしながら、斯かる臓器の３次元模型では、定量的な計測或いは切断面の表示といった作業が困難である。例えば、手術に際して、切除対象となる部位の付近における血管の長さ等を測定する場合、前記臓器の３次元模型に長さ測定用のワイヤをあてて測定する等の方法がとられるが、煩雑な作業であり実用性に乏しい。一方、３次元画像を用いた場合、３次元画像上において距離を算出することは比較的容易と考えられるが、何れの点間の距離を測るのかといった入力が、前述の場合と同様に難しい。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、直感的な操作による実用性の高い観察支援を実現する医用観察支援システム及び臓器の３次元模型を提供することにある。

斯かる目的を達成するために、本第１発明の要旨とするところは、被検体における臓器の観察を支援する医用観察支援システムであって、予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部と、前記模型上位置に対応する距離を、前記臓器の画像において算出する距離算出部とを、備えたことを特徴とするものである。

前記第１発明によれば、予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部とを、備えたものであることから、前記臓器の３次元模型を入力インターフェイスとして用いて、前記指示部が前記臓器の３次元模型を指し示す操作を、前記表示部により表示される前記臓器の画像に反映させることができる。すなわち、直感的な操作による実用性の高い観察支援を実現する医用観察支援システムを提供することができる。また、前記第１発明によれば、前記模型上位置に対応する距離を、前記臓器の画像において算出する距離算出部を備えたものである。このようにすれば、前記臓器の３次元模型を入力インターフェイスとして用いて、前記指示部の操作に対応した距離を簡便に算出できる。

また、前記目的を達成するために、本第２発明の要旨とするところは、被検体における臓器の観察を支援する医用観察支援システムであって、予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部とを、備え、前記表示部は、前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像を生成して表示させるものであり、前記模型上位置の推移に応じた切開線を、前記臓器の３次元仮想画像に合成表示させるものである。前記第２発明によれば、予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部とを、備えたものであることから、前記臓器の３次元模型を入力インターフェイスとして用いて、前記指示部が前記臓器の３次元模型を指し示す操作を、前記表示部により表示される前記臓器の画像に反映させることができる。すなわち、直感的な操作による実用性の高い観察支援を実現する医用観察支援システムを提供することができる。また、前記第２発明によれば、前記表示部は、前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像を生成して表示させるものであり、前記模型上位置の推移に応じた切開線を、前記臓器の３次元仮想画像に合成表示させるものである。このようにすれば、前記臓器の３次元模型を入力インターフェイスとして用いて、前記臓器の３次元仮想画像上に、前記指示部の操作に応じた切開線を簡便に合成表示できる。

前記第１発明又は第２発明に従属する本第３発明の要旨とするところは、前記表示部は、前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像を生成して表示させるものであり、前記模型上位置を、前記臓器の３次元仮想画像に合成表示させるものである。このようにすれば、前記臓器の３次元模型を入力インターフェイスとして用いて、前記臓器の３次元仮想画像上に、前記指示部が指し示す位置を簡便に合成表示できる。

前記第１発明から第３発明の何れか１項に従属する本第４発明の要旨とするところは、前記表示部は、前記臓器の３次元画像データに基づいて、前記臓器の断層画像を生成して表示させるものであり、前記模型上位置を、前記臓器の断層画像に合成表示させるものである。このようにすれば、前記臓器の３次元模型を入力インターフェイスとして用いて、前記臓器の断層画像上に、前記指示部が指し示す位置を簡便に合成表示できる。

前記第１発明から第４発明の何れか１項に従属する本第５発明の要旨とするところは、既定の方向を基準とする前記臓器の３次元模型の姿勢を検出する姿勢センサを備え、前記表示部は、前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像を生成して表示させるものであり、前記姿勢センサによる検出結果に基づいて、前記臓器の３次元仮想画像の姿勢を変更するものである。このようにすれば、前記臓器の３次元模型を入力インターフェイスとして用いて、前記臓器の３次元仮想画像の姿勢が、前記臓器の３次元模型の姿勢に追従する表示制御を実現できる。

前記第５発明に従属する本第６発明の要旨とするところは、滅菌済みの袋部材を備え、前記臓器の３次元模型及び前記姿勢センサは、前記袋部材に封入されたものである。このようにすれば、手術中においても、前記臓器の３次元模型を入力インターフェイスとして用いることができる。

前記第１発明から第６発明の何れか１項に従属する本第７発明の要旨とするところは、前記臓器の３次元模型に取り付けられた複数のマーカと、前記指示部に取り付けられたマーカと、前記マーカの位置を検出するマーカ検出装置とを、備え、前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定するものである。このようにすれば、実用的な態様で、前記臓器の３次元模型において前記指示部が指し示す位置を判定できる。

前記第７発明に従属する本第８発明の要旨とするところは、前記マーカは、磁気式マーカであり、前記マーカ検出装置は、前記マーカを磁気的に検出する装置である。このようにすれば、実用的な態様で、前記臓器の３次元模型において前記指示部が指し示す位置を判定できる。

前記第７発明に従属する本第９発明の要旨とするところは、前記マーカは、光学式マーカであり、前記マーカ検出装置は、前記マーカを光学的に検出する装置である。このようにすれば、実用的な態様で、前記臓器の３次元模型において前記指示部が指し示す位置を判定できる。

また、前記目的を達成するために、本第１０発明の要旨とするところは、被検体における臓器の観察を支援する医用観察支援システムであって、予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部と、前記臓器の３次元模型に取り付けられた複数のマーカと、前記指示部に取り付けられたマーカと、前記マーカの位置を検出するマーカ検出装置とを、備え、前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定するものであり、前記マーカは、２次元コードであり、前記マーカ検出装置は、撮像装置及び２次元コードリーダである。前記第１０発明によれば、予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部とを、備えたものであることから、前記臓器の３次元模型を入力インターフェイスとして用いて、前記指示部が前記臓器の３次元模型を指し示す操作を、前記表示部により表示される前記臓器の画像に反映させることができる。すなわち、直感的な操作による実用性の高い観察支援を実現する医用観察支援システムを提供することができる。また、前記第１０発明によれば、前記臓器の３次元模型に取り付けられた複数のマーカと、前記指示部に取り付けられたマーカと、前記マーカの位置を検出するマーカ検出装置とを、備え、前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定するものである。このようにすれば、実用的な態様で、前記臓器の３次元模型において前記指示部が指し示す位置を判定できる。また、前記第１０発明によれば、前記マーカは、２次元コードであり、前記マーカ検出装置は、撮像装置及び２次元コードリーダである。このようにすれば、実用的な態様で、前記臓器の３次元模型において前記指示部が指し示す位置を判定できる。

また、前記目的を達成するために、本第１１発明の要旨とするところは、予め得られた臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部と、前記臓器の３次元模型に取り付けられた複数のマーカと、前記指示部に取り付けられたマーカと、前記マーカの位置を検出するマーカ検出装置とを、備え、前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定する、被検体における前記臓器の観察を支援する医用観察支援システムに用いられる臓器の３次元模型であって、前記対応付制御部による対応付けの基準となる単数又は複数の基準位置が予め定められ、各基準位置に前記マーカが取り付けられたものである。前記第１１発明によれば、予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部とを、備えたものであることから、前記臓器の３次元模型を入力インターフェイスとして用いて、前記指示部が前記臓器の３次元模型を指し示す操作を、前記表示部により表示される前記臓器の画像に反映させることができる。すなわち、直感的な操作による実用性の高い観察支援を実現する医用観察支援システムを提供することができる。また、前記第１１発明によれば、前記臓器の３次元模型に取り付けられた複数のマーカと、前記指示部に取り付けられたマーカと、前記マーカの位置を検出するマーカ検出装置とを、備え、前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定するものである。このようにすれば、実用的な態様で、前記臓器の３次元模型において前記指示部が指し示す位置を判定できる。また、前記第１１発明によれば、予め得られた臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部と、前記臓器の３次元模型に取り付けられた複数のマーカと、前記指示部に取り付けられたマーカと、前記マーカの位置を検出するマーカ検出装置とを、備え、前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定する、被検体における前記臓器の観察を支援する医用観察支援システムに用いられる臓器の３次元模型であって、前記対応付制御部による対応付けの基準となる単数又は複数の基準位置が予め定められ、各基準位置に前記マーカが取り付けられたものであることを特徴とするものである。このようにすれば、実用的な態様で、前記模型上位置を、前記表示部により表示される前記臓器の画像における位置に対応付けることができる。

本発明の一実施例である医用観察支援システムの構成を例示する図である。 図１の医用観察支援システムに備えられた制御機能の一例の要部を説明する機能ブロック線図である。 図１の医用観察支援システムにおいて、マーカとして２次元コードを備え、施術者の指先が指示部に相当する態様を概略的に示す図である。 図１の医用観察支援システムにおいて、マーカとして磁気式位置センサを備え、ポインタの先端部が指示部に相当する態様を概略的に示す図である。 図１の医用観察支援システムにおいて、姿勢センサとしてのジャイロセンサが３次元模型に取り付けられた態様を概略的に示す図である。 図５に示すジャイロセンサ及び３次元模型が、滅菌済みの袋部材に封入された様子を例示する図である。 図１の医用観察支援システムが臓器の手術の場で実際に用いられる様子を模式的に示す図である。 図１の医用観察支援システムに備えられたコンピュータのＣＰＵによる本実施例の観察支援制御の一例の要部を説明するフローチャートである。 図１の医用観察支援システムにおいて、映像表示装置に表示される３次元仮想画像及び断層画像の具体例を示す図である。 図１の医用観察支援システムに備えられた３次元模型の一構成例を撮影した写真である。

以下、本発明の好適な実施例について、図面を参照しつつ詳細に説明する。

図１は、本発明の一実施例である医用観察支援システム１０（以下、単にシステム１０という）の構成を例示する図である。この図１に示すように、本実施例のシステム１０は、本体装置（計算機）であるコンピュータ１２と、位置情報取得装置１４と、観察対象となる臓器の３次元模型１６とを、備えている。前記位置情報取得装置１４には種々の形態が考えられ、図３〜図５等を用いて後述する。前記３次元模型１６については、観察対象となる臓器の３次元画像データの説明と併せて後述する。

前記コンピュータ１２は、中央演算処理装置であるＣＰＵ２０と、読出専用メモリであるＲＯＭ２２と、随時書込読出メモリであるＲＡＭ２４と、記憶装置２６と、入力装置２８と、映像表示装置３０と、入力インターフェイス３２とを、備えて構成されている。前記ＣＰＵ２０は、前記ＲＡＭ２４の一時記憶機能を利用しつつ前記ＲＯＭ２２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。

前記記憶装置２６は、情報を記憶可能なハードディスクドライブ等の公知の記憶装置（記憶媒体）である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。前記入力装置２８は、キーボードやマウス等の公知の入力デバイスである。前記映像表示装置３０は、ＴＦＴ（Thin Film Transistor Liquid Crystal）等の公知の表示装置（ディスプレイ）である。前記入力インターフェイス３２は、後述する位置情報取得装置１４から入力される信号を前記ＣＰＵ２０へ供給する公知の入力インターフェイスである。

図２は、前記システム１０に備えられた制御機能の一例の要部を説明する機能ブロック線図である。この図２に示す画像表示部５０、位置判定部６２、対応付制御部６４、及び距離算出部６６は、好適には、何れも前記コンピュータ１２のＣＰＵ２０に機能的に備えられたものであるが、各制御部が個別に複数のＣＰＵやコンピュータに設けられると共に相互に通信が可能に構成されたものであってもよい。

図２に示すように、前記コンピュータ１２に備えられた記憶装置２６には、画像データベース６８が設けられている。この画像データベース６８には、公知のＸ線ＣＴ（Computed Tomography）装置や磁気共鳴映像（MRI;Magnetic Resonance Imaging）装置等によって予め得られた被検体の３次元画像データが記憶される。この３次元画像データは、少なくとも前記システム１０の観察対象である臓器の３次元画像データを含む。前記３次元画像データは、Ｘ線ＣＴにより得られたものにおいては、被検体に対して多方向からＸ線を照射し、被検体を透過してきたＸ線を検出器で検出して、透過Ｘ線量の情報をコンピュータで処理して３次元画像として再構成したものである。前記画像データベース６８には、例えば、Ｘ線ＣＴや磁気共鳴装置等により得られた被検体の３次元濃淡画像、換言すれば被検体の単位体積であるボクセル毎の画素値（濃度値）が記憶される。

前記３次元模型１６は、前記画像データベース６８に記憶された前記臓器の３次元画像データに基づいて、公知の３次元造型装置により作成されたものである。例えば、前記臓器の３次元画像データに基づいて、公知の立体プリンタ（３Ｄプリンタ）により前記臓器の形状を模造するように（すなわち、略同一の形状となるように）作成された３次元臓器モデル（レプリカ）である。前記３次元模型１６は、好適には、観察対象となる臓器である肝臓の３次元画像データに基づいて作成された、その肝臓の３次元模型である。好適には、観察対象となる実物の臓器と同じ大きさ（実物大サイズ）に作成されたものであるが、取り扱いのし易さ等を考慮し、実物の臓器の大きさに対して拡大又は縮小して作成されるものであってもよい。この場合、前記３次元模型１６の前記実物の臓器に対する拡大率又は縮小率は前記コンピュータ１２に入力される。前記３次元模型１６を入力インターフェイスとして用いた場合の距離或いは長さ等の測定結果は、前記拡大率又は縮小率に基づいて、前記実物の臓器の大きさに変換（換算）されて前記映像表示装置３０に表示される。好適には、臓器内部の血管や腫瘍等の病変部位が有色の材料で、周囲の組織が無色の透明材料でそれぞれ構成されたものである。前記３次元模型１６には、後述する対応付制御部６４による対応付けの基準となる複数（少なくとも３カ所）の基準位置が予め定められている。例えば、前記複数の基準位置にそれぞれ既定の深さの凹部（穴部）が形成されている。前記３次元模型１６の造型に際して、前記複数の基準位置それぞれに後述するマーカが前記３次元模型１６と一体的に造型されたものであってもよい。

前記システム１０は、前記３次元模型１６を指し示すために用いられる指示部を備えている。この指示部としては、鉗子の先端部、施術者の指先（例えば、人差指の指先）、棒状のポインタ（ポインティングデバイス）の先端部等、種々の態様が考えられる。すなわち、前記指示部は、既定の器具における一部であってもよいし、人体の一部であってもよい。例えば、以下に詳述するように、前記指示部であることを示すマーカが取り付けられた部位、或いはその位置と既定の関係にある部位が、前記指示部に相当する。

前記３次元模型１６には、好適には、複数（少なくとも３つ）のマーカが取り付けられている。例えば、予め定められた複数の前記基準位置それぞれに、各基準位置であることを示すマーカが取り付けられている。前記指示部には、好適には、少なくとも１つのマーカが取り付けられている。例えば、予め指示部として定められた鉗子の先端部、施術者の指先、或いは棒状のポインタの先端部等に、前記指示部であることを示すマーカが取り付けられている。前記システム１０は、前記マーカの位置を検出するマーカ検出装置を備えている。以下、図３〜図５等を用いて、前記指示部、前記マーカ、及び前記マーカ検出装置の具体例を説明する。

図３は、前記システム１０において、前記マーカとして２次元コード３４、３６を備え、施術者の指先７０が前記指示部に相当する態様を概略的に示す図である。図１０は、前記３次元模型１６の一構成例を撮影した写真である。これらの図に示す態様において、前記３次元模型１６は、有色の材料で構成された血管に相当する部分１６ａ、同じく有色（好ましくは部分１６ａとは異なる色）の材料で構成された病変部位に相当する部分１６ｂ、及び透明（好ましくは無色透明）の材料で構成された周囲の組織に相当する部分１６ｃを備えている（以下の説明に用いる図４及び図５等において同じ）。前記３次元模型１６（部分１６ｃ）の表面には、基準位置であることを示す複数（図３では３つ）の２次元コード３４が取り付けられている。例えば、予め印刷された２次元コード３４が、前記３次元模型１６において予め定められた複数の前記基準位置それぞれに貼り付けられている。前記複数の２次元コード３４は、図３においては特に区別していないが、前記３次元模型１６におけるそれぞれの基準位置に対応してそれぞれ異なる情報を表すもの（異なったコードのマーカ）とされている。前記システム１０を用いて臓器の観察を行う施術者の指先（例えば、人差指の指先）７０には、前記指示部であることを示す２次元コード３６が取り付けられている。好適には、予め印刷された２次元コード３６が前記施術者の指先７０に貼り付けられている。この２次元コード３６は、少なくとも前記３次元模型１６に取り付けられた前記２次元コード３４とは異なるものである。ここで、前記指示部の１次元的な位置（点としての位置）を判定すれば足りる態様においては、図３に示すように１つの２次元コード３６が前記施術者の指先７０に取り付けられれば足りるが、前記指示部の指し示す方向（すなわち指向する方向）を判定する態様において、好ましくは、その指示部に２つ以上の２次元コード３６が取り付けられる。例えば、前記施術者の指先７０及び指の根本に、それぞれ２次元コード３６が取り付けられる。或いは、前記指示部に対して予め方向を定めて前記２次元コード３６を取り付けることで、１つの２次元コード３６から前記指示部の指し示す方向を判定すると共に、撮影された画像中における前記２次元コード３６の大きさ等に基づいて後述する撮像装置３８からの距離を判定するものであってもよい。前記二次元コードとは、例えば日本工業規格「JIS X 0510」に規定されたＱＲコード（登録商標）のように、二次元（平面）的な図形からなる情報表現符号である。

図３に示す態様において、前記システム１０は、前記２次元コード３４、３６を撮影する撮像装置３８を備えている。この撮像装置３８としては、撮影された画像に対応する電子データ（画像データ）を前記位置情報取得装置１４に入力し得る公知のデジタルカメラが用いられる。或いは、Ａ／Ｄコンバータを備えたアナログカメラ等が用いられてもよい。前記撮像装置３８は、前記位置情報取得装置１４に接続されており、前記撮像装置３８により撮影された画像（映像）が、前記位置情報取得装置１４に入力されるように構成されている。図３においては、前記撮像装置３８と前記位置情報取得装置１４とが別体の装置として構成された態様を図示しているが、前記撮像装置３８が前記位置情報取得装置１４に内蔵されたものであってもよい。前記撮像装置３８が前記コンピュータ１２に内蔵されたものであってもよい。前記位置情報取得装置１４は、好適には、前記２次元コード３４、３６を識別する公知の２次元コードリーダを備えている。以下に詳述する位置判定部６２が２次元コードリーダとしての機能を備えたものであってもよい。図３に示す態様においては、前記撮像装置３８及び前記位置情報取得装置１４が前記マーカ検出装置に相当する。

前記位置判定部６２は、前記位置情報取得装置１４により取得される位置情報に基づいて、前記３次元模型１６において、前記指示部が指し示す模型上位置を判定する。この模型上位置とは、前記３次元模型１６の表面（部分１６ｃの表面）における位置に対応し、好適には、その表面における１点の座標である。或いは、前記３次元模型１６上の位置のみならず、前記３次元模型１６が置かれる画像空間上の任意の位置であってもよい。前記３次元模型１６の表面における位置に加え、前記３次元模型１６に対する前記指示部の方向（指示部が３次元模型１６を指し示す相対的な方向）をも判定するものであってもよい。前記位置判定部６２は、好適には、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定する。本実施例においては、前記マーカ検出装置により常に３つ以上のマーカを読み取ることができるように、前記複数のマーカが配置されている。図３に示す態様では、前記撮像装置３８により前記複数の２次元コード３４が撮影され、前記位置情報取得装置１４に備えられた２次元コードリーダにより読み取られると、前記撮像装置３８に対する前記複数の２次元コード３４の位置及び方向が特定される。これにより、前記３次元模型１６における前記複数の基準位置の、前記撮像装置３８に対する位置及び方向が判定される。前記撮像装置３８により前記２次元コード３６が撮影され、前記位置情報取得装置１４に備えられた２次元コードリーダにより読み取られると、前記撮像装置３８に対する前記２次元コード３６の位置及び方向が特定される。これにより、前記撮像装置３８に対する前記施術者の指先７０の位置及び方向が判定される。前記撮像装置３８に対する位置及び方向から、前記３次元模型１６に対する前記施術者の指先７０の相対的な位置が判定される。すなわち、前記３次元模型１６において、前記施術者の指先７０が指し示す模型上位置が判定される。

図３に示す態様では、前記撮像装置３８により前記複数の２次元コード３４が撮影され、前記位置情報取得装置１４に備えられた２次元コードリーダにより読み取られると、既定の方向（例えば、鉛直方向）を基準とする前記３次元模型１６の姿勢が特定される。例えば、前記３次元模型１６において予め定められた前記複数の基準位置の、鉛直方向に対する傾きによって、鉛直方向を基準とする前記３次元模型１６の姿勢が特定される。すなわち、図３に示す態様においては、前記２次元コード３４、前記撮像装置３８、及び前記位置情報取得装置１４が、既定の方向を基準とする前記３次元模型１６の姿勢を検出する姿勢センサとして機能する。

図４は、前記システム１０において、前記マーカとして磁気式位置センサ４０、４２を備え、ポインタの先端部７２が前記指示部に相当する態様を概略的に示す図である。図４に示す態様において、前記３次元模型１６（部分１６ｃ）の表面には、基準位置であることを示す複数（図４では１つのみを例示）の磁気式位置センサ４０が取り付けられている。例えば、前記磁気式位置センサ４０が、前記３次元模型１６において予め定められた複数の前記基準位置それぞれに取り付けられている。棒状の部材である前記ポインタの先端部７２には、磁気式位置センサ４２が取り付けられている。前記磁気式位置センサ４０、４２は、前記位置情報取得装置１４に有線接続されている。或いは、無線により接続されたものであってもよい。前記磁気式位置センサ４０、４２は、公知の磁気式位置センサであり、例えば、各磁気式位置センサ４０、４２とは別に図示しない発信機が設けられ、その発信機から発信される磁気信号を各磁気式位置センサ４０、４２が受信することにより各磁気式位置センサ４０、４２から５次元の情報すなわち３次元の位置情報及び２次元の方向情報が取得され、前記位置情報取得装置１４に供給されるようになっている。図４に示す態様においては、前記位置情報取得装置１４が前記マーカ検出装置に相当する。

図４に示す態様では、前記複数の磁気式位置センサ４０それぞれに対応する位置情報及び方向情報が前記位置情報取得装置１４に供給されると、前記発信機に対する前記複数の磁気式位置センサ４０の位置及び方向が特定される。これにより、前記３次元模型１６における前記複数の基準位置の、前記発信機に対する位置及び方向が判定される。前記磁気式位置センサ４２に対応する位置情報及び方向情報が前記位置情報取得装置１４に供給されると、前記発信機に対する前記磁気式位置センサ４２の位置及び方向が特定される。これにより、前記発信機に対する前記ポインタの先端部７２の位置及び方向が判定される。前記発信機に対する位置及び方向から、前記３次元模型１６に対する前記ポインタの先端部７２の相対的な位置が判定される。すなわち、前記３次元模型１６において、前記ポインタの先端部７２が指し示す模型上位置が判定される。

図４に示す態様では、前記複数の磁気式位置センサ４０それぞれに対応する位置情報及び方向情報が前記位置情報取得装置１４に供給されると、既定の方向（例えば、鉛直方向）を基準とする前記３次元模型１６の姿勢が特定される。すなわち、図４に示す態様においては、前記磁気式位置センサ４０及び前記位置情報取得装置１４が、既定の方向を基準とする前記３次元模型１６の姿勢を検出する姿勢センサとして機能する。

前記システム１０は、前記マーカとして光学式マーカを備えたものであってもよい。例えば、図３又は図４を用いて前述した態様において、前記２次元コード３４、３６或いは前記磁気式位置センサ４０、４２が光学式マーカに置換されたものであってもよい。この光学式マーカとしては、近赤外線を放出するＬＥＤをはじめとする発光素子、或いは光を反射する反射マーカ等が好適に用いられる。斯かる態様においては、近赤外線を検出する近赤外カメラ等、前記光学式マーカの位置及び方向を検出するマーカ検出装置が備えられる。そのマーカ検出装置により検出された各光学式マーカの位置及び方向が前記位置情報取得装置１４に供給され、前述と同様の手法により、前記３次元模型１６に対する前記指示部の相対的な位置が判定される。すなわち、前記３次元模型１６において、前記指示部が指し示す模型上位置が判定される。

図５は、前記システム１０において、姿勢センサとしてのジャイロセンサ４４が前記３次元模型１６に取り付けられた態様を概略的に示す図である。図５に示す態様において、前記３次元模型１６には、姿勢センサとしてのジャイロセンサ４４が取り付けられている。このジャイロセンサ４４は、既定の方向（例えば、鉛直方向）に対する角度及び方向を検出する公知のジャイロセンサである。図５に示す態様において、前記位置情報取得装置１４は、前記ジャイロセンサ４４による検出結果を無線により受信する受信部として機能する。前記ジャイロセンサ４４による検出結果が前記位置情報取得装置１４に供給されると、前記既定の方向を基準とする前記３次元模型１６の姿勢が特定される。図５に示す態様において、前記３次元模型１６に対する前記指示部の相対的な位置を判定するためには、更に別のマーカが前記３次元模型１６に取り付けられる。例えば、図３を用いて前述した前記２次元コード３４或いは図４を用いて前述した前記磁気式位置センサ４０等が、前記３次元模型１６に取り付けられる。ここで、前記３次元模型１６が前記ジャイロセンサ４４を備えた態様においては、図３又は図４を用いて先述した態様に比べて少ない数のマーカにより、前記３次元模型１６に対する前記指示部の相対的な位置を判定することができる。

以上、図３〜図５を用いて、前記システム１０における前記指示部、前記マーカ、及び前記マーカ検出装置の具体例を説明したが、他の態様も考えられる。例えば、前記３次元模型１６の表面（すなわち、前記部分１６ｃの表面）に接触式位置センサを備え、前記３次元模型１６に対する前記指示部の接触位置を前記接触式位置センサにより検出するものであってもよい。斯かる態様においては、前記接触式位置センサによる検出結果に基づいて、前記３次元模型１６に対する前記指示部の相対的な位置が判定される。すなわち、前記３次元模型１６において、前記指示部が指し示す模型上位置が判定される。或いは、超音波発信器を備え、その超音波発信器が発する超音波を複数のセンサで受信し、その時間差に応じて位置を検出する超音波検出装置により、前記３次元模型１６に対する前記指示部の相対的な位置が判定されるものであってもよい。或いは、電波を発するアクティブタイプの無線タグを備えたＲＦＩＤ（Radio Frequency Identification）システムが、前記マーカ及び前記マーカ検出装置として用いられるものであってもよい。

図６は、前記ジャイロセンサ４４が取り付けられた前記３次元模型１６が袋部材７４に封入された様子を例示する図である。前記システム１０は、好適には、滅菌済みの袋部材７４を備えている。この袋部材７４は、ビニル樹脂等から成る無色透明な袋であり、手術室内に持ち込むことができる程度の滅菌処理が施されている。前記３次元模型１６及び前記ジャイロセンサ４４は、前記袋部材７４に封入された状態で手術室内に持ち込まれ、前記システム１０における観察支援に用いられる。前記３次元模型１６及び前記ジャイロセンサ４４が前記袋部材７４に封入された後、その袋部材７４内部の空気が抜かれた所謂真空パック様の状態で用いられるものであってもよい。図３を用いて前述した前記２次元コード３４或いは図４を用いて前述した前記磁気式位置センサ４０等が取り付けられた前記３次元模型１６が、前記２次元コード３４或いは前記磁気式位置センサ４０と共に前記袋部材７４に封入された状態で用いられるものであってもよい。

前記画像表示部５０は、図示しないグラフィックスプロセッサ等を介して、前記システム１０による制御に係る各種画像（映像）を前記映像表示装置３０に表示させる。前記画像表示部５０は、前記画像データベース６８に記憶された前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して前記映像表示装置３０に表示させる。斯かる処理を行うため、前記画像表示部５０は、図２に示すように、３次元仮想画像表示部５２、断層画像表示部５４、指示位置表示部５６、切開線表示部５８、及び距離表示部６０を備えている。

前記３次元仮想画像表示部５２は、前記画像データベース６８に記憶された前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像を生成して前記映像表示装置３０に表示させる。この臓器の３次元仮想画像は、前記臓器全体の形状を示す像であり、好適には、前記臓器の外形像である。すなわち、前記３次元仮想画像表示部５２は、好適には、前記３次元画像データに基づいて前記臓器の外形（例えば、任意の方向から視た外観を表す像）を示す図像を表示させる。すなわち、前記システム１０による観察対象である臓器に対応して予め得られて前記画像データベース６８に記憶された３次元画像データを読み出し、例えばボリュームレンダリング法或いはサーフェスレンダリング法等の公知の技術によりその３次元画像データに基づいて前記臓器の外形像を生成して前記映像表示装置３０に表示させる。図３〜図５及び図７においては、前記臓器の３次元画像データに基づいて生成された、その臓器の３次元仮想画像８０が前記映像表示装置３０に表示された様子を例示している。

前記断層画像表示部５４は、前記画像データベース６８に記憶された前記臓器の３次元画像データに基づいて、指定された位置又は切断線において前記臓器の断層画像を生成して前記映像表示装置３０に表示させる。この臓器の断層画像は、前記臓器の断面を示す像である。予めＸ線ＣＴ装置等により得られた断層画像がそのまま表示されるものであってもよいし、３次元画像データに基づいて生成される仮想的な断面に相当する画像であってもよい。すなわち、前記断層画像表示部５４は、前記システム１０による観察対象である臓器に対応して予め得られて前記画像データベース６８に記憶された３次元画像データを読み出し、公知の技術によりその３次元画像データに基づいて前記臓器の断面を示す像を生成して前記映像表示装置３０に表示させる。図７においては、前記臓器の３次元画像データに基づいて生成された、その臓器の断層画像８６が前記映像表示装置３０に表示された様子を例示している。

前記対応付制御部６４は、前記３次元模型１６において前記指示部が指し示す模型上位置を、前記映像表示装置３０に表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける。すなわち、前記３次元模型１６及び前記指示部に対応する座標系と、前記映像表示装置３０に表示される前記臓器の画像に対応する座標系とを対応付ける座標系レジストレーション処理を行う。座標系の対応付けではなく、臓器における複数の特徴点に基づいて、それら特徴点の位置関係が前記３次元模型１６と前記映像表示装置３０に表示される前記臓器の画像とで一致するように対応付けが行われるものであってもよい。前記対応付制御部６４は、好適には、前記模型上位置を、前記３次元仮想画像表示部５２により表示される前記臓器の３次元仮想画像８０における位置に対応付ける。好適には、前記模型上位置を、前記断層画像表示部５４により表示される前記臓器の断層画像８６における位置に対応付ける。以下、前記対応付制御部６４による対応付けに係る具体的なアルゴリズムの一例を説明する。

前記システム１０における、前記指示部に対応する座標系と前記臓器の画像に対応する座標系との対応付け（座標系レジストレーション）について説明する。前記指示部に対応する座標系をＬ、前記指示部に取り付けられた前記マーカに対応する座標系をＭ、前記マーカを検出するマーカ検出装置（例えば、位置情報取得装置１４或いは撮像装置３８等）に対応する座標系をＰ、前記臓器の画像に対応する座標系をＩとする。例えば図３のように前記指示部のマーカと前記３次元模型１６のマーカとが共通する撮像装置によって撮影される場合等は、両者の座標系Ｌ、Ｍは共通するものとなる。前記座標系Ｌと前記座標系Ｍとが実質的に同一である場合には、以下に説明する座標系Ｌから座標系Ｍへの変換は行われなくともよい。前記座標系Ｌから前記座標系Ｍへの変換行列をＴ_ML、前記座標系Ｍから前記座標系Ｐへの変換行列をＴ_PM、前記座標系Ｐから前記座標系Ｉへの変換行列をＴ_IPとすると、前記指示部に対応する座標系Ｌにおける座標ｐ_Lは、次の（１）式に示すように、前記変換行列Ｔ_ML、Ｔ_PM、Ｔ_IPを用いて前記臓器の画像に対応する座標系Ｉにおける座標ｐ_Iに変換される。すなわち、前記座標系Ｌにおける座標ｐ_Lは、次の（１）式により前記座標系Ｉにおける座標ｐ_Iに対応付けられる。剛体の座標変換は、回転及び平行移動を要素とする。このため、変換行列Ｔによる座標ｐの変換は、回転行列Ｒ及び変換ベクトルｔを用いて次の（２）式のように表される。
ｐ_I＝Ｔ_IPＴ_PMＴ_MLｐ_L ・・・（１）
Ｔｐ＝Ｒｐ＋ｔ ・・・（２）

前記システム１０において、前記指示部に対応する位置及び方向（例えば、ポインタの先端部の位置及び方向）と、前記指示部に取り付けられたマーカの位置及び方向（例えば、ポインタにおけるマーカの取り付け位置及び方向）との関係は予め定められている。この関係が、前記座標系Ｌから前記座標系Ｍへの変換行列Ｔ_MLに相当する。前記マーカ検出装置により、前記指示部に取り付けられたマーカの位置及び方向に相当する情報が取得される。この情報により、前記座標系Ｍから前記座標系Ｐへの変換行列Ｔ_PMが定まる。すなわち、前記指示部に取り付けられたマーカの位置及び方向に相当する情報を前記マーカ検出装置により検出することで、前記指示部に対応する座標系Ｌにおける座標ｐ_Lを、前記マーカ検出装置に対応する座標系Ｐにおける座標ｐ_Pに変換できる。前記マーカ検出装置に対応する座標系Ｐにおける座標ｐ_Pは、次の（３）式に示すように、前記変換行列Ｔ_IPを用いて前記臓器の画像に対応する座標系Ｉにおける座標ｐ_Iに変換される。
ｐ_I＝Ｔ_IPｐ_P ・・・（３）

前記マーカ検出装置に対応する座標系Ｐから前記臓器の画像に対応する座標系Ｉへの変換は、例えば、それぞれの座標系における基準位置を一致させることにより実現される。好適には、前記臓器の画像に対応する座標系Ｉにおいて、前記指示部に対応する座標系Ｌとの対応付けに係る基準位置が予め定められている。この基準位置は、前記３次元模型１６に定められた基準位置の何れかであることが好ましい。前記３次元模型１６において、前記指示部が前記基準位置を指し示している場合において、前記マーカ検出装置に対応する座標系Ｐにおける基準位置と、前記臓器の画像に対応する座標系Ｉにおける基準位置とを一致させる対応付けを行うことで、前記座標系Ｐから前記座標系Ｉへの変換行列Ｔ_IPが定まる。例えば、前記マーカ検出装置に対応する座標系Ｐにおける基準位置の座標をｐi、前記臓器の画像に対応する座標系Ｉにおける基準位置の座標をｑi、基準位置の数をＮとして、次の（４）式を満たす変換行列Ｔ^*が、前記変換行列Ｔ_IPに相当する。

以上、前記指示部に対応する座標系Ｌと前記臓器の画像に対応する座標系Ｉとの対応付けについて説明したが、前記３次元模型１６に対応する座標系と前記臓器の画像に対応する座標系Ｉとの対応付けも、前記と同様のアルゴリズムにより実現される。すなわち、前記と同様のアルゴリズムにより、前記３次元模型１６において予め定められた複数の基準位置と、前記臓器の画像に対応する座標系Ｉにおいて予め定められた複数の基準位置とを、前記座標系Ｌ及びＩの相互間で一致させることにより実現される。前記指示部に対応する座標系Ｌと前記臓器の画像に対応する座標系Ｉとが対応付けられ、且つ、前記３次元模型１６に対応する座標系と前記臓器の画像に対応する座標系Ｉとが対応付けられることで、前記３次元模型１６において前記指示部が指し示す模型上位置を、前記画像表示部５０により表示される前記臓器の画像に対応付けることができる。

前記距離算出部６６は、前記対応付制御部６４による対応付けの結果に基づいて、前記画像表示部５０により表示される前記臓器の画像における、前記３次元模型１６において前記指示部が指し示す模型上位置に対応する距離を算出する。具体的には、前記画像データベース６８に記憶された前記臓器の３次元画像データに基づいて前記距離を算出する。前記距離算出部６６は、好適には、前記臓器の画像における、前記３次元模型１６において前記指示部が指し示す主要な血管の距離（血管の長さ）を算出する。この主要な血管とは、前記指示部が指し示す方向（臓器の内部）に存在する動脈又は静脈であり、例えば一般に解剖学的名称がつけられた血管である。前記距離算出部６６は、好適には、前記臓器の画像における、前記３次元模型１６において前記指示部が指し示す模型上位置と前記臓器における病変部位との距離を算出する。前記距離算出部６６は、好適には、前記臓器の画像における、前記３次元模型１６において前記指示部が指し示す複数の模型上位置（例えば、続けて指し示された２点）相互間の距離を算出する。

前記画像表示部５０は、前記対応付制御部６４による対応付けの結果に基づいて、前記３次元模型１６において前記指示部が指し示す模型上位置を、前記臓器の画像に反映させる。すなわち、前記３次元模型１６において前記指示部が指し示す模型上位置の変化に応じて、前記映像表示装置３０に表示される前記臓器の画像を変化させる。或いは、前記映像表示装置３０に表示される前記臓器の画像に付加的な画像（数値等のテキストを含む）を合成表示させる。この場合、前記付加的な画像等が位置に関連する関連情報に該当する。

前記距離表示部６０は、前記距離算出部６６により算出された距離を前記映像表示装置３０に表示させる。好適には、前記映像表示装置３０に表示される前記臓器の画像に、前記距離算出部６６により算出された距離に対応する数値を合成表示させる。前記距離算出部６６が、前記３次元模型１６において前記指示部が指し示す血管の長さを算出する態様においては、前記臓器の画像において対象となる血管を示すと共に、前記血管の長さを表す数値を合成表示させる。前記距離算出部６６が、前記３次元模型１６において前記指示部が指し示す模型上位置と前記臓器における病変部位との距離を算出する態様においては、前記臓器の画像において対象となる病変部位を示すと共に、前記距離を表す数値を合成表示させる。前記距離算出部６６が、前記３次元模型１６において前記指示部が指し示す複数の模型上位置相互間の距離を算出する態様においては、前記臓器の画像において前記指示部が指し示す複数の位置を示すと共に、前記距離を表す数値を合成表示させる。この場合、当該数値が位置に関連する関連情報に該当する。

前記３次元仮想画像表示部５２は、前記位置情報取得装置１４或いは前記ジャイロセンサ４４等により取得される前記３次元模型１６の姿勢情報に基づいて、前記映像表示装置３０に表示される前記３次元仮想画像８０の姿勢を変更する。すなわち、前記位置情報取得装置１４或いは前記ジャイロセンサ４４等による検出結果に基づいて前記位置判定部６２により判定される、既定の方向（例えば、鉛直方向）を基準とする前記３次元模型１６の姿勢の変化に基づいて、前記映像表示装置３０に表示される前記３次元仮想画像８０の姿勢（方向及び角度）を変更する。

前記切開線表示部５８は、前記３次元模型１６において前記指示部が指し示す模型上位置の推移に応じた切開線８２を、前記映像表示装置３０に表示される前記３次元仮想画像８０に合成表示させる。例えば、図３に示す態様において、前記指示部としての施術者の指先７０が破線で示す位置から実線で示す位置まで推移した（３次元模型１６の表面をなぞった）場合、その軌跡は前記３次元模型１６上に太い破線で示すものとなる。この場合、図３に示すように、前記軌跡に対応する切開線８２を生成して前記３次元仮想画像８０に合成表示させる。この場合、当該切開線８２が位置に関連する関連情報に該当する。或いは、前記３次元仮想画像８０を、前記切開線８２に対応する面で切断した、前記臓器の断面（切開面）を示す仮想断層画像を生成し、前記映像表示装置３０に表示させるものであってもよい。

図７は、前記システム１０が前記臓器の手術の場で実際に用いられる様子を模式的に示す図である。図７においては、被験者（被験体）９０における肝臓９０ａの手術に係る執刀医９２が、前記肝臓９０ａの３次元画像データに基づいて作成された前記３次元模型１６を手に持ち、鉗子の先端部７６によりその３次元模型１６を指し示す態様を例示している。すなわち、図７に示す態様においては、前記鉗子の先端部７６が前記指示部に相当する。前記手術に係る助手９４及び看護師９６は、前記執刀医９２の説明を聞きながら前記映像表示装置３０の表示を注視している。前記映像表示装置３０には、前記肝臓９０ａの３次元画像データに基づいて生成された前記３次元仮想画像８０及び前記断層画像８６が表示されている。

前記指示位置表示部５６は、前記３次元模型１６において前記指示部が指し示す模型上位置を、前記３次元仮想画像８０に反映させる。例えば、図４に示す態様においては、前記指示部としてのポインタの先端部７２が指し示す模型上位置に対応する、前記３次元仮想画像８０における位置を表す目印８４を、その３次元仮想画像８０の前面側に合成表示させている。図７に示す態様においては、前記指示部としての鉗子の先端部７６が指し示す模型上位置に対応する、前記３次元仮想画像８０における位置を表す目印８４を、その３次元仮想画像８０の前面側に合成表示させている。この場合、当該目印８４が位置に関連する関連情報に該当する。図４及び図７においては、前記目印８４を星印で示している。前記指示位置表示部５６は、前記位置判定部６２により判定される前記模型上位置の変化に基づいて、前記３次元仮想画像８０に対する前記目印８４の相対位置を変更する。

前記断層画像表示部５４は、前記３次元模型１６において前記指示部が指し示す模型上位置を含む断面に相当する断層画像８６を表示させる。すなわち、前記臓器の３次元画像データに基づいて表示可能な断層画像８６のうち、前記模型上位置を含む断面に相当する断層画像８６を選択して表示させる。前記指示位置表示部５６は、前記３次元模型１６において前記指示部が指し示す模型上位置を、前記断層画像８６に反映させる。例えば、図７に示す態様においては、前記指示部としての鉗子の先端部７６が指し示す模型上位置に対応する、前記断層画像８６における位置を表す目印８８を、その断層画像８６の前面側に合成表示させている。図７においては、前記目印８８を星印で示している。前記指示位置表示部５６は、前記位置判定部６２により判定される前記模型上位置の変化に基づいて、前記断層画像８６に対する前記目印８８の相対位置を変更する。

図９は、前記画像表示部５０により前記映像表示装置３０に表示される前記３次元仮想画像８０及び前記断層画像８６の具体例を示す図である。図９に示す例では、対象となる臓器の病変部位（腫瘍等）を、前記３次元仮想画像８０においては部位８０ｂで、前記断層画像８６においては部位８６ｂで、それぞれ示している。前記３次元模型１６において前記指示部が指し示す模型上位置の推移に応じた切開線８２が、前記３次元仮想画像８０の前面側に合成表示されている。更に、前記指示部を示すポインタ画像９８が前記３次元仮想画像８０の前面側に合成表示されている。前記３次元模型１６において前記指示部が指し示す模型上位置の推移に応じて、前記ポインタ画像９８の前記３次元仮想画像８０に対する位置が変化させられる。前記３次元模型１６において前記指示部が指し示す模型上位置を表すｘ座標線１００ｘ及びｙ座標線１００ｙが、前記断層画像８６の前面側に合成表示されている。前記ｘ座標線１００ｘ及びｙ座標線１００ｙは、前記断層画像８６に対応する平面内における、前記模型上位置のｘ座標及びｙ座標にそれぞれ対応し、その交点が前記模型上位置に相当する。更に、図９に示す例では、前記断層画像８６に対応する平面内における、前記模型上位置のｘｙ座標（ｘ１，ｙ１）を示すテキスト１０２が、前記断層画像８６の前面側に合成表示されている。

以上に説明したように、本実施例のシステム１０は、前記３次元模型１６を入力インターフェイスとして用い、前記映像表示装置３０に表示される前記３次元仮想画像８０及び前記断層画像８６等とのインタラクションを可能とする。前記３次元模型１６と、前記３次元仮想画像８０及び前記断層画像８６とは、共通の３次元画像データに基づいて、その３次元画像データをそれぞれ異なる態様で具現化した臓器モデルである。すなわち、前記３次元模型１６は、前記３次元画像データを触覚的に確認可能に具現化した、前記臓器と同じ形状（実体）を有する現実化臓器モデルである。前記３次元仮想画像８０及び前記断層画像８６は、前記３次元画像データを視覚的に確認可能に具現化した、前記臓器と同じ形状情報及び詳細な構造情報を有する仮想化臓器モデルである。現実化臓器モデルとしての前記３次元模型１６を用いての操作に、仮想化臓器モデルとしての前記３次元仮想画像８０及び前記断層画像８６等の表示を同期させることで、実空間上における前記臓器の形状を触覚にて確認しつつ、その臓器における各部の距離や仮想的な断面等を仮想空間上において視認できる。すなわち、現実化臓器モデル及び仮想化臓器モデルそれぞれの長所を両立させることができる。同時に、現実化臓器モデルとしての前記３次元模型１６そのものを操作（入力）デバイスとして活用することで、直感的な操作により適切な手術支援を実現するナビゲーションシステムを構築できる。

図８は、前記コンピュータ１２のＣＰＵ２０による本実施例の観察支援制御の一例の要部を説明するフローチャートであり、繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）Ｓ１において、前記画像データベース６８から観察対象となる臓器の３次元画像データが読み出される。次に、Ｓ２において、Ｓ１にて読み出された３次元画像データに基づいて、前記臓器の３次元仮想画像８０及び断層画像８６が生成され、前記映像表示装置３０に表示される。次に、Ｓ３において、前記３次元模型１６及び前記指示部の位置及び方向を示す情報が前記位置情報取得装置１４により取得され、前記３次元模型１６において前記指示部が指し示す模型上位置が判定される。次に、Ｓ４において、Ｓ３にて判定された模型上位置を、Ｓ２にて表示された前記臓器の３次元仮想画像８０及び断層画像８６における位置に対応付ける対応付け処理すなわち座標系レジストレーションが行われる。

次に、Ｓ５において、前記３次元模型１６が動かされたか否かが判断される。具体的には、既定の方向を基準とする前記３次元模型１６の姿勢が変更されたか否かが判断される。このＳ５の判断が否定される場合には、Ｓ１０以下の処理が実行されるが、Ｓ５の判断が肯定される場合には、Ｓ６において、前記位置情報取得装置１４により取得される前記３次元模型１６の姿勢情報に基づいて、前記既定の方向を基準とする前記３次元模型１６の変位が算出される。次に、Ｓ７において、Ｓ６にて算出された変位に基づいて、前記３次元仮想画像８０が回転させられる。次に、Ｓ８において、Ｓ７の回転結果に基づいて３Ｄレンダリングが行われる。すなわち、Ｓ７の回転の結果としての前記３次元仮想画像８０（Ｓ６にて算出された変位に基づいて回転させられた姿勢に相当する３次元仮想画像８０）が生成される。次に、Ｓ９において、Ｓ８にて生成された前記３次元仮想画像８０が前記映像表示装置３０に表示された後、それをもって本ルーチンが終了させられる。

Ｓ１０においては、指示位置の入力すなわち前記３次元模型１６において前記指示部が指し示す模型上位置の入力が行われたか否かが判断される。このＳ１０の判断が否定される場合には、Ｓ１４以下の処理が実行されるが、Ｓ１０の判断が肯定される場合には、Ｓ１１において、前記入力された模型上位置に対応する距離が、前記臓器の３次元仮想画像８０（断層画像８６）において算出される。次に、Ｓ１２において、Ｓ１１にて算出された距離が、前記映像表示装置３０に表示される。次に、Ｓ１３において、前記入力された模型上位置が、前記映像表示装置３０に表示された前記３次元仮想画像８０及び前記断層画像８６に合成表示された後、それをもって本ルーチンが終了させられる。Ｓ１４においては、前記３次元模型１６において前記指示部が指し示す模型上位置の推移による切開線の入力が行われたか否かが判断される。このＳ１４の判断が否定される場合には、それをもって本ルーチンが終了させられるが、Ｓ１４の判断が肯定される場合には、Ｓ１５において、前記模型上位置の推移による切開線に基づく切開シミュレーションが実行される。例えば、前記３次元仮想画像８０を、前記切開線に対応する面で切断した、前記臓器の断面（切開面）を示す仮想断層画像が生成される。次に、Ｓ１６において、前記模型上位置の推移による切開線８２が前記３次元仮想画像８０に合成されると共に、Ｓ１５の切開シミュレーションの結果が前記映像表示装置３０に表示された後、それをもって本ルーチンが終了させられる。

以上の制御において、Ｓ２、Ｓ８、Ｓ９、Ｓ１２、Ｓ１３、Ｓ１６が前記画像表示部５０の動作に、Ｓ２、Ｓ７〜Ｓ９が前記３次元仮想画像表示部５２の動作に、Ｓ２が前記断層画像表示部５４の動作に、Ｓ１３が前記指示位置表示部５６の動作に、Ｓ１５及びＳ１６が前記切開線表示部５８の動作に、Ｓ１２が前記距離表示部６０の動作に、Ｓ３及びＳ６が前記位置判定部６２の動作に、Ｓ４が前記対応付制御部６４の動作に、Ｓ１１が前記距離算出部６６の動作に、それぞれ対応する。

本実施例によれば、予め得られた臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型１６と、前記３次元模型１６において、施術者の指先７０、ポインタの先端部７２、鉗子の先端部７６等の指示部が指し示す模型上位置を判定する位置判定部６２（Ｓ３及びＳ６）と、前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる画像表示部５０（Ｓ２、Ｓ８、Ｓ９、Ｓ１２、Ｓ１３、Ｓ１６）と、前記模型上位置を、前記画像表示部５０により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部６４（Ｓ４）とを、備えたものであることから、前記臓器の３次元模型１６を入力インターフェイスとして用いて、前記指示部が前記臓器の３次元模型１６を指し示す操作を、前記画像表示部５０により表示される前記臓器の画像に反映させることができる。すなわち、直感的な操作による実用性の高い観察支援を実現するシステム１０を提供することができる。

前記模型上位置に対応する距離を、前記臓器の画像において算出する距離算出部６６（Ｓ１１）を備えたものであるため、前記臓器の３次元模型１６を入力インターフェイスとして用いて、前記指示部の操作に対応した距離を簡便に算出できる。

前記画像表示部５０は、前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像８０を生成して表示させるものであり、前記模型上位置の推移に応じた切開線８２を、前記臓器の３次元仮想画像８０に合成表示させるものであるため、前記臓器の３次元模型１６を入力インターフェイスとして用いて、前記臓器の３次元仮想画像８０上に、前記指示部の操作に応じた切開線８２を簡便に合成表示できる。

前記画像表示部５０は、前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像８０を生成して表示させるものであり、前記模型上位置を、前記臓器の３次元仮想画像８０に合成表示させるものであるため、前記臓器の３次元模型１６を入力インターフェイスとして用いて、前記臓器の３次元仮想画像８０上に、前記指示部が指し示す位置を簡便に合成表示できる。

前記画像表示部５０は、前記臓器の３次元画像データに基づいて、前記臓器の断層画像８６を生成して表示させるものであり、前記模型上位置を、前記臓器の断層画像８６に合成表示させるものであるため、前記臓器の３次元模型１６を入力インターフェイスとして用いて、前記臓器の断層画像８６上に、前記指示部が指し示す位置を簡便に合成表示できる。

既定の方向を基準とする前記臓器の３次元模型１６の姿勢を検出する姿勢センサとしてのジャイロセンサ４４等を備え、前記画像表示部５０は、前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像８０を生成して表示させるものであり、前記姿勢センサによる検出結果に基づいて、前記臓器の３次元仮想画像８０の姿勢を変更するものであるため、前記臓器の３次元模型１６を入力インターフェイスとして用いて、前記臓器の３次元仮想画像８０の姿勢が、前記臓器の３次元模型１６の姿勢に追従する表示制御を実現できる。

滅菌済みの袋部材７４を備え、前記臓器の３次元模型１６及び前記姿勢センサは、前記袋部材７４に封入されたものであるため、手術中においても、前記臓器の３次元模型１６を入力インターフェイスとして用いることができる。

前記臓器の３次元模型１６に取り付けられた複数のマーカと、前記指示部に取り付けられたマーカと、前記マーカの位置を検出するマーカ検出装置とを、備え、前記位置判定部６２は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定するものであるため、実用的な態様で、前記臓器の３次元模型１６において前記指示部が指し示す位置を判定できる。

前記マーカ検出装置は、前記マーカを磁気的に検出する磁気式位置センサ４０、４２であるため、実用的な態様で、前記臓器の３次元模型１６において前記指示部が指し示す位置を判定できる。

前記マーカは、光学式マーカであり、前記マーカ検出装置は、前記マーカを光学的に検出する装置であるため、実用的な態様で、前記臓器の３次元模型１６において前記指示部が指し示す位置を判定できる。

前記マーカは、２次元コード３４、３６であり、前記マーカ検出装置は、前記撮像装置３８及び２次元コードリーダとしての位置情報取得装置１４であるため、実用的な態様で、前記臓器の３次元模型１６において前記指示部が指し示す位置を判定できる。

前記システム１０に用いられる臓器の３次元模型１６であって、前記対応付制御部６４による対応付けの基準となる単数又は複数の基準位置が予め定められ、各基準位置に前記マーカが取り付けられたものであるため、実用的な態様で、前記臓器の３次元模型１６において前記指示部が指し示す模型上位置を、前記画像表示部５０により表示される前記臓器の画像における位置に対応付けることができる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれらの実施例に限定されるものではなく、その趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。例えば、位置に関連する関連情報は、前記実施例における関連情報に限定されるものではなく、前記以外の種々の関連情報を様々な態様で表示させることができる。

１０：医用観察支援システム、１４：位置情報取得装置（マーカ検出装置）、１６：３次元模型、３４、３６：２次元コード（マーカ）、３８：撮像装置、４０、４２：磁気式位置センサ（マーカ）、４４：ジャイロセンサ（姿勢センサ）、５０：画像表示部、６２：位置判定部、６４：対応付制御部、６６：距離算出部、７０：施術者の指先（指示部）、７２：ポインタの先端部（指示部）、７４：袋部材、７６：鉗子の先端部（指示部）、８０：３次元仮想画像、８２：切開線、８６：断層画像、９０：被験者（被験体）、９０ａ：肝臓（臓器）

Claims (11)

1. 被検体における臓器の観察を支援する医用観察支援システムであって、
   予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、
   前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、
   前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、
   前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部と、
   前記模型上位置に対応する距離を、前記臓器の画像において算出する距離算出部と
   を、備えたことを特徴とする医用観察支援システム。
2. 被検体における臓器の観察を支援する医用観察支援システムであって、
   予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、
   前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、
   前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、
   前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部と
   を、備え、
   前記表示部は、
   前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像を生成して表示させるものであり、
   前記模型上位置の推移に応じた切開線を、前記臓器の３次元仮想画像に合成表示させるものである
   ことを特徴とする医用観察支援システム。
3. 前記表示部は、
   前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像を生成して表示させるものであり、
   前記模型上位置を、前記臓器の３次元仮想画像に合成表示させるものである
   請求項１又は２に記載の医用観察支援システム。
4. 前記表示部は、
   前記臓器の３次元画像データに基づいて、前記臓器の断層画像を生成して表示させるものであり、
   前記模型上位置を、前記臓器の断層画像に合成表示させるものである
   請求項１から３の何れか１項に記載の医用観察支援システム。
5. 既定の方向を基準とする前記臓器の３次元模型の姿勢を検出する姿勢センサを備え、
   前記表示部は、
   前記臓器の３次元画像データに基づいて、前記臓器の３次元仮想画像を生成して表示させるものであり、
   前記姿勢センサによる検出結果に基づいて、前記臓器の３次元仮想画像の姿勢を変更するものである
   請求項１から４の何れか１項に記載の医用観察支援システム。
6. 滅菌済みの袋部材を備え、
   前記臓器の３次元模型及び前記姿勢センサは、前記袋部材に封入されたものである
   請求項５に記載の医用観察支援システム。
7. 前記臓器の３次元模型に取り付けられた複数のマーカと、
   前記指示部に取り付けられたマーカと、
   前記マーカの位置を検出するマーカ検出装置と
   を、備え、
   前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定するものである
   請求項１から６の何れか１項に記載の医用観察支援システム。
8. 前記マーカは、磁気式マーカであり、
   前記マーカ検出装置は、前記マーカを磁気的に検出する装置である
   請求項７に記載の医用観察支援システム。
9. 前記マーカは、光学式マーカであり、
   前記マーカ検出装置は、前記マーカを光学的に検出する装置である
   請求項７に記載の医用観察支援システム。
10. 被検体における臓器の観察を支援する医用観察支援システムであって、
    予め得られた前記臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、
    前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、
    前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、
    前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部と、
    前記臓器の３次元模型に取り付けられた複数のマーカと、
    前記指示部に取り付けられたマーカと、
    前記マーカの位置を検出するマーカ検出装置と
    を、備え、
    前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定するものであり、
    前記マーカは、２次元コードであり、
    前記マーカ検出装置は、撮像装置及び２次元コードリーダである
    ことを特徴とする医用観察支援システム。
11. 予め得られた臓器の３次元画像データに基づいて、３次元造型装置により作成された前記臓器の３次元模型と、
    前記臓器の３次元模型において、既定の指示部が指し示す模型上位置を判定する位置判定部と、
    前記臓器の３次元画像データに基づいて、前記臓器の画像を生成して表示させる表示部と、
    前記模型上位置を、前記表示部により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部と、
    前記臓器の３次元模型に取り付けられた複数のマーカと、
    前記指示部に取り付けられたマーカと、
    前記マーカの位置を検出するマーカ検出装置と
    を、備え、
    前記位置判定部は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定する、被検体における前記臓器の観察を支援する医用観察支援システムに用いられる臓器の３次元模型であって、
    前記対応付制御部による対応付けの基準となる単数又は複数の基準位置が予め定められ、各基準位置に前記マーカが取り付けられたものであることを特徴とする臓器の３次元模型。