JP6419080B2 - 外科的処置管理システム及び方法 - Google Patents

Description

関連出願の相互参照
本出願は、２０１２年１２月７日出願の米国仮特許出願第６１／７３４５０６号に対する優先権を主張するものであり、上記米国仮特許出願の内容全体は本出願に援用されるものとする。

本開示の例示的実施形態は、カメラを利用して様々な外科用ツールを追跡し、処置管理情報をユーザに提供する、外科用ツール追跡システムに関する。

腹腔鏡手術は、回復時間、痛み及び複雑さが大幅に低減されるため、開腹手術の一般的で多用される代替案である。しかしながら、手術野へのアクセスが限定されていること、視野が間接的であること、手術室がそもそも開腹手術用に構成されていることを含む多くの障害によって、外科医の作業は困難かつ非効率的となる。この分野では、「手術室アウェアネス」を補助するためのシステムを開発することに対して関心が寄せられてきた。手術室アウェアネスは、進行中の手術に関連するデータを収集でき、このデータを使用して外科医及び医療スタッフを支援できる手術室を形成することを指す。また、収集したデータを使用して外科医／スタッフの訓練及び評価を支援することにも関心が寄せられている。

手術室アウェアネスの１つの構成要素は、ツールの識別、配置及びナビゲーションである。外科用ツールは従来、外科医及び／又は医療スタッフによる目視観察によって識別されてきた。しかしながらいくつかの自動化されたシステムが存在する。これらのシステムの精度は、手術空間内に金属及び流体が存在していること、並びに追跡デバイスのための常に変化する基準点に依存したものであることによって損なわれ得る。

従って、医療処置中に生成されるデータを分析し、リアルタイム状況アウェアネスを外科チーム及び手術後評価ツールに提供するための、侵襲性が最小であるにもかかわらず堅牢なシステムに対する需要が存在する。

外科用ツール追跡のためのシステム及び方法、並びに医療処置情報を管理するための情報管理システムを提示する。

特定の実施形態は、患者の体外に配置されるよう構成された近位端と、患者の身体の内部に配置されるよう構成された遠位端とを備える外科用ポート、及び上記近位端と上記遠位端との間に延在するチャネルを備える、外科用ツール追跡システムを含む。特定の実施形態は、外科用ツールに連結するよう構成された追跡要素と、追跡要素に関連する画像データをキャプチャするよう構成された、外科用ポートの近位端に設置されるカメラとを含む。

具体的な実施形態では、外科用ポートはトロカールであり、このトロカールは近位端に基部を、そして遠位端にカニューレを備え、カメラは上記基部に設置される。特定の実施形態では、カメラは外科用ポートに対して固定位置にあり、他の実施形態では、カメラは外科用ポートに対して可動である。特定の実施形態では、カメラは追跡要素に向かって配向される。具体的な実施形態では、カメラは患者の身体から離れる方向に配向される。特定の実施形態では、カメラは追跡要素を照明するための発光要素を含む。

特定の実施形態はコンピュータシステムを備え、カメラはこのコンピュータシステムと通信して、画像データをコンピュータシステムに伝送する。具体的な実施形態では、追跡要素は、色、形状、パターン、バーコード及び記号のうちの少なくとも１つを含む。特定の実施形態は外科用ツールを備え、この外科用ツールは、外科用ポートのチャネルを通して患者の身体の内部にアクセスできるようサイズ設定及び構成され、追跡要素は外科用ツールに連結される。具体的な実施形態では、追跡要素は、外科用ツールの識別、外科用ツールの配向及び外科用ツールの位置のうちの少なくとも１つに対応する。特定の実施形態では、追跡要素は、外科用ツールに関連付けられたハンドルの近傍の位置に位置決めされる。特定の実施形態では、カメラは更に、外科医に関連する画像データをキャプチャするよう構成される。

例示的実施形態は、外科用ツールを追跡する方法も含み、この方法は：外科用ツールを外科用ポートに提供するステップ（外科用ツールは追跡要素を含み、外科用ポートはこの外科用ポートに設置されたカメラを含む）；カメラにおいて画像データをキャプチャするステップ；画像データをプロセッサに供給するステップ；プロセッサにおいて外科用ツールに関連する追跡情報を決定するステップを含む。特定の実施形態では、外科用ツールを外科用ポートに提供するステップは更に、外科用ツールの一部分を、外科用ポートの近位端と遠位端との間に延在するチャネルに挿入するステップを含む。特定の実施形態では、追跡情報は、外科用ツールの識別、外科用ツールの配向、外科用ツールの位置及び外科医の識別のうちの少なくとも１つを含む。具体的な実施形態では、画像データは、追跡要素及び外科医のうちの少なくとも１つに関連する。

例示的実施形態は、医療処置情報を管理するための方法を含み、この方法は：外科用ポートに関連付けられたカメラから画像データを受信するステップ（この画像データは、外科用ツールに関連付けられた追跡要素を表す）；画像データに基づいて、外科用ツールの識別及び位置を決定するステップ；画像データを使用して、医療処置の外科的ステップを決定するステップ；並びに上記外科的ステップに関連する画像データを医療処置と比較することによって、処置管理情報を決定するステップを含み、ここで画像データは、既知の複数のツールのうちの特定の有限個のセットに関連するものではない。

特定の実施形態では、画像データは更に、外科医に関連する画像データを含む。特定の実施形態では、外科用ツールの識別を決定するステップは、追跡要素に関連する画像データを記憶されているデータと比較して、対応する記憶されている外科用ツール識別を識別するステップを含む。具体的な実施形態では、外科用ツールの位置を決定するステップは、追跡要素に関連する画像データを、外科用ポートに関連する位置情報と比較するステップを含む。

特定の実施形態では、外科用ツールの位置を決定するステップは、追跡要素に関連する画像データを分析して、外科用ポートに対する外科用ツールの配向及び外科用ポートに対する外科用ツールの位置のうちの少なくとも１つを決定するステップを含む。特定の実施形態では、外科用ツールの位置を決定するステップは、外科的処置に関連する手術室内における外科用ツールの位置を決定するステップを含む。具体的な実施形態は、上記外科的ステップに関連する外科的処置の完了のための時間を計算するステップを含む。

特定の実施形態はまた、外科用ツール及び外科用ポートのうちの少なくとも一方に関連する使用時間を決定するステップを含む。特定の実施形態では、管理情報は外科的処置の効率を含む。特定の実施形態では、管理情報は、外科的処置を実施する外科医に関連する技術レベルを含む。特定の実施形態では、画像データは、複数の外科用ポートからの画像データを含み、この画像データは、対応する複数の外科用ツールに関連する複数の追跡要素を表す。

特定の実施形態は更に：第２の外科用ポートに関連する第２のカメラから画像データを受信するステップ（この画像データは、第２の外科用ツールに関連する第２の追跡要素を表す）；上記画像データに基づいて、第２の外科用ツールの識別及び位置を決定するステップ；並びに上記画像データを用いて次の外科的ステップを決定するステップを含む。特定の実施形態では、処置管理情報を決定するステップは更に：上記次の外科的ステップに関連する画像データを、医療処置と比較するステップ；及び上記次の外科的ステップを第１の外科的ステップと比較するステップを含む。

本開示のある態様は、外科用ツール追跡システムを対象とする。この外科用ツール追跡システムは、外科用ポートと、外科用ツール及びカメラに関連する追跡要素とを含む。外科用ポートは、患者の体外に配置されるよう構成された近位端と、患者の身体の内部に配置されるよう構成された遠位端とを有してよい。外科用ポートはまた、上記近位端と上記遠位端との間に延在するチャネルを有してよい。外科用ツールは、外科用ポートのチャネルを通して患者の身体の内部にアクセスできるようサイズ設定及び構成してよい。追跡要素は外科用ツールに着脱可能に連結してよく、外科用ポートの近位端に設置されるカメラは、追跡要素に関連する画像データをキャプチャするよう構成してよい。

本開示の別の態様は、外科用ツールを追跡する方法を対象とする。この方法は：外科用ツールを外科用ポートに提供するステップを含んでよく、この外科用ツールは追跡要素を含んでよく、外科用ポートはこの外科用ポートに設置されたカメラを含んでよい。本方法は更に、カメラにおいて画像データをキャプチャするステップを含んでよい。本方法は更に、画像データをプロセッサに供給するステップ、及びプロセッサにおいて外科用ツールに関連する追跡情報を決定するステップを含んでよい。

本開示の更なる態様は、医療処置情報を管理するための情報管理システムを対象とする。このシステムは、外科用ポートに関連付けられたカメラから画像データを受信してよく、この画像データは、外科用ツールに関連付けられた追跡要素を表す。この画像データは、既知の複数のツールのうちの特定の有限個のセットに関連するものではない。このシステムは更に、画像データに基づいて、外科用ツールの識別及び位置を決定してよい。このシステムはまた、画像データを使用して、医療処置の外科的ステップを決定し、上記外科的ステップに関連する画像データを医療処置と比較することによって、処置管理情報を決定してよい。

本発明の１つ又は複数の実施形態の詳細を、添付の図面及び以下の説明において明らかにする。

本発明の他の目的、特徴及び利点は、以下の詳細から明らかになるであろう。しかしながら、この詳細な説明及び具体的な実施例は、本発明の具体的な実施形態を示すものの、単なる例示として挙げられているものであることに留意されたい。というのは、本発明の精神及び範囲内の様々な変更及び修正は、当業者にはこの詳細な説明から明らかであるためである。

本開示の例示的実施形態を以下の図面において提供する。これら図面は、例示的なデバイスの構造、及び単独で又は他の特徴と組み合わせて使用できる特定の特徴を例示するための、単なる例である。本発明は図示されている実施例に限定されるものではない。

図１は、例示的な外科用追跡ツールの斜視図である。 図２は、例示的な外科用追跡ツールの斜視図である。 図３は、例示的な追跡システムの概略フローチャートである。 図４は、例示的な追跡要素の図である。 図５は、例示的な追跡された医療処置の概略フローチャートである。 図６は、例示的なシステムの概略的なコンピュータシステムアーキテクチャである。 図７は、例示的な追跡要素の平面図である。

以下の説明では、利便のみを目的として特定の用語法を使用し、この特定の用語法は限定を意味しない。単語「右（ｒｉｇｈｔ）」、「左（ｌｅｆｔ）」、「下側（ｌｏｗｅｒ）」、「上側（ｕｐｐｅｒ）」は、参照している図面における方向を示すものである。単語「内側（ｉｎｎｅｒ）」、「外側（ｏｕｔｅｒ）」はそれぞれ、説明されている特徴又はデバイスの幾何学的中心に対して近づく方向及び離れる方向を表す。単語「遠位（ｄｉｓｔａｌ）」、「近位（ｐｒｏｘｉｍａｌ）」は、説明されているアイテムの文脈においての、及び本明細書で説明される機器に対しての方向を表し、典型的には上記機器を用いる外科医の視点に基づくものである。単語「前方（ａｎｔｅｒｉｏｒ）」、「後方（ｐｏｓｔｅｒｉｏｒ）」、「上位（ｓｕｐｅｒｉｏｒ）」、「下位（ｉｎｆｅｒｉｏｒ）」、「中央（ｍｅｄｉａｌ）」、「側方（ｌａｔｅｒａｌ）」、並びに関連する単語及び／又は語句は、参照している人体内での好ましい位置及び配向を指す。このような用語法は、上に列挙した単語、その単語の派生語、同様の意味の単語を含む。

これ以降、用語「連結される（ｃｏｕｐｌｅｄ）」は、「接続される（ｃｏｎｎｅｃｔｅｄ）」ものの必ずしも直接的ではなく、かつ必ずしも機械的ではないこととして定義される。

請求項及び／又は明細書内で用語「を備える／含む（ｃｏｍｐｒｉｓｉｎｇ）」と組み合わせて使用される場合の、単語「ある（ａ、ａｎ）」の使用は、「１つの（ｏｎｅ）」を意味してよいが、「１つ又は複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」又は「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」とも矛盾しない。用語「約（ａｂｏｕｔ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」又は「略（ｓｕｂｓｔａｎｔｉａｌｌｙ）」は一般に、明示された値プラスマイナス５％を意味する。請求項内での用語「又は（ｏｒ）」の使用は、代替物のみを指すことが明示されている場合又は代替物が相互に排他的である場合を除いて、「及び／又は（ａｎｄ／ｏｒ）」を意味するために使用されるが、本開示は、代替物のみ及び「及び／又は」を表す定義をサポートする。

用語「を備える／含む（ｃｏｍｐｒｉｓｅ）」（及び「ｃｏｍｐｒｉｓｅｓ」、「ｃｏｍｐｒｉｓｉｎｇ」といった「ｃｏｍｐｒｉｓｅ」のいずれの形態）、「を有する（ｈａｖｅ）」（及び「ｈａｓ」、「ｈａｖｉｎｇ」といった「ｈａｖｅ」のいずれの形態）、「を含む（ｉｎｃｌｕｄｅ）」（及び「ｉｎｃｌｕｄｅｓ」、「ｉｎｃｌｕｄｉｎｇ」といった「ｉｎｃｌｕｄｅ」のいずれの形態）、並びに「含有する（ｃｏｎｔａｉｎ）」（及び「ｃｏｎｔａｉｎｓ」、「ｃｏｎｔａｉｎｉｎｇ」といった「ｃｏｎｔａｉｎ」のいずれの形態）は、非限定的な連結動詞である。従って、１つ又は複数のステップ又は要素を「備える」、「有する」、「含む」又は「含有する」方法又はデバイスは、これら１つ又は複数のステップ又は要素を具備するが、これら１つ又は複数のステップ又は要素のみを具備すると限定されるわけではない。同様に、１つ又は複数の特徴を「備える」、「有する」、「含む」又は「含有する」、方法のステップ又はデバイスの要素は、これら１つ又は複数の特徴を具備するが、これら１つ又は複数の特徴のみを具備すると限定されるわけではない。更に、ある特定の方法で構成されたデバイス又は構造は、少なくとも上記方法で構成されるものの、本明細書で挙げられていない複数の方法で構成することもできる。

これより、本発明の特定の実施例について、図面を参照して説明する。このような実施例は一般に、外科用ツールを追跡してユーザに処置管理情報を提供するためのカメラを使用する、外科用ツール追跡システムの使用に関連する。図１、２は、外科用ツール追跡システム１００の１つの例示的実施形態の斜視図である。図示した実施形態では、外科用ツール追跡システム１００は、外科用ポート１０２、外科用ポート１０２に連結されたカメラ１０４、外科用ツール１０６に関連付けられた対応する追跡要素１０８を含むことができる。

例示的実施形態では、外科用ポート１０２を患者の身体の切開部分内に配置してアクセスポイントを提供でき、このアクセスポイントを通して、体内手術部位に外科用機器を導入してよい。特定の実施形態では、外科用ポート１０２は針、カニューレ、トロカール又は当該技術分野で公知である他のいずれの形式の外科用ポートを含むことができる。外科用ポート１０２は、生体適合性材料からなるものとすることができる。外科用ポートを使い捨て可能な材料から構成することにより、コストを削減し、滅菌及びバッテリの充電に関する問題を回避できるようにすることも考えられる。外科用ポート１０２は、患者の体外に配置するために構成された近位端１１０と、患者の身体の内部へと延在するようサイズ設定及び構成された遠位端１１２とを有することができる。近位端１１０は、基部１１４と、基部から遠位端１１２に向かって延在するカニューレ１１６又は管状本体とを含むことができる。外科用ポート１０２は、近位端１１０の基部１１４上の開口１２０と遠位端１１２の開口（図示せず）との間に延在するチャネル１１８を含むことができる。チャネル１１８は基部１１４及びカニューレ１１６を通って延在でき、これによって、チャネル１１８を介して外科用ツール１０６（例えば腹腔鏡又は内視鏡）を患者の体内に挿入できるように、患者の身体の内部へのアクセスを提供できる。

外科用ツール追跡システム１００の例示的実施形態は、外科用ポート１０２の近位端１１０に設置されたカメラ１０４を含むことができる。カメラ１０４は、可視スペクトル及び／若しくは赤外光をキャプチャでき、又は外科的処置における使用に適した他のいずれの撮像方式を含むことができる。カメラ１０４は、動画及び／又は静止画をキャプチャ及び記憶するよう構成できる。またカメラ１０４は、音声データをキャプチャ及び記憶するよう構成してもよい。カメラ１０４は、追跡要素１０８の静止画及び／又は動画を含む、追跡要素１０８に関連する画像データをキャプチャするよう構成できる。カメラ１０４は更に、医療処置を実施する外科医に関連する画像データをキャプチャするよう構成してよい。例えばカメラ１０４は、外科医固有追跡要素又はマーカといった外科医識別情報を提供する画像データをキャプチャできる。例示的な外科医固有マーカは、医療処置中に着用される特定の色の手袋を含むことができる。外科医に関連する画像データは、外科用ツール１０６及び／又は外科医の手に関する運動情報も含むことができる。この運動情報を用いて、医療処置中の外科医の手及び／又は外科用ツール１０６の運動／経路を追跡できる。

特定の例示的実施形態では、カメラ１０４は、近位端１１０の基部１１４への設置によって外科用ポート１０２に連結できる。他の例示的実施形態では、カメラ１０４は、基部１１４に組み込むことができ、又はその他の方法で基部１１４と一体化できる。外科用ポート１０２に対するカメラ１０４の位置は固定できる。即ちカメラ１０４は、固定された設定位置において基部１１４に設置でき、又はそれ以外の場合は組み込むことができる。他の実施形態では、カメラ１０４の位置は外科用ポート１０２に対して変更又は調整できる。例えばカメラ１０４は、カメラ１０４の位置及び配向を制御するアダプタを用いて基部１１４に設置できる。

特定の例示的実施形態では、カメラ１０４は、カメラ１０４の光学レンズ／視野が患者の身体から離れる方向に配向されるように、基部１１４に設置できる。例えばカメラ１０４は、
外科用ツール１０６が外科用ポート１０２に近づく及び／又は挿入されると、カメラ１０４の光学レンズ／視野が追跡要素１０８及び／又は外科医の手の方向に提供されるように、基部１１４に設置できる。更なる実施例では、カメラ１０４は、カメラ１０４の光学レンズ／視野が患者の身体から離れる方向及び追跡要素１０８の方向の両方に配向されるように、基部１１４に設置できる。例えば、外科用ツール１０６が外科用ポート１０２に近づいて外科用ポート１０２内に配置されると、追跡要素１０８及び／又は外科医の手の画像データをキャプチャするように、カメラ１０４の光学レンズ／視野を構成することも考えられる。

特定の実施形態では、カメラ１０４は、追跡要素１０８及び／又は外科医を照明するための発光要素を含むことができる。例えば発光要素は、追跡要素１０８のＵＶ感受性特徴部分を照明する紫外線ＬＥＤを含むことができる。非可視光範囲を使用することにより、弱光条件化での作業を好む外科医を妨害しない。また、追跡要素１０８上にＵＶ感受性特徴部分を使用すると、追跡要素１０８が画像内においてシステムに対して明るく色彩豊かなアイテムとして現れ、これによって背景及び／又は画像ノイズからより容易に区別できるようになることにより、認識プロセスにおいてプラスの効果をもたらすことができる。

特定の実施形態では、カメラ１０４は有線又は無線通信ネットワーク上で動作できるものであってよい。カメラ１０４は、通信ネットワークを用いて他のデバイスと通信するよう構成でき、上記他のデバイスは、コンピュータ、パーソナルデータアシスタント（ｐｅｒｓｏｎａｌ ｄａｔａ ａｓｓｉｓｔａｎｔ：ＰＤＡ）、携帯電話及び携帯型コンピュータを含む。例えば追跡システム１００はコンピュータシステム（図示せず）を含むことができる。カメラ１０４はコンピュータシステム１２２と通信して、分析及び／又は記憶のために画像データをコンピュータシステム１２２に伝送できる。追跡システム１００は、いずれの形態又はタイプのデータを取得、記憶及び／又は処理できる他の構成部品を含んでよい。このような構成部品はいずれも基部１１４に連結若しくは一体化してよく、又は追跡システム１００及び／若しくはコンピュータシステム１２２に通信可能に連結してよい。

特定の実施形態では、追跡システム１００は非光学的追跡システムも含んでよい。例えば追跡システム１００は、外科用ツール１０６及び／又は外科医に関連するＲＦ（無線周波数）タグを検出及び／又は追跡するためのトランシーバ／センサを含むことができる。追跡システム１００はまた、外科用ツール１０６に関連する又は外科用ツール１０６が伝送する電磁場を検出及び／又は追跡するための電磁場センサも含むことができる。他の形態及び構成の非光学的追跡方法も考えられる。これらのシステムを用いて受信された情報を用いて、外科用ツール１０６及び／又は外科医の位置を決定できる。同様に、受信された情報を用いて外科用ツール１０６及び／又は外科医の運動の位置／経路を追跡できる。以下に概説するように、位置及び／又は運動情報を用いて、医療処置に関連する外科的ステップを決定してよい。

追跡システム１００の特定の実施形態は外科用ツール１０６を含むことができる。追跡システム１００の他の実施形態は外科用ツール１０６を含まなくてよく、標準的なサイズの外科用ツールに連結されるよう構成された追跡要素１０８を備えてよい。外科用ツール１０６は、外科用ポート１０２を介して患者の身体の内部にアクセスできるようにサイズ設定及び構成できる。外科用ツール１０６の例示的実施形態は、腹腔鏡機器（ハサミ、フック、ナイフ、クランプ、鉗子、凝結及び解剖用電極、吸入針、開創器、縫合デバイス等）、内視鏡、吸引ルーメン、又は侵襲性が最小の外科的処置を実行するためのアクセスポートと組み合わせて使用されるその他のツール若しくは機器を含むことができる。

システム１００の例示的実施形態は、追跡要素１０８を含むことができる。特定の実施形態では、追跡要素１０８はアクティブ型及び／又はパッシブ型とすることができる。例示的なアクティブ型及びパッシブ型追跡要素１０８は、カメラ１０４で読み取ることができる光学パターン／特徴部分、ＲＦＩＤタグ、ＬＥＤ、又は当該技術分野で公知の他のいずれのタグ若しくはセンサを含む。追跡要素１０８は、外科用ツール１０６に対して固定位置に配置できる。例えば追跡要素１０８は、追跡要素１０８と外科用ツール１０６のハンドル及び／又は先端との間の空間的関係が分かるように配置及び位置決めできる。追跡システム１００の一実施例では、追跡要素１０８は外科用ツール１０６に着脱可能に連結される。別の実施形態では、追跡要素１０８は外科用ツール１０６に恒常的に固定できる。

特定の例示的実施形態では、追跡要素１０８は、カメラ１０４で読み取ることができる光学パターン／特徴部分（色、形状、パターン、バーコード及び／又は記号等）といったパッシブ型マーカを含むことができる。例示的なシステムでは、光学パターン／特徴部分の画像は、コンピュータシステム上の画像認識コンピュータプログラムが具備できる。追跡要素１０８に関連する画像データを用いて、外科用ツール１０６の識別を決定できる。例えば追跡要素１０８は、特定の外科用ツール１０６又は外科用ツール１０６の特定のタイプを表す、特定の特徴部分又は複数の特徴部分の組み合わせを含むことができる。

図１、２に示すように、例示的な追跡要素１０８はディスク状デバイスを含むことができる。特定の実施例では、追跡要素１０８は、外科用ツール１０６のハンドル部分の近傍に連結された直径およそ４ｃｍのディスクを含む。このディスクは、ディスクの周を巡る角度パターンで、異なる及び／又は交互の色の複数の領域を含むことができる。色付き領域間の境界は、色付きのライン／輪郭を用いて強調できる。同様に、追跡要素の周によって画定される縁部は、色付きのライン／輪郭を用いて強調できる。追跡システム１００は、交互に着色された領域及び／又は境界ラインを使用することにより、特定の追跡要素１０８に関連するパターン／特徴部分の識別を補助できる。追跡要素１０８上に含まれる特徴部分は、各ツール及び／又はツールのタイプが別個に独立して識別可能となるように、外科用ツール１０６間で変化する。

追跡要素１０８に関連する画像データを用いて、外科用ツール１０６の配向を決定することもできる。追跡要素１０８に関連する画像データを用いて、外科用ツール１０６の位置を決定することもできる。外科用ツール１０６の配向及び／又は位置は、外科用ポート１０２に対して決定できる。例えば外科用ツール１０６の位置及び／又は配向を、外科用ポート１０２の既知の位置及び／又は配向と比較して、外科用ツール１０６の相対的な位置／配向を決定できる。別の実施例では、外科用ツール１０６の配向及び／又は位置は、手術室に対して決定できる。例えば外科用ツール１０６の位置及び／又は配向を、手術室内の外科用ポート１０２の既知の位置及び／又は配向と比較して、外科用ツール１０６の「全体的な（ｇｌｏｂａｌ）」位置／配向を決定できる。

図３は、追跡システム１００の例示的実施形態の概略フローチャートを提供する。手術中、外科医は患者の身体にアクセスを生成でき、外科用ポート１０２をこのアクセスに挿入できる。図３に示すように、特定の医療処置中に、複数のアクセス及びこれに対応する数の外科用ポート１０２を使用できる。外科用ツール１０６を外科用ポート１０２のうちの少なくとも１つに設けることができる。各外科用ポート１０２において、カメラ１０４で画像データをキャプチャでき、これをコンピュータシステム１２２に供給できる。画像データは、外科用ツール１０６が外科用ポート１０２に近づくにつれてキャプチャできる。同様に画像データはまた、外科用ツール１０６を外科用ポート１０２のチャネル１１８部分に挿入するにつれてキャプチャできる。画像データは、追跡要素１０８の画像及び／又は医療処置を実施する外科医の一部分の画像を含むことができる。例示的なシステムでは、上記画像データは外科用ツール１０６（即ち追跡要素１０８の識別用特徴部分の画像データ）及び／又は外科医固有識別画像データと関連するものとすることができる。

特定の実施形態では、キャプチャされた画像データは、記憶及び分析のためにコンピュータシステム１２２に供給できる。例えばこの画像データは、コンピュータシステム１２２に常駐する画像処理アルゴリズムにおいて分析できる。コンピュータシステム１２２はツール固有追跡情報を決定できる。システムはまた、外科医固有追跡情報も決定できる。追跡情報は例えば、外科用ツール１０６の識別、外科用ツール１０６の配向、ケガ用ツール１０６の位置、外科医の識別、外科用ツール１０６を操作中の外科医の手の位置及び／又は運動を含むことができる。

図４は、カメラ１０４がキャプチャして画像処理アルゴリズムが分析した、追跡要素１０８の例示的実施形態の画像を提供する。画像処理アルゴリズムは、カメラ１０４がキャプチャした画像データから抽出された追跡要素１０８の画像を分析できる。画像処理アルゴリズムは追跡要素１０８の色の特徴を認識でき、識別された色の特徴に対応する、外科用ツール１０６に関連するＩＤを返信できる。画像処理アルゴリズムは画像データを事前処理して、画像のノイズを低減し、画像の輝度及びコントラストを改善できる。画像の各ピクセルを処理して、そのピクセルが目標の特徴部分に属するかどうかを決定できる。図４Ｃに示すようにバイナリイメージを生成でき、このバイナリイメージでは、白色ピクセルが可能性のあるマーカピクセルとして分類されている。例示的なアルゴリズムでは、追跡要素１０８の各特徴（例えば色）は特定の順序で識別される。色が分かった場合、関連する「フラグ」が（１）に設定され（ここで（０）フラグは無色を表す）、最終的な出力は（０）及び（１）からなるバイナリストリングとなる。この２進数を十進数に変換し、これを用いて外科用ツール１０６を識別できる。例えば図４に示す追跡要素１０８は、ピンク（０）、黄（１）、緑（０）、青（０）、茶（１）に一致する２進数０１００１を有することができる。結果として得られる十進数（９）は、外科用ツール１０６のＩＤとなる。

特定の実施形態では、目標の色はＨＳＶ空間において定義され、画像処理アルゴリズムに記憶される。この空間では、色調（Ｈ）、彩度（Ｓ）、輝度（Ｖ＝ｖａｌｕｅ）に応じて３つのインデックスが色を定義する。低過ぎる値を有する色は黒色に近づき、これは影として定義でき、無視できる。追跡要素１０８の色は、ＨＳＶ空間内の３次元マトリクスとして定義され、ピクセルは、その座標がこの空間の有効なセクタに属している場合は特定の色に割り当てられる。上記マトリクスの範囲を画定する値は、近距離かつ良好な照明条件から取得された単色のマーカのサンプル画像を用いて事前に定義できる。例示的なアルゴリズムでは、追跡要素１０８は色の分類を開始する前に画像の残りの部分から検出及び分離される。例えば図４に示すように、画像中の追跡要素１０８は円のハフ変換（Ｃｉｒｃｕｌａｒ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）を用いて検出でき、この機能はＭＡＴＬＡＢ（登録商標）Ｃｅｎｔｒａｌに既に実装されており、利用可能である。この機能は、画像から所定の範囲の半径の円を検出する。カメラ１０４からマーカまでの距離に応じて、追跡要素１０８の半径寸法を設定できる。円の外側のピクセルは（０）に設定する。円は正確にセグメント分割された状態でその全体が画像中に含まれていなければならないため、ツールの挿入が深過ぎるとそのツールを識別できない場合がある。従って追跡要素１０８からカメラ１０４までの距離は、これに応じて設定する必要がある。一実施例では、カメラ１０４と追跡要素１０８との間には最小距離１５ｃｍを維持できる。

例示的実施形態では、アルゴリズムは、色の誤分類が発生した場合を認識でき、そのデータを集計から排除できる。例えば、実施中の手術において使用されないマーカの数をアルゴリズムが返信する場合、又はシステムが色を０色又は４色以上検出する場合、データを集計から排除できる。

例示的実施形態はまた、外科用ツール１０６の通常の使用、例えば数十秒又は数分間に亘る同一の外科用ポート１０２を通した連続的な使用による誤分類を防止するよう構成することもできる。例えば外科用ポート１０２及び／又はアルゴリズムは、追跡要素１０８を複数回評価する必要があるものとすることができる。全ての同一の分類において単一の異なる検出が行われた場合、外科医が外科用ツール１０６をそれほど突然変更し、かつその外科用ツール１０６を僅か数秒だけ使用できるとは考えにくいため、これは恐らく誤認である。よって例示的な画像処理アルゴリズムは、これらの特異点を無視して正確な分類のみを考慮するよう構成できる。

例示的実施形態では、処理アルゴリズムはまた、マーカの色の予備登録を提供することもできる。ＨＳＶ空間の範囲は照明の変化に影響されやすいため、画像処理アルゴリズムを実際の動作状況で訓練すると有益であり得る。例えば医療処置の開始前、スタッフはカメラ１０４を用いて、室内の実際の照明条件下で追跡要素１０８の単色のマーカの画像を登録できる。画像処理アルゴリズムはこれらの画像を用いて、後続の介入のための色の検索に使用するための範囲を定義できる。複数の動作条件に矛盾がない場合、較正を完了できる。

追跡システム１００又はその構成部品は、医療処置情報を管理するための、コンピュータシステム１２２に常駐する情報管理システムと協働させて使用してよい。例えば、追跡システム１００から受信した情報に基づいて、医療処置に関して責任を有する個人（例えば外科医、麻酔科医、病院スタッフ、経営陣等）は、実際の処置を、それが発生すると共に又は処置の後で制御／管理及び評価できる。管理システムはカメラ１０４から画像データを受信できる。この画像データは、使用中の外科用ツール１０６に関連付けられた追跡要素１０８を表すものとすることができる。画像データは既知のツールの有限個のセットに関連するものである必要はない。その代わり、画像データは医療処置中に使用できることが当該技術分野で公知であるいずれのツールに関連するものとすることができる。既に概説したように、画像データは外科医に関連する画像データも含むことができる。

外科用ツール１０６の識別及び位置を、上記画像データに基づいて決定できる。外科用ツール１０６の識別を決定する場合、追跡要素１０８に関連する画像データを記憶されているデータと比較して、対応する記憶されている外科用ツール識別を識別してよい。例えば、特定のパターン／特徴部分（色、形状、パターン、バーコード及び／又は記号等）に関連する画像データを記憶されている特徴部分データと比較して、記憶されている画像／特徴部分データに対応する外科用ツール１０６の識別を決定できる。

外科用ツール１０６の位置を決定する場合、追跡要素１０８（又は外科医）に関連する画像データを、外科用ポート１０２に関連する位置情報と比較してよい。例えば患者に対する外科用ポート１０２の既知の位置を用いて、患者に対する外科用ツール１０６の位置を得ることができる。その結果、外科用ツール１０６の位置を患者に対して決定でき、即ちこれは患者中心座標系である。手術室内の患者の位置に関する既知のデータを用いて、手術室内での外科用ツール１０６の位置を推定することもでき、即ちこれは手術室中心座標系である。

外科用ツール１０６の位置を、外科用ポート１０２に対して決定することもできる。例えば追跡要素１０８（又は外科医）に関連する画像データを分析して、外科用ポート１０２に対する外科用ツール１０６の配向を決定してよい。例えば、追跡要素１０８の既知のサイズ及び構成情報を用いて、画像データを分析して、外科用ツール１０６と外科用ポート１０２との間の距離、角度、回転等を決定してよい。例えば外科用ツール１０６のハンドルと外科用ポート１０２の開口１２０との間の距離を決定してよい。同様に、外科用ツール１０６と外科用ポート１０２との間の角度及び／又は回転を決定してよい。

追跡要素１０８の画像データの使用と同様に、カメラ１０４においてキャプチャされる、外科医に関連する画像データを用いて、外科医が外科用ツール１０６を操作する際の外科医の手の識別及び配置を決定してもよい。例えば外科医固有追跡要素又はマーカの画像データを記憶されているデータと比較して、外科医の識別を決定してよい。別の実施例では、外科医固有追跡要素又はマーカの画像データを、外科用ポート１０２に関連する位置情報と比較して、患者及び／又は手術室に対する外科医の位置を決定してよい。別の実施例では、外科医固有追跡要素又はマーカの画像データを分析して、外科医が操作中の外科用ツール１０６の外科用ポート１０２に対する配向を決定してよい。

情報管理システムは、画像データを用いて、医療処置の外科的ステップが完了したことを決定してよい。例えば１つ若しくは複数の識別された外科用ツール１０６及び／又は１つ若しくは複数の識別された外科用ツール１０６の時系列に基づいて、所定の医療処置中の特定のステップを決定してよい。１つ若しくは複数の識別された外科用ツール１０６（又は１つ若しくは複数の識別された外科用ツール１０６の時系列）を、所定の医療処置に関する既知の一連のステップと比較することによって、このシステムは、外科医が医療処置中に実施するステップを識別できる。別の実施例では、このシステムはまた、外科用ツール１０６の配置及び／又は配向を、既知のツールの配置／配向と比較して、医療処置中のステップを識別してよい。決定された外科的ステップに基づいて、医療処置中の次のステップを予想できる。例えば、チェックリスト又は警告といった、次のステップに関連する情報を、外科医／スタッフに提供してよい。同様に、外科医／スタッフは、承認待ちのツール又は消耗品の必要性（例えばスポンジ、縫合糸等）を評価してよい。

情報管理システムはまた、処置管理情報を決定してよい。処置管理情報は、識別された外科的ステップに関連する画像データに基づいて決定してよい。例えば識別された外科的ステップに基づいて、このシステムは医療処置の完了時点を算出してよい。外科スタッフはこのデータを用いて、外科的処置中の次のステップを予想し、消耗品（スポンジ、縫合糸等）に対する必要性を識別してよい。また麻酔科医がこのデータを用いて、処置の完了に必要な麻酔の量を推定してもよい。計算された完了時点は、現在の医療処置に関連する時間データも考慮してよい。例えば現在の医療処置に関連する時間データは、外科医がモデル処置に比べて外科的ステップの完了に１０％多く時間を取っていることを示してよい。本システムはこの情報を用いて、外科医が全ての将来のステップを、モデルよりも１０％長い処置中に完了するであろうことを推定してよい。本システムはまた、特定の外科医に関連する履歴データを考慮して外科医固有モデルを生成し、現在の処置と比較してもよい。

外科用ツール１０６及び／又は外科用ポート１０２の使用時間を決定してもよい。例えば管理システムは、医療処置中の様々な外科用ツール１０６の使用の時系列を追跡してよい。同様に各外科用ツール１０６の使用の長さを識別してもよい。機器交換回数（即ち処置中に異なる複数の外科用ツール１０６が使用される場合の、特定の外科用ツール１０６を使用した回数等）を識別してもよい。図３に示すように、コンピュータシステム１２２が外科用ポート１０２から受信した画像データを具備しているため、このシステムは外科用ポート１０２及び特定の外科用ツール１０６が使用中であることを識別し、識別された外科用ツール１０６／外科用ポート１０２それぞれに関する時系列を登録する。例えば第１のツール１２４は、１５００秒の時点においておよそ５００秒間の初期使用を示す。同様に第２のツール１２６は、およそ３００秒の時点において初期使用を示し、その後ユーザによって中断される。第３のツール１２８は、およそ４００秒の時点において初期使用を示し、その後ユーザによって中断される。図５は、例示的な外科的処置に関する時系列を提供する。図５に示すように、「腹部露出（Ｓｔｏｍａｃｈ Ｅｘｐｏｓｕｒｅ）」ステップはおよそ６００秒の時点で発生し、この時点において第１のツール１２４、第５のツール１３２は使用中であり、第２のツール１２６、第３のツール１２８、第４のツール１３０は使用中でない。

特定の実施形態では、外科的処置の効率を計算してよい。例えば効率の測定は、現在の処置をモデル処置と比較できる。例えば外科的処置の効率を計算するために、外科医が現在の処置を完了するのにかかる時間を、モデル処置の時間と比較してよい。この比較に基づいて、処置及び／又はこの処置内の特定のステップの効率を、実際の時間とモデル時間との比較結果がどれだけ近いかに基づいて決定してよい。

特定の実施形態では、外科的処置を実施する外科医に関連する技術レベルも計算してよい。外科医の技術レベルは、特定の処置における外科医の効率を考慮してよい。技術レベルの計算において、画像データを用いて、処置中の外科用ツール１０６の円滑な運動を追跡してよい。例えば追跡要素１０８及び／又は外科医の手に関連する画像データを用いて、外科用ツール１０６及び／又は外科医の手の運動の滑らかさを追跡し、外科用ツール１０６の運動に関するモデルと比較してよい。技術レベルは、消耗品の使用の推定を含んでもよい。例えば特定の消耗品（例えばスポンジ、縫合糸等を含む）の使用を追跡して、識別された処置に関するモデル消耗範囲と比較してよい。画像データを用いて、モデル範囲を超えた（又はモデル範囲未満の）消耗品の使用を識別でき、技術レベルに対して適切な影響を与えることができる。

単一の外科用ポート１０２において２つ以上の外科用ツール１０６を（順次）使用することも考えられる。また、ここで開示される追跡システム１００及び情報管理システムが、それぞれ複数の外科用ツール１０６を使用する複数の外科用ポート１０２を（順次又は同時に）利用することも考えられる。画像データは、各外科用ポート１０２からの、各外科用ツール１０６を表す画像データを含むことができる。２つ以上の外科用ポート１０２を使用する場合、第２の外科用ポート１０２に関連する第２のカメラ１０４から受信される画像データは、第２の外科用ツール１０６に関連する追跡要素１０８を表す。既に概説したように、第２の外科用ツール１０６の識別は、キャプチャされた画像データに基づいて決定できる。

この画像データを用いて、対応する外科的ステップを決定できる。処置管理情報を決定する際、新たに決定された外科的ステップに関連する画像データを、医療処置と比較できる。過去に決定された外科的ステップを考慮し、これを上記新たに決定された外科的ステップと比較してもよい。この情報を用いて医療処置の変調を識別でき、外科医／スタッフに警告を提供できる。例えば外科医は医療処置のステップ１を完了してよく、次の識別されたステップはステップ３であり、即ち外科医はステップ２を飛ばしている。外科医／スタッフに、医療処置中のあるステップに失敗したことを示す警告を提供してよい。

様々な図面に関する、本明細書に記載の論理操作は：（１）計算デバイス（例えばコンピュータシステム）上で動作する、複数のコンピュータ実装型動作若しくはプログラムモジュール（即ちソフトウェア）のシーケンスとして；（２）計算デバイス内で相互接続された機械論理回路若しくは回路モジュールとして；並びに／又は（３）計算デバイスのソフトウェア及びハードウェアの組み合わせとして実装してよいことを理解されたい。よって本明細書で議論される論理操作は、ハードウェア及びソフトウェアのいずれの特定の組み合わせに限定されない。実装形態とは、計算デバイスの性能及びその他の要件に応じた選択の問題である。従って本明細書に記載の論理操作は、操作、構造デバイス、動作又はモジュールのように様々に呼ばれる。これらの操作、構造デバイス、動作及びモジュールは、ソフトウェア、ファームウェア、特定用途向けデジタル論理、及びこれらのいずれの組み合わせで実装してよい。図示したもの及び本明細書に記載のものより多い又は少ない数の操作を実行してもよいことを理解されたい。これらの操作はまた、本明細書に記載のものとは異なる順序で実行してもよい。

本明細書に記載の論理操作をソフトウェアで実装する場合、プロセスは、いずれの適切な計算アーキテクチャ又はプラットフォーム上で実行してよい。上述のように、例えばＰＣＢ、プロセッサ、制御回路、車両電子機器制御ユニットの機能を、いずれの適切な計算アーキテクチャ又はプラットフォーム上に実装してよい。図６に示す例示的実装形態は、本発明の実施形態を実装できる計算デバイスの一例を提供する。計算デバイス６００は、計算デバイス６００の様々な構成部品間で情報を通信するためのバス又はその他の通信機構を含んでよい。１つの基本的な構成では、計算デバイス６００は典型的には少なくとも１つの処理ユニット６０６及びシステムメモリ６０４を含む。計算デバイスの構成及びタイプに応じて、システムメモリ６０４は揮発性（ランダムアクセスメモリ（ＲＡＭ）等）、不揮発性（読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ等）又はこれら２つの何らかの組み合わせであってよい。１つのこのような構成を図６において破線６０２で示す。処理ユニット６０６は、計算デバイス６００の操作のために必要な演算及び論理操作を実行する、標準的なプログラム可能なプロセッサであってよい。

計算デバイス６００は、追加の特徴及び機能を有してよい。例えば計算デバイス６００は、磁気ディスク若しくはテープ又は光学ディスク若しくはテープを含むがこれらに限定されないリムーバブルストレージ６０８及び非リムーバブルストレージ６１０といった、追加のストレージを含んでよい。計算デバイス６００はまた、デバイスが他のデバイスと通信できるようにする１つ又は複数のネットワーク接続を含有してもよい。計算デバイス６００はまた、キーボード、マウス、タッチスクリーン等といった１つ又は複数の入力デバイス６１４を有してもよい。計算デバイス６００の構成部品間の通信を促進するために、追加のデバイスをバスに連結してよい。

例示的実施形態では、処理ユニット６０６は有体コンピュータ可読媒体内で符号化されたプログラムコードを実行するよう構成してよい。コンピュータ可読媒体とは、特定の様式で計算デバイス６００（即ち機械）を動作させるデータを提供できるいずれの媒体を指す。様々なコンピュータ可読媒体を利用して、処理ユニット６０６に実行のための命令を提供してよい。コンピュータ可読媒体の一般的な形態は例えば、磁気媒体、光学媒体、物理媒体、メモリチップ若しくはカートリッジ、搬送波又はコンピュータが読み取ることができる他のいずれの媒体を含む。例示的なコンピュータ可読媒体は、揮発性媒体、不揮発性媒体、伝送媒体を含んでよいがこれらに限定されない。揮発性及び不揮発性媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータといった情報の記憶のためのいずれの方法又は技術で実装してよく、一般的な形式については以下で詳細に論ずる。伝送媒体は、同軸ケーブル、銅線及び／又は光ファイバケーブル、並びに電波及び赤外線データ通信中に生成されるもの等の音波又は光波を含んでよい。例示的な有体コンピュータ可読記録媒体は、集積回路（例えばフィールドプログラマブルゲートアレイ若しくは特定用途向けＩＣ）、ハードディスク、光学ディスク、光磁気ディスク、フロッピー（登録商標）ディスク、磁気テープ、ホログラフィック記憶媒体、ソリッドステートデバイス、ＲＡＭ、ＲＯＭ、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくはその他の光学ストレージ、又は磁気カセット、磁気テープ、磁気ディスクストレージ若しくはその他の磁気ストレージデバイスを含むがこれらに限定されない。

例示的実装形態では、処理ユニット６０６はシステムメモリ６０４に記憶されたプログラムコードを実行してよい。例えばバスはデータをシステムメモリ６０４に搬送してよく、処理ユニット６０６はシステムメモリ６０４から命令を受信して実行する。システムメモリ６０４が受信したデータは任意に、処理ユニット６０６による実行の前又は後に、リムーバブルストレージ６０８又は非リムーバブル６１０に記憶してよい。

例示的実施形態では、計算デバイス６００は様々なコンピュータ可読媒体を含むことができる。コンピュータ可読媒体は、デバイス６００がアクセスできるいずれの利用可能な媒体とすることができ、揮発性及び不揮発性両方の、リムーバブル及び非リムーバブル媒体を含む。コンピュータストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータといった情報の記憶のためのいずれの方法又は技術で実装される、揮発性及び不揮発性のリムーバブル及び非リムーバブル媒体を含む。システムメモリ６０４及びリムーバブルストレージ６０８は全て、コンピュータストレージ媒体の例である。コンピュータストレージ媒体は、ＲＡＭ、ＲＯＭ、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくはその他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくはその他の磁気ストレージデバイス、又は所望の情報を記憶するために利用でき、かつ計算デバイス６００がアクセスできる他のいずれの媒体を含むがこれらに限定されない。いずれのこのようなコンピュータストレージ媒体は、計算デバイス６００の一部であってよい。

本明細書に記載の様々な技術は、ハードウェア若しくはソフトウェア、又は適切な場合はこれらの組み合わせと関連させて実装してよい。従ってここで開示した主題又はその特定の態様若しくは部分の方法及び装置は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードドライブ又は他のいずれの機械可読ストレージ媒体といった有体媒体内で実現されるプログラムコード（即ち命令）の形態を取ってよく、機械がプログラムコードをロードして実行すると、この機械は、ここで開示した主題を実行するための装置となる。プログラムコードをプログラマブルコンピュータ上で実行する場合、計算デバイスは、プロセッサ、プロセッサが読み出し可能なストレージ媒体（揮発性及び不揮発性メモリ及び／又はストレージ要素を含む）、少なくとも１つの入力デバイス、少なくとも１つの出力デバイスを含むことができる。１つ又は複数のプログラムは、例えばアプリケーションプログラミングインタフェース（ＡＰＩ）、再使用可能な制御等の使用により、ここで開示した主題に関連して説明されたプロセスを実装又は利用してよい。このようなプログラムは、コンピュータシステムと通信するために、高級プログラミング言語又はオブジェクト指向プログラミング言語で実装してよい。しかしながら必要な場合は、１つ又は複数のプログラムをアセンブリ言語又は機械語で実装できる。いずれの場合においても、言語はコンパイラ言語又はインタプリタ言語であってよく、ハードウェア実装と組み合わせてよい。

実験結果
識別アルゴリズム及びマーカの改善により、システムの認識速度が上昇した。第１のバージョンでは、マーカはボール紙の単純なディスクであり、インクジェットプリンタを用いて印刷されていた。実際のところ、最終的な結果は粗く、色の均一性が不完全なものであり、これは識別システムに誤認をもたらす場合があった。更に、この種のプリンタは最終結果に対して良好な制御を実施できず、従って実際のマーカの色は、コンピュータ上で設計されたものとは異なる見た目となっていた。これはＨＳＶ空間内で暗過ぎる色及び近過ぎる色を生成するため、問題であった。コンピュータ上では、複数の色は離れた色調並びに良好な彩度及び輝度を有するように設計されていた。明るく鮮明な色は、影の存在による誤分類のリスクを低減する。第２のバージョンでは、円の検出が追加され、黒色の円をマーカの周囲に追加することにより、マーカを背景から区別しやすくした。

最終バージョンでは、マーカは専用の印刷術によって光沢のある紙に印刷された。この紙を黒色発泡ボードのディスクに接着した。この製品は、精度、輝度及び均一性といった役に立つ特徴を示し、正確な分類の割合の一貫した改善をもたらした。図７では、これら異なるバージョンのサンプルを確認できる。表１は、各色に関する、ＨＳＶ空間における対応する範囲を示し、これらは異なるマーカプロトタイプに対して再定義しなければならない。

表１に示すように、第３の実装形態の比較的均一なマーカにより、上記範囲を狭めることができ、ＨＳＶ空間内での色と色の間の距離を増大させることができ、従って誤認の蓋然性を低下させることができた。またこれにより、茶色を、影の存在による影響を受けにくい比較的明るい色である赤に置換できた。

第１の実装形態に関して、２つの異なる配向（上向き又は下向き）の腹腔鏡ツールを示す、カメラから３種類の距離（５、２０、３０ｃｍ）における１５３点の写真で、２５個のマーカ（第１の種類）を評価した。これらの画像のうちの８２点において、分類は正確であった（５３．６％）。誤分類は、マーカの誤認識、又は他の対象をマーカとして分類してしまうことによるものであった。誤陽性の総数は４９、誤陰性の総数は４６であった。表２、３は、各色が誤分類にどの程度寄与しているかを示す。最も問題のある色が緑であることは即座に確認できる。緑は、緑が存在する６３点の写真のうち３０点でしか認識されなかった。更に、この試験で使用した青色の外科用グローに存在する影は通常、緑として分類され、誤陽性を引き起こす。ＨＳＶフィールドにおける緑色の定義は明らかに不正確であった。

緑という特定の場合を除いて、誤陰性の数はそれほど多くはなく、これはアルゴリズムが、ある色が存在する場合はその色を認識できることが多いことを示している。誤陽性に関してより問題となるのは、この種の誤分類の９４％が、低い値を有する色によって引き起こされたという状況である。この状況は、グロー又は皮膚上に存在するいくつかの影がＨＳＶインデックスの上記範囲に属し得るために発生し得る。プリンタの結果を最適化できる場合には、最終バージョンのマーカにおいてこのような低い値の色を避けた。全写真において正確に分類されたマーカは、青−茶、黄−青、ピンク−黄−青といった数個のみであった。緑−ピンク及び黄−緑−ピンクの２つのマーカは常に誤分類された（緑の設定に関する上述の問題と相関していることは明らかである）。

別の観察は、マーカの構成に関するものであり、即ち単色のマーカは他のものより視認しやすいか又はその逆であるかに関するものである。利用可能なデータの分析によって、この因子は表４に示すようにそれほど大きな影響を有しないことが示唆される（不正確な分類は各棒グラフの頂部に示され、正確な分類は各棒グラフの底部に示される）。

２色のマーカに関して正確な分類の率が僅かに高いが、その理由を決定するのは困難である。３色マーカを使用するといくつかの困難が発生し得る。即ちディスクの少なくとも半分が既に視認可能である場合でさえ、１つのセクタは部分的に画像の外側となるか、又は他の２つのセクタに比べて影になっている部分が多く、２色だけでは何ら影響がないという問題を生じる。ここで確認しておくべき１つの重要な側面は、マーカを認識可能とするために比較的広い着色領域を有するようにする必要はないということである。現在使用されているセクタは、単色のマーカと比較可能な結果をもたらす。

カメラからの距離又は位置もまた、結果に対して特定の影響を有しない。８２個の正確な分類は、この試験において試験された６つの位置に沿ってほとんど均等に分布する。マーカがカメラの焦点線上にない場合、このマーカが画像内で不鮮明となることがある（輪郭は、距離が３０又は２０ｃｍの低い位置に関してのみ鮮明である）。それにも関わらず上記マーカの識別は損なわれない。これにより、カメラの配向を将来変更するにあたって良好なマージンが得られる。

第２の実装形態に関して試験された一連の画像は更に幅広いものであり、合計１９２点の画像に関して、８つの異なる位置（カメラから上下に１５、１９、２０又は２５ｃｍ）で２４個のマーカを試験した。この１９２点の画像のうち、１５５点が正確に分類された（８０．７％）。誤認の原因は、画像内の円の誤検出（１１件、発生率５．７％）又は画像内に存在する色の誤分類（２６件、１３．６％）であり、色の誤分類のうち１１件が誤陽性、１７件が誤陰性であった。異なる複数の位置における正確な分類の割合は均一に分布しており、これはマーカ識別に対するツールの位置の影響の証拠が存在しないことを示す。

誤分類に対する色の影響を表５、６に示す。

緑及びオレンジは、このタイプの誤認に対して僅かに強い影響を有する。誤陽性に関しては、典型的には青を緑として、及びピンクをオレンジとして識別する場合が発生する。値の範囲間の距離が更に大きい色を使用することによって、この問題を低減できるはずである。いずれにせよ、背景ノイズの低減の結果として、第１の実装形態から著しい改善が見られる。

円検出を提供するものの色識別の後にフィルタリングを提供しない最終バージョンのアルゴリズムに対して、専用の方式で印刷され発泡ボードディスクに組み付けられた２５個のマーカを用いて、最後の試験を実施した。動画から抽出された写真は、カメラから１５、２０、２５ｃｍの位置であり、合計３００点の写真に関して擬似ツールの４つの異なる配向（上下左右）を提供する。マーカの品質の有意な改善及びコードの若干の修正により、正確な分類が９６．６６％となるという印象的な結果が得られた。各距離における割合を表７に示す。

この最後の試験の別の重要な結果は、マーカの輪郭の不正確な検出に関するエラーが発生しなかったことである。このシステムは写真内のマーカを一貫して識別できた。この改善は、マーカの品質がより良好であることに応じたものであると思われる。というのは、アルゴリズムの関連する部分に対しては何ら修正を行わなかったためである。マーカの検出は信頼性が極めて高いという知見は、アルゴリズムを、それ自体による誤分類を識別できるよう訓練するにあたって重要となる。１０個のエラーは、赤色しか存在しない場合にピンク又は黄が存在するように間違う等、ＨＳＶ空間内で近接した色の間の混乱によるものであった。これが発生するのは、光がマーカに当たって異なる色の影を生成するという稀な場合のみである。

これまでに得られた結果は、手術室の評価という比較的広範なプロジェクトにおいて、修正されたトロカールが機器の認識を実行するための有効なリソースとなり得ることを示している。外科用ツール追跡システムを、修正されたトロカールと共に使用することによって、腹腔鏡胆嚢摘除のシミュレーションを記録できる。この手術は複数の望ましい特性を有する。即ち過度に時間がかかることはなく、標準的な複数のステップのシーケンスに従って実行され、最も特徴的な複数のツールに対して１つのメインポートしか必要としない（他のアクセスは副次的なものであり、主に把持器のために使用される）。手術中にトロカールが記録した動画を複数のフレームでサンプリングし、各フレームにおいてソフトウェアはツールのマーカを識別しようとする。実際のツールのシーケンスとソフトウェアが識別したものとを比較することにより、システムがその目的に対して効果的であるかどうかが分かる。

上述の説明及び図面は本発明の実施例を示しているが、添付の請求項によって定義されるような本発明の精神及び範囲から逸脱することなく、様々な追加、修正、組み合わせ及び／又は置換を上記実施例において実施してよいことを理解されたい。特に、本発明を、本発明の精神又は本質的な特徴から逸脱することなく、他の具体的形態、構造、配置及び割合で、並びに他の要素、材料及び構成部品を用いて実現してよいことは、当業者には明らかであろう。本発明を、本発明の原理から逸脱することなく、特定の環境及び動作要件に特に適合している、本発明の実行において使用される構造、配置、割合、材料、構成部品やその他に多数の修正を加えて使用してよいことは、当業者には理解されるであろう。更に本明細書で説明した特徴は、単独で又は他の特徴と組み合わせて使用してよい。ここで開示した実施例は、あらゆる点で例示的かつ非限定的なものと見做されるべきものであり、本発明の範囲は添付の請求項によって示され、ここまでの説明に限定されることはない。

上述の実施例の広範な発明的概念から逸脱することなく、上述の実施例に対して変更を加えることができることは、当業者には理解されるであろう。従って本発明はここで開示した特定の実施例に限定されず、以下の請求項によって定義されるような本発明の精神及び範囲内での修正を包含することを意図したものであることが理解される。

以下の参考文献の内容は、参照により本出願に援用される。
・Ａｇａｒｗａｌ Ｓ，Ｊｏｓｈｉ Ａ，Ｆｉｎｉｎ Ｔ，Ｙｅｓｈａ Ｙ．Ａ Ｐｅｒｖａｓｉｖｅ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ ｔｈｅ Ｏｐｅｒａｔｉｎｇ Ｒｏｏｍ ｏｆ ｔｈｅ Ｆｕｔｕｒｅ．Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ．２００７；１２：２１５−２８．
・Ｂｌｕｍ Ｔ，Ｐａｄｏｙ Ｎ，Ｆｅｕｓｓｎｅｒ Ｈ，Ｎａｖａｂ Ｎ．Ｍｏｄｅｌｉｎｇ ａｎｄ ｏｎｌｉｎｅ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｓｕｒｇｉｃａｌ ｐｈａｓｅｓ ｕｓｉｎｇ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ．Ｍｅｄ Ｉｍａｇｅ Ｃｏｍｐｕｔ Ｃｏｍｐｕｔ Ａｓｓｉｓｔ Ｉｎｔｅｒｖ．２００８；１１：６２７−３５．
・Ｄｏｒｙａｂ Ａ，Ｂａｒｄｒａｍ ＪＥ．Ｄｅｓｉｇｎｉｎｇ ａｃｔｉｖｉｔｙ−ａｗａｒｅ ｒｅｃｏｍｍｅｎｄｅｒ ｓｙｓｔｅｍｓ ｆｏｒ ｏｐｅｒａｔｉｎｇ ｒｏｏｍｓ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１１ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｏｎｔｅｘｔ−ａｗａｒｅｎｅｓｓ ｉｎ Ｒｅｔｒｉｅｖａｌ ａｎｄ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ．Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ；２０１１；４３−６．
・Ｄｏｒｙａｂ Ａ，Ｔｏｇｅｌｉｕｓ Ｊ，Ｂａｒｄｒａｍ Ｊ．Ａｃｔｉｖｉｔｙ−ａｗａｒｅ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ｆｏｒ ｃｏｌｌａｂｏｒａｔｉｖｅ ｗｏｒｋ ｉｎ ｏｐｅｒａｔｉｎｇ ｒｏｏｍｓ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１２ ＡＣＭ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ．Ｎｅｗ Ｙｏｒｋ，ＮＹ，ＵＳＡ；２０１２；３０１−４．
・Ｋｒａｎｚｆｅｌｄｅｒ Ｍ，Ｓｃｈｎｅｉｄｅｒ Ａ，Ｂｌａｈｕｓｃｈ Ｇ，Ｓｃｈａａｆ Ｈ，Ｆｅｕｓｓｎｅｒ Ｈ．Ｆｅａｓｉｂｉｌｉｔｙ ｏｆ ｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ ｓｕｒｇｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ．Ｍｉｎｉｍ Ｉｎｖａｓｉｖｅ Ｔｈｅｒ Ａｌｌｉｅｄ Ｔｅｃｈｎｏｌ．２００９；１８（５）：２５３−８．
・Ｌｉｕ ＣＣ，Ｃｈａｎｇ ＣＨ，Ｓｕ ＭＣ，Ｃｈｕ ＨＴ， Ｈｕｎｇ ＳＨ，Ｗｏｎｇ ＪＭ，ｅｔ ａｌ．ＲＦＩＤ−ｉｎｉｔｉａｔｅｄ ｗｏｒｋｆｌｏｗ ｃｏｎｔｒｏｌ ｔｏ ｆａｃｉｌｉｔａｔｅ ｐａｔｉｅｎｔ ｓａｆｅｔｙ ａｎｄ ｕｔｉｌｉｚａｔｉｏｎ ｅｆｆｉｃｉｅｎｃｙ ｉｎ ｏｐｅｒａｔｉｏｎ ｔｈｅａｔｅｒ．Ｃｏｍｐｕｔ Ｍｅｔｈｏｄｓ Ｐｒｏｇｒａｍｓ Ｂｉｏｍｅｄ．２０１１；１０４（３）：４３５−４２．
・Ｍａｒｊａｍａａ Ｒ， Ｖａｋｋｕｒｉ Ａ，ＫｉｒｖｅｌA Ｏ．Ｏｐｅｒａｔｉｎｇ ｒｏｏｍ ｍａｎａｇｅｍｅｎｔ：ｗｈｙ， ｈｏｗ ａｎｄ ｂｙ ｗｈｏｍ？ Ａｃｔａ Ａｎａｅｓｔｈｅｓｉｏｌｏｇｉｃａ Ｓｃａｎｄｉｎａｖｉｃａ．２００８；５２：５９６−６００．
・Ｎｅｕｍｕｔｈ Ｄ，Ｌｏｅｂｅ Ｆ，Ｈｅｒｒｅ Ｈ，Ｎｅｕｍｕｔｈ Ｔ．Ｍｏｄｅｌｉｎｇ ｓｕｒｇｉｃａｌ ｐｒｏｃｅｓｓｅｓ：ａ ｆｏｕｒ−ｌｅｖｅｌ ｔｒａｎｓｌａｔｉｏｎａｌ ａｐｐｒｏａｃｈ．Ａｒｔｉｆ Ｉｎｔｅｌｌ Ｍｅｄ．Ｎｅｔｈｅｒｌａｎｄｓ．２０１１；５１（３）：１４７−６１．
・Ｎｅｕｍｕｔｈ Ｔ，Ｊａｎｎｉｎ Ｐ，Ｓｃｈｌｏｍｂｅｒｇ Ｊ，Ｍｅｉｘｅｎｓｂｅｒｇｅｒ Ｊ，Ｗｉｅｄｅｍａｎｎ Ｐ，Ｂｕｒｇｅｒｔ Ｏ．Ａｎａｌｙｓｉｓ ｏｆ ｓｕｒｇｉｃａｌ ｉｎｔｅｒｖｅｎｔｉｏｎ ｐｏｐｕｌａｔｉｏｎｓ ｕｓｉｎｇ ｇｅｎｅｒｉｃ ｓｕｒｇｉｃａｌ ｐｒｏｃｅｓｓ ｍｏｄｅｌｓ．Ｉｎｔ Ｊ Ｃｏｍｐｕｔ Ａｓｓｉｓｔ Ｒａｄｉｏｌ Ｓｕｒｇ．２０１１；６：５９−７１．
・Ｎｅｕｍｕｔｈ Ｔ，Ｊａｎｎｉｎ Ｐ，Ｓｔｒａｕｓｓ Ｇ，Ｍｅｉｘｅｎｓｂｅｒｇｅｒ Ｊ，Ｂｕｒｇｅｒｔ Ｏ．Ｖａｌｉｄａｔｉｏｎ ｏｆ ｋｎｏｗｌｅｄｇｅ ａｃｑｕｉｓｉｔｉｏｎ ｆｏｒ ｓｕｒｇｉｃａｌ ｐｒｏｃｅｓｓ ｍｏｄｅｌｓ．Ｊ Ａｍ Ｍｅｄ Ｉｎｆｏｒｍ Ａｓｓｏｃ．２００９；１６（１）：７２−８０．
・Ｎｅｕｍｕｔｈ Ｔ，Ｓｔｒａｕs Ｇ，Ｍｅｉｘｅｎｓｂｅｒｇｅｒ Ｊ，Ｌｅｍｋｅ Ｈ，Ｂｕｒｇｅｒｔ Ｏ．Ａｃｑｕｉｓｉｔｉｏｎ ｏｆ Ｐｒｏｃｅｓｓ Ｄｅｓｃｒｉｐｔｉｏｎｓ ｆｒｏｍ Ｓｕｒｇｉｃａｌ Ｉｎｔｅｒｖｅｎｔｉｏｎｓ．Ｌｅｃｔｕｒｅ ｎｏｔｅｓ ｉｎ ｃｏｍｐｕｔｅｒ ｓｃｉｅｎｃｅ．２００６；４０８０：６０２−１１．
・Ｐａｄｏｙ Ｎ，Ｂｌｕｍ Ｔ，Ａｈｍａｄｉ Ｓ−Ａ，Ｆｅｕｓｓｎｅｒ Ｈ，Ｂｅｒｇｅｒ Ｍ−Ｏ，Ｎａｖａｂ Ｎ．Ｓｔａｔｉｓｔｉｃａｌ ｍｏｄｅｌｉｎｇ ａｎｄ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｓｕｒｇｉｃａｌ ｗｏｒｋｆｌｏｗ．Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ．２０１２；１６：６３２−４１．
・Ｓｃｈｏｅｐｐ Ｈ．Ｓｕｒｇｉｃａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ．Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ２０１２．

Claims (13)

1. 外科用ツール追跡システムであって：
   患者の体外に配置されるよう構成された近位端と、前記患者の身体の内部に配置されるよう構成された遠位端とを備える外科用ポート、及び前記近位端と前記遠位端との間に延在するチャネル；
   前記外科用ポートに挿入される外科用ツールの前記近位端側に位置するハンドル部分に連結するよう構成された追跡要素；並びに
   前記追跡要素に関連する画像データをキャプチャするよう構成された、前記外科用ポートの前記近位端に設置されかつ前記追跡要素に向けて配向されるカメラ
   を備える、外科用ツール追跡システム。
2. 前記外科用ポートはトロカールであり、
   前記トロカールは、前記近位端に基部を、そして前記遠位端にカニューレを備え、
   前記カメラは前記基部に設置される、請求項１に記載の外科用追跡システム。
3. 前記カメラは前記外科用ポートに対して固定位置にある、請求項１に記載の外科用追跡システム。
4. 前記カメラは前記外科用ポート上で可動である、請求項１に記載の外科用追跡システム。
5. 前記カメラは前記追跡要素に向かって配向される、請求項１に記載の外科用追跡システム。
6. 前記カメラは前記患者の前記身体から離れる方向に配向される、請求項１に記載の外科用追跡システム。
7. 前記カメラは前記追跡要素を照明するための発光要素を含む、請求項１に記載の外科用追跡システム。
8. コンピュータシステムを更に備え、
   前記カメラは前記コンピュータシステムと通信して、前記画像データを前記コンピュータシステムに伝送する、請求項１に記載の外科用追跡システム。
9. 前記追跡要素は、色、形状、パターン、バーコード及び記号のうちの少なくとも１つを含む、請求項１に記載の外科用追跡システム。
10. 外科用ツールを更に備え、
    前記外科用ツールは、前記外科用ポートの前記チャネルを通して前記患者の前記身体の内部にアクセスできるようサイズ設定及び構成され、
    前記追跡要素は前記外科用ツールに連結される、請求項１に記載の外科用追跡システム。
11. 前記追跡要素は、前記外科用ツールの識別、前記外科用ツールの配向及び前記外科用ツールの位置のうちの少なくとも１つに対応する、請求項１に記載の外科用追跡システム。
12. 前記追跡要素は、ディスク状デバイスを含む、請求項１に記載の外科用追跡システム。
13. 前記カメラは更に、外科医に関連する画像データをキャプチャするよう構成される、請求項１に記載の外科用追跡システム。

Images