JP2020005785A - 医用情報処理システム、医用情報処理装置及び超音波診断装置 - Google Patents

Abstract

【課題】手技の効率を向上させること。【解決手段】実施形態の医用情報処理システムは、取得部と、決定部とを備える。取得部は、被検体の体内に挿入される医用デバイスに関する情報と、医用デバイスを用いた手技の対象部位に関する情報とを、被検体から収集された超音波画像に基づいて取得する。決定部は、超音波画像と当該超音波画像と共に収集されたＸ線画像との位置合わせ結果に基づいて、対象部位に対する医用デバイスを用いた手技中にＸ線画像を収集する際の被検体に対するＸ線の照射方向を決定する。【選択図】図４

Description

本発明の実施形態は、医用情報処理システム、医用情報処理装置及び超音波診断装置に関する。

従来、超音波診断装置による超音波画像の収集とＸ線診断装置によるＸ線画像の収集とを手技中に行い、収集した超音波画像とＸ線画像とを位置合わせして表示させる技術が知られている。例えば、心臓弁の治療においては、治療対象となる心臓弁を含む軟部組織が明瞭に描出される超音波画像と、超音波画像と比較してより広い範囲を描出することができるＸ線画像とを同時に収集して観察することで、治療の精度向上が図られている。

ここで、上述した技術では、近年、超音波画像とＸ線画像とをリアルタイムで位置合わせすることが可能となってきている。これにより、例えば、手技中に収集されるリアルタイムの超音波画像とリアルタイムのＸ線画像とを位置合わせして、位置合わせ後の超音波画像とＸ線画像とを合成した合成画像を術者に提示することも可能となっている。

特表２０１７−５０７７２３号公報

本発明が解決しようとする課題は、手技の効率を向上させることである。

実施形態の医用情報処理システムは、取得部と、決定部とを備える。取得部は、被検体の体内に挿入される医用デバイスに関する情報と、前記医用デバイスを用いた手技の対象部位に関する情報とを、前記被検体から収集された超音波画像に基づいて取得する。決定部は、前記超音波画像と当該超音波画像と共に収集されたＸ線画像との位置合わせ結果に基づいて、前記対象部位に対する前記医用デバイスを用いた手技中にＸ線画像を収集する際の前記被検体に対するＸ線の照射方向を決定する。

図１は、第１の実施形態に係る医用情報処理システムの構成の一例を示す図である。 図２は、第１の実施形態に係る超音波診断装置の構成の一例を示す図である。 図３は、第１の実施形態に係るＸ線診断装置の構成の一例を示す図である。 図４は、第１の実施形態に係る医用情報処理装置の構成の一例を示す図である。 図５は、第１の実施形態に係る手技の一例を説明するための図である。 図６Ａは、第１の実施形態に係る画像表示の一例を示す図である。 図６Ｂは、第１の実施形態に係る画像表示の一例を示す図である。 図７は、第１の実施形態に係る合成画像の表示の一例を示す図である。 図８は、第１の実施形態に係る合成画像の表示の一例を示す図である。 図９は、第１の実施形態に係る合成画像に合成される超音波画像の選択の一例を説明するための図である。 図１０は、第１の実施形態に係る計画線の表示の一例を示す図である。 図１１Ａは、第１の実施形態に係る計画線の方向とＸ線の照射方向とのなす角度を説明するための図である。 図１１Ｂは、第１の実施形態に係る支援情報表示の一例を示す図である。 図１１Ｃは、第１の実施形態に係る支援情報表示の一例を示す図である。 図１１Ｄは、第１の実施形態に係る支援情報表示の一例を示す図である。 図１１Ｅは、第１の実施形態に係る診断装置制御の一例を説明するための図である。 図１１Ｆは、第１の実施形態に係る診断装置制御の一例を説明するための図である。 図１１Ｇは、第１の実施形態に係る診断装置制御の一例を説明するための図である。 図１２は、第１の実施形態に係る診断装置制御の一例を説明するための図である。 図１３は、第１の実施形態に係る診断装置制御の一例を説明するための図である。 図１４は、第１の実施形態に係る診断装置制御の一例を説明するための図である。 図１５は、第１の実施形態に係る診断装置制御の一例を説明するための図である。 図１６は、第１の実施形態に係る診断装置制御の一例を説明するための図である。 図１７は、第１の実施形態に係る医用情報処理装置の処理手順を示すフローチャートである。 図１８は、第１の実施形態に係る医用情報処理装置の処理手順を示すフローチャートである。 図１９は、第１の実施形態に係る医用情報処理装置の処理手順を示すフローチャートである。 図２０は、第１の実施形態に係る医用情報処理装置の処理手順を示すフローチャートである。 図２１は、第１の実施形態に係る医用情報処理装置の処理手順を示すフローチャートである。 図２２は、第２の実施形態に係る診断装置制御の処理の一例を説明するための図である。 図２３は、第２の実施形態に係る診断装置制御の処理の一例を説明するための図である。 図２４は、第１の実施形態に係る医用情報処理装置の処理手順を示すフローチャートである。

以下、添付図面を参照して、医用情報処理システム、医用情報処理装置及び超音波診断装置の実施形態を詳細に説明する。なお、本願に係る医用画像処理装置、Ｘ線診断装置及び医用画像処理プログラムは、以下に示す実施形態に限定されるものではない。

（第１の実施形態）
まず、第１の実施形態に係る医用情報処理システムについて説明する。図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示す図である。図１に示すように、第１の実施形態に係る医用情報処理システム１は、超音波診断装置１００と、Ｘ線診断装置２００と、画像保管装置３００と、医用情報処理装置４００とを備える。超音波診断装置１００と、Ｘ線診断装置２００と、画像保管装置３００と、医用情報処理装置４００とは、ネットワーク２を介して相互に接続される。なお、図１に示す構成はあくまでも一例であり、ネットワーク２にその他の装置が接続される場合であってもよい。

超音波診断装置１００は、操作者によって超音波プローブが操作され、超音波プローブによって送受信された超音波に基づいて超音波画像を生成して、生成した超音波画像をディスプレイに表示させる。Ｘ線診断装置２００は、被検体に対してＸ線を照射することで収集される投影データに基づいてＸ線画像を生成して、生成したＸ線画像をディスプレイに表示させる。なお、超音波診断装置１００及びＸ線診断装置２００の詳細については後述する。

画像保管装置３００は、超音波診断装置１００やＸ線診断装置２００等の医用画像診断装置によって収集された医用画像データを保管する装置である。例えば、画像保管装置３００は、ネットワーク２を介して超音波診断装置１００から超音波画像データを取得し、取得した超音波画像データを装置内又は装置外に設けられたメモリに記憶させる。また、例えば、画像保管装置３００は、ネットワーク２を介してＸ線診断装置２００からＸ線画像データを取得し、取得したＸ線画像データを装置内又は装置外に設けられたメモリに記憶させる。例えば、画像保管装置３００は、サーバ装置等のコンピュータ機器によって実現される。

医用情報処理装置４００は、ネットワーク２を介して医用画像データを取得し、取得した医用画像データを用いた種々の処理を実行する。例えば、医用情報処理装置４００は、ネットワーク２を介して、超音波画像データやＸ線画像データを取得し、種々の画像処理や、表示処理を実行する。例えば、医用情報処理装置４００は、ワークステーション等のコンピュータ機器によって実現される。なお、医用情報処理装置４００の詳細については後述する。

なお、ネットワーク２を介して超音波診断装置１００及びＸ線診断装置２００と接続可能であれば、医用情報処理装置４００が設置される場所は任意である。例えば、医用情報処理装置４００は、超音波診断装置１００及びＸ線診断装置２００と異なる場所に設置されてもよい。即ち、ネットワーク２は、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。

ここで、本実施形態においては、医用情報処理装置４００が各種処理を実行する場合について説明する。具体的には、医用情報処理装置４００が、超音波画像とＸ線画像とを受信して、画像間の位置合わせを行い、その後の各種処理を実行することで、超音波診断装置１００とＸ線診断装置２００とを同時に用いた手技の効率を向上させる場合について説明する。なお、以下で説明する各種処理は、医用情報処理システム１におけるいずれの装置で実行される場合でもよく、複数の処理が異なる装置で分散して実行される場合であってもよい。

以下、超音波診断装置１００、Ｘ線診断装置２００及び医用情報処理装置４００の詳細について説明する。図２は、第１の実施形態に係る超音波診断装置１００の構成の一例を示す図である。図２に示すように、第１の実施形態に係る超音波診断装置１００は、超音波プローブ１００ａと、入力インターフェース１００ｂと、ディスプレイ１００ｃと、装置本体１００ｄとを有する。超音波プローブ１００ａ、入力インターフェース１００ｂ及びディスプレイ１００ｃは、装置本体１００ｄと通信可能に接続される。

超音波プローブ１００ａは、複数の圧電振動子を有し、これら複数の圧電振動子は、装置本体１００ｄが有する送受信回路１１０から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ１００ａは、被検体Ｐからの反射波を受信して電気信号に変換する。すなわち、超音波プローブ１００ａは、被検体Ｐに対して超音波走査を行って、被検体Ｐから反射波を受信する。また、超音波プローブ１００ａは、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ１００ａは、プローブコネクタを介して装置本体１００ｄと着脱自在に接続される。

超音波プローブ１００ａから被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ１００ａが有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。

ここで、本実施形態における超音波プローブ１００ａは、被検体の体表上で操作される超音波プローブ又は被検体の体腔内に挿入されて体腔内で操作される超音波プローブ（体腔内プローブ）である。例えば、超音波プローブ１００ａは、被検体の胸部の体表上で操作され、左室、左房、大動脈、僧帽弁、大動脈弁などを走査することができる経胸壁心エコー（ＴＴＥ：Transthoracic echocardiography）プローブである。また、例えば、超音波プローブ１００ａは、食道内で操作され、左室、左房、大動脈、僧帽弁、大動脈弁などを走査することができる経食道心エコー（ＴＥＥ：Transesophageal echocardiography）プローブである。なお、ＴＥＥプローブは、リアルタイムに３次元の超音波画像データを収集することができる。

入力インターフェース１００ｂは、所定の位置（例えば、関心領域等）の設定等を行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチモニタ、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース１００ｂは、後述する処理回路１５０に接続されており、操作者から受け付けた入力操作を電気信号へ変換し処理回路１５０へと出力する。なお、本明細書において入力インターフェース１００ｂは、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１５０へ出力する電気信号の処理回路も入力インターフェースの例に含まれる。

ディスプレイ１００ｃは、超音波診断装置１００の操作者が入力インターフェース１００ｂを用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体１００ｄにおいて生成された超音波画像等を表示したりする。また、ディスプレイ１００ｃは、装置本体１００ｄの処理状況や処理結果を操作者に通知するために、各種のメッセージや表示情報を表示する。また、ディスプレイ１００ｃは、スピーカーを有し、音声を出力することもできる。また、ディスプレイ１００ｃは、医用情報処理装置４００から受信した画像等を表示することもできる。

装置本体１００ｄは、超音波プローブ１００ａが受信した反射波信号に基づいて超音波画像データを生成する装置である。例えば、装置本体１００ｄは、超音波プローブ１００ａが受信した２次元の反射波データ（エコーデータ）に基づいて２次元の超音波画像データを生成する。また、装置本体１００ｄは、超音波プローブ１００ａが受信した３次元の反射波データに基づいて３次元の超音波画像データ（ボリュームデータ）を生成する。そして、装置本体１００ｄは、生成した超音波画像データから表示用の超音波画像を生成する。

例えば、装置本体１００ｄは、図２に示すように、送受信回路１１０と、Ｂモード処理回路１２０と、ドプラ処理回路１３０と、記憶回路１４０と、処理回路１５０と、通信インターフェース１６０とを有する。送受信回路１１０、Ｂモード処理回路１２０、ドプラ処理回路１３０、記憶回路１４０、処理回路１５０、及び、通信インターフェース１６０は、互いに通信可能に接続される。また、装置本体１００ｄは、ネットワーク２に接続される。なお、ネットワーク２は院内ＬＡＮ等であり、超音波診断装置１００は、ネットワーク２を介して院内ＬＡＮに接続された種々の装置と通信接続される。

送受信回路１１０は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ１００ａに駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ１００ａから発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ１００ａに駆動信号（駆動パルス）を印加する。すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。

また、送受信回路１１０は、プリアンプ、Ａ／Ｄ（Analog／Digital）変換器、受信遅延部、加算器等を有し、超音波プローブ１００ａが受信した反射波信号に対して各種処理を行って反射波データを生成する。プリアンプは、反射波信号をチャネルごとに増幅する。Ａ／Ｄ変換器は、増幅された反射波信号をＡ／Ｄ変換する。受信遅延部は、受信指向性を決定するために必要な遅延時間を与える。加算器は、受信遅延部によって処理された反射波信号の加算処理を行って反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。

Ｂモード処理回路１２０は、送受信回路１１０から反射波データを受信し、対数増幅、包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。

ドプラ処理回路１３０は、送受信回路１１０から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。具体的には、ドプラ処理回路１３０は、移動体の運動情報として、平均速度、平均分散値、平均パワー値等を、複数のサンプル点それぞれでドプラデータを生成する。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。ドプラ処理回路１３０は、血流の運動情報（血流情報）として、血流の平均速度、血流の平均分散値、血流の平均パワー値等を、複数のサンプル点それぞれで推定した情報を生成する。

なお、図２に例示するＢモード処理回路１２０及びドプラ処理回路１３０は、２次元の反射波データ及び３次元の反射波データの両方について処理可能である。すなわち、Ｂモード処理回路１２０は、２次元の反射波データから２次元のＢモードデータを生成し、３次元の反射波データから３次元のＢモードデータを生成する。また、ドプラ処理回路１３０は、２次元の反射波データから２次元のドプラデータを生成し、３次元の反射波データから３次元のドプラデータを生成する。

記憶回路１４０は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディマーク等の各種データを記憶する。また、記憶回路１４０は、各種の画像データを記憶する。例えば、記憶回路１４０は、Ｂモード処理回路１２０及びドプラ処理回路１３０により生成されたデータも記憶する。また、記憶回路１４０は、反射波データも記憶することができる。例えば、記憶回路１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスクによって実現される。

処理回路１５０は、超音波診断装置１００の処理全体を制御する。具体的には、処理回路１５０は、入力インターフェース１００ｂを介して操作者から入力された各種設定要求や、記憶回路１４０から読み込んだ各種制御プログラム及び各種データに基づき、送受信回路１１０、Ｂモード処理回路１２０、ドプラ処理回路１３０の処理を制御する。また、処理回路１５０は、記憶回路１４０が記憶する表示用の超音波画像をディスプレイ１００ｃや、入力インターフェース１００ｂにおけるタッチモニタ等にて表示するように制御する。

処理回路１５０は、制御機能１５１と、画像生成機能１５２と、送受信機能１５３と、表示制御機能１５４とを実行する。ここで、例えば、処理回路１５０の構成要素である制御機能１５１、画像生成機能１５２、送受信機能１５３及び表示制御機能１５４が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１４０に記憶されている。処理回路１５０は、各プログラムを記憶回路１４０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１５０は、処理回路１５０内に示された各機能を有することとなる。

通信インターフェース１６０は、ネットワーク２に接続された各種の装置と通信を行うためのインターフェースである。例えば、処理回路１５０は、通信インターフェース１６０によって、Ｘ線診断装置２００や、医用情報処理装置４００等との間で各種データのやり取りを行うことができる。

制御機能１５１は、超音波診断装置１００の全体を制御する。例えば、制御機能１５１は、送受信回路１１０、Ｂモード処理回路１２０及びドプラ処理回路１３０を制御して、反射波データの収集と、Ｂモードデータ及びドプラデータの生成とを制御する。すなわち、制御機能１５１は、超音波プローブ１００ａを介して、被検体に対する２次元超音波スキャン及び３次元超音波スキャンを実行させる。なお、制御機能１５１は、収集部の一例である。

画像生成機能１５２は、Ｂモード処理回路１２０及びドプラ処理回路１３０が生成したデータから超音波画像データを生成する。すなわち、画像生成機能１５２は、Ｂモード処理回路１２０が生成した２次元のＢモードデータから反射波の強度を輝度で表した２次元Ｂモード画像データを生成する。また、画像生成機能１５２は、ドプラ処理回路１３０が生成した２次元のドプラデータから移動体情報を表す２次元ドプラ画像データを生成する。また、画像生成機能１５２は、Ｂモード処理回路１２０が生成した１走査線上のＢモードデータの時系列データから、Ｍモード画像データを生成することも可能である。また、画像生成機能１５２は、ドプラ処理回路１３０が生成したドプラデータから、血流や組織の速度情報を時系列に沿ってプロットしたドプラ波形を生成することも可能である。

ここで、画像生成機能１５２は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像を生成する。具体的には、画像生成機能１５２は、超音波プローブ１０１による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像を生成する。また、画像生成機能１５２は、スキャンコンバート以外の種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行う。また、画像生成機能１５２は、超音波画像に、種々のパラメータの文字情報、目盛り、ボディマーク、種々のマーカ等を合成する。

さらに、画像生成機能１５２は、Ｂモード処理回路１２０が生成した３次元のＢモードデータに対して座標変換を行うことで、３次元Ｂモード画像データを生成する。また、画像生成機能１５２は、ドプラ処理回路１３０が生成した３次元のドプラデータに対して座標変換を行うことで、３次元ドプラ画像データを生成する。すなわち、画像生成機能１５２は、「３次元Ｂモード画像データや３次元ドプラ画像データ」を「３次元超音波画像データ（ボリュームデータ）」として生成する。また、画像生成機能１５２は、３次元Ｂモード画像データや、３次元ドプラ画像データに対して多断面変換を行うことで、ＭＰＲ画像を生成したり、３次元Ｂモード画像データや、３次元ドプラ画像データに対してボリュームレンダリング処理を行うことで、ボリュームレンダリング画像を生成したりする。なお、本明細書においては、上述した表示用の超音波画像、３次元超音波画像データ（ボリュームデータ）、ボリュームデータから生成した各画像等をまとめて超音波画像と記す場合がある。

送受信機能１５３は、通信インターフェース１６０を介して、表示用の超音波画像、３次元超音波画像データ（ボリュームデータ）、ボリュームデータから生成した各画像等をネットワーク２に接続された各装置（Ｘ線診断装置２００や、医用情報処理装置４００等）に送信する。また、送受信機能１５３は、ネットワーク２に接続された各装置から画像等を受信する。

表示制御機能１５４は、制御機能１５１によって実行された計測処理等の各種処理の処理結果をディスプレイ１００ｃに表示させるように制御する。また、表示制御機能１５４は、画像生成機能１５２によって生成された超音波画像等をディスプレイ１００ｃに表示させるように制御する。また、表示制御機能１５４は、医用情報処理装置４００から受信した画像等をディスプレイ１００ｃに表示させるように制御することもできる。

次に、第１の実施形態に係るＸ線診断装置の構成について説明する。図３は、第１の実施形態に係るＸ線診断装置２００の構成の一例を示す図である。図３に示すように、第１の実施形態に係るＸ線診断装置２００は、Ｘ線高電圧装置２０１と、Ｘ線管２０２と、Ｘ線絞り２０３と、天板２０４と、Ｃアーム２０５と、Ｘ線検出器２０６と、Ｃアーム回転・移動機構２０７と、天板移動機構２０８と、Ｃアーム・天板機構制御回路２０９と、絞り制御回路２１０と、処理回路２２０と、入力インターフェース２３０と、ディスプレイ２４０と、記憶回路２５０と、通信インターフェース２６０を有する。

図１に示すＸ線診断装置２００においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路２５０へ記憶されている。Ｃアーム・天板機構制御回路２０９、絞り制御回路２１０、及び、処理回路２２０は、記憶回路２５０からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の各回路は、読み出したプログラムに対応する機能を有することとなる。

Ｘ線高電圧装置２０１は、処理回路２２０による制御の下、高電圧を発生し、発生した高電圧をＸ線管２０２に供給する高電圧電源である。Ｘ線管２０２は、Ｘ線高電圧装置２０１から供給される高電圧を用いて、Ｘ線を発生する。

Ｘ線絞り２０３は、絞り制御回路２１０による制御の下、Ｘ線管２０２が発生したＸ線を、被検体Ｐの関心領域に対して選択的に照射されるように絞り込む。例えば、Ｘ線絞り２０３は、スライド可能な４枚の絞り羽根を有する。Ｘ線絞り２０３は、絞り制御回路２０による制御の下、これらの絞り羽根をスライドさせることで、開口の形状、サイズ、位置を任意に変化させる。また、Ｘ線絞り２０３は、線質を調整するための付加フィルタを備えることができる。

天板２０４は、被検体Ｐを載せるベッドであり、図示しない寝台装置の上に配置される。Ｘ線検出器２０６は、被検体Ｐを透過したＸ線を検出する。例えば、Ｘ線検出器２０６は、マトリックス状に配列された検出素子を有する。各検出素子は、被検体Ｐを透過したＸ線を電気信号に変換して蓄積し、蓄積した電気信号を処理回路２２０に送信する。

Ｃアーム２０５は、Ｘ線管２０２、Ｘ線絞り２０３及びＸ線検出器２０６を保持する。Ｘ線管２０２及びＸ線絞り２０３と、Ｘ線検出器２０６とは、Ｃアーム２０５により被検体Ｐを挟んで対向するように配置される。なお、図３では、Ｘ線診断装置２００がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。Ｃアーム１５は、支持器に設けられたモータなどのアクチュエータにより、複数の軸で個別に回転する。

Ｃアーム回転・移動機構２０７は、支持器に設けられたモータなどを駆動することによって、Ｃアーム２０５を回転及び移動させるための機構である。天板移動機構２０８は、天板２０４を移動させるための機構である。例えば、天板移動機構２０８は、アクチュエータが発生させた動力を用いて、天板２０４を移動させる。

Ｃアーム・天板機構制御回路２０９は、処理回路２２０による制御の下、Ｃアーム回転・移動機構２０７及び天板移動機構２０８を制御することで、Ｃアーム２０５の回転や移動、天板２０４の移動を調整する。絞り制御回路２１０は、処理回路２２０による制御の下、Ｘ線絞り２０３が有する絞り羽根の開度を調整することで開口の形状、サイズ、位置を変化させ、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。

入力インターフェース２３０は、所定の領域（例えば、ＲＯＩ）などの設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等や、Ｘ線の照射などを行うためのフットスイッチ等によって実現される。

入力インターフェース２３０は、処理回路２２０に接続されており、操作者から受け付けた入力操作を電気信号へ変換し処理回路２２０へと出力する。なお、本明細書において入力インターフェース２３０は、マウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路２２０へ出力する処理回路も入力インターフェースの例に含まれる。

ディスプレイ２４０は、操作者の指示を受け付けるためのＧＵＩや、処理回路２２０によって生成された種々の画像を表示する。また、ディスプレイ２４０は、処理回路２２０の処理状況や処理結果を操作者に通知するために、各種のメッセージや表示情報を表示する。また、ディスプレイ２４０は、スピーカーを有し、音声を出力することもできる。また、ディスプレイ２４０は、超音波診断装置１００や、医用情報処理装置４００から受信した画像等を表示することもできる。

記憶回路２５０は、処理回路２２０によって生成された画像データを受け付けて記憶する。また、記憶回路２５０は、処理回路２２０によって生成されたＸ線画像や、ボリュームデータ、超音波診断装置１００や、医用情報処理装置４００から受信した画像等を記憶する。また、記憶回路２５０は、図１に示す各回路によって読み出されて実行される各種機能に対応するプログラムを記憶する。例えば、記憶回路２５０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスクによって実現される。

処理回路２１は、Ｘ線診断装置２００全体の動作を制御する。具体的には、処理回路２１は、収集機能２２１、画像処理機能２２２、送受信機能２２３及び制御機能２２４を実行する。収集機能２２１は、Ｘ線検出器２０６によってＸ線から変換された電気信号を用いて画像データを生成し、生成した画像データを記憶回路２５０に格納する。一例を挙げると、収集機能２２１は、Ｘ線検出器２０６から受信した電気信号に対して、電流・電圧変換やＡ（Analog）／Ｄ（Digital）変換、パラレル・シリアル変換をそれぞれ行い、電気信号に基づく投影データをそれぞれ生成する。そして、収集機能２２１は、生成した投影データを記憶回路２５０に格納する。なお、収集機能２２１は、回転撮影によって収集した投影データを用いて再構成データ（ボリュームデータ）を再構成して、再構成したボリュームデータを記憶回路２５０に格納することもできる。

画像処理機能２２２は、投影データに対する画像処理や、解析処理などを制御する。一例を挙げると、画像処理機能２２２は、記憶回路２５０が記憶する投影データに対して各種画像処理を行うことでＸ線画像を生成する。或いは、画像処理機能２２２は、収集機能２２１から直接投影データを取得し、取得した投影データに対して各種画像処理を行うことでＸ線画像を生成する。

なお、画像処理機能２２２は、画像処理後のＸ線画像を、記憶回路２５０に格納することも可能である。例えば、画像処理機能２２２は、移動平均（平滑化）フィルタ、ガウシアンフィルタ、メディアンフィルタ、リカーシブフィルタ、バンドパスフィルタなどの画像処理フィルタによる各種処理を実行することが可能である。さらに、画像処理機能２２２は、ボリュームデータから３次元画像を生成することも可能である。なお、本明細書においては、上述したＸ線画像、再構成データ（ボリュームデータ）、ボリュームデータから生成した３次元画像等をまとめてＸ線画像と記す場合がある。

送受信機能２２３は、通信インターフェース２６０を介して、Ｘ線画像をネットワーク２に接続された各装置（超音波診断装置１００や、医用情報処理装置４００等）に送信する。また、送受信機能１５３は、ネットワーク２に接続された各装置から画像等を受信する。

制御機能２２４は、入力インターフェース２３０から転送された操作者の指示に従ってＸ線高電圧装置２０１を制御し、Ｘ線管２０２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やＯＮ／ＯＦＦを制御する。また、例えば、制御機能２２４は、操作者の指示に従ってＣアーム・天板機構制御回路２０９を制御し、Ｃアーム２０５の回転や移動、天板２０４の移動を調整する。

また、制御機能２２４は、操作者の指示に従って絞り制御回路２１０を制御し、Ｘ線絞り２０３が有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、制御機能２２４は、操作者の指示を受け付けるためのＧＵＩや記憶回路２５０が記憶する画像、処理回路２２０による処理結果などを、ディスプレイ２４０に表示するように制御する。また、制御機能２２４は、超音波診断装置１００や、医用情報処理装置４００から受信した画像等をディスプレイ２４０に表示させるように制御する。

通信インターフェース２６０は、ネットワーク２に接続された各種の装置と通信を行うためのインターフェースである。例えば、処理回路２２０は、通信インターフェース２６０によって、超音波診断装置１００や、医用情報処理装置４００等との間で各種データのやり取りを行うことができる。

次に、第１の実施形態に係る医用情報処理装置４００の構成について説明する。図４は、第１の実施形態に係る医用情報処理装置４００の構成の一例を示す図である。図４に示すように、第１の実施形態に係る医用情報処理装置４００は、通信インターフェース４１０と、記憶回路４２０と、入力インターフェース４３０と、ディスプレイ４４０と、処理回路４５０とをし、ネットワーク２に接続される。

通信インターフェース４１０は、ネットワーク２に接続された各種の装置と通信を行うためのインターフェースである。例えば、処理回路４５０は、通信インターフェース４１０によって、超音波診断装置１００や、Ｘ線診断装置等との間で各種データのやり取りを行うことができる。

記憶回路４２０は、医用情報処理装置４００における各種処理を行なうための制御プログラムや、各種の画像等を記憶する。例えば、記憶回路４２０は、超音波診断装置１００から受信した超音波画像や、Ｘ線診断装置２００から受信したＸ線画像を記憶する。また、例えば、記憶回路４２０は、処理回路４５０による処理結果を記憶する。なお、記憶回路２２が記憶するデータは、ネットワーク２を経由して、超音波診断装置１００や、Ｘ線診断装置２００などに送信される。例えば、記憶回路４２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスクによって実現される。

入力インターフェース４３０は、入力操作を行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチモニタ、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース４３０は、処理回路４５０に接続されており、操作者から受け付けた入力操作を電気信号へ変換し処理回路４５０へと出力する。なお、本明細書において入力インターフェース４３０は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路４５０へ出力する電気信号の処理回路も入力インターフェースの例に含まれる。

ディスプレイ４４０は、医用情報処理装置４００の操作者が入力インターフェース４３０を用いて各種要求を入力するためのＧＵＩを表示したり、処理回路４５０の処理結果などを操作者に通知するための各種のメッセージや表示情報を表示したりする。また、ディスプレイ４４０は、超音波診断装置１００から受信した超音波画像や、Ｘ線診断装置から受信したＸ線画像等を表示する。また、ディスプレイ４４０は、スピーカーを有し、音声を出力することもできる。

処理回路４５０は、医用情報処理装置４００の処理全体を制御する。具体的には、処理回路４５０は、制御機能４５１と、送受信機能４５２と、位置合わせ機能４５３と、画像処理機能４５４と、制御情報生成機能４５５とを実行する。

ここで、例えば、処理回路４５０の構成要素である制御機能４５１、送受信機能４５２、位置合わせ機能４５３、画像処理機能４５４、及び、制御情報生成機能４５５が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路４２０に記憶されている。処理回路４５０は、各プログラムを記憶回路４２０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路４５０は、処理回路４５０内に示された各機能を有することとなる。

制御機能４５１は、医用情報処理装置４００の全体を制御する。例えば、制御機能４５１は、入力インターフェース４３０を介して操作者から入力された各種設定要求に対応する各種処理を制御する。また、制御機能４５１は、超音波診断装置１００から受信した超音波画像や、Ｘ線診断装置２００から受信したＸ線画像、処理回路４５０の処理によって生成された画像等をディスプレイ４４０にて表示するように制御する。例えば、制御機能４５１は、リアルタイムの超音波画像とリアルタイムのＸ線画像の動画像をディスプレイ４４０に表示させる。また、制御機能４５１は、超音波画像、Ｘ線画像、及び、処理回路４５０の処理によって生成された画像等を、送受信機能４５２によって超音波診断装置１００やＸ線診断装置２００に送信させることで、超音波診断装置１００のディスプレイ１００ｃや、Ｘ線診断装置２００のディスプレイ２４０にて画像を表示させたり、各装置に処理を実行させたりする。

送受信機能４５２は、通信インターフェース４１０を介して、超音波画像や、Ｘ線画像を受信する。また、送受信機能４５２は、処理回路４５０の処理によって生成された画像や、制御情報などを超音波診断装置１００や、Ｘ線診断装置２００などに送信する。

位置合わせ機能４５３は、送受信機能４５２によって受信された超音波画像とＸ線画像との位置合わせを実行する。また、画像処理機能４５４は、送受信機能４５２によって受信された超音波画像とＸ線画像に対する各種画像処理を実行する。例えば、画像処理機能４５４は、超音波診断装置１００から受信した３次元超音波画像データ（ボリュームデータ）に対して画像処理を施すことで、ＭＰＲ画像やボリュームレンダリング画像等を生成する。なお、制御機能４５１は、これらの画像をリアルタイムで表示させることができる。また、制御情報生成機能４５５は、超音波診断装置１００や、Ｘ線診断装置２００を制御するための制御情報を生成する。なお、これら各機能の詳細については、後述する。

ここで、制御機能４５１は、取得部、表示制御部及び制御部の一例である。また、位置合わせ機能４５３は、位置合わせ部の一例である。また、画像処理機能４５４は、生成部の一例である。また、制御情報生成機能４５５は、決定部の一例である。

以上、超音波診断装置１００、Ｘ線診断装置２００、及び、医用情報処理装置４００の構成について説明した。かかる構成のもと、処理回路４５０の各機能による処理によって、超音波診断装置１００とＸ線診断装置２００とを同時に用いた手技の効率を向上させる。具体的には、処理回路４５０は、超音波画像とＸ線画像との位置合わせを行ったのちの画像表示、支援情報表示、診断装置制御について、種々の処理を行うことで、手技の効率を向上させる。

ここで、本願の手法は、超音波診断装置１００による超音波画像の収集とＸ線診断装置２００によるＸ線画像の収集とが同時に行われ、それらの画像を観察しながら実施される種々の手技に適用することができる。例えば、本願の手法は、医用デバイスを用いた心臓弁などの治療に適用することができる。以下、本願の手法が適用される手技の一例について、図５を用いて説明する。図５は、第１の実施形態に係る手技の一例を説明するための図である。

例えば、本願の手法は、図５に示すように、医用デバイスを用いた僧帽弁の治療に適用することができる。かかる手技では、食道に挿入され、食道内で超音波を送受信する超音波プローブ（ＴＥＥプローブ）を備えた超音波診断装置１００によって超音波画像が収集され、同時にＸ線診断装置２００によってＸ線画像が収集される。ここで、手技を実施する術者は、リアルタイムの超音波画像とリアルタイムのＸ線画像とを観察しながら医用デバイスを進め、領域Ｒ１で示す心房中隔を貫通させて領域Ｒ２で示す僧帽弁に医用デバイスを到達させる。このような手技においては、術者は、心臓の周囲を広範囲で描出できるＸ線画像を観察することで医用デバイスと対象部位との位置関係を把握し、対象部位がより明瞭に描出される超音波画像を観察することで正確な治療を行うことができる。

本願の手法は、このような手技の効率を向上させるため、超音波画像とＸ線画像との位置合わせを行ったのち、画像表示、支援情報表示、診断装置制御について種々の処理を行う。以下、種々の処理の詳細について説明する。なお、以下では、画像表示、支援情報表示、診断装置制御について、順に説明する。

まず、本実施形態に係る位置合わせについて説明する。本実施形態に係る位置合わせは、超音波画像とＸ線画像とを位置合わせすることができる方法であれば、どのような方法を用いてもよい。例えば、位置合わせ機能４５３は、超音波プローブ１００ａの構造を示す３次元モデルを用いた位置合わせを行うことができる。かかる場合には、位置合わせ機能４５３は、受信したＸ線画像に描出された超音波プローブ１００ａと、３Ｄモデルを種々の方向から投影したモデル図とをそれぞれマッチングさせることで、Ｘ線画像を収集したＸ線座標系における超音波プローブ１００ａの位置と向きを特定する。そして、位置合わせ機能４５３は、当該超音波プローブ１００ａによって収集される超音波画像の超音波座標系とＸ線座標系とを対応付けることで、超音波画像とＸ線画像との位置合わせを実行する。

なお、上述した位置合わせの例はあくまでも一例であり、その他種々の位置合わせを実行する場合でもよい。例えば、位置合わせ機能４５３は、超音波画像及びＸ線画像から解剖学的な特徴点を抽出し、抽出した解剖学的な特徴点に基づいて、超音波画像とＸ線画像との位置合わせを実行する。一例を挙げると、位置合わせ機能４５３は、ＴＥＥプローブによって収集された３次元超音波画像データ（ボリュームデータ）に含まれる解剖学的な特徴点と、Ｘ線画像に含まれる解剖学的な特徴点とをマッチングすることで、超音波座標系とＸ線座標系とを対応付ける。また、磁場内での位置と向きを検出することができる位置センサが超音波プローブ１００ａに備えられ、この位置センサを用いて位置合わせが実行される場合でもよい。

ここで、超音波画像とＸ線画像との位置合わせに両方の画像を用いる場合、位置合わせ機能４５３は、リアルタイムで経時的に収集される超音波画像群と、リアルタイムで経時的に収集されるＸ線画像とから、略同一時刻に収集された画像を抽出する。すなわち、位置合わせ機能４５３は、送受信機能４５２によって順次受信される超音波画像群（ボリュームデータ群）と、Ｘ線画像群とから、略同一時刻に収集された画像をそれぞれ抽出し、抽出した画像を用いて位置合わせを実行する。

一例を挙げると、制御機能４５１が、リアルタイムで収集される超音波画像とＸ線画像とをディスプレイ４４０にて動画像表示させている際に、操作者が入力インターフェースを介して位置合わせを開始させるための操作を実行すると、位置合わせ機能４５３は、超音波画像群（ボリュームデータ群）と、Ｘ線画像群とから、略同一時刻に収集された画像をそれぞれ抽出し、抽出した画像を用いて位置合わせを実行する。ここで、制御機能４５１が、リアルタイムで継続して収集される超音波画像及びＸ線画像をディスプレイ４４０にて引き続き動画像表示させる。すなわち、位置合わせ機能４５３は、バックグラウンドで超音波画像とＸ線画像の位置合わせを実行することができる。

なお、位置合わせ機能４５３は、リアルタイムの位置合わせが可能であり、例えば、超音波プローブ１００ａが動いた場合、リアルタイムで再度位置合わせを行う。かかる場合には、例えば、位置合わせ機能４５３は、リアルタイムで収集されるＸ線画像において超音波プローブ１００ａの位置をトラッキングしておき、超音波プローブ１００ａの位置が移動した場合には、再度位置合わせを行う。

上述したように、位置合わせ機能４５３が、超音波画像とＸ線画像との位置合わせを実行することで、超音波座標系とＸ線座標系とを対応付ける。制御機能４５１、画像処理機能４５４及び制御情報生成機能４５５は、この位置合わせ結果を用いて、画像表示、支援情報表示、診断装置制御の各種処理を実行する。

（画像表示）
以下、第１の実施形態に係る画像表示の処理について説明する。例えば、制御機能４５１は、位置合わせ結果に基づいて、略同一方向の超音波画像及びＸ線画像を、略同一方向であることを識別可能に並列表示させる。超音波診断装置１００によって収集されたリアルタイムの超音波画像とＸ線診断装置２００によって収集されたリアルタイムのＸ線画像とを単に表示させた場合、異なる方向の画像が表示される可能性が高い。そこで、本実施形態に係る制御機能４５１は、位置合わせ結果を用いて、略同一方向の超音波画像及びＸ線画像を並列表示させる。

かかる場合には、例えば、画像処理機能４５４が、位置合わせ結果に基づいて、経時的に順次収集される３次元超音波画像データからＸ線画像と略同一方向の超音波画像を順次生成する。そして、制御機能４５１は、順次生成される超音波画像と、順次収集されるＸ線画像とを並列表示させる。ここで、制御機能４５１は、超音波画像とＸ線画像とを自装置のディスプレイ４４０に表示させることもできるが、Ｘ線診断装置２００のディスプレイ２４０や、超音波診断装置１００のディスプレイ１００ｃに表示させることもできる。

図６Ａは、第１の実施形態に係る画像表示の一例を示す図である。図６Ａに示すように、制御機能４５１は、例えば、治療対象が明瞭に示された超音波画像と、超音波画像と略同一方向のＸ線画像とをディスプレイ２４０に表示させる。ここで、制御機能４５１は、両画像が略同一方向の画像であることを識別可能に表示させる。例えば、制御機能４５１は、図６Ａに示すように、両画像が略同一方向の画像であることを示すために、超音波画像とＸ線画像とを隣接させて表示させる。なお、両画像が略同一方向の画像であることを示すための手法は、上述した例に限られず、例えば、記号や、マーク、文字を表示させる場合であってもよい。

また、制御機能４５１は、両画像のサイズを略同一となるように並列表示させる。すなわち、制御機能４５１は、図６Ａに示すように、医用デバイスのサイズが略同一となるように、超音波画像又はＸ線画像のサイズを調整して表示させる。これにより、例えば、医用デバイスが操作された場合に、医用デバイスが両画像で同様に移動されることとなり、観察しやすい画像を表示させることができる。

なお、上述した例では、Ｘ線画像と略同一の方向の超音波画像を３次元超音波画像データから生成する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、超音波画像と略同一方向のＸ線画像を収集するために、Ｘ線診断装置２００を制御する場合であってもよい。かかる場合には、例えば、制御情報生成機能４５５は、位置合わせ結果に基づいて、超音波画像と略同一方向のＸ線画像を収集するようにＣアーム２０５を制御するための制御情報を生成する。

一例を挙げると、制御情報生成機能４５５は、Ｃアーム２０５をどの方向にどの程度移動させるかを示す情報を生成する。制御機能４５１は、制御情報生成機能４５５によって生成された制御情報を、送受信機能４５２を介してＸ線診断装置２００に送信させる。Ｘ線診断装置２００は、医用情報処理装置４００から制御情報を受信すると、制御情報に基づく制御を実行するか否かを操作者に提示し、実行する旨の操作を受け付けた場合に、制御情報に基づいてＣアーム２０５を移動させる。

また、上述した例では、超音波画像とＸ線画像を１組表示させる場合について説明した。しかしながら、Ｘ線診断装置２００がバイプレーンである場合、超音波画像とＸ線画像を１組表示させる場合であってもよい。図６Ｂは、第１の実施形態に係る画像表示の一例を示す図である。例えば、制御機能４５１は、図６Ｂに示すように、略同一方向の超音波画像とＸ線画像とを隣接させて、それぞれ表示させる。すなわち、画像処理機能４５４が、バイプレーンで収集された２つのＸ線画像に対して略同一方向となる２つ超音波画像を３次元超音波画像データから生成する。制御機能４５１は、略同一方向の超音波画像とＸ線画像とを隣接させて、それぞれ表示させる。

なお、制御機能４５１は、超音波画像とＸ線画像との組だけでなく、一方の画像のみをさらに表示させる場合でもよい。例えば、制御機能４５１は、図６Ａに示す１組の超音波画像とＸ線画像に加えて、さらに、超音波画像を表示させることもできる。一例を挙げると、画像処理機能４５４が、図６Ａに示す画像の方向に直交する方向の超音波画像をさらに生成し、制御機能４５１が、図６Ａに示す１組の超音波画像とＸ線画像に加えて、生成された超音波画像を表示させる。

次に、Ｘ線画像上に超音波画像の情報を合成した合成画像を表示させる例について説明する。例えば、画像処理機能４５４は、位置合わせ結果に基づいて、超音波画像に基づく複数の情報をＸ線画像上にそれぞれ示した複数の合成画像を生成する。そして、制御機能４５１は、入力インターフェース４３０を介した操作者による切替操作に応じて、複数の合成画像を切り替えて表示させる。図７は、第１の実施形態に係る合成画像の表示の一例を示す図である。

例えば、画像処理機能４５４は、図７の上段の図に示すように、超音波プローブ１００ａによるスキャン範囲を示す領域Ｒ３をＸ線画像に示した合成画像を生成する。かかる場合には、画像処理機能４５４は、超音波プローブ１００ａによるスキャン範囲の情報を超音波診断装置１００から取得する。そして、画像処理機能４５４は、取得したスキャン範囲の情報と、位置合わせ結果とに基づいて、Ｘ線画像に領域Ｒ３を示した合成画像を生成する。

また、例えば、画像処理機能４５４は、図７の中段の図に示すように、位置合わせ結果に基づいて、Ｘ線画像の対応する位置に超音波画像Ｉ１を合成した合成画像を生成する。かかる場合には、画像処理機能４５４は、位置合わせ結果に基づいて、Ｘ線画像と略同一方向の超音波画像Ｉ１を生成し、生成した超音波画像Ｉ１をＸ線画像の対応する位置に合成する。

また、例えば、画像処理機能４５４は、図７の下段の図に示すように、位置合わせ結果に基づいて、Ｘ線画像上に治療対象や、医用デバイスの通過点等を示すマークＭ１を合成した合成画像を生成する。かかる場合には、まず、操作者が、入力インターフェース４３０を介して、リアルタイムで表示されている超音波画像上で治療対象などにマークＭ１を設定する。画像処理機能４５４は、位置合わせ結果に基づいて、超音波画像上に設定されたマークＭ１のＸ線画像における位置を特定する。そして、画像処理機能４５４は、Ｘ線画像上の特定した位置にマークＭ１を示す情報を合成する。

上述したように、画像処理機能４５４が複数の合成画像を生成すると、制御機能４５１は、入力インターフェース４３０を介した操作者による切替操作に応じて、生成された合成画像をディスプレイ４４０に表示させる。

次に、超音波画像の向きを識別可能にした合成画像を表示させる例について説明する。例えば、Ｘ線画像に超音波画像のスキャン範囲を合成する場合や、Ｘ線画像に超音波画像を合成する場合、超音波画像の向き（超音波画像の表裏）を識別することが困難となる場合がある。そこで、制御機能４５１は、Ｘ線画像に超音波画像に基づく情報を合成する場合に、超音波画像の向きを識別可能にした合成画像を表示させる。図８は、第１の実施形態に係る合成画像の表示の一例を示す図である。

例えば、制御機能４５１は、図８に示すように、超音波プローブ１００ａによるバイプレーンのスキャン断面Ｐ１及びＰ２をＸ線画像に合成した合成画像を表示させ、各断面に対応する超音波画像を表示させる場合に、各超音波画像の断面の向きが識別可能となるように表示させる。一例を挙げると、制御機能４５１は、図８に示すように、スキャン断面Ｐ１の左端と右端及びスキャン断面Ｐ２の左端と右端にそれぞれ異なる色を付けて表示させる。これにより、操作者は、表示された各超音波画像がどの向きでスキャンされたものであるかを一目で識別することができる。なお、超音波画像の向きを識別するための情報は、色に限られず、例えば、記号やマーク、文字などが用いられる場合であってもよい。また、図８の例では、スキャン断面の両端に色を付ける場合について示したが、どちらか一方に色やマークなどを付ける場合でもよい。

ここで、本実施形態に係る位置合わせ機能４５３が、リアルタイムで位置合わせを行うことができることから、超音波プローブ１００ａの動きや、スキャン範囲の変化に追従して、合成画像におけるスキャン範囲や超音波画像の位置を変化させることができる。例えば、位置合わせ機能４５３は、リアルタイムで収集されるＸ線画像において超音波プローブ１００ａの位置をトラッキングしておき、超音波プローブ１００ａが操作されて位置が変化した場合、或いは、超音波の送受信面の向きが機械的に変化した場合には、再度位置合わせを行う。画像処理機能４５４は、再度実行された位置合わせ結果に基づいて、合成画像におけるスキャン範囲や超音波画像の位置を変化させる。

また、画像処理機能４５４は、超音波のビームの方向が変更されることによるスキャン範囲の変更の情報を超音波診断装置１００から受信し、受信した情報に基づいて、合成画像におけるスキャン範囲や超音波画像の位置を変化させる。

なお、位置合わせ機能４５３による位置合わせの処理が失敗した場合には、制御機能４５１は、合成画像を非表示にする、或いは、位置合わせが失敗したことを示す情報を表示させる。

次に、複数のスキャン断面の超音波画像からＸ線画像に合成する超音波画像を選択する例について説明する。例えば、超音波画像が複数のスキャン断面で収集される場合、画像処理機能４５４は、複数断面で収集された超音波画像群から所定の面を選択して、選択した所定の面をＸ線画像上に合成した合成画像を生成する。図９は、第１の実施形態に係る合成画像に合成される超音波画像の選択の一例を説明するための図である。なお、図９においては、バイプレーンで２断面の超音波画像が収集される場合について示す。

例えば、画像処理機能４５４は、図９に示すように、スキャン断面Ｐ１及びＰ２のうち、奥行方向に重ならない面を選択して、選択した面を合成した合成画像を生成する。一例を挙げると、画像処理機能４５４は、図９に示すように、スキャン断面Ｐ１のみ、スキャン断面Ｐ２のみ、スキャン断面Ｐ１とＰ２において断面が交差する位置から手前側にある領域のみ、或いは、スキャン断面Ｐ１とＰ２において断面が交差する位置から奥側にある領域のみを選択する。そして、画像処理機能４５４は、選択した断面に対応する超音波画像を、Ｘ線画像の対応する位置に合成した合成画像を生成する。なお、図９においては、２断面を例に挙げて説明したが、実施形態はこれに限定されるものではなく、３断面以上から選択される場合でもよい。

上述したように、画像処理機能４５４は、位置合わせ結果に基づいて、Ｘ線画像と超音波画像とを合成した合成画像を生成することができる。ここで、合成画像を生成する際に、異なる時刻に収集された画像同士を合成すると、観察しにくい合成画像が生成されることになる。そこで、画像処理機能４５４は、経時的に収集される超音波画像群と経時的に収集されるＸ線画像群とから略同一時刻の超音波画像及びＸ線画像を選択して合成画像を生成する。

かかる場合には、例えば、画像処理機能４５４は、超音波画像及びＸ線画像に付与されたタイムスタンプを参照して、略同一時刻の超音波画像及びＸ線画像を選択して合成画像を生成する。また、例えば、画像処理機能４５４は、受信される画像間における収集時刻のずれを手技前に取得しておき、取得したずれに基づいて略同一時刻の超音波画像及びＸ線画像を選択して合成画像を生成する。或いは、例えば、画像処理機能４５４は、経時的に収集される超音波画像群と経時的に収集されるＸ線画像群とからそれぞれ心電図を生成し、生成した心電図のずれに基づいて、収集時刻のずれを特定し、特定したずれに基づいて略同一時刻の超音波画像及びＸ線画像を選択して合成画像を生成する。

また、対象が心臓の場合、拡張期及び収縮期において心臓の動きが止まることから、超音波画像又はＸ線画像のどちらかについてその時点の画像を用いる場合でもよい。すなわち、動きが止まっている時点の画像を用いることで、ずれの影響を低減することができる。かかる場合には、画像処理機能４５４は、超音波画像又はＸ線画像のどちらか一方について、拡張期又は収縮期の画像を順次取得し、取得した画像を、全ての位相を含む他方の画像に合成した合成画像を生成する。

なお、上述した例では、略同一時刻の超音波画像及びＸ線画像を選択して合成画像を生成する場合について説明したが、実施形態はこれに限定されるものではなく、時刻を合わせる処理をおこなわずに、合成画像を生成する場合でもよい。また、リアルタイムの動画像表示が一時停止されて静止画表示になる際に、略同一時刻の超音波画像及びＸ線画像を選択して表示させる場合でもよい。

（支援情報表示）
次に、第１の実施形態に係る支援情報表示の処理について説明する。例えば、治療対象等に医用デバイスを到達させる際に、計画線（経路）が設定される場合がある。この場合、治療対象がより明瞭に描出されている超音波画像上で計画線が設定されるケースが多い。そこで、制御機能４５１は、超音波画像上に設定された手技の計画線の情報を取得し、位置合わせ結果に基づいて、手技中に収集したＸ線画像上に計画線を表示させる。

図１０は、第１の実施形態に係る計画線の表示の一例を示す図である。例えば、制御機能４５１は、図１０の上段の図に示すように、超音波画像とＸ線画像とをそれぞれ表示させる。操作者は、入力インターフェース４３０を介して、超音波画像上に計画線を設定する。ここで、操作者は、３次元超音波画像データから生成した超音波画像上で、医用デバイスの経路となる血管や、経路上の点（通過点）、治療対象の位置などを設定することで、３次元の計画線を設定する。

制御機能４５１は、位置合わせ結果に基づいて、超音波画像において設定された３次元の計画線のＸ線座標系における位置を特定する。そして、制御機能４５１は、特定した計画線の位置に基づいて、図１０の下段の図に示すように、Ｘ線画像上に計画線を表示させる。

ここで、制御機能４５１は、超音波画像上で設定された血管や、経路上の点（通過点）、治療対象について、パターンマッチングなどにより、リアルタイムで収集される超音波画像で位置をトラッキングすることにより、超音波画像の表示断面が変更されたり、超音波プローブ１００ａが移動されたりした場合にも、連動して計画線を移動させることができる。すなわち、制御機能４５１は、超音波画像における計画線の移動を検出することで、Ｘ線画像における計画線も連動させることができる。

次に、計画線とＸ線の照射方向との位置関係を示す情報を表示する例について説明する。すなわち、制御機能４５１は、超音波画像上で設定された計画線が、現時点のＸ線の照射方向とどのような位置関係にあるかを表示する。例えば、制御機能４５１は、計画線の方向と、手技中に収集したＸ線画像のＸ線の照射方向とのなす角度に関する情報を表示させる。ここで、計画線の方向とＸ線の照射方向とのなす角度について説明する。図１１Ａは、第１の実施形態に係る計画線の方向とＸ線の照射方向とのなす角度を説明するための図である。

図１１Ａに示すように、超音波画像上で設定された計画線は、３次元の計画線である。これに対してＸ線画像は２次元であるため、計画線をより正確にＸ線画像上に描出するためには、計画線に対してＸ線の照射方向（投影方向）が直交することが望ましい。すなわち、計画線の方向と投影方向とのなす角度が「９０°」となることが望ましい。そこで、制御機能４５１は、計画線の方向とＸ線の照射方向とのなす角度に関する情報として、超音波画像上で設定された計画線と、現時点のＸ線の照射方向とのなす角度が、「９０°」から何度ずれているかを示す情報を表示する。

図１１Ｂは、第１の実施形態に係る支援情報表示の一例を示す図である。例えば、制御機能４５１は、位置合わせ結果に基づいて、計画線とＸ線の照射方向とのなす角度が「９０°」から何度ずれているかを計画線の位置ごとに算出する。そして、制御機能４５１は、図１１Ｂに示すように、計画線の位置ごとのずれを数値（例えば、５度や、１０度など）で表示させる。ここで、制御機能４５１は、位置合わせ機能４５３によってリアルタイムの位置合わせが実行されるごとに、計画線の位置ごとのずれを算出して表示させることができる。

また、例えば、制御機能４５１は、計画線とＸ線の照射方向とのなす角度が「９０°」からずれている場合に、Ｘ線画像における計画線を非表示することもできる。図１１Ｃは、第１の実施形態に係る支援情報表示の一例を示す図である。例えば、制御機能４５１は、図１１Ｃに示すように、計画線とＸ線の照射方向とのなす角度が所定の角度以上に「９０°」からずれている位置の計画線を非表示する。

また、例えば、制御機能４５１は、超音波画像に含まれる医用デバイスの位置を検出し、検出した位置における計画線とＸ線の照射方向とのなす角度が「９０°」から何度ずれているかを表示することもできる。

また、さらに、制御機能４５１は、超音波画像に含まれる医用デバイスの方向の情報を取得し、位置合わせ結果に基づいて、医用デバイスの方向と、手技中に収集したＸ線画像のＸ線の照射方向とのなす角度に関する情報を表示させることもできる。図１１Ｄは、第１の実施形態に係る支援情報表示の一例を示す図である。例えば、制御機能４５１は、パターンマッチングなどにより、超音波画像から医用デバイスの位置を検出して、医用デバイスの長手方向を特定する。そして、制御機能４５１は、医用デバイスの長手方向とＸ線の照射方向とのなす角度が「９０°」から何度ずれているかを表示する。例えば、制御機能４５１は、図１１Ｄに示すように、医用デバイスの先端のずれを数値（１度）で表示させる。

上述したように、制御機能４５１は、計画線の方向とＸ線の照射方向とのなす角度に関する情報や、医用デバイスの方向とＸ線の照射方向とのなす角度に関する情報を数値で表示させることができる。なお、制御機能４５１は、角度に関する情報を数値で表現するだけではなく、図や色で表現することもできる。例えば、制御機能４５１は、ずれが５度以内の場合、計画線の色を青で示し、ずれが１０度以上である場合、計画線の色を赤で示す。また、例えば、制御機能４５１は、ずれが１０度以上の位置に所定の図形を示す。

（診断装置制御）
次に、第１の実施形態に係る診断装置制御の処理について説明する。上述したように、制御機能４５１は、計画線とＸ線の照射方向とのなす角度が「９０°」から何度ずれているか、医用デバイスの長手方向とＸ線の照射方向とのなす角度が「９０°」から何度ずれているかを算出して表示することができる。そこで、制御機能４５１は、この情報を用いてＸ線診断装置２００を制御する。

かかる場合には、例えば、制御情報生成機能４５５は、制御機能４５１によって算出されたずれが「０°」となるようにＣアーム２０５を制御するための制御情報を生成する。すなわち、制御情報生成機能４５５は、被検体に対するＸ線の照射方向を、計画線の方向に直交する方向に決定する。制御機能４５１は、制御情報生成機能４５５によって生成された制御情報を、送受信機能４５２を介してＸ線診断装置２００に送信させる。Ｘ線診断装置２００は、医用情報処理装置４００から制御情報を受信すると、制御情報に基づく制御を実行するか否かを操作者に提示し、実行する旨の操作を受け付けた場合に、制御情報に基づいてＣアーム２０５を移動させる。なお、制御機能４５１は、制御情報の受信に応じて自動でＣアーム２０５を移動させるようにＸ線診断装置２００を制御することも可能である。

図１１Ｅは、第１の実施形態に係る診断装置制御の一例を説明するための図である。例えば、計画線とＸ線の照射方向とのなす角度を「９０°」とするための制御情報によってＣアーム２０５が制御された場合、制御後のＸ線画像に表示される計画線は、図１１Ｅに示すように、最も長く見えるものとなる。

上述した例と同様に、制御機能４５１は、医用デバイスの長手方向とＸ線の照射方向とのなす角度を「９０°」とするように制御することもできる。ここで、医用デバイスの長手方向とＸ線の照射方向とのなす角度を「９０°」とするように制御する場合、制御機能４５１は、医用デバイスの移動と連動して、Ｘ線の照射方向が変化するように制御することも可能である。かかる場合には、制御機能４５１は、医用デバイスが移動するごとに、医用デバイスの先端領域の方向とＸ線の照射方向とのなす角度が「９０°」から何度ずれているかを算出する。制御情報生成機能４５５は、制御機能４５１によってずれが算出されるごとに、ずれを「０°」とするための制御情報を生成する。制御情報生成機能４５５によって制御情報が生成されるごとに、生成された制御情報を送受信機能４５２を介してＸ線診断装置２００に送信させる。ここで、制御機能４５１は、Ｘ線診断装置２００を制御情報の受信に応じて自動でＣアーム２０５を移動させるように制御することで、医用デバイスが移動によって生じたずれを無くすように、自動でＣアーム２０５を移動させることができる。なお、医用デバイスの先端領域とは、例えば、医用デバイス先端から所定距離だけ離れた位置までの領域である。

次に、計画線が所定の方向に向くように診断装置を制御する例について説明する。例えば、制御情報生成機能４５５は、計画線がＸ線画像上で水平又は垂直で示されるように、被検体に対するＸ線の照射方向を決定する。図１１Ｆは、第１の実施形態に係る診断装置制御の一例を説明するための図である。例えば、制御情報生成機能４５５は、図１１Ｆに示すように、Ｘ線画像上で計画線が水平になるように、Ｃアーム２０５を制御する制御情報を生成する。制御機能４５１は、制御情報生成機能４５５によって生成された制御情報を、送受信機能４５２を介してＸ線診断装置２００に送信させる。

次に、関心領域が表示される位置を制御する例について説明する。例えば、制御機能４５１は、手技中に経時的に収集されるＸ線画像群において、Ｘ線画像中の所定の位置に関心領域が表示され続けるように、Ｘ線画像群の収集を制御する。図１１Ｇは、第１の実施形態に係る診断装置制御の一例を説明するための図である。例えば、制御機能４５１は、図１１Ｇに示すように、手技中に関心領域が常に画面の中央に位置するように、Ｃアーム２０５の角度や、Ｘ線検出器２０６の検出位置、或いは、Ｘ線画像の回転、拡大・縮小、表示位置などを制御する。

次に、医用デバイスに関する情報と、手技の対象部位に関する情報とに基づいて、Ｘ線の照射方向を決定する例について説明する。かかる場合には、制御機能４５１は、被検体の体内に挿入される医用デバイスに関する情報と、医用デバイスを用いた手技の対象部位に関する情報とを、被検体から収集された超音波画像に基づいて取得する。例えば、制御機能４５１は、入力インターフェース４３０を介して操作者によって超音波画像に設定された医用デバイスを操作するための計画線や、治療部位の情報を取得する。そして、制御情報生成機能４５５は、超音波画像と当該超音波画像と共に収集されたＸ線画像との位置合わせ結果に基づいて、対象部位に対する医用デバイスを用いた手技中にＸ線画像を収集する際の被検体に対するＸ線の照射方向を決定する。さらに、制御情報生成機能４５５は、決定した照射方向からＸ線を照射させるための制御情報を生成する。

一例を挙げると、制御機能４５１は、超音波画像に基づいて、医用デバイスの心臓弁に対する経路の情報と、心臓弁の形状の情報とを取得する。例えば、操作者が心臓弁に対する医用デバイスの経路と、心臓弁の形状を超音波画像上で設定すると、制御機能４５１は、設定された経路と心臓弁の位置及び形状を取得する。制御情報生成機能４５５は、Ｘ線画像上に心臓弁が水平方向かつ弁の開閉が描出されるように、Ｘ線の照射方向を決定する。

図１２は、第１の実施形態に係る診断装置制御の一例を説明するための図である。例えば、制御情報生成機能４５５は、図１２に示すように、心臓弁が水平方向かつ弁の開閉が描出される方向からＸ線を照射させるための制御情報を生成する。制御機能４５１は、制御情報生成機能４５５によって生成された制御情報を、送受信機能４５２を介してＸ線診断装置２００に送信させる。Ｘ線診断装置２００は、医用情報処理装置４００から制御情報を受信すると、制御情報に基づく制御を実行するか否かを操作者に提示し、実行する旨の操作を受け付けた場合に、制御情報に基づいてＣアーム２０５を移動させる。なお、制御機能４５１は、制御情報の受信に応じて自動でＣアーム２０５を移動させるようにＸ線診断装置２００を制御することも可能である。

また、例えば、制御機能４５１は、超音波画像に基づいて、医用デバイスによる心臓弁の縫合計画線の情報を取得する。一例を挙げると、制御機能４５１は、超音波画像に設定された心臓弁を縫合するための縫合計画線の情報を取得する。制御情報生成機能４５５は、Ｘ線画像上で縫合計画線の重なりが最小となるように、Ｘ線の照射方向を決定する。すなわち、制御情報生成機能４５５は、位置合わせ結果に基づいて、縫合計画線の重なりが最小となる方向からＸ線を照射させるための制御情報を生成する。

また、例えば、制御機能４５１は、超音波画像に基づいて、医用デバイスの心臓弁の腱索に対する経路の情報と、腱索の形状の情報とを取得する。制御情報生成機能４５５は、Ｘ線画像上で腱索の重なりが最小となるように、Ｘ線の照射方向を決定する。すなわち、制御情報生成機能４５５は、位置合わせ結果に基づいて、治療の対象となる腱索が他の腱索と重ならない方向からＸ線を照射させるための制御情報を生成する。

また、例えば、制御機能４５１は、医用デバイスの形状の情報と、対象部位の形状の情報とを取得する。制御情報生成機能４５５は、対象部位に対する医用デバイスの配置状態に基づいて、対象部位に対するＸ線の照射方向を決定する。図１３は、第１の実施形態に係る診断装置制御の一例を説明するための図である。図１３においては、左心耳（ＬＡＡ）に対して医用デバイスを留置する場合の手技について示す。

例えば、制御機能４５１は、超音波画像に基づいて、デバイスの形状と左心耳の入口の形状とが、図１３に示すように、円形状であることを識別する。制御情報生成機能４５５は、円形状の対象部位（左心耳）に対して円形状の医用デバイスを留置する場合に、左心耳の円形度が最も低くなる平面に対して直交する方向からＸ線が照射されるように、左心耳に対するＸ線の照射方向を決定する。

例えば、制御情報生成機能４５５は、図１３の矢印ａ１〜ａ９に示す各方向における左心耳の入口の円形度を算出し、算出した円形度のうち最も円からの乖離が大きくなる方向（矢印ａ９）を特定する。そして、制御情報生成機能４５５は、特定した方向を含む平面に対して直交する方向（矢印ａ５）からＸ線を照射させるための制御情報を生成する。このように、矢印ａ５の方向からＸ線が照射されることで、収集されるＸ線画像は、図１３に示すように、左心耳の入口と医用デバイスとの隙間が明瞭に観察することができるものとなる。

上述した円形度を利用したＸ線の照射方向の決定は、左心耳に対する手技だけではなく、例えば、心房中隔への医用デバイスの留置にも利用することができる。図１４は、第１の実施形態に係る診断装置制御の一例を説明するための図である。図１４においては、心房中隔の欠損部分に対して医用デバイスを留置する場合の手技について示す。図１４に示す手技においても同様に、制御情報生成機能４５５は、心房中隔の欠損部分について種々の方向から円形度を算出し、算出した円形度のうち最も円からの乖離が大きくなる方向を特定する。そして、制御情報生成機能４５５は、特定した方向を含む平面に対して直交する方向からＸ線を照射させるための制御情報を生成する。

次に、医用デバイスに関する情報に加えて、血流情報を用いる例について説明する。かかる場合には、制御機能４５１は、超音波画像に基づいて、医用デバイスの位置の情報と、対象部位における位置ごとの血流情報とを取得する。例えば、制御機能４５１は、留置された医用デバイスの位置を識別し、その周辺の血液の逆流を識別する。一例を挙げると、制御機能４５１は、医用デバイスの周辺について収集されたドップラー画像に基づいて逆流の位置と形状を識別する。

ここで、逆流がある場合には、制御情報生成機能４５５は、逆流が最も広く見える方向を特定し、特定した方向からＸ線を照射するための制御情報を生成する。また、例えば、逆流が複数ある場合には、制御情報生成機能４５５は、複数の逆流が分離される方向を超音波画像で特定し、特定した方向からＸ線を照射するための制御情報を生成する。これにより、操作者は、血液の逆流を効率よく発見して、処置を施すことができる。

また、制御情報生成機能４５５は、医用デバイスの位置と血流情報の位置とがＸ線画像上で分離されるように、Ｘ線の照射方向を決定することもできる。図１５は、第１の実施形態に係る診断装置制御の一例を説明するための図である。例えば、制御情報生成機能４５５は、図１５に示すように、医用デバイスの位置と逆流の位置とがＸ線画像上で分離される方向からＸ線を照射させるための制御情報を生成する。これにより、逆流箇所にさらに医用デバイスを留置する場合でも、最初に留置した医用デバイスが邪魔になることなく、手技を実行することができる。

次に、医用デバイスの形状によってＸ線の照射方向を決定する場合について説明する。かかる場合には、制御機能４５１は、医用デバイスの形状の情報と、対象部位の位置の情報とを取得する。制御情報生成機能４５５は、対象部位に対して医用デバイスを配置する手技において、Ｘ線画像上で医用デバイスの形状が識別可能となるように、Ｘ線の照射方向を決定する。図１６は、第１の実施形態に係る診断装置制御の一例を説明するための図である。

例えば、制御機能４５１は、超音波画像に基づいて、対象部位の位置と、医用デバイスの位置及び形状とを識別する。ここで、医用デバイスが、例えば、図１６に示すように、円形状で一部に隙間があるデバイスである場合、制御情報生成機能４５５は、医用デバイスが対象部位に留置される際に、隙間が明瞭に描出される方向からＸ線が照射されるように、制御情報を生成する。すなわち、制御情報生成機能４５５は、図１６の右図で示す方向からＸ線を照射するための制御情報を生成する。

上述したように、制御情報生成機能４５５は、種々の状況において、Ｘ線診断装置２００におけるＸ線の照射方向を制御するための制御情報を生成する。制御機能４５１は、制御情報生成機能４５５によって生成された制御情報をＸ線診断装置２００に送信するように制御することで、Ｘ線診断装置２００を制御する。

なお、上述した例において説明した超音波画像における医用デバイスの形状と位置の識別、及び、逆流の形状と位置の識別は、制御機能４５１が、超音波画像に対して処理を行うことで、自動で実施される場合でもよく、操作者によって超音波画像上で指定されることで、手動で実施される場合でもよい。

次に、図１７〜図２１を用いて、第１の実施形態に係る医用情報処理装置４００の処理について説明する。図１７〜図２１は、第１の実施形態に係る医用情報処理装置４００の処理手順を示すフローチャートである。ここで、図１７〜図１９は、画像表示に関する処理を示す。また、図２０は、支援情報表示及び診断装置制御に関する処理を示す。また、図２１は、診断装置制御に関する処理を示す。なお、図１７〜図２１においては、同一の処理に同一の符号を付している。

図１７に示すステップＳ１０１、Ｓ１０４は、処理回路４５０が記憶回路４２０から制御機能４５１に対応するプログラムを読み出して実行するステップである。また、ステップＳ１０２は、処理回路４５０が記憶回路４２０から位置合わせ機能４５３に対応するプログラムを読み出して実行するステップである。また、ステップＳ１０３は、処理回路４５０が記憶回路４２０から画像処理機能４５４に対応するプログラムを読み出して実行するステップである。

例えば、図１７に示すように、処理回路４５０は、超音波画像及びＸ線画像を取得して（ステップＳ１０１）、位置合わせを実行する（ステップＳ１０２）。そして、処理回路４５０は、略同一方向の超音波画像とＸ線画像を生成して（ステップＳ１０３）、略同一の方向であることを示す情報とともに、超音波画像とＸ線画像を並列して表示する（ステップＳ１０４）。

図１８に示すステップＳ２０１は、処理回路４５０が記憶回路４２０から画像処理機能４５４に対応するプログラムを読み出して実行するステップである。また、ステップＳ２０２〜２０５は、処理回路４５０が記憶回路４２０から制御機能４５１に対応するプログラムを読み出して実行するステップである。

例えば、図１８に示すように、処理回路４５０は、超音波画像及びＸ線画像を取得して（ステップＳ１０１）、位置合わせを実行する（ステップＳ１０２）。そして、処理回路４５０は、超音波画像に基づく情報を付与した種々のＸ線画像（合成画像）を生成して（ステップＳ２０１）、種々のＸ線画像（合成画像）のうちのいずれかを表示する（ステップＳ２０２）。

そして、処理回路４５０は、切替操作を受け付けたか否かを判定する（ステップＳ２０３）。ここで、切替操作を受け付けると（ステップＳ２０３肯定）、処理回路４５０は、切り替えに応じた合成画像を表示する（ステップＳ２０４）。その後、終了の操作を受け付けると（ステップＳ２０５肯定）、処理回路４５０は、処理を終了する。一方、終了の操作を受け付けていない場合（ステップＳ２０５否定）、処理回路４５０は、ステップＳ２０３に戻って、判定処理を実行する。

図１９に示すステップＳ３０１は、処理回路４５０が記憶回路４２０から画像処理機能４５４に対応するプログラムを読み出して実行するステップである。また、ステップＳ３０２は、処理回路４５０が記憶回路４２０から制御機能４５１に対応するプログラムを読み出して実行するステップである。

例えば、図１９に示すように、処理回路４５０は、超音波画像及びＸ線画像を取得して（ステップＳ１０１）、位置合わせを実行する（ステップＳ１０２）。そして、処理回路４５０は、超音波画像とＸ線画像とを合成した合成画像を生成して（ステップＳ３０１）、超音波画像の向きを識別可能にした合成画像を表示する（ステップＳ３０２）。

図２０に示すステップＳ４０１〜ステップＳ４０５は、処理回路４５０が記憶回路４２０から制御機能４５１に対応するプログラムを読み出して実行するステップである。

例えば、図２０に示すように、処理回路４５０は、超音波画像及びＸ線画像を取得して（ステップＳ１０１）、位置合わせを実行する（ステップＳ１０２）。そして、処理回路４５０は、超音波画像上に計画線を受け付け（ステップＳ４０１）、位置合わせ結果に基づいて、超音波画像上で受け付けた計画線をＸ線画像上に表示する（ステップＳ４０２）。さらに、処理回路４５０は、計画線とＸ線の投影方向とのずれを算出して表示させる（ステップＳ４０３）。

その後、処理回路４５０は、計画線に対するＸ線の投影方向が処理の角度（例えば、９０°）となるように、Ｘ線診断装置２００を制御する（ステップＳ４０４）。そして、処理回路４５０は、制御後に収集されたＸ線画像上に計画線を表示させる（ステップＳ４０５）。

図２１に示すステップＳ５０１、ステップＳ５０３、ステップＳ５０４は、処理回路４５０が記憶回路４２０から制御機能４５１に対応するプログラムを読み出して実行するステップである。また、ステップＳ５０２は、処理回路４５０が記憶回路４２０から制御情報生成機能４５５に対応するプログラムを読み出して実行するステップである。

例えば、図２１に示すように、処理回路４５０は、超音波画像及びＸ線画像を取得して（ステップＳ１０１）、位置合わせを実行する（ステップＳ１０２）。そして、処理回路４５０は、超音波画像に基づいて、医用デバイスと対象部位に関する情報を取得する（ステップＳ５０１）。そして、処理回路４５０は、医用デバイスと対象部位との位置関係に基づいて、Ｘ線の照射方向を決定する（ステップＳ５０２）。

そして、処理回路４５０は、決定した照射方向からＸ線が照射されるように、Ｘ線診断装置２００を制御する（ステップＳ５０３）。その後、処理回路４５０は、制御後に収集されたＸ線画像を表示させる（ステップＳ５０４）。

上述したように、第１の実施形態によれば、制御機能４５１は、被検体の体内に挿入される医用デバイスに関する情報と、医用デバイスを用いた手技の対象部位に関する情報とを、被検体から収集された超音波画像に基づいて取得する。制御情報生成機能４５５は、超音波画像と当該超音波画像と共に収集されたＸ線画像との位置合わせ結果に基づいて、対象部位に対する医用デバイスを用いた手技中にＸ線画像を収集する際の被検体に対するＸ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、観察し易いＸ線画像を表示させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、位置合わせ機能４５３は、被検体から経時的に収集される超音波画像群と、超音波画像群と共に経時的に収集されるＸ線画像群とから、略同一時刻に収集された超音波画像及びＸ線画像を抽出して、抽出した超音波画像及びＸ線画像を用いて位置合わせを実行する。従って、第１の実施形態に係る医用情報処理装置４００は、位置合わせの処理効率をあげることができ、手技の効率をさらに向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、位置合わせ結果に基づいて、略同一方向の超音波画像及びＸ線画像を、略同一方向であることを識別可能に並列表示させる。従って、第１の実施形態に係る医用情報処理装置４００は、比較しやすい超音波画像とＸ線画像を表示させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、画像処理機能４５４は、位置合わせ結果に基づいて、超音波画像に基づく複数の情報をＸ線画像上にそれぞれ示した複数の合成画像を生成する。制御機能４５１は、操作者による切替操作に応じて、前記複数の合成画像を切り替えて表示させる。従って、第１の実施形態に係る医用情報処理装置４００は、種々の合成画像を簡便に切替表示させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、画像処理機能４５４は、位置合わせ結果に基づいて、超音波画像に基づく情報をＸ線画像上に合成した合成画像を生成する。制御機能４５１は、超音波画像の向きを識別可能にした合成画像を表示させる。従って、第１の実施形態に係る医用情報処理装置４００は、合成画像における超音波画像の向きを正確に把握させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、画像処理機能４５４は、複数断面で収集された超音波画像群から所定の面を選択して、選択した所定の面をＸ線画像上に合成した合成画像を生成する。従って、第１の実施形態に係る医用情報処理装置４００は、合成画像の視認性を向上させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、画像処理機能４５４は、経時的に収集される超音波画像群と経時的に収集されるＸ線画像群とから略同一時刻の超音波画像及びＸ線画像を選択して合成画像を生成する。従って、第１の実施形態に係る医用情報処理装置４００は、収集時刻が一致した超音波画像とＸ線画像を用いた合成画像を表示させることができ、合成画像の視認性を向上させ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、超音波画像上に設定された手技の計画線の情報を取得する。制御機能４５１は、位置合わせ結果に基づいて、手技中に収集したＸ線画像上に計画線を表示させる。従って、第１の実施形態に係る医用情報処理装置４００は、計画線を超音波画像及びＸ線画像上に表示させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、計画線の方向と、手技中に収集したＸ線画像のＸ線の照射方向とのなす角度に関する情報を表示させる。従って、第１の実施形態に係る医用情報処理装置４００は、Ｘ線画像と計画線との角度のずれを判別させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御情報生成機能４５５は、被検体に対するＸ線の照射方向を、計画線の方向に直交する方向に決定する。従って、第１の実施形態に係る医用情報処理装置４００は、正確な計画線をＸ線画像上で観察させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御情報生成機能４５５は、計画線がＸ線画像上で水平又は垂直で示されるように、被検体に対するＸ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、Ｘ線画像上での計画線の視認性を向上させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、超音波画像に含まれる前記医用デバイスの方向の情報を取得する。制御機能４５１は、位置合わせ結果に基づいて、医用デバイスの方向と、手技中に収集したＸ線画像のＸ線の照射方向とのなす角度に関する情報を表示させる。従って、第１の実施形態に係る医用情報処理装置４００は、Ｘ線画像と医用デバイスとの角度のずれを判別させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、手技中に経時的に収集されるＸ線画像群において、Ｘ線画像中の所定の位置に関心領域が表示され続けるように、Ｘ線画像群の収集を制御する。従って、第１の実施形態に係る医用情報処理装置４００は、リアルタイムの動画像において、関心領域の位置を常に把握することができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、医用デバイスの対象部位に対する経路の情報と、対象部位の形状の情報とを取得する。制御情報生成機能４５５は、経路の情報と対象部位の形状の情報に基づいて、対象部位に対するＸ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、手技に応じて適切な角度からＸ線画像を収集することができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、超音波画像に基づいて、医用デバイスの心臓弁に対する経路の情報と、心臓弁の形状の情報とを取得する。制御情報生成機能４５５は、Ｘ線画像上に心臓弁が水平方向かつ弁の開閉が描出されるように、Ｘ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、心臓弁に対する手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、超音波画像に基づいて、前記医用デバイスによる心臓弁の縫合計画線の情報を取得する。制御情報生成機能４５５は、Ｘ線画像上で縫合計画線の重なりが最小となるように、Ｘ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、心臓弁の縫合の手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、超音波画像に基づいて、医用デバイスの心臓弁の腱索に対する経路の情報と、腱索の形状の情報とを取得する。制御情報生成機能４５５は、Ｘ線画像上で腱索の重なりが最小となるように、Ｘ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、腱索に対する手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、医用デバイスの形状の情報と、対象部位の形状の情報とを取得する。制御情報生成機能４５５は、対象部位に対する医用デバイスの配置状態に基づいて、対象部位に対するＸ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、医用デバイスの形状と対象部位の形状とを考慮した方向からＸ線画像を収集することができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御情報生成機能４５５は、円形状の対象部位に対して円形状の医用デバイスを留置する場合に、対象部位の円形度が最も低くなる平面に対して直交する方向からＸ線が照射されるように、対象部位に対するＸ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、円形状の対象部位に対して円形状の医用デバイスを留置する場合の手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、超音波画像に基づいて、医用デバイスの位置の情報と、対象部位における位置ごとの血流情報とを取得する。制御情報生成機能４５５は、医用デバイスの位置と血流情報の位置とがＸ線画像上で分離されるように、Ｘ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、医用デバイス留置後の逆流について観察し易いＸ線画像を表示させることができ、手技の効率を向上させることを可能にする。

また、第１の実施形態によれば、制御機能４５１は、医用デバイスの形状の情報と、対象部位の位置の情報とを取得する。制御情報生成機能４５５は、対象部位に対して医用デバイスを配置する手技において、Ｘ線画像上で医用デバイスの形状が識別可能となるように、Ｘ線の照射方向を決定する。従って、第１の実施形態に係る医用情報処理装置４００は、医用デバイスの形状を考慮した方向からＸ線画像を収集することができ、手技の効率を向上させることを可能にする。

（第２の実施形態）
上述した第１の実施形態では、超音波画像に基づいて、Ｘ線診断装置２００を制御する場合について説明した。第２の実施形態では、Ｘ線画像に基づいて、超音波診断装置１００を制御する場合について説明する。なお、以下、第１の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。

第２の実施形態に係る制御情報生成機能４５５は、手技中に収集されたＸ線画像に基づいて、超音波画像の収集条件を決定する。図２２及び図２３は、第２の実施形態に係る診断装置制御の処理の一例を説明するための図である。なお、図２２及び図２３は、超音波画像とＸ線画像との位置合わせが終了した後の処理について示す。

例えば、図２２に示すように、操作者が、入力インターフェース４３０を介して、Ｘ線画像上に直線Ｌ１を設定すると、制御機能４５１は、Ｘ線座標系における直線Ｌ１の位置を特定する。そして、制御機能４５１は、図２２に示すように、Ｘ線焦点と直線Ｌ１とを結んだ平面Ｐ３の位置を特定する。さらに、制御機能４５１は、位置合わせ結果に基づいて、超音波座標系における平面Ｐ３の位置を特定する。

制御情報生成機能４５５は、制御機能４５１によって特定された超音波座標系における平面Ｐ３をスキャンするためのスキャン条件を設定した制御情報を生成する。制御機能４５１は、制御情報生成機能４５５によって生成された制御情報を、送受信機能４５２を介して超音波診断装置１００に送信させる。超音波診断装置１００は、医用情報処理装置４００から制御情報を受信すると、制御情報に基づく制御を実行するか否かを操作者に提示し、実行する旨の操作を受け付けた場合に、制御情報に基づくスキャン条件でのスキャンを実行する。なお、制御機能４５１は、制御情報の受信に応じて自動でスキャンさせるように超音波診断装置１００を制御することも可能である。

また、例えば、図２３に示すように、２方向のＸ線画像が収集された場合に、制御機能４５１は、２方向のＸ線画像に含まれる同一部位の情報から治療対象を推定し、推定した治療対象のＸ線座標系における位置を特定する。そして、制御機能４５１は、位置合わせ結果に基づいて、超音波座標系における治療対象の位置を特定する。制御情報生成機能４５５は、制御機能４５１によって特定された超音波座標系における治療対象をスキャンするためのスキャン条件を設定した制御情報を生成する。例えば、制御情報生成機能４５５は、治療対象をスキャンするためのスキャン方向、ビーム方向、スキャン断面の位置を決定する。制御機能４５１は、制御情報生成機能４５５によって生成された制御情報を、送受信機能４５２を介して超音波診断装置１００に送信させる。

次に、図２４を用いて、第２の実施形態に係る医用情報処理装置４００の処理について説明する。図２４は、第２の実施形態に係る医用情報処理装置４００の処理手順を示すフローチャートである。なお、図２４においては、第１の実施形態での処理（図２１に示す処理）と同一の処理に同一の符号を付している。

図２４に示すステップＳ６０１は、処理回路４５０が記憶回路４２０から制御情報生成機能４５５に対応するプログラムを読み出して実行するステップである。また、ステップＳ６０２、ステップＳ６０３は、処理回路４５０が記憶回路４２０から制御機能４５１に対応するプログラムを読み出して実行するステップである。

例えば、図２４に示すように、処理回路４５０は、超音波画像及びＸ線画像を取得して（ステップＳ１０１）、位置合わせを実行する（ステップＳ１０２）。そして、処理回路４５０は、Ｘ線画像に基づいて、超音波のスキャン条件を決定する（ステップＳ６０２）。 そして、処理回路４５０は、決定したスキャン条件でスキャンされるように、超音波診断装置１００を制御する（ステップＳ６０２）。その後、処理回路４５０は、制御後に収集された超音波画像を表示させる（ステップＳ６０３）。

上述したように、第２の実施形態によれば、制御情報生成機能４５５は、手技中に収集されたＸ線画像に基づいて、超音波画像の収集条件を決定する。従って、第２の施形態に係る医用情報処理装置４００は、適切な超音波画像を収集することができ、手技の効率を向上させることを可能にする。

（第３の実施形態）
さて、これまで第１〜第２の実施形態について説明したが、上述した第１〜第２の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

上述したように、本願手法では、３次元超音波画像データにおいて医用デバイスの位置及び対象部位の位置を識別することができ、超音波画像とＸ線画像とを位置合わせすることで、Ｘ線画像におけるそれらの位置も特定することができる。そこで、本願の手法によれば、例えば、カテーテルの位置と、対象部位の位置とを識別して、カテーテルの操作方向を提示することも可能である。

かかる場合には、例えば、制御機能４５１は、３次元超音波画像データにおけるカテーテルの位置と、対象部位の位置とを識別して、現在のカテーテルの位置から対象部位までの移動方向を３次元の超音波座標系にてベクトル化させる。そして、制御機能４５１は、位置合わせ結果に基づいて、Ｘ線座標系におけるカテーテルの移動方向を特定し、Ｘ線画像上に提示する。また、制御機能４５１は、表示させる２次元の超音波画像上にカテーテルの移動方向を提示することもできる。なお、カテーテルの移動方向は、音声などで提示する場合であってもよい。

さらに、操作者が超音波画像上にカテーテルの移動方向を設定すると、制御機能４５１は、設定された移動方向の３次元の超音波座標系でのベクトル方向を算出して、位置合わせ結果に基づいて、Ｘ線座標系におけるカテーテルの移動方向を特定し、Ｘ線画像上に提示することも可能である。

また、上述した実施形態では、医用情報処理装置４００が、各処理を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、超音波診断装置１００が、上述した処理を実行する場合であってもよい。かかる場合には、処理回路１５０が、上述した制御機能４５１、位置合わせ機能４５３、画像処理機能４５４、及び制御情報生成機能４５５と同様の処理を実行する。

また、上述した制御機能４５１、位置合わせ機能４５３、画像処理機能４５４、及び制御情報生成機能４５５は、医用情報処理システム１に含まれる装置によって分散して実行される場合であってもよい。

上述した実施形態では、単一の処理回路（処理回路４５０）によって各処理機能が実現される場合の例を説明したが、実施形態はこれに限られない。例えば、処理回路４５０は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路４５０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。

なお、上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路４２０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路４２０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。

ここで、プロセッサによって実行される医用情報処理プログラムは、ＲＯＭ（Read Only Memory）や記憶部等に予め組み込まれて提供される。なお、この医用情報処理プログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）−ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ−Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されてもよい。また、この医用情報処理プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、この医用情報処理プログラムは、後述する各機能部を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。

また、上述した実施形態で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。

以上説明したとおり、少なくとも１つの実施形態によれば、手技の効率を向上させることを可能にする。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

４００ 医用情報処理装置
４５０ 処理回路
４５１ 制御機能
４５３ 位置合わせ機能
４５４ 画像処理機能
４５５ 制御情報生成機能

Claims (25)

1. 被検体の体内に挿入される医用デバイスに関する情報と、前記医用デバイスを用いた手技の対象部位に関する情報とを、前記被検体から収集された超音波画像に基づいて取得する取得部と、
   前記超音波画像と当該超音波画像と共に収集されたＸ線画像との位置合わせ結果に基づいて、前記対象部位に対する前記医用デバイスを用いた手技中にＸ線画像を収集する際の前記被検体に対するＸ線の照射方向を決定する決定部と、
   を備える、医用情報処理システム。
2. 前記被検体から経時的に収集される超音波画像群と、前記超音波画像群と共に経時的に収集されるＸ線画像群とから、略同一時刻に収集された超音波画像及びＸ線画像を抽出して、抽出した超音波画像及びＸ線画像を用いて位置合わせを実行する位置合わせ部をさらに備える、請求項１に記載の医用情報処理システム。
3. 前記位置合わせ結果に基づいて、略同一方向の超音波画像及びＸ線画像を、略同一方向であることを識別可能に並列表示させる表示制御部をさらに備える、請求項１又は２に記載の医用情報処理システム。
4. 前記位置合わせ結果に基づいて、超音波画像に基づく複数の情報をＸ線画像上にそれぞれ示した複数の合成画像を生成する生成部と、
   操作者による切替操作に応じて、前記複数の合成画像を切り替えて表示させる表示制御部と、
   をさらに備える、請求項１又は２に記載の医用情報処理システム。
5. 前記位置合わせ結果に基づいて、超音波画像に基づく情報をＸ線画像上に合成した合成画像を生成する生成部と、
   前記超音波画像の向きを識別可能にした前記合成画像を表示させる表示制御部と、
   をさらに備える、請求項１又は２に記載の医用情報処理システム。
6. 前記生成部は、複数断面で収集された超音波画像群から所定の面を選択して、選択した所定の面を前記Ｘ線画像上に合成した合成画像を生成する、請求項５に記載の医用情報処理システム。
7. 前記生成部は、経時的に収集される超音波画像群と経時的に収集されるＸ線画像群とから略同一時刻の超音波画像及びＸ線画像を選択して前記合成画像を生成する、請求項５又は６に記載の医用情報処理システム。
8. 前記取得部は、前記超音波画像上に設定された前記手技の計画線の情報を取得し、
   前記位置合わせ結果に基づいて、前記手技中に収集したＸ線画像上に前記計画線を表示させる表示制御部をさらに備える、請求項１又は２に記載の医用情報処理システム。
9. 前記表示制御部は、前記計画線の方向と、前記手技中に収集したＸ線画像のＸ線の照射方向とのなす角度に関する情報を表示させる、請求項８に記載の医用情報処理システム。
10. 前記決定部は、前記被検体に対するＸ線の照射方向を、前記計画線の方向に直交する方向に決定する、請求項８又は９に記載の医用情報処理システム。
11. 前記決定部は、前記計画線が前記Ｘ線画像上で水平又は垂直で示されるように、前記被検体に対するＸ線の照射方向を決定する、請求項８又は９に記載の医用情報処理システム。
12. 前記取得部は、前記超音波画像に含まれる前記医用デバイスの方向の情報を取得し、
    前記位置合わせ結果に基づいて、前記医用デバイスの方向と、前記手技中に収集したＸ線画像のＸ線の照射方向とのなす角度に関する情報を表示させる表示制御部をさらに備える、請求項１又は２に記載の医用情報処理システム。
13. 前記手技中に経時的に収集されるＸ線画像群において、Ｘ線画像中の所定の位置に関心領域が表示され続けるように、前記Ｘ線画像群の収集を制御する制御部をさらに備える、請求項１又は２に記載の医用情報処理システム。
14. 前記取得部は、前記医用デバイスの前記対象部位に対する経路の情報と、前記対象部位の形状の情報とを取得し、
    前記決定部は、前記経路の情報と前記対象部位の形状の情報に基づいて、前記対象部位に対するＸ線の照射方向を決定する、請求項１又は２に記載の医用情報処理システム。
15. 前記取得部は、前記超音波画像に基づいて、前記医用デバイスの心臓弁に対する経路の情報と、前記心臓弁の形状の情報とを取得し、
    前記決定部は、Ｘ線画像上に前記心臓弁が水平方向かつ弁の開閉が描出されるように、前記Ｘ線の照射方向を決定する、請求項１４に記載の医用情報処理システム。
16. 前記取得部は、前記超音波画像に基づいて、前記医用デバイスによる心臓弁の縫合計画線の情報を取得し、
    前記決定部は、Ｘ線画像上で前記縫合計画線の重なりが最小となるように、前記Ｘ線の照射方向を決定する、請求項１４に記載の医用情報処理システム。
17. 前記取得部は、前記超音波画像に基づいて、前記医用デバイスの心臓弁の腱索に対する経路の情報と、前記腱索の形状の情報とを取得し、
    前記決定部は、Ｘ線画像上で前記腱索の重なりが最小となるように、前記Ｘ線の照射方向を決定する、請求項１４に記載の医用情報処理システム。
18. 前記取得部は、前記医用デバイスの形状の情報と、前記対象部位の形状の情報とを取得し、
    前記決定部は、前記対象部位に対する前記医用デバイスの配置状態に基づいて、前記対象部位に対するＸ線の照射方向を決定する、請求項１又は２に記載の医用情報処理システム。
19. 前記決定部は、円形状の対象部位に対して円形状の医用デバイスを留置する場合に、前記対象部位の円形度が最も低くなる平面に対して直交する方向から前記Ｘ線が照射されるように、前記対象部位に対するＸ線の照射方向を決定する、請求項１８に記載の医用情報処理システム。
20. 前記取得部は、前記超音波画像に基づいて、前記医用デバイスの位置の情報と、前記対象部位における位置ごとの血流情報とを取得し、
    前記決定部は、前記医用デバイスの位置と前記血流情報の位置とがＸ線画像上で分離されるように、前記Ｘ線の照射方向を決定する、請求項１又は２に記載の医用情報処理システム。
21. 前記取得部は、前記医用デバイスの形状の情報と、前記対象部位の位置の情報とを取得し、
    前記決定部は、前記対象部位に対して前記医用デバイスを配置する手技において、Ｘ線画像上で前記医用デバイスの形状が識別可能となるように、前記Ｘ線の照射方向を決定する、請求項１又は２に記載の医用情報処理システム。
22. 前記決定部は、前記手技中に収集されたＸ線画像に基づいて、超音波画像の収集条件を決定する、請求項１又は２に記載の医用情報処理システム。
23. 前記取得部は、前記超音波画像に含まれるカテーテルの位置の情報と、前記対象部位の位置の情報とを取得し、
    前記決定部は、前記対象部位に対する前記カテーテルの操作方向を決定し、
    前記カテーテルの操作方向を操作者に提示する提示部をさらに備える、請求項１又は２に記載の医用情報処理システム。
24. 被検体の体内に挿入される医用デバイスに関する情報と、前記医用デバイスを用いた手技の対象部位に関する情報とを、前記被検体から収集された超音波画像に基づいて取得する取得部と、
    前記超音波画像と当該超音波画像と共に収集されたＸ線画像との位置合わせ結果に基づいて、前記対象部位に対する前記医用デバイスを用いた手技中にＸ線画像を収集する際の前記被検体に対するＸ線の照射方向を決定する決定部と、
    を備える、医用情報処理装置。
25. 被検体に対して超音波を送受信することで超音波画像を収集する収集部と、
    前記超音波画像に基づいて、被検体の体内に挿入される医用デバイスに関する情報と、前記医用デバイスを用いた手技の対象部位に関する情報とを取得する取得部と、
    前記超音波画像と当該超音波画像と共に収集されたＸ線画像との位置合わせ結果に基づいて、前記対象部位に対する前記医用デバイスを用いた手技中にＸ線画像を収集する際の前記被検体に対するＸ線の照射方向を決定する決定部と、
    を備える、超音波診断装置。