JP5662082B2 - 画像表示装置および方法、並びに、プログラム - Google Patents

Description

本発明は、画像表示装置、特に、観察対象を表す３次元画像を回転表示するための回転中心を決定する技術に関するものである。

近年、画像処理技術の発展により、３次元画像をボリュームレンダリング法やサーフィスレンダリング法等の各種の画像生成方法により様々な角度から投影した投影画像を生成することができるようになってきた。そして、これらの生成された画像は、ユーザの表示画面上でのマウス等の操作により、３次元画像の観察対象を移動、拡大、回転等させた画像として表示画面に表示され、観察対象を立体的に理解することを支援する。

従来、このような３次元画像中の観察対象を様々な角度に回転させて表示するためには、観察対象内に回転中心を予め決定しておくか、ユーザのマニュアル操作により異なる２つ以上の方向に投影された複数の投影画像上で観察対象の回転中心を決定することが必要であった。

特許文献１には、医療分野の画像診断において、表示したい部位を選択すると、選択された部位の全ての部品についてそれぞれ重心を算出して回転中心とし、解剖学的部位ごとに回転軸の方向および視線方向を予め設定したテーブルを参照して、回転軸および視点が決定されることにより、部位に応じた回転表示を行う方法が開示されている。

特開２００９−１１５６４号公報

しかし、特許文献１に記載された方法やユーザのマニュアル操作により異なる２つ以上の角度から再構成された２次元画像上で回転中心を決定する方法では、解剖学的部位を表示画面内で回転させて表示する回転中心を決定するために、回転軸および視点を予め設定する手間をなくすことはできない。

また、観察対象に回転中心を予め決定する方法は、観察対象の特定の関心領域を中心として観察対象を表示したいというユーザの要望に応えることができない。

本発明は上記事情に鑑みてなされたものであり、画像表示装置における３次元画像中の観察対象に適切な回転中心に基づく回転表示を可能にする回転中心決定装置および方法、およびプログラムを提供することを目的とするものである。

本発明の画像表示装置は、観察対象を表す３次元画像を取得する３次元画像取得手段と、前記３次元画像から前記観察対象を所定の投影方向に投影した投影画像を生成する画像生成手段と、生成した前記投影画像を表示装置の表示画面中央に表示させる表示制御手段と、前記表示画面の中心部から、前記所定の投影方向に延びる領域を設定領域として設定し、設定された該設定領域と前記観察対象との重複する重複領域の少なくとも一部を回転中心候補領域として決定する候補領域決定手段と、決定された前記回転中心候補領域内もしくはその近傍に回転中心を決定する回転中心決定手段とを備えたことを特徴とするものである。

本発明の画像表示装置における回転中心決定方法は、観察対象を表す３次元画像を取得し、前記３次元画像から前記観察対象を所定の投影方向に投影した投影画像を生成し、生成した前記投影画像を表示装置の表示画面中央に表示させ、前記表示画面の中心部から、前記所定の投影方向に延びる領域を設定領域として設定し、設定された該設定領域と前記観察対象との重複する重複領域の少なくとも一部を回転中心候補領域として決定し、決定された前記回転中心候補領域内もしくはその近傍に回転中心を決定することを特徴とするとするものである。

本発明の画像表示プログラムは、コンピュータを、観察対象を表す３次元画像を取得する３次元画像取得手段と、前記３次元画像から前記観察対象を所定の投影方向に投影した投影画像を生成する画像生成手段と、生成した前記投影画像を表示装置の表示画面中央に表示させる表示制御手段と、前記表示画面の中心部から、前記所定の投影方向に延びる領域を設定領域として設定し、設定された該設定領域と前記観察対象との重複する重複領域の少なくとも一部を回転中心候補領域として決定する候補領域決定手段と、決定された前記回転中心候補領域内もしくはその近傍に回転中心を決定する回転中心決定手段として機能させることを特徴とするものである。

本発明において、上記３次元画像は、断層撮影等で取得された多数の断層画像から再構成されたものでもよく、ＣＧで仮想的に作成されたものでもよい。また、観察対象は、３次元画像に表されるものであれば、なんでもよい。例えば、人体でもよく、動物や植物でもよく、幾何学的な図形でもよく、建築物や機械等の構造物や立体地図等の地形等でもよい。

また、投影画像は、所定の視点から３次元画像を構成する各画素に至る視線と、投影面との交点をそれぞれ取得することで、３次元画像を所定の投影方向に投影したものであれば何でもよく、例えば、ＭＩＰ（maximum intensity projection）法等の種々の投影法を適用したものであってよく、周知の様々な再構成法により表されたものであってよい。望ましくは、ボリュームレンダリング法で生成されたボリュームレンダリング画像または、サーフィスレンダリング法で生成されたサーフィスレンダリング画像等の擬似３次元画像であることが好ましい。また、この投影画像の所定の視点は、投影面から無限遠に存在するものであってもよい。

本発明における領域とは３次元領域を意味する。３次元領域には、３次元的な大きさを有するものであれば点、直線、平面、立体のいずれも含むものとする。

また、本発明において、表示画面の中心部とは、画面の中心点近傍の領域を意味し、円や多角形や楕円等の所定の大きさを持った領域であるが、中心点を含むことが好ましく、中心点のみの点であってもよい。中心部は、例えば、表示画面の中心点を中心とした表示画面の面積に対して１／４以下の面積の円または楕円であることが好ましく、さらに好ましくは、表示画面の面積に対して１／５以下の面積の円または楕円であることが好ましい。

また、設定領域とは、中心部から投影方向に延びる３次元の空間を意味するが、その形状は何でもよい。例えば、中心部が点である場合には直線になり、中心部が円である場合には円柱または円錐台になる。（投影画像の視点が無限遠に設定された平行投影の場合等は円柱となる。）

また、本発明における回転中心は、回転中心候補領域内またはその近傍に、回転中心候補領域に基づいて求められる点であれば何でもよいが、好ましくは重心であることが好ましい。また、回転中心は観察対象の外部に設定されてもよく、観察対象の表面に設定されてもよく、観察対象の内部に設定されてもよい。また、回転中心は、回転中心候補領域を構成する画素の画素値等、各画素の情報に基づいて重み付けして求めてもよい。

回転中心候補領域は、前記設定領域と前記観察対象とが重なる重複領域であるが、これは１つの領域として検出されてもよいし、複数の領域として検出されてもよい。

また、複数の重複領域が検出された場合は、検出された全ての複数の重複領域を回転中心候補領域として決定してもよく、検出された複数の重複領域のうち一部の重複領域を回転中心候補領域として決定してもよい。本発明において、前記候補領域決定手段は、前記重複領域が複数存在する場合に、前記複数の重複領域のうち所定のサイズ以下のものを回転中心候補領域から除外するものであってもよい。なお、前記所定のサイズは、前記重複領域の前記投影画像の視点側の前記観察対象の境界面または境界点からの距離であってもよい。

また、１つの重複領域の全体を回転中心候補領域として決定してもよく、１つの重複領域の一部を回転中心候補領域として決定してもよい。例えば、重複領域の一部は、前記投影画像の視点側の前記観察対象の境界面または境界点であってもよい。また、重複領域の一部の領域は、前記投影画像の視点側の前記観察対象の境界面または境界点から前記所定の投影方向に所定の距離だけ延びる領域と前記重複領域とが交差する領域であってもよい。

本発明の画像表示装置の回転中心決定装置、方法およびプログラムによれば、３次元画像から観察対象を所定の投影方向に投影した投影画像を生成し、生成した投影画像を表示装置の表示画面中央に表示させ、表示画面の中心部から、所定の投影方向に延びる領域を設定領域として設定し、設定された設定領域と観察対象との重複する重複領域の少なくとも一部を回転中心候補領域として決定し、決定された回転中心候補領域内もしくはその近傍に回転中心を決定するため、ユーザは観察対象の関心領域を画面中央に配置して観察するだけで、回転中心を設定する煩雑な操作を行うことなく、関心領域に応じた回転中心候補領域内もしくはその近傍に回転中心を容易に決定することができる。なお、ユーザは、ユーザの関心領域を画面中央に配置して観察対象を観察していると推定されるため、ユーザは観察対象の観察領域を平行移動させて表示するという従来どおりの動作を行うだけで、関心領域中に自動的に回転中心が設定される可能性が高く、ユーザはより精度よく観察対象を把握することができる。

前記重複領域の一部の領域を、前記投影画像の視点側の前記観察対象の境界面または境界点とすれば、投影画像の視点側の前記観察対象の境界面または境界点に基づいて回転中心を決定することができ、投影画像の視点側の前記観察対象の境界面内もしくはその近傍または境界点に回転中心を決定することができる。

前記重複領域の一部の領域を、前記投影画像の視点側の前記観察対象の境界面または境界点から前記所定の投影方向に所定の距離だけ延びる領域と前記重複領域とが交差する領域とすれば、投影画像の視点側の前記観察対象の境界面または境界点に基づいて回転中心を決定することができ、回転中心を設定する煩雑な操作を行うことなく、投影画像の視点側の観察対象の境界面または境界点から所定の投影方向に所定の距離だけ延びる領域と重複領域とが交差する領域内もしくはその近傍に回転中心を決定することができる。

また、前記候補領域決定手段が、前記重複領域が複数存在する場合に、前記複数の重複領域のうち所定のサイズ以下のものを回転中心候補領域から除外するものである場合には、ユーザが、ユーザの関心領域を画面中央に所定の大きさ以上に拡大表示して観察対象を観察していると仮定すると、複数の重複領域のうち所定のサイズ以下のものは、関心領域ではないと推定できるため、回転中心を設定する煩雑な操作を行うことなく、複数の重複領域としてユーザの関心のない微小な領域とユーザの関心領域がそれぞれ検出された場合等に、回転中心が誤って微小な領域に決定されることを抑制できる。

第１の実施形態における回転中心決定装置の機能ブロック図 第１の実施形態における回転中心決定処理の流れを表したフローチャート 第１の実施形態における被写体の正面図 第１の実施形態における図３ＡのＡ−Ａ断面図 第１の実施形態の変形例における図３Ａの斜視図 第１の実施形態の異なる変形例における図３Ａの側面図 第１の実施形態のさらなる変形例における図３ＡのＡ−Ａ断面図 第１の実施形態のさらなる変形例における図３Ａの斜視図 第２の実施形態における観察対象の正面図 第２の実施形態における図６Ａの側面図 第２の実施形態における回転中心決定処理の流れを表したフローチャート

以下、本発明の画像表示装置、画像表示プログラムおよび画像表示方法の実施形態について、図面を参照しながら詳細に説明する。本発明は、３次元画像に基づいて生成された２次元画像を回転表示する様々な分野で応用可能であるが、ここでは、医療分野における画像診断に本発明を適用した例をもとに説明を行う。

図１に、医師が使用するワークステーションに、画像表示プログラムをインストールすることにより実現された画像表示装置の概略構成を示す。画像表示装置１は、標準的なワークステーションの構成として、プロセッサおよびメモリ（いずれも図示せず）を備え、さらに、ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のストレージ２を備えている。また、画像表示装置１には、ディスプレイ３と、マウス、キーボード等の入力装置４が接続されている。

画像表示プログラムと画像表示プログラムが参照するデータは、インストール時にストレージ２に記憶され、起動時にメモリにロードされる。画像表示プログラムは、ＣＰＵに実行させる処理として、３次元画像取得処理と、画像生成処理と、表示制御処理と、候補領域決定処理と、回転中心決定処理を規定している。

そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、汎用のワークステーションは、観察対象を表す３次元画像を取得する３次元画像取得手段１１と、３次元画像から観察対象を所定の投影方向に投影した投影画像を生成する画像生成手段１２と、生成した投影画像を表示装置の表示画面中央に表示させる表示制御手段１３と、表示画面の中心部から、所定の投影方向に延びる領域を設定領域として設定し、設定された設定領域と観察対象との重複する重複領域の少なくとも一部を回転中心候補領域として決定する候補領域決定手段１４と、決定された回転中心候補領域内もしくはその近傍に回転中心を決定する回転中心決定手段１５として機能する。

ストレージ２には、撮影を担当する検査部門から転送された、３次元画像、もしくはデータベース検索により取得された内視鏡画像および３次元画像が記憶される。３次元画像は、マルチスライスＣＴ装置等から直接出力された３次元画像でもよいし、従来型のＣＴ装置等から出力された２次元のスライスデータ群を再構成することにより生成された３次元画像でもよい。

画像表示装置１は、選択メニューにおいて所定の診断支援機能が選択されたことを検出すると、ユーザに、３次元画像の特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、３次元画像が特定されると、ストレージ２からメモリに、該当する３次元画像をロードする。

ここでは、ある患者の検査において、マルチスライスＣＴ装置による撮影が行われ、患者の情報を含む３次元画像Ｖが取得されて不図示のデータベースに記憶されているものとする。ユーザがボリュームレンダリング表示機能を選択し、その患者の識別子や検査日を入力すると、該当する３次元画像Ｖが取得されてストレージ２に記憶され、本発明の回転中心決定方法が実行される。

図２は本発明の画像表示制御方法の好ましい実施形態を示すフローチャートであり、図３Ａは、観察対象である被写体（人体）５の正面図、図３Ｂは図３ＡのＡ−Ａ断面図、図３Ｃは、被写体５の斜視図である。図２、図３Ａ、３Ｂおよび図３Ｃを参照して本実施形態の画像表示制御方法について説明する。

まず、３次元画像取得手段１１がストレージ２からＣＴ装置による断層撮影により取得された観察対象である被写体５を表す３次元画像Ｖを取得する（Ｓ０１）。

そして、画像生成手段１２は、３次元画像Ｖから被写体５を所定の投影方向に投影した投影画像Ｉｍｇ１を生成する（Ｓ０２）。ここでは、投影画像Ｉｍｇ１として周知の方法によりボリュームレンダリング画像を生成する。

表示制御手段１３は、図３Ｂに示すように、生成されたボリュームレンダリング画像Ｉｍｇ１をディスプレイ３に表示させる（Ｓ０３）。ここでは、表示制御手段１３は、ユーザのマニュアル操作による入力装置を用いた入力に応じてボリュームレンダリング画像をディスプレイ３の画面上で平行移動させて、図６Ａに示すボリュームレンダリング画像Ｉｍｇ１が画面表示させているものとする。

以下、図３Ａから図３Ｃを参照しながら、観察対象である人体５を例に、本実施形態の候補領域決定手段１４の処理の詳細について説明する。

まず、候補領域決定手段１４は、投影画像の中心部Ｃ１から、所定の投影方向に延びる領域を設定領域として設定する（Ｓ０４）。本実施形態では、候補領域決定手段１４は、図３Ａおよび図３Ｂに示すように、投影画像Ｉｍｇ１の画面の中心点ＣＰを中心部Ｃ１として、中心点Ｃ１から投影方向延びる直線を設定領域Ｓ１として設定する。この投影方向は、予めボリュームレンダリング画像Ｉｍｇ１の生成時に定められた視点から中心点Ｃ１に向かう方向である。

そして、候補領域決定手段１４は、図３Ｂに示すように、設定領域と観察対象との重複する重複領域を抽出し（Ｓ０５）、重複領域がある場合には（Ｓ０６のＹ）、重複領域の少なくとも一部を回転中心候補領域として決定する（Ｓ０７）。本第１の実施形態では、直線Ｓ１と人体５の重複領域である線分を回転中心候補領域ＣＲ１として決定する。なお、設定領域と観察対象との重複領域が存在しない場合には（Ｓ０６のＮ）、表示位置の平行移動があるまで待機するものとする（Ｓ０９）。

回転中心決定手段１５は、図３Ｂに示すように、決定された回転中心候補領域ＣＲ１内もしくはその近傍に回転中心を決定する。本第１の実施形態では、回転中心決定手段１５は、回転中心候補領域ＣＲ１の重心を回転中心Ｐ１として決定する（Ｓ０８）。すなわち、図３Ｂに示すように、線分ＣＲ１の重心を回転中心Ｐ１として決定する。

この状態で、ユーザが、例えばマウス等の入力装置４で回転方向を指定すると、表示制御手段１３は回転中心Ｐ１を含み、指定された回転方向に直交し、かつ投影面に平行な回転軸が決定し、決定した回転軸に基づいて３次元画像の回転表示を行う。

その後、ユーザのマニュアル操作による入力装置の入力に応じて表示制御装置が画面の表示位置を、現在の投影画像の表示位置から平行移動させると（Ｓ０９のＹ）、画像表示装置１は、Ｓ０４からＳ０８までのステップを繰り返す。また、画像表示装置１が現在決定された回転中心に対応する投影画像の表示位置から画面の表示位置を平行移動しておらず（Ｓ０９のＮ）かつ観察を継続する場合は（Ｓ１０のＮ）、設定された回転中心を維持し、表示制御手段１３が画面の表示位置を平行移動するまで待機する。表示制御手段１３が現在決定された回転中心に対応する投影画像の表示位置から画面の表示位置を平行移動しておらず（Ｓ０９のＮ）かつ観察を終了する場合は（Ｓ１０のＹ）、本実施形態の画像制御方法を終了する。

本第１の実施形態によれば、ユーザは観察対象の関心領域を画面中央に配置して観察するだけで、回転中心を設定する煩雑な操作を行うことなく、関心領域に応じた回転中心候補領域内もしくはその近傍に回転中心を容易に決定することができる。なお、ユーザは、ユーザの関心領域を画面中央に配置して観察対象を観察していると推定されるため、ユーザは観察対象の観察領域を平行移動させて表示するという従来どおりの動作を行うだけで、関心領域中に自動的に回転中心が設定される可能性が高く、ユーザはより精度よく観察対象を把握することができる。また、画面中央に配置された観察対象の回転中心候補領域をほぼ中央付近に配置したままで回転表示することができ、予め定められた回転中心に基づいて回転させた場合のように、画面中央を中心に表示されていた観察対象が、回転に応じて画面の中央から観察対象が移動してしまうようなことがなく、観察対象およびその回転中心を把握しやすい。

また、本第１の実施形態では、直線Ｓ１と観察対象５の重複領域である線分を回転中心候補領域ＣＲ１として決定し、回転中心候補領域ＣＲ１の重心を回転中心Ｐ１として決定したため、画面中心部から投影方向に向かう直線が観察対象５を横切る線分の重心を中心に観察対象５を回転表示でき、ユーザが観察対象およびその回転中心の位置を直感的に把握しやすい。

また、第１の実施形態において、観察対象が人体であり、被写体の医用画像の画像診断に、本実施形態の回転中心決定方法を適用したため、患者の病変部等を様々な角度から詳細に観察する必要がある医療分野において、上記効果が大いに有益である。

以下に、第１の実施形態の変形例について説明する。

設定領域Ｓ１の変形例として、Ｓ０４からＳ０８のステップにおいて、候補領域決定手段１４は、図３Ａ、図３Ｂおよび図３Ｃに示すように、投影画像Ｉｍｇ１の画面の中心点ＣＰを中心とする半径ｒの円を中心部Ｃ２として中心部Ｃ２から投影方向に延びる円柱を設定領域Ｓ２として設定してもよい。そして、候補領域決定手段１４は、図３Ｂに示すように、円柱Ｓ２と人体５の重複領域を回転中心候補領域ＣＲ２として決定し、回転中心決定手段１５は、図３Ｃに示すように、回転中心候補領域ＣＲ２の重心を回転中心Ｐ２として決定してもよい。なお、第１の実施形態の回転中心Ｐ１とかかる回転中心Ｐ２は異なる点とする。また、なお、ここでいう投影方向とは、予めボリュームレンダリング画像Ｉｍｇ１の生成時に投影面から無限遠に定められた視点ＶＰから中心点ＣＰを中心とする半径ｒの円Ｃ２を構成する各画素に向かう方向であり、中心点ＣＰを中心とする半径ｒの円Ｃ２を構成する各画素に対して平行な方向である。

上記の場合には、画面中心部から投影方向に向かう円柱が観察対象５を横切る線分の重心を中心に観察対象５を回転表示でき、ユーザが観察対象およびその回転中心の位置を直感的に把握しやすい。

なお、設定領域は、円柱や直線だけでなく、中心部から投影方向に延びるものであれば何でもよい。例えば、中心部が円である場合、中心投影法の場合には、投影画像の視点から中心部を構成する各画素に向かう方向は、円錐形状に広がるため、設定領域は円錐台になる。

また、候補領域の変形例として、重複領域の一部を回転中心候補領域Ｒｃとしてもよい。図４Ａは被写体５の正面図であり、図４Ｂは被写体５の側面図である。図４の正面図は、投影画像Ｉｍｇ１として画面に表示されているものとする。例えば、候補領域決定手段１４は、図４に示すように、投影画像Ｉｍｇ１の画面の中心点ＣＰを中心とする半径ｒの円を中心部Ｃ２として、中心部Ｃ２から投影方向に延びる円柱を設定領域Ｓ２として設定し、図４に示すように、設定領域Ｓ２と被写体５の重複領域ＯＲ１のうち、投影方向に沿って最も視点側の境界面を回転中心候補領域ＣＲ３とし、境界面ＣＲ３の重心を回転中心Ｐ３としてもよい。また、投影画像Ｉｍｇ１の画面の中心点ＣＰを中心部として、中心部ＣＰから投影方向に延びる直線を設定領域として設定し、設定領域と被写体５の重複領域のうち、投影方向に沿って最も視点側の境界である点（境界点）を回転中心候補領域とし、境界点を回転中心としてもよい。

以上のように、重複領域の一部の領域を、投影画像の視点側の前記観察対象の境界面または境界点とした場合には、投影画像の視点側の観察対象の境界面または境界点に基づいて回転中心を決定することができ、投影画像の視点側の観察対象の境界面内またはその近傍に回転中心を決定することができる。上記の場合には、画面中央に配置されて表示されている観察対象の境界面または境界点をほぼ中央付近に配置したままで回転表示することができ、観察対象の表面を種々の角度から回転させて観察できる場合等に観察対象およびその回転中心を把握しやすい。

また、重複領域の一部を回転中心候補領域Ｒｃとする別の例を図３Ａ、図５Ａ、図５Ｂを用いて説明する。図３Ａは被写体の正面図、図５Ｂは図３ＡのＡ−Ａ断面図であり、図５Ｂは、図５Ａの被写体の斜視図である。候補領域決定手段１４は、図３Ａおよび図５Ａに示すように、投影画像Ｉｍｇ１の画面の中心点ＣＰを中心とする半径ｒの円を中心部Ｃ２として、中心部Ｃ２から投影方向に延びる円柱を設定領域Ｓ２として設定し、図３Ａ、５Ａおよび図５Ｂに示すように、投影画像Ｉｍｇ１の視点側の観察対象の境界面ＯＲ１ａから投影方向に所定の距離ｄ１だけ延びる領域ＯＲ１Ａと重複領域ＯＲ１とが交差する領域を回転中心候補領域ＣＲ４とし、回転中心候補領域ＣＲ４の重心を回転中心Ｐ４としてもよい。なお、領域ＯＲ１Ａは、具体的には、投影画像の視点側の被写体５の境界面ＯＲ１ａを構成する各画素を投影方向に所定の距離ｄ１だけ移動させた位置の画素からなる境界面ＯＲ１ｂを算出し、重複領域ＯＲ１のうち境界面ＯＲ１ａと境界面ＯＲ１ｂとの間の領域として算出できる。なお、ここでいう投影方向とは、図５Ｂに示すように、予めボリュームレンダリング画像Ｉｍｇ１の生成時に定められた投影面から無限遠方の視点ＶＰから境界面ＯＲ１ａを構成する各画素に向かう方向であり、各画素に対して平行方向となる。また、投影画像Ｉｍｇ１の画面の中心点ＣＰを中心部として、中心部ＣＰから投影方向に延びる直線を設定領域として設定し、設定領域と被写体５の重複領域のうち、投影方向に沿って最も視点側の境界点から所定の距離ｄ１だけ延びる線分を回転中心候補領域とし、投影方向に沿って最も視点側の境界点から所定の距離ｄ１だけ延びる線分の重心を回転中心としてもよい。

上記のように、重複領域の一部の領域を、投影画像の視点側の観察対象の境界面または境界点から所定の投影方向に所定の距離だけ延びる領域と重複領域とが交差する領域とした場合には、投影画像の視点側の観察対象の境界面または境界点に基づいて回転中心を決定することができ、投影画像の視点側の観察対象の境界面または境界点から所定の投影方向に所定の距離だけ延びる領域と重複領域とが交差する領域内またはその近傍に回転中心を決定することができる。上記の場合には、画面中央に配置されて表示されている観察対象の境界面から所定の範囲をほぼ中央付近に配置したままで回転表示することができ、観察対象の境界面付近を種々の角度から回転させて観察できる場合等に観察対象およびその回転中心を把握しやすい。

なお、重複領域の一部を回転中心候補領域Ｒｃとする場合に、上記の例に限られず、重複領域の一部であれば、観察対象や観察目的に応じてどのように一部を決定してもよい。

第２の実施形態を以下に説明する。第２の実施形態の候補領域決定手段１４は、重複領域が複数存在する場合に、複数の重複領域のうち所定のサイズ以下のものを回転中心候補領域から除外するものである。第２の実施形態は、機能ブロックの各要素および処理については、候補領域決定手段１４に複数の重複領域のうち所定のサイズ以下のものを回転中心候補領域から除外する機能が加わった以外の部分については、第１の実施形態と同じである。

図６Ａは、観察対象である微細血管５１および血管５２を表す正面図であり、図６Ｂは、図６Ａの側面図である。図６Ａの正面図は、投影画像Ｉｍｇ２として画面に表示されているものとする。図７は、第１の実施形態のうち図２に示すＳ０４からＳ０６の処理に相当する第２の実施形態の処理の流れを表すフローチャートである。第２の実施形態の処理は、図７に示す処理以外は、第１の実施形態の処理と同様である。図２、図６Ａ、図６Ｂおよび図７を用いて、第２の実施形態の処理を説明する。

まず、第１の実施形態と同様に、３次元画像取得手段１１がストレージ２からＣＴ撮影により取得した微細血管５１および血管を表す３次元画像を取得する（Ｓ０１）。そして、画像生成手段１２が、取得された３次元画像を予め定めた所定の方向に投影したボリュームレンダリング画像Ｉｍｇ２を生成する（Ｓ０２）。表示制御手段１３は、生成されたボリュームレンダリング画像Ｉｍｇ２をディスプレイ３に表示する（Ｓ０３）。ここでは、表示制御手段１３は、ユーザのマニュアル操作による入力装置からの入力に応じて投影画像をディスプレイ３の画面上で平行移動し、図６Ａに示すボリュームレンダリング画像Ｉｍｇ２が画面表示されているものとする。

図６Ａ候補領域決定手段１４は、図６に示すように、投影画像Ｉｍｇ２の画面の中心点ＣＰを中心とする半径ｒの円を中心部Ｃ３として、中心部Ｃ３から投影方向に延びる円柱を設定領域Ｓ３として設定する（Ｓ２１）。なお、ここでいう投影方向とは、予めボリュームレンダリング画像Ｉｍｇ２の生成時に投影面と無限遠方に定められた視点ＶＰから中心点ＣＰを中心とする半径ｒの円Ｃ３を構成する各画素に向かう方向であり、中心点ＣＰを中心とする半径ｒの円Ｃ３を構成する各画素に対して平行である。

そして、候補領域決定手段１４は、図６Ｂに示すように、設定領域Ｓ３と観察対象である微細血管５１との重複領域ＯＲ２Ａと設定領域Ｓ３と血管５２との重複領域ＯＲ２Ｂを抽出する（Ｓ２２）。

そして、候補領域決定手段１４は、重複領域が存在し（Ｓ２３のＹ）かつ重複領域が複数である場合は（Ｓ２４のＹ）、重複領域ＯＲ２Ａ、ＯＲ２Ｂのそれぞれに対し重複領域ＯＲ２Ａ、ＯＲ２Ｂのサイズを算出する（Ｓ２５）。本第２の実施形態では、候補領域決定手段１４は、重複領域のサイズとして投影方向の最大の長さを算出する。また、重複領域ＯＲ２Ａの投影方向の最大の長さは、重複領域の投影画像の視点側の観察対象の境界面ＯＲ２Ａａを構成する各画素からの投影方向の距離をそれぞれ算出し、算出した各画素からの投影方向の距離の最大のものとして算出するものとする。

次いで、候補領域決定手段１４は、算出した重複領域ＯＲ２Ａの投影方向の最大の長さと所定のしきい値ｄ２を比較し、重複領域ＯＲ２Ａの投影方向の最大の長さｄａが所定のしきい値ｄ２以下であれば、回転中心候補領域ＣＲ５から重複領域ＯＲ２Ａを除外する。ここでは、重複領域ＯＲ２Ａの投影方向の最大の長さｄａが所定のしきい値ｄ２以下であるものとし、候補領域決定手段１４は、重複領域ＯＲ２Ａを、回転中心候補領域ＣＲ５から除外する。候補領域決定手段１４は、重複領域ＯＲ２Ｂに対しても同様に、重複領域ＯＲ２Ｂの投影方向の最大長さｄｂの算出及び所定のしきい値ｄ２との比較を行う。ここでは、重複領域ＯＲ２Ｂの投影方向の最大長さｄｂが所定のしきい値ｄ２よりも大きかったものとする。このため、候補領域決定手段１４は、重複領域ＯＲ２Ｂを、回転中心候補領域ＣＲ５から除外しない。この結果、候補領域決定手段１４は、複数の重複領域ＯＲ２ＡとＯＲ２Ｂのうち、除外されなかった重複領域ＯＲ２Ｂを回転中心候補領域ＣＲ５として決定する（Ｓ２６）。

一方、候補領域決定手段１４は、重複領域がない場合には（Ｓ２３のＮ）、第１の実施形態と同様に表示位置の平行移動があるまで待機する（Ｓ０９）。重複領域が１つだけ検出された場合は（Ｓ２３のＹかつＳ２４のＮ）、抽出された重複領域を回転中心候補領域ＣＲ５とて決定する（Ｓ２６）。

そして、候補領域決定手段１４は、回転中心候補領域ＣＲ５の重心を回転中心Ｐ５として決定する（Ｓ０６）。また、その後のＳ０７およびＳ０８のステップについては第１の実施形態と同じであるため、説明を省略する。

第２の実施形態によれば、ユーザが、ユーザの関心領域を画面中央に所定の大きさ以上に拡大表示して観察対象を観察していると仮定すると、複数の重複領域のうち所定のサイズ以下のものは、関心領域ではないと推定できるため、複数の重複領域としてユーザの関心のない微小な領域とユーザの関心領域がそれぞれ検出された場合等に、回転中心が誤って微小な領域に決定されることを抑制できる。

なお、１つの重複領域だけが検出された場合にも、重複領域のサイズを算出し、所定のサイズ以下の重複領域を除外してもよく、１つの重複領域だけが検出された場合には、重複領域のサイズによらず、１つの重複領域の重心を回転中心としてもよい。

なお、複数の重複領域のうち所定のサイズ以下のものを回転中心候補領域から除外する場合に、所定のサイズ以下の判定は、重複領域の大きさに基づいて判定を行うものであれば何でもよく、様々な定義で規定できる。

例えば、所定のサイズ以下の領域の判定は、重複領域のＸ、ＹまたはＺ軸方向の長さや投影方向の長さが所定のしきい値以下の領域として判定してもよく、重複領域を横断する所定の横断面を設定し、所定の横断面上の重複領域の面積が所定のしきい値以下の領域として判定してもよく、重複領域の体積が所定のしきい値以下の領域として判定してもよく、周知の種々の方法で判定できる。

なお、Ｘ、Ｙ、Ｚ軸方向または投影方向等の所定の方向の重複領域の長さや重複領域の面積や重複領域の体積により所定のサイズ以下の領域を判定する場合には、表示画面上で大きく拡大表示していれば、重複領域の所定方向の長さや重複領域の体積が小さいものであっても回転中心候補領域として決定し、表示画面上で小さく表示されていれば、回転中心候補領域から除くようにすることが好ましい。

例えば、平行投影の場合には、所定のサイズを観察対象の拡大率に応じて変化するものとすることが好ましい。一例として、平行投影の場合には、所定のサイズを、所定のしきい値と拡大率の逆数を積算したものとするようにしてもよい。また、例えば、中心投影の場合には、所定のサイズを、視点と重複領域との距離に応じて変化するものとすることができる。一例として、所定のサイズを所定のしきい値と、視点と重複領域を構成する画素の距離のうちの最短距離を積算したものにしてもよい。

このようにすることで、重複領域の所定方向の長さや重複領域の体積が小さいものであっても、表示画面上で拡大して表示しているものは、ユーザの関心領域となっている可能性が高いため、回転中心候補領域として決定することができる。ユーザの関心が高いと推定される観察対象のみを回転中心候補として回転中心を決定することができ、よりユーザの関心に応じて回転中心を決定することができる可能性が高い。

また、複数の重複領域だけが検出された場合に、重複領域の投影方向の最大長さが所定の距離ｄ２以下か否かを判定する替わりに、重複領域の投影方向の最小長さが所定の距離ｄ２以下か否かを判定してもよい。

また、複数の重複領域が検出された場合は、検出された全ての複数の重複領域を回転中心候補領域として決定してもよく、検出された複数の重複領域のうち一部の重複領域を回転中心候補領域として決定してもよい。

なお、本明細書の実施形態のように、断層撮影により取得した３次元画像内の観察対象は、周知の抽出方法により抽出してよい。例えば、ボリュームデータの各画素について、投影画像をボリュームレンダリング法で生成するための不透明度がある閾値より高い画素からなる領域を観察対象として抽出してもよく、ボリュームデータから投影画像をサーフィスレンダリング法で生成するための内外判定により内側と判定された領域を観察対象としてもいい。

また、観察対象が人体の解剖学的構造物である場合、周知の解剖学的構造物の抽出技術によって抽出された領域を観察対象としてもよい。

例えば、計算機支援画像診断（CAD；Computer Aided Diagnosis）による抽出技術として、肺野について、特開２００１−１３７２３０号、特開２００８−２５３２９３号、肝臓抽出について特開２００１−２８３１９１号、特開２００２−３４５８０７号、骨について、特開２００８−４３５６４号、心臓について、特開２００４−１４１６１２号の技術が利用でき、その他の臓器認識技術も指定された病変の位置が所属する臓器を自動的に抽出できるものであれば利用可能である。

また、観察対象は、医用画像に写った異常陰影等の病変でもよい。異常陰影を手動で抽出してもよく、計算機処理を用いて異常陰影候補を自動的に検出するようにした計算機支援画像診断（CAD；Computer Aided Diagnosis）を行い、自動的に病変領域を検出することができる。

病変領域検出に利用できる技術は、具体的には、特開２００３−２２５２３１号、特開２００３−２７１９２４号、および、久保田等、「ヘリカルCT像を用いた肺がん計算機診断支援システムの評価」、電子情報通信学会、信学技報、pp.41-46、MI2001-41(2001-09)に示す肺がんを検出する技術、脇田等、「びまん性肺疾患の知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第４回シンポジウム論文集、pp. 45-54、２００７に示すコンソリデーション、Ground-Glass Opacity(GGO)、Crazy-Paving、蜂巣状陰影、肺気腫陰影、粒状影等のびまん性肺疾患の検出技術、脇田等、「多時相腹部Ｘ線ＣＴ像の時相間濃度特徴計測に基づく肝臓がん検出」、コンピュータ支援画像診断学会論文誌、Vol.10、No.1、Mar 2007に示す肝臓がん検出技術、「正常構造の理解に基づく知的CAD」、文部科学省科学研究費補助金特定領域研究"多次元医用画像の知的診断支援"、第４回シンポジウム論文集pp.55-60、２００７に示す肝細胞がん、肝のう胞、肝血管種、肝臓領域における出血、脳領域における出血を検出する技術を用いることができる。また、特開２００４−３２９９２９号に示すような血管の異常を検出する技術、本出願人の出願である特開平１０−９７６２４号に示す異常陰影候補の検出技術、特開平８−２１５１８３号に示すような石灰化領域の検出技術を用いることもできる。

また、手動で観察対象の関心領域を画面中央に移動させることに替えて、上記の技術等により臓器や病変等の関心領域を自動抽出する関心領域抽出手段をさらに備え、表示制御手段が抽出した関心領域を画面中央に移動させて表示する関心領域移動手段を備えるものであってもよい。この場合には、観察対象の関心領域を自動的に画面中央に配置した投影画像について本発明の回転中心決定処理を行うことができるため，ユーザは、観察対象の関心領域を抽出する操作を行うだけで、関心領域を画面中央に表示し、かつ関心領域内またはその近傍に回転中心を自動的に決定することができるため、容易に関心領域に対する回転中心を決定することができる。また、関心領域内またはその近傍に回転中心を自動的に決定することができるため、関心領域をより精度よく把握することができる。

また、表示画面の中心部は、点や円以外にも、多角形や楕円等の所定の大きさを持った領域であってもよい。中心部は、例えば、表示画面の中心点を中心とした表示画面に対して１／４以下の面積の円または楕円であることが好ましく、さらに好ましくは表示画面に対して１／５以下の面積の円または楕円であることが好ましい。

また、ＣＧ等で３次元画像を生成した場合には、３次元画像を生成する工程で定義した３次元画像内の物体を抽出する情報により、観察対象を特定してもよく、周知の種々の方法により、観察対象を特定してもよい。

また、本明細書における回転中心は、回転中心候補領域内またはその近傍に、回転中心候補領域に基づいて求められる点であれば何でもよいが、好ましくは重心であることが好ましい。また、回転中心は観察対象の外部に設定されてもよく、観察対象の表面に設定されてもよく、観察対象の内部に設定されてもよい。また、回転中心は、回転中心候補領域を構成する画素の画素値等、各画素の情報に基づいて重み付けして求めてもよい。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

なお、３次元画像は、断層撮影等で取得されて形成されたものでもよく、ＣＧで仮想的に作成されたものでもよい。また、観察対象は、３次元画像に表されるものであれば、なんでもよい。例えば、人体でもよく、動物や植物でもよく、幾何学的な図形でもよく、建築物や機械等の構造物や立体地図等の地形等でもよい。断層撮影に使用するモダリティは、ＣＴ、ＭＲＩ、超音波撮影装置等断層撮影可能なものであれば何でもよい。

また、画像表示装置１は、複数台のコンピュータにより、手段としての機能を分担する構成としてもよい。また、入力装置、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。

１ 画像表示装置、 ２ ストレージ、 ３ ディスプレイ
５ 観察対象
１１ ３次元画像取得手段
１２ 画像生成手段
１３ 表示制御手段
１４ 候補領域決定手段
１５ 回転中心決定手段

Claims (10)

1. 観察対象を表す３次元画像を取得する３次元画像取得手段と、
   前記３次元画像から前記観察対象を所定の投影方向に投影した投影画像を生成する画像生成手段と、
   生成した前記投影画像を表示装置の表示画面中央に表示させる表示制御手段と、
   前記表示画面の中心部から、前記所定の投影方向に延びる領域を設定領域として設定し、設定された該設定領域と前記観察対象との重複する重複領域の少なくとも一部を回転中心候補領域として決定する候補領域決定手段と、
   決定された前記回転中心候補領域内もしくはその近傍に、観察対象を表す３次元画像を回転表示するための回転中心を決定する回転中心決定手段とを備えたことを特徴とする画像表示装置。
2. 前記回転中心は、前記回転中心候補領域の重心であることを特徴とする請求項１記載の画像表示装置。
3. 前記投影画像はボリュームレンダリング画像またはサーフィスレンダリング画像であることを特徴とする請求項１または２項記載の画像表示装置。
4. 前記重複領域の一部の領域は、前記投影画像の視点側の前記観察対象の境界面または境界点であることを特徴とする請求項１から３のいずれか１項記載の画像表示装置。
5. 前記重複領域の一部の領域は、前記投影画像の視点側の前記観察対象の境界面または境界点から前記所定の投影方向に所定の距離だけ延びる領域と前記重複領域とが交差する領域であることを特徴とする請求項１から３のいずれか１項記載の画像表示装置。
6. 前記候補領域決定手段は、前記重複領域が複数存在する場合に、前記複数の重複領域のうち所定のサイズ以下のものを回転中心候補領域から除外するものであることを特徴とする請求項１から５のいずれか１項記載の画像表示装置。
7. 前記所定のサイズは、前記重複領域の前記投影画像の視点側の前記観察対象の境界面または境界点からの距離であることを特徴とする請求項６記載の画像表示装置。
8. 前記観察対象が人体であることを特徴とする請求項１から７のいずれか１項記載の画像表示装置。
9. ３次元画像取得手段と、画像生成手段と、表示制御手段と、候補領域決定手段と、回転中心決定手段とを備えた画像表示装置の作動方法であって、
   前記３次元画像取得手段が、観察対象を表す３次元画像を取得するステップと、
   前記画像生成手段が、前記３次元画像から前記観察対象を所定の投影方向に投影した投影画像を生成するステップと、
   前記表示制御手段が、生成した前記投影画像を表示装置の表示画面中央に表示させるステップと、
   前記候補領域決定手段が、前記表示画面の中心部から、前記所定の投影方向に延びる領域を設定領域として設定し、設定された該設定領域と前記観察対象との重複する重複領域の少なくとも一部を回転中心候補領域として決定するステップと、
   前記回転中心決定手段が、決定された前記回転中心候補領域内もしくはその近傍に、観察対象を表す３次元画像を回転表示するための回転中心を決定するステップを備えたことを特徴とする画像表示装置の作動方法。
10. コンピュータを、
    観察対象を表す３次元画像を取得する３次元画像取得手段と、
    前記３次元画像から前記観察対象を所定の投影方向に投影した投影画像を生成する画像生成手段と、
    生成した前記投影画像を表示装置の表示画面中央に表示させる表示制御手段と、
    前記表示画面の中心部から、前記所定の投影方向に延びる領域を設定領域として設定し、設定された該設定領域と前記観察対象との重複する重複領域の少なくとも一部を回転中心候補領域として決定する候補領域決定手段と、
    決定された前記回転中心候補領域内もしくはその近傍に、観察対象を表す３次元画像を回転表示するための回転中心を決定する回転中心決定手段として機能させることを特徴とする画像表示プログラム。

Images