JP6896145B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本開示の技術は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

近年、コンピュータの処理能力が向上したことにより、様々な分野で３次元表示が行われるようになってきた。このような３次元表示により、３次元空間に存在する物体を様々な方向から見た画像を表示させることで、物体の立体的な把握が容易になる。

しかし、３次元表示をするためには時間がかかることも多く、手元の物体を回転させるような効果が得られるようにするために、ある対象物に対する様々な角度から見た２次元画像を予め用意しておき、それらをつなぎあわせて表示する手法が用いられることもある。この手法では、異なる視点から見た２次元画像の集合を生成してユーザに配布し、専用のマルチメディア用のソフトウエアを利用して２次元画像をつなぎあわせて表示している。

一方、医療分野では、近年、ＣＴ（Computed Tomography）またはＭＲＩ（magnetic resonance imaging）などによって撮影されたボリュームデータを用いて診断が行われている。ボリュームデータには大量の情報が含まれているが、断面画像を観察していても病変部の臓器内の位置および大きさは把握しづらい。そこで、ボリュームレンダリングを用いて臓器および組織などの解剖学的な構造物を３次元表示することで、病変の位置および大きさが確認しやすくなる。このような構造物を回転させて観察する際には、様々な方向から見た画像を、方向を変える度にボリュームレンダリングによって作成する必要がある。

また、構造物の立体的な把握を可能にする手法としてサーフェスレンダリングを用いることもできる。ボリュームレンダリングは、レイトレーシング法などを用いて、視点から延びる視線が透過する線上にある全てのボクセルの情報に応じた係数を決めて加算して投影画像を生成しているため、表示するまでに時間がかかる。一方、サーフェスレンダリングは構造物の表面をつないだ面（ポリゴン）の集合で物体の形状を記憶しているため、計算量が少なく比較的高速に表示することができる。

ボリュームレンダリングまたはサーフェスレンダリングは医療分野での多く利用される。例えば、再公表２０１４−１０３０６５号公報では、ボリュームレンダリングで生成した画像だけでなく、ボリュームデータを面の情報に変換したポリゴンデータを生成しておき、ポリゴンデータに対してサーフェスレンダリングを実行して生成したサーフェスレンダリング画像とボリュームレンダリング画像の２種類の画像を利用して表示する手法が記載されている。まず、特定の視点からボリュームデータを投影した２次元のボリュームレンダリング画像を生成しおき、その２次元のボリュームレンダリング画像の上に同じ視点からポリゴンデータを利用して投影したサーフェスレンダリング画像を合成して表示部に表示させている。

ボリュームレンダリングは、観察対象の臓器または組織のみを表示したり、観察対象の組織の周囲にある臓器は半透明にすることで観察対象の組織と臓器の位置関係をわかりやすく表示したりすることができる。しかし、ボリュームレンダリングは視線が透過する線上にある全てのボクセルの情報を利用するために計算に時間がかかる。そのため、異なる方向から観察対象を見た画像を生成する度に計算に時間がかかり、観察対象を回転させながら観察するための表示がスムーズに行なえない場合がある。一方、サーフェースデータの場合には、ボリュームデータを面の情報に変換させておき、面の情報を利用して投影するので、ある程度の速さで表示を行うことが可能になるが、細かいテクスチャの情報が失われる。

一方、観察対象を様々な角度から見た２次元画像を予め用意しておき、２次元画像をつなぎあわせて表示する手法を用いれば、テクスチャの情報を失うことなく高速に観察対象を回転させながら表示することが可能になるが、滑らかに変化するように表示するためには、かなり多くの数の２次元画像を用意する必要がある。ある構造物を消した状態にしたり、表示された状態したりして観察できるようにするには、その構造物が有る状態の２次元画像と無い状態の２次元画像を予め用意しなければならず、構造物の組合せの数に応じて、膨大な数の２次元画像が必要になる。

そこで、本開示の技術では、上述のような問題を解決するために、大量の画像を予め用意することなく高速に観察対象を観察する視点を変えて表示することが可能な画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

本開示の技術の画像処理装置は、患者を撮影した３次元画像から生成された異なる複数の視点から観察対象物を見たときの複数の２次元画像を取得する２次元画像取得手段と、３次元画像から抽出された患者に関する複数の構造物各々のサーフェースデータを取得するサーフェースデータ取得手段と、２次元画像の画面と垂直な方向から複数の構造物の少なくとも１つのサーフェースデータを画面上に投影した合成対象画像と２次元画像とを合成した合成画像を生成する合成画像生成手段と、複数の構造物のいずれかを表示および非表示にする操作を受け付け、受け付けた操作に応じて、表示する構造物に対応する合成対象画像と２次元画像との合成画像と、非表示にする構造物の２次元画像とを切り替えてを表示する表示切替制御手段と、を備える。

本発明の画像処理装置は、患者を撮影した３次元画像から生成された異なる複数の視点から患者の少なくとも一部である観察対象を見たときの複数の２次元画像を取得する２次元画像取得手段と、３次元画像から抽出された観察対象に関する複数の構造物各々のサーフェースデータを取得するサーフェースデータ取得手段と、複数の視点のうちの１つの視 点に対応する２次元画像と、複数の構造物のうちの少なくとも１つの構造物に対応するサーフェースデータを１つの視点から画面上に投影した合成対象画像とを合成した合成画像を生成する合成画像生成手段であって、複数の構造物のいずれかを表示および非表示にする操作を受け付けた場合において、表示する構造物のみの合成対象画像を合成した合成画 像を生成する合成画像生成手段と、表示および非表示にする操作に応じて、合成画像生成 手段が新たに合成画像を生成した場合に、現在表示している合成画像を合成画像生成手段 が新たに生成した合成画像に切り替えて表示する表示切替制御手段と、を備える。

本発明の画像処理方法は、画像処理装置が、患者を撮影した３次元画像から生成された異なる複数の視点から患者の少なくとも一部である観察対象を見たときの複数の２次元画像を取得し、３次元画像から抽出された観察対象に関する複数の構造物各々のサーフェースデータを取得し、複数の視点のうちの１つの視点に対応する２次元画像と、複数の構造物のうちの少なくとも１つの構造物に対応するサーフェースデータを１つの視点から画面上に投影した合成対象画像とを合成した合成画像を生成する合成画像生成処理であって、複数の構造物のいずれかを表示および非表示にする操作を受け付けた場合において、表示 する構造物のみの合成対象画像を合成した合成画像を生成する合成画像生成処理を実行し、表示および非表示にする操作に応じて、現在表示している合成画像を合成画像生成処理 が新たに生成した合成画像に切り替えて表示する。

本発明の画像処理プログラムは、コンピュータを、患者を撮影した３次元画像から生成された異なる複数の視点から患者の少なくとも一部である観察対象を見たときの複数の２次元画像を取得する２次元画像取得手段と、３次元画像から抽出された観察対象に関する複数の構造物各々のサーフェースデータを取得するサーフェースデータ取得手段と、複数 の視点のうちの１つの視点に対応する２次元画像と、複数の構造物のうちの少なくとも１つの構造物に対応するサーフェースデータを１つの視点から画面上に投影した合成対象画 像とを合成した合成画像を生成する合成画像生成手段であって、複数の構造物のいずれかを表示および非表示にする操作を受け付けた場合において、表示する構造物のみの合成対 象画像を合成した合成画像を生成する合成画像生成手段と、表示および非表示にする操作に応じて、合成画像生成手段が新たに合成画像を生成した場合に、現在表示している合成 画像を合成画像生成手段が新たに生成した合成画像に切り替えて表示する表示切替制御手段として機能させる。

また、表示切替制御手段が、観察対象を表示する視点を変更する操作の受付に応じて、変更された視点に対応し、かつ２次元画像と合成対象画像とを合成した合成画像に切り替えて表示することが望ましい。

また、２次元画像は、３次元画像から複数の構造物を除いた画像、または、３次元画像に複数の構造物を含む画像であってもよい。

また、２次元画像は、垂直な方向を奥行き方向とした奥行情報を有し、サーフェースデータは、３次元画像中の位置情報を有し、合成画像生成手段が、サーフェースデータの奥行情報で示される奥行き方向の位置が２次元画像の位置情報により示される位置より手前にある画像部分は合成対象画像を２次元画像上に重ね、かつ、２次元画像の奥行き方向の位置がサーフェースデータの位置より手前にある画像部分は２次元画像を合成対象画像上に重ねた合成画像を生成してもよい。

また、合成画像生成手段が、２次元画像と各画素値と、合成対象画像の各画素値に対応する画素の画素値とのを重み付き加算した画素値を用いて合成画像を生成してもよい。

また、２次元画像は、３次元画像を異なる視点から投影して生成された２次元投影画像、または、３次元画像から生成された異なる断面方向の２次元断面画像であってもよい。

また、２次元投影画像は、ボリュームレンダリング画像、ＭＩＰ（Maximum Intensity Projection）画像、ＭｉｎＩＰ（Minimum Intensity Projection）画像、または、レイサム画像であってもよい。

また、構造物は、臓器、骨、血管の少なくとも１つであってもよい。

本開示の技術の他の画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、患者を撮影した３次元画像から生成された２次元画像を取得し、３次元画像から抽出された患者に関する複数の構造物各々のサーフェースデータを取得し、２次元画像の画面と垂直な方向から複数の構造物の少なくとも１つのサーフェースデータを画面上に投影した合成対象画像と２次元画像と合成した合成画像を生成し、複数の構造物のいずれかを表示および非表示にする操作を受け付け、受け付けた操作に応じて、表示する構造物に対応する合成対象画像と、非表示にする構造物の２次元画像とを切り替えてを表示する処理を実行する。

本発明の他の画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、患者を撮影した３次元画像から生成された異なる複数の視点から患者の少なくとも一部である観察対象を見たときの複数の２次元画像を取得し、３次元画像から抽出された観察対象に関する複数の構造物各々のサーフェースデータを取得し、複数の視点のうちの１つの視点 に対応する２次元画像と、複数の構造物のうちの少なくとも１つの構造物に対応するサーフェースデータを１つの視点から画面上に投影した合成対象画像とを合成した合成画像を生成する合成画像生成処理であって、複数の構造物のいずれかを表示および非表示にする操作を受け付けた場合において、表示する構造物のみの合成対象画像を合成した合成画像 を生成する合成画像生成処理を実行し、表示および非表示にする操作に応じて、合成画像 生成処理が新たに合成画像を生成した場合に、現在表示している合成画像を合成画像生成 処理が新たに生成した合成画像に切り替えて表示する処理を実行する。

医療情報システムの概略構成の一例を示す図である。 本実施の形態の画像処理装置の一例を示す概略構成図である。 複数の構造物の一例を示す図である。 サーフェースデータの一例を示す図である。 第１の断面画像と断面の方向の関係の一例を示す図である。 第１の断面画像に構造物を重ねた合成画像の一例を示す図である。 第１の断面画像に重ねた構造物のうち１つの構造物を非表示にした例を示す図である。 第１の断面画像を回転させた時の断面画像に構造物を重ねた合成画像の一例を示す図である。 第２の断面画像と断面の方向の関係の一例を示す図である。 第２の断面画像を回転させた時の断面画像に構造物を重ねた合成画像の一例を示す図である。 ボリュームレンダリングの一例を示す図である。 ボリュームレンダリングに構造物を重ねた合成画像の一例を示す図である。 ボリュームレンダリングに重ねた構造物のうち１つの構造物を非表示にした一例を示す図である。 画像処理装置の処理の流れの一例を示すフローチャートである。

以下、図面を参照して本開示の技術の実施の形態の画像処理装置を備えた医療情報システムについて説明する。図１は、本実施の形態の医療情報システムの概略構成を示すブロック図である。

本実施の形態の医療情報システムは、具体的には、図１に示すように、画像処理装置１、画像サーバ２、および、撮影装置３（以下、モダリティという）がネットワーク４を介して互いに通信可能な状態で接続されて構成されている。

モダリティ３は、たとえばＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置および超音波撮影装置などであり、撮影された３次元画像（以下、ボリュームデータという）は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）規格に準拠した格納フォーマットおよび通信規格に従って、ネットワーク４を介して画像サーバ２に送信されて保管される。

画像処理装置１は、汎用のコンピュータであり、ＣＰＵ（Central Processing Unit）１０、メモリ（主記憶装置）、ストレージ（補助記憶装置）、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバスなどの周知のハードウェア構成を備え、周知のオペレーションシステムなどがインストールされている。また、表示装置としてディスプレイなどを有し、入力装置としてキーボードおよび／またはマウスなどのポインティングデバイスを有している。ストレージは、ハードディスクやＳＳＤ(Solid State Drive)などで構成される。なお、必要に応じてコンピュータにＧＰＵ（Graphics Processing Unit）を設けるようにしてもよい。このコンピュータに、本実施の形態の画像処理プログラムをインストールすることにより画像処理装置１として機能する。また、画像処理装置１は、画像サーバ２に対する画像の送信要求、および、画像サーバ２から画像の受信を行う機能を備え、各機能のためのソフトウェアプログラムを実行することにより行われる。

画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。

また、画像処理装置１の起動時に、画像処理プログラムがメモリ上にロードされた後ＣＰＵ１０によって実行される。これにより、画像処理装置１は、図２に示すように、３次元画像取得手段１１、２次元画像取得手段１２、２次元画像記憶手段１３、サーフェースデータ取得手段１４、サーフェースデータ記憶手段１５、合成画像生成手段１６、表示切替制御手段１７、および操作受付手段１８として機能する。

３次元画像取得手段１１は、予め撮影された患者のボリュームデータを取得する。ボリュームデータは、本実施形態においては、ＣＴ装置、ＭＲＩ装置または超音波撮影装置などによって撮影されたデータである。

ボリュームデータは、画像サーバ２に患者の識別情報ＩＤとともに予め保管されており、３次元画像取得手段１１は、キーボードなどの入力装置を用いてユーザによって入力された患者の識別情報ＩＤに基づいて、患者の識別情報ＩＤを有するボリュームデータを画像サーバ２から読み出してストレージ（不図示）に記憶する。

２次元画像取得手段１２は、ボリュームデータから異なる複数の視点から観察対象を見たときの複数の２次元画像を取得する。例えば、観察対象を回転させながら観察するときは、視点を変更させながら観察対象を観察することになる。この変更させた複数の視点から観察対象を見たときの画像を２次元画像として取得する。具体的には、観察対象のうち注目している中心位置である注視点（つまり、回転中心）と観察対象を観察する時の視点とを結ぶ視線に直交する面にボリュームデータを投影した２次元投影画像（以下、単に投影画像という）、または、視線に直交する面に平行な２次元断面画像（以下、単に断面画像という）を、２次元画像として用いることができる。投影画像は、例えば、ボリュームレンダリング画像、ＭＩＰ画像、ＭｉｎＩＰ画像、またはレイサム画像が挙げられる。また、断面画像は、例えば、アキシャル断面（体軸断面）画像、サジタル断面（矢状断面）画像、コロナル断面（冠状断面）画像、および、オブリーク断面画像が挙げられる。

２次元画像取得手段１２は、２次元画像を視点の数と同じ数分予め生成して２次元画像記憶手段１３に記憶する。あるいは、異なる種類の２次元画像を用意する場合には、異なる種類の２次元画像の各々に対して視点の数と同じ数分生成して２次元画像記憶手段１３に記憶する。例えば、ＭＩＰ画像とボリュームレンダリング画像の２種類の２次元画像を予め用意する場合には、視点の数の２倍の２次元画像を生成して２次元画像記憶手段１３に記憶する。滑らかに回転させて表示するためには、視点を変えた２次元画像を複数枚、例えば、２００枚〜３００枚用意するのが望ましい。なお、視点を変えた２次元画像の枚数は、ハードウェアの性能に応じて変えるのが望ましい。

また、２次元画像は、２次元画像を表示している画面に対して垂直な方向を奥行き方向とした奥行情報を有している。２次元画像が投影画像である場合には、例えば、２次元画像に投影したボリュームデータの画素の位置と２次元画像の画面との間の距離の情報を奥行情報として２次元画像の各画素ごとに記憶してもよいが、２次元画像の各画素に投影したボリュームデータの画素の位置を奥行情報として２次元画像の各画素ごとに記憶してもよい。

例えば、ボリュームレンダリング画像の奥行情報は、視点側から見て視線上にある画素の不透明度が初めて閾値を超えた位置までの距離を奥行情報として各画素ごとに記憶する。また、不透明度が閾値より低い透過している箇所(つまり、透明または半透明な箇所)に関しては、奥にある不透明の構造物（つまり、不透明度が閾値以上の箇所）に突き当たった点までの距離となる。一方、ある画素において閾値以上の不透明度の物体が無かった場合、奥行情報は無限遠となる。無限遠は、実際には距離の最大値を記憶する。また、例えば、ＭＩＰ画像は、ボリュームデータを通過する視線上で最も濃度値が高い画素の画素値を投影するので、２次元画像に投影されたボリュームデータの画素の奥行情報を投影した各画素ごとに記憶する。あるいは、例えば、ＭｉｎＩＰ画像は、ボリュームデータを通過する視線上で最も濃度値が低い画素の画素値を投影するので、２次元画像に投影されたボリュームデータの画素の奥行情報を投影した各画素ごとに記憶する。さらに、例えば、レイサム画像は画素値を単純に加算した画像であるので、一律に視線上に存在する画像（つまり、閾値以上の画素値を持った画素が存在する範囲）の中心までの距離を奥行情報として、各画素ごとに記憶する。

２次元画像が断面画像である場合には、２次元画像の各画素に対応するボリュームデータの断面の画素の位置と２次元画像の画面との間の距離を奥行情報として各画素ごとに記憶してもよいし、２次元画像の各画素に対応するボリュームデータの断面の画素の位置を奥行情報として各画素ごとに記憶してもよい。

また、ボリュームデータには注目する構造物が含まれている。ボリュームデータにそのまま注目する構造物を残したままのデータから２次元画像を生成してもよいが、構造物の周囲の組織を観察するときは、構造物がない方が観察しやすい。例えば、ボリュームレンダリングを用いて２次元画像を生成する際には、ボリュームデータから構造物を除いたデータを用いてボリュームレンダリング画像を取得するようにすることで、構造物の周囲の組織が確認しやすい画像を生成することができる。

サーフェースデータ取得手段１４は、構造物抽出手段１９を有し、３次元画像から抽出された複数の構造物各々のサーフェースデータを取得してサーフェースデータ記憶手段１５に記憶する。サーフェースデータは、構造物の表面の位置情報の集合であり、例えば、三角メッシュの集合として表すことができる。

２次元画像記憶手段１３およびサーフェースデータ記憶手段１５は、ストレージに設けてもよいが、画像サーバ２に２次元画像記憶手段１３およびサーフェースデータ記憶手段１５設けて、必要に応じて画像サーバ２から２次元画像およびサーフェースデータを受信するようにしてもよい。

構造物抽出手段１９は、例えば、心臓、腎臓、肝臓、胃、または腸などの臓器、あるいは、例えば、骨、血管、またはリンパ腺などの組織を抽出する。臓器または組織の抽出は、例えば、深層学習を行ったニューラルネットワークなど周知の手法を用いて行うことができる。

一例として人体の下半身を観察対象として、構造物が骨である場合について構造物の抽出とサーフェースデータの生成について説明する。まず、サーフェースデータ取得手段１４は構造物抽出手段１９を用いて、図３に示すように寛骨および仙骨Ｂ１、左右の大腿骨Ｂ２，Ｂ３、左右の脛骨Ｂ４，Ｂ５、および左右の腓骨Ｂ６，Ｂ７の各々を抽出し、その後、骨の各々の表面形状を表すサーフェースデータを生成する。図４に左側の大腿骨の上部を三角パッチの集合で表したサーフェースデータの例を示す。同様に、他の骨の各々の表面形状を三角パッチの集合で表したサーフェースデータを生成する。

合成画像生成手段１６は、２次元画像記憶手段１３から特定の視点から観察対象を見たときの２次元画像を取り出して、２次元画像の画面と垂直な方向（すなわち法線方向）、つまり２次元画像の視点から注視点に向かう方向に、複数の構造物の少なくとも１つのサーフェースデータを画面に対して投影した合成対象画像を生成し、さらに、合成対象画像と２次元画像と合成した合成画像を生成する。

図５に、下半身のコロナル断面画像Ｃ１の一例を示す。図５の上の図は、体軸に対して垂直な面で切った腹部の輪郭Ｒを示す。コロナル断面画像Ｃ１は腹部をｔ１の方向に切った画像である。図６は、骨Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７のサーフェースデータをコロナル断面画像Ｃ１に垂直な方向から投影した合成対象画像を生成して、合成対象画像とコロナル断面画像Ｃ１と合成した合成画像の一例である。図７は、骨Ｂ２は非表示にしているので、骨Ｂ２の部分はコロナル断面画像Ｃ１を表示し、表示対象である骨Ｂ１，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７の部分は合成画像を表示している。

また、合成画像生成手段１６は、サーフェースデータの奥行き方向の位置が２次元画像の奥行情報が示す位置より手前にある画像部分は合成対象画像を２次元画像上に重ね、かつ、２次元画像の奥行き方向の位置がサーフェースデータの位置より手前にある画像部分は、２次元画像を合成対象画像上に重ねた合成画像を生成する。例えば、コロナル断面画像Ｃ１の奥行方向の情報が示す位置と、骨Ｂ１，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７のサーフェースデータの位置情報が示す位置とを比較して、画面に対して手前にある画像を表示する。図６の例では、コロナル断面画像Ｃ１の位置が骨Ｂ１の仙骨よりも前に存在し骨Ｂ１の寛骨よりは後ろに存在するので、腰部分の合成画像には仙骨は表示されていないが寛骨は表示されている。具体的には、例えば、Ｚバッファ法を用いて手前にある構造物を表示するようにしてもよい。さらに、図８はコロナル断面画像Ｃ１を体軸を中心に回転させて表示した例である。

図９は、断面方向がｔ２のときのオブリーク断面画像Ｃ２と、骨Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７のサーフェースデータを投影した合成対象画像とを合成した合成画像の例である。断面方向ｔ２はコロナル断面画像Ｃ１の断面方向ｔ１より傾いている。そのため、骨Ｂ２，Ｂ４，Ｂ６の位置はオブリーク断面画像Ｃ２より後ろに存在するので、骨Ｂ２，Ｂ４，Ｂ６は表示されない。また、図９のオブリーク断面画像Ｃ２向かって右側の寛骨Ｂ１の一部もオブリーク断面画像Ｃ２より後ろに存在するので表示されない。図１０はオブリーク断面画像Ｃ２を体軸Ｓを中心に回転させて表示した例である。

あるいは、合成画像生成手段１６は、２次元画像と各画素値と合成対象画像の各画素値に対応する画素の画素値とのを重み付き加算した画素値を用いて合成画像を生成するようにしてもよい。図１１は、ボリュームデータから骨を除いたデータを用いて作成したボリュームレンダリング画像Ｖの一例である。図１２は、骨Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７のサーフェースデータを投影した合成対象画像の画素値とボリュームデータの画素値を重み付き加算して生成された合成画像の一例である。このように重み付き加算の重みを変えることによって、足の筋肉が半透明になって骨が観察できる画像を生成することができる。図１３は、図１２の骨Ｂ２を非表示にした例である。

合成画像生成手段１６が、２次元画像と合成対象画像の位置を比較して合成画像を生成するか、２次元画像と各画素値と合成対象画像の各画素値に対応する画素の画素値とのを重み付き加算した画素値を用いて合成画像を生成するかは、予め設定されたパラメータに応じて決定される。あるいは、ユーザがパラメータを変更する操作を行って、どのような合成画像を生成するかを切り替えてもよい。

操作受付手段１８は、キーボードやマウスなどの入力装置を用いて行われ、視点の位置を変更する操作、複数の構造物のいずれかを選択する操作、または構造物を表示および非表示にする操作などを受け付ける。例えば、マウスに設けられたトラックボールを回転させる操作、または画面上でマウスを用いて所定の軌跡を描く操作を、視点の位置を変更する操作としてもよい。あるいは、例えば、マウスなどで表示されている構造物を指示する操作、または画面上に構造物の名称を表示して選択する操作などを、構造物を選択する操作としてもよい。また、例えば、構造物を選択している間に所定のキーボード上のボタン（例えば、デリートキーとインサートキー）を押す操作を、非表示と表示の切り替えの操作としてもよい。

表示切替制御手段１７は、視点の位置を変更する操作を受け付けると、現在表示している合成画像から、変更された視点に対応する２次元画像と合成対象画像との合成画像に切り替えて表示する。合成画像は、視点が変更される度に合成画像生成手段１６を用いて変更された視点に対応する合成画像が生成される。

また、表示切替制御手段１７は、構造物を表示および非表示にする操作を受け付けると、表示する構造物に対応する部分は合成画像生成手段１６がサーフェースデータと２次元画像を用いて生成した合成画像を表示するようにし、非表示にする構造物の部分は２次元画像を表示するように、表示を切り替えてを表示する。つまり、表示する構造物に対応する画像部分は構造物の合成対象画像と２次元画像との合成画像を表示することで、その構造物が表れた画像になり、非表示にする構造物に対応する画像部分は２次元画像を表示することで、その構造物が消えた画像になる。

また、表示切替制御手段１７は、構造物を表示および非表示にする操作を受け付けると、表示する構造物に対応する部分は合成画像生成手段１６がサーフェースデータと２次元画像を用いて生成した合成画像を表示するようにし、非表示にする構造物の部分は２次元画像を表示するように、表示を切り替えて表示する。つまり、表示する構造物に対応する画像部分は構造物の合成対象画像と２次元画像との合成画像を表示することで、その構造物が表れた画像になり、非表示にする構造物に対応する画像部分は２次元画像を表示することで、その構造物が消えた画像になる。

まず、ユーザが患者の識別情報であるＩＤを入力すると、３次元画像取得手段１１は画像サーバ２に患者のＩＤを送信して画像サーバ２からＩＤに対応する患者のボリュームデータを取得し、一旦ストレージに記憶する（ステップＳＴ１）。次に、２次元画像取得手段１２は、複数の視点から観察対象を見たときの断面画像をボリュームデータから生成して、２次元画像記憶手段１３に記憶する（ステップＳＴ２）。さらに、サーフェースデータ取得手段１４は、構造物抽出手段１９を用いてボリュームデータから、例えば、骨Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７（図３参照）の領域の各々を抽出し（ステップＳＴ３）、これらの骨の領域の各々の表面形状を表すサーフェースデータを生成してサーフェースデータ記憶手段１５に記憶する（ステップＳＴ４）。

まず、予め決められた視点から見た時の観察対象を表示する。例えば、下半身の正面に視点を設定する（ステップＳＴ５）。合成画像生成手段１６は、２次元画像記憶手段１３から下半身を正面から見た断面画像、例えば、図５に示すコロナル断面画像Ｃ１を選択する（ステップＳＴ６）。次に、サーフェースデータ記憶手段１５から、骨Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７の各々のサーフェースデータを取り出し、正面方向からコロナル断面画像Ｃ１上に各サーフェースデータを投影した合成対象画像を生成する。この時、サーフェースデータの奥行方向の位置が断面画像の各画素の位置により手前に存在するときは合成対象画像をコロナル断面画像Ｃ１の上に重ねる。一方、コロナル断面画像Ｃ１の各画素の奥行き方向の位置がサーフェースデータの位置より手前に存在するときはコロナル断面画像Ｃ１を合成対象画像の上に重ねてディスプレイに表示する（ステップＳＴ７）。

次に、操作受付手段１８が操作入力を受け付けるとステップＳＴ８の判定が肯定される。続いて、操作が視点の変更であるか否かが判定される。ユーザが視点を変更させるための操作が行なうと、ステップＳＴ９の判定が肯定されステップＳＴ６に戻る。合成画像生成手段１６は変更後の視点に応じた断面画像を選択し（ステップＳＴ６）、骨Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７の各々のサーフェースデータを変更後の視点から断面画像上に投影して合成対象画像を生成して、変更後の視点に対応する断面画像と合成対象画像とを合成した合成画像を生成する。表示切替制御手段１７は現在表示している合成画像から、新たに生成した合成画像に切り替えて表示する（ステップＳＴ７）。続いて、視点を変更させるための操作が行われると、上述と同様にステップＳＴ８とステップＳＴ９の判断が肯定され、再びステップＳＴ６に戻る。再度、合成画像生成手段１６で変更後の視点に対応する合成画像を生成し、表示切替制御手段１７で現在表示している合成画像から新たに生成した合成画像に切り替えて表示する。ユーザが視点を変更させる操作を行っている間は、ステップＳＴ６〜ステップＳＴ９の処理を繰り返して、操作に応じた視点から観察対象を表示した合成画像に切り替えて表示が行われる。

次に、構造物を非表示にする場合について説明する。ユーザが表示されている骨Ｂ２（図６参照）をマウスなどを用いて選択した操作を操作受付手段１８が受け付けると、ステップＳＴ８が肯定される。受け付けた操作は構造物を選択する操作なので、ステップＳＴ９の判定は否定され、ステップＳＴ１０の判定が肯定される。構造物の選択に続いて、操作受付手段１８が次の操作入力を受け付けるのを待つ（ステップＳＴ１１）。ユーザが骨Ｂ２を非表示にする操作を行うとステップＳＴ１２の判定が肯定され、合成画像生成手段１６は非表示にする骨Ｂ２を除いた骨Ｂ１，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７のサーフェースデータを投影した合成対象画像と断面画像とを合成した合成画像を生成する。さらに、表示切替制御手段１７が現在表示している合成画像を新たに生成した合成画像に切り替えて表示すると（ステップＳＴ１３）、骨Ｂ２が非表示になった画像がディスプレイに表示される。全ての操作が終了するまでステップＳＴ１６の判定が否定されステップＳＴ８に戻る。

次に、構造物を非表示から表示に切り替える場合について説明する。例えば、ユーザが非表示リストの構造物の中から骨Ｂ２を選択した操作を操作受付手段１８が受け付けると、ステップＳＴ８が肯定される。受け付けた操作は構造物を選択する操作なので、ステップＳＴ９の判定は否定され、ステップＳＴ１０の判定が肯定される。構造物の選択に続いて、操作受付手段１８が次の操作入力を受け付けるのを待つ（ステップＳＴ１１）。続いて、ユーザが骨Ｂ２を表示にする操作を行うとステップＳＴ１２の判定が否定され、ステップＳＴ１４の判定が肯定される。合成画像生成手段１６は、表示する骨Ｂ２を加えた骨Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，およびＢ７のサーフェースデータを投影した合成対象画像と断面画像とを合成した合成画像を生成する。さらに、表示切替制御手段１７が現在表示している合成画像を新たに生成した合成画像に切り替えて表示すると（ステップＳＴ１５）、骨Ｂ２が表示された画像がディスプレイに表示される。全ての操作が終了するまでステップＳＴ１６の判定が否定されステップＳＴ８に戻る。

以上詳細に説明したように、予め複数の視点から観察対象を見たときの２次元画像を作成しておき、臓器または組織の中から、表示状態を変えたい注目している構造物のサーフェースデータを作成しておくことにより、観察対象を回転させる表示を高速に行うことができ、注目している構造物を表示したり、非表示にしたりすることが可能になる。また、骨のような注目する構造物だけサーフェースデータとして持つことで、構造物を表示または非表示にした２次元画像を全ての用意する必要がなく、記憶容量を節約することができる。

上述では、画像処理装置が、２次元画像を取得し、ボリュームデータからサーフェースデータを取得して、視点を変えながら２次元画像とサーフェースデータを投影した合成対象画像とを合成した合成画像を生成して表示する全ての処理を行う場合について説明したが、図１４のＳＴ１〜ＳＴ４に示す、２次元画像を取得し、ボリュームデータからサーフェースデータを取得する処理は、画像処理サーバなどの演算処理能力が高い高性能なコンピュータで行い、図１４のＳＴ５〜ＳＴ１６に示す、視点を変えながら２次元画像と合成対象画像とを合成した合成画像を生成しながら表示する処理は、画像処理サーバとは異なる端末で行ってもよい。視点を変えながら合成画像を生成して表示する端末は、例えば、スマートフォン、タブレット端末、ヘッドマウントディスプレイ、またはノートＰＣ（personal computer）など、画像処理サーバに比べると相対的に演算処理性能の低い閲覧用端末を利用してもよい。また、端末装置で視点を変えながら繰り返し合成画像を表示する時は、端末が必ずしも画像処理サーバに接続している必要はなく、端末装置が画像処理サーバから２次元画像とサーフェースデータとを端末装置で予め受信して記憶しておくことで、オフライン環境でも視点を変えながら合成画像を生成して表示することが可能になる。

なお、上記実施の形態において、画像処理装置の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、またはＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、またはＣＰＵとＦＰＧＡの組み合わせなど）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

Claims (10)

1. 患者を撮影した３次元画像から生成された異なる複数の視点から前記患者の少なくとも 一部である観察対象を見たときの複数の２次元画像を取得する２次元画像取得手段と、
   前記３次元画像から抽出された前記観察対象に関する複数の構造物各々のサーフェースデータを取得するサーフェースデータ取得手段と、
   前記複数の視点のうちの１つの視点に対応する前記２次元画像と、前記複数の構造物の うちの少なくとも１つの構造物に対応するサーフェースデータを前記１つの視点から画面上に投影した合成対象画像とを合成した合成画像を生成する合成画像生成手段であって、前記複数の構造物のいずれかを表示および非表示にする操作を受け付けた場合において、 表示する前記構造物のみの前記合成対象画像を合成した合成画像を生成する合成画像生成 手段と、
   前記表示および非表示にする操作に応じて、前記合成画像生成手段が新たに前記合成画 像を生成した場合に、現在表示している前記合成画像を前記合成画像生成手段が新たに生 成した前記合成画像に切り替えて表示する表示切替制御手段と
   を備えた画像処理装置。
2. 前記合成画像生成手段が、前記観察対象を表示する視点を変更する操作を受け付けた場 合において、前記変更された視点に対応する前記合成画像を生成し、
   前記表示切替制御手段が、前記観察対象を表示する視点を変更する操作の受け付けに応じて、現在表示している前記合成画像を前記合成画像生成手段が新たに生成した前記合成画像に切り替えて表示する請求項１記載の画像処理装置。
3. 前記２次元画像取得手段が、前記複数の構造物を除いた前記３次元画像から生成した前 記２次元画像を取得する請求項１または２に記載の画像処理装置。
4. 前記２次元画像は、前記画面に対して垂直な方向を奥行き方向とした奥行情報を有し、
   前記サーフェースデータは、前記３次元画像中の位置情報を有し、
   前記合成画像生成手段が、前記サーフェースデータの前記奥行情報で示される前記奥行き方向の位置が前記２次元画像の前記位置情報により示される位置より手前にある画像部分は前記合成対象画像を前記２次元画像上に重ね、かつ、前記２次元画像の前記奥行き方向の位置が前記サーフェースデータの前記位置より手前にある画像部分は前記２次元画像を前記合成対象画像上に重ねた合成画像を生成する請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記合成画像生成手段が、前記２次元画像と各画素値と、前記合成対象画像の前記各画素値に対応する画素の画素値とのを重み付き加算した画素値を用いて前記合成画像を生成する請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記２次元画像は、前記３次元画像を異なる視点から投影して生成された２次元投影画像、または、前記３次元画像から生成された異なる断面方向の２次元断面画像である請求項１〜５のいずれか１項記載の画像処理装置。
7. 前記２次元投影画像は、ボリュームレンダリング画像、ＭＩＰ画像、ＭｉｎＩＰ画像、または、レイサム画像である請求項６に記載の画像処理装置。
8. 前記構造物は、臓器、骨、血管の少なくとも１つである請求項１〜７のいずれか１項に記載の画像処理装置。
9. 画像処理装置が、
   患者を撮影した３次元画像から生成された異なる複数の視点から前記患者の少なくとも 一部である観察対象を見たときの複数の２次元画像を取得し、
   前記３次元画像から抽出された前記観察対象に関する複数の構造物各々のサーフェースデータを取得し、
   前記複数の視点のうちの１つの視点に対応する前記２次元画像と、前記複数の構造物の うちの少なくとも１つの構造物に対応するサーフェースデータを前記１つの視点から画面上に投影した合成対象画像とを合成した合成画像を生成する合成画像生成処理であって、前記複数の構造物のいずれかを表示および非表示にする操作を受け付けた場合において、 表示する前記構造物のみの前記合成対象画像を合成した合成画像を生成する合成画像生成 処理を実行し、
   前記表示および非表示にする操作に応じて、前記合成画像生成処理が新たに前記合成画 像を生成した場合に、現在表示している前記合成画像を前記合成画像生成処理が新たに生 成した前記合成画像に切り替えて表示する画像処理方法。
10. コンピュータを、
    患者を撮影した３次元画像から生成された異なる複数の視点から前記患者の少なくとも 一部である観察対象を見たときの複数の２次元画像を取得する２次元画像取得手段と、
    前記３次元画像から抽出された前記観察対象に関する複数の構造物各々のサーフェースデータを取得するサーフェースデータ取得手段と、
    前記複数の視点のうちの１つの視点に対応する前記２次元画像と、前記複数の構造物の うちの少なくとも１つの構造物に対応するサーフェースデータを前記１つの視点から画面上に投影した合成対象画像とを合成した合成画像を生成する合成画像生成手段であって、前記複数の構造物のいずれかを表示および非表示にする操作を受け付けた場合において、 表示する前記構造物のみの前記合成対象画像を合成した合成画像を生成する合成画像生成 手段と、
    前記表示および非表示にする操作に応じて、前記合成画像生成手段が新たに前記合成画 像を生成した場合に、現在表示している前記合成画像を前記合成画像生成手段が新たに生 成した前記合成画像に切り替えて表示する表示切替制御手段として機能させるための画像処理プログラム。
    

Images