以下、添付図面を参照して、画像処理システム、装置及び方法の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。ここで、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行うことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置(例えば、空間の中心)とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「視差画像群」のことである。
(第1の実施形態)
まず、第1の実施形態に係る画像処理システムの構成例について説明する。図1は、第1の実施形態に係る画像処理システムの構成例を説明するための図である。
図1に示すように、第1の実施形態に係る画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
かかる画像処理システム1は、医用画像診断装置110により生成された3次元の医用画像データであるボリュームデータから視差画像群を生成し、この視差画像群を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師等の観察者に対して、かかる観察者が立体的に視認可能な画像である立体画像を提供する。具体的には、第1の実施形態において、ワークステーション130は、ボリュームデータに対して種々の画像処理を行い、視差画像群を生成する。また、ワークステーション130及び端末装置140は、立体視可能なモニタを有し、ワークステーション130にて生成された視差画像群をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像群を保管する。例えば、ワークステーション130や端末装置140は、画像保管装置120からボリュームデータや視差画像群を取得し、取得したボリュームデータや視差画像群に対して任意の画像処理を実行したり、視差画像群をモニタに表示したりする。以下、各装置を順に説明する。
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、第1の実施形態に係る医用画像診断装置110は、3次元の医用画像データ(ボリュームデータ)を生成可能である。
具体的には、第1の実施形態に係る医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110は、500枚のアキシャル面の医用画像データを再構成する場合、この500枚のアキシャル面の医用画像データ群が、ボリュームデータとなる。なお、医用画像診断装置110により撮影された被検体の投影データやMR信号等自体をボリュームデータとしても良い。
また、第1の実施形態に係る医用画像診断装置110は、生成したボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
画像保管装置120は、医用画像を保管するデータベースである。具体的には、第1の実施形態に係る画像保管装置120は、医用画像診断装置110からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、第1の実施形態においては、ワークステーション130が、ボリュームデータから視差画像群を生成し、生成した視差画像群を画像保管装置120に送信する。このため、画像保管装置120は、ワークステーション130から送信された視差画像群を所定の記憶部に保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション130を用いることで、図1に例示するワークステーション130と画像保管装置120とが統合される場合であってもよい。すなわち、本実施形態は、ワークステーション130そのものにボリュームデータもしくは視差画像群を記憶させる場合であってもよい。
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像群は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行うことで、必要なボリュームデータや視差画像群を画像保管装置120から取得する。
ワークステーション130は、医用画像に対して画像処理を行う画像処理装置である。具体的には、第1の実施形態に係るワークステーション130は、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行うことで、視差画像群を生成する。
また、第1の実施形態に係るワークステーション130は、表示部として、立体画像を表示可能なモニタ(立体表示モニタ、立体画像表示装置とも称する)を有する。ワークステーション130は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な立体画像を確認しながら、視差画像群を生成するための操作を行うことができる。
また、ワークステーション130は、生成した視差画像群を画像保管装置120や端末装置140に送信する。なお、ワークステーション130は、画像保管装置120や端末装置140に視差画像群を送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を送信する。視差画像群を画像保管装置120に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数(例えば、「9」)や、視差画像の解像度(例えば、「466×350画素」)等がある。
端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置140は、病院内に勤務する医師や検査技師により操作されるPC(Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。具体的には、第1の実施形態に係る端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120から視差画像群を取得し、取得した視差画像群を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。なお、端末装置140は、外部装置としての立体表示モニタと接続された任意の情報処理端末であってもよい。
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、2視差画像(両眼視差画像とも称する)を立体視可能とするものがある。
図2は、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行う立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて2視差画像を交互に出射する。例えば、図2の(A)に示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
また、赤外線出射部から出射された赤外線は、図2の(A)に示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
各シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶相を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、2視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。
更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタには、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であってもよい。
表示面200には、図3に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す立体表示モニタは、9つの画像により構成される9視差画像を、所定フォーマット(例えば格子状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、図3に示す立体表示モニタは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、視点位置の異なる9つの画像を同時に表示する単位画素群203となる。
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図3に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す立体表示モニタは、あくまでも一例である。9視差画像を表示する立体表示モニタは、図3に示すように、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ液晶である場合であってもよいし、「RGBRGB・・・」の縦ストライプ液晶である場合であってもよい。また、図3に示す立体表示モニタは、図3に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であってもよいし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であってもよい。
ここまで、第1の実施形態に係る画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置120は、電子カルテを保管するデータベースである。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用される。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。
次に、第1の実施形態に係るワークステーションの構成例について図4を用いて説明する。図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下において、「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行うことで生成された立体視用の画像群のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。
第1の実施形態に係るワークステーション130は、画像処理等に適した高性能なコンピュータであり、図4に示すように、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であってよい。例えば、任意のパーソナルコンピュータであってもよい。
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、第1の実施形態に係る入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部132は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、視差画像群等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、第1の実施形態に係る記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理により生成された視差画像群等を記憶する。
制御部135は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)やGPU(Graphics Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行う。
例えば、第1の実施形態に係る制御部135は、表示部132に対するGUIの表示や視差画像群の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行われるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像群の記憶部134への格納を制御する。
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行い、視差画像群を生成する。具体的には、第1の実施形態に係るレンダリング処理部136は、記憶部134からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行う。次に、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行い、視差画像群を生成する。続いて、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の2次元画像を生成する。そして、レンダリング処理部136は、生成した視差画像群や出力用の2次元画像を記憶部134に格納する。なお、第1の実施形態において、レンダリング処理とは、ボリュームデータに対して行う画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、3次元の情報を反映した2次元画像を生成する処理のことである。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。前処理部1361が、ボリュームデータに対する前処理を行い、3次元画像処理部1362が、前処理後のボリュームデータから視差画像群を生成し、2次元画像処理部1363が、視差画像群に各種情報が重畳された出力用の2次元画像を生成する。以下、各部を順に説明する。
前処理部1361は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う処理部であり、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行う処理部であり、図5に示すように、歪み補正処理部1361b、体動補正処理部1361c及び画像間位置合わせ処理部1361dを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。或いは、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。
また、歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行われた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行う。
3次元物体フュージョン部1363eは、画像間位置合わせ処理部1361dにより位置合わせが行われた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。
3次元物体表示領域設定部1361fは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部1361gを有する。セグメンテーション処理部1361gは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する処理部である。
なお、セグメンテーション処理部1361gは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行わない。また、セグメンテーション処理部1361gは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
3次元画像処理部1362は、前処理部1361が処理を行った前処理後のボリュームデータに対してボリュームレンダリング処理を行う。ボリュームレンダリング処理を行う処理部として、3次元画像処理部1362は、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
投影方法設定部1362aは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1362c、回転処理部1362d及び拡大縮小処理部1362eを有する。平行移動処理部1362cは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1362dは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1362eは、視差画像群の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362g、3次元物体不透明度処理部1362h、3次元物体材質処理部1362i及び3次元仮想空間光源処理部1362jを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、操作者の要求に応じて、表示される視差画像群の表示状態を決定する処理を行う。
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像群において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像群において描出されないこととなる。
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行う際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行い、視差画像群を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
ここで、3次元仮想空間レンダリング部1362kによるボリュームレンダリング処理は、レンダリング条件に従って行われることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置、視差角及び視差数」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「視差画像群の拡大」、「視差画像群の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部131を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、このレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。また、このとき、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定するので、3次元仮想空間レンダリング部1362kは、決定されたこれらの各種情報を用いて視差画像群を生成する。
図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行光線を照射する光源を設定する。
或いは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、ボリュームデータの中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、透視投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行ってもよい。
このようにして生成された9つの視差画像が、視差画像群である。第1の実施形態において、9つの視差画像は、例えば制御部135により所定フォーマット(例えば格子状)に配置した中間画像に変換され、立体表示モニタとしての表示部132に出力される。すると、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行うことができる。
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。
また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行ってボリュームデータからMPR画像を再構成する機能も有する。なお、3次元仮想空間レンダリング部1362kは、「Curved MPR」を行う機能や、「Intensity Projection」を行う機能も有する。
続いて、3次元画像処理部1362がボリュームデータから生成した視差画像群は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部1363は、オーバーレイ及びアンダーレイに対して画像処理を行うことで、出力用の2次元画像を生成する処理部であり、図5に示すように、2次元物体描画部1363a、2次元幾何変換処理部1363b及び輝度調整部1363cを有する。例えば、2次元画像処理部1363は、出力用の2次元画像の生成処理に要する負荷を軽減するために、9枚の視差画像(アンダーレイ)のそれぞれに対して1枚のオーバーレイを重畳することで、出力用の2次元画像を9枚、生成する。なお、以下では、オーバーレイが重畳されたアンダーレイを単に「視差画像」と表記する場合もある。
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
また、輝度調整部1363cは、輝度変換処理を行う処理部であり、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
制御部135は、例えば、このようにして生成された出力用の2次元画像を、一旦記憶部134に格納し、その後、通信部133を介して画像保管装置120に送信する。そして、端末装置140は、例えば、画像保管装置120からこの出力用の2次元画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示する。また、例えば、制御部135は、出力用の2次元画像を、一旦記憶部134に格納し、その後、通信部133を介して画像保管装置120に送信するとともに、端末装置140に送信する。そして、端末装置140は、ワークステーション130から受信した出力用の2次元画像を所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示する。これにより、端末装置140を利用する医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。
さて、上述したように、第1の実施形態における立体表示モニタは、複数の視差画像を表示することにより、観察者が立体視可能な立体画像を表示する。例えば、立体表示モニタは、被検体の臓器等を立体画像として表示する。これにより、立体表示モニタを観察する観察者は、被検体の臓器等を立体的に視認することができる。このような立体画像は、立体表示モニタの表示面前後の空間を表すものとして形成される「立体画像空間」において表示される。かかる立体画像空間について、図7を用いて説明する。図7は、立体画像空間を説明するための図である。
立体表示モニタに表示された視差画像群を視認した観察者は、図7に示すように、立体画像Aを立体画像空間において立体的に視認する。ここで、観察者が体感する立体感は、図7に示すように、飛び出し感と奥行き感とに大別される。飛び出し感は、立体表示モニタの表示面から観察者の視点(観察者視点E)に近づく方向にて、立体画像が飛び出しているように観察者が感じる感覚である。また、奥行き感は、立体表示モニタの表示面から観察者の視点(観察者視点E)より遠ざかる方向にて、立体画像が奥まっているように観察者が感じる感覚である。
ここで、一般的に、立体表示モニタによって表示される立体画像における縦方向、横方向及び奥行き方向の大きさの比率は、画像が二重に見えるボケのある画像を発生させないようにすると、実物の被検体における縦方向、横方向及び奥行き方向の大きさの比率と異なる場合が多い。具体的には、立体表示モニタによって表示される立体画像は、視差角を大きくすると奥行き方向の大きさを伸張することも可能であるが、視差角を大きくしすぎると擬画像(いわゆる「ボケのある画像」)を発生する。このため、現実的にはボケのない画像が表示される範囲で視差角が決定され、このように決定された視差角によって視差画像群を生成すると、立体表示モニタによって表示される立体画像は、実物の被検体と比較して、奥行き方向成分が圧縮されることが多い。すなわち、観察者は、立体表示モニタによって表示される立体画像が奥行き方向に潰れて見える。この点について、図8を用いて具体的に説明する。図8は、立体表示モニタによって表示される立体画像の一例を示す図である。なお、以下では、縦方向、横方向及び奥行き方向の大きさの比率を「3方向比」と表記する場合がある。
図8に示した例では、レンダリング処理部136によって、ボリュームデータVD10に対して異なる9つの視点位置からレンダリング処理が行われ、立体表示モニタである表示部132によって、レンダリング処理部136により生成された9つの視差画像が表示されるものとする。
ボリュームデータVD10は、ボクセルの集合であり、各ボクセルには、所定の画素値や、3次元仮想空間上の座標や、被検体の実寸に対応するボクセルサイズ(例えば、1ボクセル=1mm角)等が割り当てられる。すなわち、ボリュームデータに含まれる各ボクセルを3次元仮想空間にマッピングすることで、実物大の被検体像を3次元的に復元することができる。図8に例示したボリュームデータVD10は、3次元仮想空間にマッピングされた状態を示しており、被検体の実物大を示すものとする。以下では、ボリュームデータによって3次元的に表される実物大の被検体像を「3次元被検体像」と表記する場合がある。
図8に示した例において、ボリュームデータVD10によって表される3次元被検体像は、「横方向(x方向)×縦方向(y方向)×奥行き方向(z方向)」の大きさ「x11×y11×z11」が「20cm×20cm×20cm」であるものとする。すなわち、ボリュームデータVD10の3方向比は、「1:1:1」である。
このようなボリュームデータVD10からボケのない画像が表示される範囲で決定された視差角によって視差画像群が生成され、生成された視差画像群が表示部132によって表示された場合に、観察者が視認する立体画像の3方向比は、ボリュームデータVD10の3方向比「1:1:1」と異なることが多い。例えば、図8に示した例では、立体画像I10は、横方向の大きさ「x10」=「20cm」であり、縦方向の大きさ「y10」=「20cm」であるのに対して、奥行き方向の大きさ「z10」=「10cm」となる。この例では、立体画像I10は、ボケのない画像を表示する範囲で視差角が決定されるので、横方向及び縦方向の大きさがボリュームデータVD10と同一であるが、奥行き方向の大きさがボリュームデータVD10の「0.5倍」となる。すなわち、ボリュームデータVD10に対する立体画像I10の縮尺は、横方向及び縦方向については「1倍(等倍)」であるが、奥行き方向については「0.5倍」となる。
このように、ボケのない画像を表示する範囲で視差角が決定されるので、ボリュームデータに対する立体画像の縮尺が横方向、縦方向及び奥行き方向において同一にならないことが多く、表示部132によって表示される立体画像は、3次元被検体像と比較して、横方向及び縦方向よりも奥行き方向の大きさが圧縮されることが多い。このため、観察者にとっては、被検体の各方向における大きさの比率を把握することが困難になる。例えば、奥行き方向の異なる位置に臓器や血管等が配置された立体画像が立体表示モニタによって表示されている場合に、かかる立体画像の奥行き方向の大きさが圧縮されていると、観察者は、臓器と血管との距離感を把握することが困難となる。
第1の実施形態におけるワークステーション130は、ボリュームデータによって表される3次元被検体像の3方向比と略同一の3方向比となる立体画像を表示部132に表示させることを可能にする。
具体的には、ワークステーション130の制御部135は、3次元被検体像に対する立体画像の横方向、縦方向、奥行き方向の縮尺の比率を取得する。そして、制御部135は、取得した各方向の縮尺間の比率に基づいて、3次元被検体像における横方向、縦方向、奥行き方向の大きさの比率と、立体画像における横方向、縦方向、奥行き方向の大きさの比率とが略同一になるように、ボリュームデータを縮小又は拡大するようにレンダリング処理部136を制御する。そして、制御部135は、縮小後又は拡大後のボリュームデータに対してレンダリング処理を行うように、レンダリング処理部136を制御する。
以下に、このような第1の実施形態における制御部135について詳細に説明する。なお、以下では、ワークステーション130は、医用画像診断装置110によってボリュームデータが生成されるたびに、生成されたボリュームデータに対してレンダリング処理を行うことで9つの視差画像を生成し、生成した9つの視差画像を表示部132に表示制御するものとする。また、以下では、図6の「9視差画像生成方式(2)」に示した例のように透視投影法により視差画像群を生成する場合を例に挙げて説明する。
図9は、第1の実施形態における制御部135の構成例を説明するための図である。図9に例示するように、制御部135は、取得部1351と、レンダリング制御部1352と、表示制御部1353とを有する。
取得部1351は、ボリュームデータから得られる視差画像群を用いて表示部132にて表示されることが想定される立体画像の縮尺のうち、表示部132の表示面に対する奥行き方向(z方向)の縮尺と、奥行き方向以外の方向である他方向の縮尺との比率である縮尺比率を取得する。例えば、図8に示した例では、取得部1351は、横方向(x方向)、縦方向(y方向)及び奥行き方向(z方向)の縮尺比率として「1:1:0.5」を取得する。なお、かかる縮尺比率は、後述するように、視差角等によって決定される。
レンダリング制御部1352は、レンダリング処理部136と協同してボリュームデータから視差画像群を生成する。具体的には、第1の実施形態におけるレンダリング制御部1352は、取得部1351によって取得された縮尺比率に基づいて、立体画像の奥行き方向(z方向)の縮尺と他方向の縮尺とが略同一になるように、ボリュームデータを縮小又は拡大するようにレンダリング処理部136を制御し、さらに、縮小後又は拡大後のボリュームデータに対してレンダリング処理を行うようにレンダリング処理部136を制御する。
例えば、上記例のように、取得部1351によって縮尺比率「1:1:0.5」が取得された場合に、レンダリング制御部1352は、かかる縮尺比率「1:1:0.5」に基づいて、立体画像の横方向(x方向)、縦方向(y方向)及び奥行き方向(z方向)の縮尺が「1:1:1」になるように、3方向比が「0.5:0.5:1」であるボリュームデータをレンダリング処理部136に生成させる。これにより、レンダリング処理部136は、レンダリング制御部1352の指示に従って、ボリュームデータを縮小又は拡大することで、3方向比が「0.5:0.5:1」であるボリュームデータを生成する。
なお、第1の実施形態におけるレンダリング処理部136は、医用画像診断装置110によって生成されたボリュームデータ自体を縮小又は拡大するのではなく、医用画像診断装置110によって生成されたボリュームデータを残したまま、縮小又は拡大した仮想的なボリュームデータを新たに生成する。以下では、レンダリング処理部136によって生成される仮想的なボリュームデータを「仮想ボリュームデータ」と表記する場合がある。このように、第1の実施形態におけるレンダリング処理部136は、ボリュームデータのサイズを変換した仮想ボリュームデータを生成する「変換部」としても機能する。
表示制御部1353は、レンダリング制御部1352によって制御されたレンダリング処理部136によって生成された複数の視差画像を表示部132に表示させる。これにより、観察者は、レンダリング処理部136によって生成された複数の視差画像を用いて表示部132によって表示される立体画像を視認することになる。
以下に、図8、図10及び図11を用いて、取得部1351、レンダリング制御部1352及び表示制御部1353による処理の一例について説明する。
まず、取得部1351は、レンダリング条件である視差角を取得する。このとき、取得部1351は、レンダリング条件である視差角が予めシステム上で決められている場合には、システム情報が記憶されている所定の記憶部から視差角を取得する。また、取得部1351は、観察者(操作者)によって視差角が設定されている場合には、設定情報が記憶されている所定の記憶部から視差角を取得する。
そして、取得部1351は、取得した視差角によって表される所定のパラメータを用いて、処理対象のボリュームデータから得られる視差画像群を用いて表示部132にて表示されることが想定される立体画像の縮尺を取得する。このとき、取得部1351は、実際には処理対象のボリュームデータから視差画像群を生成するのではなく、前述において取得した視差角に基づいて仮に視差画像群が生成されたとした場合に、かかる視差画像群が表示部132にて表示されることで観察者によって視認されることが想定される立体画像の縮尺を取得する。第1の実施形態における取得部1351は、視差角(θ)によって表されるパラメータ「a(θ)」を用いて、3次元被検体像に対する立体画像の横方向の縮尺と、縦方向の縮尺と、奥行き方向の縮尺との比率を「縮尺比率」として取得する。
例えば、3次元被検体像の「横方向×縦方向×奥行き方向」の大きさが「X×Y×Z」であり、表示部132の表示サイズ(表示倍率)が3次元被検体像を実物大で表示する「1倍(等倍)」に設定されているものとする。かかる場合に、表示部132は、例えば、「X×Y×a(θ)・Z」の3次元被検体像を立体画像として表示することになる。この例における縮尺比率は、「1:1:a(θ)」となる。すなわち、パラメータ「a(θ)」は、横方向(x方向)の縮尺と奥行き方向(z方向)の縮尺との比率を示すとともに、縦方向(y方向)の縮尺と奥行き方向(z方向)の縮尺との比率を示す。取得部1351は、このようなパラメータ「a(θ)」を用いて、「縮尺比率」を取得することができる。
図8に示した例を用いて説明すると、取得部1351は、レンダリング処理時に用いられる視差角θを取得し、取得した視差角θに基づいて、パラメータ「a(θ)=0.5」を取得する。これにより、取得部1351は、視差角θに基づいてボリュームデータVD10から仮に視差画像群が生成されたとした場合に、かかる視差画像群を用いて表示部132にて表示されることが想定される立体画像I10の縮尺比率として、「1:1:0.5」を取得する。
なお、ワークステーション130は、視差角に対応付けた縮尺比率を所定の記憶部に記憶しておいてもよい。かかる場合には、取得部1351は、視差角に対応する縮尺比率を所定の記憶部から取得することができる。
続いて、レンダリング制御部1352は、取得部1351によって縮尺比率「1:1:0.5」が取得されたので、表示部132にて表示される立体画像の縮尺比率が略同一になるように、3方向比が「0.5:0.5:1」である仮想ボリュームデータを生成するようにレンダリング処理部136を制御する。言い換えれば、レンダリング制御部1352は、3次元被検体像と立体画像との3方向比とが略同一になるように、3方向比が「0.5:0.5:1」である仮想ボリュームデータを生成するようにレンダリング処理部136を制御する。これにより、レンダリング処理部136の拡大縮小処理部1362eは、ボリュームデータの横方向(x方向)の縮小率を「0.5」にすることを決定し、ボリュームデータの縦方向(y方向)の縮小率を「0.5」にすることを決定し、ボリュームデータの奥行き方向(z方向)の縮小率を「1」にすることを決定する。
このとき、レンダリング処理部136は、レンダリング処理時の視点位置からボリュームデータに向かう方向を奥行き方向として、ボリュームデータを縮小又は拡大する。例えば、レンダリング条件が透視投影法である場合、レンダリング処理部136の3次元仮想空間レンダリング部1362kは、回転処理部1362dによって決定された移動量に基づいて、ボリュームデータを回転移動させた後に、拡大縮小処理部1362eによって決定された拡大率や縮小率によりボリュームデータを縮小又は拡大することで仮想ボリュームデータを生成し、生成した仮想ボリュームデータに対してボリュームレンダリング処理を行う。なお、レンダリング条件が平行投影法である場合には、3次元仮想空間レンダリング部1362kは、視点位置を変更する場合であってもボリュームデータを回転移動させるとは限らない。したがって、3次元仮想空間レンダリング部1362kは、レンダリング処理時の視点位置からボリュームデータに向かう方向を奥行き方向(z方向)として、ボリュームデータを縮小又は拡大する。
ここで、図10を用いて、レンダリング処理部136による処理の一例を説明する。図10は、第1の実施形態におけるレンダリング処理部136による処理の一例を説明するための図である。図10では、9つの視点位置からボリュームデータVD10に対して行われるレンダリング処理のうち、2つの視点位置から行われるレンダリング処理を例に挙げて説明する。なお、以下では、レンダリング制御部1352が、3方向比が「0.5:0.5:1」である仮想ボリュームデータを生成するようにレンダリング処理部136を制御したものとする。すなわち、拡大縮小処理部1362eは、ボリュームデータの各方向における拡大率や縮小率を「0.5:0.5:1」にすることを決定する。
図10の視点位置(A)に示した例において、ボリュームデータVD10は、3次元仮想空間レンダリング部1362kによって、視点位置(A)からボリュームデータVD10に向かう方向が奥行き方向(z方向)となるように回転移動された状態であるものとする。また、図10の視点位置(A)に示したボリュームデータVD10は、「横方向×縦方向×奥行き方向」の大きさが「20cm×20cm×20cm」であるものとする。すなわち、ボリュームデータVD10の3方向比は、「1:1:1」である。かかる場合に、3次元仮想空間レンダリング部1362kは、拡大縮小処理部1362eによって決定された拡大率や縮小率に基づいて、3方向比が「0.5:0.5:1」である仮想ボリュームデータVD21を生成する。
図10に示した例では、3次元仮想空間レンダリング部1362kは、ボリュームデータVD10の横方向の大きさを「0.5倍」に縮小するとともに、縦方向の大きさを「0.5倍」に縮小することで、仮想ボリュームデータVD21を生成する。すなわち、3次元仮想空間レンダリング部1362kは、xyz方向の大きさが「20cm×20cm×20cm」であるボリュームデータVD10から、xyz方向の大きさが「10cm×10cm×20cm」である仮想ボリュームデータVD21を生成する。レンダリング処理部136は、このようにして生成した仮想ボリュームデータVD22に対してボリュームレンダリング処理を行う。
同様に、図10の視点位置(B)に示した例において、ボリュームデータVD10は、3次元仮想空間レンダリング部1362kによって、視点位置(B)からボリュームデータVD10に向かう方向が奥行き方向(z方向)となるように回転移動された状態であるものとする。かかる場合に、3次元仮想空間レンダリング部1362kは、図10の視点位置(B)に示した状態におけるボリュームデータVD10の横方向の大きさを「0.5倍」に縮小するとともに、縦方向の大きさを「0.5倍」に縮小することで、仮想ボリュームデータVD22を生成する。
このようにして、レンダリング制御部1352は、9つの視点位置において仮想ボリュームデータを生成させ、仮想ボリュームデータに対してボリュームレンダリング処理を行うようにレンダリング処理部136を制御する。レンダリング処理部136によって生成される9つの視差画像は、ボリュームデータによって表される3次元被検体像と比較して、奥行き方向が2倍に伸張された3次元被検体像が反映されることになる。しかし、ここでは縮尺比率が「1:1:0.5」であるので、かかる9つの視差画像を用いて表示部132によって表示される立体画像は、奥行き方向が「0.5倍」に圧縮される。すなわち、観察者に立体視される立体画像は、ボリュームデータによって表される3次元被検体像と同様に、3方向比が「1:1:1」となる。
続いて、表示制御部1353は、このようにしてレンダリング処理部136によって生成された複数の視差画像を表示部132に表示させる。図11に、第1の実施形態における表示制御部1353によって表示部132に表示制御される立体画像の一例を示す。図11では、図10を用いて説明した9つの視差画像が表示部132によって表示される場合を例に挙げて説明する。図11に示した例において、表示部132によって表示される立体画像I20は、例えば、「横方向×縦方向×奥行き方向」の大きさが「10cm×10cm×10cm」のように見える。これは、縮尺比率が「1:1:0.5」であるものの、3方向比が「0.5:0.5:1」である仮想ボリュームデータから視差画像群が生成されているからである。
このように、第1の実施形態におけるワークステーション130は、ボケのない画像を表示する範囲で視差角が決定されている場合であっても、ボリュームデータによって表される3次元被検体像の3方向比と略同一の3方向比となる立体画像を表示部132に表示することができる。
なお、上記では、表示部132における表示サイズ(表示倍率)が「1倍(等倍)」である場合を例に挙げて説明したが、レンダリング制御部1352は、表示サイズが「1倍(等倍)」でない場合には、かかる表示サイズに基づいて、仮想ボリュームデータを縮小又は拡大させる。図12を用いて具体的に説明する。図12は、第1の実施形態におけるレンダリング制御部1352による処理の一例を説明するための図である。図12(A)には、表示サイズが「1倍(等倍)」である例を示し、図12(B)には、表示サイズが「0.5倍」である例を示す。なお、図12(A)に示した例は、図10(A)に例示した仮想ボリュームデータVD21の生成例と同様である。
図12(B)に示すように、レンダリング制御部1352は、表示サイズ「0.5倍」の場合に、表示サイズ「1倍」のときと同様に、仮想ボリュームデータVD21をレンダリング処理部136に生成させる。そして、レンダリング制御部1352は、表示サイズ「0.5倍」に基づいて、仮想ボリュームデータVD21の横方向、縦方向及び奥行き方向の大きさを「0.5倍」に縮小するようにレンダリング処理部136を制御することで、仮想ボリュームデータVD31を生成させる。レンダリング制御部1352は、図10を用いて説明したように、各視点位置におけるボリュームデータに対して同様の処理を行う。これにより、図12(B)に示すように、表示部132によって表示される立体画像I30は、3方向比が3次元被検体像と略同一となるとともに、立体画像I20と比較して全体的な大きさが「0.5倍」となる。
次に、図13を用いて、第1の実施形態におけるワークステーション130による処理の流れの一例を示す。図13は、第1の実施形態におけるワークステーション130による処理の流れの一例を示すフローチャートである。
図13に示すように、ワークステーション130の制御部135は、観察者から入力部131を介して立体視要求を入力されたか否かを判定する(ステップS101)。ここで、立体視要求を入力されない場合には(ステップS101否定)、ワークステーション130は、立体視要求を入力されるまで待機する。
一方、立体視要求を入力された場合には(ステップS101肯定)、制御部135は、画像保管装置120からボリュームデータを取得する(ステップS102)。続いて、取得部1351は、かかるボリュームデータに対して行われるレンダリング処理時のレンダリング条件(視差角)に基づいて、3次元被検体像に対する立体画像の縮尺比率を取得する(ステップS103)。
続いて、レンダリング制御部1352は、取得部1351によって取得された縮尺比率に基づいて、ボリュームデータの各方向における大きさを縮小又は拡大するようにレンダリング処理部136を制御することで、仮想ボリュームデータを生成させる(ステップS104)。そして、レンダリング制御部1352は、仮想ボリュームデータに対してレンダリング処理を行うようにレンダリング処理部136を制御する(ステップS105)。
そして、表示制御部1353は、レンダリング制御部1352によって制御されたレンダリング処理部136によって生成された複数の視差画像を表示部132に表示させる(ステップS106)。
上述してきたように、第1の実施形態によれば、被検体像の各方向における大きさの比率と略同一の比率となる立体画像を表示することができる。
(第2の実施形態)
上記第1の実施形態では、レンダリング条件である「視差角」によって縮尺比率が決定されることを考慮して、ボリュームデータを縮小又は拡大した後にボリュームレンダリング処理を行う例を示した。しかし、表示部132によって表示される立体画像の奥行き方向の大きさは、表示部132の仕様(スペック)等によって所定の限界値に制限される場合がある。第2の実施形態では、表示部132の仕様等によって決定される奥行き方向の大きさの限界値も考慮して、ボリュームデータを縮小又は拡大する例について説明する。
なお、以下では、表示部132によって表示される立体画像のうち、表示部132の表示面から観察者の視点に近づく方向の大きさの限界値を「飛び出し限界量」と表記し、立体表示モニタの表示面から観察者の視点より遠ざかる方向の大きさの限界値を「奥行き限界量」と表記する場合がある。また、「飛び出し限界量」と「奥行き限界量」とを加算した大きさを「立体限界量」と表記する場合がある。
まず、図14を用いて、第2の実施形態における制御部235について説明する。図14は、第2の実施形態における制御部235の構成例を説明するための図である。図14に示した制御部235は、図4に示した制御部135に対応し、ワークステーション130が有する。なお、以下では、既に示した構成部位と同様の機能を有する部位には同一符号を付すこととして、その詳細な説明を省略する。図14に例示するように、第2の実施形態における制御部235は、取得部1351と、レンダリング制御部2352と、表示制御部1353と、算出部2354とを有する。
算出部2354は、表示部132の仕様に基づいて、立体量の限界値である立体限界量を算出する。具体的には、算出部2354は、表示部132が表示可能な飛び出し量の限界値である飛び出し限界量と、表示部132が表示可能な奥行き量の限界値である奥行き限界量とを算出し、算出した飛び出し限界量と奥行き限界量とを加算することにより、立体限界量を算出する。
より具体的に説明すると、第2の実施形態における算出部2354は、立体表示モニタの表示面と、かかる立体表示モニタを観察する観察者との距離である視距離と、立体表示モニタのハードウェア仕様とに基づいて、飛び出し限界量及び奥行き限界量を算出する。なお、立体表示モニタと観察者との視距離は、観察者の位置を特定できなければ求めることができないとも考えられる。しかし、一般に、立体表示モニタである表示部132等は、立体表示モニタの観察位置を所定の位置に想定した上で設計される。そこで、第2の実施形態における算出部2354は、所定の位置に想定された観察位置と立体表示モニタの表示面との距離である「想定視距離」に基づいて、飛び出し限界量及び奥行き限界量を算出する。
ここで、算出部2354によって算出される飛び出し限界量及び奥行き限界量の一例を説明する。算出部2354は、例えば、以下の式(1)により飛び出し限界量を算出する。また、例えば、算出部2354は、以下の式(2)により奥行き限界量を算出する。そして、算出部2354は、式(1)により算出した飛び出し限界量の絶対値と、式(2)により算出した奥行き限界量の絶対値とを加算することで立体限界量を算出する。なお、以下の式(1)及び式(2)では、奥行き方向のうち、立体表示モニタの表示面を原点として、かかる表示面から観察者の視点に近づく方向を負とし、表示面から観察者の視点より遠ざかる方向を正としている。
飛び出し限界量(mm)=−想定視距離/{2×[(想定視距離+ギャップ)/想定視距離]×(サブピクセルピッチ/ギャップ)×飛び出し限界周波数+1}・・・(1)
奥行き限界量(mm)=想定視距離/{2×[(想定視距離+ギャップ)/想定視距離]×(サブピクセルピッチ/ギャップ)×飛び出し限界周波数−1}・・・(2)
ここで、図15を用いて、上記式(1)及び式(2)に示した「ギャップ」、「サブピクセルピッチ」等について説明する。図15は、図3に例示した立体表示モニタを縦方向(y軸方向)から見た図である。図15に示すように、「ギャップ」は、LCD(Liquid Crystal Display)画素面とレンチキュラーレンズ201の焦点との距離を示す。また、「サブピクセルピッチ」は、立体表示モニタ内に配置されたLCD画素202間の距離を示す。また、「レンズピッチ」は、視差数分のLCD画素202の横方向の長さを示し、「サブピクセルピッチ×視差数」によって表される。
また、上記式(1)及び式(2)に示した「飛び出し限界周波数」は、単位が「CPR(cycles per radian)」であり、「最大表示可能周波数×N(0<N≦1)」によって表される。かかる「最大表示可能周波数」は、「視距離/(2×レンズピッチ)」によって表され、立体表示モニタの表示面上での解像度を示す。より具体的に説明すると、「CPR」は、立体表示モニタから照射される光線のうち観察者の眼から広がる光線錘に許容される光線の密度を示す。この「CPR」は、同一視距離の場合には、レンチキュラーレンズが配置される密度が高いほど大きくなり、レンチキュラーレンズが配置される密度が低いほど小さくなる。言い換えれば、「CPR」は、レンチキュラーレンズが配置される密度が同一である場合には、視距離が遠いほど大きくなり、視距離が近いほど小さくなる。「最大表示可能周波数」は、「CPR」が最大になる解像度であり、すなわち、立体表示モニタの表示面上の解像度を示す。
ここで、上記式(1)及び式(2)において、例えば、視距離が「1000mm」であり、ギャップが「0.5mm」であり、サブピクセルピッチが「0.05mm」であり、飛び出し限界周波数が「300CPR」であるものとする。かかる場合に、算出部2354は、上記式(1)により、飛び出し限界量「−16.4mm」を算出し、上記式(2)により、奥行き限界量「16.9mm」を算出する。なお、ここでは、小数第2位を四捨五入するものとする。そして、算出部2354は、飛び出し限界量の絶対値と奥行き限界量の絶対値とを加算することで、立体限界量「33.3mm」を算出する。
図14の説明に戻って、レンダリング制御部2352は、取得部1351によって取得された縮尺比率と、算出部2354によって算出された立体限界量とに基づいて、レンダリング処理部136に対して、仮想ボリュームデータを生成させるとともに、仮想ボリュームデータに対してレンダリング処理を行わせる。
具体的には、第2の実施形態におけるレンダリング制御部2352は、取得部1351によって取得された縮尺比率と表示部132の表示サイズとに基づいて、立体画像の立体量(奥行き方向の大きさ)が算出部2354によって算出された立体限界量を超えない範囲でボリュームデータを縮小又は拡大するようにレンダリング処理部136を制御する。
以下に、第2の実施形態におけるレンダリング制御部2352による処理について、いくつか例を挙げて説明する。なお、以下で説明する3次元被検体像の各方向における大きさは、図10に例示した視点位置(A)から見たものであり、また、立体画像の大きさについても視点位置(A)から見たものであるものとする。
まず、第1例として、表示部132の表示サイズ(表示倍率)、取得部1351によって取得された縮尺比率、算出部2354によって算出された立体限界量、ボリュームデータによって表される3次元被検体像の「横方向×縦方向×奥行き方向」の大きさが以下の値であるものとする。
表示サイズ :「1倍(等倍)」
縮尺比率 :「1:1:0.5」
立体限界量 :「8cm」
3次元被検体像:「20cm×20cm×20cm」
この第1例の場合において、例えば、「横方向×縦方向×奥行き方向」の大きさが「10cm×10cm×20cm」である仮想ボリュームデータを生成したとする。かかる場合には、表示部132によって表示される立体画像の大きさは、「10cm×10cm×8cm」となる。表示サイズが「1倍(等倍)」であり、縮尺比率が「1:1:0.5」であるので、立体画像の大きさは「10cm×10cm×10cm」になるとも考えられるが、そもそも立体限界量が「8cm」であるので、立体画像の立体量(奥行き方向の大きさ)は、「8cm」に制限される。
そこで、レンダリング制御部2352は、立体画像の3方向比と3次元被検体像の3方向比とが略同一になるように、例えば、「8cm×8cm×16cm」の仮想ボリュームデータをレンダリング処理部136に生成させる。かかる仮想ボリュームデータから生成される視差画像群を用いて表示される立体画像は、「8cm×8cm×8cm」となり、この結果、3次元被検体像の3方向比「1:1:1」と同一になる。具体的には、表示サイズが「1倍(等倍)」であり、縮尺比率が「1:1:0.5」であるので、かかる立体画像は、「8cm×8cm×8cm」になる。なお、レンダリング制御部2352は、「8cm×8cm×16cm」の仮想ボリュームデータを生成させるのではなく、「8cm×8cm×20cm」の仮想ボリュームデータを生成させてもよい。この場合、かかる仮想ボリュームデータから生成される視差画像群を用いて表示される立体画像は、「8cm×8cm×10cm」になるとも考えられるが、立体限界量が「8cm」であるので、「8cm×8cm×8cm」となる。
続いて、第2例として、上記の各種情報が以下の値であるものとする。
表示サイズ :「1倍(等倍)」
縮尺比率 :「1:1:0.5」
立体限界量 :「10cm」
3次元被検体像:「20cm×20cm×20cm」
この第2例の場合には、レンダリング制御部2352は、立体限界量が「10cm」であるので、上記第1の実施形態と同様に、縮尺比率のみを考慮して、例えば、「10cm×10cm×20cm」である仮想ボリュームデータを生成すればよい。これにより、表示部132によって表示される立体画像の大きさは、「10cm×10cm×10cm」となり、この結果、3次元被検体像の3方向比「1:1:1」と同一になる。
続いて、第3例として、上記の各種情報が以下の値であるものとする。
表示サイズ :「2倍」
縮尺比率 :「1:1:0.5」
立体限界量 :「10cm」
3次元被検体像:「10cm×10cm×10cm」
この第3例の場合には、表示サイズが「2倍」であるので、このボリュームデータから生成される視差画像群を用いて表示される立体画像は、「20cm×20cm×10cm」となる。このような場合には、レンダリング制御部2352は、3次元被検体像の3方向比と立体画像の3方向比とを略同一にするために、例えば、「10cm×10cm×20cm」である仮想ボリュームデータをレンダリング処理部136に生成させればよい。これにより、表示部132によって表示される立体画像の大きさは、「10cm×10cm×10cm」となり、この結果、3次元被検体像の3方向比「1:1:1」と同一になる。
なお、上記第3例では、表示サイズが「2倍」にもかかわらず、表示部132に表示される立体画像は、3次元被検体像と等倍になる。この点に関して、観察者は、3次元被検体像の3方向比と略同一の3方向比となる立体画像の表示を優先するか、表示サイズに従った立体画像の表示を優先するかを選択できるものとする。例えば、観察者が、3方向比の同一性を優先する操作を行った場合には、レンダリング制御部2352は、上記のように、「5cm×5cm×10cm」である仮想ボリュームデータをレンダリング処理部136に生成させる。一方、観察者が、表示サイズを優先する操作を行った場合には、レンダリング制御部2352は、「20cm×20cm×20cm」である仮想ボリュームデータをレンダリング処理部136に生成させてもよい。この場合には、表示部132には、「20cm×20cm×10cm」の立体画像が表示されることになる。
続いて、第4例として、上記の各種情報が以下の値であるものとする。
表示サイズ :「1倍(等倍)」
縮尺比率 :「1:1:0.5」
立体限界量 :「8cm」
3次元被検体像:「10cm×20cm×20cm」
この第4例の場合には、このボリュームデータから生成される視差画像群を用いて表示される立体画像は、「10cm×20cm×8cm」となる。このような場合には、レンダリング制御部2352は、例えば、「4cm×8cm×16cm」である仮想ボリュームデータをレンダリング処理部136に生成させればよい。これにより、表示部132によって表示される立体画像の大きさは、「4cm×8cm×8cm」となり、この結果、3次元被検体像の3方向比「1:2:2」と同一になる。なお、レンダリング制御部2352は、「4cm×8cm×16cm」の仮想ボリュームデータを生成させるのではなく、「4cm×8cm×20cm」の仮想ボリュームデータを生成させてもよい。この場合でも、かかる仮想ボリュームデータから生成される視差画像群を用いて表示される立体画像は、「4cm×8cm×8cm」となる。
続いて、第5例として、上記の各種情報が以下の値であるものとする。
表示サイズ :「1倍(等倍)」
縮尺比率 :「1:1:0.5」
立体限界量 :「10cm」
3次元被検体像:「10cm×10cm×10cm」
この第5例の場合には、このボリュームデータから生成される視差画像群によって表示される立体画像は、「10cm×10cm×5cm」となる。このような場合には、レンダリング制御部2352は、例えば、「5cm×5cm×10cm」である仮想ボリュームデータをレンダリング処理部136に生成させればよい。これにより、表示部132によって表示される立体画像の大きさは、「5cm×5cm×5cm」となり、この結果、3次元被検体像の3方向比「1:1:1」と同一になる。
ここで、上記第5例において、立体画像の立体量(奥行き方向の大きさ)は、「5cm」であるので、立体限界量「10cm」よりも小さく、言い換えれば、表示部132が表示可能な立体限界量まで余裕がある。このような場合には、レンダリング制御部2352は、立体画像の立体量(奥行き方向の大きさ)と立体限界量とが略同一になるように、「10cm×10cm×20cm」である仮想ボリュームデータをレンダリング処理部136に生成させてもよい。かかる仮想ボリュームデータから生成される視差画像群を用いて表示される立体画像は、「10cm×10cm×10cm」となる。これにより、レンダリング制御部2352は、レンダリング処理部136に対して、表示可能な最大の立体量にて表示される視差画像群を生成させることが可能になる。すなわち、レンダリング制御部2352は、3次元被検体像の3方向比と略同一の3方向比となる立体画像を極力大きいサイズにて表示部132に表示させることを可能にする。
次に、図16を用いて、第2の実施形態におけるワークステーション130による処理の流れの一例を示す。図16は、第2の実施形態におけるワークステーション130による処理の流れの一例を示すフローチャートである。
図16に示すように、ワークステーション130の制御部235は、観察者から入力部131を介して立体視要求を入力されたか否かを判定する(ステップS201)。ここで、立体視要求を入力されない場合には(ステップS201否定)、ワークステーション130は、立体視要求を入力されるまで待機する。
一方、立体視要求を入力された場合には(ステップS201肯定)、制御部235は、画像保管装置120からボリュームデータを取得する(ステップS202)。続いて、取得部1351は、かかるボリュームデータに対して行われるレンダリング処理時のレンダリング条件(視差角)に基づいて、3次元被検体像に対する立体画像の縮尺比率を取得する(ステップS203)。
続いて、算出部2354は、表示部132の仕様に基づいて、立体限界量を算出する(ステップS204)。例えば、算出部2354は、上記式(1)及び式(2)により、立体限界量を算出する。
続いて、レンダリング制御部2352は、取得部1351によって取得された縮尺比率と、算出部2354によって算出された立体限界量とに基づいて、仮想ボリュームデータを生成するようにレンダリング処理部136を制御する(ステップS205)。そして、レンダリング制御部2352は、仮想ボリュームデータに対してレンダリング処理を行うようにレンダリング処理部136を制御する(ステップS206)。
そして、表示制御部1353は、レンダリング制御部2352によって制御されたレンダリング処理部136によって生成された複数の視差画像を表示部132に表示させる(ステップS207)。
上述してきたように、第2の実施形態によれば、被検体像の各方向における大きさの比率と略同一の比率となる立体画像を表示することができる。
なお、上述した第1及び第2の実施形態は、その他の実施形態にて実施されてもよい。そこで、以下では、その他の実施形態を示す。
[並列表示]
上記実施形態においては、ワークステーション130は、視差角や立体限界量に基づいて、ボリュームデータの大きさを変化させるので、表示部132にて表示される立体画像は小さくなる場合がある(図11参照)。そこで、ワークステーション130の表示制御部1353は、仮想ボリュームデータから生成された視差画像群と、レンダリング制御部2352によって縮小されていないボリュームデータから生成された視差画像群とを表示部132に並列表示させてもよい。図17を並列表示される立体画像の一例を示す。図17は、表示部132によって並列表示される立体画像の一例を示す図である。
図17に示した例において、表示部132は、図8に例示した立体画像I10と、図11に例示した立体画像I20とを表示する。すなわち、表示部132は、図8に例示したボリュームデータVD10から生成された視差画像群と、図10に例示した仮想ボリュームデータVD21、VD22等から生成された視差画像群とを表示する。これにより、観察者は、立体画像I10を参照することで被検体像を詳細に確認できるとともに、立体画像I20を参照することで被検体像の距離感を把握することができる。
[縮尺比率]
また、上記実施形態においては、取得部1351は、縮尺比率として、横方向の縮尺と、縦方向の縮尺と、奥行き方向の縮尺との比率を取得した。しかし、取得部1351は、これら3方向における縮尺の比率を取得しなくてもよい。例えば、取得部1351は、横方向の縮尺と奥行き方向の縮尺との比率を縮尺比率として取得してもよいし、縦方向の縮尺と奥行き方向の縮尺との比率を縮尺比率として取得してもよい。
[表示サイズ(表示倍率)]
また、上記実施形態においては、取得部1351が縮尺比率を取得し、レンダリング制御部1352が縮尺比率に基づいて仮想ボリュームデータをレンダリング処理部136に生成させる例を示した。しかし、取得部1351は、縮尺比率を取得しなくてもよい。具体的には、取得部1351は、横方向(x方向)、縦方向(y方向)及び奥行き方向(z方向)の各々について、表示部132にて表示されることが想定される立体画像の3次元被検体像に対する縮尺を取得してもよい。そして、レンダリング制御部1352は、取得部1351によって取得された各方向における縮尺が、システムで指定されている表示サイズ(表示倍率)と略同一となるように仮想ボリュームデータを生成するようにレンダリング処理部136を制御してもよい。
例えば、表示サイズ(表示倍率)が「0.5」に設定されているものとする。そして、取得部1351が、横方向(x方向)の縮尺「0.5」と、縦方向(y方向)の縮尺「0.4」と、奥行き方向(z方向)の縮尺「0.1」を取得したものとする。ここで、表示サイズ(表示倍率)が「0.5」であるので、各方向における縮尺は、「0.5」になることが望まれる。そこで、レンダリング制御部1352は、取得部1351によって取得された各方向における縮尺が、表示サイズ「0.5」と略同一となるように、ボリュームデータを縮小又は拡大するようにレンダリング処理部136を制御する。これにより、ワークステーション130は、3次元被検体像の3方向比と略同一の3方向比となる立体画像を表示部132に表示することができる。
[ヘッドトラッキング]
また、上記第2の実施形態においては、上記式(1)及び式(2)に示したように、算出部2354は、視距離を所定の位置に想定した想定視距離を用いて、立体限界量を算出した。しかし、算出部2354は、ヘッドトラッキング等の技術を用いて、観察位置と立体表示モニタの表示面との視距離を測定してもよい。かかる場合には、算出部2354は、上記式(1)及び式(2)において、想定視距離の代わりに、ヘッドトラッキング等により測定した視距離を用いて立体限界量を算出する。
[処理主体]
また、上記実施形態1及び2においては、ワークステーション130が仮想ボリュームデータから生成した視差画像群を表示部132に表示する例を示した。しかし、実施形態はこれに限られるものではない。例えば、ワークステーション130は、仮想ボリュームデータから生成した視差画像群を画像保管装置120に格納してもよい。かかる場合には、端末装置140は、ワークステーション130によって生成された視差画像群を画像保管装置120から取得し、取得した視差画像群を端末装置140が有する立体表示モニタに表示する。これにより、端末装置140は、上記図11及び図17等に示した立体画像を表示することができる。なお、ワークステーション130の算出部2354は、端末装置140から立体表示モニタの仕様を取得することにより、立体限界量を算出することができる。
また、上記実施形態において、医用画像診断装置110とワークステーション130とは一体化されてもよい。すなわち、医用画像診断装置110が、制御部135又は制御部235と同等の機能を有し、仮想ボリュームデータを生成し、生成した仮想ボリュームデータから視差画像群を生成してもよい。
また、端末装置140が、制御部135又は制御部235と同等の機能を有し、医用画像診断装置110や画像保管装置120からボリュームデータを取得し、取得したボリュームデータから仮想ボリュームデータを生成し、かかる仮想ボリュームデータから視差画像群を生成してもよい。
また、上記実施形態においては、レンダリング処理部136が、レンダリング制御部1352によって制御されることにより仮想ボリュームデータを生成した。しかし、仮想ボリュームデータは、レンダリング処理部136以外の処理部によって生成されてもよい。例えば、レンダリング制御部1352が、3次元幾何変換処理部1362bと同等の機能を有することで、仮想ボリュームデータを生成してもよい。
[視差画像]
また、上記実施形態においては、主に9つの視差画像である視差画像群を生成する例について説明したが、実施形態はこれに限られるものではない。例えば、ワークステーション130のレンダリング制御部1352やレンダリング制御部2352は、2つの視差画像である視差画像群を生成するようにレンダリング処理部136を制御してもよい。また、上記実施形態においては、医用画像データであるボリュームデータを例に挙げて説明したが、実施形態は、医用画像データ以外のボリュームデータを用いる場合であってもよい。
(第3の実施形態)
次に、第3の実施形態では、被検体像の各方向における大きさの比率と略同一の比率となる立体画像を表示した上で、ボリュームデータと立体画像とを対応付けるスケール(尺度)を表示する例について説明する。
なお、第3の実施形態では、ボリュームデータの座標系を(x,y,z)の直交3軸の座標を用いて示す。また、x方向を、実空間座標における水平方向とする。また、y方向を、実空間座標における垂直方向とする。また、z方向を、実空間座標におけるxy平面に垂直な方向、具体的には、「奥行き方向」に対応する方向とする。すなわち、z方向の正方向は、「奥行き方向」となり、z方向の負方向は、「飛び出し方向」となる。また、第3の実施形態では、立体画像空間の座標系を(X,Y,Z)の直交3軸の座標を用いて示す。また、X方向を、立体画像空間座標における水平方向(表示面の横方向)とする。また、Y方向を、立体画像空間座標における垂直方向(表示面の縦方向)とする。また、Z方向を、立体画像空間座標における「奥行き方向」に対応する方向とする。すなわち、Z方向の正方向は、「奥行き方向」となり、Z方向の負方向は、「飛び出し方向」となる。
ここで、従来、ボリュームデータを所定の切断面で切断した2次元画像を汎用モニタで2次元表示する場合、当該2次元画像とボリュームデータの撮影部位の実空間とを対応付けるXY方向のスケール(尺度)を表示することが行なわれている。なお、XY方向のスケールとは、モニタに表示されている2次元画像の横方向及び縦方向の長さそれぞれを、当該2次元画像に対応する実空間の長さに換算するものである。図18は、従来のスケールを説明するための図である。
例えば、汎用モニタは、図18に示すように、X線CT装置により生成されたボリュームデータをアキシャル面で切断したアキシャル画像とともに、当該アキシャル画像と実空間とを対応付けるXY方向のスケール(尺度)を表示する。XY方向のスケールを参照することで、汎用モニタの観察者(例えば、読影医等)は、アキシャル画像に描出された関心領域のXY方向のサイズを大まかに把握することができる。
一方、立体画像は、上述したように、立体画像空間において観察者に立体的に体感されるが、例えば9視差モニタ等の立体表示モニタの観察者は、XY方向のスケールを参照しても、立体的に体感される立体画像空間におけるサイズ、特に、Z方向のサイズを把握することができない。
そこで、第3の実施形態に係る端末装置140は、立体視可能なモニタにて観察者により立体視される画像と実空間とを対応付ける尺度(スケール)を表示する。かかる第3の実施形態に係る端末装置140について、図19を用いて具体的に説明する。図19は、第3の実施形態に係る端末装置140の構成例を説明するための図である。
図19に例示した端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置であり、画像保管装置120又はワークステーション130からレンダリング処理部136が生成した視差画像群(出力用の2次元画像)を取得する。端末装置140は、図19に示すように、入力部141と、表示部142と、通信部143と、記憶部144と、制御部145と、2次元画像処理部146とを有する。
入力部141は、マウス、キーボード、トラックボール等であり、端末装置140に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部141は、操作者から立体視要求を受け付ける。例えば、入力部141は、立体視要求として、操作者が読影用の表示を要望するボリュームデータを指定するための患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。
表示部142は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部142は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、立体視画像等を表示する。例えば、表示部142は、2視差モニタや、9視差モニタである。以下では、表示部142が9視差モニタである場合について説明する。
通信部143は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。例えば、第1の実施形態に係る通信部143は、入力部141が受け付けた立体視要求に関する情報を画像保管装置120に送信する。また、第1の実施形態に係る通信部143は、立体視要求に応じて、画像保管装置120又はワークステーション130が送信した視差画像群等を受信する。
記憶部144は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部144は、通信部143を介して画像保管装置120又はワークステーション130から取得した視差画像群等を記憶する。また、記憶部144は、通信部143を介して画像保管装置120又はワークステーション130から取得した視差画像群の付帯情報(視差数や解像度等)も記憶する。
制御部145は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、端末装置140の全体制御を行なう。
例えば、制御部145は、画像保管装置120との間で通信部143を介して行なわれる表示要求や、画像保管装置120又はワークステーション130との間で通信部143を介して行なわれる視差画像群等の送受信を制御する。また、例えば、制御部145は、視差画像群等の記憶部144への格納や、視差画像群等の記憶部144からの読み込みを制御する。
また、第3の実施形態に係る制御部145は、表示部142に対するGUIの表示や視差画像群の表示を制御する。第1の実施形態に係る制御部145は、視差画像群を所定フォーマット(例えば格子状)に配置した中間画像に変換した上で9視差モニタである表示部142に表示する。また、第3の実施形態に係る制御部145は、2次元画像処理部146による画像処理を制御する。
このような制御部145は、取得部145aと、決定部145bと、出力部145cとを有する。これらの取得部145a、決定部145b、出力部145cによる処理については後に説明する。
2次元画像処理部146は、図5を用いて説明した2次元画像処理部1363と同様の機能を有する。すなわち、2次元画像処理部146は、3次元画像処理部1362により生成されたアンダーレイとしての視差画像群に対して、オーバーレイを生成して重畳することで、表示部142に対する出力用の2次元画像を生成することができる。
さて、上述したように、レンダリング処理部136は、制御部135による制御の下、ボリュームデータから視差画像群を生成する。また、端末装置140は、視差画像群を取得して表示部142に表示する。これにより、端末装置140の操作者である医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。
第3の実施形態に係る端末装置140の制御部145は、取得部145a、決定部145b、出力部145cによる処理によって、立体視可能なモニタにて観察者により立体視される画像と実空間とを対応付ける尺度(スケール)を表示することを実現する。以下に、取得部145a、決定部145b、出力部145cによる処理について説明する各種処理を行う。
なお、取得部145aと、決定部145bと、出力部145cとの処理は、9視差画像が制御部145に転送された後に実行される。すなわち、ワークステーション130は、端末装置140の操作者により指定されたボリュームデータを画像保管装置120から取得し、取得したボリュームデータから9視差モニタである表示部142に出力するための視差画像群である9視差画像を生成する。例えば、レンダリング処理部136は、端末装置140の操作者が入力したレンダリング条件(視差数、視差角、投影方法及び視点の位置情報等)に基づいて、9視差画像を生成する。そして、制御部135は、レンダリング処理部136が生成した9視差画像を端末装置140に送信するように通信部133を制御する。端末装置140の通信部143は、受信した9視差画像を制御部145に転送する。
取得部145aは、表示部142にて表示される9視差画像の表示サイズに基づいて、立体画像空間の座標と実空間の座標とを対応付ける対応情報を取得する。具体的には、取得部145aは、XY方向の対応情報を表示サイズに基づいて取得する。なお、表示サイズは、例えば、端末装置140の操作者がレンダリング条件とともに入力することで取得される。
仮に、ボリュームデータが「500×500×500」のボクセルから構成され、1ボクセルが「0.5mm×0.5mm×0.5mm」のサイズであるとする。
かかる場合、ボリュームデータのxy平面内は、10ボクセルが5mmに対応する。ここで、表示サイズが「1ボクセル:1.0mm」である場合、取得部145aは、XY平面内が「10ピクセル:10mm」であるとする対応情報を取得する。
ここで、第3の実施形態における端末装置140は、上記第1又は第2の実施形態において説明したワークステーション130によって生成された視差画像群を表示するので、被検体像の各方向における大きさの比率と略同一の比率となる立体画像を表示することができる。すなわち、XY方向の対応情報とZ方向の対応情報とは同一であるので、取得部145aは、XYZ方向について「10ピクセル:10mm」であるとする対応情報を取得する。これにより、決定部145bは、XYZ方向のスケールを「10ピクセル:10mm」と決定する。
出力部145cは、9視差画像群及びスケールが表示部142にて出力されるように制御する。具体的には、出力部145cは、スケールのオーバーレイを生成し、更に、生成したオーバーレイをアンダーレイ(9つの視差画像)それぞれに重畳させた出力用の2次元画像を生成するように2次元画像処理部146を制御する。
そして、出力部145cは、2次元画像処理部146が生成した出力用の9つの2次元画像を9視差画像として中間画像に変換して表示部142に出力する。これにより、表示部142では、立体画像がXYZ方向のスケールとともに重畳表示される。図20は、Z方向のスケール表示の一例を説明するための図である。
図20に示す一例では、表示面に対する飛び出し方向と奥行き方向とで同一の縮尺となるZ方向のスケールがXY方向のスケールに対して立体感を示すために斜め方向に重畳された形式で表示されている。かかるZ方向のスケールを参照することで、端末装置140の操作者(観察者)は、例えば、立体画像空間において表示面から飛び出している領域(図20中の黒枠内を参照)の飛び出し方向のサイズを把握することができる。ここで、図20に示す一例では、飛び出し方向を正方向とするZ方向のスケールが表示されている。
なお、スケールは、観察者の要求に応じて、移動することができる。例えば、観察者が入力部141のマウスを用いてスケールの位置でクリックした状態でマウスを移動したとする。かかる場合、制御部145は、2次元画像処理部146に対してスケールの位置が移動されたオーバーレイを再生成するように指示を送出する。これにより、表示部142は、観察者のマウス操作に応じてスケールの位置が移動する立体画像を表示させることができる。
更に、出力部145cは、立体画像に対して尺度が重畳表示される位置に応じて、尺度を構成する線分の方向が変更されるように制御する。図21は、移動にともなうZ方向のスケール表示制御の一例を説明するための図である。
例えば、出力部145cは、図21に示すように、スケールの位置が表示面の右下に移動された場合、Z方向のスケールを右下から左上に向かう方向の線分とするオーバーレイを2次元画像処理部146に生成させる。また、出力部145cは、図21に示すように、スケールの位置が表示面の右上に移動された場合、Z方向のスケールを右上から左下に向かう方向の線分とするオーバーレイを2次元画像処理部146に生成させる。
また、出力部145cは、図21に示すように、スケールの位置が表示面の左下に移動された場合、Z方向のスケールを左下から右上に向かう方向の線分とするオーバーレイを2次元画像処理部146に生成させる。また、出力部145cは、図21に示すように、スケールの位置が表示面の左上に移動された場合、Z方向のスケールを左上から右下に向かう方向の線分とするオーバーレイを2次元画像処理部146に生成させる。
かかる制御により、観察者は、自身が体感する立体感、特に、飛び出し感に対して違和感のないスケールを参照することができる。
上述してきたように、第3の実施形態では、Z方向のスケールを表示することができる。また、第3の実施形態において、端末装置140は、上記第1又は第2の実施形態において説明したワークステーション130によって生成された視差画像群を表示するので、被検体像の各方向における大きさの比率と略同一の比率となる立体画像を表示することができる。すなわち、端末装置140は、Z方向のスケールとして、XY方向のスケールを用いることができる。この結果、第3の実施形態では、立体視可能なモニタにて観察者により立体視される画像と実空間とを対応付ける尺度を表示することができ、観察者が着目する関心領域のサイズを大まかに把握させることができる。
なお、上述した第3の実施形態は、その他の実施形態にて実施されてもよい。そこで、以下では、その他の実施形態を示す。図22〜図24は、第3の実施形態の変形例を説明するための図である。
[スケールについて]
第3の実施形態は、X方向及びY方向のスケールであるXY方向のスケールが表示面の縦方向に固定される場合について説明した。しかし、XY方向のスケールは、例えば、図22の(A)に示すように、操作者(観察者)のマウス操作に応じて、回転移動する場合であってもよい。
また、第3の実施形態は、X方向及びY方向のスケールをXY方向に統一する場合について説明した。しかし、XY方向のスケールは、例えば、図22の(B)に示すように、X方向及びY方向のスケールとして分割される場合であってもよい。
また、スケールは、第3の実施形態で説明したように線分により構成される場合に限定されるものではない。例えば、スケールは、図22の(C)に示すように、XY方向のスケールを示す平面と、ZX方向のスケールを示す平面とにより構成される場合であってもよい。また、例えば、スケールは、図22の(D)に示すように、XYZ方向のスケールを一括して示す直方体により構成される場合であってもよい。また、例えば、スケールは、図22の(E)に示すように、XYZ方向のスケールを一括して示す球体により構成される場合であってもよい。ただし、図22の(C)〜(E)に示すスケールを表示する際には、立体画像の視認性の低下を回避するために、スケールの不透明度を例えば「50%」とする処理が行なわれることが望ましい。
更に、決定部145bは、対応情報に応じた尺度として、立体画像空間をグリッド状に分割するグリッド線を決定する場合であってもよい。すなわち、スケールは、図23に示す一例のように、グリッド線を用いたスケールであってもよい。なお、図23に示した例において、X方向、Y方向、Z方向それぞれでグリッド線の間隔は等間隔である。
このように、X方向、Y方向及びZ方向のスケールをグリッド線により立体画像空間全体で表示させることで、観察者は、立体画像の実空間におけるサイズを、全体的に把握することができる。また、スケールをグリッド線により立体画像空間全体で表示させることで、観察者は、立体画像をより立体的に視認することができる。
更に、決定部145bは、対応情報に応じた尺度に用いる軸の情報を、立体画像空間の座標軸からボリュームデータ空間の座標軸に変換する場合であってもよい。すなわち、決定部145bは、立体画像空間のスケールからボリュームデータ空間のスケールへの変換処理を行なってもよい。かかる場合、取得部145aは、ボリュームデータ空間の座標軸に関する情報を、例えば、画像保管装置120においてボリュームデータに対応付けられている付帯情報から取得する。
取得部145aは、例えば、図24の(A)及び(B)に示すように、撮影時の被検体の体勢から、実空間に対応するボリュームデータ空間において、z方向が足から頭に向かう方向を正とする方向であり、x方向が右腕から左腕に向かう方向を正とする方向であり、y方向が背側から腹側を正とする方向であるとする情報を取得する。
ここで、図24の(A)に示すように、取得部145aにより取得されたレンダリング処理時の視点eからの視線方向が、負から正に向かうz方向に沿った方向であったとする。かかる場合、決定部145bは、上述したように、立体画像空間におけるXY方向及びZ方向のスケールを決定する(図24の(A)を参照)。更に、決定部145bは、XY方向のスケールがxy方向のスケールに対応し、Z方向のスケールがz方向のスケールに対応することから、図24の(A)に示すように、出力用のスケールとして、xy方向及びz方向のスケールを決定する。ここで、決定部145bは、観察者の視点Eから認識される立体画像の奥行き方向がz方向の正方向に対応することから、図24の(A)に示すようにz方向の矢印の向きがZ方向の矢印の向きと逆になるように設定する。
また、図24の(B)に示すように、取得部145aにより取得されたレンダリング処理時の視点eからの視線方向が、負から正に向かうx方向に沿った方向であったとする。かかる場合、決定部145bは、上述したように、立体画像空間におけるXY方向及びZ方向のスケールを決定する(図24の(B)を参照)。更に、決定部145bは、XY方向のスケールがyz方向のスケールに対応し、Z方向のスケールがx方向のスケールに対応することから、図24の(B)に示すように、出力用のスケールとして、yz方向及びx方向のスケールを決定する。ここで、決定部145bは、観察者の視点Eから認識される立体画像の奥行き方向がx方向の正方向に対応することから、図24の(B)に示すようにx方向の矢印の向きがZ方向の矢印の向きと逆になるように設定する。
ここで、図24の(A)及び(B)に例示したように、レンダリング処理時の視点eからの視線方向がxy平面や、yz平面、zx平面に正対する方向でない場合、ボリュームデータ空間のスケール(以下、Vスケール)においてxyzの表記を用いることは適切ではない。かかる場合、決定部145bは、図24の(C)に示すように、立方体の形状でボリュームデータを模式的に示す図形にレンダリング時の視線方向及び投影時の基準面を重畳した画像を2次元画像処理部146に生成させ、当該画像とXY方向及びZ方向のスケールとをVスケールとしてよい。
このような処理が行なわれることで、観察者は、自身が立体表示モニタで観察する立体画像が、ボリュームデータ空間において如何なる方向からボリュームデータを観察した画像であるかを容易に識別することができる。なお、上記では、立体画像空間のスケールとともに、ボリュームデータ空間のスケールが出力用に決定される場合について説明したが、出力用に決定されるスケールは、ボリュームデータ空間のスケールのみである場合であってもよい。
ここで、立体画像空間のスケールからボリュームデータ空間のスケールへの変換処理は、図23を用いて説明したグリッド線をスケールとする場合に適用する場合であってもよい。かかる場合、グリッド線は、x方向、y方向、z方向それぞれに沿った直線又は曲線により表示される。グリッド線を用いたボリュームデータ空間のスケールを用いる場合、図24の(C)に示すような処理を行なうことなく、観察者に対して、立体表示モニタで観察する立体画像が、ボリュームデータ空間において如何なる方向からボリュームデータを観察した画像であるかを容易に識別させることができる。
[スケール表示について]
第3の実施形態では、出力部145cが決定部145bにより決定されたスケールが表示されるように制御する場合について説明した。しかし、スケールは、観察者の要望によっては、非表示とされる場合であってもよい。すなわち、出力部145cは、決定部145bにより決定されたスケールを立体表示モニタの観察者の要求に応じて出力するか否かを制御する場合であってもよい。
すなわち、観察者が立体画像を観察する際に、表示されているスケールが不要であると判断する場合がある。かかる場合、例えば、観察者である端末装置140の操作者は、入力部141を介して、スケールの非表示要求を入力する。これにより、出力部145cは、表示されているスケールを非表示とするために、スケールのオーバーレイが重畳される前の9視差画像を中間画像に変換して、表示部142に出力する。
[システム構成]
第3の実施形態では、端末装置140において、対応情報の取得、スケールの決定及びスケールの出力が行なわれる場合について説明した。しかし、第3の実施形態は、ワークステーション130において、対応情報の取得、スケールの決定及びスケールの出力が行なわれる場合であってもよい。かかる場合、制御部135は、取得部145aに対応する処理部と、決定部145bに対応する処理部と、出力部145cに対応する処理部とを有する。取得部145aに対応する処理部は、対応情報を取得し、決定部145bに対応する処理部は、対応情報に基づいて、X方向、Y方向及びZ方向のスケールを決定する。
そして、出力部145cに対応する処理部は、9視差画像及びスケールが表示部142にて出力されるように制御する。具体的には、かかる処理部は、スケールのオーバーレイを生成し、更に、生成したオーバーレイをアンダーレイ(9つの視差画像)それぞれに重畳させた出力用の2次元画像を生成するようにレンダリング処理部136を制御する。そして、出力部145cに対応する処理部は、レンダリング処理部136が生成した出力用の9つの2次元画像を9視差画像として端末装置140に送信するように通信部133を制御する。端末装置140の通信部143は、受信した9視差画像を制御部145に転送し、制御部145は、9視差画像を中間画像に変換して表示部142に出力する。これにより、表示部142では、立体画像がXYZ方向のスケールとともに表示される。
なお、上記実施形態においては、ワークステーション130が視差画像群の生成を行なう場合について説明した。しかし、視差画像群の生成は、医用画像診断装置110により行なわれる場合であってもよい。かかる場合、対応情報の取得、スケールの決定及びスケールの出力は、医用画像診断装置110により行なわれる場合であってもよい。また、上記実施形態で説明した「対応情報の取得、スケールの決定及びスケールの出力」に関する処理は、医用画像診断装置110のみで行なわれる場合や、ワークステーション130のみで行なわれる場合、端末装置140のみで行なわれる場合であってもよい。また、上記実施形態で説明した「対応情報の取得、スケールの決定及びスケールの出力」に関する処理は、医用画像診断装置110とワークステーション130との間で行なわれる場合や、医用画像診断装置110と端末装置140との間で行なわれる場合であってもよい。
すなわち、上記の実施形態で説明した「対応情報の取得、スケールの決定及びスケールの出力」に関する処理は、画像処理システム1に含まれる各装置の各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
以上、説明したとおり、第3の実施形態によれば、立体視可能なモニタにて観察者により立体視される画像と実空間とを対応付ける尺度を表示することができる。
なお、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション130の制御部135をワークステーション130の外部装置としてネットワーク経由で接続するようにしてもよい。
また、上記実施形態におけるワークステーション130や端末装置140が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。例えば、かかるプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD、ブルーレイ等に記録される。また、かかるプログラムは、インターネットなどのネットワークを介して配布することもできる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。