[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5538861B2 - 情報処理装置、情報処理方法、情報処理システム、及びプログラム - Google Patents

情報処理装置、情報処理方法、情報処理システム、及びプログラム Download PDF

Info

Publication number
JP5538861B2
JP5538861B2 JP2009288454A JP2009288454A JP5538861B2 JP 5538861 B2 JP5538861 B2 JP 5538861B2 JP 2009288454 A JP2009288454 A JP 2009288454A JP 2009288454 A JP2009288454 A JP 2009288454A JP 5538861 B2 JP5538861 B2 JP 5538861B2
Authority
JP
Japan
Prior art keywords
image
tomographic image
cross
posture
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009288454A
Other languages
English (en)
Other versions
JP2011125567A (ja
Inventor
隆明 遠藤
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009288454A priority Critical patent/JP5538861B2/ja
Priority to US13/516,661 priority patent/US20120262453A1/en
Priority to PCT/JP2010/007109 priority patent/WO2011074207A1/en
Publication of JP2011125567A publication Critical patent/JP2011125567A/ja
Application granted granted Critical
Publication of JP5538861B2 publication Critical patent/JP5538861B2/ja
Priority to US16/530,772 priority patent/US20190355174A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • A61B8/565Details of data transmission or power supply involving data transmission via a network
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、モダリティ、撮影体位、撮影日時等の撮影条件が異なる画像の位置合わせをするための情報処理装置、情報処理方法、情報処理システム、及びプログラムに関する。
医療の分野において、医師は被検体を撮像した医用画像(被検体内部の三次元的な情報を表す断層画像群からなる三次元画像データ)をモニタに表示し、表示された画像を読影して病変部の診断を行う。断層画像群を撮像する医用画像収集装置(以下、モダリティと呼ぶ)としては、超音波画像診断装置、磁気共鳴映像装置(以下、MRI装置と呼ぶ)、X線コンピュータ断層撮影装置(以下、X線CT装置と呼ぶ)などが挙げられる。
これらのモダリティで撮像された個々の断層画像群を観察するだけでは、病変部の状態を正しく診断することは困難である。そこで、複数のモダリティで撮像された夫々の断層画像群や、異なる日時に撮像された夫々の断層画像群中の病変部を比較することによって、病変部の状態を正しく診断しようとする試みがなされている。
複数種類の断層画像を診断に利用するためには、夫々の断層画像群における対応を取るための位置合わせをすることが重要である。モダリティの違いや被検体の変形等の影響で画像処理による自動化が困難であるため、位置合わせは医師等の作業者が画像を見ながら手動で行う。作業者は、一方の画像で病変部等の注目病変部の画像を見ながら、病変部の形状やその周辺部の見え方等の類似性を手がかりにして、その病変部を他方の画像群から見つけるという操作が行われる。
特許文献1には、X線CT装置で得た注目病変部を含む断面の画像を静止表示した上で、超音波探触子を操作して対応病変部を含む超音波断層画像を探索するというフローが示されている。一方で、病変部を一つの断面画像で観察するだけでは病変部を正しく診断できない場合がある。特許文献2には、常に病変部を含む断面画像を表示させて、注目断面を任意方向に回転操作する手法が開示されている。
国際公開番号WO2004−98414号公報 特開2005−169070号公報
しかしながら特許文献1に記載の方法では、静止表示した注目断面画像に表示された注目病変部の位置を超音波断層画像により探索し、かつ被写体に対する断面の傾きをも合わせる必要があり、困難を伴っていた。
また特許文献2に記載の技術を考慮すれば、静止表示した断面画像を変更することができるが、変更された断面画像に対して位置と、断面の傾きを合わせるという作業をしなければならない点に変わりはなかった。
本発明はかかる課題を解決するためになされたものであり、被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する取得手段と、前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と、を有することを特徴とする。
かかる構成を有する本発明によれば、一の断層画像を指定すると、その断層画像と平行かつ病変部を含む断面画像を取得することができる。これにより、断面の被写体に対する傾きを合わせる必要はなく、病変部の位置のみを合わせればよいため、作業負荷を軽減することができる。
実施例1に係る情報処理装置の機器構成を示す図である。 情報処理装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。 MRIボリュームデータから超音波断層画像に応じた断面画像を生成する処理の概要を示した図である。 情報処理装置の全体の処理手順を示すフローチャートである。 断層画像と断面画像の合成表示方法を説明する図である。 実施例2に係る情報処理装置の機器構成を説明する図である。 情報処理装置の全体の処理手順を示すフローチャートである。 断層画像を選択する処理手順を示すフローチャートである。
以下、添付図面に従って本発明に係る情報処理システムの好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
本実施例に係る情報処理システムは、三次元画像データ中の注目領域(例えば、注目病変部)を含み、実時間で撮像している超音波断層画像と同じ姿勢の断面画像を三次元画像データから切り出す。そうすることで、三次元画像データ中の注目領域に対応する部位(対応病変部)を含む断層画像(断面画像)を、操作者(医師や技師)が容易に描出できるようにする。なお本実施例では、被検体内部の三次元的な情報を表す断層画像群を三次元画像データとして取り扱う場合について説明する。以下、本実施例に係る情報処理システムについて説明する。
図1は本実施例における情報処理システムの構成を示す。同図に示すように、本実施例における情報処理装置100は、断層画像取得部110、位置姿勢取得部112、三次元画像データ取得部120、位置取得部122、断面画像取得部130、画像合成部140、表示制御部150によって構成される。そして、三次元画像データを保持するデータサーバ190に接続されている。また、情報処理装置100は、被検体の超音波断層画像を撮像する第2医用画像収集装置180としての超音波画像診断装置にも接続されている。
データサーバ190が保持する三次元画像データは、第1医用画像収集装置170としてのMRI装置やX線CT装置などによって被検体を予め撮像して得られた参照断層画像群である。なお、以下では第1医用画像収集装置170としてMRI装置を用いる場合を例に説明する。
MRI装置で撮像された参照断層画像群を構成する各断層画像の位置姿勢は、MRI装置座標系における位置姿勢で表されている。ここでMRI装置座標系とは、MRI装置を基準とした空間中の1点を原点として定義した座標系のことを表す。MRI装置座標系で表現された三次元画像データは、三次元画像データ取得部120を介して情報処理装置100に入力される。
さらに、データサーバ190は、三次元画像データ中の注目領域として、予め指定された病変部(注目病変部)の位置を保持している。注目病変部の位置は、例えば、操作者が不図示の画像ビューア上に参照断層画像群を順次表示して、注目病変部が写っている断層画像を選び出し、不図示のマウスで注目病変部をクリックすることによって指定することができる。データサーバ190が保持する注目病変部の位置は、位置取得部122を介して情報処理装置100に入力される。なお、以下の説明では、注目病変部の位置も、三次元画像データと同様にMRI装置座標系で表されているものとする。
第2医用画像収集装置180としての超音波画像診断装置は、被検体の超音波断層画像を実時間で撮像する。超音波画像診断装置によって得られた超音波断層画像は、断層画像取得部110を介して情報処理装置100に逐次入力される。
通常、操作者は、超音波画像診断装置の撮像部(不図示)としての超音波探触子を手に持って、これを自由に動かしながら被検体の撮像を行う。そのため、超音波断層画像が被検体を基準とした空間中のどの位置姿勢を撮像したものなのかが明らかではない。そこで、本実施例では、不図示の位置姿勢センサを超音波画像診断装置に装着して、超音波探触子の位置姿勢を計測する。位置姿勢センサは、例えば、米国Polhemus社のFASTRAK等によって構成される。なお、位置姿勢センサは、超音波探触子の位置姿勢が計測できるのであれば、どのように構成されていてもよい。
以上のようにして得られた超音波探触子の位置姿勢は、位置姿勢取得部112を介して情報処理装置100に入力される。ここで、超音波探触子の位置姿勢は、例えば基準座標系における位置姿勢で表されている。ここで基準座標系とは、被検体を基準とした空間中の1点を原点として定義した座標系のことを表す。以下では、特に断りのない限り、超音波探触子や各種画像の位置姿勢は基準座標系で定義されているものとする。なお、超音波探触子の位置姿勢は、不図示のキーボードやマウスなどを用いて操作者が予め入力してもよい。
断層画像取得部110は、情報処理装置100へ入力される超音波断層画像を第一の二次元断面画像として取得する。そして、必要に応じてデジタルデータに変換して、位置姿勢取得部112が取得する位置姿勢に対応付けて保持する。そして、画像合成部140からの要求にしたがって、保持している超音波断層画像を画像合成部140へと出力する。
位置姿勢取得部112は、情報処理装置100へ入力される超音波探触子の位置姿勢を取得して、これに基づいて超音波断層画像の位置姿勢を算出する。そして、断層画像取得部110が取得する超音波断層画像に対応付けてこれを保持する。そして、断面画像取得部130からの要求にしたがって、保持している位置姿勢を断面画像取得部130へと出力する。また、位置姿勢取得部112は、操作者が指定した対応病変部の位置を取得して、注目病変部位置との間のオフセットを算出して、位置姿勢センサの計測誤差として補正する。具体的には、超音波断層画像の位置をオフセット分だけ補正する。
三次元画像データ取得部120は、情報処理装置100へ入力される三次元画像データ(参照断層画像群)を取得してこれを保持する。そして、断面画像取得部130からの要求にしたがって、保持している三次元画像データを断面画像取得部130へと出力する。
位置取得部122は、情報処理装置100へ入力される注目病変部の位置を取得してこれを保持する。そして、断面画像取得部130からの要求にしたがって、保持している注目病変部の位置を断面画像取得部130へと出力する。
断面画像取得部130は、三次元画像データ取得部120の出力である三次元画像データと、位置取得部122の出力である注目病変部の位置とを入力する。また、位置姿勢取得部112の出力である超音波断層画像の位置姿勢を入力する。そして、これらのデータに基づいて、超音波断層画像と同じ姿勢でかつ注目病変部を含んだ断面画像(第二の二次元断面画像)を三次元画像データから生成して、画像合成部140へと出力する。
画像合成部140は、断層画像取得部110の出力である超音波断層画像と、断面画像取得部130の出力である断面画像とを入力する。そして、入力した超音波断層画像と断面画像とを合成し、得られた合成画像を表示制御部150あるいは外部へと出力する。
表示制御部150は、画像合成部140の出力である合成画像を取得し、これを表示部160に表示する。これにより、操作者は二つの断面画像を見比べて、超音波探触子により撮影された画像に注目領域である病変部が映っているか否かを判別することができる。仮に二つの断層画像に同一の病変部が映れば、その超音波探触子を押し当てた被検体の位置に病変部が存在することが分かる。また、超音波断層画像若しくは被検体と、MRIの三次元画像データとの位置合わせが行われたことになる。
なお、図1に示した各部(断層画像取得部110、位置姿勢取得部112、三次元画像データ取得部120、位置取得部122、断面画像取得部130、画像合成部140、表示制御部150)の少なくとも一部は、独立した装置として実現してもよい。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのCPUにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施例では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。
図2は、断層画像取得部110、位置姿勢取得部112、三次元画像データ取得部120、位置取得部122、断面画像取得部130、画像合成部140の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。
CPU1001は、RAM1002やROM1003に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、断層画像取得部110、位置姿勢取得部112、三次元画像データ取得部120、位置取得部122、断面画像取得部130、画像合成部140の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。
RAM1002は、外部記憶装置1007や記憶媒体ドライブ1008からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、CPU1001が各種の処理を行うために必要とするワークエリアを備える。
ROM1003は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード1004、マウス1005は入力デバイスであり、操作者はこれらを用いて、各種の指示をCPU1001に入力することができる。
表示部1006は、CRTや液晶ディスプレイなどにより構成されており、図1における表示部160がこれに相当する。表示部1006は、画像合成部140が生成する合成画像の他に、画像処理のために表示すべきメッセージやGUI等を表示することができる。
外部記憶装置1007は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにOS(オペレーティングシステム)やCPU1001が実行するプログラム等を保存する。また本実施例の説明において、既知であると説明する情報はここに保存されており、必要に応じてRAM1002にロードされる。
記憶媒体ドライブ1008は、CD−ROMやDVD−ROMなどの記憶媒体に記憶されているプログラムやデータをCPU1001からの指示に従って読み出して、RAM1002や外部記憶装置1007に出力する。
I/F1009は、アナログビデオポートあるいはIEEE1394等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット(登録商標)ポート等によって構成される。夫々が入力したデータはI/F1009を介してRAM1002に取り込まれる。断層画像取得部110、位置姿勢取得部112、三次元画像データ取得部120、および位置取得部122の機能の一部は、I/F1009によって実現される。
上述した各構成要素は、バス1010によって相互に接続される。
上述の情報処理システムにより実現される処理の概要を、図3を用いて説明する。この処理は、MRIの三次元画像データと超音波断層画像の位置合わせを行うことを目的として、超音波断層画像と、それに応じてMRIの三次元画像データから生成(取得)された断面画像を表示部160に表示させる処理である。図3の上方左側には、被検体と超音波探触子が示されている。また、図3の上方右側には、MRIの三次元画像データから生成されるボリュームデータと、超音波断層画像に基づいて生成されるMRIボリュームデータの断面画像が示されている。図3の下方には、超音波探触子により取得された超音波断層画像と、MRIボリュームデータから生成されたMRIの断面画像の表示態様が示されている。
操作者(医師や技師等)は、超音波探触子を被検体に押し当て、被検体の超音波断層画像を取得する。図3上方左側には、超音波断層画像を実線で、超音波断層画像を含む平面を点線で示している。超音波探触子の位置姿勢がセンサにより計測できるので、被検体に対する超音波断層画像の位置姿勢の情報を取得することができる。
一方、MRIの三次元画像データ上では、操作者が手動でまたは画像処理により自動で病変部が特定されている。なお、ここでは病変部に限らず、特徴的な形状等が現れるような注目領域が特定できていれば良い。操作者は、このMRIの三次元画像データ上で特定された領域を、被検体を撮影した超音波断層画像上において探索する。
上述の情報処理システムは、超音波断層画像の位置姿勢と注目領域(注目病変部)の位置が与えられると、これらの情報に基づいてMRIの三次元画像データから断面画像を生成(取得)する。ここで生成する断面画像は、先述の超音波断層画像を含む平面と平行な断面画像であって、かつ、注目領域を通る断面画像である。このような断面画像を生成することで、超音波探触子がどのような姿勢であっても、二つの断面画像(超音波断層画像とMRIの断面画像)の被検体に対する傾き(姿勢)を常に揃えて表示できる。その結果、操作者は超音波探触子を押し当てる位置のみをMRIデータと合わせればよい。傾きを揃える手間を省くことができるため、操作者による位置合わせを容易にさせることができる。
超音波断層画像と、MRIの断面画像はそれぞれ表示部に表示される。操作者は超音波探触子を押し当てる位置を変えながら夫々の画像に映った内容が一致するか否かを見比べて、位置合わせを行うことができる。
図4は、情報処理装置100が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施例ではCPU1001が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置1007からRAM1002に既にロードされているものとする。
(S4000) (三次元画像データの取得)
ステップS4000において、情報処理装置100は、三次元画像データ取得部120の処理として、データサーバ190から三次元画像データとして参照断層画像群を取得する。また、位置取得部122の処理として、データサーバ190から注目領域(注目病変部)の位置を取得する。なお、三次元画像データの各断層画像の位置姿勢および注目病変部の位置は、既知の値として予め記憶している基準座標系からMRI装置座標系への変換行列に基づいて、本ステップで基準座標系に変換される。
(S4010) (断層画像の取得)
ステップS4010において、情報処理装置100は、断層画像取得部110の処理として、第2医用画像収集装置180から超音波断層画像を取得する。また、位置姿勢取得部112の処理として、上記超音波断層画像を撮像した際の超音波探触子の位置姿勢を第2医用画像収集装置180から取得する。そして、既知の値として予め記憶している超音波探触子と超音波断層画像の相対位置姿勢を利用して、超音波探触子の位置姿勢から超音波断層画像の位置姿勢を算出する。
(S4020) (断面画像の生成)
ステップS4020において、情報処理装置100は、断面画像取得部130の処理として、ステップS4000で得た注目病変部の位置と、ステップS4010で得た超音波断層画像の位置姿勢とに基づいて、三次元画像データから断面画像を生成する。
はじめに、断面画像取得部130は、前処理として、ステップS4000で取得した参照断層画像群から、各断層画像の各画素を三次元的に配置・補間することで、三次元のボクセルに輝度値を格納した三次元ボリュームデータを復元する。なお、この前処理は、ステップS4020の処理を最初に行う際に一度だけ実行すればよい。
次に、断面画像取得部130は、注目病変部の位置と超音波断層画像の姿勢に基づく断面(平面)を算出する。具体的には、まず、基準座標系と断面座標系(断面の位置姿勢を表す座標系)が一致するように、断面の(断面座標系の)位置姿勢を初期化する。次に、断面の姿勢が超音波断層画像の姿勢と一致するように、基準座標系の中で断面を回転させる。そして、断面座標系の原点が注目病変部の位置に一致するように、断面を並行移動させる。以上によって算出された断面は、注目病変部を面内に含んで(すなわち、断面を表す平面が注目領域を通って)、かつ、超音波断層画像と同一の姿勢を有する(超音波断層画像と平行な)断面となる。最後に、断面上において断面画像を生成する範囲を算出する。例えば、超音波断層画像の位置姿勢に基づいて超音波断層画像の4隅の点の位置を算出し、夫々の点から上記断面に下ろした垂線の足からなる4点によって、生成する断面画像の範囲を決定する。
最後に、断面画像取得部130は、上記で求めた断面に対応する画像を、三次元ボリュームデータから切り出して生成する。なお、指定した断面の画像を三次元ボリュームデータから切り出して生成する方法については周知であるので、その詳細に関する説明は省略する。
(S4030) (画像の合成)
ステップS4030において、情報処理装置100は、画像合成部140の処理として、ステップS4010で得た超音波断層画像と、ステップS4020で得た断面画像とを合成する。そして、表示制御部150の処理として、合成した画像を表示部160に表示する。また、必要に応じて、I/F1009を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてRAM1002上に格納する。
例えば、超音波断層画像と断面画像を異なる色で描画して重ね合わせて表示してもよいし、あるいは、超音波断層画像と断面画像のいずれか一方のみを選択して表示できるようにしてもよい。また、一つの画面を縦または横に分割して、一方に超音波断層画像を表示し他方に断面画像を表示してもよいし、二つの画面に夫々表示してもよい。図5(a)は、一つの画面を縦に分割して、注目病変部5010を含む断面画像5020と超音波断層画像5040を、横に並べて表示した例を示す。なお、この例では、対応病変部5030が超音波断層画像5040上に描出されている様子を示している。
さらに、注目病変部の位置を示す円などの図形を、超音波断層画像に重ね合わせて表示してもよい。この表示は、例えば、注目病変部の位置に所定の大きさの仮想的な球があると仮定して、超音波断層画像をなす断面によってその球を切断したときの円を描画することによって実現される。これによると、当該図形を、対応病変部を探索する際の手がかりとして利用することができる。なお、超音波断層画像の位置姿勢が精度良く計測されていて、かつ、三次元画像データ取得時と超音波断層画像撮像時の間で被検体が変形していないという理想的な条件下であれば、対応病変部は上記の球の中心(すなわち、注目病変部の位置)に存在する。しかし、実際には、超音波断層画像の位置姿勢の計測誤差や、撮影体位の差異や超音波探触子の圧力に起因する被検体の変形が影響するため、対応病変部は上記の球の中心には存在しない。
また、注目病変部の位置を示す図形を断面画像上に表示してもよい。また、超音波断層画像の姿勢変化を視覚的に表す矢印などの図形を表示してもよいし、三次元ボリュームデータをボリュームレンダリングした上に断面画像の位置姿勢を表す平面などの図形を重ね合わせて描画してもよい。また、図形を重ね合わせるか否かを選択できるようにしてもよい。図5(b)は、断面画像5020上と超音波断層画像5040上の夫々に、注目病変部5010の位置を示す円5050及び円5060を重ね合わせて表示した例を示す。
なお、以下で説明するステップS4040からステップS4060の処理において操作者が特別な指示を入力しない限りにおいては、上記で述べたステップS4010からステップS4030の処理が反復的に実行される。それにより、注目病変部を含んでかつ超音波断層画像と同じ姿勢を有する断面画像が、超音波探触子の操作に応じて時々刻々と取得される超音波断層画像と同期した形で表示部160に表示される。その結果、本ステップで表示する合成画像を操作者が観察しながら超音波探触子を操作することで、対応病変部を描出する超音波断層画像の探索を容易に行うことが可能となる。
以下の処理(ステップS4040及びS4050)では、超音波断層画像における対応病変部の位置を指定することで、注目病変部の位置と対応病変部が実際に存在する位置との間のずれの補正を行う。
(S4040) (位置指定)
ステップS4040において、情報処理装置100は、位置姿勢取得部112の処理として、超音波探触子を操作して得られる超音波断層画像上の対応病変部の位置が指定されたか否かの判定を行う。対応病変部の位置は、例えば、表示部160に表示された超音波断層画像上における対応病変部の位置(例えば図5(a)の5030)を、操作者がマウス1005でクリックすることによって指定する。対応病変部の位置が指定された場合には、超音波断層画像上における対応病変部の位置と、超音波断層画像の位置姿勢に基づいて、基準座標系における対応病変部の位置を算出する。そして、ステップS4050へと処理を進める。一方、位置が指定されていない場合には、ステップS4060へと処理を進める。
(S4050) (オフセット分の補正)
ステップS4050において、情報処理装置100は、位置姿勢取得部112の処理として、ステップS4040で取得した対応病変部の位置と、ステップS4000で取得した注目病変部の位置との間のオフセットを算出する。そして、以降におけるステップS4010の処理において、超音波断層画像の位置の算出値からオフセット分を差し引くことによって、位置姿勢センサの計測誤差や被検体の変形などの影響を補正する。そして、注目病変部の位置に対応病変部が実際に存在するようにする。なお、超音波断層画像の位置の算出値からオフセット分を差し引くのではなく、基準座標系からMRI装置座標系への変換行列をオフセット分だけ補正してもよい(ただしこの場合は、ステップS4000で行った座標変換処理を再度実行する)。
(S4060) (取得終了)
ステップS4060において、情報処理装置100は、全体の処理を終了するか否かの判定を行う。例えば、表示部160上に配置された終了ボタンを操作者がマウス1005でクリックするなどして、終了の判定を入力する。終了すると判定した場合には、情報処理装置100の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップS4010へと処理を戻し、新たに撮像される超音波断層画像に対して、ステップS4010からステップS3060までの処理を再度実行する。その際に、操作者は形状や周辺部の見え方等の類似性を参考にして、対応病変部が含まれていると考えられる方向に超音波探触子を移動させる。
以上によって、超音波断層画像と同じ姿勢で注目病変部を含む断面画像が三次元画像データから切り出されて、超音波断層画像と断面画像との合成画像が生成される。
以上のように、本実施例に係る情報処理装置によると、注目領域(注目病変部)を含み、かつ取得した対象断層画像と同じ姿勢の断面画像を三次元画像データ(参照断層画像群)から切り出すことができる。切り出した断面画像の姿勢が取得した対象断層画像の姿勢と常に一致するので、形状や周辺部の見え方等の類似性を参考にしながら、対応病変部を探すことが容易となる。
(変形例1) (変形に応じてMRI断面画像の傾きを変更する)
本実施例では、超音波断層画像とそれに応じて取得されるMRI断面画像は被検体に対する傾きが同じ、すなわち平行としたが、本発明の適用例はこれに限られない。撮影体位や超音波探触子の押し当てによる変形や、撮影日の違いによる変化に伴って、被検体の状態が変化する場合には、必ずしも超音波断層画像とMRI画像を平行とすることが適切でない場合がありうる。例えば、超音波探触子の押し当てによる変形の場合であれば、超音波探触子の鉛直方向下向きに圧迫されることによる変形が起こっていると仮定し、変形に応じた量だけMRI画像の傾きを変更する。変更量の導出には、周知の柔軟物変形モデルを用いて行うことが考えられる。
このように被検体の変形を考慮してMRI断面画像を生成することにより、超音波断層画像とより正確に対応したMRI断面画像を生成することができるため、位置合わせを行うものの作業効率を上げると共に、より正確な位置合わせを実現させることができる。
(変形例2) (MRI断層画像群以外)
本実施例では、三次元画像データとして、MRI装置やX線CT装置によって被検体を事前に撮像して得られた参照断層画像群をデータサーバ190から取得して用いる場合を例に述べた。しかし、使用する三次元画像データはこれに限られるものではない。
例えば、参照断層画像群から予め復元した輝度値配列データ(三次元ボリュームデータ)をデータサーバ190が保持している場合には、これを三次元画像データとして取得して用いる構成であってもよい。この場合、ステップS4020における三次元ボリュームデータの生成処理を省略できる。
また、過去に超音波画像診断装置によって被検体を撮像して得られた断層画像群から予め復元した輝度値配列データ(三次元ボリュームデータ)をデータサーバ190が保持している場合には、これを三次元画像データとして用いる構成であってもよい。データサーバ190(あるいは、不図示の情報処理装置)は、位置姿勢つきの超音波断層画像を超音波診断装置から取得して、断層画像間の位置関係に基づいて三次元ボリュームデータを復元する。この場合には、被検体への超音波探触子の当て方が過去の撮像とで異なっていたとしても、同一姿勢の断面で両者を比較できるため、病変部の経時変化の観察が容易となる。
また、事前に三次元超音波探触子を用いて直接的に取得された三次元ボリュームデータをデータサーバ190が保持している場合には、これを三次元画像データとして用いる構成であってもよい。
(変形例3) (位置合わせの対象となる断層画像)
実施例1において位置合わせの対象となる2種類の断層画像(断面画像)は、超音波断層画像とMRI断層画像群(MRIボリュームデータ)であったが、本発明の適用はこれに限られない。例えば、これら以外の異なる複数のモダリティにより撮影された断層画像に対して位置合わせをしても良い。この場合、第一の撮影方法(モダリティ)で撮影された第一の二次元断層画像と、第二の撮影方法(モダリティ)撮影された第二の二次元断層画像の位置合わせを容易に行うことが可能になる。
また、同一のモダリティによる断層画像であっても、被検体の撮影時の体位や、撮影に用いるモダリティのパラメータ等の撮影条件、経過観察等のため撮影日等が異なる場合なども、得られる断層画像が変化する場合があり、本発明を適用できる。
(変形例4) (表示のバリエーション)
本実施例では、ステップS4020の処理において、算出した断面に基づいて、三次元画像データの断面画像を生成していた。しかし、断面画像の生成はこれに限られるものではない。
例えば、MRIの三次元ボリュームデータに画像処理を施して見え方を調整した新たな三次元ボリュームデータを生成して、その新たな三次元ボリュームデータの断面を断面画像として生成してもよい。例えば、エッジ強調処理や、臓器セグメンテーション結果に基づく擬似カラー処理等を施したボリュームデータを生成して、その断面画像を生成してもよい。また、公知の方法で、MRI画像をあたかも超音波画像診断装置によって撮像されたかのような画像に変換する処理を施したボリュームデータを生成して、その断面画像を生成してもよい。もちろん、MRIの三次元ボリュームデータから断面画像を生成した後に、断面画像に対して上述したような画像処理を施してもよい。
また、算出した断面に基づいて三次元画像データから画像を生成するものであれば、生成する断面画像は、その断面上のボクセル値を画像化した画像でなくてもよい。例えば、断面を中心として法線方向に所定の範囲を設定した上で、当該範囲内における法線方向のボクセル値の最大値を断面上の各点に関して求めた最大値投影画像を断面画像としてもよい。ここでは、算出した断面に関して生成される上記のような画像を含め、広義の意味で「断面画像」と呼ぶ。
(変形例5) (3D探触子でMPR像を取得)
本実施例では、超音波画像診断装置で断層画像を撮像する場合を例に述べたが、超音波画像診断装置で取得するデータはこれに限られるものではない。例えば、三次元の超音波探触子でMPR(Multi Planar Reformat)像を取得する場合にも、上記の実施例の手法が適用可能である。すなわち、複数の断面の夫々に対して上記の実施例の手法をそのまま適用すればよい。
(変形例6) (姿勢センサ利用)
本実施例では、位置姿勢センサを超音波画像診断装置に装着して、超音波探触子の位置姿勢を計測する場合を例に述べたが、位置に関しては必ずしも計測する必要はない。例えば、姿勢センサを超音波画像診断装置に装着して、超音波探触子の姿勢のみを計測してもよい。
この場合、位置姿勢取得部112は、超音波探触子の姿勢と、予め算出して記憶された超音波断層画像の超音波探触子座標系における位置姿勢とに基づいて、超音波断層画像の基準座標系における姿勢を算出して、断面画像取得部130へと出力する。
なお、この場合、ステップS4020において断面画像取得部130が実行する処理の一部(断面上において断面画像を生成する範囲を決定する処理)が上記とは異なったものとなる。すなわち、超音波断層画像の4隅の点の位置が未知となるので、断面画像を生成する範囲を、例えば断面画像内における注目領域を中心とした所定の領域によって設定する。
以上によって、位置姿勢センサを用いる場合よりも簡便な装置構成で、注目病変部に対応する対応病変部を含む断層画像を超音波探触子の操作によって容易に描出することができる。ただし、この場合は、超音波断層画像の位置は計測できないので、ステップS4030における注目病変部の位置を示す円5060の描画と、ステップS4040及びステップS4050におけるずれの補正処理は実行しない。
(変形例7) (注目病変部の位置を指定)
本実施例では、データサーバ190が予め指定された注目病変部の位置を保持している場合を例に述べたが、情報処理装置の内部で注目病変部の位置を指定してもよい。その場合、情報処理装置に病変指定部が追加される。
病変指定部は、三次元画像データ取得部120の出力である三次元画像データを構成する個々の断層画像を表示部160に順次表示する。そして、断層画像上に注目病変部が写ったところで、表示画像上におけるその位置を操作者が例えばマウス1005でクリックすることによって指定する。その後断層画像上における病変部の位置と、当該断層画像の位置姿勢に基づいて、基準座標系における注目病変部の位置を算出する。なお、以上の処理は、ステップS4000とステップS4010の間に実行すればよい。
また、ステップS4030で表示した断面画像上(例えば図5(a)の5020)において、注目病変部の位置を再設定することが可能な構成であってもよい。これを実現するには、ステップS4040において、対応病変部の位置取得と同様な処理を注目病変部に対しても行えばよい。すなわち、表示部160に表示された断面画像上における注目病変部の位置(例えば図5(a)の5010)を操作者がマウス1005でクリックすることによって指定し、当該断面の位置姿勢に基づいて注目病変部の位置を算出すればよい。本変形例に係る情報処理装置によると、対応病変部を含む断層画像の描出結果に基づいて、注目病変部の位置を正確に指定し直すことが可能となる。
(変形例8) (連動/非連動)
本実施例では、断層画像と同じ姿勢の断面画像を三次元画像データから切り出す場合を例に述べた。すなわち、断層画像の姿勢と断面画像の姿勢とが最初から一致している(姿勢には深刻な誤差は無い)場合に有効な方法について述べた。しかし、これに限らず、断層画像の姿勢にオフセットを付加した姿勢の断面画像を三次元画像データから切り出してもよい。例えば、表示部160上に表示された断面画像上において、マウスの左ボタンを押下したままドラッグ操作することで、ドラッグの方向と変位量に応じたオフセット(回転軸と回転角)を設定してもよい。このとき操作者は、入力に合わせて断面画像のみが回転するような操作感を得る。これにより、断層画像の姿勢と断面画像の姿勢とが一致していない場合に、それらが一致するように合わせ込むことができる。
(変形例9) (姿勢の設定方法)
本実施例では、断層画像と同じ姿勢の断面画像を生成する場合を例に述べた。しかし、これに限らず、断層画像の姿勢に対応して(基づいて)何れかの方法で求めた姿勢の断面画像を生成してもよい。例えば、過去の(前にステップS4020の処理をした際の)断層画像の姿勢と現在の断層画像の姿勢に基づいて、生成する断面画像の姿勢を決定してもよい。例えば、過去の断層画像の姿勢と現在の断層画像の姿勢との加重平均を断面画像の姿勢としてもよい。これによると、姿勢の計測ノイズに起因するジッタを除去できるという効果がある。また、前時刻の(前にステップS4020の処理をした際の)断面の姿勢と現在の断層画像の姿勢に基づいて、生成する断面画像の姿勢を決定してもよい。例えば、前時刻の断面の姿勢と現在の断層画像の姿勢との加重平均を断面画像の姿勢としてもよい。これによると、断面の姿勢が急激に変化しないというスムージングの効果がある。
実施例1では、実時間で撮像している超音波断層画像を取り扱う場合について説明した。しかし、取り扱う断層画像は、実時間で撮像している超音波断層画像に限らず、予め撮像された超音波断層画像群であってもよい。本実施例に係る情報処理装置は、予め撮像された超音波断層画像群から、三次元画像データ中の注目領域(注目病変部)に対応する部位(対応病変部)を含む断層画像を操作者(医師や技師)が容易に描出できるようにするための機能を提供する。以下、本実施例に係る情報処理装置について、実施例1との相違部分についてのみ説明する。
図6は、本実施例に係る情報処理装置の構成を示す。なお、図1と同じ部分については同じ番号、記号を付けており、その説明を省略する。本実施例における情報処理装置600は、断層画像取得部610、位置姿勢取得部612、三次元画像データ取得部120、位置取得部622、断面画像取得部130、画像合成部140、表示制御部150、断層画像選択部660によって構成される。そして、被検体を予め撮像して得られた三次元画像データ(第1の実施例と同様)および超音波断層画像群を保持するデータサーバ690に接続されている。
データサーバ690が保持する超音波断層画像群は、第2医用画像収集装置180としての超音波画像診断装置によって被検体を事前に撮像して得られた断層画像群である。被検体を撮像した超音波断層画像群は、断層画像選択部660を介して情報処理装置600に入力される。本実施例では、各超音波断層画像の位置姿勢もデータサーバ690が保持しており、断層画像選択部660を介して情報処理装置600に入力されるものとする。
位置取得部622は、実施例1における位置取得部122の動作に加え、断層画像選択部660からの要求にしたがって、保持している注目病変部の位置を、断層画像選択部660へと出力する。
断層画像選択部660は、情報処理装置600へ入力される各超音波断層画像と位置取得部622が出力する注目病変部の位置関係に基づいて、超音波断層画像群から一つ以上の断層画像を選択する。そして、選択した断層画像(以下では選択断層画像と呼ぶ)を断層画像取得部610へと出力する。また、選択断層画像の位置姿勢を位置姿勢取得部612へと出力する。
断層画像取得部610及び位置姿勢取得部612は、断層画像選択部660が出力したデータを取得する点が、実施例における断層画像取得部110及び位置姿勢取得部112と異なっている。なお、断層画像選択部660は断層画像の位置姿勢を出力するので、超音波探触子の位置姿勢から超音波断層画像の位置姿勢を算出する処理は不要となる。
なお、情報処理装置600を構成する上記各部の夫々の機能をソフトウェアの実行によって実現するコンピュータの基本構成は、実施例1における図2と同様である。
図7は、情報処理装置600が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施例ではCPU1001が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置1007からRAM1002に既にロードされているものとする。
(S7000) (データの入力)
ステップS7000において、情報処理装置600は、実施例1におけるステップS4000と同様な処理を行う。さらに、情報処理装置600は、断層画像選択部660の処理として、データサーバ690から超音波断層画像群と各超音波断層画像の位置姿勢とを取得する。
(S7010) (断層画像の選択)
ステップS7010において、情報処理装置600は、断層画像選択部660の処理として、ステップS7000で得た注目病変部の位置と、各超音波断層画像の位置姿勢とに基づいて、選択断層画像を選択する。そして、選択断層画像を断層画像取得部610へと出力し、また、選択断層画像の位置姿勢を位置姿勢取得部612へと出力する。なお、本ステップにおける断層画像選択部660の処理の詳細は、図8に示すフローチャートを用いて後に詳しく説明する。
以下、ステップS7020からステップS7060までの処理は、実施例1におけるステップS4020からステップS4060までの処理と同様であるので、詳細な説明は省略する。
図8は、上述のステップS7010における断層画像選択部660の処理手順を示すフローチャートである。
(S8000) (未選択か否かの判定)
ステップS8000において、断層画像選択部660は、断層画像の選択処理をまだ一度も行っていないかどうかを判定する。まだ一度も選択処理を行っていない場合には、ステップS8010へと処理を進める。一方、既に選択処理を行っている場合には、ステップS8070へと処理を進める。
(S8010) (データの入力)
ステップS8010において、断層画像選択部660は、注目病変部の位置を位置取得部622から取得する。また、超音波断層画像から注目病変部までの最小距離を表すdminに、初期値として大きな値(例えば1000mm)を設定する。
断層画像選択部660は、以下に示すステップS8020からステップS8060の処理によって、注目病変部までの距離を最小とする超音波断層画像を、超音波断層画像群の中から選択する。
(S8020) (未処理の断層画像の選択)
ステップS8020において、断層画像選択部660は、ステップS8000でデータサーバ690から取得した超音波断層画像群の中から、未処理の超音波断層画像をひとつ選択する。例えば、超音波画像診断装置によって撮像された時刻の順番にしたがって、順次選択する。
(S8030) (病変部までの距離の算出)
ステップS8030において、断層画像選択部660は、ステップS8020で選択した超音波断層画像から注目病変部までの距離を算出する。
具体的には、まず、当該超音波断層画像の超音波断層画像座標系における注目病変部の位置を次式によって算出する。
Figure 0005538861
ここで、x=[x 1]は超音波断層画像座標系における注目病変部の位置であり、x=[x 1]は基準座標系における注目病変部の位置である。そしてTiwは、超音波断層画像の位置姿勢を表す、超音波断層画像座標系から基準座標系への4x4の変換行列である。
そして、超音波断層画像から注目病変部までの距離dを、次式によって算出する。
Figure 0005538861
(S8040) (最小距離の更新)
ステップS8040において、断層画像選択部660は、ステップS8030で得た距離dが現在のdminよりも小さいかどうかを判定する。dがdminよりも小さかった場合には、dminの値をdの値に更新する。そして、dminを与える超音波断層画像を、注目病変部に最も近い断層画像として暫定的に保持する。
(S8050) (判定)
ステップS8050において、断層画像選択部660は、全ての超音波断層画像に対して処理を終えたか否かの判定を行い、処理を終えていない場合にはステップS8020へと処理を戻す。一方、処理を終えているのであればステップS8060へと処理を進める。
(S8060) (断層画像の選択)
ステップS8060において、断層画像選択部660は、ステップS8040で最後に保持した(すなわち、注目病変部までの距離が最小となる)超音波断層画像を、選択断層画像として選択する。
もし仮に、超音波断層画像の位置姿勢が精度良く計測されていて、かつ、三次元画像データ取得時と超音波断層画像撮像時の間で被検体が変形していないという理想的な条件下であれば、上記で得た選択断層画像中には対応病変部が確実に存在する。しかし実際には、超音波断層画像の位置姿勢の計測誤差や、撮影体位の差異や超音波探触子の圧力に起因する被検体の変形などの影響により、選択断層画像中に対応病変部が実際に存在するとは限らない。
なお、取得した超音波断層画像群が複数の部分断層画像群から成り立っている場合には、断層画像選択部660は、上記のステップS8020からステップS8060までの処理を、夫々の部分断層画像群に対して実行する。そして、夫々の部分断層画像群から選択断層画像の候補を1枚ずつ選択して、表示部160にこれらを並べて表示する。そして、操作者からの指示(例えば、表示した選択断層画像の候補をマウスでクリックする)に従って、最終的な選択断層画像を選択する。
(S8070) (断層画像の再選択)
ステップS8070において、断層画像選択部660は、選択断層画像の近傍の断層画像を再選択する。具体的には、選択断層画像が撮像された時刻の直前または直後に撮像された断層画像を、改めて選択断層画像として選択する。例えば、不図示のUIを介して操作者から「1フレーム前」の指示を取得した場合には、現在の選択断層画像の1時刻前に撮像した断層画像を新たな選択断層画像として選択する。同様に、「1フレーム後」の指示を取得した場合には、現在の選択断層画像の1時刻後に撮像した断層画像を新たな選択断層画像として選択する。同様に、「順方向再生」の指示を取得した場合には、本ステップの処理を実行する毎に、撮像時刻の順番に従って断層画像を順送りする(直後の時刻に撮像された断層画像を選択する)。また、「逆方向再生」の指示を取得した場合には、本ステップの処理を実行する毎に、撮像時刻の逆順に断層画像を逆送りする(直前の時刻に撮像された断層画像を選択する)。また、「停止」の指示を取得した場合には、上記「順方向再生」や「逆方向再生」の指示を無効にする(すなわち、断層画像の再選択を行わない)。その他、時系列画像の表示を操作する一般的な指示のいずれを用いて再選択を行ってもよい。なお、これらの指示は、例えば、コマンドをキーボードの特定のキーに割り当てることで入力すればよい。または、画面上に操作ボタンや操作バーを配置してマウスでクリックやドラッグするなどして入力してもよい。また、取得した超音波断層画像群が複数の部分断層画像群から成り立っている場合には、ステップS8060と同様な操作者からの指示(表示した選択断層画像の候補をマウスでクリックする)に応じて、選択する部分断層画像群を切り替える処理を行う。
ここで、位置姿勢センサの計測誤差の最大値や被検体の変形の最大値からずれの最大値が推定可能である場合には、探索範囲を限定することができる。例えば、ずれの最大値が10mmの場合には、ステップS8030で得られる距離dが10mm以内となる断層画像のみを再選択できるようにしてもよい。これによると、対応病変部の存在する可能性が高い断層画像のみが表示されるので、対応病変部を探す作業をより効率的に行うことができる。
(S8080) (断層画像の出力)
ステップS8080において、断層画像選択部660は、ステップS8060またはステップS8070で選択した選択断層画像を断層画像取得部610へと出力する。また、選択断層画像の姿勢を位置姿勢取得部612へと出力する。なお、選択断層画像の姿勢は、Tiwの一部を構成する3x3の回転行列Riwによって表すことができる。
以上のように、本実施例に係る情報処理装置によると、注目病変部の近傍を撮影しているであろう断層画像が、断層画像群から選択される。そして、注目病変部を含み、かつ、選択した断層画像と同じ姿勢の断面画像を三次元画像データ(参照断層画像群)から切り出すことができる。切り出した断面画像の姿勢が選択した断層画像の姿勢と常に一致するので、形状や周辺部の見え方等の類似性を参考にしながら、対応病変部を探すことが容易となる。
(変形例1) (超音波断層画像以外)
本実施例では、断層画像を撮影する第2医用画像収集装置180として超音波画像診断装置を用いる場合を例に述べたが、断層画像を撮影する医用画像収集装置はこれに限られるものではない。例えば、MRI装置やX線CT装置などの断層画像を撮影可能な医用画像収集装置を用いる場合にも、上記の実施例の手法が適用可能である。
(変形例2) (姿勢の設定方法)
本実施例では、夫々の断層画像と同じ姿勢の断面画像を生成する場合を例に述べた。しかし、これに限らず、断層画像の姿勢に対応して(基づいて)何れかの方法で求めた姿勢の断面画像を生成してもよい。例えば、ステップS7010で選択した断層画像の姿勢と、その前後の時刻の断層画像の姿勢との加重平均によって、生成する断面画像の姿勢を決定してもよい。これによると、姿勢の計測ノイズに起因するジッタを除去できるという効果がある。また、部分断層画像群を代表する姿勢(代表姿勢)を生成する断面画像の姿勢としてもよい。例えば、注目病変部に最も近い断層画像の姿勢を代表姿勢としてもよいし、部分断層画像群の姿勢の平均を代表姿勢としてもよい。これによると、断層画像に概ね一致する姿勢の断面画像が静止して表示されるので、画像が静止していて見やすいという効果がある。
(その他の実施例)
以上、実施例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施例の機能が達成される場合を含む。この場合、供給されるプログラムは実施例で図に示したフローチャートに対応したコンピュータプログラムである。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布するという形態を取ることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施例の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施例の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施例の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行う。
100 情報処理装置
110 断層画像取得部
112 位置姿勢取得部
120 三次元画像データ取得部
122 位置取得部
130 断面画像取得部
140 画像合成部
150 表示制御部

Claims (11)

  1. 三次元画像において指定された注目領域の位置を取得する位置取得手段と、
    超音波探触子の姿勢を取得し、被検体に対する超音波断層画像の姿勢を取得する姿勢取得手段と、
    前記三次元画像における注目領域の位置と、前記被検体に対する超音波断層画像の姿勢とに基づき、前記注目領域を通り、前記超音波断層画像の平面と異なり且つ平行な断面画像を前記三次元画像から取得する取得手段と、
    前記超音波断層画像と前記断面画像を表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置。
  2. 前記被検体の変形に応じて、前記断面画像の被検体に対する傾きを変更する変更手段を有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記超音波断層画像と前記三次元画像は、モダリティ、撮影条件、前記被検体の撮影体位、または撮影日の少なくともいずれかが異なる画像であることを特徴とする請求項1に記載の情報処理装置。
  4. 前記三次元画像はMRI画像であることを特徴とする請求項3に記載の情報処理装置。
  5. 三次元画像において指定された注目領域の位置を取得するステップと、
    超音波探触子の姿勢を取得し、被検体に対する超音波断層画像の姿勢を取得するステップと、
    前記三次元画像における注目領域の位置と、前記被検体に対する超音波断層画像の姿勢とに基づき、前記注目領域を通り、前記超音波断層画像の平面と異なり且つ平行な断面画像を前記三次元画像から取得するステップと、
    前記超音波断層画像と前記断面画像を表示部に表示させるステップとを有することを特徴とする情報処理方法。
  6. 三次元画像において指定された注目領域の位置を取得する処理と、
    超音波探触子の姿勢を取得し、被検体に対する超音波断層画像の姿勢を取得する処理と、
    前記三次元画像における注目領域の位置と、前記被検体に対する超音波断層画像の姿勢とに基づき、前記注目領域を通り、前記超音波断層画像の平面と異なり且つ平行な断面画像を前記三次元画像から取得する処理と、
    前記超音波断層画像と前記断面画像を表示部に表示させる処理と
    を有する処理をコンピュータに実行させることを特徴とするプログラム。
  7. 三次元画像において指定された注目領域の位置を取得する位置取得手段と、
    超音波探触子の姿勢を取得し、被検体に対する超音波断層画像の姿勢を取得する姿勢取得手段と、
    前記三次元画像における注目領域の位置と、前記被検体に対する超音波断層画像の姿勢とに基づき、前記注目領域を通り、前記超音波断層画像の平面と異なり且つ平行な断面画像を前記三次元画像から取得する取得手段と、
    前記超音波断層画像と前記断面画像を表示部に表示させる表示制御手段と、を有することを特徴とする情報処理システム。
  8. 三次元画像において指定された注目領域の位置を取得する位置取得手段と、
    断層画像群から断層画像を選択する断層画像選択手段と、
    該選択された断層画像の姿勢を取得する姿勢取得手段と、
    前記三次元画像における注目領域の位置と、前記断層画像の姿勢とに基づき、前記注目領域を通り、前記断層画像の平面と異なり且つ平行な断面画像を前記三次元画像から取得する取得手段と、
    前記断層画像と前記断面画像を表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置。
  9. 三次元画像において指定された注目領域の位置を取得するステップと、
    断層画像群から断層画像を選択するステップと、
    該選択された断層画像の姿勢を取得するステップと、
    前記三次元画像における注目領域の位置と、前記断層画像の姿勢とに基づき、前記注目領域を通り、前記断層画像の平面と異なり且つ平行な断面画像を前記三次元画像から取得するステップと、
    前記断層画像と前記断面画像を表示部に表示させるステップとを有することを特徴とする情報処理方法。
  10. 三次元画像において指定された注目領域の位置を取得する処理と、
    断層画像群から断層画像を選択する処理と、
    該選択された断層画像の姿勢を取得する処理と、
    前記三次元画像における注目領域の位置と、前記断層画像の姿勢とに基づき、前記注目領域を通り、前記断層画像の平面と異なり且つ平行な断面画像を前記三次元画像から取得する処理と、
    前記断層画像と前記断面画像を表示部に表示させる処理とを有する処理をコンピュータに実行させることを特徴とするプログラム。
  11. 三次元画像において指定された注目領域の位置を取得する位置取得手段と、
    断層画像群から断層画像を選択する断層画像選択手段と、
    該選択された断層画像の姿勢を取得する姿勢取得手段と、
    前記三次元画像における注目領域の位置と、前記断層画像の姿勢とに基づき、前記注目領域を通り、前記断層画像の平面と異なり且つ平行な断面画像を前記三次元画像から取得する取得手段と、
    前記断層画像と前記断面画像を表示部に表示させる表示制御手段と、を有することを特徴とする情報処理システム。
JP2009288454A 2009-12-18 2009-12-18 情報処理装置、情報処理方法、情報処理システム、及びプログラム Active JP5538861B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009288454A JP5538861B2 (ja) 2009-12-18 2009-12-18 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US13/516,661 US20120262453A1 (en) 2009-12-18 2010-12-07 Information processing apparatus, information processing system, information processing method, and computer-readable recording medium
PCT/JP2010/007109 WO2011074207A1 (en) 2009-12-18 2010-12-07 Image registration
US16/530,772 US20190355174A1 (en) 2009-12-18 2019-08-02 Information processing apparatus, information processing system, information processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009288454A JP5538861B2 (ja) 2009-12-18 2009-12-18 情報処理装置、情報処理方法、情報処理システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2011125567A JP2011125567A (ja) 2011-06-30
JP5538861B2 true JP5538861B2 (ja) 2014-07-02

Family

ID=43618675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009288454A Active JP5538861B2 (ja) 2009-12-18 2009-12-18 情報処理装置、情報処理方法、情報処理システム、及びプログラム

Country Status (3)

Country Link
US (2) US20120262453A1 (ja)
JP (1) JP5538861B2 (ja)
WO (1) WO2011074207A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286222B1 (ko) * 2011-09-19 2013-07-15 삼성메디슨 주식회사 영상을 처리하는 방법, 장치, 초음파 진단장치 및 의료영상시스템
US9058647B2 (en) * 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
KR101386102B1 (ko) * 2012-03-09 2014-04-16 삼성메디슨 주식회사 초음파 영상 제공 방법 및 그를 위한 초음파 장치
CN104303184B (zh) * 2012-03-21 2018-05-15 皇家飞利浦有限公司 整合医疗成像和活检数据的临床工作站以及使用其的方法
JP5962973B2 (ja) * 2012-05-18 2016-08-03 ソニー株式会社 画像処理装置、及び、画像処理方法
JP2014008314A (ja) * 2012-07-02 2014-01-20 Panasonic Corp 超音波診断装置および超音波診断装置の制御方法
JP6009909B2 (ja) * 2012-11-07 2016-10-19 東芝メディカルシステムズ株式会社 医用画像処理装置及び磁気共鳴診断装置
JP6342164B2 (ja) * 2013-01-23 2018-06-13 キヤノンメディカルシステムズ株式会社 超音波診断装置
JP6234043B2 (ja) * 2013-03-22 2017-11-22 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
JP6203514B2 (ja) * 2013-03-29 2017-09-27 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
EP2979642A4 (en) * 2013-03-29 2016-11-30 Hitachi Ltd IMAGE ALIGNMENT DISPLAY METHOD AND ULTRASONIC DIAGNOSTIC DEVICE
JP6397269B2 (ja) 2013-09-06 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法
KR20150077184A (ko) * 2013-12-27 2015-07-07 삼성전자주식회사 의료 영상의 병변 유사도 판단 장치 및 방법
US11051776B2 (en) 2014-06-26 2021-07-06 Koninklijke Philips N.V. Device and method for displaying image information
US10966688B2 (en) * 2014-08-26 2021-04-06 Rational Surgical Solutions, Llc Image registration for CT or MR imagery and ultrasound imagery using mobile device
US10991069B2 (en) * 2014-10-08 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for registration of medical images
JP6598565B2 (ja) * 2015-08-06 2019-10-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6681778B2 (ja) * 2016-04-27 2020-04-15 ゼネラル・エレクトリック・カンパニイ 超音波画像表示装置及びその制御プログラム
US20180235701A1 (en) * 2017-02-21 2018-08-23 General Electric Company Systems and methods for intervention guidance using pre-operative planning with ultrasound
JP6869086B2 (ja) * 2017-04-20 2021-05-12 富士フイルム株式会社 位置合せ装置および位置合せ方法並びに位置合せプログラム
CN107194166A (zh) * 2017-05-12 2017-09-22 候文平 一种移动医学影像系统
JP7119327B2 (ja) * 2017-10-03 2022-08-17 富士通株式会社 プログラム、情報処理方法及び情報処理装置
JP7568469B2 (ja) 2020-10-15 2024-10-16 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003260056A (ja) * 2002-03-08 2003-09-16 Toshiba Corp 超音波診断装置
JP4032293B2 (ja) * 2002-05-15 2008-01-16 株式会社日立メディコ 超音波−磁気共鳴複合医療装置
JP4664623B2 (ja) * 2003-06-27 2011-04-06 株式会社東芝 画像処理表示装置
WO2006059668A1 (ja) * 2004-12-03 2006-06-08 Hitachi Medical Corporation 超音波装置、超音波撮像プログラム及び超音波撮像方法
JP2006167267A (ja) * 2004-12-17 2006-06-29 Hitachi Medical Corp 超音波診断装置
JP2007125179A (ja) * 2005-11-02 2007-05-24 Olympus Medical Systems Corp 超音波診断装置
JP4820680B2 (ja) * 2006-04-12 2011-11-24 株式会社東芝 医用画像表示装置
US8290303B2 (en) * 2007-10-11 2012-10-16 General Electric Company Enhanced system and method for volume based registration
JP2009288454A (ja) 2008-05-28 2009-12-10 Canon Inc 画像形成装置及びその制御方法
US8111892B2 (en) * 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
US9521994B2 (en) * 2009-05-11 2016-12-20 Siemens Healthcare Gmbh System and method for image guided prostate cancer needle biopsy

Also Published As

Publication number Publication date
US20190355174A1 (en) 2019-11-21
WO2011074207A1 (en) 2011-06-23
JP2011125567A (ja) 2011-06-30
US20120262453A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
JP5538861B2 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP6039903B2 (ja) 画像処理装置、及びその作動方法
US8611988B2 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
US9990744B2 (en) Image registration device, image registration method, and image registration program
JP2011125568A (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
US8994720B2 (en) Diagnosis assisting apparatus, diagnosis assisting program, and diagnosis assisting method
US8712016B2 (en) Three-dimensional shape data processing apparatus and three-dimensional shape data processing method
US20110150310A1 (en) Image processing apparatus, image processing method, and program
JP2009112468A (ja) 画像位置合わせ装置及びその方法並びに画像位置合わせプログラム
JP5815513B2 (ja) 画像処理装置及び画像処理方法
EP2168492B1 (en) Medical image displaying apparatus, medical image displaying method, and medical image displaying program
JP6429958B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP3989896B2 (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
JP4767782B2 (ja) 医療画像装置
JP5383467B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP5709957B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP6299739B2 (ja) 医用画像処理装置、その制御方法、及びプログラム
JP6487999B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6263248B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5923067B2 (ja) 診断支援装置および診断支援方法並びに診断支援プログラム
JP6391544B2 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
JP5693412B2 (ja) 画像処理装置、画像処理方法
JP5592655B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R151 Written notification of patent or utility model registration

Ref document number: 5538861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140430