[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7140475B2 - 画像処理装置、画像処理方法、画像処理システム及びプログラム - Google Patents

画像処理装置、画像処理方法、画像処理システム及びプログラム Download PDF

Info

Publication number
JP7140475B2
JP7140475B2 JP2017150877A JP2017150877A JP7140475B2 JP 7140475 B2 JP7140475 B2 JP 7140475B2 JP 2017150877 A JP2017150877 A JP 2017150877A JP 2017150877 A JP2017150877 A JP 2017150877A JP 7140475 B2 JP7140475 B2 JP 7140475B2
Authority
JP
Japan
Prior art keywords
value
image
pixel
search area
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017150877A
Other languages
English (en)
Other versions
JP2019025240A (ja
Inventor
亮 石川
亨 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017150877A priority Critical patent/JP7140475B2/ja
Priority to EP18840604.5A priority patent/EP3662835A4/en
Priority to PCT/JP2018/027609 priority patent/WO2019026680A1/ja
Publication of JP2019025240A publication Critical patent/JP2019025240A/ja
Priority to US16/749,894 priority patent/US11302007B2/en
Application granted granted Critical
Publication of JP7140475B2 publication Critical patent/JP7140475B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本明細書の開示は、画像処理装置、画像処理方法、画像処理システム及びプログラムに関する。
医療の分野において、医師は、種々のモダリティで撮像した医用画像を用いて診断を行う。特に、被検体の状態の経過観察のため、異なる時刻に同一のモダリティで撮像された複数の画像を医師が対比して被検体の経時的な変化の観察が行われている。医療以外の分野においても、物体の経時的な変化を観察する場合、同様の作業が実施される場合がある。また、経時比較以外にも、同じ被検体を異なる造影条件や異なる撮像パラメータで撮像した二つの画像を対比して診断する場合がある。なお、以下では、比較される一方の画像を第1の画像、他方の画像を第2の画像と呼ぶ。
第1の画像と第2の画像の位置合わせを行い、その画像間の差異を可視化した差分画像を表示することにより、画像間の対比を支援する画像差分技術が知られている。しかしながら、位置合わせの誤差や、画像間における同一部位の濃度値の差異に起因して、差分画像上にノイズが発生するという課題がある。このような課題に対する解決策として、非特許文献1では、第1の画像上の注目画素と対応する第2の画像上の画素およびその近傍の画素との差分を夫々求め、それらの差分のうち最小値を差分画像の濃度値とする技術(ボクセルマッチング法)を開示している。これによると、対応する画素の近傍から最も輝度の近い画素同士の差分値を採用するため、差分画像上のノイズを低減することができる。
Yoshinori Itai, Hyoungseop Kim, Seiji Ishikawa, Shigehiko Katsuragawa, Kunio Doi, "Development of a voxel-matching technique for substantial reduction of subtraction artifacts in temporal subtraction images obtained from thoracic MDCT." Journal of digital imaging, vol.23, No.1, pp.31-38, 2010.
しかしながら、対応する画素の近傍から最も輝度の近い画素を取得するための計算の効率化には課題があった。
本発明の実施形態に係る画像処理装置は、離散的に配列された画素の集合で構成される対象画像を取得する第1の取得手段と、前記対象画像に、頂点の少なくとも一つは前記対象画像の画素ではない頂点である探索領域を設定する設定手段と、前記探索領域を前記探索画像の画素の位置により分割して、頂点の少なくとも一つは前記対象画像の画素である部分領域を取得する分割手段と、前記部分領域に含まれる画素値又は前記対象画像の画素の補間により得られる補間値の少なくともいずれか一方の値に基づいて、前記探索領域内における画素値又は補間値の、最大値及び最小値の少なくともいずれか一方の「値を取得する第2の取得手段と、を有することを特徴とする。
本発明の実施形態に係る画像処理装置によれば、対応する画素の近傍から最も輝度の近い画素を取得するための計算を効率的に行うことが可能となる。
第1の実施形態に係る画像処理装置の機能構成の一例を示す図である。 第1の実施形態における全体の処理手順の一例を示すフローチャートである。 第1の実施形態におけるステップS2060の処理の一例を説明する図である。 第1の実施形態におけるステップS2060の処理の一例を説明するフローチャートである。 第1の実施形態におけるステップS20602の処理の一例を説明する図である。 第1の実施形態における変形例の一例を説明する図である。 第2の実施形態における全体の処理手順の一例を示すフローチャートである。 第2の実施形態におけるステップS3060の処理の一例を説明するフローチャートである。 第2の実施形態における変形例の一例を説明する図である。 本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。 本発明の実施形態における処理を説明するための図である。
以下、図面を参照して本発明の実施形態を説明する。ただし、発明の範囲は図示例に限定されるものではない。
<第1の実施形態>
本実施形態に係る画像処理装置は、複数の3次元画像(第1の画像と第2の画像)間の3次元差分画像を取得する装置である。本実施形態の画像処理装置は、画像間の細部の差分を取得するために、第1の画像(参照画像)上の注目位置と対応する第2の画像(対象画像)上の対応位置を取得し、当該対応位置に基づいて対象領域を設定する。たとえば探索領域は、対応位置を中心に第2の画像上に設定される。このとき、比較する画像間で離散化位置のずれによって元の撮像信号が最も反映される画素の位置が最大で半画素サイズ分ずれることを利用して、探索領域のサイズを、第1の画像と第2の画像の夫々の画素サイズに基づいて取得する。そして、第1の画像上の注目位置の濃度値と、第2の画像上の対応位置の周辺に設定した探索領域内の複数の画素の濃度値との比較演算により比較値の取得を行う。具体的には、前記の濃度値の間の差分演算による差分値を取得する。そして、その値を3次元差分画像上の注目位置の濃度値とした3次元差分画像を取得する。これにより、必要最低限のサイズの探索領域から差分値を取得することで、ユーザは、経時的な変化による差分のような診断に必要な信号を極力消さずに、離散化位置のずれによるノイズが低減された3次元差分画像を観察できる。
画像処理装置100が差分画像を取得するために用いる3次元画像(医用画像)は、たとえば磁気共鳴画像診療装置、超音波画像診療装置、光超音波イメージング装置、コンピュータ断層撮影画像診療装置、陽電子放射断層撮影画像診療装置などのいずれかのモダリティにより撮影された画像である。また、近年では、上述の各種のモダリティにより得られる医用画像を含め、診療に用いられる医用画像や診療に関する各種の情報が電子化されている。撮像装置と、当該撮像装置と接続される各種の装置との間の情報連携のために、たとえばDICOM(Digital Imaging and Communications in Medicine)規格が用いられることが多い。DICOMは医用画像のフォーマットと、それらの画像を扱う装置間の通信プロトコルを定義した規格である。DICOMに基づいて取り扱われる画像、メタデータと画像データとで構成される。メタデータには、たとえば患者、検査、シリーズ、画像に関する情報が含まれる。メタデータはDICOMデータエレメントと呼ばれるデータ要素の集まりで構成される。各々のDICOMデータエレメントにはデータ要素を識別するためのタグが付加される。例えば、DICOMデータエレメントには、ピクセルデータである画像データに対して、画像データであることを示すタグが付加される。本実施形態においては、画像処理装置100により行われる処理及び画像処理装置100が用いる3次元画像(医用画像)はDICOMに則ったものであってよい。また画像処理装置100は、各種の処理に必要な情報を3次元画像(医用画像)のメタデータに含まれる情報から取得してもよいし、DICOMに則って外部装置に問い合わせて取得してもよい。
図10は、本発明の実施形態に係る画像処理装置100のハードウェア構成の一例を示す図である。画像処理装置100はたとえばコンピュータである。画像処理装置100は、CPU111、ROM112、RAM113、記憶装置114、USB115、通信回路116、グラフィックスボード117を有する。これらはBUSにより通信可能に接続されている。BUSは接続されたハードウェア間でのデータの送受信や、CPU111から他のハードウェアへの命令を送信するために使用される。
CPU(Central Processing Unit)111は画像処理装置100及びこれに接続する各部を統合的に制御する制御回路である。CPU111はROM112に格納されているプログラムを実行することにより制御を実施する。またCPU111は、表示部120を制御するためのソフトウェアであるディスプレイドライバを実行し、表示部120に対する表示制御を行う。さらにCPU111は、入力部130に対する入出力制御を行う。
ROM(Read Only Memory)112は、CPU111による制御の手順を記憶させたプログラムやデータを格納する。ROM112は、画像処理装置100のブートプログラムや各種初期データを記憶する。また、画像処理装置100の処理を実現するための各種のプログラムを記憶する。
RAM(Random Access Memory)113は、CPU111が命令プログラムによる制御を行う際に作業用の記憶領域を提供するものである。RAM113は、スタックとワーク領域とを有する。RAM113は、画像処理装置100及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶する。RAM113は、CPU111が実行する制御プログラムを格納し、CPU111が各種制御を実行する際の様々なデータを一時的に格納する。
記憶装置114は、後述する第1の画像や第2の画像などの各種のデータを保存する補助記憶装置である。記憶装置114は、たとえばHDD(Hard Disk Drive)や、SSD(Solid State Drive)である。
USB(Universal Serial Bus)115は入力部130と接続する接続部である。
通信回路116は通信ネットワーク103に接続されている各種の外部装置との通信を行うための回路である。通信回路116は、たとえば出力する情報を転送用パケットに格納してTCP/IPといった通信技術により、通信ネットワーク103を介して外部装置に出力する。画像処理装置100は、所望の通信形態にあわせて、複数の通信回路を有していてもよい。
グラフィックスボード117は、GPU(Graphics Processing Unit)、ビデオメモリを含む。GPUは、たとえば光音響信号から光音響画像を生成するための再構成処理に係る演算を行う。
HDMI(登録商標)(High Definition Multimedia Interface)118は、表示部120と接続する接続部である。
CPU111やGPUはプロセッサの一例である。また、ROM112やRAM113や記憶装置114はメモリの一例である。画像処理装置100は複数のプロセッサを有していてもよい。第1の実施形態においては、画像処理装置100のプロセッサがメモリに格納されているプログラムを実行することにより、画像処理装置100の各部の機能が実現される。
また、画像処理装置100は特定の処理を専用に行うCPUやGPU、ASIC(Application Specific Integrated Circuit)を有していても良い。画像処理装置100は特定の処理あるいは全ての処理をプログラムしたFPGA(Field-Programmable Gate Array)を有していてもよい。以下、プロセッサは本発明の実施形態に係る処理を単体で演算及び制御する一つの構成を含む。また、プロセッサは本発明の実施形態に係る処理を分散して演算及び制御する少なくとも一つの構成を含む。この観点で、ASICやFPGAはプロセッサの一例である。
図1は、本実施形態に係る画像診断システムの構成を示す。同図に示すように、本実施形態における画像処理装置100は、データサーバ110および表示部120と接続されている。
データサーバ110は、差分画像を取得する対象としてユーザが指定した、第1の画像と第2の画像を保持している。第1の画像および第2の画像は、同一のモダリティで異なる条件(日時、造影条件、撮像パラメータ等)下において、被検体を予め撮像して得られた3次元断層画像(ボリュームデータ)である。3次元断層画像を撮像するモダリティは、MRI装置、X線CT装置、3次元超音波撮影装置、光音響トモグラフィ装置、PET/SPECT、OCT装置などであってもよい。また、第1の画像および第2の画像は、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよいし、同一患者を異なる造影条件や異なる撮像パラメータで撮像した画像であってもよい。また、異なる患者を撮像した画像でもよいし、患者の画像と標準画像でもよい。第1の画像および第2の画像は、データ取得部1010を介して画像処理装置100に入力される。
表示部120は、画像処理装置100が取得する画像を表示するモニタである。
画像処理装置100は、以下の構成要素により構成される。データ取得部1010は、画像処理装置100に入力される第1の画像と第2の画像を取得する。データ取得部1010は、第1の取得手段の一例である。変形情報取得部1030は、第1の画像と第2の画像の画像上の位置の対応関係を表す変形情報を取得する。すなわち、変形情報取得部1030は第1の画像と第2の画像とを位置合わせするための変形に関する情報を取得する。探索領域サイズ取得部1040は、第1の画像と第2の画像の夫々の画素サイズに基づいて探索領域サイズを取得する。位置取得部1050は、第1の画像上の注目位置を取得し、変形情報取得部1030で取得した変形情報を用いて、第1の画像上の注目位置と対応する第2の画像上の対応位置を取得する。探索領域設定部1060は、第2の画像上の対応位置の周囲に探索領域サイズからなる探索領域を設定する。差分取得部1070は、第1の画像上の注目画素の濃度値と第2の画像上の探索領域内の濃度値との比較演算により比較値を取得する。より具体的には、差分取得部1070は探索領域内の濃度値の最大値及び最小値の少なくともいずれか一方の値と、第1の画像における注目位置の濃度値との比較演算により、注目位置の差分値を取得する。この観点で、差分取得部1070は第3の取得手段の一例である。差分画像取得部1080は、取得した差分値を注目位置の濃度値とした差分画像を取得する。表示制御部1090は、第1の画像および第2の画像、差分画像を並べて表示部120に表示させる表示制御を行う。
図2は、画像処理装置100が行う全体の処理手順のフローチャートを示している。
(S2000)(データの取得)
ステップS2000において、データ取得部1010は、画像処理装置100に入力される第1の画像と第2の画像を取得する。そして、取得した第1の画像と第2の画像を、変形情報取得部1030へと出力する。本実施例における第1の画像および第2の画像は夫々3次元画像であり、3次元の座標軸の方向毎に等間隔に配列した画素の集合である。本実施例における、第1の画像の画素の間隔(以後、画素サイズとも呼ぶ)は座標軸毎に(Vs1_x, Vs1_y, Vs1_z)とする。同様に第2の画像の画素の間隔(画素サイズ)は座標軸毎に(Vs2_x, Vs2_y, Vs2_z)とする。本実施例における補間は、一例として線形補間を用いることとする。本処理ステップにおいて、データ取得部1010は、上記の第1の画像と第2の画像の画素サイズに関する情報を、探索領域サイズ取得部1040へと出力する。
なお、本実施例では、第1の画像の濃度値をI1(x)、第2の画像の濃度値をI2(x)と関数の形式として表記する。ここでI1(x)およびI2(x)は、それぞれの画像座標における三次元の位置xを引数とし、その位置における各画像の濃度値を返す関数とする。この関数は各画像に離散的に存在する画素の位置に関わらず、連続的な任意の位置を引数としてとり、前記画素の補間によって濃度値を返す。本実施例における画像処理装置100は、上記の補間処理の機能を持ち、後述する一連の処理の説明の中で各画像の補間処理を行う際に実行される。
また、本実施例では画像の補間処理として線形補間を用いる場合を例として説明するが、本発明の実施はこれに限らず、キュービック補間やスプライン補間など他の補間方法を用いても良い。
(S2020)(変形情報の取得)
ステップS2020において、変形情報取得部1030は、第1の画像と第2の画像間で同一部位を表す画素が略一致するように変形情報を取得する。すなわち、第1の画像と第2の画像との間の位置合わせ処理(変形推定処理)を行う。そして、取得した変形情報を位置取得部1050へと出力する。
本実施形態において、変形情報は公知の画像処理手法により求める。例えば、変形後の画像間の画像類似度が高くなるように、一方の画像を変形させることにより求める。画像類似度としては、一般的に用いられているSum of Squared Difference(SSD)や相互情報量、相互相関係数などの公知の方法を用いることができる。また、画像の変形のモデルとしては、Thin Plate Spline(TPS)などの放射基底関数に基づく変形モデルや、Free Form Deformation(FFD)、Large Deformation Diffeomorphic Metric Mapping(LDDMM)等の公知の変形モデルを利用できる。なお、第1の画像と第2の画像の間に位置と姿勢の差異しか存在しない(そのように近似できる)場合には、画像間の剛体位置合わせを行い、位置と姿勢の変換パラメータを変形情報として取得するようにしてもよい。また、画像間のアフィン変換パラメータを変形情報として取得するようにしてもよい。また、画像間の位置ずれがない(そのように近似できる)場合には、本ステップの処理は不要となる。
本実施例では上記の処理により取得した変形情報をDef(x)と表記する。ここでDef(x)は第1の画像の画像座標における三次元の位置xを引数として、それに対応する第2の画像の画像座標における三次元の位置を返す関数である。
(S2030)(探索領域サイズの取得)
ステップS2030において、探索領域サイズ取得部1040は、第1の画像の画素サイズと第2の画像の画素サイズに基づいて、差分値の取得に用いる探索領域サイズを取得する。そして、取得した探索領域サイズを探索領域設定部1060へと出力する。
本実施形態において、探索領域サイズの取得は、第1の画像と第2の画像間で画像取得時における離散化位置のずれの大きさに関する性質に基づいて行う。具体的には、第1の画像と第2の画像間の被検体の元の撮像信号が最も反映される画素の位置が最大で夫々の画像の半画素サイズの和だけずれるという性質を利用する。この性質について図11を用いて後述する。
すなわち探索領域サイズ取得部1040は、第1の画像と第2の画像夫々の半画素サイズの和を、探索領域サイズとして取得する。本実施形態では、探索領域サイズを座標軸毎に、それぞれSx, Sy, Szと表記する。すなわち、Sx=(Vs1_x+Vs2_x)/2, Sy=(Vs1_y+Vs2_y)/2, Sz=(Vs1_z+Vs2_z)/2として、探索領域サイズを取得する。
なお、探索領域サイズは、上記の値(第1の画像と第2の画像夫々の半画素サイズの和)に所定の係数を乗算した値であってもよい。また、第1の画像と第2の画像の画素サイズに応じて、予め定めた所定の探索領域サイズを設定するようにしてもよい。また、画像種別(モダリティや撮像方法の違い)や、観察部位の種別に応じて、予め定めた所定の探索領域サイズを用いてもよい。また、ユーザが事前に設定した探索領域サイズを用いてもよい。
以下に説明する、ステップS2040からステップS2060の処理は、ステップS2070の判定処理で所定の判定が行われるまで繰り返して処理される。
(S2040)(位置の取得)
ステップS2040において、位置取得部1050は、第1の画像上の注目位置(注目画素)を取得し、ステップS2020で取得した変形情報を利用して注目位置と対応する第2の画像上の対応位置を取得する。そして、取得した位置を探索領域取得部1060および差分取得部1070へと出力する。本実施形態では第1の画像上の注目位置をpos1と表記し、注目位置と対応する第2の画像上の対応位置をpos2と表記する。本処理ステップでは具体的には pos2 = Def(pos1) の計算処理を行う。
(S2050)(探索領域の設定)
ステップS2050において、探索領域設定部1060は、ステップS2030で取得した探索領域サイズ(Sx, Sy, Sz)からなる探索領域を、第2の画像上の対応位置pos2を中心とした周囲に設定する。そして、設定した探索領域の情報を差分取得部1070へと出力する。
この処理について図3を用いて詳しく説明する。本実施例の処理は3次元画像に対して実行するものであるが、ここでは紙面での説明の都合上、2次元の図を例示して説明する。図3において、4010は第2の画像を構成する各画素を表している。ここで画素4010は第2の画像の画像座標の座標軸毎に等間隔に並んだ状態で配置される。4015はステップS2040で取得した対応位置pos2を表している。そして、4020は本処理ステップにより設定する探索領域を表している。本実施例では探索領域4020は、対応位置4015を中心とした直方体領域とする。すなわち、位置(pos2_x - Sx/2 , pos2_y - Sy/2 , pos2_z -Sz/2)と位置(pos2_x + Sx/2 , pos2_y + Sy/2 , pos2_z + Sz/2)を対角頂点とし、座標軸の方向と平行な直方体を探索領域として設定する。本実施例では、この探索領域をΩ_pos2とも表記する。
(S2060)(差分値の取得)
ステップS2060において、差分取得部1070は、第1の画像上の注目位置pos1の濃度値と、ステップS2030で設定した探索領域Ω_pos2における第2の画像の濃度値とに基づいて、差分画像に与える差分値を取得する。そして、差分値を差分画像取得部1080へと出力する。より具体的な処理は以下の通りである。まず、離散的に配列された画素の集合である第2の画像を、探索領域Ω_pos2の内部において空間的に連続に補間を行った場合に取得される濃度値のうち、第1の画像上の注目位置pos1の濃度値I1(pos1)に最も近い濃度値I2_nearを取得する。そして、そのI2_nearとI1(pos1)との差分値I_diff = I1(pos1)-I2_nearを取得する。
図11は、画像間での離散化位置のずれによって、離散化後の画素値に違いが生じる様子を説明するための図である。図11(a)はそれぞれ、縦軸が信号値、横軸がx軸方向の位置を表すグラフである。グラフ5000及びグラフ5040は、本来同じ信号値を示すものであるが、離散化位置が異なる。離散化位置をグラフ上の線5030で示す。
図11(b)は図11(a)のグラフ5000及びグラフ5040を離散化して生成した画素の情報を、縦軸を濃度値、横軸をx軸方向の位置として表したものである。画素5080は図11(a)に示す信号5020を多く含む領域から生成された画素であり、グラフ5070の他の画素よりも大きい濃度値を有する。グラフ5070とグラフ5090とを比較すると、同じ信号に由来する同じ位置の画素であっても、離散化位置のずれにより画素値が異なっている。
図11(c)は、図11(b)のグラフ5070及びグラフ5090のそれぞれに表される画素を解像度変換した画素の濃度値と位置を表すグラフである。解像度変換は、たとえば画素をアップサンプリングし、最近傍補間や線形補間、キュービック補間等により濃度値を補間する処理である。図11(c)において画素5110が信号5020を最も反映している画素であり、画素5130が信号5060を最も反映している画素である。
図11(a)~(c)に示すように、同じ信号に由来する画素値であっても、その離散化位置のずれによって図11(b)や図11(c)に示すように、当該信号を最も反映する画素の位置にずれが生じる。信号に対する離散化位置のずれによって生じる、当該信号を最も反映する画素は、元の信号の位置に対して最大で半画素分ずれると考えられる。
同じ信号を画像化していると考えられる画像同士の差分処理において、画素値の差分がゼロとなることが好ましい。しかしながら、上述したように離散化位置のずれによって、必ずしも同じ位置の画素値の差分がゼロにならない場合がある。したがって、本実施形態ではI2_nearを取得する。図(b)の画素5080を注目位置pos1とした場合に、本実施形態ではたとえば画素5130の濃度値をI2_nearとして探索し取得することを目的とする。
ここで、I2_nearを取得する単純な方法としては、第2の画像を探索領域Ω_pos2の範囲で連続的に補間処理を行い、その補間結果とI1(pos1)とを比較する処理を行うことが考えられる。しかし、真に連続的な補間処理を行うためには、無限回の補間処理と比較処理の実行が必要になる。そのため、探索領域Ω_pos2を適度なステップサイズでサンプリングし、そのサンプリング位置における有限回の処理によって近似解を求めるのが一般的に周知された方法である。
本実施例では、上記のような近似解を求める方法ではなく、連続的な補間処理により理論的に得られる解を有限回の計算処理により取得する方法について説明する。
この方法によるステップS2060の処理について、図4のフローチャートを用いて詳しく説明する。
(S20602):探索領域を複数の直方体領域に分割
ステップS20602において、差分取得部1070は、ステップS2050の処理により設定した探索領域Ω_pos2について、その領域を複数の直方体領域に分割する処理を実行する。ここで、探索領域の分割された複数の直方体領域のそれぞれが、当該探索領域に含まれる部分領域の一例である。当該直方体領域は第2の画像の画像座標の軸と平行である。
この処理について図5を用いて詳しく説明する。本実施例の処理は3次元画像に対して実行するものであるが、ここでは紙面上での説明の都合により2次元の場合の図を例示して説明する。図5において、4010は第2の画像を構成する各画素を表しており、4020はステップS2050の処理により設定した探索領域Ω_pos2を表している。4030は、探索領域4020を分割した複数の直方体領域である。本処理ステップでは、後述する方法により探索領域4020を直方体領域4030に分割する処理を実行する。まず、探索領域4020の輪郭と、画素4010の隣接画素間を結んだ線分との交点を分割頂点4040として設定する。また探索領域4020の頂点位置も同様に分割頂点4040として設定する。さらに、画素4010のなかで探索領域4020に含まれる画素の位置も分割頂点4040として設定する。そして、上記の処理により設定された分割頂点4040を頂点とする直方体領域で探索領域4020を分割し、直方体領域4030を取得する。本実施例では探索領域4020をN_sr個の直方体領域4030で分割される場合を例として説明する。分割後の直方体領域4030の頂点4040の位置を本実施例ではV_ijと表記する。ここで、添え字のiはN_sr個の直方体のインデックスを表す。またjは直方体の8つの頂点の夫々のインデックスを表す。すなわち、1≦i≦N_sr、1≦j≦8、である。
(S20604):頂点位置の濃度値取得
ステップS20604において、差分取得部1070は、ステップS20602で分割したN_sr個の直方体領域4030の夫々の頂点の位置V_ijにおける第2の画像の濃度値I2_s_ijを取得する処理を実行する。すなわち、I2_s_ij = I2(V_ij)の計算処理を実行する。ここで位置V_ijが画素4010のいずれかの画素の位置と同一の位置である場合には、当該画素の値をI2_s_ijとして取得し、そうでない場合には位置V_ijにおける第2の画像の濃度値を補間処理により取得する。
(S20606):濃度値の最大値・最小値取得
ステップS20606において、差分取得部1070は、ステップS20604で取得した全ての頂点位置の濃度値I2_s_ij (1≦i≦N_sr、1≦j≦8)の最大値I2_maxおよび最小値I2_minを取得する処理を実行する。
Figure 0007140475000001
以上によって得られるI2_maxは、探索領域Ω_pos2内の濃度値の最大値を、I2_minは探索領域Ω_pos2内の濃度値の最小値を表している。この観点で、差分取得部1070は探索領域に含まれる部分領域において、当該部分領域に含まれる画素値又は対象画像である第2の画像の画素の補間により得られる補間値の少なくともいずれか一方の値に基づいて、探索領域内における画素値又は補間値の、最大値及び最小値を取得する第2の取得手段の一例である。
なお、直方体領域4030の頂点の位置V_ijは、第2の画像の画素と同じ位置の場合がある。その場合、濃度値I2_s_ijは当該画素の画素値である。したがって、濃度値I2_s_ijは探索領域内における画素値又は補間値の少なくともいずれかとなる。
(S20608):差分値の取得
ステップS20608において、差分取得部1070は、ステップS2040で取得した第1の画像における注目位置pos1の濃度値I1(pos1)と、S20606で取得した最大値I2_maxおよび最小値I2_minに基づいて差分値I_diffを取得する処理を実行する。具体的には、数2に示す計算により差分値I_diffを取得する。
Figure 0007140475000002
すなわち、濃度値I1(pos1)が最小値I2_minから最大値I2_maxの範囲内に含まれている場合には、0を差分値I_diffに設定する。一方、濃度値I1(pos1)が最小値I2_minより小さい場合には、濃度値I1(pos1)と最小値I2_minの差分を差分値I_diffに設定する。また、濃度値I1(pos1)が最大値I2_maxより大きい場合には、濃度値I1(pos1)と最大値I2_maxの差分を差分値I_diffに設定する。これにより差分値I_diffは、I1(pos1)と探索範囲内の様々な位置におけるI2の値との差分値として取り得る値のうち、絶対値が最も小さい値が設定される。
上記のステップS20602からS20608の処理により、本実施例におけるステップS2060の処理が実行される。
上記の処理では探索領域4020の内部において第2の画像を線形補間処理した場合の濃度値の最大値と最小値を取得し、その最大値および最小値と、第1の画像における注目位置の濃度値との比較により差分値を取得する処理に相当する。これは、以下の事により確認できる。すなわち、(1)所定の直方体領域で画像を線形補間した補間画像の濃度値は、その直方体の頂点位置の濃度値の最大値と最小値の範囲を超えることは無い。また、(2)所定の領域内を連続的に線形補間した画像では、その補間値の最大値と最小値の間の何れの濃度値も、前記領域の内部に存在する。したがって、前記直方体領域を線形補間した場合の濃度値の最大値および最小値は、前記直方体の頂点位置にある濃度値の最大値および最小値と一致する。そして、複数の直方体が結合して構成される任意の領域を線形補間した場合の濃度値の最大値と最小値は、その領域を構成する各直方体の頂点位置の濃度値の最大値と最小値と一致する。
上記の例では画像の補間処理の方法として線形補間を用いた場合について説明したが、頂点位置の濃度値の最大値と最小値の範囲を超えないような補間処理であれば、いかなる補間処理を用いても良い。また頂点位置の濃度値の最大値と最小値の範囲を超える場合がある補間処理であっても、補間領域の濃度値の最大値と最小値の近似値として、頂点位置の濃度値の最大値と最小値を用いることも本発明の一つの実施形態となる。
上記の処理によれば、第二の画像を連続的に補間した場合の、探索領域4020の範囲内の濃度値と、第1の画像の注目位置の濃度値との間の差分値を効率的に取得できる。
(S2070)(注目位置を変更する)
ステップS2070において、位置取得部1050は、第1の画像上の全ての位置における差分値を取得したか否かの判定を行う。すべての位置の差分値を取得した場合、ステップS2080へと処理を進める。一方、すべての位置における差分値を取得していない場合、ステップS2040へと処理を戻す。そして、第1の画像上において差分値が未取得の位置(画素)を新たな注目位置(注目画素)として設定して、ステップS2040以降の処理を再度実行する。
なお、本実施形態において、差分値の取得を行うのは第1の画像上のすべての位置(全画素)ではなく、あらかじめ公知の画像処理技術により抽出した第1の画像上の一部の位置、例えば注目する臓器の領域を表す画素のみでもよい。また、所定の間隔で間引いた画素を注目位置としてもよい。これにより、ノイズ低減に要する処理時間を低減することができる。
(S2080)(差分画像の取得)
ステップS2080において、差分画像取得部1080は、第1の画像上の夫々の位置(注目画素)における差分値を濃度値とした差分画像を取得する。そして、得られた差分画像をデータサーバ110へと保存する。また、表示制御部1090へと出力する。
(S2090)(差分画像の表示)
ステップS2090において、表示制御部1090は、ステップS2080で取得した差分画像(第1の差分画像)を表示部120に表示する制御を行う。
表示の例としては、例えば、夫々の画像(3次元画像)の断面画像を表示してもよいし、投影画像を表示してもよい。例えば、一つの画面を縦または横に分割して第1の画像、第2の画像、差分画像を夫々並べて表示してもよい。また、第1の画像または第2の画像と異なる色で描画した差分画像を重ね合わせて表示してもよいし、第1の画像および第2の画像、差分画像のいずれか一つのみを選択して(同一位置に自由に切り替えて)表示できるようにしてもよい。また、いずれかの画像の解像度に合わせ、他方の画像を拡大または縮小して表示してもよいし、第1の画像上の一つの注目位置に対応する第2の画像の対応位置および差分画像の注目位置が合うように、夫々並べて表示してもよい。
以上によって、画像処理装置100の処理が実施される。
以上により、離散化位置のずれを考慮した適切な大きさの範囲を探索した差分値を高い計算効率で取得できる。これにより、差分画像上の必要な信号を残し、かつ、画像間の離散化位置のずれによる濃度値の差から生じたノイズが低減された差分画像をユーザに供することができる。
(変形例1-1):探索領域が楕円体の場合
本発明の第1の実施形態ではステップS2050で設定する探索範囲の形状が直方体である場合を例として説明したが、本発明の実施はこれに限定されず、任意の形状であってよい。例えば、探索領域はステップS2030で取得した探索領域サイズに基づいて定める大きさの楕円体形状の領域であっても良い。この場合について図6を用いて説明する。
図6(a)において、4010は第2の画像を構成する画素である。4021はステップS2030で取得した探索領域サイズに基づいてステップS2050で設定する楕円体の形状の探索領域である。探索領域4021の形状の一例として、ステップS2030で取得した各軸方向のサイズSx, Sy, Szに基づいて、各軸方向の楕円の直径を定めるようにできる。例えば、Sx, Sy, Szの定数倍を各軸方向の楕円の直径とする。そして、ステップS20602の処理として、図6(b)に示すように、上記探索領域を包含するような、細分化した複数の直方体4031を取得する処理を実行する。この直方体は、画素4010の画素間隔の半分の大きさを各軸方向のサイズとするものである。この細分化した直方体の各々のうち、その体積の半分以上が探索領域4021とオーバーラップしているものを選択することで、図6(c)に示す選択直方体4032を取得する。そして、選択直方体4032について、図6(d)隣接するもの同士を結合して、より少ない頂点で構成される直方体の集合4033へと変換する。そして、これらの直方体の集合4033を対象としてステップS20604以降の処理を実行する。なお、図6では画素間を2分割した直方体を生成する場合を例として説明したが、分割数はそれ以外(例えば、3分割以上や、分割なし)であってもよい。
以上の処理によれば、第1の実施形態で説明した直方体の探索領域以外の形状を探索領域とすることができる。これにより、第1の画像、第2の画像を撮影したモダリティの撮像特性(離散化の特性等)に応じた適切な探索領域を設定できる。これにより、さらに高い品質で差分画像を取得できる効果がある。
<第2の実施形態>
第1の実施形態ではステップS20602で分割した直方体の全ての頂点位置V_ijの濃度値を取得して、それらの最大値・最小値を取得する場合を例として説明した。しかし、本発明の実施はこれに限らない。本発明の第2の実施形態では、より効率的に前記最大値・最小値を取得する処理手順について説明する。
第2の実施形態の画像処理装置の機能構成は第1の実施形態の画像処理装置の機能構成と同様であるため、図1を本実施形態における画像処理装置の機能構成を説明する図として用いる。ここでは詳細な説明を省略する。
第2の実施形態における画像処理装置が実行する全体の処理フローを図7に示す。第2の実施形態におけるステップS3000からステップS3050の処理は、第1の実施形態におけるステップS2000からステップS2050の処理と同様であるため、ここでは説明を省略する。また、ステップS3070からステップS3090の処理は第1の実施形態におけるステップS2070からステップS2090の処理と同様であるため、ここでは説明を省略する。
以下、第1の実施形態と処理内容が異なるステップS3060について説明する。
(S3060)(差分値の取得)
ステップS3060において、差分取得部1070は、第1の画像上の注目位置pos1の濃度値と、ステップS3030で設定した探索領域Ω_pos2における第2の画像の濃度値とに基づいて、差分画像に与える差分値を取得する。そして、取得した差分値を差分画像生成部1080へと出力する。図8は、第2の実施形態における画像処理装置が実行するステップS3060の処理を詳しく説明するフローチャートである。以下、フローチャートに沿って説明する。
(S30601):注目点の濃度値を取得
ステップS30601において、差分取得部1070は第1の画像の注目点の位置における濃度値I1_sを取得する処理を実行する。
(S30602):探索領域を複数の直方体領域に分割
ステップS30602において、差分取得部1070はステップS2050で設定した探索領域を複数の直方体に分割する処理を実行する。この処理は第1の実施形態のステップS20602と同様の処理であるため、詳しい説明は省略する。
(S30603):最大値・最小値の初期化
ステップS30603において、差分取得部1070は、後述するステップS30604からステップS30608までの繰り返し処理により更新する、スカラ変数I_maxおよびI_minを値0で初期化する。
以下、ステップS30602で取得した分割直方体の頂点位置V_ijの夫々について、処理対象の頂点位置を逐次的に切り替えながら、ステップS30604からステップS30608の処理を、繰り返して実行する。この繰り返しの処理の中で、変数I_maxおよびI_minは適宜更新される。
(S30604):頂点の選択
ステップS30604において、差分取得部1070は、処理対象の複数の頂点位置V_ijの中で、後述するステップS30605以降の処理をまだ行っていない頂点を選択し、処理を次ステップへと進める。
本実施例では一例として、V_ijの添え字であるiとjの夫々を昇順に変更しながら二重ループでステップS30605からステップS30608の処理を繰り返して実行する。そして、ステップS30608で全ての頂点の処理が終了したか否かの判定を行う場合について説明する。ここではステップS30604が選択した頂点位置をV_selとして、以降の説明を行う。
(S30605):分割直方体の頂点の濃度値を取得
ステップS30605において、差分取得部1070は、ステップS30604で選択した頂点位置V_selにおける、第2の画像の濃度値I2_sel=I2(V_sel)を取得する処理を実行する。この処理は第1の実施形態におけるステップS20604と同様の処理により実行されるため、ここでは詳しい説明は省略する。
(S30606):I_max, I_minの更新
ステップS30606において、差分取得部1070はステップS30604で取得した濃度値I2_selに基づいて、変数I_max, I_minを更新する処理を実行する。具体的には本処理ステップを実行する前の変数I_maxがI2_selよりも小さい場合にはI_maxをI2_selへと更新する。また、変数I_minがI2_selよりも大きい場合にはI_minをI2_selへと更新する。ただし、本処理ステップが最初に実行される場合には、本処理ステップを実行する前の変数I_max, I_minの値に関わらず、夫々の変数をI2_selへと更新する。
(S30607):濃度値I1_sとI_max, I_minとの比較
ステップS30607において、差分取得部1070はステップS30601で取得した第1の画像の注目位置における濃度値I1_sと、ステップS30606で更新された変数I_max、I_minとの値が所定の条件を満たすか否かを判定する。所定の条件とはたとえば、濃度値I1_sと、最大値I_max、最小値I_minとの大小関係である。具体的には、I_min≦I1_s≦I_maxを満たす場合には、最大値と最小値の更新処理を途中で打ち切り、ステップS30609へと処理を進める。一方、そうでない場合にはステップS30608へと処理を進める。
(S30608):処理を行う頂点を変更する
ステップS30608において、差分取得部1070はステップS30602で取得した分割直方体の頂点位置V_ijの全てに対する処理を行った否かの判定を行う。頂点位置V_ijの全てに対する処理が行われた場合にはステップS30609へと処理を進める。そうでない場合にはステップS30604へと処理を進めて未処理の頂点位置に関する処理を継続する。
(S30609):差分値の取得
ステップS30609において、差分取得部1070はステップS30601で取得したI1_sおよび、ステップS30604からステップS30608の繰り返し処理で更新されたI_max、I_minに基づいて、差分値I_diffを取得する。具体的には、数3に示す計算処理によりI_diffを取得する。
Figure 0007140475000003
以上に説明したステップS30601からステップS30609の処理により、本実施形態のステップS3060の処理が実行される。
以上に説明した手順により第2の実施形態の画像処理装置の処理が実行される。第2の実施形態によれば、第1の実施形態と比べて、頂点位置の画像の補間処理の回数を低減できる効果があるため、より高い計算効率で処理を行える効果がある。
(変形例2-1):補間不要な端点を先に計算する
上述した第2の実施形態のステップS3060の処理の中では、ステップS30602で分割した直方体の頂点位置V_ijの夫々について、添え字のiおよびjを昇順に変更しながら順に処理を行う場合を例として説明した。しかし、本発明の実施はこれに限らない。例えば、差分取得部1070は、頂点位置における画素値又は補間値の取得の計算コストの大きさに基づいて、処理の順番を定める。具体的には、差分取得部1070はステップS30604において、V_ijの中から、第2の画像の画素の位置と同一の位置の頂点(補間せずに画素値がそのまま濃度値として使える頂点位置)を優先的に選択するようにしても良い。これにより、ステップS30605の処理として補間処理が不要で計算コストの低い頂点を対象とした処理が先に実行されることになる。ステップS30604からステップS30608の繰り返し処理は、ステップS30607の条件判定によって、全頂点の演算を行うことなく中断されることがある。そのため、上記の方法による処理の順番の変更により、第2の実施形態と比べて、さらなる計算効率の向上が期待される。
(変形例2-2):最大値または最小値のいずれか一方だけを更新する
上述した第2の実施形態のステップS3060の処理では、ステップS30604からステップS30606の処理を繰り返し実行することで、探索領域内の第2の画像の濃度値の最大値および最小値を取得する場合を例として説明した。しかし、本発明の実施はこれに限らない。例えば、前記ステップS30604からステップS306060の繰り返し処理を最初に実行した際に、ステップS30605で取得した処理対象の頂点位置の濃度値が、第1の画像の注目位置の濃度値よりも大きいか小さいかを判定する。例えば、処理対象の頂点位置の濃度値I2_selが、注目位置の濃度値I1_sよりも大きい場合には、上記の繰り返し処理の2回目以降では、処理対象の頂点位置の濃度値の最小値I_minの更新を行い、最大値I_maxの更新を省略するようにできる。そして、ステップS30607では、上記の最小値I_minが、注目位置の濃度値I1_sを下回った場合には差分値I_diffを0として処理をステップS30609に進める。そうでない場合は、I_diff = I1_s - I_minと計算して、処理をステップS30608に進める。同様に上記繰り返し処理を最初に実行した際にI2_selがI1_sよりも小さい場合には、上記の繰り返し処理の2回目以降では、処理対象の頂点位置の濃度値の最大値I_maxの更新を行い、最小値I_minの更新を省略するようにできる。そして、ステップS30607では、上記の最大値I_maxが、注目位置の濃度値I1_sを上回った場合には差分値I_diffを0として処理をステップS30609に進める。そうでない場合には、I_diff = I1_s - I_maxと計算して、処理をステップS30608に進める。
上記の方法によれば、ステップS30604からステップS306060の繰り返し処理を、最大値または最小値のいずれか一方だけを更新する処理に簡略化できるため、計算効率の向上が期待される。この観点で、差分取得部1070は探索領域に含まれる部分領域において、当該部分領域に含まれる画素値又は対象画像である第2の画像の画素の補間により得られる補間値の少なくともいずれか一方の値に基づいて、探索領域内における画素値又は補間値の、最大値及び最小値の少なくともいずれか一方の値を取得する第2の取得手段の一例である。
(変形例2-3):補間値を計算する端点の選択(計算不要な端点の処理を省略)
上述した第2の実施形態のステップS3060の処理では、未処理の頂点位置V_ijをステップS30604で処理対象の頂点位置として無条件に順次選択して、ステップS30705からS30607の処理を実行する場合を例として説明した。しかし、本発明に実施はこれに限らない。例えば、ステップS30604において、未処理の頂点位置V_ijを無条件に選択するのではなく、後述する条件判定を実行し、その結果によってステップS30605からステップS30607の処理を実行するか否かを切り替えるようにしても良い。この場合の処理方法について図9を用いて説明する。
図9において、40101~40104は第2の画像の画素である。また、40401~40404はステップS30602で分割した直方体の頂点位置である。着目する頂点位置が40401である場合、第2の実施形態のステップS30604では当該位置の第2の画像の濃度値を画素40101から40104の画素値を補間して取得する。そして、ステップS30606で前記補間値に基づいてI_min、I_maxの更新を行う。しかし、前記補間値の取得に用いられる画素40101から40104の何れの画素の画素値もI_minとI_maxの値の範囲内である場合には、当該頂点に関するステップS30605からステップS30607の処理を省略しても良い。つまり、当該頂点位置は処理済として、ステップS30605からS30607の処理を実行せずに、ステップS30608へと処理を進めるようにできる。このように処理を実行した場合であっても、ステップS3060によって取得される差分値は、第2の実施形態で実行した場合の差分値と同一になる。これは、画素40101から40104を補間して取得する頂点位置における濃度値は、当該補間処理に用いられる画素の画素値の最大値を超えたり、最小値を下回ったりしない特性による。つまり、画素40101から40104の何れの画素の画素値もI_minとI_maxの値の範囲内である場合には、頂点40401における第2の画像の濃度値もI_minとI_maxの値の範囲内になることが明らかである。すなわち、ステップS30605で当該頂点位置の濃度値を補間処理によって取得したとしても、続くステップS30606でI_minおよびI_maxが更新されることは無い。そのため、ステップS30605からステップS30607の処理を省略しても結果に影響を与えない。
また処理対象の頂点が図9の40402の場合には、当該位置の濃度値を補間により取得する場合にもちる画素40102および画素40104の画素値がI_minとI_maxの値の範囲内であるか否かを判定する。そして、前記と同様にして処理の省略を判定するようにできる。
以上に説明した方法によれば、計算結果を変えることなく、第2の画像の濃度値の補間処理の回数を低減させることができる。そのため、第2の実施形態と比べて、さらなる計算効率の向上が期待される。
<変形例>
上述の実施形態では、データ取得部1010が第1の画像及び第2の画像をデータサーバ110から取得する場合を例に説明したが、これに限らない。たとえばデータ取得部1010はモダリティ(不図示)から第1の画像及び第2の画像の少なくともいずれか一方の画像を取得してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の各実施形態における画像処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。画像処理装置および画像処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (18)

  1. 離散的に配列された画素の集合で構成される対象画像を取得する第1の取得手段と、
    前記対象画像に、頂点の少なくとも一つは前記対象画像の画素ではない頂点である探索領域を設定する設定手段と、
    前記探索領域を前記対象画像の画素の位置により分割して、頂点の少なくとも一つは前記対象画像の画素である部分領域を取得する分割手段と、
    前記部分領域の頂点の位置における前記対象画像の画素値又は前記対象画像の画素の補間により得られる補間値の少なくともいずれか一方の値に基づいて、前記探索領域内の任意の位置の画素値又は補間値としてとりうる最大値及び最小値の少なくともいずれか一方の値を取得する第2の取得手段と、
    を有する画像処理装置。
  2. 前記第2の取得手段は、前記探索領域を前記対象画像の画素の位置により分割して得られる前記部分領域の頂点の位置における前記対象画像の画素値又は補間値に基づいて、前記探索領域内における画素値又は補間値の、前記最大値及び前記最小値の少なくともいずれか一方の値を取得することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第2の取得手段は、前記探索領域内の任意の位置の画素の画素値または補間値としてとりうる最大値又は最小値の少なくともいずれか一方の値を、前記部分領域の頂点の位置における前記画素値または前記補間値に基づいて取得することを特徴とする請求項2に記載の画像処理装置。
  4. 前記第1の取得手段は参照画像をさらに取得し、
    前記設定手段は、前記参照画像における注目位置に対応する前記対象画像における位置である対応位置に基づいて前記探索領域を設定することを特徴とする請求項1乃至請求項3のいずれか1項に記載の画像処理装置。
  5. 前記第2の取得手段により取得された前記最大値及び前記最小値の少なくともいずれか一方の値と、前記参照画像における前記注目位置の画素値との比較演算により比較値を取得する第3の取得手段をさらに有することを特徴とする請求項4に記載の画像処理装置。
  6. 前記第3の取得手段は、前記最大値及び前記最小値の少なくともいずれか一方の値と、前記注目位置の画素値との前記比較演算において、前記画素値と前記探索範囲内の前記画素値又は前記補間値との差分値としてとりうる値のうち絶対値が最も小さくなる値を前記比較値として取得することを特徴とする請求項5に記載の画像処理装置。
  7. 前記第3の取得手段は、(1)前記注目位置の画素値が前記最大値以下であり、かつ前記最小値以上である場合には、前記比較値を0とし、(2)前記注目位置の画素値が前記最大値以上である場合には、前記比較値を前記画素値と前記最大値との差分値とし、(3)前記注目位置の画素値が前記最小値以下である場合には、前記比較値を前記画素値と前記最小値との差分値とすることを特徴とする請求項5又は請求項6のいずれか1項に記載の画像処理装置。
  8. 前記第3の取得手段は、前記探索領域に含まれる部分領域のそれぞれの頂点の中から、処理対象とする頂点を逐次的に切り替えながら、前記最大値と前記最小値とを取得する繰り返し処理を行い、前記参照画像の前記注目位置における画素値と、前記最大値及び前記最小値との間の大小関係が所定の条件を満たした場合に前記繰り返し処理を終えることを特徴とする請求項5乃至請求項7のいずれか1項に記載の画像処理装置。
  9. 前記所定の条件は、前記注目位置における画素値が前記最大値以下であり、かつ前記最小値以上であることを特徴とする請求項8に記載の画像処理装置。
  10. 前記第3の取得手段は、前記繰り返し処理において、前記頂点の位置における前記対象画像の画素値又は補間値の取得の計算コストの大きさに基づいて、処理の順番を定めることを特徴とする請求項8又は請求項9のいずれか1項に記載の画像処理装置。
  11. 前記第3の取得手段は、前記参照画像の前記注目位置と、前記対象画像と前記参照画像とを位置合わせするための変形に関する情報とに基づいて、前記対応位置に関する情報を取得することを特徴とする請求項5乃至請求項10のいずれか1項に記載の画像処理装置。
  12. 前記第3の取得手段により取得された前記比較値に基づいて差分画像を取得する第4の取得手段をさらに有することを特徴とする請求項5乃至請求項11のいずれか1項に記載の画像処理装置。
  13. 前記第3の取得手段により取得された前記比較値に基づいて取得される差分画像を表示部に表示させる表示制御手段をさらに有することを特徴とする請求項5乃至請求項12のいずれか1項に記載の画像処理装置。
  14. 前記探索領域は、前記対象画像の画像座標の軸と平行な直方体領域であることを特徴とする請求項1乃至請求項13のいずれか1項に記載の画像処理装置。
  15. 離散的に配列された画素の集合で構成される対象画像を取得する第1の取得手段と、
    前記対象画像に、頂点の少なくとも一つは前記対象画像の画素ではない頂点である探索領域を設定する設定手段と、
    前記探索領域を前記対象画像の画素の位置により分割して、頂点の少なくとも一つは前記対象画像の画素である部分領域を取得する分割手段と、
    前記部分領域の頂点の位置における前記対象画像の画素値又は前記対象画像の画素の補間により得られる補間値の少なくともいずれか一方の値に基づいて、前記探索領域内の任意の位置の画素値又は補間値としてとりうる最大値及び最小値の少なくともいずれか一方の値を取得する第2の取得手段と、
    を有する画像処理システム。
  16. 離散的に配列された画素の集合で構成される対象画像を取得する工程と、
    前記対象画像に、頂点の少なくとも一つは前記対象画像の画素ではない頂点である探索領域を設定する工程と、
    前記探索領域を前記対象画像の画素の位置により分割して、頂点の少なくとも一つは前記対象画像の画素である部分領域を取得する工程と、
    前記部分領域の頂点の位置における前記対象画像の画素値又は前記対象画像の画素の補間により得られる補間値の少なくともいずれか一方の値に基づいて、前記探索領域内の任意の位置の画素値又は補間値としてとりうる最大値及び最小値の少なくともいずれか一方の値を取得する工程と、
    を有する画像処理方法。
  17. 前記請求項16に記載の画像処理方法をコンピュータに実行させるためのプログラム。
  18. 離散的に配列された画素の集合で構成される対象画像と参照画像とを取得する第1の取得手段と、
    前記参照画像における注目位置に対応する前記対象画像における位置である対応位置に基づいて、前記対象画像に探索領域を設定する設定手段と、
    前記探索領域に含まれる部分領域の頂点の位置における前記対象画像の画素値又は前記対象画像の画素の補間により得られる補間値の少なくともいずれか一方の値に基づいて、前記探索領域内の任意の位置の画素値又は補間値としてとりうる最大値及び最小値の少なくともいずれか一方の値を取得する第2の取得手段と、
    前記第2の取得手段により取得された前記最大値及び前記最小値の少なくともいずれか一方の値と、前記参照画像における前記注目位置の画素値とを比較する比較演算において、前記注目位置の画素値と前記探索範囲内の前記画素値又は前記補間値との差分値としてとりうる値のうち絶対値が最も小さくなる値を比較値として取得する第3の取得手段と、
    を有する画像処理装置。
JP2017150877A 2017-08-03 2017-08-03 画像処理装置、画像処理方法、画像処理システム及びプログラム Active JP7140475B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017150877A JP7140475B2 (ja) 2017-08-03 2017-08-03 画像処理装置、画像処理方法、画像処理システム及びプログラム
EP18840604.5A EP3662835A4 (en) 2017-08-03 2018-07-24 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING SYSTEM, AND PROGRAM
PCT/JP2018/027609 WO2019026680A1 (ja) 2017-08-03 2018-07-24 画像処理装置、画像処理方法、画像処理システム及びプログラム
US16/749,894 US11302007B2 (en) 2017-08-03 2020-01-22 Image processing apparatus, image processing method, image processing system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017150877A JP7140475B2 (ja) 2017-08-03 2017-08-03 画像処理装置、画像処理方法、画像処理システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2019025240A JP2019025240A (ja) 2019-02-21
JP7140475B2 true JP7140475B2 (ja) 2022-09-21

Family

ID=65232548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017150877A Active JP7140475B2 (ja) 2017-08-03 2017-08-03 画像処理装置、画像処理方法、画像処理システム及びプログラム

Country Status (4)

Country Link
US (1) US11302007B2 (ja)
EP (1) EP3662835A4 (ja)
JP (1) JP7140475B2 (ja)
WO (1) WO2019026680A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112022002552A2 (pt) * 2019-08-15 2022-05-03 Ericsson Telefon Ab L M Nó de rede configurado para se comunicar com um dispositivo sem fio, método em um nó de rede configurado para se comunicar com um dispositivo sem fio, dispositivo sem fio e método em um dispositivo sem fio
WO2021034056A1 (ko) * 2019-08-16 2021-02-25 엘지전자 주식회사 사물 인터넷을 지원하는 무선 통신 시스템에서 하향링크 정보를 송수신하는 방법 및 이를 위한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005009242A1 (ja) 2003-07-28 2005-02-03 Hitachi Medical Corporation 医用画像処理装置及び方法
JP2006223739A (ja) 2005-02-21 2006-08-31 Hitachi Medical Corp 差分画像生成装置
JP2011092685A (ja) 2009-09-30 2011-05-12 Fujifilm Corp 診断支援システム、診断支援プログラムおよび診断支援方法
WO2013031718A1 (ja) 2011-09-02 2013-03-07 株式会社 東芝 X線診断装置及びx線診断用のステント

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310437B2 (en) * 2000-03-08 2007-12-18 Fujifilm Corporation Image processing method and system, and storage medium
EP1956554B1 (en) * 2007-02-09 2009-10-07 Agfa-Gevaert Visual enhancement of interval changes using a temporal subtraction technique
US20090074276A1 (en) * 2007-09-19 2009-03-19 The University Of Chicago Voxel Matching Technique for Removal of Artifacts in Medical Subtraction Images
US9760983B2 (en) * 2015-10-19 2017-09-12 Shanghai United Imaging Healthcare Co., Ltd. System and method for image registration in medical imaging system
JP6432543B2 (ja) 2016-02-23 2018-12-05 株式会社デンソー 経路計算システム及びコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005009242A1 (ja) 2003-07-28 2005-02-03 Hitachi Medical Corporation 医用画像処理装置及び方法
JP2006223739A (ja) 2005-02-21 2006-08-31 Hitachi Medical Corp 差分画像生成装置
JP2011092685A (ja) 2009-09-30 2011-05-12 Fujifilm Corp 診断支援システム、診断支援プログラムおよび診断支援方法
WO2013031718A1 (ja) 2011-09-02 2013-03-07 株式会社 東芝 X線診断装置及びx線診断用のステント

Also Published As

Publication number Publication date
EP3662835A1 (en) 2020-06-10
US11302007B2 (en) 2022-04-12
EP3662835A4 (en) 2021-04-28
JP2019025240A (ja) 2019-02-21
WO2019026680A1 (ja) 2019-02-07
US20200160526A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
US9119599B2 (en) Medical image display apparatus, medical image display method and non-transitory computer-readable recording medium having stored therein medical image display program
JP5337354B2 (ja) 幾何学方式レジストレーションのためのシステムおよび方法
US9965857B2 (en) Medical image processing
US11468589B2 (en) Image processing apparatus, image processing method, and program
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
JP6667231B2 (ja) 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。
JP2022173245A (ja) 画像処理装置、画像診断システム、画像処理方法およびプログラム
JP6905323B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6772123B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2018175410A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2019046057A (ja) 画像処理装置、画像処理方法およびプログラム
JP7140475B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
KR101880634B1 (ko) 3차원 볼륨 파노라마 영상 생성 방법 및 장치
JP6934734B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
KR101946577B1 (ko) 3차원 볼륨 파노라마 영상 생성 방법 및 장치
WO2024126468A1 (en) Echocardiogram classification with machine learning
US12089976B2 (en) Region correction apparatus, region correction method, and region correction program
KR20240152935A (ko) 조직 부피의 2차원(2d) 초음파 스캔들의 상호 참조를 위한 방법 및 시스템
JP2018175411A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN116194045A (zh) 用于提供二次医学成像源的方法
JPWO2020138136A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6732593B2 (ja) 画像処理装置および画像処理方法
JP2018106560A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220908

R151 Written notification of patent or utility model registration

Ref document number: 7140475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151