[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6541334B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP6541334B2
JP6541334B2 JP2014225433A JP2014225433A JP6541334B2 JP 6541334 B2 JP6541334 B2 JP 6541334B2 JP 2014225433 A JP2014225433 A JP 2014225433A JP 2014225433 A JP2014225433 A JP 2014225433A JP 6541334 B2 JP6541334 B2 JP 6541334B2
Authority
JP
Japan
Prior art keywords
image
deformation
degree
subject
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014225433A
Other languages
English (en)
Other versions
JP2016087109A5 (ja
JP2016087109A (ja
Inventor
鈴木 栄治
栄治 鈴木
格 音丸
格 音丸
佐藤 清秀
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014225433A priority Critical patent/JP6541334B2/ja
Priority to US14/926,467 priority patent/US10157486B2/en
Publication of JP2016087109A publication Critical patent/JP2016087109A/ja
Publication of JP2016087109A5 publication Critical patent/JP2016087109A5/ja
Priority to US16/185,294 priority patent/US10867423B2/en
Application granted granted Critical
Publication of JP6541334B2 publication Critical patent/JP6541334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、種々の画像撮像装置(モダリティ)で撮像した画像を処理する画像処理技術に関する。
医療の分野では、医用画像を用いた画像診断が行われている。医師は、画像から得られる画像所見に基づいて病変部(病変を疑う部分)を発見し、また、異常の種類や悪性度や進行度などを判断する。非特許文献1には、診断に有用な情報を得るための試みとして、被検体内の硬さの分布を画像化する技術が開示されている。一方、特許文献1には、異なる日時に撮像した被検体の画像を位置合わせして、画像間の差分を表示することで、病変部の経時変化を観察する技術が開示されている。
Ophir J, et al,Elastography:a quantitative method for imaging the elasticity of biological tissues. Ultrasonic Imaging,13,111−134,1991.
特開平8−336517号公報
しかし、画像診断のためには、上記の非特許文献1や特許文献1の技術で取得できる硬さや経時変化の情報だけでなく、病変部の特徴を表すより多くの情報が必要である。本発明は、上記の課題に鑑み、被検体を変形させた際の病変部の振る舞いに関して、変形が異なる病変部の特徴を表す新たな情報を提供する。
本発明の一つの側面に係る画像処理装置は、第1変形状態から第2変形状態へ変形した被検体の変形情報を算出する第1算出手段と、
前記被検体の正常組織の変形を表す変形モデルに基づいて、前記第1変形状態から前記第2変形状態へ変形する前記被検体の変形情報を算出する第2算出手段と、
前記第1算出手段で算出された前記被検体の変形情報と前記第2算出手段で算出された変形情報の乖離度を算出する乖離度算出手段と、
前記算出した乖離度を表示させる表示制御手段と、を備えることを特徴とする。
本発明によれば、被検体を変形させた際の病変部の振る舞いに関して、変形が異なる病変部の特徴を表す新たな情報を提供することが可能になる。
第1実施形態に係る画像処理システムおよび画像処理装置の機能構成を示す図。 第1実施形態における全体の処理手順を示すフローチャート。 第1実施形態における入力画像、実変形場、正常変形場を例示する図。 第1実施形態に係る乖離度の表示方法の例を示す図。 第2実施形態に係る画像処理システムおよび画像処理装置の機能構成を示す図。 第2実施形態における全体の処理手順を示すフローチャート。 第3実施形態に係る画像処理システムおよび画像処理装置の機能構成を示す図。 第3実施形態における全体の処理手順を示すフローチャート。
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
(第1実施形態:正常変形からの乖離)
本実施形態に係る画像処理装置は、異なる変形状態で同一の被検体を撮像した複数の3次元断層画像を入力として、画像間における被検体の変形について、正常組織の変形モデルからの乖離度を可視化して表示する。以下、本実施形態に係る画像処理装置について説明する。
<画像処理システム1000の構成>
図1は、本実施形態に係る画像処理システム1000の構成を例示する図である。画像処理システム1000は、画像処理装置100と、データサーバ170と、表示部180を有している。尚、画像処理システム1000の構成要素はこれらの装置等に限定されるものではなく、更に別の構成要素を含んでもよいし、その一部が含まれないように画像処理システムを構成してもよい。
データサーバ170は、異なる変形状態(異なる体位や異なる呼吸の状態等)で同一の被検体(対象症例)を予め撮像して取得した、複数の3次元断層画像を保持している。3次元断層画像を撮像する画像撮像装置(モダリティ)は、例えば、MRI装置、放射線CT装置、3次元超音波撮影装置、光音響トモグラフィ装置、陽電子放射断層撮像装置(PET)/単一光子放射断層撮影装置(SPECT)、OCT装置などである。本実施形態において、画像は、同一のモダリティ・同一の撮影モードで、同時期に撮像されたものであることが望ましい。ただし、画像の組み合わせはそれに限定されるものではなく、画像間に十分な変形が生じていれば、例えば、異なるモダリティや異なる撮影モードで撮像した画像であってもよい。また、同一患者を異なる日時に撮像した画像であってもよい。以下では、乳房MRI画像を対象として、被検体を仰臥位で撮像した第1画像と腹臥位で撮像した第2画像をデータサーバ170が保持している場合を例として説明する。
図3(a)に第1画像の例を示し、図3(b)に第2画像の例を示す。なお、以下では、第1画像を撮像する際の被検体の変形状態を第1変形状態と呼び、第2画像を撮像する際の被検体の変形状態を第2変形状態と呼ぶ。データ取得部104は、データサーバ170が保持する被検体の画像を取得し、画像処理装置100に入力する。
データサーバ170は、さらに、第1変形状態から第2変形状態へと被検体が変形する際の正常組織の変形モデルを保持している。変形モデルは、例えば、複数の正常な被検体(正常症例)を、仰臥位(第1変形状態)で撮像した第1画像(仰臥位MRI画像)と、腹臥位(第2変形状態)で撮像した第2画像(腹臥位MRI画像)とに基づいて事前に構築される。変形モデルは、標準被検体画像と、標準被検体画像の空間上で定義された標準変形場(標準変形情報)という2つの要素から構成される。
標準被検体画像は、複数の第1画像の平均形状を取得し、平均形状に夫々の第1画像の画素値(例えば、輝度値)を平均形状に射影した(重ね合わせ)後に、画素値(輝度値)の平均を求めることにより生成される。平均形状は、全ての正常症例の第1画像を互いに変形位置合わせして夫々の第1画像の平均形状を求めることにより取得される。そして、夫々の第1画像の画素値(輝度値)を平均形状に射影して、画素値(輝度値)の平均を取得することで、標準被検体画像が生成される。すなわち、標準被検体画像は、夫々の第1画像の形状および画素値(輝度値)を平均化し、平均化した画素値(輝度値)を平均形状に射影する(重ね合わせる)ことにより取得される平均画像である。標準被検体画像は、第1変形状態における平均的な被検体の画像(平均的な乳房の仰臥位MRI画像)といえる。
一方、標準変形場(標準変形情報)は、夫々の正常症例の第1画像と第2画像とを、変形位置合わせすることで推定した第1画像から第2画像への変形場(変形情報)を上記の平均形状に射影し、射影した後に主成分分析による統計処理を行うことにより取得される。ここで、主成分分析は、変形場を所定の間隔でサンプリングした各点の変位量に対して実施してもよいし、あるいは、変形場をFFD(Free−form deformation)等でパラメトリックに表現した後に、各制御点の制御量に対して実施してもよい。
何れの処理によっても、平均変形場と主成分変形場によって構成される標準変形場が生成される。以下では、平均変形場をTave(p)と表し、主成分変形場をTeigen_i(p)(iは主成分の番号)と表す。これらの変形場は、標準被検体画像の座標系上の各位置pについて、第1変形状態から第2変形状態への変位を表す3次元ベクトルを持つ関数とみなすことができる。このように構築される変形モデルは、第1変形状態から第2変形状態への統計的に妥当な変形(正常な変形)を表すモデル(統計変形モデル)である。すなわち、変形モデルは、第1変形状態から第2変形状態への変形で、正常な被検体(正常症例)がどのように変形するかを示すモデルである。なお、標準被検体画像と標準変形場は、典型的な正常症例の第1画像と、その正常症例における第1画像から第2画像への変形場であってもよい。データサーバ170が保持する変形モデルは、変形モデル取得部102を介して画像処理装置100に入力される。
表示部180は、画像処理装置100が生成する表示画像や乖離度等の各種の情報を表示する。また、表示部180には、ユーザからの指示を取得するためのGUIも配置されている。
<画像処理装置100の機能ブロック構成>
画像処理装置100は、変形モデル取得部102と、データ取得部104と、正常変形算出部106と、実変形算出部108と、乖離度算出部110と、表示制御部112とを備えている。そして、不図示のCPUは画像処理装置100の全体的な処理を制御し、CPUはプログラムを読み出して実行することにより各機能ブロックの動作を制御する。
変形モデル取得部102は、データサーバ170から画像処理装置100へと入力される変形モデルを取得する。データ取得部104は、データサーバ170から画像処理装置100へと入力される第1画像および第2画像を取得する。正常変形算出部106は、対象症例の変形が正常組織の変形モデルに従うと仮定した場合の変形を、第1画像から第2画像への変形場(以下、正常変形場と呼ぶ)の形で算出し、取得する。実変形算出部108は、対象症例の第1画像と第2画像との間で実際に生じている変形を、第1画像から第2画像への変形場(以下、実変形場と呼ぶ)の形で算出し、取得する。乖離度算出部110は、正常変形算出部106から正常変形場を取得し、実変形算出部108から実変形場を取得する。乖離度算出部110は、取得した正常変形場および実変形場の情報に基づいて、乖離度を算出する。表示制御部112は、第1画像および第2画像の断面画像と、乖離度に関する情報を、表示部180に表示させる表示制御を行う。
<画像処理装置100が実行する処理>
次に、図2のフローチャートを参照して、本実施形態に係る画像処理装置100が実行する処理の手順について説明する。
(データの取得:S200)
ステップS200において、データ取得部104は、データサーバ170から対象症例の第1画像および第2画像を取得する。そして、データ取得部104は、取得した画像を、正常変形算出部106、実変形算出部108、および表示制御部112へと出力する。
(変形モデルの取得:S201)
ステップS201において、変形モデル取得部102は、データサーバ170から変形モデルを取得する。そして、変形モデル取得部102は、取得した変形モデルを正常変形算出部106へと出力する。
(実変形場の算出:S202)
ステップS202において、実変形算出部108は、対象症例の第1画像と第2画像の変形位置合わせを行い、第1画像から第2画像への実変形場(実際に生じている変形の変形場)を算出する。実変形算出部108は、実変形場の算出において、例えば、第1画像の特徴点と第2画像の特徴点との対応付けや、画像類似度に基づくFFD(Free−form deformation)法や、LDDMM(Large Deformation Diffeomorphic Metric Mapping)法等の公知の方法を用いることが可能である。そして、実変形算出部108は、算出した実変形場を、正常変形算出部106、及び乖離度算出部110へと出力する。以下では、本ステップで得られる実変形場をTreal(p)と表す。ここで、pは、第1画像上における任意の座標を表し、Treal(p)は、座標pにおける実際の変位(実変形場)を表している。図3(c)は、実変形算出部108により取得された実変形場303の例を示す図である。図3(c)では、対象症例の第1画像と第2画像との間で実際に生じている変形状態の分布が示されている。
(正常変形場の算出:S203)
ステップS203において、正常変形算出部106は、ステップS201で取得した変形モデルに基づき、対象症例の第1画像から第2画像への正常変形場を算出する。ここで、第1画像および第2画像は、正常変形算出部106がステップS200でデータ取得部104から取得した画像である。そして、正常変形算出部106は、算出した正常変形場を乖離度算出部110へと出力する。
正常変形算出部106は、実変形算出部108がステップS202で求めた実変形場Treal(p)を最もよく表す変形モデルのパラメータを取得する。正常変形算出部106は、取得したパラメータによって表される変形場を正常変形場とする。具体的には、正常変形算出部106は、正常変形場を取得するために、まず、変形モデルの標準被検体画像と対象症例の第1画像との変形位置合わせを行い、第1画像から標準被検体画像への変形場Tnorm(p)を取得する。なお、画像間の変形位置合わせを行うために、正常変形算出部106はステップS202の処理と同様に公知の方法を用いることが可能である。
次に、正常変形算出部106は、第1画像から標準被検体画像への変形場Tnorm(p)と変形モデルの標準変形場(すなわち、平均変形場Tave(p)と主成分変形場Teigen_i(p))とを用いることにより、実変形場Treal(p)を最もよく近似するような、Teigen_i(p)の線形結合係数αを算出する。そのために、まず、対象症例の第1画像の「正常な変形」を、変形モデルの線形結合係数α,・・,αを未知のパラメータとして、次の(1)式のように記述する。
model(p|α,・・,α
= Tave(Tnorm(p)+p)+ Σ1≦i≦N(αeigen_i(Tnorm(p)+p))・・・(1)
ここでNは、変形モデルとして使用する主成分変形場(主成分変形場Teigen_i(p))の数である。Nの値は、予め定めた固定値を使用するようにしてもよいし、不図示のGUIを介して画像処理装置100のユーザが適宜変更できる構成であってもよい。そして、正常変形算出部106は、第1画像の被検体領域Ω内の各点(所定の間隔でサンプリングした点)pにおける変形場Tmodel(p)と実変形場Treal(p)との残差(err)を次の(2)式によって定義し、この値を最小とするパラメータαを取得する。
err = Σp∈Ω1|Treal(p)− Tmodel(p|α,・・,α)|・・・(2)
すなわち、正常変形算出部106は、取得したパラメータαに基づいて、実変形場Treal(p)を最もよく近似する、対象症例の第1画像の「正常な変形」を推定する。そして、このときの変形場Tmodel(p)を、正常変形場Tideal(p)として取得する。なお、正常変形算出部106は、αの算出のために、公知の線形解法を用いることが可能であり、αの値を線形方程式の解として解析的に導出することが可能である。尚、正常変形算出部106によるパラメータαの導出は、(2)式で定義される誤差の総和(err)を最小化する方法に限定されるものではない。正常変形算出部106は、例えば、RANSAC(RANdom SAmple Consensus)やM推定等の公知のアウトライア除去アルゴリズムを用いることにより誤差の大きな点pを除外して、残された点の誤差の総和を最小化することによりパラメータαを求めることも可能である。図3(d)は、正常変形算出部106により取得された正常変形場304の例を示す図である。
(乖離度の算出:S204)
ステップS204において、乖離度算出部110は、第1画像上の被検体領域Ω内の夫々のボクセルについて、夫々のボクセルに対応する位置における変位の乖離度を算出する。そして、乖離度算出部110は、各ボクセルにおける乖離度をボクセル値として有するボリューム画像(以下、乖離度画像と呼ぶ)を生成する。そして、乖離度算出部110は、生成した乖離度画像を表示制御部112へと出力する。
尚、乖離度算出部110は、夫々のボクセル(3次元位置をpjとする)における乖離度K(pj)を、例えば、次の(3)式を用いて算出することができる。
K(pj)=|Treal(pj)−Tideal(pj)|・・・(3)
(3)式は、注目した点pjにおける実際の変位(実変形場)と、統計的に正常な変形モデルに基づく同点(点pj)の変位(正常変形場)との差分のノルムを計算することを意味する。したがって、点pjにおける実際の変位(実変形場)と統計的に正常な変形モデルに基づく変位(正常変形場)との差異が小さい場合には、乖離度K(pj)の値は小さくなり、差異が大きい場合には乖離度K(pj)の値は大きくなる。
なお、乖離度K(pj)は、実変形場Treal(pj)と正常変形場Tideal(pj)との乖離の度合いを算出するものであれば、他の方法で算出してもよい。例えば、乖離度算出部110は、実変形場を表すベクトルと正常変形場を表すベクトルとの角度差に基づいて乖離度を算出することも可能である。この場合、例えば、角度差が大きい場合に、乖離度算出部110は、乖離度を高く判定し、角度差が小さい場合に、乖離度算出部110は、乖離度を低く判定する。他にも、乖離度算出部110は、位置pjにおける実変形場と正常変形場のヤコビ行列の行列式(ヤコビアン)を夫々求め、その差分に基づいて乖離度を算出することも可能である。この場合、実変形場と正常変形場との間で局所領域の体積変化の差異が大きい場合に、乖離度算出部110は、乖離度を高く判定する。また、乖離度算出部110は、位置pjの近傍の各点において上記の(3)式の値やヤコビアンの値を求め、その積分値を乖離度として用いることも可能である。つまり、乖離度算出部110は、被検体の変形状態を表す変形モデルに対する変形情報の乖離度を算出することができる。なお、上記の方法は一例に過ぎず、乖離度算出部110は乖離度を実変形場(実際の変位)と正常変形場(統計的に正常な変形モデルに基づく変位)との比較に基づく方法で算出可能である。
なお、先の説明では第1画像の空間を基準とした変形場に基づいて乖離度を算出し乖離度画像を生成する処理を説明したが、乖離度算出部110は乖離度画像を、第1画像の空間ではなく第2画像の空間で生成することが可能である。この場合、乖離度算出部110は、第2画像上の被検体領域Ω内の夫々のボクセル(3次元位置をqjとする)について、実変形場Trealの逆変換により、当該ボクセルに変位させられる第1画像上の座標pjを同定する。すなわち、乖離度算出部110は、qj=Treal(pj)となるpjを求める。そして、乖離度算出部110は、上記の(3)式と同様の処理により乖離度K(pj)を求め、この値を乖離度画像の座標qjのボクセル値とする処理を実行する。なお、画像処理装置100の表示制御部112は、第1画像と第2画像の何れの空間を基準とした乖離度画像を生成するかを、ユーザに選択させるための構成(例えば、GUI)を表示部180に表示させることが可能である。この場合、ユーザは、乖離度画像の生成の基準を、第1画像とするか、または、第2画像とするかを、GUIを介して選択することができる。乖離度算出部110は、ユーザの選択に基づいて乖離度画像の生成処理を実行する。
また、乖離度算出部110は、乖離度画像の生成と共に(あるいは、乖離度画像を生成せずに)、被検体領域Ω内の夫々のボクセルにおける乖離度を集計し、画像全体としての乖離の度合いを算出することも可能である。例えば、乖離度算出部110は、乖離度の平均値、最大値、あるいは、乖離度が所定の値(閾値)を超えるボクセルの数などを、画像全体としての乖離の度合いを表す情報として取得することが可能である。これによると、対象症例の全体傾向として、対象症例の正常例(正常な変形)からの乖離の度合いを定量化できる。また、乖離度算出部110は、被検体領域Ωを解剖学的に意味のある領域(例えば、乳房の場合は、A領域,B領域,C領域,C’領域,D領域,E領域など)に分割する。そして、乖離度算出部110は、夫々の領域内における乖離の度合いを、領域毎に集計し、定量化することも可能である。また、乖離度算出部110は、乖離の度合いが最大となる領域や、乖離の度合いが所定の条件を上回る領域を選択するなどの処理を行い、注目すべき領域を、乖離の度合いに基づいて判定することも可能である。
(乖離度の可視化:S205)
ステップS205において、表示制御部112は、乖離度に関する情報を表示部180に表示させる。表示制御部112は、例えば、濃淡で表現した第1画像の断面画像上に、乖離度の分布を示すマップとして、カラーマップ(以下、乖離度マップと呼ぶ)を重畳表示するように表示制御を行うことが可能である。乖離度マップの表示において、表示制御部112は、例えば、乖離度の値と表示色の対応を予めテーブルで定義しておき、そのテーブルに従って決定した表示色を第1画像の対応ボクセルに重畳表示するように表示制御を行うことが可能である。このようにして、表示制御部112はカラーマップの表示を制御することができる。
なお、乖離度の分布の表示形態は乖離度を表すカラーマップを重畳表示する場合に限らず、表示制御部112は、例えば、乖離度の等値線を第1画像の断面画像上に重畳表示するように表示制御を行うことが可能である。また、第1画像の断面画像上でユーザがマウスカーソルを移動させる際に、表示制御部112は、カーソルの動きに連動して、カーソルの示す座標における乖離度を乖離度画像から取得する。そして、表示制御部112は、取得した乖離度の値を文字情報として表示部180の画面内の所定の位置やカーソル付近に表示するように表示制御を行うことが可能である。また、表示制御部112は、乖離度が一定以上の領域に関して、当該領域を示す情報を第1画像の断面画像上に重畳表示し、それ以外の領域には何も重畳しないという表示形態で表示を行うように表示部180の表示を制御することも可能である。なお、乖離度の分布の表示形態は第1画像への重畳表示に限定されるものではなく、表示制御部112は、第1画像と対比しやすいように、第1画像と同一断面の乖離度画像を第1画像と並べて表示するように表示部180の表示を制御することも可能である。表示制御部112は、これら乖離度の分布の表示形態を、ユーザの指示に応じて表示制御することが可能である。図4は、乖離度の分布の表示例として、第1画像上で定義される乖離度マップ401を、第1画像の断面画像301に重畳表示した場合を例示している。例えば、超音波エコーなどによる断層画像の病変部は暗く撮像される傾向があり、撮像された画像に乖離度を重畳表示することにより、医師は画像中における病変部を迅速に特定することが可能になる。種々の画像撮像装置(モダリティ)で撮像した画像と乖離度の情報とにより、医師による病変部の発見や、異常の種類や悪性度や進行度などの判断が容易になる。
なお、ステップS204で、画像全体の乖離の度合いを表す情報、解剖学的に意味のある領域毎の乖離の度合いを表す情報、乖離の度合いに基づく注目すべき領域の情報などを導出している場合に、表示制御部112は、これらの情報を表示部180に表示する。
また、表示制御部112は、乖離度画像に基づいて注目領域を抽出し、その領域の情報を断面画像と共に表示するように表示制御を行うことも可能である。例えば、表示制御部112は、乖離度が所定の値以上となる領域を乖離度画像上で抽出し、体積等の所定の条件を満たす領域を注目領域と定め、その情報(数や体積や重心位置等)を表示するように表示制御を行うことも可能である。
以上によって、画像処理装置100の処理が実行される。本実施形態の画像処理装置100によれば、ユーザは、正常な変形からの乖離の有無や、乖離した変形が発生している領域の確認を行うことができる。例えば、組織の構築の乱れを呈する浸潤癌の診断では、触診や超音波画像の所見では浸潤癌の検出が困難な場合であっても、組織の構築の乱れが生じている領域は組織の伸びが悪くなるという特徴を有するため、これを正常な変形からの乖離という形で可視化することができる。
他にも、非浸潤癌の診断では、非浸潤癌は周辺の組織を引き込んで引きつれを生じさせるという特徴を有するため、これを正常な変形からの乖離という形で可視化して提示することができる。本実施形態の画像処理装置によれば、正常な変形からの乖離の有無や、乖離した変形が発生している領域を可視化して提示することができるため、上記のような浸潤癌の診断および非浸潤癌の診断においても、医師が行う良悪性判別を支援することができる。
<第1実施形態の変形例1:統計変形以外の変形モデルの例>
第1実施形態では、第1変形状態から第2変形状態への変形において、統計処理を行うことにより統計的に妥当な変形を表すモデルを変形モデルとして用いる場合を例に説明したが、他の変形モデルを用いる構成であってもよい。例えば、物理的に妥当な変形を表す変形モデルとして、物理変形シミュレーションのための有限要素モデル(物理モデル)を用いてもよい。正常変形算出部106は、例えば、第1画像を基準とする場合、第1画像に物理変形シミュレーションを施して求めた変形場を正常変形場として生成する。正常変形場の生成において、正常変形算出部106は、例えば、物理モデルに基づく制約条件に従う範囲で可能な限り、実変形場を表現する変形を物理変形シミュレーションにより求めることで、正常変形場を生成する。これにより、乖離度算出部110は、物理的に妥当な変形(物理変形シミュレーションに基づく正常変形場)に対する実変形場の乖離度を取得することができる。
また、正常変形算出部106は、解剖学的に妥当な変形を表す変形モデルとして、被検体の変形に関する解剖学的知識をモデル化した知識モデルを用いることが可能である。正常変形算出部106は、この場合、知識モデルに従う範囲で可能な限り実変形場を表現する変形を求めることで、正常変形場を生成する。これにより、乖離度算出部110は解剖学的知識と合致する変形に対する実変形場の乖離度を取得することができる。なお、これらの変形例によれば、統計的な変形モデルを構築するための複数の正常症例の画像は不要となる。
<第1実施形態の変形例2:実変形場を対話的操作によって算出する例>
第1実施形態では、ステップS202における実変形算出部108の処理において、画像情報(第1画像、第2画像)を利用して実変形場を算出する場合を例として説明していた。しかし、実変形場の生成は、この処理に限定されるものではない。例えば、第1画像と第2画像の間で対応する点の位置情報(対応点情報)を手動または自動で入力し、実変形算出部108はそれらの対応点情報を用いて実変形場を算出することが可能である。この場合、ステップS200の処理において、データ取得部104は、第2画像上に対して入力された点群の3次元位置と、それら点群と夫々対応する第1画像上の点群の3次元位置とをそれぞれ取得する。そして、ステップ202の処理において、実変形算出部108は、実変形場を算出する際に、第1画像上の点群の3次元位置が、対応する第2画像上の点群の3次元位置へと変位することを拘束条件として追加する。本変形例によれば、第1画像と第2画像が異なるモダリティで取得される場合のように、画像情報を利用した処理だけでは実変形場が適切に求められない場合であっても、対応点情報を用いることによって、実変形場を適切に算出することができるという効果がある。
<第1実施形態の変形例3:正常変形場の算出方法>
第1実施形態では、ステップS203の処理において、正常変形算出部106は正常変形場の導出を、実変形場を最もよく近似するようにパラメータαを求めることで行っていた。しかし、正常変形場の導出は上記とは異なる処理で行ってもよい。正常変形算出部106は、例えば、(1)式の変形モデルで表現可能な変形場のうち、その変形場によって第1画像を変形させた結果が第2画像に極力近くなる(一致する)変形場を求め(そのようなαを導出し)、これを正常変形場としてもよい。このとき、画像間の一致度は、例えば、同一位置における画素値(輝度値)の差(輝度差)の二乗の合計(SSD:Sum of Squared Difference)によって評価することができる。また、輝度差の絶対値が所定値以下となるボクセル数、両画像間で対応付けられたランドマークの位置情報の残差、画像間の特徴情報の類似度、相互相関など、公知の評価尺度を用いて評価することができる。
(第2実施形態:事前知識とのずれの導出)
第1実施形態では、複数の3次元断層画像間の実際の変形場(実変形場)と、変形モデルに基づく正常変形場との比較によって乖離度を求める処理を説明した。一方、本実施形態に係る画像処理装置は、変形モデルに基づく正常変形場の算出を介さずに、正常組織の変形に関する事前知識に基づいて乖離度を算出することを主な特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態との相違部分についてのみ説明する。
本実施形態における被検体は乳房とする。乳房内の任意の点の位置と乳頭位置との間の距離(以下、乳頭−点間距離と呼ぶ)は、正常組織の場合、変形状態に関わらず略一定であることが知られている。そのため、第1変形状態から第2変形状態へと被検体が変形した際に、乳頭−点間距離が変化する領域が存在する場合、その領域は正常な変形から乖離していると考えられる。そこで、本実施形態に係る画像処理装置は、第1変形状態で撮像した第1画像と第2変形状態で撮像した第2画像との間における乳頭−点間距離の変化の度合いを取得し、取得した乳頭−点間距離の変化の度合いを正常な変形からの乖離度として可視化して表示する。
<画像処理システム5000及び画像処理装置500の構成>
本実施形態に係る画像処理システム5000及び画像処理装置500の構成を図5に示す。なお、図1と同じ部分については、同一の参照番号を付けており、その説明を省略する。画像処理装置500は、データ取得部104、実変形算出部108、表示制御部112、基準位置取得部501、及び、乖離度算出部510を備えている。
基準位置取得部501は、事前知識に基づく乖離度の算出に用いるための情報として、第1画像、及び第2画像における基準点の位置情報(本実施形態では乳頭の3次元座標)を取得する。乖離度算出部510は、実変形算出部108が算出した実変形場と、基準位置取得部501が取得した基準点の位置情報に基づいて、正常な変形に関する事前知識に基づく実変形場の乖離度を算出する。
<画像処理装置500が実行する処理>
次に、図6のフローチャートを参照しながら、本実施形態に係る画像処理装置500が行う全体の処理手順を説明する。なお、ステップS600、ステップS602、およびステップS604の処理は、第1実施形態で説明した図2のステップS200、ステップS202、およびステップS205の処理と同様であるため、説明を省略する。
(基準点の位置情報の取得:S601)
ステップS601において、基準位置取得部501は、第1画像および第2画像の夫々から、乖離度の算出に用いる被検体における基準点の位置情報(本実施形態では、被検体の同一部位を示す基準点の位置情報の例として、乳頭位置の3次元座標)を取得する。そして、取得した夫々の基準点の位置情報(乳頭位置の3次元座標)を、乖離度算出部510へと出力する。以下では、第1画像および第2画像における基準点の位置情報(乳頭位置の3次元座標)を、夫々n、nと記す。
(乖離度の算出: S603)
ステップS603において、乖離度算出部510は、第1実施形態と同様に、第1画像上の被検体領域Ω内の夫々のボクセルにおける乖離度をボクセル値として有する乖離度画像を生成して、算出した乖離度画像を表示制御部112へと出力する。ただし、本実施形態では、各ボクセルにおける乖離度の算出方法が第1実施形態とは異なっている。すなわち、夫々のボクセルを注目点としたときに、乖離度算出部510は、第1画像及び第2画像の夫々に対して、被検体上において対応する注目点を設定する。乖離度算出部510は、第1画像における基準点と注目点との間の位置関係と、第2画像における基準点と注目点との間の位置関係の変化を乖離度として算出する。
位置関係の変化として、乖離度算出部510は、第1画像における基準点と注目点との間の距離(「注目点−乳頭(基準点)間の距離」)と、第2画像における基準点と注目点との間の距離(「該注目点の対応点−乳頭(基準点)間の距離」)との差異(差分)を乖離度として算出する。この距離値の差異(差分)が、本実施形態における乖離度である。乖離度算出部510は、ボクセル位置pjにおける乖離度K(pj)を、以下の式を用いて算出する。
K(pj)=|pj−n|−|qj−n|・・・(4)
ここで、(4)式における|pj−n|は、第1画像における「注目点−乳頭間の距離」を表している。また、qjは、第2画像上における該注目点(pj)の対応点の位置を表している。すなわち、|qj−n|は、第2画像における「該注目点の対応点−乳頭間の距離」を表している。したがって、(4)式の計算は、第1変形状態と第2変形状態において、同一点の乳頭−点間距離の違いを算出するものである。なお、第2画像上における該注目点(pj)の対応点の位置(qj)の値は、ステップS602で得た実変形場を用いて、次の(5)式によって算出される。(5)式において、座標pjにおける実変形場をTreal(pj)として示す。
qj = pj+Treal(pj)・・・(5)
乖離度K(pj)の値が0に近い場合、位置pjにおける乳頭−点間距離は、第1変形状態および第2変形状態の間で変化が小さい。正常な変形状態においては同一点の乳頭−点間距離は大きくは変化しないという知識に基づくと、この場合、位置pj付近の領域は正常に変形していると考えられる。一方、乖離度K(pj)の絶対値が大きい場合には、位置pj付近の領域において、正常モデルとは異なる変形が起こっていると考えられる。なお、乳頭−点間距離の差異を計量できる方法であれば、乖離度算出部510は、(4)式に示した差分以外の方法で乖離度を求めることが可能である。
位置関係の変化として、乖離度算出部510は、第1画像における基準点と注目点との間の距離と、第2画像における基準点と注目点との間の距離との比率を乖離度として算出する。例えば、乖離度算出部510は、乳頭−点間距離の比率、すなわち、次の(6)式によって乖離度を算出することが可能である。
K(pj)=|pj−n|/|qj−n|・・・(6)
乖離度算出部510による乖離度の算出は、正常な変形状態においては同一点の乳頭−点間距離は大きくは変化しないという知識を基準としたものである。尚、乖離度算出部510による乖離度の算出は、乳頭−点間の距離が変化しないという基準に基づく方法に限らず、乳頭−点間の位置関係の不変性に基づく他の方法で行ってもよい。
乖離度算出部510は、例えば、乳頭を基準としたときの乳頭−点間の方位が、変形によって大きくは変化しないという基準を用いることが可能である。方位の具体的な定義は以下の通りである。いま、被検体画像の基準座標系は、左右方向がX軸、前後方向がY軸、被検体の頭尾方向がZ軸として定義されているとする。そして、乳頭位置をn={n,n,n}、被検体内の任意の位置をp={p,p,p}、基準座標系のZ軸ベクトル(基準ベクトル)をz={z,z,z}とする。このとき、乖離度算出部510は、位置pにおける方位角D(p)を、次の(7)式を用いて算出する。
D(p)=cos−1{((p,p)−(n,n))・(z,z)}
・・・(7)
この計算は、位置p(注目点)と乳頭位置n(基準点)を結ぶベクトルとZ軸ベクトル(基準ベクトル)を、基準座標系のXZ平面に夫々投影して、角度差を算出することを意味する。乖離度算出部510は、第1画像における位置pj(注目点)と、(5)式で算出される第2画像上の対応位置qj(注目点)のそれぞれについて方位角(D(pj)、D(qj))を求め、その差分を乖離度として算出する。すなわち、乖離度算出部510は、第1画像における基準点と注目点とを結ぶベクトルと、第1画像の基準ベクトルとの間の角度情報と、第2画像における基準点と注目点とを結ぶベクトルと、第2画像の基準ベクトルとの間の角度情報と、の差分を乖離度として算出する。
なお、乖離度算出部510は、乖離度の算出のために、単一の基準を用いる場合に限らず、複数の基準を用いることが可能である。複数の基準を組み合せて乖離度を算出する場合、乖離度算出部510は夫々の基準によって算出される乖離度を、重みパラメータによって重みづけされた上で加算して、最終的な乖離度を算出する。
本実施形態によれば、正常な変形状態では乳頭−点間距離が変化しない等、臨床で得られる解剖学的知見を乖離度の算出に直接用いることができるため、医師等のユーザの直観により適合した乖離度の算出を行うことができる。また、第1実施形態で必要であった正常変形場の導出を必要としないため、計算コストを低減できる。また、第1実施形態で必要であった統計変形モデルを必要としないため、「腹臥位と仰臥位の画像を用いる」といった体位に関する入力画像の制約なしに、正常な変形との乖離を可視化できるという効果がある。
(第3実施形態:画像の差異に基づく乖離の導出)
第1実施形態では、複数の3次元断層画像間の実際の変形場(実変形場)と、変形モデルに基づく正常変形場との差異に基づいて乖離度を算出していた。一方、本実施形態に係る画像処理装置は、実変形場の算出を介さずに、変形モデルに基づく正常変形場によって生成された変形画像と実画像との差異に基づいて乖離度を算出することを主な特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態との相違部分についてのみ説明する。
<画像処理システム7000及び画像処理装置700の構成>
本実施形態に係る画像処理システム7000及び画像処理装置700の構成を図7に示す。なお、図1と同じ部分については、同一の参照番号を付けており、その説明を省略する。画像処理装置700は、変形モデル取得部102、データ取得部104、正常変形算出部106、表示制御部112、変形画像生成部707、及び、乖離度算出部710を備えている。
変形画像生成部707は、正常変形算出部106が取得した正常変形場を、データ取得部104が取得した第1画像に適用することで、第1画像を正常変形場に基づき第2変形状態に変形させた画像(以下、変形画像または第3画像)を生成する。そして、生成した変形画像(第3画像)を乖離度算出部710へと出力する。変形画像生成部707が生成する変形画像(第3画像)は、第1変形状態における被検体に正常変形モデルで表現可能な正常な変形を施して第2変形状態に変形させたものに相当する。
乖離度算出部710は、データ取得部104が取得した第2画像と、変形画像生成部707が生成した変形画像(第3画像)との画像の差分に基づいて乖離度を算出する。第2画像は、第2変形状態における実際の被検体の変形状態を表すものであるので、この差分により、実変形(第2画像)と正常変形(第3画像)との差異が定量化される。
<画像処理装置700が実行する処理>
次に、図8のフローチャートを参照しながら、本実施形態に係る画像処理装置700が行う全体の処理手順を説明する。なお、ステップS800、ステップS801、およびステップS805の処理は、第1実施形態におけるステップS200、ステップS201、およびステップS205の処理と同様であるため、説明を省略する。
(正常変形場の算出:S802)
ステップS802において、正常変形算出部106は、ステップS801で取得した変形モデルに基づき、対象症例の第1画像から第2画像への正常変形場を算出する。そして、算出した正常変形場を変形画像生成部707へと出力する。なお、本実施形態に係る画像処理装置700は、第1実施形態における実変形算出部108に相当する処理部を有していないので、本ステップの処理は、第1実施形態の変形例3に記載した実変形場に基づかない処理によって実行される。正常変形算出部106は、(1)式の変形モデルで表現可能な変形場のうち、その変形場によって第1画像を変形させた結果が第2画像に極力近くなる(一致する)変形場を求め(そのようなαを導出し)、これを正常変形場とする。
(変形画像の生成:S803)
ステップS803において、変形画像生成部707は、ステップS802で取得した正常変形場に基づいて第1画像を変形させた変形画像(第3画像)を生成する。そして、生成した変形画像(第3画像)を乖離度算出部710へと出力する。変形場に基づく変形画像の生成は、公知の方法で実施可能である。
(乖離度の算出:S804)
ステップS804において、乖離度算出部710は、ステップS803で取得した変形画像(第3画像)と、データ取得部104から取得した第2画像とに基づいて、夫々のボクセルで生じている実際の変形の、正常モデルからの乖離度を算出する。そして、乖離度算出部710は、各ボクセルにおける乖離度をボクセル値として有する乖離度画像を生成する。本実施形態では、乖離度を、第2画像と変形画像(第3画像)との間において、対応するボクセルのボクセル値の差異と定義する。具体的な算出方法として、乖離度算出部710は、例えば、対応ボクセルのボクセル値の差分値やその絶対値等を用いて乖離度を算出することができる。なお、乖離度算出部710による乖離度の算出は、第2画像と変形画像(第3画像)との直接的な差異に基づいて算出する場合に限らず、乖離度算出部710はスムージング等の事前処理を施した画像間の差異に基づいて乖離度を算出することも可能である。スムージング等の事前処理を施すことにより、乖離度の算出処理においてノイズ等による影響を軽減し、精度よく乖離度を求めることが可能になる。
本実施形態によれば、第1画像と第2画像との間の実変形場を算出しなくても、正常変形状態からの乖離度を求めることができる。そのため、実変形場の計算コストを低減できる。また、第1変形状態と第2変形状態の間の変形が大きい等の原因により実変形の算出が難しい場合であっても、乖離度を算出できるという効果がある。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

Claims (19)

  1. 第1変形状態から第2変形状態へ変形した被検体の変形情報を算出する第1算出手段と、
    前記被検体の正常組織の変形を表す変形モデルに基づいて、前記第1変形状態から前記第2変形状態へ変形する前記被検体の変形情報を算出する第2算出手段と、
    前記第1算出手段で算出された前記被検体の変形情報と前記第2算出手段で算出された変形情報の乖離度を算出する乖離度算出手段と、
    前記算出した乖離度を表示させる表示制御手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記変形モデルを取得する取得手段を更に備え、
    前記変形モデルは、複数の被検体の正常組織を、前記第1変形状態で撮像した画像と、前記第2変形状態で撮像した画像と、を用いて生成されたモデルであることを特徴とする請求項1に記載の画像処理装置。
  3. 前記表示制御手段は、前記被検体の断面画像に、前記乖離度の分布をマップとして重畳表示することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記表示制御手段は、前記被検体の断面画像に、前記乖離度の等値線を重畳表示することを特徴とする請求項1または2に記載の画像処理装置。
  5. 前記表示制御手段は、前記被検体の断面画像に、前記乖離度を示す文字情報を重畳表示することを特徴とする請求項1または2に記載の画像処理装置。
  6. 前記第1算出手段で算出された前記被検体の変形情報は、
    前記第1変形状態の被検体を撮像した第1の画像と、前記第2変形状態の前記被検体を撮像した第2の画像に基づき、
    特徴点の対応付け、FFD法、あるいはLDDMM法のいずれかで算出された前記被検体における変形場である請求項1乃至請求項5のいずれか1項に記載の画像処理装置。
  7. 第1変形状態の被検体を撮像した第1の画像と、第2変形状態の前記被検体を撮像した第2の画像とを取得する取得手段と、
    前記第1変形状態から前記第2変形状態への前記被検体の正常組織の変形を表すモデルに基づいて、前記第1の画像を前記第2変形状態の前記被検体に対応する画像に変形させた変形画像を生成する画像生成手段と、
    前記変形画像前記第2の画像の乖離度を算出する乖離度算出手段と、前記算出した乖離度を表示させる表示制御手段と、
    を備えることを特徴とする画像処理装置。
  8. 前記モデルに基づいて、前記第1の画像を前記第2変形状態の前記被検体に対応する画像に変形させる変形情報を算出する算出手段を更に備え、
    前記画像生成手段は、前記算出された変形情報を用いて前記変形画像を生成することを特徴とする請求項に記載の画像処理装置。
  9. 第1変形状態の被検体を撮像した第1の画像と、第2変形状態の前記被検体を撮像した第2の画像とを取得する取得手段と、
    前記第1画像および前記第2画像の夫々から、被検体上の同一部位を示す前記被検体上における基準点の位置情報を取得する位置取得手段と、
    前記第1画像および前記第2画像の夫々に対して、前記被検体上において対応する注目点を設定する設定手段と、
    前記第1画像における基準点と注目点との間の位置関係と、前記第2画像における基準点と注目点との間の前記位置関係の変化を乖離度として算出する乖離度算出手段と、
    前記算出した乖離度を表示させる表示制御手段と、
    を備えることを特徴とする画像処理装置。
  10. 前記乖離度算出手段は、前記第1画像における基準点と注目点との間の距離と、前記第2画像における基準点と注目点との間の距離との差分を乖離度として算出することを特徴とする請求項に記載の画像処理装置。
  11. 前記乖離度算出手段は、前記第1画像における基準点と注目点との間の距離と、前記第2画像における基準点と注目点との間の距離との比率を前記乖離度として算出することを特徴とする請求項に記載の画像処理装置。
  12. 前記乖離度算出手段は、前記第1画像における基準点と注目点とを結ぶベクトルと、該画像の基準ベクトルとの間の角度情報と、前記第2画像における基準点と注目点とを結ぶベクトルと、該画像の基準ベクトルとの間の角度情報と、の差分を前記乖離度として算出することを特徴とする請求項に記載の画像処理装置。
  13. 前記乖離度は病変部の変形状態を表すことを特徴とする請求項1乃至請求項12のいずれか1項に記載の画像処理装置。
  14. 前記基準点は乳頭であることを特徴とする請求項10乃至請求項12のいずれか1項に記載の画像処理装置。
  15. 前記注目点は病変部の一部であることを特徴とする請求項10乃至請求項12のいずれか1項に記載の画像処理装置。
  16. 第1変形状態から第2変形状態へ変形した被検体の変形情報を算出する第1算出工程と、
    前記被検体の正常組織の変形を表す変形モデルに基づいて、前記第1変形状態から前記第2変形状態へ変形する前記被検体の変形情報を算出する第2算出工程と、
    前記第1算出工程で算出された前記被検体の変形情報と前記第2算出工程で算出された変形情報の乖離度を算出する乖離度算出工程と、
    前記算出した乖離度を表示させる表示制御工程と、
    を有することを特徴とする画像処理方法。
  17. 第1変形状態の被検体を撮像した第1の画像と、第2変形状態の前記被検体を撮像した第2の画像とを取得する取得工程と、
    前記第1変形状態から前記第2変形状態への前記被検体の正常組織の変形を表すモデルに基づいて、前記第1の画像を前記第2変形状態の前記被検体に対応する画像に変形させた変形画像を生成する画像生成工程と、
    前記変形画像前記第2の画像の乖離度を算出する乖離度算出工程と、前記算出した乖離度を表示させる表示制御工程と、
    を有することを特徴とする画像処理方法。
  18. 第1変形状態の被検体を撮像した第1の画像と、第2変形状態の前記被検体を撮像した第2の画像とを取得する取得工程と、
    前記第1画像および前記第2画像の夫々から、被検体上の同一部位を示す前記被検体上における基準点の位置情報を取得する位置取得工程と、
    前記第1画像および前記第2画像の夫々に対して、前記被検体上において対応する注目点を設定する設定工程と、
    前記第1画像における基準点と注目点との間の位置関係と、前記第2画像における基準点と注目点との間の前記位置関係の変化を乖離度として算出する乖離度算出工程と、
    前記算出した乖離度を表示させる表示制御工程と、
    を有することを特徴とする画像処理方法。
  19. コンピュータを、請求項1乃至請求項15のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2014225433A 2014-11-05 2014-11-05 画像処理装置、画像処理方法、およびプログラム Active JP6541334B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014225433A JP6541334B2 (ja) 2014-11-05 2014-11-05 画像処理装置、画像処理方法、およびプログラム
US14/926,467 US10157486B2 (en) 2014-11-05 2015-10-29 Deformation field calculation apparatus, method, and computer readable storage medium
US16/185,294 US10867423B2 (en) 2014-11-05 2018-11-09 Deformation field calculation apparatus, method, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014225433A JP6541334B2 (ja) 2014-11-05 2014-11-05 画像処理装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2016087109A JP2016087109A (ja) 2016-05-23
JP2016087109A5 JP2016087109A5 (ja) 2017-12-21
JP6541334B2 true JP6541334B2 (ja) 2019-07-10

Family

ID=55853200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014225433A Active JP6541334B2 (ja) 2014-11-05 2014-11-05 画像処理装置、画像処理方法、およびプログラム

Country Status (2)

Country Link
US (2) US10157486B2 (ja)
JP (1) JP6541334B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102381391B1 (ko) * 2015-04-16 2022-03-31 삼성디스플레이 주식회사 표시 장치
JP5400466B2 (ja) 2009-05-01 2014-01-29 キヤノン株式会社 画像診断装置、画像診断方法
US10593069B2 (en) * 2013-03-15 2020-03-17 Real Time Tomography, Llc Enhancements for displaying and viewing Tomosynthesis images
JP6200249B2 (ja) 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
JP6467221B2 (ja) * 2014-12-22 2019-02-06 キヤノン株式会社 画像処理装置および方法
JP6448356B2 (ja) 2014-12-22 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP6821303B2 (ja) * 2015-12-15 2021-01-27 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN111882833B (zh) * 2020-07-21 2021-09-21 华润电力唐山丰润有限公司 基于离群参数的设备故障预警方法、装置、设备及介质
CN114869311A (zh) * 2022-05-10 2022-08-09 上海联影医疗科技股份有限公司 医学成像设备及其变形测量方法和系统、存储介质

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991459A (en) * 1992-01-22 1999-11-23 Eastman Kodak Company Method of modifying a time-varying image sequence by estimation of velocity vector fields
JP3569566B2 (ja) 1995-06-12 2004-09-22 コニカミノルタホールディングス株式会社 画像処理装置
US6658059B1 (en) * 1999-01-15 2003-12-02 Digital Video Express, L.P. Motion field modeling and estimation using motion transform
DE10317044A1 (de) * 2003-04-11 2004-10-21 Daimlerchrysler Ag Freiraumüberwachung bei Kraftfahrzeugen
US7162151B2 (en) * 2003-08-08 2007-01-09 Olympus Corporation Camera
US7116806B2 (en) * 2003-10-23 2006-10-03 Lumeniq, Inc. Systems and methods relating to AFIS recognition, extraction, and 3-D analysis strategies
US7596283B2 (en) * 2004-04-12 2009-09-29 Siemens Medical Solutions Usa, Inc. Fast parametric non-rigid image registration based on feature correspondences
DE102005003321A1 (de) * 2005-01-18 2006-07-27 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen einer Raumkoordinate eines Messpunktes an einem Messobjekt sowie entsprechendes Koordinatenmessgerät
KR100679054B1 (ko) * 2006-02-15 2007-02-06 삼성전자주식회사 입체 영상을 디스플레이하는 장치 및 방법
US8005284B2 (en) * 2006-12-07 2011-08-23 Kabushiki Kaisha Toshiba Three dimensional image processing apparatus and x-ray diagnosis apparatus
US7907768B2 (en) * 2006-12-19 2011-03-15 Fujifilm Corporation Method and apparatus for probabilistic atlas based on shape modeling technique
US8457410B2 (en) * 2007-02-14 2013-06-04 Technion Research And Development Foundation Ltd. Over-parameterized variational optical flow method
JP5319157B2 (ja) * 2007-09-04 2013-10-16 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
US20090129650A1 (en) * 2007-11-19 2009-05-21 Carestream Health, Inc. System for presenting projection image information
JP4806706B2 (ja) * 2008-12-18 2011-11-02 株式会社日立製作所 解析モデルの変形方法および計算機
JP5322662B2 (ja) * 2009-01-08 2013-10-23 株式会社東芝 画像処理装置
WO2010083381A1 (en) * 2009-01-15 2010-07-22 Physical Sciences, Inc. Adaptive optics line scanning ophthalmoscope
JP5586917B2 (ja) * 2009-10-27 2014-09-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
EP2525707B1 (en) * 2010-01-22 2016-06-08 Annidis Health Systems Corp. Registration method for multispectral retinal images
EP2580708A4 (en) * 2010-06-10 2016-11-16 Univ Brown PARAMETRIZED 2D HUMAN MODEL WITH RACES
US9008424B2 (en) * 2011-01-25 2015-04-14 Telecom Italia S.P.A. Method and system for comparing images
WO2012116746A1 (en) * 2011-03-02 2012-09-07 Mevis Medical Solutions Ag Image processing device for finding corresponding regions in two image data sets of an object
US8666477B2 (en) * 2011-03-07 2014-03-04 Siemens Aktiengesellschaft Method and system for tracking of a virtual electrode on a coronary sinus catheter in fluoroscopic images
JP5950619B2 (ja) * 2011-04-06 2016-07-13 キヤノン株式会社 情報処理装置
US9020229B2 (en) * 2011-05-13 2015-04-28 Broncus Medical, Inc. Surgical assistance planning method using lung motion analysis
EP2525323A1 (en) * 2011-05-20 2012-11-21 Joanneum Research Forschungsgesellschaft mbH Visualizing deformation fields for image transformations
US9058647B2 (en) * 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
WO2013181703A1 (en) * 2012-06-05 2013-12-12 The University Of Queensland Method of estimating specific absorption rate
US20140003685A1 (en) * 2012-06-29 2014-01-02 Allergan, Inc. Method for quantifying collagen fiber alignment in periprosthetic tissue
TWI538492B (zh) * 2012-10-05 2016-06-11 Video clip search method
EP2722816A3 (en) * 2012-10-18 2017-04-19 Thomson Licensing Spatio-temporal confidence maps
JP6133038B2 (ja) * 2012-10-23 2017-05-24 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
FR2998402B1 (fr) * 2012-11-20 2014-11-14 Morpho Procede de generation d'un modele de visage en trois dimensions
WO2014093376A1 (en) * 2012-12-10 2014-06-19 The Cleveland Clinic Foundation Mage fusion with automated compensation for brain deformation
KR102114415B1 (ko) * 2013-01-29 2020-05-22 삼성전자주식회사 의료 영상 정합 방법 및 장치
WO2014120734A1 (en) * 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
EP2967343A4 (en) * 2013-03-15 2017-03-08 Synaptive Medical (Barbados) Inc. System and method for detecting tissue and fiber tract deformation
WO2014185977A1 (en) * 2013-05-14 2014-11-20 Boston Scientific Scimed Inc. Representation and identification of activity patterns during electro-physiology mapping using vector fields
DE102013213215A1 (de) * 2013-07-05 2015-01-08 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Ultraschallaufnahme eines deformierten Objektes, insbesondere der menschlichen Brust
US9155513B2 (en) * 2013-07-17 2015-10-13 Hepatiq Llc Systems and methods for determining hepatic function from liver scans
FR3010217A1 (fr) * 2013-08-30 2015-03-06 Thomson Licensing Procede et dispositif de traitement d'images non alignees, et programme d'ordinateur correspondant
JP6200249B2 (ja) 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
US9478048B2 (en) * 2014-07-02 2016-10-25 Siemens Medical Solutions Usa, Inc. Prior image based three dimensional imaging
JP6482250B2 (ja) 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6467221B2 (ja) 2014-12-22 2019-02-06 キヤノン株式会社 画像処理装置および方法
JP6448356B2 (ja) 2014-12-22 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム

Also Published As

Publication number Publication date
US10867423B2 (en) 2020-12-15
US10157486B2 (en) 2018-12-18
US20160125584A1 (en) 2016-05-05
US20190080500A1 (en) 2019-03-14
JP2016087109A (ja) 2016-05-23

Similar Documents

Publication Publication Date Title
JP6541334B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8867808B2 (en) Information processing apparatus, information processing method, program, and storage medium
US9129362B2 (en) Semantic navigation and lesion mapping from digital breast tomosynthesis
US10102622B2 (en) Processing apparatus, processing method, and non-transitory computer-readable storage medium
US9035941B2 (en) Image processing apparatus and image processing method
US8787648B2 (en) CT surrogate by auto-segmentation of magnetic resonance images
EP3625768B1 (en) Determining a clinical target volume
JP2013180153A (ja) 医用画像表示装置および医用画像表示方法、並びに、医用画像表示プログラム
JP2015521880A (ja) 運動パラメータ推定
JP5591309B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
Zikic et al. Fast deformable registration of 3D-ultrasound data using a variational approach
WO2017148502A1 (en) Automatic detection of an artifact in patient image data
US9020215B2 (en) Systems and methods for detecting and visualizing correspondence corridors on two-dimensional and volumetric medical images
Alam et al. Evaluation of medical image registration techniques based on nature and domain of the transformation
JP2019046057A (ja) 画像処理装置、画像処理方法およびプログラム
Gupta et al. A hybrid framework for registration of carotid ultrasound images combining iconic and geometric features
JP6676758B2 (ja) 位置合わせ精度の決定
US11138736B2 (en) Information processing apparatus and information processing method
Mao et al. Direct 3d ultrasound fusion for transesophageal echocardiography
JPWO2020138136A1 (ja) 画像処理装置、画像処理方法及びプログラム
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
US20220084206A1 (en) Information processing apparatus, information processing method, and non-transitory storage medium
Roy et al. 5 Enhancing with Modality-Based Patient Care Image Registration in Modern Healthcare
JP2017080157A (ja) 画像処理装置
JP2022171345A (ja) 医用画像処理装置、医用画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190611

R151 Written notification of patent or utility model registration

Ref document number: 6541334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151