JP6541334B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6541334B2 JP6541334B2 JP2014225433A JP2014225433A JP6541334B2 JP 6541334 B2 JP6541334 B2 JP 6541334B2 JP 2014225433 A JP2014225433 A JP 2014225433A JP 2014225433 A JP2014225433 A JP 2014225433A JP 6541334 B2 JP6541334 B2 JP 6541334B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- deformation
- degree
- subject
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 85
- 238000003672 processing method Methods 0.000 title claims 4
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000004364 calculation method Methods 0.000 claims description 138
- 238000000034 method Methods 0.000 claims description 47
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 16
- 230000003902 lesion Effects 0.000 claims description 13
- 210000002445 nipple Anatomy 0.000 claims description 13
- 230000008569 process Effects 0.000 description 21
- 238000006073 displacement reaction Methods 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 210000000481 breast Anatomy 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- IYLGZMTXKJYONK-ACLXAEORSA-N (12s,15r)-15-hydroxy-11,16-dioxo-15,20-dihydrosenecionan-12-yl acetate Chemical compound O1C(=O)[C@](CC)(O)C[C@@H](C)[C@](C)(OC(C)=O)C(=O)OCC2=CCN3[C@H]2[C@H]1CC3 IYLGZMTXKJYONK-ACLXAEORSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002559 palpation Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- IYLGZMTXKJYONK-UHFFFAOYSA-N ruwenine Natural products O1C(=O)C(CC)(O)CC(C)C(C)(OC(C)=O)C(=O)OCC2=CCN3C2C1CC3 IYLGZMTXKJYONK-UHFFFAOYSA-N 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Description
前記被検体の正常組織の変形を表す変形モデルに基づいて、前記第1変形状態から前記第2変形状態へ変形する前記被検体の変形情報を算出する第2算出手段と、
前記第1算出手段で算出された前記被検体の変形情報と前記第2算出手段で算出された変形情報の乖離度を算出する乖離度算出手段と、
前記算出した乖離度を表示させる表示制御手段と、を備えることを特徴とする。
本実施形態に係る画像処理装置は、異なる変形状態で同一の被検体を撮像した複数の3次元断層画像を入力として、画像間における被検体の変形について、正常組織の変形モデルからの乖離度を可視化して表示する。以下、本実施形態に係る画像処理装置について説明する。
図1は、本実施形態に係る画像処理システム1000の構成を例示する図である。画像処理システム1000は、画像処理装置100と、データサーバ170と、表示部180を有している。尚、画像処理システム1000の構成要素はこれらの装置等に限定されるものではなく、更に別の構成要素を含んでもよいし、その一部が含まれないように画像処理システムを構成してもよい。
画像処理装置100は、変形モデル取得部102と、データ取得部104と、正常変形算出部106と、実変形算出部108と、乖離度算出部110と、表示制御部112とを備えている。そして、不図示のCPUは画像処理装置100の全体的な処理を制御し、CPUはプログラムを読み出して実行することにより各機能ブロックの動作を制御する。
次に、図2のフローチャートを参照して、本実施形態に係る画像処理装置100が実行する処理の手順について説明する。
ステップS200において、データ取得部104は、データサーバ170から対象症例の第1画像および第2画像を取得する。そして、データ取得部104は、取得した画像を、正常変形算出部106、実変形算出部108、および表示制御部112へと出力する。
ステップS201において、変形モデル取得部102は、データサーバ170から変形モデルを取得する。そして、変形モデル取得部102は、取得した変形モデルを正常変形算出部106へと出力する。
ステップS202において、実変形算出部108は、対象症例の第1画像と第2画像の変形位置合わせを行い、第1画像から第2画像への実変形場(実際に生じている変形の変形場)を算出する。実変形算出部108は、実変形場の算出において、例えば、第1画像の特徴点と第2画像の特徴点との対応付けや、画像類似度に基づくFFD(Free−form deformation)法や、LDDMM(Large Deformation Diffeomorphic Metric Mapping)法等の公知の方法を用いることが可能である。そして、実変形算出部108は、算出した実変形場を、正常変形算出部106、及び乖離度算出部110へと出力する。以下では、本ステップで得られる実変形場をTreal(p)と表す。ここで、pは、第1画像上における任意の座標を表し、Treal(p)は、座標pにおける実際の変位(実変形場)を表している。図3(c)は、実変形算出部108により取得された実変形場303の例を示す図である。図3(c)では、対象症例の第1画像と第2画像との間で実際に生じている変形状態の分布が示されている。
ステップS203において、正常変形算出部106は、ステップS201で取得した変形モデルに基づき、対象症例の第1画像から第2画像への正常変形場を算出する。ここで、第1画像および第2画像は、正常変形算出部106がステップS200でデータ取得部104から取得した画像である。そして、正常変形算出部106は、算出した正常変形場を乖離度算出部110へと出力する。
= Tave(Tnorm(p)+p)+ Σ1≦i≦N(αiTeigen_i(Tnorm(p)+p))・・・(1)
ここでNは、変形モデルとして使用する主成分変形場(主成分変形場Teigen_i(p))の数である。Nの値は、予め定めた固定値を使用するようにしてもよいし、不図示のGUIを介して画像処理装置100のユーザが適宜変更できる構成であってもよい。そして、正常変形算出部106は、第1画像の被検体領域Ω1内の各点(所定の間隔でサンプリングした点)pにおける変形場Tmodel(p)と実変形場Treal(p)との残差(err)を次の(2)式によって定義し、この値を最小とするパラメータαiを取得する。
すなわち、正常変形算出部106は、取得したパラメータαiに基づいて、実変形場Treal(p)を最もよく近似する、対象症例の第1画像の「正常な変形」を推定する。そして、このときの変形場Tmodel(p)を、正常変形場Tideal(p)として取得する。なお、正常変形算出部106は、αiの算出のために、公知の線形解法を用いることが可能であり、αiの値を線形方程式の解として解析的に導出することが可能である。尚、正常変形算出部106によるパラメータαiの導出は、(2)式で定義される誤差の総和(err)を最小化する方法に限定されるものではない。正常変形算出部106は、例えば、RANSAC(RANdom SAmple Consensus)やM推定等の公知のアウトライア除去アルゴリズムを用いることにより誤差の大きな点pを除外して、残された点の誤差の総和を最小化することによりパラメータαiを求めることも可能である。図3(d)は、正常変形算出部106により取得された正常変形場304の例を示す図である。
ステップS204において、乖離度算出部110は、第1画像上の被検体領域Ω1内の夫々のボクセルについて、夫々のボクセルに対応する位置における変位の乖離度を算出する。そして、乖離度算出部110は、各ボクセルにおける乖離度をボクセル値として有するボリューム画像(以下、乖離度画像と呼ぶ)を生成する。そして、乖離度算出部110は、生成した乖離度画像を表示制御部112へと出力する。
(3)式は、注目した点pjにおける実際の変位(実変形場)と、統計的に正常な変形モデルに基づく同点(点pj)の変位(正常変形場)との差分のノルムを計算することを意味する。したがって、点pjにおける実際の変位(実変形場)と統計的に正常な変形モデルに基づく変位(正常変形場)との差異が小さい場合には、乖離度K(pj)の値は小さくなり、差異が大きい場合には乖離度K(pj)の値は大きくなる。
ステップS205において、表示制御部112は、乖離度に関する情報を表示部180に表示させる。表示制御部112は、例えば、濃淡で表現した第1画像の断面画像上に、乖離度の分布を示すマップとして、カラーマップ(以下、乖離度マップと呼ぶ)を重畳表示するように表示制御を行うことが可能である。乖離度マップの表示において、表示制御部112は、例えば、乖離度の値と表示色の対応を予めテーブルで定義しておき、そのテーブルに従って決定した表示色を第1画像の対応ボクセルに重畳表示するように表示制御を行うことが可能である。このようにして、表示制御部112はカラーマップの表示を制御することができる。
第1実施形態では、第1変形状態から第2変形状態への変形において、統計処理を行うことにより統計的に妥当な変形を表すモデルを変形モデルとして用いる場合を例に説明したが、他の変形モデルを用いる構成であってもよい。例えば、物理的に妥当な変形を表す変形モデルとして、物理変形シミュレーションのための有限要素モデル(物理モデル)を用いてもよい。正常変形算出部106は、例えば、第1画像を基準とする場合、第1画像に物理変形シミュレーションを施して求めた変形場を正常変形場として生成する。正常変形場の生成において、正常変形算出部106は、例えば、物理モデルに基づく制約条件に従う範囲で可能な限り、実変形場を表現する変形を物理変形シミュレーションにより求めることで、正常変形場を生成する。これにより、乖離度算出部110は、物理的に妥当な変形(物理変形シミュレーションに基づく正常変形場)に対する実変形場の乖離度を取得することができる。
第1実施形態では、ステップS202における実変形算出部108の処理において、画像情報(第1画像、第2画像)を利用して実変形場を算出する場合を例として説明していた。しかし、実変形場の生成は、この処理に限定されるものではない。例えば、第1画像と第2画像の間で対応する点の位置情報(対応点情報)を手動または自動で入力し、実変形算出部108はそれらの対応点情報を用いて実変形場を算出することが可能である。この場合、ステップS200の処理において、データ取得部104は、第2画像上に対して入力された点群の3次元位置と、それら点群と夫々対応する第1画像上の点群の3次元位置とをそれぞれ取得する。そして、ステップ202の処理において、実変形算出部108は、実変形場を算出する際に、第1画像上の点群の3次元位置が、対応する第2画像上の点群の3次元位置へと変位することを拘束条件として追加する。本変形例によれば、第1画像と第2画像が異なるモダリティで取得される場合のように、画像情報を利用した処理だけでは実変形場が適切に求められない場合であっても、対応点情報を用いることによって、実変形場を適切に算出することができるという効果がある。
第1実施形態では、ステップS203の処理において、正常変形算出部106は正常変形場の導出を、実変形場を最もよく近似するようにパラメータαiを求めることで行っていた。しかし、正常変形場の導出は上記とは異なる処理で行ってもよい。正常変形算出部106は、例えば、(1)式の変形モデルで表現可能な変形場のうち、その変形場によって第1画像を変形させた結果が第2画像に極力近くなる(一致する)変形場を求め(そのようなαiを導出し)、これを正常変形場としてもよい。このとき、画像間の一致度は、例えば、同一位置における画素値(輝度値)の差(輝度差)の二乗の合計(SSD:Sum of Squared Difference)によって評価することができる。また、輝度差の絶対値が所定値以下となるボクセル数、両画像間で対応付けられたランドマークの位置情報の残差、画像間の特徴情報の類似度、相互相関など、公知の評価尺度を用いて評価することができる。
第1実施形態では、複数の3次元断層画像間の実際の変形場(実変形場)と、変形モデルに基づく正常変形場との比較によって乖離度を求める処理を説明した。一方、本実施形態に係る画像処理装置は、変形モデルに基づく正常変形場の算出を介さずに、正常組織の変形に関する事前知識に基づいて乖離度を算出することを主な特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態との相違部分についてのみ説明する。
本実施形態に係る画像処理システム5000及び画像処理装置500の構成を図5に示す。なお、図1と同じ部分については、同一の参照番号を付けており、その説明を省略する。画像処理装置500は、データ取得部104、実変形算出部108、表示制御部112、基準位置取得部501、及び、乖離度算出部510を備えている。
次に、図6のフローチャートを参照しながら、本実施形態に係る画像処理装置500が行う全体の処理手順を説明する。なお、ステップS600、ステップS602、およびステップS604の処理は、第1実施形態で説明した図2のステップS200、ステップS202、およびステップS205の処理と同様であるため、説明を省略する。
ステップS601において、基準位置取得部501は、第1画像および第2画像の夫々から、乖離度の算出に用いる被検体における基準点の位置情報(本実施形態では、被検体の同一部位を示す基準点の位置情報の例として、乳頭位置の3次元座標)を取得する。そして、取得した夫々の基準点の位置情報(乳頭位置の3次元座標)を、乖離度算出部510へと出力する。以下では、第1画像および第2画像における基準点の位置情報(乳頭位置の3次元座標)を、夫々n1、n2と記す。
(乖離度の算出: S603)
ステップS603において、乖離度算出部510は、第1実施形態と同様に、第1画像上の被検体領域Ω1内の夫々のボクセルにおける乖離度をボクセル値として有する乖離度画像を生成して、算出した乖離度画像を表示制御部112へと出力する。ただし、本実施形態では、各ボクセルにおける乖離度の算出方法が第1実施形態とは異なっている。すなわち、夫々のボクセルを注目点としたときに、乖離度算出部510は、第1画像及び第2画像の夫々に対して、被検体上において対応する注目点を設定する。乖離度算出部510は、第1画像における基準点と注目点との間の位置関係と、第2画像における基準点と注目点との間の位置関係の変化を乖離度として算出する。
ここで、(4)式における|pj−n1|は、第1画像における「注目点−乳頭間の距離」を表している。また、qjは、第2画像上における該注目点(pj)の対応点の位置を表している。すなわち、|qj−n2|は、第2画像における「該注目点の対応点−乳頭間の距離」を表している。したがって、(4)式の計算は、第1変形状態と第2変形状態において、同一点の乳頭−点間距離の違いを算出するものである。なお、第2画像上における該注目点(pj)の対応点の位置(qj)の値は、ステップS602で得た実変形場を用いて、次の(5)式によって算出される。(5)式において、座標pjにおける実変形場をTreal(pj)として示す。
乖離度K(pj)の値が0に近い場合、位置pjにおける乳頭−点間距離は、第1変形状態および第2変形状態の間で変化が小さい。正常な変形状態においては同一点の乳頭−点間距離は大きくは変化しないという知識に基づくと、この場合、位置pj付近の領域は正常に変形していると考えられる。一方、乖離度K(pj)の絶対値が大きい場合には、位置pj付近の領域において、正常モデルとは異なる変形が起こっていると考えられる。なお、乳頭−点間距離の差異を計量できる方法であれば、乖離度算出部510は、(4)式に示した差分以外の方法で乖離度を求めることが可能である。
乖離度算出部510による乖離度の算出は、正常な変形状態においては同一点の乳頭−点間距離は大きくは変化しないという知識を基準としたものである。尚、乖離度算出部510による乖離度の算出は、乳頭−点間の距離が変化しないという基準に基づく方法に限らず、乳頭−点間の位置関係の不変性に基づく他の方法で行ってもよい。
・・・(7)
この計算は、位置p(注目点)と乳頭位置n(基準点)を結ぶベクトルとZ軸ベクトル(基準ベクトル)を、基準座標系のXZ平面に夫々投影して、角度差を算出することを意味する。乖離度算出部510は、第1画像における位置pj(注目点)と、(5)式で算出される第2画像上の対応位置qj(注目点)のそれぞれについて方位角(D(pj)、D(qj))を求め、その差分を乖離度として算出する。すなわち、乖離度算出部510は、第1画像における基準点と注目点とを結ぶベクトルと、第1画像の基準ベクトルとの間の角度情報と、第2画像における基準点と注目点とを結ぶベクトルと、第2画像の基準ベクトルとの間の角度情報と、の差分を乖離度として算出する。
第1実施形態では、複数の3次元断層画像間の実際の変形場(実変形場)と、変形モデルに基づく正常変形場との差異に基づいて乖離度を算出していた。一方、本実施形態に係る画像処理装置は、実変形場の算出を介さずに、変形モデルに基づく正常変形場によって生成された変形画像と実画像との差異に基づいて乖離度を算出することを主な特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態との相違部分についてのみ説明する。
本実施形態に係る画像処理システム7000及び画像処理装置700の構成を図7に示す。なお、図1と同じ部分については、同一の参照番号を付けており、その説明を省略する。画像処理装置700は、変形モデル取得部102、データ取得部104、正常変形算出部106、表示制御部112、変形画像生成部707、及び、乖離度算出部710を備えている。
次に、図8のフローチャートを参照しながら、本実施形態に係る画像処理装置700が行う全体の処理手順を説明する。なお、ステップS800、ステップS801、およびステップS805の処理は、第1実施形態におけるステップS200、ステップS201、およびステップS205の処理と同様であるため、説明を省略する。
ステップS802において、正常変形算出部106は、ステップS801で取得した変形モデルに基づき、対象症例の第1画像から第2画像への正常変形場を算出する。そして、算出した正常変形場を変形画像生成部707へと出力する。なお、本実施形態に係る画像処理装置700は、第1実施形態における実変形算出部108に相当する処理部を有していないので、本ステップの処理は、第1実施形態の変形例3に記載した実変形場に基づかない処理によって実行される。正常変形算出部106は、(1)式の変形モデルで表現可能な変形場のうち、その変形場によって第1画像を変形させた結果が第2画像に極力近くなる(一致する)変形場を求め(そのようなαiを導出し)、これを正常変形場とする。
ステップS803において、変形画像生成部707は、ステップS802で取得した正常変形場に基づいて第1画像を変形させた変形画像(第3画像)を生成する。そして、生成した変形画像(第3画像)を乖離度算出部710へと出力する。変形場に基づく変形画像の生成は、公知の方法で実施可能である。
ステップS804において、乖離度算出部710は、ステップS803で取得した変形画像(第3画像)と、データ取得部104から取得した第2画像とに基づいて、夫々のボクセルで生じている実際の変形の、正常モデルからの乖離度を算出する。そして、乖離度算出部710は、各ボクセルにおける乖離度をボクセル値として有する乖離度画像を生成する。本実施形態では、乖離度を、第2画像と変形画像(第3画像)との間において、対応するボクセルのボクセル値の差異と定義する。具体的な算出方法として、乖離度算出部710は、例えば、対応ボクセルのボクセル値の差分値やその絶対値等を用いて乖離度を算出することができる。なお、乖離度算出部710による乖離度の算出は、第2画像と変形画像(第3画像)との直接的な差異に基づいて算出する場合に限らず、乖離度算出部710はスムージング等の事前処理を施した画像間の差異に基づいて乖離度を算出することも可能である。スムージング等の事前処理を施すことにより、乖離度の算出処理においてノイズ等による影響を軽減し、精度よく乖離度を求めることが可能になる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (19)
- 第1変形状態から第2変形状態へ変形した被検体の変形情報を算出する第1算出手段と、
前記被検体の正常組織の変形を表す変形モデルに基づいて、前記第1変形状態から前記第2変形状態へ変形する前記被検体の変形情報を算出する第2算出手段と、
前記第1算出手段で算出された前記被検体の変形情報と前記第2算出手段で算出された変形情報の乖離度を算出する乖離度算出手段と、
前記算出した乖離度を表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。 - 前記変形モデルを取得する取得手段を更に備え、
前記変形モデルは、複数の被検体の正常組織を、前記第1変形状態で撮像した画像と、前記第2変形状態で撮像した画像と、を用いて生成されたモデルであることを特徴とする請求項1に記載の画像処理装置。 - 前記表示制御手段は、前記被検体の断面画像に、前記乖離度の分布をマップとして重畳表示することを特徴とする請求項1または2に記載の画像処理装置。
- 前記表示制御手段は、前記被検体の断面画像に、前記乖離度の等値線を重畳表示することを特徴とする請求項1または2に記載の画像処理装置。
- 前記表示制御手段は、前記被検体の断面画像に、前記乖離度を示す文字情報を重畳表示することを特徴とする請求項1または2に記載の画像処理装置。
- 前記第1算出手段で算出された前記被検体の変形情報は、
前記第1変形状態の被検体を撮像した第1の画像と、前記第2変形状態の前記被検体を撮像した第2の画像に基づき、
特徴点の対応付け、FFD法、あるいはLDDMM法のいずれかで算出された前記被検体における変形場である請求項1乃至請求項5のいずれか1項に記載の画像処理装置。 - 第1変形状態の被検体を撮像した第1の画像と、第2変形状態の前記被検体を撮像した第2の画像とを取得する取得手段と、
前記第1変形状態から前記第2変形状態への前記被検体の正常組織の変形を表すモデルに基づいて、前記第1の画像を前記第2変形状態の前記被検体に対応する画像に変形させた変形画像を生成する画像生成手段と、
前記変形画像と前記第2の画像の乖離度を算出する乖離度算出手段と、前記算出した乖離度を表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。 - 前記モデルに基づいて、前記第1の画像を前記第2変形状態の前記被検体に対応する画像に変形させる変形情報を算出する算出手段を更に備え、
前記画像生成手段は、前記算出された変形情報を用いて前記変形画像を生成することを特徴とする請求項7に記載の画像処理装置。 - 第1変形状態の被検体を撮像した第1の画像と、第2変形状態の前記被検体を撮像した第2の画像とを取得する取得手段と、
前記第1の画像および前記第2の画像の夫々から、被検体上の同一部位を示す前記被検体上における基準点の位置情報を取得する位置取得手段と、
前記第1の画像および前記第2の画像の夫々に対して、前記被検体上において対応する注目点を設定する設定手段と、
前記第1の画像における基準点と注目点との間の位置関係と、前記第2の画像における基準点と注目点との間の前記位置関係の変化を乖離度として算出する乖離度算出手段と、
前記算出した乖離度を表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。 - 前記乖離度算出手段は、前記第1の画像における基準点と注目点との間の距離と、前記第2の画像における基準点と注目点との間の距離との差分を乖離度として算出することを特徴とする請求項9に記載の画像処理装置。
- 前記乖離度算出手段は、前記第1の画像における基準点と注目点との間の距離と、前記第2の画像における基準点と注目点との間の距離との比率を前記乖離度として算出することを特徴とする請求項9に記載の画像処理装置。
- 前記乖離度算出手段は、前記第1の画像における基準点と注目点とを結ぶベクトルと、該画像の基準ベクトルとの間の角度情報と、前記第2の画像における基準点と注目点とを結ぶベクトルと、該画像の基準ベクトルとの間の角度情報と、の差分を前記乖離度として算出することを特徴とする請求項9に記載の画像処理装置。
- 前記乖離度は病変部の変形状態を表すことを特徴とする請求項1乃至請求項12のいずれか1項に記載の画像処理装置。
- 前記基準点は乳頭であることを特徴とする請求項10乃至請求項12のいずれか1項に記載の画像処理装置。
- 前記注目点は病変部の一部であることを特徴とする請求項10乃至請求項12のいずれか1項に記載の画像処理装置。
- 第1変形状態から第2変形状態へ変形した被検体の変形情報を算出する第1算出工程と、
前記被検体の正常組織の変形を表す変形モデルに基づいて、前記第1変形状態から前記第2変形状態へ変形する前記被検体の変形情報を算出する第2算出工程と、
前記第1算出工程で算出された前記被検体の変形情報と前記第2算出工程で算出された変形情報の乖離度を算出する乖離度算出工程と、
前記算出した乖離度を表示させる表示制御工程と、
を有することを特徴とする画像処理方法。 - 第1変形状態の被検体を撮像した第1の画像と、第2変形状態の前記被検体を撮像した第2の画像とを取得する取得工程と、
前記第1変形状態から前記第2変形状態への前記被検体の正常組織の変形を表すモデルに基づいて、前記第1の画像を前記第2変形状態の前記被検体に対応する画像に変形させた変形画像を生成する画像生成工程と、
前記変形画像と前記第2の画像の乖離度を算出する乖離度算出工程と、前記算出した乖離度を表示させる表示制御工程と、
を有することを特徴とする画像処理方法。 - 第1変形状態の被検体を撮像した第1の画像と、第2変形状態の前記被検体を撮像した第2の画像とを取得する取得工程と、
前記第1の画像および前記第2の画像の夫々から、被検体上の同一部位を示す前記被検体上における基準点の位置情報を取得する位置取得工程と、
前記第1の画像および前記第2の画像の夫々に対して、前記被検体上において対応する注目点を設定する設定工程と、
前記第1の画像における基準点と注目点との間の位置関係と、前記第2の画像における基準点と注目点との間の前記位置関係の変化を乖離度として算出する乖離度算出工程と、
前記算出した乖離度を表示させる表示制御工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至請求項15のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014225433A JP6541334B2 (ja) | 2014-11-05 | 2014-11-05 | 画像処理装置、画像処理方法、およびプログラム |
US14/926,467 US10157486B2 (en) | 2014-11-05 | 2015-10-29 | Deformation field calculation apparatus, method, and computer readable storage medium |
US16/185,294 US10867423B2 (en) | 2014-11-05 | 2018-11-09 | Deformation field calculation apparatus, method, and computer readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014225433A JP6541334B2 (ja) | 2014-11-05 | 2014-11-05 | 画像処理装置、画像処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016087109A JP2016087109A (ja) | 2016-05-23 |
JP2016087109A5 JP2016087109A5 (ja) | 2017-12-21 |
JP6541334B2 true JP6541334B2 (ja) | 2019-07-10 |
Family
ID=55853200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014225433A Active JP6541334B2 (ja) | 2014-11-05 | 2014-11-05 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US10157486B2 (ja) |
JP (1) | JP6541334B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102381391B1 (ko) * | 2015-04-16 | 2022-03-31 | 삼성디스플레이 주식회사 | 표시 장치 |
JP5400466B2 (ja) | 2009-05-01 | 2014-01-29 | キヤノン株式会社 | 画像診断装置、画像診断方法 |
US10593069B2 (en) * | 2013-03-15 | 2020-03-17 | Real Time Tomography, Llc | Enhancements for displaying and viewing Tomosynthesis images |
JP6200249B2 (ja) | 2013-09-11 | 2017-09-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6467221B2 (ja) * | 2014-12-22 | 2019-02-06 | キヤノン株式会社 | 画像処理装置および方法 |
JP6448356B2 (ja) | 2014-12-22 | 2019-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
JP6821303B2 (ja) * | 2015-12-15 | 2021-01-27 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN111882833B (zh) * | 2020-07-21 | 2021-09-21 | 华润电力唐山丰润有限公司 | 基于离群参数的设备故障预警方法、装置、设备及介质 |
CN114869311A (zh) * | 2022-05-10 | 2022-08-09 | 上海联影医疗科技股份有限公司 | 医学成像设备及其变形测量方法和系统、存储介质 |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5991459A (en) * | 1992-01-22 | 1999-11-23 | Eastman Kodak Company | Method of modifying a time-varying image sequence by estimation of velocity vector fields |
JP3569566B2 (ja) | 1995-06-12 | 2004-09-22 | コニカミノルタホールディングス株式会社 | 画像処理装置 |
US6658059B1 (en) * | 1999-01-15 | 2003-12-02 | Digital Video Express, L.P. | Motion field modeling and estimation using motion transform |
DE10317044A1 (de) * | 2003-04-11 | 2004-10-21 | Daimlerchrysler Ag | Freiraumüberwachung bei Kraftfahrzeugen |
US7162151B2 (en) * | 2003-08-08 | 2007-01-09 | Olympus Corporation | Camera |
US7116806B2 (en) * | 2003-10-23 | 2006-10-03 | Lumeniq, Inc. | Systems and methods relating to AFIS recognition, extraction, and 3-D analysis strategies |
US7596283B2 (en) * | 2004-04-12 | 2009-09-29 | Siemens Medical Solutions Usa, Inc. | Fast parametric non-rigid image registration based on feature correspondences |
DE102005003321A1 (de) * | 2005-01-18 | 2006-07-27 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren zum Bestimmen einer Raumkoordinate eines Messpunktes an einem Messobjekt sowie entsprechendes Koordinatenmessgerät |
KR100679054B1 (ko) * | 2006-02-15 | 2007-02-06 | 삼성전자주식회사 | 입체 영상을 디스플레이하는 장치 및 방법 |
US8005284B2 (en) * | 2006-12-07 | 2011-08-23 | Kabushiki Kaisha Toshiba | Three dimensional image processing apparatus and x-ray diagnosis apparatus |
US7907768B2 (en) * | 2006-12-19 | 2011-03-15 | Fujifilm Corporation | Method and apparatus for probabilistic atlas based on shape modeling technique |
US8457410B2 (en) * | 2007-02-14 | 2013-06-04 | Technion Research And Development Foundation Ltd. | Over-parameterized variational optical flow method |
JP5319157B2 (ja) * | 2007-09-04 | 2013-10-16 | 株式会社東芝 | 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム |
US20090129650A1 (en) * | 2007-11-19 | 2009-05-21 | Carestream Health, Inc. | System for presenting projection image information |
JP4806706B2 (ja) * | 2008-12-18 | 2011-11-02 | 株式会社日立製作所 | 解析モデルの変形方法および計算機 |
JP5322662B2 (ja) * | 2009-01-08 | 2013-10-23 | 株式会社東芝 | 画像処理装置 |
WO2010083381A1 (en) * | 2009-01-15 | 2010-07-22 | Physical Sciences, Inc. | Adaptive optics line scanning ophthalmoscope |
JP5586917B2 (ja) * | 2009-10-27 | 2014-09-10 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
EP2525707B1 (en) * | 2010-01-22 | 2016-06-08 | Annidis Health Systems Corp. | Registration method for multispectral retinal images |
EP2580708A4 (en) * | 2010-06-10 | 2016-11-16 | Univ Brown | PARAMETRIZED 2D HUMAN MODEL WITH RACES |
US9008424B2 (en) * | 2011-01-25 | 2015-04-14 | Telecom Italia S.P.A. | Method and system for comparing images |
WO2012116746A1 (en) * | 2011-03-02 | 2012-09-07 | Mevis Medical Solutions Ag | Image processing device for finding corresponding regions in two image data sets of an object |
US8666477B2 (en) * | 2011-03-07 | 2014-03-04 | Siemens Aktiengesellschaft | Method and system for tracking of a virtual electrode on a coronary sinus catheter in fluoroscopic images |
JP5950619B2 (ja) * | 2011-04-06 | 2016-07-13 | キヤノン株式会社 | 情報処理装置 |
US9020229B2 (en) * | 2011-05-13 | 2015-04-28 | Broncus Medical, Inc. | Surgical assistance planning method using lung motion analysis |
EP2525323A1 (en) * | 2011-05-20 | 2012-11-21 | Joanneum Research Forschungsgesellschaft mbH | Visualizing deformation fields for image transformations |
US9058647B2 (en) * | 2012-01-16 | 2015-06-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
WO2013181703A1 (en) * | 2012-06-05 | 2013-12-12 | The University Of Queensland | Method of estimating specific absorption rate |
US20140003685A1 (en) * | 2012-06-29 | 2014-01-02 | Allergan, Inc. | Method for quantifying collagen fiber alignment in periprosthetic tissue |
TWI538492B (zh) * | 2012-10-05 | 2016-06-11 | Video clip search method | |
EP2722816A3 (en) * | 2012-10-18 | 2017-04-19 | Thomson Licensing | Spatio-temporal confidence maps |
JP6133038B2 (ja) * | 2012-10-23 | 2017-05-24 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 画像処理方法および装置並びにプログラム |
FR2998402B1 (fr) * | 2012-11-20 | 2014-11-14 | Morpho | Procede de generation d'un modele de visage en trois dimensions |
WO2014093376A1 (en) * | 2012-12-10 | 2014-06-19 | The Cleveland Clinic Foundation | Mage fusion with automated compensation for brain deformation |
KR102114415B1 (ko) * | 2013-01-29 | 2020-05-22 | 삼성전자주식회사 | 의료 영상 정합 방법 및 장치 |
WO2014120734A1 (en) * | 2013-02-01 | 2014-08-07 | Kineticor, Inc. | Motion tracking system for real time adaptive motion compensation in biomedical imaging |
EP2967343A4 (en) * | 2013-03-15 | 2017-03-08 | Synaptive Medical (Barbados) Inc. | System and method for detecting tissue and fiber tract deformation |
WO2014185977A1 (en) * | 2013-05-14 | 2014-11-20 | Boston Scientific Scimed Inc. | Representation and identification of activity patterns during electro-physiology mapping using vector fields |
DE102013213215A1 (de) * | 2013-07-05 | 2015-01-08 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Ultraschallaufnahme eines deformierten Objektes, insbesondere der menschlichen Brust |
US9155513B2 (en) * | 2013-07-17 | 2015-10-13 | Hepatiq Llc | Systems and methods for determining hepatic function from liver scans |
FR3010217A1 (fr) * | 2013-08-30 | 2015-03-06 | Thomson Licensing | Procede et dispositif de traitement d'images non alignees, et programme d'ordinateur correspondant |
JP6200249B2 (ja) | 2013-09-11 | 2017-09-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US9478048B2 (en) * | 2014-07-02 | 2016-10-25 | Siemens Medical Solutions Usa, Inc. | Prior image based three dimensional imaging |
JP6482250B2 (ja) | 2014-11-20 | 2019-03-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6467221B2 (ja) | 2014-12-22 | 2019-02-06 | キヤノン株式会社 | 画像処理装置および方法 |
JP6448356B2 (ja) | 2014-12-22 | 2019-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
-
2014
- 2014-11-05 JP JP2014225433A patent/JP6541334B2/ja active Active
-
2015
- 2015-10-29 US US14/926,467 patent/US10157486B2/en active Active
-
2018
- 2018-11-09 US US16/185,294 patent/US10867423B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10867423B2 (en) | 2020-12-15 |
US10157486B2 (en) | 2018-12-18 |
US20160125584A1 (en) | 2016-05-05 |
US20190080500A1 (en) | 2019-03-14 |
JP2016087109A (ja) | 2016-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6541334B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US8867808B2 (en) | Information processing apparatus, information processing method, program, and storage medium | |
US9129362B2 (en) | Semantic navigation and lesion mapping from digital breast tomosynthesis | |
US10102622B2 (en) | Processing apparatus, processing method, and non-transitory computer-readable storage medium | |
US9035941B2 (en) | Image processing apparatus and image processing method | |
US8787648B2 (en) | CT surrogate by auto-segmentation of magnetic resonance images | |
EP3625768B1 (en) | Determining a clinical target volume | |
JP2013180153A (ja) | 医用画像表示装置および医用画像表示方法、並びに、医用画像表示プログラム | |
JP2015521880A (ja) | 運動パラメータ推定 | |
JP5591309B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
Zikic et al. | Fast deformable registration of 3D-ultrasound data using a variational approach | |
WO2017148502A1 (en) | Automatic detection of an artifact in patient image data | |
US9020215B2 (en) | Systems and methods for detecting and visualizing correspondence corridors on two-dimensional and volumetric medical images | |
Alam et al. | Evaluation of medical image registration techniques based on nature and domain of the transformation | |
JP2019046057A (ja) | 画像処理装置、画像処理方法およびプログラム | |
Gupta et al. | A hybrid framework for registration of carotid ultrasound images combining iconic and geometric features | |
JP6676758B2 (ja) | 位置合わせ精度の決定 | |
US11138736B2 (en) | Information processing apparatus and information processing method | |
Mao et al. | Direct 3d ultrasound fusion for transesophageal echocardiography | |
JPWO2020138136A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP4128145B1 (en) | Combining angiographic information with fluoroscopic images | |
US20220084206A1 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
Roy et al. | 5 Enhancing with Modality-Based Patient Care Image Registration in Modern Healthcare | |
JP2017080157A (ja) | 画像処理装置 | |
JP2022171345A (ja) | 医用画像処理装置、医用画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190513 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190611 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6541334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |