JP5586917B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP5586917B2 JP5586917B2 JP2009246667A JP2009246667A JP5586917B2 JP 5586917 B2 JP5586917 B2 JP 5586917B2 JP 2009246667 A JP2009246667 A JP 2009246667A JP 2009246667 A JP2009246667 A JP 2009246667A JP 5586917 B2 JP5586917 B2 JP 5586917B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- deformation
- image
- target object
- feature region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 35
- 238000003672 processing method Methods 0.000 title claims 3
- 238000012545 processing Methods 0.000 claims description 83
- 210000000481 breast Anatomy 0.000 claims description 36
- 210000002445 nipple Anatomy 0.000 claims description 10
- 238000000034 method Methods 0.000 description 165
- 230000008569 process Effects 0.000 description 112
- 239000013598 vector Substances 0.000 description 52
- 238000002595 magnetic resonance imaging Methods 0.000 description 33
- 230000009466 transformation Effects 0.000 description 29
- 238000006073 displacement reaction Methods 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000005484 gravity Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 239000000523 sample Substances 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 230000003902 lesion Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 210000000779 thoracic wall Anatomy 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000009206 nuclear medicine Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 210000005075 mammary gland Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000000614 rib Anatomy 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
原画像の変形による特徴領域の移動を前記変形と対応づけて変形規則を取得する取得手段と、
前記対象画像の特徴領域と対応する前記原画像の領域との位置情報を拘束条件として、前記変形規則に従って原画像を変形する変形手段と、
を有する。
図1は、本実施形態に係る情報処理装置1の機能構成を示している。本実施形態に係る情報処理装置は、画像撮影装置2としてのMRI装置、および形状測定装置3としてのレーザレンジセンサと接続される。情報処理装置1は、第1の変形条件下における対象物体を画像撮影装置2で撮影することによって得た第1の3次元画像データ(原画像データ)を取得する。また、第2の変形条件下における対象物体を形状測定装置3で計測することによって得た対象物体の表面形状を対象画像の形状(以下、第2の表面形状)として取得する。
ステップS200において、第1画像取得部100は、画像撮影装置2が乳房400を第1の変形条件下で撮影することによって得られるMRI画像を、第1の3次元画像(原画像)として取得する。ここで、図4の(b)は、第1画像取得部100が取得する第1の3次元画像の一例を示している。第1の3次元画像403の情報は撮影範囲の3次元空間内で定義される撮影画像の輝度の関数として数2のように記述されるものとする。
ステップS201において、第1形状取得部101は、ステップS200で取得した第1の画像403を処理することで、第1の変形条件下における乳房400の形状を表す第1の形状モデルを生成する。この処理について図4を用いて詳しく説明する。
ステップS202において、第1特徴点位置取得部102は、ステップS200で取得した第1の画像403を処理し、乳房400の表面上に存在する所定の特徴領域を抽出する。この特徴領域としては、例えば乳頭402の位置を用いることが好適である。また、第1の画像403を撮像する際に、MRIで撮影可能な複数のマーカ(図4には不図示)を被検体の表面に貼り付けておいて、これを特徴領域として用いてもよい。以下の説明では、上記の処理によって取得した特徴領域の数をnfと表記する。また、それらの特徴領域の位置を表す座標値をv1j=(x1j、y1j、z1j)(1≦j≦nf)と表記し、以後、これを第1の特徴領域の位置と呼ぶ。
ステップS203において、仮想変形パラメータ取得部103は、変形パラメータがとり得る値を仮想的に組み合わせた仮想変形パラメータを複数取得する。本実施形態では、np個の仮想変形パラメータpk(1≦k≦np)を取得する場合を例として説明する。
ステップS204において、変形形状群生成部104は、ステップS203で取得した変形パラメータの複数の仮説(仮想変形パラメータ)の夫々に基づいて、第1の形状モデルに変形を施した変形形状群を生成する処理を実行する。変形形状算出部104が行う前記処理は、例えば有限要素法を用いた物理シミュレーションによって実現できる。
ステップS205において、変形形状モデル生成部105は、ステップS204で求めた複数の変形形状に関する情報sdk(1≦k≦np)に基づいて、対象物体の変形を近似表現する変形形状モデルを生成する。
ステップS207において、第2形状取得部106は、形状計測装置3から、第2の変形条件下における乳房400の表面形状(第2の表面形状)を表すレンジデータを取得する処理を実行する。レンジデータは、物体表面上に密に配置した点群の、形状計測装置3によって定義される座標系(以下、レンジセンサ座標系)における位置を表す3次元座標の集合によって構成される。
ステップS208において、第2特徴点位置取得部107は、ステップS202において第1の特徴領域の位置を取得した乳房400に係る所定の特徴領域について、第2の変形条件下における夫々の特徴領域の位置(第2の特徴領域の位置)を取得する処理を実行する。この処理は、例えば、ステップS207で得た第2の表面形状から、突起部などの特徴的な形状の部位を抽出することで実行される。以下では、第2の特徴領域の位置を表す座標値をv2j=(x2j、y2j、z2j)(ただし1≦j≦nf)と表記する。
ステップS209において、変形成分推定部108は、変形形状モデルによる形状表現(すなわち数8のsd)が、乳房400の第2の形状s2を最も適切に表すような、線形結合の係数の組ci(1≦i≦ne)を推定する。すなわち、線形結合の係数の組を推定することで、乳房400の第2の形状s2を推定する。なお、本ステップで求める線形結合の係数の組をne次元ベクトルcestで表記し、以下ではこれを変形成分推定値と呼ぶ。
ステップS1100において、変形成分推定部108は、変形成分推定値cestおよび剛体変換パラメータの推定値R、tの初期化を行う。この初期化は、例えばcestおよびtをゼロベクトルとし、Rを単位行列とすることができる。
ステップS1101において、変形成分推定部108は、現在の変形成分推定値cestに基づいて、数9の計算を行うことで、推定変形形状sd_estを生成する。
ステップS1102において、変形成分推定部108は、ステップS1101で得た特徴領域ノードの推定座標値vdj_est(1≦j≦nf)と、ステップS208で得た第2の特徴領域の位置v2j(1≦j≦nf)を剛体変換した位置とを最も整合させる剛体変換のパラメータを推定する。すなわち、対応点間の距離の平均値を求める数10を評価関数として、評価値dを最小化するRとtを算出する。
ステップS1103において、変形成分推定部108は、ステップS1102で得た剛体変換パラメータの推定値Rとtに基づいて、第2の特徴領域の位置v2j(1≦j≦nf)を剛体変換した位置v2j_rigid(1≦j≦nf)を、数11に示す計算により算出する。
ステップS1104において、変形成分推定部108は、ステップS1103で得た剛体変換後の第2の特徴領域の位置v2j_rigidと、対応する特徴領域ノードの推定座標値vdj_estとの間の距離の平均値(すなわち数10の評価値d)が小さくなるように、変形成分推定値cestを更新する。
ステップS1105において、変形成分推定部108は、ステップS1102で更新された剛体変形のパラメータR、tおよび、ステップS1104で更新された変形成分推定値cestに基づいて、数10の評価値dを算出する。そして、評価値dに基づいて、以後に行う処理の切り変えを行う。例えば、評価値dが予め設定した閾値よりも小さい場合には、本処理(すなわち、ステップS209の処理)を終了するようにし、そうでない場合には、ステップS1101に処理を戻して、変形成分推定値cestの更新処理を継続する。すなわち、ステップS1101からステップS1105までの処理を、ステップS1105での終了判定が否定される限り繰り返す。
ステップS210において、変位ベクトル算出部109は、ステップS209で算出したcestに基づいて数9の計算を行い、乳房400の第2の形状の推定値s2_estを得る。そして、第1の形状モデルの各ノードを第2の形状に変形させるための変位ベクトルdi(1≦i≦m1)を、数12を用いて算出する。
ステップS211において、変形画像生成部110は、ステップS200で取得した第1の3次元画像に変形を施し、変形後の乳房400の形状が第2の形状と同様であるような第2の3次元画像(変形画像)を生成する。この変形は、ステップS201で生成した第1の形状モデルと、ステップS210で算出した各ノードの変位ベクトルdi(1≦i≦m1)に基づいて、公知の画像変形手法によって実行される。
ステップS212において、画像表示部111は、ステップS211で生成した第2の3次元画像をモニタ14などに表示する。
本実施形態では、ステップS210で得た第2の形状の推定値s2_estに基づいて、ステップS211で変形画像を生成していたが、本発明の実施はこれに限らない。例えば、第1の3次元画像データ中で乳房400内部の注目領域の位置v1(例えば腫瘤の位置)が取得されている場合に、第2の撮影条件下における当該注目領域の位置v2を推定する目的に本発明を用いることができる。例えば、第1の形状モデルにおいて注目領域の位置v1を囲むノード群を求め、それらのノード群が変位した後の座標を第2の形状の推定値s2_estから得て、その加重平均によってv2を得ることができる。
本実施形態では、ステップS205で変形形状モデル生成部105が行う処理として、SMMを用いる方法を例として説明したが、本発明の実施はこれに限らない。例えば、正規化変形形状群sdk’をそのままeiとして用いて、以後の処理を実行するようにできる。この方法によれば、より簡易な処理で変形形状モデルを生成できる効果がある。またステップS205の処理としては、この方法に限らず、ステップS204で求めた複数の変形形状に関する情報sdk(1≦k≦np)に基づいて、対象物体の変形を近似表現する変形形状モデルを生成する処理であれば、どのような処理であってもよい。
本実施形態では、対象物体の特徴領域として、対象物体の表面上の特徴的な領域を用いる場合を例として説明したが、特徴領域は対象物体の内部にあってもよい。この場合、形状測定装置3は、第2の特徴領域の位置が取得可能な装置であればよく、例えば、不図示の磁気式センサなどを取り付けた超音波プローブを持つ超音波撮影装置などにより構成される。
本実施形態では、形状測定装置3で計測した被検体のレンジデータを用いて第2の特徴領域の位置を取得していたが、第2の特徴領域の位置を取得可能な方法であれば、本発明の実施はこれに限らない。例えば、磁気式の位置センサなどを備えることで先端部位置を計測可能なペン型の指示デバイス(スタイラス)を乳頭やマーカ等の特徴領域に接触させ、この接触点の位置を第2の特徴領域の位置として直接的に計測してもよい。この場合、第2形状取得部106は、ステップS207で、形状測定装置3が計測した第2の特徴領域の位置を取得して変形推定部109へ送信する。このとき、第2特徴点位置取得部107の機能は不要であり、ステップS208の処理は実行されない。
本実施形態のステップS202およびステップS208では、特徴領域を3点以上抽出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、画像撮影装置2および形状測定装置3の夫々が基準とする座標系(すなわち、MRI座標系とレンジセンサ座標系)が一致している場合には、ステップS202およびS208で抽出する特徴領域は2点であってもよい。この場合、ステップS1102およびステップS1103の処理は省略し、ステップS1101の処理の後にステップS1104の処理に進むようにできる。このとき、剛体変換パラメータRおよびtはステップS1100で初期化された値に保持されることになる。また、画像撮影装置2および形状測定装置3の夫々が基準とする座標系同士が一致しいない場合でも、それらの座標系の関係が既知である場合には、前記と同様の処理にすることができる。この場合、ステップS1100では前記座標系間の既知の関係に基づいて剛体変換パラメータRおよびtを初期化し、そのパラメータを用いて以後の処理を実行するようにできる。
ステップS1105の処理は、上記以外の方法で実行してもよい。例えば、ステップS1101からステップS1105の繰り返し計算の前後で得た評価値dの大きさの比較によって誤差の減少量を求め、それに基づいて判定を行うことができる。例えば、その減少量が予め設定した閾値よりも小さい場合に処理を終了し、そうでない場合にステップS1101に戻るようにしてもよい。この方法によれば、繰り返し処理によって誤差の減少が見込めない場合などに処理を打ち切ることができる効果がある。また、ステップS1101からステップS1105の繰り返し計算の回数をカウントし、この反復処理を一定回数以上行わないようにしてもよい。この方法によれば、この処理に要する計算時間の上限を予め見積もることができる効果がある。また上記の複数の方法を組み合わせて判定を行うようにしてもよいし、その組み合わせをマウス15やキーボード16などによってユーザが指定できるようにしてもよい。
ステップS203の処理における仮想変形パラメータに関する前記の範囲、分割数などは具体的な実施の一例に過ぎず、本発明の実施はこれに限らない。また、ステップS203の処理は、後段の処理に必要な仮想変形パラメータpkを取得できる方法であれば、いかなる方法で行ってもよい。例えば、マウス15やキーボード16等からなるユーザインタフェースを介してユーザがpkの値を入力し、仮想変形パラメータ取得部103がそれを取得する構成であってもよい。これ以外にも、各パラメータの範囲や分割の細かさなどをユーザが入力し、仮想変形パラメータ取得部103がその指示に基づいてpkの値を自動的に生成する構成であってもよい。また、磁気ディスク12などにpkに関する情報をあらかじめ記録しておいて、仮想変形パラメータ取得部103がそれを取得できるようにしてもよい。
本実施形態では画像撮影装置2としてMRI装置を用いる場合を例として説明したが、本発明の実施はこれに限らない。例えば、X線CT装置、超音波画像診断装置、核医学装置などを用いることができる。
第1の実施形態では、第1の形状から第2の形状への変形を、対応する特徴領域の位置を指標として推定する場合について説明した。それに対し第2の実施形態では、さらに前記特徴領域以外の情報も用いることで、より高い精度で変形を推定する場合について説明する。なお、本実施形態は第1の実施形態の第2形状取得部106および変形成分推定部108の処理の一部を変更したものである。それ以外の機能については第1の実施形態と同様の内容であるため、説明を省略する。
ステップS3100において、変形成分推定部108は、特徴領域の数nfが3個以上の場合には以後の処理をステップS3101に進める。そうでない場合にはステップS3102に進めるように処理の切り変えを行う。
ステップS3101において、変形成分推定部108は、特徴領域の数nfが3以上の場合の処理として、図9のフローチャートに示す処理を実行する。
ステップS2100からステップS2102の処理は、第1の実施形態におけるステップS1100からステップS1102と同様の処理であるから、説明を省略する。
ステップS2103において、変形成分推定部108は、ステップS2102で得た剛体変換パラメータの推定値Rとtに基づいて、第1の実施形態におけるステップS1103と同様の処理を実行して、剛体変換後の第2の特徴領域の位置を算出する。また、ステップS207で得た第2の表面形状を表す各点の座標に次式の剛体変換を施し、MRI座標系での各点の座標s2j_rigid(1≦j≦m2)を算出する。
ステップS2104において、変形成分推定部108は、ステップS2103の計算で得た点群s2j_rigid(1≦j≦m2)の中から、推定変形形状sd_estを構成する表面ノードの夫々に最も距離が近接する点を対応づける処理を実行する。ただし、特徴領域ノードの夫々に関しては、剛体変換後の第2の特徴領域の位置(すなわち、数11のv2j_rigid)を対応付ける。
ステップS2105において、変形成分推定部108は、S2104で対応付けられた点間の誤差評価値dが小さくなるように、変形成分推定値cestを更新する処理を実行する。このとき、誤差評価値dとしては、例えば対応付けられた各点間のユークリッド距離の平均値を用いることができる。また、特徴領域ノードと対応点との距離と、それ以外の表面ノードと対応点との距離に異なる重みを与え、これらの加重平均を誤差評価値dとしてもよい。すなわち、特徴領域ノードが対応点と一致しないことにより大きなペナルティを与えるような評価尺度を用いてもよい。また、誤差評価値dは、これ以外にも、例えば各形状の輪郭面における法線方向も考慮して算出するようにしてもよい。このcestの更新処理は、第1の実施形態におけるステップS1104の処理と同様に、一般的に知られた非線形な最適化問題を解くことで実行することができるので、その詳細な説明は省略する。
ステップS2106の処理は、第1の実施形態におけるステップS1105と同様の処理であるから、説明を省略する。
ステップS3102において、変形成分推定部108は、特徴領域の数nfが2個である場合には以後の処理をステップS3103に進め、そうでない場合(特徴領域の数nfが1個の場合)にはステップS3104に処理を進める切り変えを行う。
ステップS3103において、変形成分推定部108は、特徴領域の数nfが2個の場合の処理を行う。具体的には、ステップS2102の部分を以下のように変更した上で、図9のフローチャートの処理を実行する。
ステップS3104において、変形成分推定部108は、特徴領域の数nfが1個の場合の処理を行う。具体的には、ステップS2102の部分を以下のように変更した上で、図9のフローチャートの処理を実行する。
本実施形態では、ステップS209における変形成分推定部108の処理として、取得した特徴領域の数に応じて処理の内容を切り替える場合を例として説明したが、本発明の実施はこれに限らない。例えば、予め取得する特徴領域の数が分かっている場合には、ステップS209の処理を、図8に示したステップS3101またはステップS3103またはステップS3104のいずれかの処理に置き換えて実行するようにしてもよい。この方法によれば、予め決められた特徴領域の数に適した処理を実行する機能だけを有する簡易な構成で本発明を実施できる効果がある。
第1の実施形態および第2の実施形態では、変形条件によって位置が変動する領域のみを特徴領域として用いる場合を例として説明した。それに対し本発明の第3の実施形態では、変形条件によって位置が変動しない固定された1個以上の領域(以下、固定特徴領域)を、さらに特徴領域として加える場合について説明する。これによれば、剛体変換の成分を拘束することができるため、より確信度の高い変形推定ができる効果がある。
ステップS200及びステップS201の処理は、第1の実施形態と同様の内容であるため説明を省略する。
ステップS202において、第1特徴点位置取得部102は、第1の実施形態における処理内容に加えて、対象物体の固定特徴領域を第1の3次元画像403から抽出する処理を行う。ここで固定特徴領域とは、例えば胸壁面401や不図示の胸骨や肋骨や鎖骨等における特徴的な部位であり、例えば剣状突起部等がこれに相当する。固定特徴領域は、第1の変形条件と第2の変形条件の違いによって位置が変動しない。
ステップS203及びステップS205の処理は、第1の実施形態と同様の内容であるため説明を省略する。
ステップS207において、第2形状取得部106は、操作者が超音波プローブを物体表面上の特徴領域に接触さた際のプローブ先端位置を、物体表面上の特徴領域の「第2の特徴領域の位置」として取得する。また、第2の変形条件下における固定特徴領域の位置(以下、第2の固定特徴領域の位置)を得るための情報として、被検体に接触させた超音波プローブを操作者が操作して得た超音波画像群と、夫々の画像を撮影した際のプローブ位置を取得する。また、このときのプローブ先端位置の集合を、第2の変形条件下における乳房400の表面形状(第2の表面形状)として取得する。
ステップS208において、第2特徴点位置取得部107は、第2の固定特徴領域の位置を取得する処理を実行する。具体的には、ステップS207で得た超音波画像群に画像処理を施し、ステップS202で得た固定特徴領域と対応する領域を抽出する。そして、超音波画像上における該対応領域の座標と、該超音波画像を撮像した際のプローブ位置とを利用して、形状測定装置3が基準とする座標系(以下、センサ座標系)における固定特徴領域の3次元座標を算出し、その座標を第2の固定特徴領域の位置とする。
ステップS209において、変形成分推定部108は、図10のフローチャートに示す処理を実行して、変形成分推定値cestを求める。この処理は固定特徴領域の数が3個以上の場合、2個の場合、1個の場合の夫々で異なる処理が切り変えて実行される。以下、ステップS4100からステップS4104の各処理について詳しく説明する。
ステップS4100において、変形成分推定部108は、固定特徴領域の数ngに応じて以後の処理を切り変える処理を実行する。ここでは固定特徴領域の数ngが3以上の場合にはステップS4101へ進み、それ以外の場合にはステップS4102に進むように処理を切り変える。
ステップS4101において、変形成分推定部108は、固定特徴領域の数ngが3以上の場合の変形成分推定処理を実行する。図11は、この処理のフローを詳しく説明する図である。以下、図11の処理について詳しく説明する。
ステップS5100において、変形成分推定部108は、第1の固定特徴領域の位置と第2の固定特徴領域の位置に基づいて、MRI座標系とセンサ座標系との間の剛体変換パラメータR、tを求める処理を実行する。なお、複数の対応点を用いて座標系変換を求める方法は周知であるので、詳細な説明は省略する。
ステップS5101において、変形成分推定部108は、ステップS5100で得たRとtに基づいて、第2の実施形態におけるステップS2103と同様の処理を実行する。そして、その結果として、剛体変換後の第2の特徴領域の位置と、第2の表面形状を表す各点のMRI座標系における座標を算出する。
ステップS5102において、変形成分推定部108は、変形成分推定値cestの初期化を行う。この初期化は、例えばcestをゼロベクトルとることで実行される。
ステップS5103において、変形成分推定部108は、第2の実施形態におけるステップS2101と同様の処理を実行して、推定変形形状sd_estを生成して夫々の表面ノードの推定座標値を取得する。
ステップS5104において、変形成分推定部108は、第2の実施形態におけるステップS2104と同様の処理を実行して、推定変形形状sd_estを構成する夫々の表面ノードの対応点を得る。
ステップS5105において、変形成分推定部108は、第2の実施形態におけるステップS2105と同様の処理を実行して、変形成分推定値cestを更新する。
ステップS5106において、変形成分推定部108は、第2の実施形態におけるステップS2106と同様の終了判定を実行する。そして、ステップS5106の終了判定が否定された場合には、ステップS5103に処理を戻して変形成分推定値cestの更新処理を継続する。すなわち、ステップS5103からステップS5106までの処理を、ステップS5106の終了判定が肯定されるまで反復して実行する。
ステップS4102において、変形成分推定部108は、固定特徴領域の数ngが2点の場合には以後の処理をステップS4103へ進め、それ以外の場合(ngが1点の場合)にはステップS4104へ進むように処理の切り変えを実行する。
ステップS4103において、変形成分推定部108は、固定特徴領域の数ngが2点の場合の変形成分推定処理を実行する。図12は、この処理のフローを詳しく説明する図である。以下、図12の処理について詳しく説明する。
ステップS6100において、変形成分推定部108は、第1の固定特徴領域の位置および第2の固定特徴領域の位置に基づいて、これら固定特徴領域の位置を一致させる剛体変換のパラメータRおよびtを仮設定する処理を実行する。この処理は、前記固定特徴領域がそれぞれ2個である場合に実行される処理であるため、前記2個の特徴領域を結ぶ直線を軸とした回転の成分に曖昧さが残る。ここではその成分に仮の値を設定し、次ステップ以降の処理を実行することで最終的な剛体変換のパラメータを決定するものとする。
ステップS6101及びステップS6102において、変形成分推定部108は、ステップS5102及びステップS5103と同様の処理を実行する。
ステップS6103において、変形成分推定部108は、固定特徴領域以外の夫々の特徴領域に関して、ステップS6102で得た特徴領域ノードの推定座標値と、対応する第2の特徴領域の位置が最も一致するように、Rとtを修正する。ただし、この修正は、第1の固定特徴領域の位置と第2の固定特徴領域の位置とを結ぶ直線を軸とした回転の成分だけを修正するものとする。
ステップS6104において、変形成分推定部108は、ステップS5101と同様の処理を実行して、ステップS6103で得たRとtに基づいて、第2の特徴領域の位置及び第2の表面形状を表す各点の剛体変換後の座標を算出する。
ステップS6105からステップS6107において、変形成分推定部108は、ステップS5104からステップS5106と同様の処理を実行する。そして、ステップS6107の終了判定が否定された場合には、ステップS6102に処理を戻して変形成分推定値cestの更新処理を継続する。すなわち、ステップS6102からステップS6107までの処理を、ステップS6107の終了判定が肯定されるまで反復して実行する。
ステップS4104において、変形成分推定部108は、固定特徴領域の数ngが1点の場合の変形成分推定処理を実行する。この処理は、ステップS6100とステップS6103の処理を以下のように変更した上で、ステップS4103と同様な処理によって実行できる。すなわち、ステップS6100において、変形成分推定部108は、第1の固定特徴領域の位置および第2の固定特徴領域の位置に基づいて、これら固定特徴領域の位置を一致させる並進ベクトルtを算出する。また、回転行列Rの初期値として単位行列を設定する。また、ステップS6103において、変形成分推定部108は、固定特徴領域以外の夫々の特徴領域に関して、ステップS6102で得た特徴領域ノードの推定座標値と、対応する第2の特徴領域の位置が最も一致するように、Rとtを修正する。ただし、この修正は、固定特徴領域の位置が一致することを拘束条件とし、それらの領域の位置を中心とした3自由度の回転成分だけを修正するものとする。
ステップS210からステップS212の処理は、第1の実施形態と同様の内容であるため説明を省略する。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
100 第1画像取得部
101 第1形状取得部
102 第1特徴点位置取得部
103 仮想変形パラメータ取得部
104 変形形状群生成部
105 変形形状モデル生成部
106 第2形状取得部
107 第2特徴点位置取得部
108 変形成分推定部
109 変位ベクトル算出部
110 変形画像生成部
111 画像表示部
2 画像撮影装置
3 形状測定装置
Claims (7)
- 原画像の形状を対象画像又は対象物体の形状に近似するように変形推定を行う情報処理装置であって、
第1の変形条件下で取得された前記原画像の形状に関する情報と前記原画像の特徴領域の位置情報とを取得し、複数のパラメータに対応する前記原画像の複数の変形形状と該変形形状に対応付けられた前記特徴領域の位置情報に基づいて、前記原画像の変形形状モデルを生成する変形形状モデル生成手段と、
第1の変形条件下で取得された前記原画像の特徴領域と対応する第2の変形条件下で取得された前記対象画像又は対象物体の特徴領域の位置情報を拘束条件として、前記変形形状モデルに従って、前記原画像の形状を前記対象画像又は対象物体の形状に近似するように変形推定を行う変形推定手段と、を有することを特徴とする情報処理装置。 - 原画像の形状を対象画像又は対象物体の形状に近似するように変形推定を行う情報処理装置であって、
第1の変形条件下で取得された前記原画像の形状に関する情報を取得する第1形状取得手段と、
第2の変形条件下で取得された前記対象画像又は対象物体の形状に関する情報を取得する第2形状取得手段と、
前記第1の変形条件下における前記原画像の第1の特徴領域の位置情報を取得する第1特徴点位置取得手段と、
前記第2の変形条件下における前記対象画像又は対象物体の第2の特徴領域の位置情報を取得する第2特徴点位置取得手段と、
複数のパラメータに対応する前記原画像の変形形状と該変形形状に対応付けられた前記特徴領域の位置情報から、前記原画像の変形形状モデルを生成する変形形状モデル生成手段と、
前記第1の特徴領域の位置情報と前記第2の特徴領域の位置情報を拘束条件として前記変形形状モデルに基づいて、前記第2の変形条件下における前記原画像の形状を前記対象画像又は対象物体の形状へ変形するための推定をする変形推定手段と、を有することを特徴とする情報処理装置。 - さらに、前記対象画像又は対象物体の形状の一部に関する情報を取得する第2形状取得手段を有し、
前記変形推定手段は、前記第2形状取得手段が取得した前記対象画像又は対象物体の形状の一部に関する情報にさらに基づいて、前記対象画像又は対象物体への変形を推定することを特徴とする請求項2に記載の情報処理装置。 - さらに、前記第1の変形条件下における前記対象物体を原画像として撮影した画像を取得する画像取得手段と、
前記変形推定手段が推定した変形に基づいて、前記画像取得手段が取得した画像を変形する変形画像生成手段とを有し、
前記形状取得手段及び/または前記第1の特徴領域の位置取得手段は、前記画像取得手段が取得した画像から所定の情報を取得することを特徴とする請求項2または請求項3に記載の情報処理装置。 - 前記対象物体は人体の乳房であり、前記対象物体の特徴領域は少なくとも人体の乳頭を含むことを特徴とする請求項2乃至請求項4に記載の情報処理装置。
- 原画像の形状を対象画像又は対象物体の形状に近似するように変形推定を行う情報処理方法であって、
第1の変形条件下で取得された前記原画像の形状に関する情報と前記原画像の特徴領域の位置情報とを取得し、複数のパラメータに対応する前記原画像の複数の変形形状と該変形形状に対応付けられた前記特徴領域の位置情報に基づいて、前記原画像の変形形状モデルを生成する生成工程と、
第1の変形条件下で取得された前記原画像の特徴領域と対応する第2の変形条件下で取得された前記対象画像又は対象物体の特徴領域の位置情報を拘束条件として、前記原画像の形状を前記対象画像又は対象物体の形状に近似するように変形推定を行う変形推定工程と、を有することを特徴とする情報処理方法。 - 請求項6に記載される情報処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009246667A JP5586917B2 (ja) | 2009-10-27 | 2009-10-27 | 情報処理装置、情報処理方法およびプログラム |
EP10826647.9A EP2493385B1 (en) | 2009-10-27 | 2010-10-18 | Information processing apparatus, information processing method, and program |
CN201080047989.1A CN102573650B (zh) | 2009-10-27 | 2010-10-18 | 信息处理装置、信息处理方法和程序 |
PCT/JP2010/068773 WO2011052515A1 (en) | 2009-10-27 | 2010-10-18 | Information processing apparatus, information processing method, and program |
US13/502,981 US8908944B2 (en) | 2009-10-27 | 2010-10-18 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009246667A JP5586917B2 (ja) | 2009-10-27 | 2009-10-27 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011092263A JP2011092263A (ja) | 2011-05-12 |
JP5586917B2 true JP5586917B2 (ja) | 2014-09-10 |
Family
ID=43921937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009246667A Expired - Fee Related JP5586917B2 (ja) | 2009-10-27 | 2009-10-27 | 情報処理装置、情報処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8908944B2 (ja) |
EP (1) | EP2493385B1 (ja) |
JP (1) | JP5586917B2 (ja) |
CN (1) | CN102573650B (ja) |
WO (1) | WO2011052515A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8970628B1 (en) * | 2009-03-02 | 2015-03-03 | Pixar | Graphical user interface for performing deformations |
JP5546230B2 (ja) * | 2009-12-10 | 2014-07-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP5737858B2 (ja) * | 2010-04-21 | 2015-06-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5950619B2 (ja) | 2011-04-06 | 2016-07-13 | キヤノン株式会社 | 情報処理装置 |
CN103620643B (zh) * | 2011-06-29 | 2018-03-30 | 皇家飞利浦有限公司 | 医学图像的缩放 |
JP5632355B2 (ja) * | 2011-12-01 | 2014-11-26 | 日本電信電話株式会社 | 画像処理装置、及びプログラム |
JP6000705B2 (ja) * | 2012-07-17 | 2016-10-05 | キヤノン株式会社 | データ処理装置及びデータ処理方法 |
CN103577409B (zh) * | 2012-07-19 | 2016-12-21 | 阿里巴巴集团控股有限公司 | 一种图像搜索中建立图像索引的方法和装置 |
EP2895066A1 (en) * | 2012-09-13 | 2015-07-22 | Koninklijke Philips N.V. | Breast surgery guidance based on breast mr images and radioactive markers |
JP6188379B2 (ja) * | 2013-03-29 | 2017-08-30 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理システム、医用画像診断装置 |
US10109048B2 (en) | 2013-06-28 | 2018-10-23 | Koninklijke Philips N.V. | Linking breast lesion locations across imaging studies |
JP6304970B2 (ja) * | 2013-08-09 | 2018-04-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6200249B2 (ja) * | 2013-09-11 | 2017-09-20 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6202960B2 (ja) * | 2013-09-17 | 2017-09-27 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6346445B2 (ja) * | 2014-01-10 | 2018-06-20 | キヤノン株式会社 | 処理装置、処理装置の制御方法、およびプログラム |
KR20210156301A (ko) * | 2014-02-04 | 2021-12-24 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법 |
JP6383189B2 (ja) * | 2014-06-16 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6541334B2 (ja) * | 2014-11-05 | 2019-07-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US9792675B1 (en) * | 2014-12-05 | 2017-10-17 | Matrox Electronic Systems, Ltd. | Object recognition using morphologically-processed images |
EP3337418B1 (en) * | 2015-08-17 | 2021-10-13 | Koninklijke Philips N.V. | Simulating breast deformation |
WO2017051903A1 (ja) * | 2015-09-24 | 2017-03-30 | 国立大学法人東京大学 | 超音波診断システム及び超音波診断方法 |
JP6905323B2 (ja) * | 2016-01-15 | 2021-07-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6821403B2 (ja) | 2016-01-29 | 2021-01-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム。 |
WO2017130263A1 (en) * | 2016-01-29 | 2017-08-03 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing system, and program |
JP6706128B2 (ja) * | 2016-04-13 | 2020-06-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6711715B2 (ja) * | 2016-07-19 | 2020-06-17 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6104833A (en) * | 1996-01-09 | 2000-08-15 | Fujitsu Limited | Pattern recognizing apparatus and method |
US6067373A (en) * | 1998-04-02 | 2000-05-23 | Arch Development Corporation | Method, system and computer readable medium for iterative image warping prior to temporal subtraction of chest radiographs in the detection of interval changes |
JP4392886B2 (ja) * | 1999-01-22 | 2010-01-06 | キヤノン株式会社 | 画像抽出方法及び装置 |
US7817844B2 (en) * | 1999-08-26 | 2010-10-19 | Nanogeometry Research Inc. | Pattern inspection apparatus and method |
AU2003223072A1 (en) * | 2002-04-03 | 2003-10-13 | Segami S.A.R.L. | Image registration process |
US7394946B2 (en) * | 2004-05-18 | 2008-07-01 | Agfa Healthcare | Method for automatically mapping of geometric objects in digital medical images |
JP2006061472A (ja) * | 2004-08-27 | 2006-03-09 | Fuji Photo Film Co Ltd | 乳房画像表示装置およびそのプログラム |
JP2006102091A (ja) * | 2004-10-05 | 2006-04-20 | Fuji Photo Film Co Ltd | 乳房画像位置合わせ装置およびそのプログラム |
WO2006100808A1 (ja) * | 2005-03-22 | 2006-09-28 | Osaka University | カプセル内視鏡画像表示制御装置 |
US7680312B2 (en) * | 2005-07-13 | 2010-03-16 | Siemens Medical Solutions Usa, Inc. | Method for knowledge based image segmentation using shape models |
CN1952981A (zh) * | 2005-07-13 | 2007-04-25 | 西门子共同研究公司 | 利用形状模型的基于知识的图像分割方法 |
JP4720478B2 (ja) * | 2005-12-15 | 2011-07-13 | コニカミノルタエムジー株式会社 | モデリング装置、領域抽出装置およびプログラム |
JP4093273B2 (ja) * | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
US20070280556A1 (en) * | 2006-06-02 | 2007-12-06 | General Electric Company | System and method for geometry driven registration |
JP2008086400A (ja) * | 2006-09-29 | 2008-04-17 | Gifu Univ | 乳房画像診断システム |
US7907768B2 (en) * | 2006-12-19 | 2011-03-15 | Fujifilm Corporation | Method and apparatus for probabilistic atlas based on shape modeling technique |
JP4668220B2 (ja) * | 2007-02-20 | 2011-04-13 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US20090129650A1 (en) * | 2007-11-19 | 2009-05-21 | Carestream Health, Inc. | System for presenting projection image information |
JP5361194B2 (ja) * | 2008-01-09 | 2013-12-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、コンピュータプログラム |
JP5147656B2 (ja) * | 2008-11-20 | 2013-02-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
JP5322662B2 (ja) * | 2009-01-08 | 2013-10-23 | 株式会社東芝 | 画像処理装置 |
JP5546230B2 (ja) * | 2009-12-10 | 2014-07-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US8504339B2 (en) * | 2010-11-30 | 2013-08-06 | Nissan North America, Inc. | Method for door side intrusion simulation with progressive failures |
-
2009
- 2009-10-27 JP JP2009246667A patent/JP5586917B2/ja not_active Expired - Fee Related
-
2010
- 2010-10-18 CN CN201080047989.1A patent/CN102573650B/zh not_active Expired - Fee Related
- 2010-10-18 US US13/502,981 patent/US8908944B2/en not_active Expired - Fee Related
- 2010-10-18 EP EP10826647.9A patent/EP2493385B1/en not_active Not-in-force
- 2010-10-18 WO PCT/JP2010/068773 patent/WO2011052515A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US8908944B2 (en) | 2014-12-09 |
EP2493385A1 (en) | 2012-09-05 |
WO2011052515A1 (en) | 2011-05-05 |
CN102573650A (zh) | 2012-07-11 |
CN102573650B (zh) | 2014-09-24 |
EP2493385A4 (en) | 2017-06-28 |
JP2011092263A (ja) | 2011-05-12 |
EP2493385B1 (en) | 2019-06-12 |
US20120207368A1 (en) | 2012-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5586917B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5546230B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10102622B2 (en) | Processing apparatus, processing method, and non-transitory computer-readable storage medium | |
EP3625768B1 (en) | Determining a clinical target volume | |
JP6000705B2 (ja) | データ処理装置及びデータ処理方法 | |
JP5706389B2 (ja) | 画像処理装置および画像処理方法、並びに、画像処理プログラム | |
EP2663237A1 (en) | Visualization of catheter in three-dimensional ultrasound | |
EP3807845B1 (en) | Atlas-based location determination of an anatomical region of interest | |
JP5832938B2 (ja) | 画像処理装置、方法及びプログラム | |
JP2017029343A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6905323B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
EP3328305B1 (en) | Microscope tracking based on video analysis | |
CN110546685A (zh) | 图像分割和分割预测 | |
JP6383153B2 (ja) | 処理装置、処理方法、およびプログラム | |
CN116485850A (zh) | 基于深度学习的手术导航影像的实时非刚性配准方法及系统 | |
Strickland et al. | Development of subject-specific geometric spine model through use of automated active contour segmentation and kinematic constraint-limited registration | |
JP6934734B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2019500114A (ja) | 位置合わせ精度の決定 | |
US11928828B2 (en) | Deformity-weighted registration of medical images | |
CN114786609A (zh) | 使用当前工作流程步骤以用于控制医疗数据处理 | |
JPWO2020138136A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6660428B2 (ja) | 処理装置、処理方法、およびプログラム | |
JPWO2018131416A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Zhang et al. | Model-based nonrigid image registration using scale-invariant features | |
JP2022111706A (ja) | 画像処理装置および画像処理方法、医用撮像装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140114 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140519 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140624 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140723 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5586917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |