JP6482250B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像間の位置合わせを行う画像処理技術に関する。

医用画像を用いた画像診断において、医師は、複数の撮像装置（モダリティ）等で撮像された画像を対比しながら診断を行う。しかしながら、画像間で被検体の姿勢や形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、複数の画像間の位置合わせを行うことが試みられている。

複数の画像を位置合わせする方法として、特許文献１には、画像間の対応点情報の集合を手動で与え、それら対応点群を拘束条件として、対話的な位置合わせを行う技術が開示されている。

特開２０１１−１４２９７４号公報

しかしながら、たとえば繰り返し計算に基づく位置合わせアルゴリズムは、多大な計算量を要する場合がある。こういった計算量が多いアルゴリズムを位置合わせに用いる場合、対応点群を設定するたびに長時間の待ち時間が発生し、利便性が失われる問題があった。

本発明は、上記の課題に鑑み、位置合わせ結果を取得するための待ち時間を低減することが可能な画像処理技術を提供する。

本発明の一つの側面に係る画像処理装置は、第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する取得手段と、
前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する算出手段と、
前記算出手段で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる表示制御手段と、
前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する変更手段と、を備え、
前記算出手段は、前記変更手段で変更された前記対応点群情報に基づいて、前記変形を算出し、
前記変形経過情報とは、前記算出手段における算出処理の途中状態における変形を表す中間変形情報であることを特徴とする。

本発明によれば、位置合わせ結果を取得するための待ち時間を低減することが可能になる。

第１実施形態に係る画像処理装置の機器構成を示す図。 第１実施形態における全体の処理手順を示すフロー図。 第１実施形態における対応点群入力時の表示部の画面構成を示す図。 第１実施形態における変形状態表示時の表示部の画面構成を示す図。 第１実施形態における対応点群補正時の表示部の画面構成を示す図。 第３実施形態における全体の処理手順を示すフロー図。 第４実施形態における全体の処理手順を示すフロー図。 第５実施形態に係る画像処理装置の機器構成を示す図。 第５実施形態における全体の処理手順を示すフロー図。 第５実施形態におけるコスト値の収束予測モデルを示す図。 第５実施形態における変形状態表示時の表示部の画面構成を示す図。

以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

＜第１実施形態：最適化途中の途中状態を表示、対応点を補正＞
本実施形態に係る画像処理装置は、２枚の画像間の位置合わせを行うものである。画像処理装置は、第１変形状態で撮像した画像上の位置と第２変形状態で撮像した画像上の位置とを対応づける対応点群情報に基づいて、第１変形状態で撮像した画像から第２変形状態で撮像した画像への変位場（変形）を算出する。画像処理装置は、変位場（変形）を算出する算出処理において、最終的な変位場（最適化された変位場、以下、最終変位場と呼ぶ）とは異なる表示のための一時的な変形の状態（以下、一時的状態と呼ぶ）に相当する変位場（以下、一時的変位場と呼ぶ）を示す変形情報（以下、変形経過情報と呼ぶ）を表示する。変形経過情報とは、算出処理の途中状態における変形を表す中間変形情報である。ここで、一時的な変形の状態（一時的状態）に相当する変位場（一時的変位場）を示す変形情報（変形経過情報）は、最終的な変位場（最適化された最終変位場）に対して、最適化途中の暫定的な変位である途中状態を表示するものである。すなわち、変形経過情報は、最適化途中の暫定的な変形の状態（暫定的状態）に相当する変位場（暫定的変位場）を示す変形情報（暫定的変形情報）を示す。

これにより、最終変位場の算出の最中であっても、暫定の変形結果を見ながらユーザが対応点を補正できるようにする。本実施形態では、最終変位場を求めるための算出処理の暫定的な変位である途中状態（中間状態）における変位場（最適化途中の変位場。以下、中間変位場と呼ぶ）を示す中間変形情報を、変形経過情報として表示する。ユーザが対応点を補正している間は、変位場（変形）を算出する算出処理（最適化処理）は一時中断されている。そして、補正が完了した後、対応点群情報が更新され、変位場（変形）を算出する算出処理（最適化処理）が再開される。画像処理装置は、以上のような特徴的な処理を実行して、２枚の画像間の位置合わせを行う。

ここで「変位場」とは、第１の画像上のある位置が、第２の画像上のどの位置と対応しているかを示すものである。変位場算出は、例えば、画像間の対応点群の距離値を最小化することを拘束条件として行われるものとする。「対応点」とは、「第１の画像上の注目点」と「該注目点と第２の画像上において対応する点」の２点のことであり、「対応点群」は対応点の集合である。「対応点群の補正」とは、既に入力されている対応点群に対して、新たな対応点の追加、任意の対応点の削除、任意の対応点の位置移動、のいずれかの操作を行うこととする。以下、図１乃至図５を用いて、本実施形態に係る画像処理装置の構成及び処理を説明する。

図１は、本実施形態に係る画像処理システムの構成を示す図である。同図に示すように、本実施形態における画像処理装置１００は、データサーバ１５０および操作部１６０、そして表示部１７０と接続されている。

データサーバ１５０が保持する第１の画像および第２の画像は、異なる条件（異なるモダリティ、撮影モード、日時、体位等）で被検体を予め撮像して得られた３次元断層画像である。３次元断層画像を撮像する画像撮像装置（モダリティ）は、例えば、ＭＲＩ装置、放射線ＣＴ装置、３次元超音波撮影装置、光音響トモグラフィ装置、陽電子放射断層撮像装置（ＰＥＴ）／単一光子放射断層撮影装置（ＳＰＥＣＴ）、ＯＣＴ装置などであってもよい。

第１の画像および第２の画像は、例えば、異なるモダリティや異なる撮影モードで同時期に撮像されたものであってもよい。また、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよい。尚、第１の画像および第２の画像は２次元断層画像の集合として構成されており、各２次元断層画像の位置および姿勢は、基準座標系（被検体を基準とした空間中の座標系）に変換した上でデータサーバ１５０に保持されているものとする。基準座標系で表現された第１の画像および第２の画像は、データ取得部１０２を介して画像処理装置１００に入力される。

操作部１６０は、ユーザによるマウスやキーボードの操作を受け付けて、ユーザが指定する対応点を、対応点取得部１０４を介して画像処理装置１００に入力する。また、変位場算出の最中には、操作部１６０は、ユーザによるＧＵＩの操作を受け付けて、補正を行うか否かの判定情報を、補正判定部１０６を介して画像処理装置１００に入力する。また、ユーザによるＧＵＩの操作を受け付けて、最適化の処理ステップを遡らせるか否かの指示を、遡り指示取得部１０７を介して画像処理装置１００に入力する。

表示部１７０は、画像処理装置１００が生成する表示画像や、最適化途中の途中状態といった各種の情報を表示する。また表示部１７０には、ユーザからの指示を取得するためのＧＵＩも配置されている。

画像処理装置１００は、以下に説明する構成要素により構成されている。データ取得部１０２は、画像処理装置１００へと入力される第１の画像および第２の画像の情報を取得する。そして、第１の画像及び第２の画像を変位場算出部１０８および表示制御部１１２へと出力する。

対応点取得部１０４は、第１変形状態で撮像した画像の位置と第２変形状態で撮像した画像の位置とを対応づける対応点群情報を取得する。対応点取得部１０４は、例えば、ユーザの指示に従って、第１の画像および第２の画像上における対応点を取得して、不図示の記憶部に格納する。また、ユーザの指示に従って、記憶部に格納されている対応点群の追加、削除、あるいは位置変更を行なう。そして記憶部に格納されている対応点群情報を、変位場算出部１０８へと出力する。

補正判定部１０６は、実行中の位置合わせ手法のアルゴリズムにおける最適化を中断して対応点群の補正を行うか否かの判定を行う。そして補正を行うか否かの判定情報を、変位場算出部１０８へと出力する。

遡り指示取得部１０７は、位置合わせ手法のアルゴリズムにおける最適化の処理ステップを遡らせるか否かのユーザによる指示を受け付けて、変位場算出部１０８へと出力する。遡り指示取得部１０７は、中断した算出処理において、遡る処理ステップの指示を取得する。例えば、遡り指示取得部１０７により遡る処理ステップが指示され、かつ、対応点群情報の補正が完了した後、変位場算出部１０８は補正された対応点群情報に基づいて、指示された処理ステップ分を遡った処理ステップから変形を算出する算出処理を再開する。

変位場算出部１０８は、対応点群情報に基づいて第１変形状態で撮像した画像から第２変形状態で撮像した画像への変位場（変形）を算出する。変位場算出部１０８は、対応点群情報を拘束条件として、第１の画像を変形させて第２の画像に位置合わせするための変位場を算出する。変位場算出部１０８は、変位場算出を、例えば、最急降下法を用いた繰り返し最適化に基づいて実行する。そして、変位場算出部１０８は、繰り返し最適化における１ステップが完了するたびに、その時点での中間変位場の情報を変形情報生成部１１０へと出力する。繰り返し最適化が終了条件を満たして変位場算出が完了した場合にも同様に、変位場算出部１０８は、最適化後の最終変位場の情報を変形情報生成部１１０へと出力する。また、変位場算出部１０８は、補正判定部１０６から補正を行うか否かの判定情報を受け付けて、補正を行うと判定された場合に、変位場算出部１０８は変位場算出を中断する。例えば、補正部（対応点取得部１０４、ＧＵＩ５０２）を介して対応点群情報を補正する際に、変位場（変形）を算出する算出処理の中断を指示する操作入力に従って、変位場算出部１０８は変位場（変形）を算出するための算出処理を中断する。そして、補正部（対応点取得部１０４、ＧＵＩ５０２）による補正が完了した後、変位場算出部１０８は、補正された対応点群情報に基づいて、変位場（変形）を算出する算出処理を再開する。

変形情報生成部１１０は、変位場算出部１０８から変形の途中状態を示す算出結果を取得して、変形経過情報を生成する。変形情報生成部１１０は、変位場算出部１０８から変形の算出結果（中間変位場と最終変位場）を取得し、表示のための情報（以下、変形情報と呼ぶ）を生成して、生成した変形情報を表示制御部１１２へと出力する。

表示制御部１１２は、生成された変形に基づく画像の変形経過情報（変形の途中状態を示す変形経過情報（中間変形情報））を表示部１７０に表示させる。表示制御部１１２は、データ取得部１０２から取得した第１の画像および第２の画像の断面画像と、変形情報生成部１１０から取得した変形情報を、表示部１７０に表示させるための表示制御を行う。

補正部（対応点取得部１０４、ＧＵＩ５０２）はユーザの操作入力に基づいて対応点群情報を補正し、変位場算出部１０８は、補正された対応点群情報と変形経過情報（中間変形情報）とに基づいて、変位場（変形）を算出する。

図２は、画像処理装置１００が行う全体の処理手順を示すフローチャートである。

（データの取得：Ｓ２００）
ステップＳ２００において、データ取得部１０２は、データサーバ１５０から、第１の画像および第２の画像を取得する。尚、第１の画像と第２の画像との間の対応点の情報をデータサーバ１５０が保持している場合には、データ取得部１０２はその情報を取得し、対応点群情報として不図示の記憶部に格納する。

（対応点の取得：Ｓ２０１）
ステップＳ２０１において、対応点取得部１０４は、ユーザの指示に従って、第１の画像と第２の画像との間の対応点を取得する。図３に、対応点取得時の表示部１７０の例を示す。表示制御部１１２は、ユーザの指示に従って第１の画像と第２の画像から所定の断面画像をそれぞれ生成して、第１の断面画像３０２および第２の断面画像３０４として、それぞれを表示部１７０の表示画面３０１内に表示させる。ユーザはマウスカーソル３０６を操作し、まず、第１の断面画像３０２上で、特徴的な位置をクリックして、注目点として入力する。図３における第１の画像上の対応点３０３が、注目点の一例である。「特徴的な位置」とは、乳腺ＭＲＩ画像を例にとると、たとえば、乳頭位置、血管分岐位置、乳腺脂肪境界における突起状の位置などである。

その後、同様にマウスカーソル３０６を操作して、第２の断面画像３０４において、第１の画像上の対応点３０３と対応する位置をクリックする。図３における第２の画像上の対応点３０５がその点に相当する。このようにして対応点（両画像で対応する点の対）を入力する。対応点取得部１０４は、このようにしてユーザが入力した対応点の情報（第１の画像と第２の画像において対応する点の座標の組）を取得し、不図示の記憶部が保持する対応点群情報に追加する。そして、ユーザが複数の対応点を入力し終えた後に、対応点取得部１０４が位置合わせ開始ボタン３０７の押下を受け付けた時、画像処理装置１００は次のステップへと処理を進める。

尚、上記の操作方法は１例であり、対応点の入力を実現する任意の操作方法を用いる構成であってもよい。また、インタレストオペレータ等の画像特徴点抽出処理によって対応点候補を自動抽出し、その中からユーザが対応点を選択する構成であってもよい。

また、図３には、位置合わせ開始ボタン３０７の他に、算出処理の中断を指示する位置合わせ中断ボタン３０９、および、中断した算出処理の再開を指示する位置合わせ再開ボタン３０８がＧＵＩとして表示されている。位置合わせ開始ボタン３０７、位置合わせ再開ボタン３０８、および位置合わせ中断ボタン３０９は、表示制御部１１２の表示制御に基づいて、表示部１７０の表示画面３０１に表示される。

補正部（対応点取得部１０４、ＧＵＩ５０２）が補正を行う際に、算出処理の中断を指示する位置合わせ中断ボタン３０９の操作入力に従って、変位場算出部１０８は変位場（変形）を算出するための算出処理を中断する。また、補正部（対応点取得部１０４、ＧＵＩ５０２）による補正が完了した後、中断した算出処理の再開を指示する位置合わせ再開ボタン３０８の操作入力に従って、変位場算出部１０８は、補正された対応点群情報に基づいて、変位場（変形）を算出する算出処理を再開する。

（変位場算出を１ステップ実行：Ｓ２０２）
ステップＳ２０２において、変位場算出部１０８は、ステップＳ２０１または後述するステップＳ２０５で得た対応点群情報に基づき、第１の画像を変形させて第２の画像に位置合わせするための変位場を算出する。変位場の算出は前述の通り、対応点間の距離値の合計をコスト値の少なくとも一部とした繰り返し最適化に基づいて行われる。このとき、ステップＳ２０２では、繰り返し最適化のうちの１ステップ分の計算のみを行う。現在のステップをｋ番目、求めようとしている次のステップをｋ＋１番目としたとき、変位場算出部１０８は、以下の（１）式を用いて、最急降下法に基づく変位場の算出（更新）を１ステップ実行する。

ｘ^ｋ＋１ ＝ｘ^ｋ−αｇｒａｄ（ｆ（ｘ^ｋ））・・・（１）
ここで、ｘは変位場を表すパラメータ、ｆ（ｘ^ｋ）は変位場パラメータがｘ^ｋである時のコスト値を求める関数であり、ｇｒａｄ（ ）は勾配（ｇｒａｄｉｅｎｔ）を求める関数である。αは変位場パラメータの更新量を調整する重み係数である。この計算は、コスト関数ｆ（ｘ^ｋ）の一次微分がもっとも大きくなる方向にパラメータを更新することを意味する。また、コスト関数ｆ（ｘ）は以下の（２）式で表される。

ここで、Ｎは対応点群における対応点の数であり、ｐ’ _１ｉは第１の画像におけるｉ番目の対応点ｐ_１ｉに変位場パラメータｘ^ｋを適用して得られる対応点の座標値である。ｐ_２ｉは第２の画像におけるｉ番目の対応点の座標値を表すベクトルである。この計算は対応点間の距離値の平均値をコストとすることを意味する。尚、コスト関数ｆ（ｘ）は、（２）式に示した以外の、対応点に基づく公知の何れのコスト関数を用いてもよい。例えば、（２）式に示すようなデータ項のみをコストとする関数ではなく、変形の滑らかさ等を評価する正則化項を含んだ関数であってもよい。尚、変位場は、具体的にはＢスプライン関数の補間に基づくＦＦＤ（Ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ）等の公知の手法を用いて表現されるものとする。

ここで、後述するステップＳ２０５で対応点群が補正された場合、変位場算出部１０８は、その都度補正された情報に基づいて（２）式で表すコスト関数を更新し、変位場算出部１０８は、その更新したコスト関数に基づいて変位場を算出する。ただし、変位場パラメータｘ^ｋについて、変位場算出部１０８は、補正される前の対応点群を用いて求められた値（前回のステップＳ２０２の処理で求めた変位場パラメータ）をそのまま用いる。このように、変位場算出部１０８は、変位場算出の途中段階であっても、補正された対応点群情報を変位場算出に反映することが可能である。

尚、変位場算出部１０８は、１ステップ分ではなく、所定のステップ分だけ最適化を進めるように処理を行うことも可能である。あるいは、変位場算出部１０８は、所定の時間内に実施可能なステップ数だけ最適化を進めるように処理を行うことも可能である。また、変位場算出手法が所定の処理段階を経て行われる手法である場合に、変位場算出部１０８は、夫々の段階での処理が終了するまで最適化を進めるように処理を行うことも可能である。例えば、以下の文献（Ｄ．Ｒｕｅｃｋｅｒｔ, Ｌ．Ｓｏｎｏｄａ, Ｃ．Ｈａｙｅｓ, Ｄ．Ｈｉｌｌ, Ｍ．Ｌｅａｃｈ，ａｎｄ Ｄ．Ｈａｗｋｅｓ，“Ｎｏｎｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｕｓｉｎｇ ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎｓ： ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｒｅａｓｔ ＭＲ ｉｍａｇｅｓ”，ＩＥＥＥ ｍｅｄ． ｉｍａｇ．，ｖｏｌ．１８（８），ｐｐ．７１２−７２１，１９９９．）で開示されているＲｕｃｋｅｒｔらの手法を、変位場算出部１０８は、変位場算出手法として適用することも可能である。Ｒｕｅｃｋｅｒｔらの手法は、最適化の最初の段階ではＦＦＤのメッシュ間隔を粗くして全体的な変位場算出を行い、徐々にメッシュ間隔を細かくして局所的な算出を行うという、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅコンセプトに基づいている。変位場算出部１０８は、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅコンセプトに対応するために、各メッシュ間隔における最適化処理が収束するまでの演算を、本ステップの処理毎に実施することも可能である。また、繰り返し最適化に用いるアルゴリズムとして、変位場算出部１０８は、最急降下法に限らず、例えば、共役勾配法や準ニュートン法、パウエル法といった他の最適化アルゴリズムを用いることが可能である。変位場算出部１０８は、上記の処理で算出した変位場（すなわち、ｘ^ｋ＋１）を、不図示の記憶部に格納する。

（変形情報の表示：Ｓ２０３）
ステップＳ２０３において、変形情報生成部１１０は、ステップＳ２０２で算出された変位場に基づいて変形情報（変形経過情報）を生成（更新）する。そして、変形情報生成部１１０は、生成した変形情報を、表示制御部１１２を介して表示部１７０に表示させる。

本ステップで表示する変形情報は、例えば、現在の変位場を用いて第１の画像を変形させた変形画像である。図４（ａ）は変形情報の表示例を示す図である。ユーザは、第２の断面画像３０４と変形画像の断面画像４０１とを比較することで、現時点での変形がどの程度適切かどうかを判断することが可能である。

尚、表示する変形情報は前述した変形画像に限らない。例えば、変位場算出に用いるコスト値を可視化したものであってもよい。図４（ｂ）は、変形画像上における各対応点の位置（第１の画像の各対応点をｘ^ｋ＋１で変形させた位置）を表すマーク(図中の○印)と、断面上の各対応点の距離誤差（ｘ^ｋ＋１で変形させた後の残差）を表す文字情報４０２とを、変形画像の断面画像上に重畳して表示例を示す図である。

距離誤差が小さい対応点付近の領域は、すでに最適化が収束しており、ステップが進んでも、これ以上大きくは変形しない可能性が高い。そのため、該領域付近の変形が不適切である場合、補正する必要があるとユーザが判断できる。一方、距離誤差が大きい対応点付近の領域は、まだ距離誤差が収束しておらず、現時点では変形が適切でない場合であっても、今後の最適化で改善する可能性があるとユーザが判断できる。

尚、本実施形態では、表示制御部１１２の表示制御により対応点の距離誤差を文字情報として表示する場合を例に挙げて説明したが、他の表示方法を採用してもよい。表示制御部１１２は、例えば、対応点の色によって距離誤差を可視化するように表示することも可能である。表示制御部１１２は、この他にも、画像中の任意の位置が、この時点までの最適化によってどのように移動したかを示すため、移動の軌跡を表示することが可能である。

図４（ｃ）は、画像を一定間隔でサンプリングした位置の軌跡４０３を、変形画像の断面画像上に重畳して表示する例を示す図である。図４（ｃ）に示す移動の軌跡表示は、サンプリング開始から現時点までの移動の軌跡から、サンプリング位置が、今後の最適化によってどの方向に動いてゆく可能性が高いかについて、予測する判断材料となる。予測の結果、ユーザは、例えば、不適切な変形になる可能性が高い場合、補正する必要があると判断することが可能である。尚、表示制御部１１２は、サンプリング位置について、最適化のステップを一定間隔でサンプリングしたときの位置の軌跡を表示することが可能である。これにより、サンプリング点の位置の変化の収束の度合いを把握でき、ユーザはその位置がこの後どの位変形するかを推測することができる。尚、表示制御部１１２は、図４（ａ）（ｂ）（ｃ）でそれぞれ示した中間変位場（中間変形情報）を単独の情報として表示するだけでなく、複数の情報を並べて表示したり、重畳表示したりすることも可能である。

また、本実施形態では、変位場算出部１０８が変位場算出を実行して、１ステップごとに変形情報を更新する場合を例示的に説明したが、変位場算出の結果を更新するタイミングは１ステップごとに限らない。変位場算出部１０８は、例えば、所定のステップ数（例えば、１０ステップ）ごとに変位場を更新する（他のステップでは更新しない）ことも可能である。あるいは、変位場算出部１０８は、所定の時間毎に変位場を最新の変位場に更新することも可能である。また、変位場算出手法が所定の処理段階を経て行われる手法である場合に、前述のｃｏａｒｓｅ−ｔｏ−ｆｉｎｅアプローチに基づき、変位場算出部１０８は、夫々の段階での処理が終了する毎に、その時点での変位場に更新する構成であってもよい。

ユーザは、対応点群の補正を行う必要があると判断した場合に、図４（ａ）に図示する位置合わせ中断ボタン３０９を押下することで、変位場算出の中断を指示することができる。画像処理装置１００は、中断ボタン３０９が押下された時にステップＳ２０４へと処理を進める。また、ステップＳ２０３におけるユーザによる変形情報の観察のための操作（断面画像の断面切り替え操作など）が所定の期間以上実行されなかった場合、画像処理装置１００は、ステップＳ２０４へと処理を進める。あるいは、ステップＳ２０２からステップＳ２０３に処理が移行してから所定の時間が経過した場合に、画像処理装置１００は、ステップＳ２０４へと処理を進める。

（対応点補正の有無の判定：Ｓ２０４）
ステップＳ２０４において、補正判定部１０６は、中断ボタン３０９の押下の有無に応じて、現在の変位場算出処理を中断して、対応点群の補正を行うか否かの判定を行う。対応点を補正すると判定した場合に（Ｓ２０４−Ｎｏ）、補正判定部１０６は処理をステップＳ２０５へと進める。一方、対応点を補正しないと判定した場合に（Ｓ２０４−Ｙｅｓ）、補正判定部１０６は処理をステップＳ２０７へと処理を進める。

（補正された対応点の取得：Ｓ２０５）
ステップＳ２０５において、対応点取得部１０４は、ユーザの指示に従って、不図示の記憶部に格納されている対応点群情報を取得して補正する。この処理によって、変位場算出に使用されている対応点群情報が更新される。対応点取得部１０４は、更新した対応点群情報を変位場算出部１０８へと出力する。対応点取得部１０４および図５のＧＵＩ５０２は、操作入力に基づいて対応点群情報を補正する補正部として機能する。

図５は、対応点群の補正を行う場合の表示例を示す図である。ユーザは、まず、対応点補正の方法を選択するためのＧＵＩ５０２を用いて、「Ａｄｄ（追加）」、「Ｄｅｌｅｔｅ（削除）」、「Ｍｏｖｅ（移動）」のうちのどの操作を行おうとしているか、指定する。その後、マウスカーソル３０６を操作して、対応点群の補正を行う。「追加」操作を行う場合、ステップＳ２０１における操作と同様に、第１の断面画像３０２と第２の断面画像３０４でそれぞれ対応する位置を指定する。「削除」操作を行う場合、いずれかの断面画像で削除したい対応点を指定した後、キーボードの操作等で削除処理を実行する。「移動」操作を行う場合、いずれかの断面画像で移動させたい対応点を指定した後、マウスポインタをドラッグさせることで点を移動させる。対応点取得部１０４は、このようにしてユーザが入力した対応点を補正するための情報を取得し、取得した対応点情報に応じて、不図示の記憶部が保持する対応点群情報を修正（追加、削除、変更）する。そして、ユーザが対応点の補正を完了した後に、位置合わせ再開ボタン３０８の押下を受け付けた時、画像処理装置１００は、ステップＳ２０６へと処理を進める。

尚、上記の操作方法はあくまで一例であり、上記の操作を実現する任意の操作方法を用いる構成であってもよい。また、本実施形態では、対応点取得部１０４により第１の断面画像３０２と第２の断面画像３０４を参照して対応点補正を行う場合を例に挙げて説明した。この例に限定されず、例えば、対応点取得部１０４は、第１の画像を変形させた変形画像の断面画像４０１と第２の断面画像３０４を参照して対応点補正を行うことも可能である。この場合、第１の断面画像３０２に比べて第２の画像により近づいた画像（断面画像４０１）上で対応点を入力できるという効果がある。

（最適化遡りの指示の取得：Ｓ２０６）
ステップＳ２０６において、遡り指示取得部１０７は、最適化の処理ステップを遡るか否か、また、どの程度遡るかを示すユーザの指示を取得する。この機能は、例えば、表示部１７０に、最適化の処理ステップを遡るか否か、また、どの程度遡るかを指定するＧＵＩを提供し、ＧＵＩを介して取得される指示に基づいて実現される。遡り指示取得部１０７は、最適化の処理を何ステップ遡るかの情報を取得したら、これを変位場算出部１０８へと送信して、ステップＳ２０２へと処理を進める。変位場算出部１０８は、ステップＳ２０２の処理を次に実行する際に、遡ったステップから（記憶部から当該ステップの変位場を読みだして）変位場の算出を再開する。これによれば、変位場算出が不適切な状態で収束しており、現在の変形状態からの対応点群の追加・削除・移動だけでは変位場を補正できないと判断された場合であっても、変位場算出を最初からやり直すことなく、変位場算出の結果を補正することが可能になる。

（変位場算出処理の完了判定：Ｓ２０７）
ステップＳ２０７において、変位場算出部１０８は、変位場算出の繰り返し計算における全ステップが完了したか否かの判定を行う。例えば、ステップＳ２０２で実行された変位場算出処理の１ステップ分の計算によるコスト値の減少がある閾値を下回る場合、変位場算出部１０８は、変位場算出処理が完了したと判定し（Ｓ２０７−Ｙｅｓ）、画像処理装置１００の処理は終了する。また、繰り返し計算を行ってもコスト値がほとんど減少しない場合は、最適化処理が収束し、変位場算出処理が完了している可能性が高い。この場合、変位場算出部１０８は変位場算出処理が完了したと判定し、画像処理装置１００の処理は終了する。

一方、コスト値の減少が閾値以上となる場合、変位場算出部１０８は、変位場算出処理が未完了と判定し（Ｓ２０７−Ｎｏ）、処理をステップＳ２０２に戻して変位場の算出処理を続行する。

尚、終了条件の判定は他の方法で行ってもよい。例えば、繰り返し回数をあらかじめ定めておき、その回数分の繰り返し計算を実行すれば無条件に変位場算出完了と判定するようにしてもよい。他にも、コストの閾値をあらかじめ定めておき、最適化の結果、コスト値が閾値を下回った時点で完了と判定されるようにしてもよい。また、ユーザから終了の指示を取得するまで、変位場の更新を無制限に継続して実行する構成であってもよい。

尚、本ステップの処理の終了時には、対応点群情報の入力（補正）が終了している。そこで、確定した対応点群情報を用いて、変位場算出部１０８は、変位場を推定する最適化処理を初期状態から実行することが可能である。この場合、ステップＳ２０２で算出した変位場と合わせて、本処理で得られた変位場を不図示の記憶部に保存する。これらの処理によって、最終変位場が不図示の記憶部に保存されるとともに、表示制御部１１２は、最終変位場から生成された変形情報を表示部１７０に表示する。

あるいは、変位場算出の繰り返し計算における全ステップが完了したという判定を待たずに、対応点群情報の入力（補正）が更新されるたびに、変位場を推定する最適化処理を初期状態から実行することが可能である。この場合、変位場算出部１０８は、ステップＳ２０２で記述されているメインの処理と並列実行される、バックグラウンドの処理として、上記最適化処理を行なう。変位場算出部１０８は、前回補正した対応点群情報に基づくバックグラウンド処理が実行中の場合はそれを打ち切り、新たな対応点群情報に基づくバックグラウンド処理を開始する。この場合、メインの処理で算出した変位場と合わせて、本バックグラウンド処理で得られた変位場を不図示の記憶部に保存する。

本実施形態によれば、変位場算出処理に時間がかかるアルゴリズムを採用した場合でも、変位場算出処理を最後まで実行させることなく、対応点群を補正することができる。最適化途中の途中状態をリアルタイムに表示し、変位場算出の最中にユーザが対応点を補正できるため、位置合わせ手法として時間がかかるアルゴリズムを用いた場合でも、位置合わせ結果を取得するための待ち時間を低減することが可能になる。

＜第２実施形態：変形情報表示のための高速アルゴリズムの併用＞
第１実施形態では、ステップＳ２０３で表示される変形情報は、ステップＳ２０２で１ステップずつ算出される最適化途中の変位場から生成されていた。本実施形態に係る画像処理装置は、第１実施形態とは異なり、最適化に用いるアルゴリズムの精度に比べて低精度だが高速に動作するアルゴリズム（以下、高速アルゴリズム）を併用することで、最適化が収束した状態を変形の一時的状態として、その変位場から変形経過情報を生成して表示することを特徴とする。

以下、第１実施形態との相違点についてのみ説明する。尚、本実施形態における画像処理装置１００の機能構成は図１と同様であり、変位場算出部１０８と、変形情報生成部１１０の一部の機能が異なっている。

変位場算出部１０８は、変位場（変形）を算出するアルゴリズムと、このアルゴリズムよりも高速に処理を行うことが可能な高速アルゴリズムと、を併用して変位場（変形）を算出する処理を実行する。表示制御部１１２は、高速アルゴリズムの処理に基づく変形情報を変形経過情報（中間変形情報）として取得して表示部１７０に表示させる。変位場算出部１０８は、変形を算出するアルゴリズムの途中状態を表す算出結果に対して高速アルゴリズムを適用することで変形経過情報を取得する。

また、本実施形態における画像処理装置が行う全体の処理手順は図２と同様であり、ステップＳ２０２とステップＳ２０３の処理内容が異なっている。以下、ステップＳ２０２において変位場算出部１０８が行う処理と、ステップＳ２０３において変形情報生成部１１０が行う処理について説明する。

（変位場算出を１ステップ実行：Ｓ２０２）
ステップＳ２０２において、変位場算出部１０８は、第１実施形態におけるステップＳ２０２の処理と同様に、対応点群情報に基づき、第１の画像を変形させて第２の画像に位置合わせするための変位場を算出する。変位場算出部１０８は、対応点間の距離値の合計をコスト値の少なくとも一部とした繰り返し最適化の、１ステップ分の計算を行う。すなわち、第１実施形態と同様に、前回のステップＳ２０２の処理で求めた変位場パラメータであるｘ^ｋを更新して、更新後の変位場パラメータｘ^ｋ＋１を算出する。

更に、第１実施形態とは異なる処理として、本実施形態の変位場算出部１０８は、上記の処理で算出した変位場パラメータｘ^ｋ＋１を初期値として、高速アルゴリズムで、ｘ^ｋ＋１による対応点の残差を打ち消すような変位場を算出する処理を更に行う。高速アルゴリズムにより変位場算出部１０８が算出する変位場パラメータをｘ’ ^ｋ＋１とする。そして、変位場算出部１０８は、第１実施形態と同様の処理により算出した変位場パラメータｘ^ｋ＋１と、高速アリゴリズムで算出した変位場パラメータｘ’ ^ｋ＋１を、不図示の記憶部に格納する。尚、次に実行するステップＳ２０２の処理では、変位場算出部１０８は、高速アリゴリズムで算出した変位場パラメータｘ’ ^ｋ＋１ではなく、第１実施形態と同様の処理により算出した変位場パラメータｘ^ｋ＋１を現在の状態として最適化を行う。次に実行するステップＳ２０２の処理では、変位場算出部１０８は、変位場パラメータｘ^ｋ＋１を更新して、更新後の変位場パラメータｘ^ｋ＋2を算出する。

尚、変位場算出部１０８は、高速アルゴリズムとして、例えば、放射基底関数（Ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ：ＲＢＦ）を用いることが可能である。この場合、変位場算出部１０８は、放射基底関数を用いて対応点同士のコストを連立方程式で表現し、繰り返し最適化を行うことなく線形計算によって変位場を算出することができる。他にも、変位場算出部１０８は、メッシュ間隔を粗く設定したＦＦＤ（Ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ）を高速アルゴリズムとして用いることが可能である。

（変形情報の表示：Ｓ２０３）
ステップＳ２０３において、変形情報生成部１１０は、ステップＳ２０２で算出された変位場ｘ’ ^ｋ＋１から変形情報（変形経過情報）を生成（更新）する。変位場パラメータがｘ^ｋ＋１ではなくｘ’ ^ｋ＋１であること以外は、第１実施形態のステップＳ２０３の処理と同様である。そして、変形情報生成部１１０は、生成した変形情報を、表示制御部１１２を介して表示部１７０に表示させる。

尚、変形情報生成部１１０は、変位場パラメータｘ^ｋ＋１とｘ’ ^ｋ＋１の夫々から生成した変形情報を、表示制御部１１２を介して表示部１７０に並べて表示させることも可能である。また、変形情報生成部１１０は、表示制御部１１２を介して表示部１７０にＧＵＩを表示させることが可能である。ユーザはＧＵＩを介して、変位場パラメータｘ^ｋ＋１とｘ’ ^ｋ＋１の何れから生成した変形情報を表示するかを選択することが可能である。変形情報生成部１１０は、ＧＵＩを介して入力されたユーザの選択に基づいて、表示制御部１１２を介して表示部１７０に変形情報を表示させる。

本実施形態によれば、最適化の途中状態ではなく、高速アルゴリズムによる低精度な推定ではあるものの最適化が収束した変位場を参照して対応点群の補正を行えるため、画像中の領域で補正すべき領域を迅速に判断しやすくなるという効果がある。

＜第３実施形態：対応点補正中もバックグラウンド動作で変位場算出＞
第１実施形態では、対応点群情報を補正している間は、変位場算出は一時停止しており、対応点群補正が完了したのちに再開していた。本実施形態に係る画像処理装置は、対応点群を補正している間も変位場算出および算出された変位場の表示が続行される構成であることを特徴とする。

以下、第１実施形態との相違点についてのみ説明する。尚、本実施形態における画像処理装置の機能構成は図１と同様であるが、補正判定部１０６や遡り指示取得部１０７は存在しない。また、対応点取得部１０４と変形情報生成部１１０の一部の機能が異なっている。本実施形態では、対応点群情報を補正するための補正情報の入力が行われている間、変位場算出部１０８はバックグラウンドで変形の算出処理を行う。また、対応点群情報を補正するための補正情報の入力が行われている間、表示制御部１１２はバックグラウンドで変形の途中状態を示す変形情報を取得して表示部１７０に表示させる。

図６は、本実施形態の画像処理装置が行う全体の処理手順を示すフローチャートである。尚、ステップＳ６００、Ｓ６０１、Ｓ６０２、Ｓ６０５の処理の夫々は、第１実施形態におけるステップＳ２００、Ｓ２０１、Ｓ２０２、Ｓ２０７の処理の夫々と同様であるので、説明を省略する。
（変形情報の表示：Ｓ６０３）
ステップＳ６０３において、変形情報生成部１１０は、処理の状況が所定の条件を満たす場合に、ステップＳ６０２で算出された変位場に基づいて変形情報を更新する。そして、変形情報生成部１１０は、変形情報を更新するというユーザからの指示を取得した場合に、最新の変位場に基づいて、表示に用いる変形情報を生成する。それ以外の場合は、最後に更新した変形情報を、表示に用いる変形情報として保持しておく。そして、表示に用いる変形情報を、表示制御部１１２を介して表示部１７０に表示させる。生成される変形情報や表示方法は第１実施形態と同様である。

尚、変形情報を更新する条件は、他の条件であってもよい。例えば、変形情報生成部１１０は、所定の時間間隔毎に（その時点における最新の変位場に基づいて）変形情報を更新することが可能である。あるいは、後述するステップＳ６０４の処理で対応点群情報に変更があった場合に、変形情報生成部１１０は、その直後の本ステップの処理において変形情報を更新することが可能である。あるいは、ユーザによる操作（表示断面の切り替えや対応点の補正）が所定の期間以上実行されなかった場合を更新の条件としてもよい。あるいは、変形情報生成部１１０は、所定のステップ数の処理を実行する毎に変形情報を更新することが可能である。もちろん、これらの更新の条件をユーザが選択できるようにしてもよい。

尚、本実施形態の画像処理装置は、第１実施形態におけるステップＳ２０３の処理とは異なり、ユーザからの指示を待つことや、ユーザによる操作状況を判断することなく、直ちに次のステップ（ステップＳ６０４）へと処理を進める。

（補正された対応点の取得：Ｓ６０４）
ステップＳ６０４において、対応点取得部１０４は、ユーザの指示に従って、不図示の記憶部に格納されている対応点群情報を取得して補正する。この処理によって、変位場算出に使用されている対応点群情報が更新される。対応点取得部１０４は、更新した対応点群情報を変位場算出部１０８へと出力する。本ステップにおいて対応点取得部１０４が行う処理は、ユーザによる点群補正情報の入力結果を受け付けて、それに基づいて対応点群情報の補正を行うことである。すなわち、対応点群情報を補正するための補正情報の入力作業をユーザが行っており、入力結果が得られるまでの間は、直ちに次のステップ（Ｓ６０５）へと処理を進める。ステップＳ６０５において、変位場算出部１０８は、変位場算出の繰り返し計算における全ステップが完了したか否かの判定を行う。変位場算出部１０８は全ステップが完了したと判定する場合に処理を終了し（Ｓ６０５−Ｙｅｓ）、変位場算出部１０８は全ステップが完了していないと判定する場合、処理をステップＳ６０２に進めて同様の処理を繰り返す（Ｓ６０５―Ｎｏ）。

以上の処理によって、ステップＳ６０２における変位場算出とステップＳ６０３における変形状態の表示が、ユーザによる断面画像の観察や対応点の入力（ステップＳ６０４）とは独立して、継続的に実行され続ける。すなわち、ユーザが、対応点群情報を補正するための補正情報の入力作業を行っている間も、バックグラウンドで変位場算出が行われ、その結果を反映した変形状態表示が更新される。 本実施形態によれば、対応点群情報の補正を行っている場合でも変位場算出処理が中断されないため、計算時間を削減することができる。

尚、本実施形態では、対応点群情報を補正するための補正情報の入力作業を行っている間に、変位場算出と変形状態の表示とがともに更新され続ける処理を例として説明した。この例に限定されず、例えば、対応点群情報を補正している間は変形状態の表示の更新を行わないように表示制御部１１２は変形状態の表示を制御することが可能である。対応点群情報を補正するための補正情報の入力が行われている間、表示制御部１１２は取得した変形情報に基づく表示の更新を停止することが可能である。

このような表示制御を行うことで、対応点群の補正を開始したときに対応点を入力しようと意図していた対応関係が、変形状態表示が更新され続けることで不明確になってしまうことを回避することができる。ユーザは、対応点群情報を補正するための補正情報を入力する際に、対応点群の対応関係が維持された変形状態の表示を確認しながら対応点群情報を補正するための補正情報の入力作業を行うことができる。

また、表示制御部１１２は、画像全体における変形状態の表示の更新を停止するのではなく、画像全体のうち一部（部分領域）のみを更新停止の対象として表示制御を行うことができる。表示制御部１１２は、対応点群情報を補正するために指定された部分領域について、取得した変形情報に基づく表示の更新を停止し、指定された部分領域以外の領域について変形の途中状態を示す変形情報を取得して表示部に表示させる。表示制御部１１２は、変形状態の表示の更新を行うように表示制御を行う。この場合、表示制御部１１２は、現在表示している断面のみを更新停止の対象としたり、マウスカーソルで指定されている位置の近傍領域や画像全体のうちマウスカーソルで指定された部分領域のみを更新停止の対象として表示制御を行うことができる。例えば、表示制御部１１２は、対応点群情報を補正するために指定された部分領域について、取得した変形情報に基づく表示の更新を停止し、指定された部分領域以外の領域について変形の途中状態を示す変形情報を取得して表示部１７０に表示させることが可能である。

このような表示制御を行うことにより、ユーザが対応点群の補正を行おうとしている部分領域について、表示制御部１１２は変形状態の表示の更新を停止させる。ユーザは対応点群の対応関係が維持された部分領域の変形状態の表示を確認しながら対応点群情報を補正するための補正情報の入力作業を行うことができる。また、対応点群の補正を意図していない部分領域以外の領域については、変形状態の表示を更新することにより、変形状態の更新結果を迅速にユーザに提示することが可能になる。

＜第４実施形態：２つの変位場算出アルゴリズムを併用する＞
第１実施形態では、変位場算出には単一のアルゴリズムを使用していた。一方、本実施形態に係る画像処理装置は、低精度だが高速なアルゴリズム（以下、高速アルゴリズムと呼ぶ）と高精度だが低速なアルゴリズム（以下、低速アルゴリズムと呼ぶ）を併用することを主な特徴とする。対応点を補正する際に、補正された対応点群を低速アルゴリズムの変位場算出処理で更新する前に高速アルゴリズムを用いて変位場算出を行うことで、算出される変位場が補正によってどのように変化するかについて、大まかに確認することができる。これによって、対応点群の補正を行った場合の収束状態の判定を、低精度ではあるが処理速度が高速な高速アルゴリズムに基づいて取得することができる。以下、本実施形態に係る画像処理装置１００について、第１実施形態との相違部分についてのみ説明する。本実施形態に係る画像処理システムおよび画像処理装置の機能構成は図１と同様である。本実施形態では画像処理装置１００の変位場算出部１０８は、高速アルゴリズムおよび低速アルゴリズムの２種類のアルゴリズムによる変位場の算出を行う。変位場算出部１０８は、変形を算出する低速アルゴリズムと、低速アルゴリズムよりも算出処理の精度が低く、算出処理を高速に行うことが可能な高速アルゴリズムと、を用いて変形を算出する処理を実行することが可能である。

本実施形態では、変位場算出部１０８は高速アルゴリズムを用いて、変位場（変形）を算出し、表示制御部１１２は高速アルゴリズムの処理に基づく変形情報を変形経過情報として取得して表示部１７０に表示させる。表示部１７０の表示に基づいて、補正部（対応点取得部１０４、ＧＵＩ５０２）が対応点群情報の補正を行わない場合、変位場算出部１０８は低速アルゴリズムを用いて変位場（変形）を算出する。表示制御部１１２は低速アルゴリズムの処理に基づく変形経過情報（中間変形情報）を取得して表示部１７０に表示させる。表示部１７０の表示に基づいて、補正部（対応点取得部１０４、ＧＵＩ５０２）が対応点群情報の補正を行う場合、変位場算出部１０８は低速アルゴリズムの算出結果を初期値として高速アルゴリズムを用いて変形を算出する。以下、本実施形態の画像処理装置１００が行う処理手順を図７のフローチャートを用いて具体的に説明する。

図７は、画像処理装置１００が行う全体の処理手順を示すフローチャートである。尚、ステップＳ７００、Ｓ７０１、Ｓ７０３、Ｓ７０５、Ｓ７０７、およびＳ７０８の処理は、第１実施形態の図２におけるステップＳ２００、Ｓ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０３、およびＳ２０４の処理と同様であるため、説明を省略する。

（高速な変位場算出を実行：Ｓ７０２）
ステップＳ７０２において、変位場算出部１０８は、高速アルゴリズムを用いた変位場算出を実行する。第１実施形態におけるステップＳ２０２と異なり、本ステップでは、変位場算出部１０８は高速アルゴリズムを用いて変位場算出を最後まで実行する。変位場算出の終了条件は、第１実施形態におけるステップＳ２０７の場合と同様である。変位場算出部１０８は、高速アルゴリズムとして、第２実施形態で述べた高速アルゴリズムのうちのいずれか１つを用いることが可能である。

尚、ステップＳ７０６からＳ７０８、およびステップＳ７０５の処理を経て本ステップが実行された場合、本ステップでは、ステップＳ７０６で算出された低速アルゴリズムによる変位場を初期値として高速アルゴリズムによる変位場算出を行う。これにより、現在の中間変形状態を基準とした変形状態が最終的にどのように変化していくかを示す仮の最終的な変形状態を、高速アルゴリズムの変位場算出処理により取得することができる。

（対応点補正の有無の判定：Ｓ７０４）
ステップＳ７０４において、ユーザからの指示を受け付けて、補正判定部１０６は、高速な変位場算出処理を終了して低速な変位場算出の実行に移行するか否かの判定を行う。第１実施形態におけるステップＳ２０４では、ユーザからの指示が無い場合は所定の条件を満たせば「対応点補正の必要なし」と判定していた。本実施形態では、画像処理装置１００は、ユーザからの指示が入力されるまで待機する。表示制御部１１２は、ユーザからの指示の入力を受け付けるＧＵＩを表示部１７０に表示する。例えば、表示制御部１１２は、「Ｙｅｓ」「Ｎｏ」という２つのボタンを持つＧＵＩ（ダイアログボックス）を表示部１７０に表示する。補正判定部１０６は、「対応点補正の必要なし」と判定した場合（Ｓ７０４−Ｙｅｓ）、処理をステップＳ７０６へと進める。一方、補正判定部１０６は、「対応点補正の必要あり」と判定した場合（Ｓ７０４−Ｎｏ）、処理をステップＳ７０５へと進める。尚、補正判定部１０６は、ユーザの指示が入力されるまで待機するのではなく、一定時間のみ待機し、待機時間中に指示が入力されなかった場合に補正判定部１０６は「対応点補正の必要なし」（Ｓ７０４−Ｙｅｓ）と判定することも可能である。

（低速な変位場算出を１ステップ実行：Ｓ７０６）
ステップＳ７０６において、変位場算出部１０８は、低速アルゴリズムを用いた変位場算出を１ステップ実行する。変位場算出のアルゴリズムとして、低速アルゴリズムを用いること以外は、第１実施形態におけるステップＳ２０２と同様である。変位場算出部１０８は、低速アルゴリズムの例として、第１実施形態のステップＳ２０２で述べたＲｕｅｃｋｅｒｔらの手法に対して細かいメッシュ間隔を適用したアルゴリズムを用いて変位場算出処理を行うことが可能である。

（低速な変位場算出処理の完了判定：Ｓ７０９）
ステップＳ７０９において、変位場算出部１０８は、低速アルゴリズムを用いた変位場算出の繰り返し計算における全ステップが完了したか否かの判定を行う。変位場算出に低速アルゴリズムを用いること以外は、第１実施形態におけるステップＳ２０７の処理と同様である。変位場算出部１０８は、変位場算出処理が完了したと判定した場合（Ｓ７０９−Ｙｅｓ）、画像処理装置１００の処理は終了する。一方、変位場算出部１０８は、変位場算出処理が未完了と判定した場合（Ｓ７０９−Ｎｏ）、変位場算出部１０８は、ステップＳ７０６へと処理を戻し、低速アルゴリズムを用いた変位場の算出処理を続行する。

本実施形態によれば、対応点群を補正する際に、補正によって変位場がどのように変化するか、高速な変位場算出アルゴリズムを用いることで簡便に確認することができる。

＜第５実施形態：進捗状況を予測して表示する＞
上記の実施形態では、コスト値の減少量あるいは絶対値が一定閾値を下回った場合に変位場算出を完了としていた。一方、本実施形態に係る画像処理装置は、現時点で、変位場（変形）の算出処理（最適化処理）のステップ全体に対してどの程度まで進捗しているかを予測し、表示部に表示することを主な特徴とする。これによって、対応点群の補正が必要かどうかを判断するための判断材料を提供する。

本実施形態に係る画像処理装置８００の構成を図８に示す。尚、図１と同じ部分については、同じ参照番号を付けており、その説明を省略する。進捗予測部８１４は、変位場算出部１０８が変位場（変形）の算出を行うために実行する全てのステップ数に対する、算出処理済みのステップ数の割合を進捗情報として取得する。すなわち、進捗予測部８１４は、変位場算出部１０８が算出するコスト値を取得して、現時点で最適化ステップ全体に対してどの程度まで進捗しているかを予測する。そして、表示制御部１１２は、変形経過情報と進捗予測部８１４の予測結果（進捗情報）を表示部１７０に表示させる。

図９は、画像処理装置８００が行う全体の処理手順を示すフローチャートである。尚、ステップＳ９００、Ｓ９０１、Ｓ９０３、Ｓ９０６からＳ９０９は、第１実施形態におけるステップＳ２００、Ｓ２０１、Ｓ２０２、Ｓ２０４からＳ２０７と同様であるため、説明を省略する。

（初期コスト値の算出：Ｓ９０２）
ステップＳ９０２において、変位場算出部１０８は、変位場算出に先立って、変位場算出前の状態におけるコスト値（初期コスト値）を算出する。変位場算出部１０８は、コスト値を（２）式で表す式を用いて算出する。そして、変位場算出部１０８は、算出した初期コスト値を不図示の記憶部に格納する。

（進捗状況を予測：Ｓ９０４）
ステップＳ９０４において、進捗予測部８１４は、変位場算出部１０８が変形の算出を行うために実行する全てのステップ数に対する、算出処理済みのステップ数の割合を進捗情報として取得する。すなわち、進捗予測部８１４は、現在のコスト値から最適化ステップ全体に対する進捗状況を予測する。進捗予測部８１４は進捗状況予測を予め用意したコスト値の収束予測モデルに基づいて行う。

図１０は、前述したコスト値の収束予測モデルと、そのモデルを用いた進捗状況予測の例を示す図である。コスト値の収束予測モデル９１０は、進捗状況の割合（進捗割合）と、変位場算出前の初期コスト値（変形の算出を行うために実行する全てのステップ数）に対する現在のコスト値（算出処理済みのステップ数）との関係を表現するもので、以下の式で表される。

ｙ ＝ ａ^ｘ・・・（３）
ここで、ｘは進捗状況の割合（０≦ｘ≦１）を示し、ｙは初期コスト値に対する現在のコスト値の割合（０＜ｙ≦１）を示し、ａは収束速度を制御するパラメータである。図１０ではａ＝０．０１の場合を示している。

進捗予測部８１４は進捗状況の予測を以下の手順に基づいて行う。まず、ステップＳ９０２とステップ９０３の算出結果から、進捗予測部８１４は初期コスト値に対する現在のコスト値の割合を算出する。そして、進捗予測部８１４は（３）式のｙに算出した割合（＝現在のコスト値／初期コスト値）を代入することでｘを求める。図１０には、割合（＝現在のコスト値／初期コスト値）が０．５の場合の算出結果が示されている。進捗予測部８１４は、（３）式にｙ＝０．５、ａ＝０．０１を代入することにより、進捗状況を示す割合（進捗情報）ｘ≒０．１５（１５％）を取得する。

尚、本実施形態では、説明の簡単化のため、コスト値の収束予測モデルを（３）式のような単純な形の関数で表現する場合を例に挙げたが、実際には、進捗予測部８１４は過去の症例のコスト値収束状況に基づいて解析的に求めることが可能である。この場合、進捗予測部８１４は、複数の過去症例に対して、進捗の割合（ある時点での最適化のステップ数／最終的な最適化のステップ数）とコスト値の割合の関係をプロットし、その平均曲線をモデルとして用いることが可能である。図１０のような単純な関数に基づいて予測する場合に比べると、過去の症例のコスト値収束状況に基づいて進捗の割合を解析的に求めることにより、進捗予測部８１４は、より高精度に進捗の予測結果を算出することが可能となる。

（変形情報の表示：Ｓ９０５）
ステップＳ９０５において、表示制御部１１２は、第１実施形態におけるステップＳ２０３で述べた変形情報の表示に追加して、ステップＳ９０４で算出された進捗状況の予測結果を、表示部１７０に表示する制御を行う。

図１１は、第１実施形態で説明した図４（ａ）の変形情報の表示に進捗状況の予測結果（進捗情報）を含めた表示例を示す図である。ステップＳ９０４で算出された進捗状況の予測結果（進捗情報）が、進捗状況表示部１１０２（プログレスバー）を用いて示されている。図１１では、最適化ステップ全体に対して進捗状況は６１．６％であることを示している。尚、図１１における進捗状況の表示方法は一例であり、進捗状況を示すものであれば、任意の表示方法を用いてよい。例えば、アナログ時計を模したＧＵＩを用いて表示してもよい。

本実施形態によれば、現時点の収束状況が最適化ステップ全体に対して、まだ初期段階か、それともほぼ収束しきっている状況かといった情報を定量的に示すことが可能になる。ユーザはこの情報に基づいて、対応点群を補正するかどうか判断することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４・・・対応点取得部、１０６・・・補正判定部、
１０８・・・変位場算出部、１１２・・・表示制御部

Claims (22)

1. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する取得手段と、
   前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する算出手段と、
   前記算出手段で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる表示制御手段と、
   前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する変更手段と、を備え、
   前記算出手段は、前記変更手段で変更された前記対応点群情報に基づいて、前記変形を算出し、
   前記変形経過情報とは、前記算出手段における算出処理の途中状態における変形を表す中間変形情報であることを特徴とする画像処理装置。
2. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する取得手段と、
   前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する算出手段と、
   前記算出手段で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる表示制御手段と、
   前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する変更手段と、を備え、
   前記算出手段は、前記変更手段で変更された前記対応点群情報に基づいて、前記変形を算出し、
   前記変形経過情報とは、前記算出手段における算出処理の途中状態における変形を表す中間変形情報であり、
   前記変更手段が前記変更を行う際に、算出処理の中断を指示する操作入力に従って、前記算出手段は前記変形を算出するための算出処理を中断し、
   前記変更手段による前記変更が完了した後、前記中断した算出処理の再開を指示する操作入力に従って、前記算出手段は、前記変更された対応点群情報に基づいて、前記変形を算出する算出処理を再開する
   ことを特徴とする画像処理装置。
3. 前記中断した算出処理において、遡る処理ステップの指示を取得する指示取得手段を更に備え、
   前記指示取得手段により前記遡る処理ステップが指示され、かつ、前記対応点群情報の変更が完了した後、前記算出手段は、前記変更された対応点群情報に基づいて、前記指示された処理ステップ分を遡った処理ステップから前記変形を算出する算出処理を再開することを特徴とする請求項２に記載の画像処理装置。
4. 前記算出手段から前記変形の途中状態を示す算出結果を取得して、前記変形経過情報を生成する生成手段を更に備え、
   前記表示制御手段は、前記生成された前記変形経過情報を前記表示手段に表示させる
   ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する取得手段と、
   前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する算出手段と、
   前記算出手段で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる表示制御手段と、
   前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する変更手段と、を備え、
   前記算出手段は、前記変更手段で変更された前記対応点群情報に基づいて、前記変形を算出し、
   前記算出手段は、前記変形を算出するアルゴリズムと、前記アルゴリズムよりも高速に処理を行うことが可能な高速アルゴリズムと、を併用して前記変形を算出する処理を実行し、
   前記表示制御手段は、前記高速アルゴリズムの処理に基づく変形情報を前記変形経過情報として取得して表示手段に表示させる
   ことを特徴とする画像処理装置。
6. 前記算出手段は、前記変形を算出するアルゴリズムの途中状態を表す算出結果に対して前記高速アルゴリズムを適用することで前記変形経過情報を取得することを特徴とする請求項５に記載の画像処理装置。
7. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する取得手段と、
   前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する算出手段と、
   前記算出手段で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる表示制御手段と、
   前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する変更手段と、を備え、
   前記算出手段は、前記変更手段で変更された前記対応点群情報に基づいて、前記変形を算出し、
   前記変更手段により前記対応点群情報を変更するための前記変更情報の入力が行われている間、前記算出手段はバックグラウンドで前記変形の算出処理を行うことを特徴とする画像処理装置。
8. 前記変更手段により前記対応点群情報を変更するための前記変更情報の入力が行われている間、前記表示制御手段はバックグラウンドで前記変形の途中状態を示す変形情報を取得して表示手段に表示させる
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記変更手段により前記対応点群情報を変更するための前記変更情報の入力が行われている間、前記表示制御手段は前記取得した変形情報に基づく表示の更新を停止する
   ことを特徴とする請求項７に記載の画像処理装置。
10. 前記表示制御手段は、
    前記対応点群情報を変更するために指定された部分領域について、前記取得した変形情報に基づく表示の更新を停止し、
    前記指定された部分領域以外の領域について前記変形の途中状態を示す変形情報を取得して表示手段に表示させる
    ことを特徴とする請求項７に記載の画像処理装置。
11. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する取得手段と、
    前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する算出手段と、
    前記算出手段で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる表示制御手段と、
    前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する変更手段と、を備え、
    前記算出手段は、前記変更手段で変更された前記対応点群情報に基づいて、前記変形を算出し、
    前記算出手段は、前記変形を算出する低速アルゴリズムと、前記低速アルゴリズムよりも算出処理の精度が低く、前記算出処理を高速に行うことが可能な高速アルゴリズムと、を用いて前記変形を算出する処理を実行することが可能であり、
    前記算出手段は前記高速アルゴリズムを用いて、前記変形を算出し、
    前記表示制御手段は前記高速アルゴリズムの処理に基づく変形情報を前記変形経過情報として取得して表示手段に表示させ、
    前記表示に基づいて、前記変更手段が前記対応点群情報の変更を行わない場合、前記算出手段は前記低速アルゴリズムを用いて前記変形を算出する
    ことを特徴とする画像処理装置。
12. 前記表示制御手段は前記低速アルゴリズムの処理に基づく前記変形経過情報を取得して表示手段に表示させ、
    前記表示に基づいて、前記変更手段が前記対応点群情報の変更を行う場合、前記算出手段は前記低速アルゴリズムの算出結果を初期値として前記高速アルゴリズムを用いて前記変形を算出する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する取得手段と、
    前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する算出手段と、
    前記算出手段で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる表示制御手段と、
    前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する変更手段と、を備え、
    前記算出手段は、前記変更手段で変更された前記対応点群情報に基づいて、前記変形を算出し、
    前記算出手段が前記変形の算出を行うために実行する全てのステップ数に対する、算出処理済みのステップ数の割合を進捗情報として取得する進捗予測手段を更に備え、
    前記表示制御手段は、前記変形経過情報と前記進捗情報を前記表示手段に表示させることを特徴とする画像処理装置。
14. 前記変更手段は、対応点の追加、削除、および移動の少なくとも一つを行うことにより、前記対応点群情報を変更することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記表示制御手段は、前記変形経過情報として、前記算出手段における算出処理の途中状態における変形を反映した画像を表示させることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する工程と、
    前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する工程と、
    前記算出する工程で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる工程と、
    前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する工程と、
    前記変更された前記対応点群情報に基づいて、前記変形を算出する工程と、
    を有し、
    前記変形経過情報とは、前記第１画像から前記第２画像への変形を算出する工程における算出処理の途中状態における変形を表す中間変形情報であることを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至請求項１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
18. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する工程と、
    前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する工程と、
    前記算出する工程で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる工程と、
    前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する工程と、
    前記変更する工程で変更された前記対応点群情報に基づいて、前記変形を算出する工程と、を有し、
    前記変形経過情報とは、前記算出する工程における算出処理の途中状態における変形を表す中間変形情報であり、
    前記変更する工程で前記変更を行う際に、算出処理の中断を指示する操作入力に従って、前記算出する工程では前記変形を算出するための算出処理を中断し、
    前記変更する工程による前記変更が完了した後、前記中断した算出処理の再開を指示する操作入力に従って、前記算出する工程では、前記変更された対応点群情報に基づいて、前記変形を算出する算出処理を再開する
    ことを特徴とする画像処理方法。
19. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する工程と、
    前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する工程と、
    前記算出する工程で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる工程と、
    前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する工程と、
    前記変更する工程で変更された前記対応点群情報に基づいて、前記変形を算出する工程と、を有し、
    前記算出する工程では、前記変形を算出するアルゴリズムと、前記アルゴリズムよりも高速に処理を行うことが可能な高速アルゴリズムと、を併用して前記変形を算出する処理を実行し、
    前記表示させる工程では、前記高速アルゴリズムの処理に基づく変形情報を前記変形経過情報として取得して表示手段に表示させる
    ことを特徴とする画像処理方法。
20. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する工程と、
    前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する工程と、
    前記算出する工程で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる工程と、
    前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する工程と、
    前記変更する工程で変更された前記対応点群情報に基づいて、前記変形を算出する工程と、を有し、
    前記変更する工程で前記対応点群情報を変更するための前記変更情報の入力が行われている間、前記算出する工程ではバックグラウンドで前記変形の算出処理を行うことを特徴とする画像処理方法。
21. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する工程と、
    前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する工程と、
    前記算出する工程で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる工程と、
    前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する工程と、
    前記変更する工程で変更された前記対応点群情報に基づいて、前記変形を算出する工程と、を有し、
    前記算出する工程では、前記変形を算出する低速アルゴリズムと、前記低速アルゴリズムよりも算出処理の精度が低く、前記算出処理を高速に行うことが可能な高速アルゴリズムと、を用いて前記変形を算出する処理を実行することが可能であり、
    前記算出する工程では前記高速アルゴリズムを用いて、前記変形を算出し、
    前記表示させる工程では前記高速アルゴリズムの処理に基づく変形情報を前記変形経過情報として取得して前記表示手段に表示させ、
    前記表示に基づいて、前記変更する工程で前記対応点群情報の変更を行わない場合、前記算出する工程は前記低速アルゴリズムを用いて前記変形を算出することを特徴とする画像処理方法。
22. 第１変形状態で撮像した第１画像の位置と第２変形状態で撮像した第２画像の位置とを対応づける対応点群情報を取得する工程と、
    前記対応点群情報に基づいて前記第１画像から前記第２画像への変形を算出する工程と、
    前記算出する工程で算出された前記変形に基づく画像の変形経過情報を表示手段に表示させる工程と、
    前記変形経過情報が表示されているときに入力された変更情報に基づいて、前記対応点群情報を変更する工程と、
    前記変更する工程で変更された前記対応点群情報に基づいて、前記変形を算出する工程と、を有し、
    前記算出する工程は前記変形の算出を行うために実行する全てのステップ数に対する、算出処理済みのステップ数の割合を進捗情報として取得する工程を更に有し、
    前記表示させる工程では、前記変形経過情報と前記進捗情報を前記表示手段に表示させることを特徴とする画像処理方法。

Images