[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6540477B2 - 画像処理装置および放射線撮影装置 - Google Patents

画像処理装置および放射線撮影装置 Download PDF

Info

Publication number
JP6540477B2
JP6540477B2 JP2015232474A JP2015232474A JP6540477B2 JP 6540477 B2 JP6540477 B2 JP 6540477B2 JP 2015232474 A JP2015232474 A JP 2015232474A JP 2015232474 A JP2015232474 A JP 2015232474A JP 6540477 B2 JP6540477 B2 JP 6540477B2
Authority
JP
Japan
Prior art keywords
image
feature point
processing apparatus
blood vessel
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015232474A
Other languages
English (en)
Other versions
JP2017094006A (ja
Inventor
ダルジ ミシェル
ダルジ ミシェル
▲高▼橋 渉
渉 ▲高▼橋
貴則 吉田
貴則 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2015232474A priority Critical patent/JP6540477B2/ja
Priority to US15/361,132 priority patent/US10052075B2/en
Priority to CN201611050750.5A priority patent/CN107049343B/zh
Publication of JP2017094006A publication Critical patent/JP2017094006A/ja
Application granted granted Critical
Publication of JP6540477B2 publication Critical patent/JP6540477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、血管像を透視像に重畳することができる画像処理装置および放射線撮影装置に関する。
医療機関には放射線で被検体の画像を取得する放射線撮影装置が備えられている。この様な従来装置の構成について説明する。従来構成によれば、図18に示すように放射線を照射する放射線源53と放射線を検出するFPD54を有している。撮影対象の被検体は、放射線源53とFPD54とに挟まれる位置にある天板52に載置される(例えば特許文献1参照)。
このような放射線撮影装置は、被検体の透視を連続して行い、動画となっている透視像を生成できるようになっている。術者はこの透視像を視認しながらカテーテルを被検体の血管に挿入することにより各種の治療を行うことができる。この様な透視像は、被検体の骨やカテーテル自体を写し込んでいる。
しかし、このような撮影方法は、被検体の血管を鮮明に写し出すのは不向きである。血管はカテーテルなどとは違い、放射線による画像化が難しいからである。被検体内で血管がどのように伸びているかが分からないと、術者のカテーテルの挿入操作に支障がでる。
この様な問題を解決する目的で、従来から血管の位置を示す血管像を透視像に重ね合わせる構成が考え出されている。すなわち、カテーテル挿入操作の前に血管造影剤を用いて被検体の血管像を撮影しておき、この血管像を透視像に重畳させて表示されるのである。すると、術者は、カテーテルが被検体の血管のどの部分に到達しているかが理解できるようになり、カテーテル挿入操作をスムーズに行えるようになる。血管像の撮影は、カテーテル挿入操作の前に行われ、装置に記憶されている。
血管像を透視像に重畳させるときに問題となるのが、心臓の拍動である。心臓が最も収縮したときに血管像が撮影されていたとする。一方、血管像を重ねる方の透視像は動画なので、心臓は収縮したり拡張したりを繰り返す。したがって血管像は、透視像において大きさが移り変わる心臓の最も収縮した状態のときの血管の走り方を表しているに過ぎない。透視像上の心臓が最も拡張しているときの血管の走り方は、血管像では分からない。つまり、透視像は、動画なので、重ね合わせる方の血管像も動画として撮影しておく必要がある。血管像の動画を血管像動画と呼ぶことにする。
動画同士を重ねる際には、動画をどのタイミングで重ね合わせるのかということが問題となる。血管像動画に写り込む心臓が最も収縮したときと透視像に写り込む心臓が最も収縮したときとが互いに重なるように同期をとって動画同士を重ねないと、透視像に写り込む心臓の血管を正確に表示できない。
そこで、従来、動画の位相を解析する方法が考え出されている(例えば特許文献1参照)。動画の位相の解析には、動画に写り込む特徴点が利用される。特徴点とは、動画を撮影していると写り込む粒状の影で、被検体内の何らかの構造に由来している。この特徴点は、心臓動きに合わせてある決まった動きで画像内を移動する。具体的な解析方法を図19に示す。まず、撮影された血管像動画に写り込む特徴点を探索する。図19においては、血管像1は、心臓が最も拡張した状態を示しており、血管像nは、一度収縮した心臓が再び最も拡張した状態を示している。したがって、血管像1と血管像nの位相が同じである。一方、血管像1〜n−1の位相は互いに異なっている。
これら一連の血管像に特徴点解析を加えると、それぞれの血管像に写り込む特徴点の位置が明らかにされる。これら特徴点の位置は、それぞれの血管像に固有なものであり、血管像の間で異なる位相を区別することができる。血管像1,血管像2,血管像3に対応する位相をそれぞれ位相1,位相2,位相3とする。
続いて、カテーテル挿入操作をしようとして透視像が撮影される。透視像は、動画なので、透視像に写り込む心臓の様子は時々刻々と移りゆく。従って透視像は、最近に取得された透視像の1フレームを意味しており、現在の心臓の様子を表している。従来装置は、これに位相解析を行い、今の状態の心臓がどの位相にあるかを調べる。この位相解析には、透視像に写り込む特徴点が用いられる。特徴点は、心臓動きに合わせてある決まった動きで特徴点を移動しているはずである。従って、現在の透視像に写り込む特徴点と同じパターンが、過去の血管像の撮影のときに既に得られている。そして、図20に示すように、位相解析の結果、現在の透視像は、位相3の状態にあることが分かったとする。従来装置は、この結果を踏まえ、図21に示すように、位相3に対応する血管像3と現在の透視像とを重ね合わせる処理を行う。
この様な動作をするには、血管像動画や、透視像に写り込む特徴点を追跡する必要がある。画像上における特徴点の位置が分からないと特徴点解析や位相解析をすることができないからである。図22は、従来技術における特徴点の動きの追跡方法を示している。従来装置では、まず、ある血管像に特徴点を見つけると、特徴点を中心とする範囲Rを画像上に設定する。そして、別の血管像にも範囲Rを設けてこの中から特徴点を探し出す。これを繰り返すことで、血管像動画において特徴点がどのように動くかを知ることができる。そして、この範囲Rのどこに特徴点が存在するかで各位相が区別される。
特開2014−079312号公報
しかしながら、従来構成によれば、次のような問題点がある。
すなわち、上述の実施例によれば、透視像の平行移動について考慮が不足している。
心臓は、同じ調子を保って一定の運動を繰り返すことで拍動するので、これを完全に追うことができれば、従来の方法で何ら問題は発生しない。しかし、被検体は、心臓を拍動させるのみならず、呼吸もしている。従って、血管像画像や透視像に写り込む特徴点は、たとえ心臓が拍動していなくても呼吸に合わせて画像内で上下する。実際には、心臓は拍動しているので、特徴点の動き方は、心臓の拍動による動きと呼吸による動きとが合成された複雑な動きとなる。
図23は、被検体の呼吸によって画像上の特徴点がどのように動くのかについて説明している。呼吸は、横隔膜の上下運動によって実現されるので、画像上の被検体像は、呼吸により上下にスクロール移動するような動き方をする。これに伴い画像上の特徴点も上下に移動する。この呼吸による移動は、心臓の拍動による移動とは完全に独立しているから、心臓の拍動の度に特徴点の上下移動の様式は、常に変化する。従来技術においては、このような呼吸による特徴点の影響を無視した構成となっている。
従来方法においては、特徴点が理想通りに動かないという事実はないがしろにされているのが実情である。この様な実情のもとでは、現在の透視像の位相の認識に誤りが生じる可能性が出てきてしまう。
本発明は、この様な事情に鑑みてなされたものであって、その目的は、より正確に血管像を透視像に重畳することができる画像処理装置を提供することにある。
本発明は上述の課題を解決するために次のような構成をとる。
すなわち、本発明に係る画像処理装置は、周期性動作を伴う構造体を含む被検体を少なくとも前記周期性動作の1周期分に亘って撮影することで得られた複数の過去画像を取得する過去画像取得手段と、前記複数の過去画像を取得した後に、前記被検体を撮影することで得られた現在画像を取得する現在画像取得手段と、前記複数の過去画像及び前記現在画像のそれぞれについて、複数の特徴点を探索する画像上特徴点探索手段と、前記現在画像における各特徴点と、前記過去画像のそれぞれにおける前記各特徴点とを対応付ける対応付け決定手段と、前記現在画像と前記各過去画像とにおける前記対応付けられた複数の特徴点の類似度である第1類似度をそれぞれ算出して、前記現在画像が、前記複数の過去画像のいずれに対応するかを特定することにより、前記現在画像が、前記周期性動作のいずれの位相に位置するかを推定する位相特定手段とを有し、前記過去画像は、前記被検体内に造影剤を導入した状態で撮影された放射線画像を含み、前記現在画像は、前記被検体内に造影剤を導入しない状態で撮影された放射線画像であって、前記画像上特徴点探索手段は、前記過去画像中の造影剤の陰影が位置する部分を避けた領域を探索することを特徴とする。
[作用・効果]本発明によれば、心拍・呼吸などの周期動作を伴う画像であっても、過去画像に基づいて、現在画像が周期性動作のどの位相に位置するかを精度よく推定することができる。特に、対応付けられた複数の特徴点の類似度を基にしているので、対象とする周期性動作とは異なる動きが重畳された場合でも、正確に周期性動作のどの位相に位置するかを推定することができる。
[作用・効果]造影剤が導入される前後の画像は、画像の濃淡情報が大きく異なるため、位相合せが困難となる場合がある。特に、造影剤の陰影部分は画像の濃淡がなく、特徴点を定めることすらも困難となる。そのような領域を避ける処理を行うことで、造影剤を導入する前後の画像に基づく場合であっても、正確に周期性動作のどの位相に位置するかを推定することができる。
また、本発明に係る画像処理装置は、前記対応付け決定手段は、前記過去画像のそれぞれにおける各特徴点の周辺の区画画像と、前記現在画像における各特徴点の周辺領域の区画画像との類似度である第2類似度に基づいて、対応付けを決定することを特徴とするものである。
[作用・効果]ある画像上で特徴となる点の候補が多数となった場合、現在画像中の特徴点候補が、過去画像上のどの特徴点候補に対応するのかを対応付けることが困難な場合がある。特に周期影動作の動きに対してフレームレートが小さい場合には、ある対応する特徴点が近傍に存在しない可能性もある。この点、現在画像中のある特徴点候補が、ある過去画像中のどの特徴点候補に対応するかを調べる際、その特徴点の周辺画像の類似度が最も大きい特徴点候補を対応する特徴点とすれば、特徴点が大きく移動した場合であっても、高精度に特徴点の対応付けが可能となる。これは、対応する特徴点を示す構造物の周辺には、同じ構造物が写り込んでいるはずであるため、周期的動作によってその構造物の画像に歪が生じることはあっても、他の構造物の画像に比べれば類似性が高いという性質を利用するものである。
ただし、直前に撮影された前記過去画像における各特徴点を基準として、その近傍の特徴点を対応する特徴点と決定してもよい。
[作用・効果]周期影動作の動きに対してフレームレートが大きい場合は、少ない演算量で対応付けを行うことができる点で有利である。
また、前記位相特定手段は、前記過去画像中における各特徴点の相対的な位置関係と、前記現在画像中における各特徴点の相対的な位置関係とを比較することにより前記第1類似度を算出することとすることができる。その際、各特徴点の相対的な位置関係は、各特徴点の重心位置からの相対距離であることを特徴としてもよいし、各特徴点の重心位置から各特徴点へのベクトルとしてもよい。
[作用・効果]上述の構成は、相対的な位置関係に基づけば、対象となる周期性動作(例えば心拍)に、異なる動作(例えば呼吸動作)が重畳したとしても、各画像中における各特徴点の相対的な位置関係を各特徴点の特徴量とすることで、異なる動作により画像が移動された影響がキャンセルされ、対象となる周期性動作の特徴に基づいて、位相の特定が可能となる。
更に、前記位相特定手段は、前記第2類似度を前記第1類似度として算出することがより望ましい。
[作用・効果]対応する特徴点を示す構造物の周辺には、同じ構造物が写り込んでいるものの、周期的動作によってその構造物の画像に歪が生じる。従って、同一の構造物の画像でも、各画像には位相により歪み方が異なっている。また、被写体によって、特徴点と共に移動する構造体と、周期的動作によって移動しない構造体とが重畳して特徴点の周囲の区画画像に写り込む場合は、周期的動作によって移動しない構造体の重畳の仕方が異なる場合もありうる。従って、現在画像中の特定の特徴点における区画画像を、各過去画像の対応する特徴点の区画画像と比較することで、いずれの位相における特徴点の区画画像と近しいかが分かる。これにより、精度良く位相を推定することが可能となる。
本発明によれば、周期性動作以外の移動が加わった場合であっても、現在画像の位相を正確に推定することができる。そのため、造影剤を含む過去画像から選択した同位相の血管造影像を、現在画像に正確に重畳することができる画像処理装置を提供することができる。
実施例1に係る画像処理装置の動作の概要を示す模式図である。 実施例1に係る画像処理装置が必要となる場面を説明する模式図である。 実施例1に係る画像処理装置が必要となる場面を説明する模式図である。 実施例1に係る画像処理装置の全体構成を説明する機能ブロック図である。 実施例1に係る特徴点探索部の動作を説明する模式図である。 実施例1に係る重心算出部の動作を説明する模式図である。 実施例1に係るベクトル群算出部の動作を説明する模式図である。 実施例1に係る最新フレームに対する処理動作を説明する模式図である。 実施例1に係る選出部の動作を説明する模式図である。 実施例1に係る画像重合部の動作を説明する模式図である。 実施例1に係る構成の効果を説明する模式図である。 実施例2に係る画像処理装置の全体構成を説明する機能ブロック図である。 実施例2に係る特徴点探索部の動作を説明する模式図である。 実施例2に係るパターン認識部の動作を説明する模式図である。 実施例2に係るパターン認識部の動作を説明する模式図である。 実施例2に係る構成の効果を説明する模式図である。 実施例2に係る構成の効果を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成の問題点を説明する模式図である。
実施例1に係る画像処理装置は、透視像動画の撮影中に動作する構成となっている。実施例1に係る画像処理装置は、図1に示すように撮影中の透視像動画に事前に撮影された血管像を重畳する構成である。血管像は、幾通りのものがあり、画像処理装置は、被検体の心臓の拡張収縮に合わせて適切な血管像を選んで重ね合わせを実行する。本発明に係る画像処理装置は、被検体において一定の運動を繰り返す部位について放射線透視をして得られる動画と、その同じ部位について事前に連続的に放射線撮影して得られた一連の画像(血管像)とをソースとして処理動作を行う画像処理装置となっている。血管像は、本発明の過去画像に相当する。
この様な画像処理装置の説明に先立ってある施術の説明が必要となる。その施術とは、血管造影の後カテーテル操作を行うというものである。この一連の操作のうち図2は、X線撮影装置で被検体の血管像を撮影する様子を示している。X線管撮影装置は天板2を備えており、被検体はこの天板2に仰臥される。X線管3は、被検体の心臓に向けてX線を照射する構成である。X線管3から発せられたX線は、被検体および天板2を透過しFPD(フラットパネルディテクタ)4により検出される。血管像を撮影するときには造影剤が被検体に注射される。血管像は、拡大縮小する心臓の一周期分の変化を捉える必要性から何度も撮影がなされる。こうして撮影された一連の血管像には、血管造影により、心臓の冠動脈がはっきりと写り込んでいる。そして、一連の血管像に写り込む冠動脈は、それぞれ形状が異なる。一連の血管像は、心臓が拡大してから収縮し、さらに拡大するまでの間連写されたものだからである。
血管造影の後、カテーテルによる冠動脈の施術が行われる。図3は、このときの様子を示している。このときX線管3およびFPD4は、連続的な撮影を実行しており、透視像を動画として撮影している。透視像とは、単なる撮影を意味するわけでなく、刻々と変わる被検体の様子を写し出す動画を意味している。そこで、この意味を強調する目的で本明細書では透視像のことを透視像動画と呼ぶことにする。術者は、この透視像動画をモニタで見ながらカテーテルを冠動脈まで這わせていく。
このカテーテルを用いた施術はかなりの時間を要する。したがって、この施術中常に血管造影を行うわけにはいかない。そこで、本発明に係る画像処理装置の出番となる。すなわち、画像処理装置は、透視像動画に予め撮影しておいた血管像を重ね合わせる構成となっている。これにより、透視像動画で本来ならはっきり見ることができない冠動脈の状況を確実に術者に伝えることができる。このときに重要となるのが、複数ある血管像のうちのどれを透視像動画に重ねるのかをどうやって決めるのかということになる。本発明に係る画像処理装置はこの選択を行うことができるような構成を有している。
図4は、画像処理装置の構成を説明する機能ブロック図である。本発明に係る画像処理装置は、画像および動画から特徴点を探索する特徴点探索部11,21と、複数の特徴点にとっての重心を算出する重心算出部12,22と、重心を基準に特徴点の相対的な位置を示すベクトル群を算出するベクトル群算出部13,23と、ベクトル群のうちから1つを選択する選出部31と、選出されたベクトル群に対応する血管像を透視像動画に重畳させる画像重畳部32とを備えている。特徴点探索部11と特徴点探索部21とは、説明の便宜上異なるものとして説明しているが、同じ構成で実現できる。この様な事情は、重心算出部12,22およびベクトル群算出部13,23でも同じである。以降、これら構成について説明する。なお、特徴点探索部11,重心算出部12,ベクトル群算出部13は、一連の血管像の撮影後、カテーテルによる冠動脈の施術の開始前に前もって動作するものであり、特徴点探索部21,重心算出部22,ベクトル群算出部23,選出部31,画像重畳部32は、カテーテルによる冠動脈の施術中に動作するものである。選出部31は、本発明の位相特定手段に相当する。特徴点探索部11,21は、本発明の画像上特徴点探索手段に相当する。
図4における特徴点探索部11は本発明の画像上探索手段に相当し、重心算出部12は本発明の画像上重心算出手段に相当する。ベクトル群算出部13は本発明の画像上ベクトル群算出手段に相当し、特徴点探索部21は本発明のフレーム上探索手段に相当する。重心算出部22は本発明のフレーム上重心算出手段に相当し、ベクトル群算出部23は本発明のフレーム上ベクトル群算出手段に相当する。選出部31は本発明の選出手段に相当し、画像重畳部32は本発明の画像重畳手段に相当する。
<<一連の血管像の撮影後に行う動作>>
これより、一連の血管像の撮影後であって、カテーテルによる冠動脈の施術前に行う動作について説明する。
<血管像取得部10>
X線撮影装置で生成された血管像は、血管像取得部10に入力される。血管像取得部10は、周期性動作を伴う構造体を含む被検体を周期性動作の1周期分に亘って撮影することで得られた複数の血管像を取得する構成であり、本発明の過去画像取得手段に相当する。血管画像取得部10は、2周期分以上に亘った血管像を取得するようにしても良い。
<特徴点探索部11>
撮影された一連の血管像は、いったんは図示しない記憶部に記憶され、特徴点探索部11に送出される。血管像は、説明の便宜上、X線撮影装置の全視野のうち、心臓の周辺部に位置づけられた固定枠内の画像であるものとする。一連の血管像P1,P2,P3……は、心臓の拍動一周期分の冠動脈の形状の変動を造影剤ありの状態で撮影したものとなっている。したがって、血管像P1,P2,P3……には、造影された冠動脈が大きく目立って写り込んでいる。しかし、これら血管像P1,P2,P3……をよく見ると、小さな粒のような影が写り込んでいる。この影は、被検体内の何らかの構造に由来しており、特徴点と呼ばれる。特徴点は、安定的に存在しており、心臓の拍動に合わせて動く。より具体的には、特徴点は、心臓の拍動ごとに同じ軌跡を辿りながら動き、拍動一周期ごとに画像上の同じ位置まで戻る。したがって、特徴点は、心臓の拍動がどのような状態にあるかを区別するのに利用することができるわけである。
骨などの構造物は、画像上で心拍によってほとんど移動しないため、特徴点として抽出しないことが望ましい。そこで、各画像において特徴点を探索する際には、その画像より前に撮影された画像との差分をとった後に、特徴点の探索を行うことが望ましい。なお、前に撮影された画像は、直前に撮影された画像を用いることが望ましいが、動きの速度などを考慮して、どの程度前の時点の画像を用いるのかを、種々選択することができる。
血管像は、被検体内に造影剤を導入した状態で撮影された放射線画像を含んでいる。特徴点探索部11は、血管像上の造影剤の陰影が位置する部分を避けた領域について探索を行う。
図5に示すように、特徴点探索部11は、一連の血管像P1,P2,P3……について画像解析を施し、特徴点を探索する。一連の血管像P1,P2,P3……から特徴点は、それぞれ3つ見つけるものとする。特徴点探索部11は、これら見つかった特徴点をそれぞれ区別することができる。具体的には、特徴点探索部11は、血管像P1に3つの特徴点a,b,cを見つけたとする。すると、血管像P2にも3つの特徴点が発見されることになる。血管像P1と血管像P2とは経時的に連続して撮影されたものなので、血管像P1に現れていた特徴点a,b,cは、血管像P2が撮影されるまでの間にさほど動けない。したがって、血管像P2には、血管像P1の特徴点aがあった場所の近くに特徴点が現れるはずで、それが特徴点aに相当するはずである。この様な事情は、他の特徴点b,cでも同様である。なお、特徴点探索部11が発見する特徴点a,b,cは、画像上において十分に離れており、互いを混同することもない。
特徴点探索部11は、この様な原理に基づいて、血管像P1で見つかった特徴点a,b,cが血管像P2のどこに位置するかを区別することができる。この様な特徴点の区別を撮影された順に続けていけば、血管像P1,P2,P3……の全てにおいて特徴点の区別を完了させることができる。このように、特徴点探索部11は、一連の血管像に位置を変えながら共通して写り込んでいる特徴点を複数探索する。
<重心算出部12>
特徴点探索部11が探索した特徴点a,b,cの位置情報は、重心算出部12に送出される。重心算出部12は、図6に示すように血管像P1で発見された特徴点a,b,cを結んでできる三角形の重心Gの画像上の位置を算出する。重心算出部12は、他の血管像P2,P3……についても重心Gを算出する。このように、重心算出部12は、血管像上で探索された各特徴点にとっての重心(各特徴点を結んでできる図形の重心)である重心点の位置を一連の血管像P1,P2,P3……ごとに求める。
<ベクトル群算出部13>
特徴点探索部11が探索した特徴点a,b,cの位置情報および重心算出部12が算出した重心Gの位置情報は、ベクトル群算出部13に送出される。ベクトル群算出部13は、図7に示すように、血管像P1で発見された特徴点a1,b1,c1とこれらにとっての重心G1を用いて3つのベクトルからなるベクトル群を生成する。1つ目のベクトルは重心G1を始点とし、特徴点a1を終点とするベクトルG1a1である。2つ目のベクトルは重心G1を始点とし、特徴点b1を終点とするベクトルG1b1である。3つ目のベクトルは重心G1を始点とし、特徴点c1を終点とするベクトルG1c1である。これらを合わせたのが血管像P1についてのベクトル群である。このベクトル群は、重心G1を基準とした各特徴点の位置を相対的に表したものとなっている。ベクトル群算出部13は、同様の動作を他の血管像P2,P3……にも行い、他の血管像P2,P3……についてのベクトル群も算出する。算出されたベクトル群は図示しない記憶部で記憶される。このように、ベクトル群算出部13は、血管像上の重心点を基準に特徴点の位置と方向を示すベクトルの算出を各特徴点について行うことで実現されるベクトル群の算出を一連の血管像ごとに行う。
<<カテーテルによる冠動脈の施術中に行う動作>>
これより、カテーテルによる冠動脈の施術中に行う動作について説明する。
<透視像動画取得部20>
X線撮影装置で生成された透視像動画は、透視像動画取得部20に入力される。透視像動画取得部20は、複数の血管像を取得した後に、被検体を撮影することで得られた透視像動画を取得する構成であり、本発明の現在画像取得手段に相当する。
<特徴点探索部21>
透視像動画は、逐次的に特徴点探索部21に送出される。透視像動画は、説明の便宜上、X線撮影装置の全視野のうち、心臓の周辺部に位置づけられるとともに、血管像撮影のときと共通の固定枠内の動画であるものとする。特徴点探索部21は、透視像動画を構成する各フレームの一番新しく生成された最新フレームLについて動作する。特徴点探索部21は、上述の特徴点探索部11と同様の動作を行う。最新フレームLは、本発明の現在画像に相当する。最新フレームLは、被検体内に造影剤を導入しない状態で撮影された放射線画像である。
すなわち、特徴点探索部21は、透視像動画の最新フレームLについて画像解析を施し、特徴点を探索する。特徴点探索部21は、透視像動画の最新フレームLから互いに十分に離間した特徴点をやはり3つ見つける。特徴点探索部21は、これら見つかった特徴点をそれぞれ区別することができる。すなわち、特徴点探索部11の解析により血管像P1,P2,P3……から3つの特徴点a,b,cが見つかっている。したがって、透視像動画の最新フレームLのどの当たりに特徴点a,b,cが現れるか見当を付けることができる。特徴点探索部21は、この様な原理に基づいて、血管像P1で見つかった特徴点a,b,cが透視像動画の最新フレームLのどこに位置するかを区別することができる。このように、特徴点探索部21は、一連の血管像上で探索された各特徴点に相当する特徴点の各々を動画の1フレーム上で探索する。
<重心算出部22>
特徴点探索部21が探索した特徴点a,b,cの位置情報は、重心算出部22に送出される。重心算出部22は、透視像動画の最新フレームLで発見された特徴点a,b,cを結んでできる三角形の重心Gの画像上の位置を算出する。このように、重心算出部22は、上述の重心算出部12と同様の動作を行う。このように、重心算出部22は、フレーム上で探索された各特徴点にとっての重心(各特徴点を結んでできる図形の重心)である重心点の位置を求める。
<ベクトル群算出部23>
特徴点探索部21が探索した特徴点a,b,cの位置情報および重心算出部22が算出した重心Gの位置情報は、ベクトル群算出部23に送出される。ベクトル群算出部23は、血管像P1で発見された特徴点a,b,cとこれらにとっての重心Gを用いて3つのベクトルからなるベクトル群を生成する。1つ目のベクトルは重心Gを始点とし、特徴点aを終点とするベクトルGaである。2つ目のベクトルは重心Gを始点とし、特徴点aを終点とするベクトルGbである。3つ目のベクトルは重心Gを始点とし、特徴点cを終点とするベクトルGcである。これらを合わせたのが血管像P1についてのベクトル群である。このベクトル群は、重心Gを基準とした各特徴点の位置を相対的に表したものとなっている。このように、ベクトル群算出部23は、上述のベクトル群算出部13と同様の動作を行う。
図8は、上述の特徴点探索部21,重心算出部22,ベクトル群算出部23の動作を図示したものとなっている。なお、これまでは、血管像をソースとして行った処理を最新フレームLで繰り返すという動作だったが、ここからは、カテーテルによる冠動脈の施術中でしか行われない動作となる。このように、ベクトル群算出部23は、フレーム上の重心点を基準に特徴点の位置と方向を示すベクトルの算出を各特徴点について行うことで実現されるベクトル群を算出する。
<選出部31>
ベクトル群算出部23が算出した透視像動画の最新フレームLに係るベクトル群は、選出部31に送出される。選出部31は、図9に示すように図示しない記憶部に記憶されている血管像P1,P2,P3……に対応する各ベクトル群の中から最新フレームLに係るベクトル群に最も近いものを選出する。選出方法としては、具体的には、最新フレームLに係るベクトル群と血管像P1に係るベクトル群の類似度Kを算出し、以降、同じ動作を他の血管像P2,P3……に係るベクトル群についても行い、類似度Kの最も高いベクトル群を選出するというものである。このように、選出部31は、一連の血管像に係るベクトル群の中からフレームに係るベクトル群に最も類似したベクトル群を選出する。
血管像P1についての類似度K1は、例えば次のように算出できる。
Figure 0006540477
なお、選出部31は、図9に示すように、血管像P2に対応するベクトル群を選出したものとして以降の説明を行う。
<画像重畳部32>
選出部31により選出されたベクトル群はどの血管像に対応するのかを示す情報は、画像重畳部32に送出される。画像重畳部32は、図10に示すように、選出部31により選出されたベクトル群に対応する血管像P2を透視像動画の最新フレームLに重畳させる画像処理を実行する。この際、血管像P2の重心G2を最新フレームLの重心Gに平行移動して位置を合わせた上で最新フレームLに重畳させる。これで図1において説明した血管像の重畳動作が完了したことになる。このように、画像重畳部32は、選出されたベクトル群に係る血管像をフレームに重畳させる。
各部11,12,13,21,22,23,31,32は、画像処理装置が有するCPUが各種プログラムを実行することで実現される。また、これらの各部は、これらを担当する演算装置に分割されて実行してもよい。
<本発明の効果>
図11は、本発明の効果について説明している。いま血管像Pnと最新フレームLがあったとする。血管像Pnと最新フレームLには、心臓が最も拡大したときに撮影されたものである。したがって、本来ならば画像重畳部32により互いに重ねられるはずである。しかし、フレームに写り込む3つの特徴点を見比べるとそう簡単でないことが分かる。一方のフレームに写り込む像は、もう一方には上下左右に平行移動させたような関係となっているからである。この様な現象が起こるのは、被検体が呼吸しているからである。被検体が呼吸すると、全体が上下左右(特に上下)にスクロールするような像の変動が生じるのである。こうして、血管像Pnと最新フレームLとの間で特徴点の位置がずれてしまっている。であるにも関わらず、これらを一致しているものと判定するように画像処理装置に動作させるのは困難のように思われる。
しかし、本発明によれば、この平行移動の影響を受けずに正しく特徴点の一致の判定を行うことができるのでこの事情について説明する。像が平行移動したということは、特徴点が一挙に一方向に移動したということである。3つの特徴点a,b,cにとっての重心Gもこの移動に伴って移動する。したがって、画像上において特徴点がどのように平行移動しようとも、同じベクトル群が算出されるわけである。ベクトル群は、重心を基準とした各特徴点の相対的な位置関係を意味するからである。本発明の構成によれば、最新フレームLに対応する血管像の選出は、ベクトル群の類似性を基準に行われるから、血管像の選出に平行移動の影響が加味される余地はないのである。
以上のように、本発明によれば、正確に血管像を透視像に重畳することができる画像処理装置を提供することができる。すなわち、本発明によれば、透視像のフレーム上で探索された各特徴点にとっての重心である重心点を基準に各特徴点の位置と方向を示すベクトル群を算出し、一連の画像に係るベクトル群と比較することでフレームの重ね合わせに適切な画像を一連の画像から選出する構成となっている。このベクトル群は、被検体の呼吸により像が平行移動しても変化しない特性を持っている。したがって、本発明によれば、正確に血管像を透視像に重畳することができる。
続いて、実施例2に係る画像処理装置について説明する。この画像処理装置が行う処理は、大まかには実施例1と同様で図1で説明した通りである。実施例1に係る装置と実施例2に係る装置は構成もよく似ている。図12は、実施例2に係る装置の構成を示す機能ブロック図である。図12は実施例1に係る図4によく似ているが、特徴点探索部11、21によって特徴点が探索された後に、区画画像取得部15,25、パターン認識部26を備えることが異なる。パターン認識部15とパターン認識部25とは、説明の便宜上異なるものとして説明しているが、同じ構成で実現できる。
本実施例の画像処理装置は、多くの特徴点を含む画像を想定している。図13は、この様な多くの特徴点を含む血管像P1,P2,P3……に対する特徴点探索部11の動作を説明している。この場合の特徴点探索部11は、まずは、血管像P1から多くの特徴点を発見する。そして特徴点探索部11は、血管像P2についても特徴点の探索を行い、数多くの特徴点が見つかる。
特徴点探索部11が探索した特徴点の位置を示す情報は、区画画像取得部15に送出される。区画画像取得部15は、図14に示すように血管像P1上における特徴点を中心とする矩形の区画を定め、その区画の内部の画素値パターンを抽出する(以下区画画像という)。図14の血管像P1には、6つの特徴点pa,pb,pc,pd,pe,pfがあり、これら特徴点に対応する区画画像の画素値パターンは互いに異なっている。これらの特徴点には、互いに異なる構造体が映し出されているからである。
一方、区画画像取得部25も、図15に示すように最新フレームL上における特徴点を中心とする区画画像を抽出する。ちなみに、区画画像取得部25が定める区画は、区画画像取得部15が定める区画と同じ大きさをしており同じ形状をしている。図15に示すように、最新フレームLにも、特徴点探索部21により発見された6つの特徴点pa,pb,pc,pd,pe,pfがあり、これら特徴点に対応する区画画像における画素値パターンは互いに異なっている。
ここで、血管像P1上における各特徴点と、最新フレームL上における各特徴点とは位置が異なっている。ただし、各特徴点には、同一の構造体が描出されているため、周期性動作に伴う歪があるものの、画像パターンが共通しているはずである。そこでパターン認識部26は、最新フレームLにおけるpaに対応する区画画像と、血管像P1における各特徴点に対応する区画画像との類似度を算出することにより、血管像P1におけるどの特徴点がpaであるかを特定する。
本実施例によれば、図16,図17に示すように、パターン認識部26により、血管像P1および最新フレームLで見つかった特徴点paが、血管像P1における6つの特徴点のどれなのかを言い当てることができる。この様な事情は、他の特徴点pb〜pfについても同じである。
特徴点は、例え数が多くても、安定的に存在しているので、血管像P1,P2,P3……に6つの特徴点が見つかれば、最新フレームLにも特徴点は6つ見つかる。これらフレーム上で見つかった6つの特徴点のうちどれかは血管像P1で見つかった特徴点paである。本実施例によれば、パターン認識部25により、最新フレームLで見つかった6つの特徴点のうちどれが特徴点paなのかを言い当てることができる。この様な事情は、他の特徴点についても同じである。
なお、実施例1同様に、一連の血管像P1,P2,P3……について画像解析を施し、特徴点を探索した後、血管像P1,P2,P3間における特徴点の対応付けを、区画画像によって行ってもよい。
本発明は、上述の実施例に限られず、下記のような変形実施が可能である。
(1)本発明に係る画像処理装置は、放射線撮影装置に搭載することができる。
(2)実施例1における特徴点探索部11,21は、3点の特徴点を探索したが本発明はこの構成に限られない。特徴点探索部11,21が4点以上の特徴点を探索するように構成してもよい。この構成の場合、特徴点探索部11,21より下流の動作を行う各部も4点以上の特徴点に基づいて動作することになる。
(3)実施例1においては、透視像動画を構成する各フレームのうち一番新しく生成された最新フレームLについて動作していたが、本発明はこの構成に限られない。透視像動画を構成する他のフレームについて動作するようにしてもよい。
(4)実施例2における重心算出部12,22は、3点の特徴点を探索したが本発明はこの構成に限られない。重心算出部12,22が4点以上の特徴点を探索するように構成してもよい。この構成の場合、重心算出部12,22より下流の動作を行う各部も4点以上の特徴点に基づいて動作することになる。
(5)実施例2のパターン認識部15,25が用いる区画は、矩形をしており、特徴点が中心に位置していたが、本発明はこの構成に限られない。特徴点が区画の中心になくてもよいし、区画が矩形をしていなくてもよい。
(6)上述の選出部31は、ベクトル群に基づいて血管像の選出を行っていたが、本発明はこの構成に限られない。すなわち、選出部31は、血管像のそれぞれにおける各特徴点a,b,cの周辺の区画画像と、最新フレームにおける特徴点a,b,cの周辺領域の区画画像との類似度を算出することにより各血管像と最新フレームLの類似度を算出する構成としてもよい。実施例1,実施例2における血管像の選出は、図9で説明したようなベクトル群の比較によって行われる。一方、本変形例の構成によれば、最新フレームLの特徴点aに係る区画画像と、血管像P1上の特徴点aに係る区画画像との類似性を判断して評価値を算出する。選出部31は、この動作を他の特徴点b,cについても行い、特徴点a,b,cに係る評価値を加味して血管像P1全体についての類似度を算出する。選出部31は、この動作を他の血管像P2,P3……についても行い、全ての血管像に対して類似度を算出する。続いて、選出部31は、これら類似度に基づいて血管像P1,P2,P3……のうち、どの血管像が最も最新フレームLに近いのかを判断して、最も近い血管像を選出する。
対応する特徴点を示す構造物の周辺には、同じ構造物が写り込んでいるものの、周期的動作によってその構造物の画像に歪が生じる。従って、同一の構造物の画像でも、各画像には位相により歪み方が異なっている。また、被写体によって、特徴点と共に移動する構造体と、周期的動作によって移動しない構造体とが重畳して特徴点の周囲の区画画像に写り込む場合は、周期的動作によって移動しない構造体の重畳の仕方が異なる場合もありうる。従って、血管像上の特徴点a,b,cの位置は、図6のような理想通りとならない可能性もある。したがって、特徴点a,b,cの位置情報に基づいて血管像の選出を行う実施例1の構成に比べ、特徴点a,b,cの周囲の情報も含めて血管像の選出を行うようにすれば、より精度良く位相を推定することが可能となる。
(7)本発明の過去画像取得手段は、周期性動作を伴う構造体を含む被検体を少なくとも周期性動作の2周期分以上に亘って撮影することで得られた複数の過去画像を取得する構成とすることもできる。この場合の画像重畳部32は、特定された位相と同位相の複数の過去画像から選択した画像と、前記現在画像とを重畳することになる。
11 特徴点探索部(画像上探索手段)
12 重心算出部(画像上重心算出手段)
13 ベクトル群算出部(画像上ベクトル群算出手段)
21 特徴点探索部(フレーム上探索手段)
22 重心算出部(フレーム上重心算出手段)
23 ベクトル群算出部(フレーム上ベクトル群算出手段)
31 選出部(選出手段)
32 画像重畳部(画像重畳手段)

Claims (11)

  1. 周期性動作を伴う構造体を含む被検体を少なくとも前記周期性動作の1周期分に亘って撮影することで得られた複数の過去画像を取得する過去画像取得手段と、
    前記複数の過去画像を取得した後に、前記被検体を撮影することで得られた現在画像を取得する現在画像取得手段と、
    前記複数の過去画像及び前記現在画像のそれぞれについて、複数の特徴点を探索する画像上特徴点探索手段と、
    前記現在画像における各特徴点と、前記過去画像のそれぞれにおける前記各特徴点とを対応付ける対応付け決定手段と、
    前記現在画像と前記各過去画像とにおける前記対応付けられた複数の特徴点の類似度である第1類似度をそれぞれ算出して、前記現在画像が、前記複数の過去画像のいずれに対応するかを特定することにより、前記現在画像が、前記周期性動作のいずれの位相に位置するかを推定する位相特定手段とを有し、
    前記過去画像は、前記被検体内に造影剤を導入した状態で撮影された放射線画像を含み、
    前記現在画像は、前記被検体内に造影剤を導入しない状態で撮影された放射線画像であって、
    前記画像上特徴点探索手段は、前記過去画像中の造影剤の陰影が位置する部分を避けた領域を探索することを特徴とする、画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記画像上特徴点探索手段は、対象となる画像よりも前の画像との差分画像において前記複数の特徴点を探索することを特徴とする、画像処理装置。
  3. 請求項1から請求項のいずれかに記載の画像処理装置において、
    前記対応付け決定手段は、前記過去画像のそれぞれにおける各特徴点の周辺の区画画像と、前記現在画像における各特徴点の周辺領域の区画画像との類似度である第2類似度に基づいて、対応付けを決定することを特徴とする、画像処理装置。
  4. 周期性動作を伴う構造体を含む被検体を少なくとも前記周期性動作の1周期分に亘って撮影することで得られた複数の過去画像を取得する過去画像取得手段と、
    前記複数の過去画像を取得した後に、前記被検体を撮影することで得られた現在画像を取得する現在画像取得手段と、
    前記複数の過去画像及び前記現在画像のそれぞれについて、複数の特徴点を探索する画像上特徴点探索手段と、
    前記現在画像における各特徴点と、前記過去画像のそれぞれにおける前記各特徴点とを対応付ける対応付け決定手段と、
    前記現在画像と前記各過去画像とにおける前記対応付けられた複数の特徴点の類似度をそれぞれ算出して、前記現在画像が、前記複数の過去画像のいずれに対応するかを特定することにより、前記現在画像が、前記周期性動作のいずれの位相に位置するかを推定する位相特定手段とを有し、
    前記対応付け決定手段は、直前に撮影された前記過去画像における各特徴点を基準として、その近傍の特徴点を対応する特徴点と決定することを特徴とする、画像処理装置。
  5. 請求項1から請求項のいずれかに記載の画像処理装置において、
    前記位相特定手段は、前記過去画像中における各特徴点の相対的な位置関係と、前記現在画像中における各特徴点の相対的な位置関係とを比較することにより前記第1類似度を算出することを特徴とする、画像処理装置。
  6. 請求項に記載の画像処理装置において、
    各特徴点の相対的な位置関係は、各特徴点の重心位置からの相対距離であることを特徴とする、画像処理装置。
  7. 請求項に記載の画像処理装置において、
    各特徴点の相対的な位置関係は、各特徴点の重心位置から各特徴点へのベクトルであることを特徴とする、画像処理装置。
  8. 請求項1から請求項のいずれかに記載の画像処理装置において、
    前記位相特定手段は、前記第2類似度を前記第1類似度として算出することを特徴とする、画像処理装置。
  9. 請求項1から請求項の何れかに記載の画像処理装置であって、
    推定された位相に対応する前記過去画像と、前記現在画像とを重畳した画像を生成する画像重畳手段を更に有することを特徴とする、画像処理装置。
  10. 請求項1から請求項の何れかに記載の画像処理装置であって、
    過去画像取得手段は、周期性動作を伴う構造体を含む被検体を少なくとも前記周期性動作の2周期分以上に亘って撮影することで得られた複数の過去画像を取得するとともに、前記特定された位相と同位相の複数の過去画像から選択した画像と、前記現在画像とを重畳する画像重畳手段を更に有することを特徴とする、画像処理装置。
  11. 請求項1から請求項8の何れかに記載の画像処理装置を備えることを特徴とする放射線撮影装置。
JP2015232474A 2015-11-27 2015-11-27 画像処理装置および放射線撮影装置 Active JP6540477B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015232474A JP6540477B2 (ja) 2015-11-27 2015-11-27 画像処理装置および放射線撮影装置
US15/361,132 US10052075B2 (en) 2015-11-27 2016-11-25 Image processing apparatus and radiation imaging apparatus
CN201611050750.5A CN107049343B (zh) 2015-11-27 2016-11-25 图像处理装置以及放射线摄影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015232474A JP6540477B2 (ja) 2015-11-27 2015-11-27 画像処理装置および放射線撮影装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019102651A Division JP2019171105A (ja) 2019-05-31 2019-05-31 画像処理装置および放射線撮影装置

Publications (2)

Publication Number Publication Date
JP2017094006A JP2017094006A (ja) 2017-06-01
JP6540477B2 true JP6540477B2 (ja) 2019-07-10

Family

ID=58777241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232474A Active JP6540477B2 (ja) 2015-11-27 2015-11-27 画像処理装置および放射線撮影装置

Country Status (3)

Country Link
US (1) US10052075B2 (ja)
JP (1) JP6540477B2 (ja)
CN (1) CN107049343B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6841147B2 (ja) 2017-04-25 2021-03-10 株式会社島津製作所 X線撮影装置およびx線画像表示方法
JP6981940B2 (ja) * 2018-08-29 2021-12-17 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
JP7169894B2 (ja) * 2019-02-01 2022-11-11 日産自動車株式会社 画像処理方法、画像処理装置及び物体認識方法
JP7353686B2 (ja) * 2020-08-05 2023-10-02 国立大学法人大阪大学 周期画像復元装置及び方法、識別装置及び方法、検証装置及び方法、特徴抽出装置、訓練方法、位相推定装置、並びに記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004008304A (ja) * 2002-06-04 2004-01-15 Hitachi Ltd 複数方向の投影映像を用いた3次元形状の生成方法および表示方法
DE10247299A1 (de) * 2002-10-10 2004-04-22 Philips Intellectual Property & Standards Gmbh Bildverarbeitungseinheit und Verfahren für die Zuordnung von gespeicherten zu aktuellen Aufnahmen
DE602004028588D1 (de) * 2003-03-14 2010-09-23 Philips Intellectual Property Bewegungskorrigiertes dreidimensionales volumenabbildungsverfahren
JP5121173B2 (ja) * 2006-06-29 2013-01-16 株式会社東芝 3次元画像生成装置
EP2132705B1 (en) * 2007-03-02 2015-07-15 Koninklijke Philips N.V. Cardiac roadmapping
US8542900B2 (en) * 2007-03-08 2013-09-24 Sync-Rx Ltd. Automatic reduction of interfering elements from an image stream of a moving organ
US11197651B2 (en) * 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
WO2009007910A2 (en) * 2007-07-11 2009-01-15 Philips Intellectual Property & Standards Gmbh Method for acquiring 3-dimensional images of coronary vessels, particularly of coronary veins
US8317705B2 (en) * 2008-12-10 2012-11-27 Tomtec Imaging Systems Gmbh Method for generating a motion-corrected 3D image of a cyclically moving object
JP5498070B2 (ja) * 2009-07-13 2014-05-21 株式会社東芝 X線診断装置
WO2012107857A1 (en) * 2011-02-07 2012-08-16 Koninklijke Philips Electronics N.V. Medical imaging device for providing an image representation supporting the accurate positioning of an invention device in vessel intervention procedures
WO2012153262A1 (en) * 2011-05-12 2012-11-15 Koninklijke Philips Electronics N.V. List mode dynamic image reconstruction
JP2014079312A (ja) 2012-10-15 2014-05-08 Konica Minolta Inc 画像処理装置及びプログラム
EP2757528B1 (en) * 2013-01-22 2015-06-24 Pie Medical Imaging BV Method and apparatus for tracking objects in a target area of a moving organ
US10062411B2 (en) * 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components

Also Published As

Publication number Publication date
CN107049343A (zh) 2017-08-18
JP2017094006A (ja) 2017-06-01
CN107049343B (zh) 2020-08-07
US10052075B2 (en) 2018-08-21
US20170154416A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
JP5242144B2 (ja) 3次元画像処理装置
JP6512338B2 (ja) 画像処理装置及びプログラム
JP6173751B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
US8625865B2 (en) Method and apparatus for navigating a therapeutic device to a location
US8233688B2 (en) Method of detection and compensation for respiratory motion in radiography cardiac images synchronized with an electrocardiogram signal
US20140347353A1 (en) Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
JP6217241B2 (ja) 胸部診断支援システム
JP6005072B2 (ja) 血管インターベンションプロシージャにおいてインターベンション装置の正確な誘導を支援する画像表示を提供する画像診断システム及び方法
JP6958202B2 (ja) 動態画像処理装置及びプログラム
JP2014140742A (ja) 動いている器官の目標エリア内のオブジェクトを追跡するための方法および装置
JP6540477B2 (ja) 画像処理装置および放射線撮影装置
CN107787203B (zh) 图像配准
JP2007167656A (ja) 対象の運動の解析方法および断層撮影装置
JP2011115562A (ja) X線撮影装置
US8126113B2 (en) X-ray diagnosis apparatus
US11481957B2 (en) Medical image processing apparatus and storage medium
JP6472606B2 (ja) X線診断装置
JP7294378B2 (ja) 画像処理装置および放射線撮影装置
JP2006153867A (ja) 生体臓器の運動解析装置及び方法
JP2001148005A (ja) 動いている対象物の三次元画像を再構成する方法
US20090310842A1 (en) Model-based determination of the contraction status of a periodically contracting object
JP6344902B2 (ja) 画像処理装置及びその作動方法、撮影装置及びその作動方法、撮影システム、並びにコンピュータプログラム
JP5910646B2 (ja) 放射線画像撮影システム
JP2006153868A (ja) 診断支援装置
JP4567395B2 (ja) 血管撮影画像処理装置及び血管撮影画像処理方法及び血管撮影画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190527

R151 Written notification of patent or utility model registration

Ref document number: 6540477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151