[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6388632B2 - プロセッサ装置の作動方法 - Google Patents

プロセッサ装置の作動方法 Download PDF

Info

Publication number
JP6388632B2
JP6388632B2 JP2016500031A JP2016500031A JP6388632B2 JP 6388632 B2 JP6388632 B2 JP 6388632B2 JP 2016500031 A JP2016500031 A JP 2016500031A JP 2016500031 A JP2016500031 A JP 2016500031A JP 6388632 B2 JP6388632 B2 JP 6388632B2
Authority
JP
Japan
Prior art keywords
angiographic
data
image data
blood vessel
oct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016500031A
Other languages
English (en)
Other versions
JP2016516466A (ja
Inventor
ダスカル,ロリーナ
ウィンクラー,イタイ
コーエン,スタヴィット
コーエン,アミット
アドラー,デスモンド
Original Assignee
ライトラボ・イメージング・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライトラボ・イメージング・インコーポレーテッド filed Critical ライトラボ・イメージング・インコーポレーテッド
Publication of JP2016516466A publication Critical patent/JP2016516466A/ja
Application granted granted Critical
Publication of JP6388632B2 publication Critical patent/JP6388632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735Optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966Radiopaque markers visible in an X-ray image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

部分的に、本発明は概して血管系及び末梢血管系の撮像及びデータ収集の分野に関する。
介入を行う心臓専門医は、療法の計画、指導及び評価の為にカテーテル挿入処置中に様々な診断ツールを採用する。蛍光透視法は、概して血管の血管造影撮像を実行する為に使用される。そして係る血管撮像は、バイパス手術又はステント留置等の介入の間に血管疾患を診断し、位置を突き止め、治療する為に医師によって使用される。光コヒーレンストモグラフィ(OCT)等の血管内撮像技術、血管内超音波法(IVUS)等の音響技術及びその他の技術もまた、所定の被験者の血管の状態に関する高解像度データを入手する為に蛍光透視法の代わりに又は蛍光透視法と組み合わせて使用できる、貴重なツールである。
冠血流予備量比(FFR)も、撮像及び血管造影中に血管を評価する為に使用できる。血管内OCT、IVUS及びFFRは、内部血管から又は目的の標本に関してそれぞれ光学データ、超音波データ及び圧力データを収集する侵襲性のカテーテルベースのシステムである。血管造影法は、X線不透過性造影液の注入中に身体の外部からデータを収集する非侵襲性のX線撮像方法である。
血管内光コヒーレンストモグラフィは、光を使用して冠動脈の壁の中を覗き込み、研究の為にその画像を生成するカテーテルベースの撮像モダリティである。OCTは、コヒーレント光、干渉分光法及びマイクロオプティックスを活用して、疾患を有する血管内のビデオレートの生体内トモグラフィを、マイクロメートルレベルの解像度で提供できる。光ファイバプローブを使用して高解像度で表面下の構造を見ることにより、OCTは内部組織及び器官の低侵襲性撮像にとって特と有用になる。OCTを用いて可能となったこのような詳細レベルにより、臨床医は、冠動脈疾患の進行を監視するだけではなく診断できるようになる。
上述の多様な技術の複雑さ、及びそれに関連する各技術が生成するデータセットの複雑さを考慮すると、OCT及び血管造影法等の2つの画像をベースにした技術間でコレジストレーション(co−registration)を実行するには多大な時間を要する。従って、血管内データ及び血管造影画像データのリアルタイムのコレジストレーションに関して課題が残されている。幾つかのコレジストレーション技法はユーザとの対話に大きく依存している。残念なことに、画像内の対応する点を手作業で一致させる必要、アルゴリズムがコレジストレーションを返すための長い待機期間、及び最終的な結果の検証等の、コレジストレーション中の重要なユーザとの対話によって、オペレータに重い負担がかかることにより、係る手法は多くの臨床上のシナリオにおいて実現困難となっている。更に、他の手法は、非同期のつまりサードパーティによって制御されるソースからのデータを使用しており、これにより時間調整が不規則となる。更に、染料等の造影剤は、他の非侵襲性の撮像モダリティと干渉する幾つかの血管内撮像モダリティと共に使用されるため、係るモダリティ間のコレジストレーションと干渉する撮像アーチファクト及び誤差が生じることがある。
従って血管内撮像及び血管造影撮像に関係する、上で確認した課題の1つ又は複数に対処する必要が存在する。本発明の実施形態はこれらの課題及び他の課題に対処する。
本発明の一実施形態は、血管造影法及びOTC等の2つの撮像モダリティ間の位置合わせの為の方法に関する。本発明の一実施形態は、血管造影画像とOCT画像との間のコレジストレーションを実行する為の1つ又は複数の方法に関する。
本発明の一実施形態は、染料等の造影剤を用いずに、及び造影剤を用いてフレーム上で静止したマーカバンドの検出を実行する為の方法に関する。更に、本発明の一実施形態は、係るマーカバンドが以後の引き戻しフレームで追跡されるような、係るマーカバンドが血管の内腔を通って移動する際の係るマーカバンドの追跡を提供し、これは造影剤のないフレームから造影剤のあるフレームへの追跡を含む。
一実施形態では、血管造影画像フレームの約20フレーム〜100フレームと、OCT画像フレームの約100フレーム〜約1500フレームとの間の位置合わせの為の期間は、約2秒〜約30秒に及ぶ。一実施形態では、血管造影画像データとOCT引き戻し中に得られるOCT画像データとの位置合わせは、約10秒未満で重ね合わせ登録される(co−registered)。一実施形態では、データ収集プローブの引き戻しは約4秒〜約10秒に及ぶ。一実施形態では、血管造影法のフレームはフレームグラバを使用してリアルタイムで得られる。血管造影データのフレームは、引き戻しの結果として得られるOCT画像データフレームと同期して捕捉される。
一実施形態では、コレジストレーション方法は、引き戻しの撮像中に得られる画像データのOCTフレームを、係る引き戻し中に得られる血管造影データのフレームと、約3秒〜約5秒の位置合わせ期間内に重ね合わせ登録する。
一実施形態では、本発明は、フレームグラバ、血管を通るマーカを有するデータ収集プローブの引き戻し中に撮像を実行し、血管に関してタイムスタンプ付きのOCT画像データを生成するよう構成される、OCTシステム、1つ又は複数のコンピューティングデバイス、及びユーザインタフェースを含む画像データ処理システムに関し、上記フレームグラバは血管に関して血管造影画像データのタイムスタンプ付きのフレームを得るよう構成される。
一実施形態では、血管造影画像データのビデオキャプチャはOCTシステムで発生する。一実施形態では、ユーザは血管造影画像上でマーカバンドを手動で指定する。一実施形態では、指定されたマーカバンドは造影剤を用いることなく血管造影画像上に表れる。一実施形態では、ユーザインタフェースは、長手方向OCT画像パネル、断面OCT画像パネル、1つ又は複数のコントロール、及び血管造影画像パネルを含む。一実施形態では、ユーザインタフェースは、コンピューティングデバイスに、OCT画像データ及び血管造影画像データを重ね合わせ登録するよう構成された1つ又は複数のソフトウェアモジュールを実行させる、レジスタコントロールつまりボタンを含む。一実施形態では、タイムスタンプは、血管造影フレームとその対応するOCTフレームとの間の一次一致を与える為に使用され、これによりOCTフレーム毎に、最も近い血管造影フレームの位置を突き止めることができ、逆の場合も同様である。更に、引き戻し開始及び停止等のタイムスタンプ付きのイベントも、コレジストレーションプロセスを支援する為に記録される。
一実施形態では、血管造影画像上のカーソル又は他の識別子は、選択されたOCT引き戻しフレームと一致するOCTカテーテル基準マーカの場所を示す。一実施形態では、カーソル又は他の識別子は、MLAがその中で計算された、ユーザによって選択される近位基準フレーム及び遠位基準フレームを示すこともでき、血管の平均直径を示すこともできる。重ね合わせ登録されたOCT及び血管造影画像のスクロールは、OCT Lモード、つまりリモートコントローラとして又はユーザインタフェースの一部としての血管造影フレーム上のカーソルを介して制御できる。
一実施形態では、コンボルーションマトリックス等のフィルタカーネルが、行及び列、並びに増感、鮮鋭化、パターン識別、検出、追跡及び他の画像処理タスクを実行する為の画像処理を実行するよう構成される要素を含むマトリックスとして実装される。フィルタカーネルは、血管造影画像データ又は他の画像データに対して画像処理を実行する為に多様な前処理段階及び他の処理段階で使用できる。
一実施形態では、本発明は、血管の血管造影表現及び血管内表現を表示するプロセッサベースの方法に関する。この方法は:光コヒーレンストモグラフィシステムを使用した血管の距離測定に応答して、血管に沿った複数の位置における複数の断面画像を含むOCT画像データのセットを生成すること;血管に沿った複数の位置での複数の二次元画像を含む、血管造影画像データのセットを生成すること;並びにタイムスタンプ、タイムスタンプ間の関係性、OCT画像内の特徴と血管造影画像内の特徴との一致、並びに血管の中心線の決定及び上記中心線を使用したOCT画像と血管造影画像との重ね合わせ登録のうちの1つ又は複数に基づいて血管造影画像及びOCT画像を重ね合わせ登録することを含む。
一つの側面において、本発明は、血管の血管造影表現及び血管内表現を表示する、プロセッサベースの方法に関する。この方法は:光コヒーレンストモグラフィシステムを使用した前記血管を通るプローブの引き戻し中に得られた前記血管の距離測定に応答して、光コヒーレンストモグラフィ画像データのセットを生成することであって、前記光コヒーレンストモグラフィ画像データのセットは前記血管に沿った複数の位置における複数の断面画像を含む、生成すること;前記光コヒーレンストモグラフィシステムを使用した前記血管を通る前記プローブの前記引き戻し中に、血管造影システムを用いて、血管造影画像データのセットを生成することであって、前記血管造影画像データのセットは、前記引き戻し中の異なる複数の時点において得られた複数の二次元画像を含む、生成すること;前記OCT画像データを用いて生成された前記血管の第1の長手方向ビューを含む第1のパネルを表示すること;並びに前記血管を識別する前記血管造影画像データのフレームを含む第のパネルを、前記フレーム内の1つ又は複数の点及び前記1つ又は複数の点を通過する血管中心線を用いて、表示することを含む。
一実施形態では、本発明は、追跡されるマーカの連続的な位置合わせを生成するために、前記血管中心線を用いて前記OCT画像データと前記血管造影データとを重ね合わせ登録することを更に含み、前記追跡されるマーカは、OCTデータ収集プローブ上に配置される。一実施形態では、本発明は、ユーザインタフェースを通して前記血管中心線に沿った点を選択することにより、前記第1の長手方向ビューにおけるフレーム識別子が変更されるように、前記OCT画像データと前記血管造影データとを重ね合わせ登録することを更に含む。一実施形態では、本発明は、引き戻し速度又は引き戻し長さを用いて反復検索を実行することによって、前記追跡されるマーカに関する候補を、前記引き戻し長さ及び/又は前記引き戻し速度に基づいて前記マーカが取り得る位置に基づいて、排除することを更に含む。
一実施形態では、本発明は、前記血管中心線は、最短経路技術及びダイクストラアルゴリズムからの複数の処理ステップを用いて生成される。一実施形態では、本発明は、輝度プロファイルの重畳を用いて、前記血管造影データの1つ又は複数のフレームから、ガイドカテーテル画像を除去するステップを更に含む。一実施形態では、本発明は、前記血管中心線は、造影剤液の実質的な不在下において、1つ又は複数の血管造影フレームから生成された経路情報を用いて生成される。一実施形態では、本発明1は、前記血管造影データ及び前記光コヒーレンストモグラフィデータの検出、並びに前記血管造影データと前記光コヒーレンストモグラフィデータとの間の重ね合わせ登録それぞれに関する信頼スコアを生成することを更に含む。
一つの側面において、本発明は、血管内プローブマーカを検出する方法であって:造影剤を実質的に含まず前記血管内プローブマーカを含む、血管造影画像データの第1のフレームを得ること;前記血管内プローブマーカ付近の造影剤画像データを含む、前記血管造影画像データの第2のフレームを得ること;並びに前記第1のフレーム及び前記第2のフレームにおいて前記血管内プローブマーカを検出することを含む。
一実施形態では、本発明は、前記第2のフレーム内の特徴を除去又は修正するために、前記第2のフレームに画像処理変換を適用するステップ;及び複数のピクセルの輝度を上昇させるステップであって、前記複数のピクセルは、前記第2のフレーム内のガイドワイヤ画像を含む、上昇させるステップを更に含む。一実施形態では、本発明は、複数の画像に関する平均輝度値を生成して、前記第1の又は第2のフレームから前記平均輝度を減算するステップを更に含む。一実施形態では、本発明は、前記第2のフレームにボトムハット演算子を適用すること、及びモルフォロジクローズ演算を適用することを更に含む。
一実施形態では、本発明は、前記血管内プローブマーカを検出することは:マルチスケールLoG(Laplacian of Gaussian)演算子を前記第1のフレーム及び前記第2のフレームに適用することによって、前記第1のフレーム及び前記第2のフレームの画素を含む候補マーカをフィルタリングすること;並びに非最大抑制処理を実行して、画素の付近において極大値を有する小塊を識別することを含む。
一実施形態では、本発明は、バイナリ画像にユークリッド距離変換を適用し、ガイドワイヤベースのポテンシャルを生成するステップを更に含む。この方法は、ポテンシャルファンクションを計算するために、前記距離変換の負の分数冪に冪指数を適用することを含む。一実施形態では、この方法は、高速マーチング法を用いて、前記ガイドワイヤベースのポテンシャルに基づいて複数の測地的距離を決定することを更に含む。
一実施形態では、本発明は、前記第1のフレーム及び前記第2のフレームから陰影を除去すること;前記第1のフレーム又は前記第2のフレームのうちの一方のガイドワイヤのコントラストレベルを上昇させること;並びに各マーカ候補に関してモルフォロジカル画像再構成を実行することを更に含む。一実施形態では、本発明は、ヘシアンベースの血管質フィルタを用いて複数の引き戻しフレームを処理すること;及びテンプレートマッチングを用いて、前記第1のフレーム又は前記第2のフレームのうちの一方から、前記複数の引き戻しフレームを通って全ての前記引き戻しフレームまで、前記血管内プローブマーカを追跡することを更に含む。一実施形態では、本発明は、ビタビ動的プログラミング法を用いて、引き戻し中に得られた複数のフレームを通して、前記血管内プローブマーカを追跡することを更に含む。
一つの側面において、本発明は、血管造影画像データと、血管を通る引き戻し中に得られる血管内画像データとを重ね合わせ登録する、プロセッサベースの方法に関する。この方法は:光コヒーレンストモグラフィデータの複数のフレームをメモリに記憶すること;前記血管造影画像データの複数のフレームをメモリに記憶すること;1つ又は複数の陰影が実質的に削減されるように、前記血管造影画像データの前記複数のフレームを処理すること;前記血管造影画像データの前記複数のフレームにおいてカテーテルを検出すること;前記血管造影画像データの前記複数のフレーム内の検出された前記カテーテルを除去すること;前記血管造影画像データの前記複数のフレームに関して血管中心線を生成すること;前記血管造影画像データの前記複数のフレームにおいてプローブマーカを検出すること;1つ又は複数の前記血管中心線に沿って、前記プローブマーカの位置を追跡すること;及び前記血管造影画像データの前記複数のフレームと、前記光コヒーレンストモグラフィデータの前記複数のフレームとを、追跡された前記位置を用いて重ね合わせ登録することを含む。
一実施形態では、本発明は、前記血管造影画像データのあるフレームと前記光コヒーレンストモグラフィデータのあるフレームとの間の重ね合わせ登録における信頼のレベルを示すスコアを生成するステップを更に含む。一実施形態では、本発明は、前記検出されたカテーテルを除去するステップは、前記検出されたカテーテルの領域のサンプリングに基づいて生成された輝度プロファイルの重畳を用いて実行される。
一実施形態では、本発明は、前記血管造影画像データの前記複数のフレームと、前記光コヒーレンストモグラフィデータの前記複数のフレームとを重ね合わせ登録するステップは、コンピューティングデバイスを用いてコレジストレーションテーブルを生成することを含み、前記コレジストレーションテーブルは、血管造影画像フレーム、フレーム毎の複数のOCTタイムスタンプ、フレーム毎の複数の血管造影タイムスタンプ、及び光コヒーレンストモグラフィ画像フレームを含む。一実施形態では、本発明は、前記コレジストレーションテーブル及びコンピューティングデバイスを用いて、ユーザインタフェース内のOCT画像及び血管造影画像にステント表現を表示することを更に含む。
一実施形態では、本発明は、前記コレジストレーションテーブルと、側枝を表示するよう構成されたユーザインタフェースとを用いて、前記側枝を1つ又は複数の前記OCT画像及び前記血管造影画像において識別することを更に含む。一実施形態では、本発明は、前記コレジストレーションテーブルに基づいてOCTデータのフレームの間隔を設定することにより、引き戻し速度変化を調整し、前記間隔に基づいてユーザインタフェースに長手方向ビューを表示することを更に含む。
図は必ずしも原寸に比例しておらず、全体的に、例示のための方針を重視したものである。図は、あらゆる点で例示的なものと見なされるべきであり、本発明を制限することを目的としておらず、本発明の範囲は特許請求の範囲によってのみ定義される。
本発明の例示的実施形態による血管造影法及び血管内撮像及びデータ収集システムの概略図である。 被験者に関する目的の部位、及び本発明の例示的実施形態によるカテーテルベースのデータ収集プローブの特徴の概略図である。 本発明の例示的実施形態による、マーカを含むカテーテルベースのデータ収集プローブの概略図である。 図1のシステム並びに/又は本発明の例示的実施形態に従って本明細書で説明される方法及びソフトウェアモジュールによって生成されるデータ及び画像を制御する又は検討する為に適した、グラフィカルユーザインタフェースの画像を示す図である。 図1のシステム並びに/又は本発明の例示的実施形態に従って本明細書で説明される方法及びソフトウェアモジュールによって生成されるデータ及び画像を制御する又は検討する為に適した、別のグラフィカルユーザインタフェースの画像を示す図である。 乃至 本発明の例示的実施形態に従って画像データを処理及び使用する為に適した処理段階又は処理ステップを示す概略図である。 本発明の実施形態による幾つかの典型的な前処理ステップ又は前処理段階に関係するフローチャートである。 本発明の例示的実施形態による幾つかの典型的な血管中心線生成ステップ又は血管中心線生成段階に関係するフローチャートである。 本発明の例示的実施形態による幾つかの典型的なマーカ検出及びコレジストレーションステップ又は段階に関係するフローチャートである。 本発明の例示的実施形態によるプローブからのマーカとなる可能性がある血管造影画像中の小塊又は他のピクセル領域の画質を向上させるよう構成される典型的なボトムハットフィルタの図である。 本発明の例示的実施形態に従って図6Aからのフィルタの適用によって画質が向上した血管造影領域からのピクセルのサブセットに対応する典型的な小塊の図である。 本発明の例示的実施形態によるワイヤ検出の前の、造影剤を用いない元の血管造影画像の図である。 本発明の例示的実施形態による、造影剤を用いないフレーム上でのガイドワイヤ検出の結果を示す典型的な血管造影画像の図である。 本発明の例示的実施形態による、ボトムハット演算子の適用後のガイドワイヤ画質向上の結果を示す典型的な血管造影画像の図である。 本発明の例示的実施形態に従ってスケール値1を有するヘシアン演算子の適用後のガイドワイヤ画質向上の結果を示す典型的な血管造影画像の図である。 本発明の例示的実施形態による、高速マーチング法(FMM)プロセスとの使用に適した、ガイドワイヤに基づいて生成される典型的なポテンシャルの図である。 本発明の例示的実施形態による、FMMプロセスを使用して生成される距離マップの図である。 本発明の例示的実施形態による、カテーテル除去及び陰影除去の前の、造影剤を用いた元の血管造影画像の図である。 本発明の例示的実施形態による、カテーテル除去及び陰影除去の結果を示す典型的な血管造影画像の図である。 本発明の例示的実施形態による陰影除去の前の、造影剤を用いた元の血管造影画像の図である。 本発明の例示的実施形態によるカテーテル除去及び陰影除去の結果を示す典型的な血管造影画像の図である。 本発明の例示的実施形態によるガイドワイヤ検出の前の、造影剤を用いた元の血管造影画像の図である。 本発明の例示的実施形態による図6Vの元の画像に関するガイドワイヤ検出の結果を示す典型的な血管造影画像の図である。 乃至 本発明の例示的実施形態による血管造影画像データのフレームに基づいてグラフを生成する為の異なるソフトウェアベースの画像処理ステップの適用を示す図である。 乃至 本発明の例示的実施形態によるグラフ検索アルゴリズムに基づいて、図7Fで生成されたグラフを通して検出される、多様な最良の経路を示す図である。 乃至 本発明の例示的実施形態によるカテーテル検出及び除去に関係する多様な画像処理段階を示す図である。 乃至 カテーテルの典型的なモデル、及び本発明の例示的実施形態によるその輝度プロファイルへの、造影液の影響を示す図である。 乃至 本発明の例示的実施形態による、重畳ベースのカテーテル除去方法の使用の特徴を示す図である。 本発明の例示的実施形態による血管内画像データ及び血管造影画像データを処理する為に適した多様なソフトウェア及びハードウェア構成要素の概略図である。 乃至 本発明の例示的実施形態による、引き戻しの為の典型的なOCTデータテーブル及び血管造影データテーブルの概略図である。 本発明の例示的実施形態による引き戻しの為の典型的な血管造影データの概略図である。 本発明の例示的実施形態による典型的なコレジストレーションテーブルの概略図である。
以下の説明は、本発明の特定の実施形態を示す添付図面を参照している。他の実施形態も考えられ、また本発明の精神及び範囲から逸脱することなく、上記実施形態に対して修正を加えてよい。従って、以下の詳細な説明は、本発明を制限することを意図するものではなく、本発明の範囲は特許請求の範囲により定義される。
上述のように、血管造影法、OCT及びIVUSといった複数の撮像技術に関してコレジストレーションを実装することに関係する課題等、血管診断システム及び末梢血管診断システムに関係する課題が存在する。部分的には、本発明は、被験者からデータを収集し、これらの制限のうちの1つ又は複数の改善に役立てる為にカテーテル実験室又は他の施設で使用する為の、多様なシステム、多様なシステムの構成要素、及び方法に関する。収集されるデータは典型的には、患者の心臓血管系又は末梢血管系に関係し、画像データ、圧力データ、心拍数及び本明細書で説明されるような他のタイプのデータを含んでよい。
更に、一実施形態では、画像データは光コヒーレンストモグラフィプローブ及び他の関係するOCT構成要素を使用して収集される。一実施形態では、画像データはIVUSプローブ及び他の関係するIVUS構成要素を使用して収集される。更に、一実施形態では、圧力データはFFRプローブ及び他の関係するFFR構成要素を使用して収集される。更に一実施形態では、EKG、心拍数及び他の被験者データが電極及び他の関係する構成要素を使用して収集される。
更に、本発明の幾つかの実施形態は複数の撮像モダリティを扱うのに適している。従って、部分的には、本発明はOCT、IVUS、FFR及び血管造影法のうちの1つ又は複数を重ね合わせ登録するよう構成される、マルチモーダル診断システム及びマルチモーダル診断システムの構成要素に関する。OCTデータ及び画像処理結果は、血管造影法専用のソフトウェアモジュールに入力を提供することにより血管造影画像のフレームの処理を改善する為に使用できる。
また、IVUS撮像特徴は、一実施形態において血管造影データを収集することと併せて使用されるデータ収集プローブの中に組み込むこともできる。更に、FFR圧力測定も、適切な圧力トランスデューサ及びプローブを使用して実行できる。一実施形態では、FFRデータ収集プローブ又はトランスデューサは無線送信機を含むことができ、無線受信機を利用してFFRデータを受信し、FFRデータをサーバに通信できる。OCT画像及び/又はIVUS画像と血管造影画像との比較及びコレジストレーションは、システムを血管造影デバイス、又は血管造影データが記憶される病院データネットワークとインタフェース接続することによって達成される。
一実施形態では、臨床医等のユーザは、被験者の血管の上部から下部への長手方向断面、又は血管の長手方向軸に実質的に平行な断面の画像を表示する為の関連するユーザインタフェースを有するワークステーション又はサーバと対話する。コレジストレーションプロセスは、多様なステップ並びに画像処理及び特徴検出ソフトウェアモジュールを含んでよい。一実施形態では、ユーザ又はシステムが、血管造影画像の取得中に血管内撮像を起動する。血管内を撮像されている血管及び撮像カテーテルは、グラフィカルユーザインタフェースの一部として表示できる。血管の内腔の境界は、各血管内画像及び血管造影画像で識別及び関連付けでき、これにより、異なるビューで同じ血管セグメントを維持できる。
撮像カテーテルはガイドワイヤによって導入されるため、ガイドワイヤはアンカ経路として使用でき、また関連する撮像セグメント内でどのエンドポイントが遠位でありどのエンドポイントが近位であるのか等の方向情報を提供する為に使用できる。一実施形態では、ガイドカテーテルはガイドワイヤに沿って摺動して、1つ又は複数の撮像デバイスを有するプローブ先端を血管内に位置決めする。一実施形態では、血管造影画像データは、ガイドカテーテルの識別後にガイドカテーテルを画像から除去するように処理される。
一実施形態では、1つ又は複数のソフトウェアモジュールを使用して、血管造影データの所定のフレームの為の血管中心線を生成し、追跡する。一実施形態では、本明細書では中心線とも呼ばれる血管中心線は、血管造影データ収集中に導入される光センサ又は音響センサ又は他の撮像若しくはデータ収集センサに関連するマーカバンドの為の血管造影データのフレームの各候補サブセットの反復評価に基づいて生成されるモデル又はシミュレーションである。一実施形態では、ビタビアルゴリズムの1つ又は複数のステップを実装するソフトウェアモジュール等の動的プログラムソフトウェアモジュールを使用して、マーカバンドを追跡できる。一実施形態では、ビタビアルゴリズムは、X線不透過性のマーカ追跡の為に使用される。中心線の作成及び追跡は、通常、他のアルゴリズム又はアルゴリズムの組み合わせによって処理される。一実施形態では、血管中心線は、ヘシアン画像上の高速マーチングアルゴリズム及び修正されたダイクストラアルゴリズム等の、遠い2点間の最短経路を見つける為のアルゴリズム又はプロセスの組み合わせによって生成される。
図1は、データを収集する、又は被験者10の特徴を検出する、若しくは被験者10の状態を検出する、若しくは被験者10のその他の診断を行う為に適した多様なデータ収集サブシステムを含むシステム5を示す。一実施形態では、被験者は、テーブルベッドから椅子又は他の適切な支持物といった、適切な支持物12の上に配置される。被験者10は典型的には、特定の目的の部位25を有するヒト又は別の動物である。
部分的には、本発明の実施形態は、血管を横断する撮像カテーテルにより取得される血管内の画像又はデータと、カテーテルの横断時に撮影されるその血管の外部血管造影画像とのコレジストレーションに関する。目的の部位が拡大された一般的な概略図を図2Aに示す。
典型的なOCTデータ取得手順では、カテーテルはプローブを標的血管の遠位端へと前進させる為にガイドワイヤを通して挿入される。プローブ30は1つ又は複数のマーカを含むことができる。一実施形態では、プローブ30上に配置されるマーカはX線不透過性のマーカバンドである。光ファイバ33を部分的に取り囲むトルクワイヤ110も、図2Aに示す。プローブ30は、血管の内腔50に配置される。ガイドワイヤ115も内腔50内に示す。ガイドワイヤ115は、カテーテル内に配置されるプローブ先端及びトルクワイヤを内腔50に対して位置決めする為に使用される。プローブ先端からの光λは、内腔50を有する血管の壁に向けられた状態で示されている。
典型的な血管内データ収集プローブに関係する追加の詳細を、図2Bに示す。図2Bに示すように、OCT、IVUS、FFR又は他のデータ収集プローブ等の血管内データ収集プローブ120は、プローブ先端の一部として点線で示されているように光を向けるよう構成された、光ファイバ33を含む。ポリマーシース125等のシースが、レンズ又は反射体等のビーム指向要素を含むプローブ先端を取り囲む。点線に沿ってビーム指向デバイスを出射する光λが図示されている。光ファイバ33は、これもまたシース120内部に配置されるトルクワイヤ110に配置される。光ファイバ33は図示したようにPIU35に結合されている。
図2Bに示すように、X線不透過性マーカ等のマーカ又はマーカバンド130はデータ収集プローブ120の一部である。マーカは血管造影システムによって検出可能であり、血管造影データのフレームに亘るマーカの移動に従って追跡可能である。図示したように、トルクワイヤ127の右端からレンズ又は反射体等のビーム指向要素までの距離はL1である。
更に、トルクワイヤ127の右端からマーカ130の右端までの距離はL2である。マーカ130の厚さはL3である。(マーカの左側として示される)マーカ130の遠位端縁からトルクワイヤ127までの距離はL3+L2である。一実施形態では、L1は約0.3mm〜約0.9mmに及ぶ。一実施形態では、L2は約0.6mm〜約1.4mmである。一実施形態では、L3は約.5mm〜約1.5mmに及ぶ。
一実施形態では、OCTプローブ等のデータ収集プローブは、3つのX線不透過性マーカバンドを含むことができる。プローブの遠位端に位置する遠位マーカは、取得時全体を通して静止したままである。中央マーカは、引き戻し前の遠位マーカから27mmに常駐する撮像コアに位置する。近位マーカは撮像コアから50mmに位置し、この距離は引き戻し中固定されたままである。
引き戻し中、図1のシステム22等のプロセッサベースのシステムは、ライブアルゴリズムを記録し、血管を造影剤及びマーカ又はプローブと共に表示する。典型的には、マーカは殆どの時点において視認可能である。任意に、幾つかのフレームが、図6Cに示すように、造影剤を用いずに記録され、これによりガイドワイヤ及びマーカは明確に視認可能となる。これは、血管を通る引き戻し進路の良好な指示を提供する。
図3Aは、複数のパネルを表示するよう構成される典型的なグラフィカルユーザインタフェースを示す。グラフィカルユーザインタフェースは、サーバ50若しくはワークステーション87等のコンピューティングデバイス又は別の適切なコンピューティングデバイスを使用して実装できる。右上のパネルはフレーム血管造影画像データを示す。画像に示すように、上部点、即ちカーソル3と下部点つまりカーソル4との間に配置される血管のセクションが、引き戻しの一部として血管内撮像技術を使用して撮像された。具体的には、血管造影データは、OCT引き戻しの実行中に得られた。
動脈の典型的な断面を左上パネルに示す。左上のOCT画像では、データ収集プローブの断面の右側に側枝が示されている。実質的にユーザインタフェースにまたがる下部パネルは、点、つまりカーソル3、4によって血管造影画像中に示される遠位エンドポイントと近位エンドポイントとの間に配置される血管の長手方向画像を含む。拡大鏡アイコンは、OCT画像又は血管造影画像のどちらかにズームインする又はズームアウトする為に使用できる。鉛筆アイコンは、OCT画像又は血管造影画像のどちらかで測定を行う為に使用できる。データの血管造影フレームは、再生、レビュー又はフォワードビデオユーザインタフェース制御を使用することによって、右上パネルにおいてビデオとして再生できる。
左上OCT画像では、斜めの軸は、下部パネルで長手方向モードを表示する為に使用される切断面を示す。長手方向モードは、左上の四分円インタフェースに示されるような複数の断面図を結合することによって生成される。Lモードでは、三角形4’は目的のフレームのブックマークされた場所を示すよう構成される。長手方向ビュー、つまりLモードは、レビュー、再生又はフォワードLモードユーザインタフェースを使用して、動画として前進又はレビュー又は表示を行うことができるが、Lモードに示される垂直線は、上記断面OCT画像に示される血管の断面スライスに相当する。Lモードで再生ボタン及びレビューボタンを選択することによって、対応する垂直線は、異なる断面が上部OCT画像に示されるのに従って、下部パネルのLモードにおいて垂直線が移動するように、前進又は後退する。
一実施形態では、図3A及び3Bのユーザインタフェースを表示及び実行する為に使用されるコンピューティングデバイスは、血管の断面図等の画像データを含むメモリ領域を含む。コンピューティングデバイスは、インタフェース142等のグラフィカルユーザインタフェースを表示する為の1つ又は複数のソフトウェアモジュールを含む、機械可読媒体又は他のメモリを含んでよい。インタフェースは、複数のパネル、メニュー又は他の表示可能領域を含んでよい。これらのパネル又は領域は、ディスプレイ82等の1つ又は複数のモニタに表示できる。コンピューティングデバイスは、画像データ等のデータを、1つ又は複数の有線、光、無線又は他のデータ交換接続を含んでよいネットワークを使用して、モニタ23と交換できる。
コントローラ又は入力デバイス127は、ネットワーク120上に示されている他のデバイス又はシステムと、有線通信、光通信又はその他の通信を行うことができる。コントローラは、インタフェース142を動かしているコンピューティングシステム100にコマンド信号を送信する為に使用できる。インタフェース142は、図1のシステム5、図14のシステム300、又は本明細書に記載のデータソース、システム若しくはソフトウェアモジュールからのデータを表示できる。インタフェース142は、コントローラ127からの制御信号に応答して変化する1つ又は複数のメニュー及び他のセクションを含んでよい。コントローラ127は、プロセッサ又は適切なプログラマブルASICを含んでよい。制御信号は、ネットワーク120を通して又は別の接続を介して送信できる。
コンピューティングデバイス100は、サーバコンピュータ、クライアントユーザコンピュータ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットPC、デスクトップコンピュータ、制御システム、マイクロプロセッサ、又は(コンピューティングデバイスが取ることになるアクションを指定する)命令のセット(順次又はそれ以外)を実行できるいずれのコンピューティングデバイスを含んでよい。更に、単一のコンピューティングデバイスが示されているが、用語「コンピューティングデバイス」は、インタフェース142等の、ソフトウェアの特徴又は方法のうちの任意の1つ又は複数を実行する為に命令の1つのセット(又は複数のセット)を個別に又は共同で実行する、コンピューティングデバイスの任意の集合体を含むものとしても解釈されるものとする。
図3Bは、グラフィカルユーザインタフェース142の表現を示す。インタフェース142は、複数のパネルを含む。図示したように、一実施形態では、4つのメインパネル150、155、160及び165が存在する。これらは、この実施形態での血管造影データを示す補助ディスプレイパネル150、断面図又はBモードディスプレイパネル155、内腔プロファイルパネル160、及びLモードディスプレイパネル165を含む。一実施形態では、インタフェースは複数のツールバーB1、B2及びB3も含む。パネル150には、3つのマーカが、血管造影画像上で重畳される十字形として示されている。上部マーカはパネル160に示される近位基準フレームに対応する。中央マーカはパネル160に示される最小内腔領域フレーム又はパネル155に示されるアクティブOCTフレームに対応する。下部マーカはパネル160に示される遠位基準フレームに対応する。図3A及び3Bでインタフェースを使用して表示できる血管造影フレーム及びOCTフレームは、本明細書で概説されるように処理及び重ね合わせ登録できる。一実施形態では、コンピューティングデバイスは、重ね合わせ登録されるフレームを表示する為にコレジストレーションテーブルにアクセスする。
図3Bは、パネル160のOCTプローブの引き戻し中に撮像された血管に関する内腔プロファイルの部分としての最小内腔領域プロットを示す。D矢印及びP矢印は、撮像された血管に沿った近位方向及び遠位方向を示す。セクションL1及びL2を有する線として示される切断面は、パネル155の断面図に示され、Lモードパネル165のセクションL1及びL2によっても示される。情報バーB1、測定バーB2及びメニューバーB3が示されている。
図示したように、動脈等の血管の距離は、119.88mmという典型的な測定距離で示されているように、2つのエンドポイントに関して測定できる。更に、平均直径は、血管を測定する為の選択された基準フレームそれぞれの端部において示すことができ、例えば遠位基準フレーム及び近位基準フレームにおいてそれぞれ39.2mm及び44.2mmの平均直径値である。図示したように、MLAは約22mmである。MLAフレームにおいて、血管平均直径は約2.11mmであり、パーセント直径狭窄は近位基準フレーム及び遠位基準フレームの平均直径に比して25.4%である。
図3A及び3Bのユーザインタフェースに示される3つ全ての画像は、血管造影画像中の血管の端部間の線に沿った移動を、OCT画像内でフレームと同期する移動点によって示すことができるように重ね合わせ登録されている。従って、1つの画像が血管セグメントに沿って移動するにつれ、血管造影画像に示される中心線に沿った移動も、断面OCT画像又はLモードOCT画像又はこれら両方の移動フレーム識別子によって示される。
初め、近位マーカバンドは冠動脈枝の冠動脈口近くに常駐してよい為、それは引き戻し中に造影剤の濁りによって塞がれる。カテーテルは、血管を通して一定速度で引き戻される。引き戻しに沿って複数の血管セグメントが異なる縮小を呈する為、マーカは血管造影画像平面(2D)中で一定の速度で移動しない。更に、心臓の動きにより、マーカは血管の解剖学的構造に対して独特の「のこ引き(sawing)」運動を示す。血管造影フレームの位置の幾つかでは、マーカバンドは、高速の心臓の動きと組み合わされた高速の引き戻し運動の為に、不鮮明に/ぼんやりとして見える。局所的近傍のマーカのコントラストは、低くなることがある。縮小された分岐点、背景構造等の他の特徴は、マーカバンドのいずれかと間違えられることがある。
データ収集システム5は、核磁気共鳴、X線、コンピュータ断層撮影、又は他の適切な低侵襲性撮像技術等の低侵襲性撮像システムを含む。係る低侵襲性撮像システムの非制限的な例として、図示されているように、シネを生成する為に適するもの等の血管造影システム20が示されている。血管造影システム20は、蛍光透視法システムを含んでよい。血管造影システム20は、被験者10を低侵襲的に撮像するよう構成され、これにより、典型的は画像データのフレームの形を取る血管造影データのフレームが、プローブ30を使用して引き戻し処置が実行されている間に生成され、それによって被験者10の部位25の血管が、例えばOCT又はIVUS等の1つ又は複数の撮像技術において血管造影法を使用して撮像される。
血管造影システム20は、血管造影データ記憶及び画像管理システム22と通信し、これは一実施形態ではワークステーション又はサーバとして実装できる。一実施形態では、収集される血管造影信号に関係するデータ処理は、血管造影システム20の検出器上で直接的に実行される。システム20からの画像は、血管造影データ記憶及び画像管理22によって記憶され、管理される。一実施形態では、システムサーバ50又はワークステーション87が、システム22の機能を扱う。一実施形態では、システム20全体がX線等の電磁放射線を生成する。システム20はまた、被験者10を通過後の係る放射線を受信する。そしてデータ処理システム22は、血管造影システム20からの信号を使用して、部位25を含む被験者10の1つ又は複数の部位を撮像する。
この特定の例において示すように、目的の部位25は、特定の血管等の血管系又は末梢血管系のサブセットである。これは、OCTを使用して撮像できる。カテーテルベースのデータ収集プローブ30は被験者10の中に導入され、例えば冠動脈等の特定の血管の内腔に配置される。プローブ30は、例えば、OCTプローブ、FFRプローブ、IVUSプローブ、上記のうちの2つ以上の特徴を組み合わせたプローブ、及び血管内部での撮像に適した他のプローブ等の、様々なタイプのデータ収集プローブであってよい。プローブ30は典型的には、プローブ先端、1つ又は複数のX線不透過性マーカ、光ファイバ及びトルクワイヤを含む。更に、プローブ先端は、光ビーム指向デバイス、音響ビーム指向デバイス、圧力検出器センサ、他のトランスデューサ又は検出器、及び上記の組み合わせ等の1つ又は複数のデータ収集サブシステムを含む。
光ビーム指向デバイスを含むプローブの場合、光ファイバ33は、ビーム指向デバイス付きのプローブと光通信している。トルクワイヤは、光ファイバが中に配置される穿孔を画定する。図1では、光ファイバ33は、それを取り囲むトルクワイヤ無しで示されている。更に、プローブ30は、カテーテルの部分を形成するポリマーシース(図示せず)等のシースも含む。OCTシステムの場合、干渉計のサンプルアームの一部分である光ファイバ33は、図示したように患者インタフェースユニット(PIU)35に光学的に結合されている。
患者インタフェースユニット35は、プローブ30の端部を受承し、かつプローブ30の端部に光学的に結合されるのに適切なプローブコネクタを含む。典型的には、データ収集プローブ30は使い捨てである。PIU35は、使用されているデータ収集プローブのタイプに基づいて適切な接合部及び要素を含む。例えば、OCT及びIVUSデータ収集プローブの組み合わせはOCT及びIVUS PIUを必要とする。PIU35は典型的には、その中に配置されるトルクワイヤ、シース及び光ファイバ33を、引き戻し手順の一部として引き戻す為に適したモータも含む。引き戻されることに加えて、プローブ先端は典型的にはPIU35によって回転される。このようにして、被験者10の血管は、長手方向に又は断面を介して撮像できる。プローブ30は、FFR又は他の圧力測定等の特定のパラメータを測定する為にも使用できる。
そしてPIU35は、1つ又は複数の血管内データ収集システム40に接続される。血管内データ収集システム40は、OCTシステム、IVUSシステム、別の撮像システム及び上記の組み合わせであってよい。例えば、プローブ30がOCTプローブである場合のシステム40は、干渉計のサンプルアーム、干渉計の基準アーム、フォトダイオード、制御システム及び患者インタフェースユニットを含んでよい。同様に、別の例として、IVUSシステムの場合血管内データ収集システム40は、超音波信号生成及び処理回路、ノイズフィルタ、回転自在接合部、モータ、並びにインタフェースユニットを含んでよい。一実施形態では、データ収集システム40及び血管造影システム20は、血管造影ビデオフレームタイムスタンプとOCT画像フレームタイムスタンプとを同期させるよう構成される共有クロック信号又は他のタイミング信号を有する。
図1の侵襲性及び非侵襲性の画像データ収集システム及びデバイスに加えて、被験者の部位25及び被験者の他の目的のパラメータに関して、多様な他のタイプのデータを収集できる。例えば、データ収集プローブ30は、例えば圧力ワイヤ等の1つ又は複数の圧力センサを含んでよい。圧力ワイヤは、OCT構成要素又は超音波構成要素無しで使用できる。圧力測定値は、被験者10の部位25での血管のセグメントに沿って得られる。
係る測定値は有線接続又は無線接続のいずれかを介して中継できる。血流予備量比データ収集システム45に示されるように、無線トランシーバ47はプローブ30から圧力測定値を受信し、それらをFFR測定値を生成する為にシステムに送信する、又は測定される血管に沿ったより多くの場所に送信するよう構成される。1つ又は複数のディスプレイ82は、データの血管造影フレーム、OCTフレーム、OCT用のユーザインタフェース、及び血管造影データ、並びに他の対照及び目的の特徴を示す為にも使用できる。
データ収集プローブ30を使用して生成された血管内データのフレーム等の血管内画像データは、PIU35を介してプローブに結合されたデータ収集処理システム40に送ることができる。血管造影システム22を使用して生成された低侵襲性画像データは、コレジストレーションサーバ50、ワークステーション87等の1つ又は複数のサーバ又はワークステーションに送信できる、記憶できる、及び1つ又は複数のサーバ又はワークステーションによって処理できる。システム22から血管造影画像データを取り込むよう構成されるコンピュータボード等のビデオフレームグラバデバイス55は、多様な実施形態で使用できる。
一実施形態では、サーバ50は、メモリ70に記憶され、プロセッサ80によって実行される1つ又は複数のコレジストレーションソフトウェアモジュール60を含む。サーバ50は、プロセッサベースのコンピューティングサーバの為の他の典型的な構成要素を含んでよい。データベース90等の1つ又は複数のデータベースは、図1に示すシステム、デバイス又は構成要素のうちの1つ又は複数によって生成される画像データ、図1に示すシステム、デバイス又は構成要素のうちの1つ又は複数によって生成される、受信される、又はデータベース90に転送される被験者のパラメータ、及び他の情報を受信するよう構成できる。データベース90は、ワークステーション87においてメモリに記憶されている一方でサーバ50に接続されているものとして示されているが、これは単なる1つの典型的な構成である。例えば、ソフトウェアモジュール60はワークステーション87のプロセッサ上で実行でき、データベース90はサーバ50のメモリに位置してよい。多様なソフトウェアモジュールを実行する為に使用されるデバイス又はシステムが例として提供される。多様な実施形態では、本明細書に記載のハードウェア及びソフトウェアは、画像データのフレームを入手し、係る画像データを処理し、係る画像データを位置合わせする為に使用できる。
或いは本明細書において言及されているように、ソフトウェアモジュール60は、他のソフトウェアベースの構成要素60による様々なタイプの画像データのコレジストレーションを容易にする為、又はその他の様式で係るコレジストレーションを実行する為に、画像データを処理する又は患者トリガに応答する為に使用される、前処理ソフトウェア、変形、マトリックス及び他のソフトウェアベースの構成要素等のソフトウェアを含んでよい。
データベース90は、血管造影システム20によって生成され、フレームグラバ55サーバ50によって得られる画像データ等の血管造影画像データ92を受信し、記憶するよう構成できる。データベース90は、OCTシステム40によって生成され、フレームグラバ55サーバ50によって得られる画像データ等のOCT画像データ95を受信し、記憶するよう構成できる。データベース90は、図14に示すテーブル等の血管造影テーブル及び図15に示すテーブル等のコレジストレーションテーブルを受信し、記憶するよう構成できる。
更に、被験者10を、例えばモニタ49等の1つ又は複数のモニタに、1つ又は複数の電極を介して電気的に結合できる。モニタ49は、限定するものではないが、心臓の機能に関係し、心収縮期及び心臓拡張期等の被験者の多様な状態を示すデータを生成するよう構成された心電図モニタを含んでよい。冠動脈を含む心臓の幾何学形状は、異なる心臓サイクルにおいても、特定の心臓の段階で略同一であるため、心臓の段階を知ることは、血管中心線の追跡を支援する為に使用できる。
従って、血管造影データが幾つかの心臓サイクルに亘る場合、同じ心臓段階での血管中心線の一次マッチングにより、引き戻し全体を通した中心線の追跡を支援し得る。更に、心臓の動きの大部分が心収縮期の間に発生するため、血管の動きは心収縮期付近でより高くなり、心臓拡張期に向かって減衰すると予想される。これにより、1つ又は複数のソフトウェアモジュールに連続する血管造影フレーム間で予想される動きの量の表示としてデータが提供される。予想される動きの知識は、予想される動きに基づいて適応制約を可能にすることによって追跡の質及び血管中心線の質を改善する為に、1つ又は複数のソフトウェアモジュールによって使用できる。
所定の図での方向性又は方向性の欠如を示す矢頭の使用は、情報が流れることがある方向を制限する又は要求することを目的としていない。例えば図1に示す要素を接続するものとして示されている矢印及び線等の所定のコネクタの場合、情報は、所定の実施形態に適切なものとして、1つ若しくは複数の方向に、又は1つの方向だけに流れることがある。接続は光接続、有線接続、電力接続、無線接続又は電気接続等の多様な適切なデータ送信接続を含んでよい。
更に、FFRデータ収集システム45は、無線で情報を送受する為に適切な無線システム47を有するものとして示されているが、図1に示す他のシステム及び構成要素もシステム47等の無線システムを含むことがあり、一実施形態では無線で情報を送受できる。
1つ又は複数のソフトウェアモジュールは、図1に示すシステム22等の血管造影システムから受信される血管造影データのフレームを処理する為に使用できる。ソフトウェア、ソフトウェアの構成要素、又はソフトウェアベースの方法若しくはプロセッサにより実行される方法の1つ若しくは複数のステップを制限なく含んでよい多様なソフトウェアモジュールは、本発明の所定の実施形態で使用できる。
係るソフトウェアモジュールの例は、ビデオ処理ソフトウェアモジュール、前処理ソフトウェアモジュール、画像ファイルサイズ削減ソフトウェアモジュール、カテーテル除去ソフトウェアモジュール、陰影除去ソフトウェアモジュール、血管画質向上ソフトウェアモジュール、小塊画質向上ソフトウェアモジュール、LoGフィルタ又は変形ソフトウェアモジュール、ガイドワイヤ検出ソフトウェアモジュール、解剖学的構造特徴検出ソフトウェアモジュール、静止マーカ検出ソフトウェアモジュール、バックグラウンド減算モジュール、フランジ(Frangi)血管質ソフトウェアモジュール、画像輝度サンプリングモジュール、移動マーカソフトウェア検出モジュール、反復中心線試験ソフトウェアモジュール、バックグラウンド減算ソフトウェアモジュール、モルフォロジクローズ(morphological close)動作ソフトウェアモジュール、特徴追跡ソフトウェアモジュール、カテーテル検出ソフトウェアモジュール、ボトムハットフィルタソフトウェアモジュール、経路検出ソフトウェアモジュール、ダイクストラソフトウェアモジュール、ビタビソフトウェアモジュール、高速マーチング方法に基づいたソフトウェアモジュール、血管中心線生成ソフトウェアモジュール、血管中心線追跡モジュールソフトウェアモジュール、ヘシアンソフトウェアモジュール、輝度サンプリングソフトウェアモジュール、画像輝度の重畳ソフトウェアモジュール、及び本明細書に記載の他の適切なソフトウェアモジュールを制限なく含んでよい。図1に示すソフトウェアモジュール60は、上述のソフトウェアモジュール及び本明細書に記載の他のソフトウェアモジュールのうちの1つ又は複数を含んでよい。
画像データ処理特徴及び典型的な実施形態
図4A及び4Bに示すように、多様な処理段階、処理ステップ又は処理ソフトウェアモジュールを一般化して、OCT、IVUS、又は他等の血管内撮像技術を使用して得られる血管造影画像データ及び画像データを重ね合わせ登録するプロセスの高水準の要約を提供する。一実施形態では、血管造影データのフレームは、フレームグラバ又は他のデータキャプチャデバイスを使用して、OCT又はIVUSのサーバ又はワークステーションにおいて取り込まれる。リアルタイムで両方の撮像モダリティから画像を取り込むことは、互いに対する2つのソースの正確なタイムスタンプ刻印を保証する。DICOM血管造影データ取得時間を較正してOCTデータのタイミングに一致させることは本質的にできない。例えば、ビデオソフトウェアモジュールをユーザインタフェースを介して制御して、同様にタイムスタンプ付きの血管造影データの個々のフレームを入手し、記憶できるフレームグラバに血管造影ビデオを提示できる。一実施形態では、OCTデータ及び血管造影データは、同じコンピュータ上で並行して実行し、従って同じ時間基準を共有する2つのそれぞれのプロセスによって日付スタンプを刻印される。
血管造影データフレームがキャッシュに入れられる、又はその他の様式で記憶されると、記憶された各フレームは前処理段階の間に修正できる。コンボルーションマトリックス、ヘシアン等の多様なマトリックスをピクセル単位で適用して、輝度を変更する、所定の血管造影画像フレームを除去する、又はその他の修正を行うことができる。本明細書で説明されるように、前処理段階は、血管造影画像の特徴を効果的に強化又は修正又は除去して、以後の処理段階の精度、処理速度、成功率及び他の特性を高める。
図4Aに示すように、多様なソフトウェアベースの処理段階140が示される。初め、血管造影画像のうちの1つ又は複数のフレームを、多様な検出段階及び追跡段階の前の前処理段階140a中に処理して、OCT、IVUS等及びこれらの組み合わせ等の別の撮像技術を用いて得られる他の画像データと係るフレームとの重ね合わせ登録を支援する。次の段階は、血管中心線の決定又は計算の段階140bである。図3のユーザインタフェースに示すように、血管中心線は、1つ又は複数のソフトウェアモジュールによって生成され、血管造影画像に対して重畳される、又はその他の様式で表示される。
一実施形態では、中心線は、引き戻し中に撮像されている血管を通る図1のデータ収集プローブ30等のプローブの軌跡を表す。一実施形態では、中心線はトレースとも呼ばれる。別の段階は、血管造影フレーム140cでのマーカバンドの検出である。一実施形態では、最後の段階はコレジストレーション段階である。これらの段階並びに本明細書に記載の他の段階及び方法は、異なる順序で、対話的に、並行して若しくは連続して又はその組み合わせで実行できる。追加のステップ及び段階を、所定の段階又はステップの前又は後又は間に追加することもできる。追加の詳細を列挙する典型的な段階及びステップの追加の例を、図4B及び5A〜5Cに示す。
図4Bに示すように、図4Aに示す処理段階又は処理ステップに関する追加の詳細を含む、多様なソフトウェアベースの処理段階又は処理ステップ145が示される。最初に、血管造影フレームの前処理が実行される150a。造影剤無しのフレーム上でのガイドワイヤの検出は、図6Dに示すように実行される150c。図6Nはガイドワイヤ検出の結果を示す典型的な血管造影画像である。図6Nに示すように、ガイドワイヤの遠位部が検出される。
次に、一実施形態では、1つのフレームでの血管中心線の生成が実行される150e。一実施形態では、ユーザインタフェースを介して撮像されている内腔内のガイドワイヤエンドポイントの選択等のユーザ入力は、ユーザによって選択されるエンドポイントとして記憶され、これはヒントポイントとも呼ばれる。係るヒントポイントは、ヒントポイントと末梢部位との間のトレースが、血管造影データの関連するフレームについて生成されるように1つのフレーム上に血管中心線を生成する為に使用できる。一実施形態では、係る関連フレームは、造影剤を血管に配置することなく得られる。
ここでも図4Bを参照すると、血管造影フレームに沿った血管中心線の追跡が実行される150f。一実施形態では、血管中心線の係る追跡は、引き戻し中に得られる血管造影フレームの全て又は実質的に全てに関して実行される。血管造影フレームでのX線不透過性のマーカの追跡及び/又はマーカ検出が実行される150h。一実施形態では、ビタビアルゴリズムを使用してマーカ追跡を実行する。OCT画像と血管造影画像との重ね合わせ登録が実行される150j。信頼スコア/性能指数の生成が実行される150l。
信頼スコア/性能指数(FOM)の生成は、1つ又は複数のソフトウェアモジュールを使用して実行される150l。一実施形態では、信頼スコア又は(FOM)は、例えば重ね合わせ登録が行われていることの高い信頼又は低い信頼を有するOCT引き戻しの領域を示すX線画像又はOCT画像上にカラーコードを提供することによって、コンピュータモニタ上のグラフィック表示によってユーザに提供される。低信頼の領域は、例えば低FOMが得られた血管セグメント近くのX線画像に赤の細片又はバーによって示されてよい。FOM/スコアは、返される結果の信頼基準を反映する。スコアは[0,1]の範囲にあり、0は最低の信頼を反映し、1は最高の信頼を反映する。FOM閾値は、高信頼コレジストレーション結果と低信頼コレジストレーション結果との間の境界を画定する為に選択できる。この閾値は、受信者動作曲線(ROC)を生じさせることによって高誤差場所を識別する為の所望の感度及び特異性を与える為に選ぶことができる。所定の引き戻しにおいてフレームの大部分に対して低いFOM値が得られ、従ってコレジストレーションの全体的な質が疑わしい場合、コレジストレーション結果がユーザに表示されないことがある。
FOM決定は、検出された小塊の質(直近の近傍のコントラスト又は輝度と比較される検出された小塊のコントラスト又は輝度、形状、サイズ等)、(引き戻し速度、フレームレート計算に基づいた)検出された小塊の名目上期待される位置からの距離、同じ近傍内で検出された小塊候補の数(候補が多いほど、FOMは低くなる)、及び輝度ベースのzスコア、ビタビアルゴリズムの総合スコア(検出された小塊の全体的な集合がどれほどよく引き戻しを表しているか)、並びに他の要因及び基準等の1つ又は複数の要因に基づくスコアリングプロセスである。一実施形態では、FOM又はスコアを生成する為に、本明細書に列挙されるパラメータのうちの1つ又は複数を含む加重平均を使用できる。
図4A及び4Bに示すような、並びに本明細書で説明されるような多様なステップ及び段階は、多様な実施形態において全体的又は部分的に自動的に実行できる。図4A及び4Bのステップ及び方法の幾つかのうち、図5A〜5Cに関するもの等の幾つかの特定の例に関係する追加の詳細を、本明細書で説明する。例えば、図5Aは、幾つかの典型的な前処理ステップ又は前処理段階に関係するフローチャートを示す。
典型的な血管造影画像データ前処理実施形態
部分的には、図4A及び4Bに示すように、並びに本明細書で説明されるように、本発明は部分的には、血管造影データの収集されたフレームに関して1つ又は複数の前処理段階、前処理ソフトウェアモジュール、及び関係する方法を含む。一実施形態では、画像前処理は、図1のシステム20によって生成されるデータ等、血管造影データのフレームに関してフレーム単位で実行される。前処理段階は、例えばマルチスケールLoG(Laplacian of Gaussian)、解剖学的構造特徴の検出、スケルトン生成、血管造影画像サイズ縮小、バックグラウンド減算、ボトムハットフィルタ等を適用することによって血管画質向上、カテーテル除去、陰影除去、心臓陰影除去、小塊画質向上を実行するのに適した方法、段階及びソフトウェア構成要素、並びに他の構成要素を制限なく含んでよい。
ヘシアン及び他のタイプのフィルタ及びマスク等の多様なマトリックスが、血管造影データのフレームが、マーカを追跡し、中心線を生成し、OCT、IVUS、又は他の画像若しくはデータで重ね合わせ登録される為の追加の処理にさらされる前に、血管造影データのフレームの画質を向上させる為に適用できる。1つ又は複数の画像処理段階は、例えば図1に示すシステム22又はサーバ50若しくはワークステーション及び87等の血管造影システムから受信される血管造影データのフレームを前処理する為に使用できる。
図5Aは、幾つかの追加の特定の典型的な前処理ステップ又は前処理段階に関係するプロセスフロー160を示す。図示したように、血管造影画像は並行して多様な段階で処理できる。一実施形態では、LoGフィルタリングが複数のスケールで実行される160a。各スケールは、フィルタによって作用される画像内の要素のサイズに一致する。LoGマルチスケールベースのフィルタは、一実施形態では、撮像プローブ上の移動マーカに対応する小塊の画質を向上させる為に使用できる。異なるサイズのマーカの為に、異なるスケールが使用される。一実施形態では、異なるサイズの小塊に敏感となり、ノイズにはあまり敏感とならない為に、LoG演算子が幾つかのスケールで計算される。LoGフィルタの例を図6Aに示す。撮像処理ソフトウェア画質向上の一部として図6AのLoGを適用することから画質向上されるマーカに対応する(血管造影画像からのピクセルのセット)として、小塊の例を図6Bに示す。一実施形態では、血管造影画像の幾つかのフレームの平均に基づいて静的特徴の影響を削減する為のバックグラウンド減算が実行される。
更に、一実施形態では、ボトムハットフィルタ又はボトムハット変換160cが、画像内でのガイドワイヤの可視性を高める為に血管造影データに適用できる。一実施形態では、ボトムハットフィルタは、例えば隔膜、骨格特徴等の所定の血管造影図中の特定の構造要素のサイズよりも大きい特徴を消去するよう構成される。血管造影画像に適用されるボトムハットフィルタ又はボトムハット演算子の例を図6Eに示す。一実施形態では、複数の画像平均化がバックグラウンド減算に使用される。更に、一実施形態では、例えばスケール1等のスケールでのヘシアンフィルタリングが、ボトムハットフィルタ又はボトムハット変換に続いて実行される160e。スケール1での係るヘシアンフィルタは、ボトムハット演算子の適用後にノイズが多い画像を平滑化しながら、ワイヤの画質を向上する為に実行される。画像に適用されるスケール1でのヘシアンフィルタの例を、図6Fに示す。
一実施形態では、画像データに対してモルフォロジクローズ演算が実行される。モルフォロジクローズ演算は、ボトムハット変換を適用するステップで得られることがある、発生し得るギャップを埋める為に主に使用される。ボトムハット変換は、例えばガイドワイヤ等の狭い特徴の画質を向上させる為に小さなフィルタカーネルと共に適用される。
バイナリ画像マップ特徴
各血管造影画像に対して前処理ステップのセットを適用することにより、どこに造影剤が存在するのかを判断する為に使用されるバイナリマップを作成する。一実施形態では、バイナリマップは、元の血管造影画像と同サイズの画像を指し、ピクセルは黒又は白のどちらかであり、即ち染料を有するピクセルを黒、染料を有さないピクセルを白とするか、又はその逆である。バイナリマップは、バイナリマップの固有の不完全さによって分離される血管ピクセルの領域を有してよい。次いで距離マップをバイナリマップに基づいて計算できる。FMMアルゴリズムを使用して計算された例示的な距離マップを図6Hに示す。
距離マップは同サイズの画像であり、各ピクセルの値はバイナリマップの最も近い「黒」のピクセルからの距離に従って決定される。明確に、染料がバイナリマップに存在すると判断されたピクセル(「黒」のピクセル−染料領域からの距離が0である)は黒のままとなり、黒のピクセルの領域の直近を取り囲む(染料領域からの距離が1である)ピクセルは「1」だけ低い輝度を有する。ピクセルの輝度の次の層は「2」だけ低くなるなどする。図6Hに示すように、多様な輝度値は、ピクセルの場所に関してx軸及びy軸に沿って配列されたピクセルにマッピングされる。色又は他の印によってコード化されるスケールは、各ピクセル場所に対して輝度値をマッピングする為に使用できる。一実施形態では、スケールはカラースケールである。スケール上の多様な典型的な輝度値を図中に示す。中央領域はBに対応する最低の輝度値を有する。T輝度値はB値を基準として上昇する。Y輝度値はT値を基準として上昇し、R値はY輝度値を基準として上昇する。
結果として得られる距離マップは、元のバイナリマップでの染料/造影剤の領域が隆起線のように見え、その両側に傾斜が下がっていくものとなる。2つの係る隆起線が十分に近い(バイナリマップで小さな距離)場合、それらは距離マップにおいて繋がった隆起線のように見える。距離マップの最小値を有する暗色の中心スポットは、最前部が伝搬を開始するユーザヒントポイントに属する。ポテンシャルの構成の為、これはワイヤに沿って伝搬する。トレースの遠位エンドポイントは距離マップ上で最高値を有する。距離マップの1つの応用は、十分に近接しているため接続が可能な染料/造影剤の別個のセグメントを決定することである。一実施形態では、距離マップは、バイナリマップから血管スケルトンを決定する為に使用されるツールである。距離マップは、多様な目的の為に使用できる。
典型的な解剖学的構造特徴の検出/先験的データ生成の実施形態
更に、一実施形態では、血管造影画像の前処理の一部として、解剖学的構造特徴検出が実行される。一実施形態では、これは、撮像プローブが血管を通ってとる経路に関係する特定の先験的な情報を生成する為に実行できる。例えばスケルトン生成プロセスを通して等の線分の生成を、特徴検出の為に使用できる。一実施形態では、スケルトンは、撮像されている被験者の血管のトレースに役立てる為に作成される1つ又は複数の線分等の静的なオブジェクトである。
中心線生成及びマーカ追跡を知らせる為に使用できるデータ収集プローブに関して血管を通る候補経路を生成する為の、スケルトン又は線分に基づいた手法の使用は、係る手法の使用を控えることに対する幾つかの優位点を提供する。例えば、スケルトンをベースにした手法は、そうでなければ側枝又は撮像プローブカテーテルを通過することになる特定の中心線トレースが生成されるのを妨げる又は排除することができる。スケルトンの生成は、撮像されている血管並びに側枝及び他の血管の幾何学形状の初期の候補を、中心線生成を容易にする為のマップ又はフレームワークとして決定する為の方法を提供する。スケルトンを生成することによって、分岐点及び血管セグメント等の目的の点を抽出して、マーカの追跡及び中心線トレースを安定化し、血管造影画像データのフレーム全体に亘って追跡品質を検証することが可能である。
一実施形態では、側枝及び血管の幾何学形状のような解剖学的構造特徴を検出する為にスケルトンを生成するプロセスは、血管造影画像の前処理160dの間に実装される。スケルトンは、主要な分岐(170l)及び補外点(170m)等の解剖学的構造特徴を検出する為に使用できる。更に、スケルトンは円滑な血管中心線を検出し、生成する(170f)為に使用できる。例えば、スケルトンは、ダイクストラアルゴリズムと共に使用できる。スケルトンは、前処理されたヘシアン画像に基づいて生成できる。ガイドワイヤ位置に関係する、図7Aの画像等の血管造影画像上のユーザによって選択された点は、ノイズを削減し、スケルトン生成を容易にする為に使用できる。
図7Dでは、ユーザによって選択されたエンドポイント及びコンピュータによって決定されたエンドポイントがXで示される。ヘシアン画像から生成されるバイナリ画像は、図7Bに示す血管造影画像でスケルトンを生成する為に使用できる。スケルトンを生成した後、小さい分岐を排除する為にスケルトンを侵食できる。例えば、スケルトンの小さな枝は、主幹セクションだけが残るまで画像から除去又は減算できる。枝の厚さ及び他のパラメータに関係する閾値は、スケルトン浸食を管理する為に使用できる。スケルトンの小さな枝の除去は、最終スケルトンが図7Cに示すように生じるまで、一実施形態ではピクセル単位で実行できる。
一実施形態では、分岐及び図7Dの円で囲まれた領域によって示される他のギャップを検出することによって、スケルトン上で接合部の位置を突き止める。これらの接合部は、図7Eの枝1〜13によって示されるようにスケルトンを枝に分解する為に使用される。そして小さすぎて血管枝を表すことができないツリーの各枝は浸食され、排除できる。一実施形態では、全ての枝は等しく(長さで同じ数のピクセル分)侵食される。結果として、比較的長い枝が生き残り、比較的短い枝は排除される。残りのスケルトン枝は次いで、図7Fに示すように接続されたグラフに変換できる。図7Fのノード2及び4等のグラフノード、つまりスケルトン枝の間の距離は角度変化に基づいている。ノードに関してi=2及びj=4である場合、以下の距離関係性:
Figure 0006388632
を使用して、図7Fに示されているように(2,4)を得ることができる。一実施形態では、例えばダイクストラ最短経路アルゴリズム又はその修正されたバージョン等のグラフ検索方法が、スケルトン内の血管の最良の候補経路を入手する為にグラフに適用される。これは、実際にはダイクストラアルゴリズムの修正バージョンである。選ばれる経路は、最大角度変化が以下によって提供される他の任意選択の経路に関して最小であったノード間の経路である。
Figure 0006388632
図8A〜8Cは、図7Fで生成されたグラフに対するダイクストラ最短経路アルゴリズムの適用に基づいて図7Eのスケルトンに関して検出された結果として生じる最良の経路を示す。図8Aは、ノード2、4、8、7、6、3及び1を通る経路を示す。図8Bは、ノード4、6、9、3及び1を通る経路を示す。図8Cは、ノード2、6、8、9、7、5、3及び1を通る経路を示す。距離測定の為の角度の使用は、ノード及び枝が被験者内でどのように配置されるのかの三次元的性質を考慮する場合に有用である。
典型的なカテーテル検出実施形態
更に、一実施形態では、血管造影画像の前処理の一部として、カテーテル検出が実行される160f。視野内のカテーテルの存在は、コレジストレーション方法の多様なステップ及び処理段階に干渉することがある。カテーテルと血管との交差は、不安定な追跡に繋がることがある偽の分岐と解釈し得る。マーカ及び中心線の追跡は、血管内撮像デバイスを送達するカテーテルの存在によってマイナスの影響を受けることがある。係るカテーテルに関連する別の問題は、血管に沿った2点間の最短経路が、血管の代わりにカテーテルを通過し得るということである。結果として、カテーテルが誤差及び偽の中心線の生成に繋がることがある。
従って、例えば中心線生成を支援して、以後の処理及び検出を続行する前に血管造影データの各フレームからカテーテルを除去できることが望ましい。例えば図9Aに示すように、所定の入力血管造影画像に関して、例えば図9B〜9Dに示すベクトルフィールドは、移動している画像のセクション、及びカテーテルが図の中央部分に広がりかつ血管が図の略中央においてある角度でカテーテルと交差している図9Bに示すような方向場を示す画像のセクションの検出に基づいて、画像上に重畳できる。図9Cは血管領域のベクトルフィールドマップを示す。一方図9Dはカテーテル領域内で実質的に真っ直ぐに且つ垂直に向けられるベクトルを示す。
図9C及び9Dに示すベクトルフィールドのベクトルは、局所二次分析によって計算されるヘシアンマトリックスの固有値に対応する固有ベクトルである。図9Cでは、1〜5の全てのスケールがフランジフィルタで使用された。係るフィルタの例は、A.F.フランジ(A.F. Frangi)、W.J.ニーセン(W.J. Niessen)、K.L.フィンケン(K.L. Vincken)、M.A.フィールヘフェル(M.A. Viergever)、「マルチスケール血管画質向上フィルタリング(Multiscale vessel enhancement filtering)」、コンピュータ医用画像処理並びにコンピュータ支援治療(MICCAI)、1998年、130〜137ページに説明されており、従って血管外部の乱れた影響が説明される。図9Dでは、スケールシグマ‐4だけが使用され、従ってカテーテル上の隔離された向きが使用され、一方、外側領域では、固有ベクトルはゼロ重量を有する。シグマパラメータに関して、このパラメータはコンボルーション計算で使用されるガウスのスケールを表す。シグマ=4は、血管造影データセットで観察される、カテーテルの為のピクセルの典型的な幅を反映する。
一実施形態では、カテーテル検出は、カテーテルの指向性の一次想定に、及びカテーテルが常に図9Dに示すような画像の下部境界と交差するという事実に基づいている。局所的であるが、カテーテル及び血管は、その管状構造を考慮すると、概して互いから区別可能ではない。カテーテルの形状の観点から、カテーテルは、それが略画像全体を横切り、実質的に真っ直ぐな形状を有する為、大局的に血管から区別できる。一実施形態では、ベクトル向きは、カテーテル及び血管を区別する為に使用される。局所的に、血管は、カテーテルの向きに類似する向きの小さな領域を有することがある。カテーテルの固有ベクトル向きは概して90度まで閉じられ、一方血管の固有ベクトル向きは閉じられない。
一実施形態では、形状特徴だけではなく、血管質用のフランジフィルタを組み込む、カテーテル検出の方法が使用される。一実施形態では、方法は1スケール(血管造影データセットで観察される、カテーテルのピクセルでの典型的な幅を反映するシグマ=4)だけで血管質基準画像及びヘシアン画像の固有ベクトルに基づいた方向画像を決定することを含む。血管造影データの所定の画像フレームでのカテーテルは、多様な基準を使用して隔離できる。これらの基準は、方向(方向画像の閾値)、カテーテルを含む接続されている構成要素の長さを含む(カテーテルプロファイルの長さは、x(又はy)の最大画像寸法の少なくとも半分でなければならない)。
画像処理ソフトウェアの制約として、カテーテルが所定の画像に表示されるようにカテーテルが検出される場合、通常、カテーテルが略画像全体と交差するのは事実である。一実施形態では、システムは、カテーテルが画像の下部境界を常に切断すると仮定するようにプログラミングされる。結果として、下部境界は検出されたオブジェクトのサイズの為に設定できる。更に、カテーテルと関連する血管造影画像の領域が検出されると、十分に大きな特徴が検出されたことを保証する為にカテーテルの中心線の周りで境界を僅かに拡張するか又はその他の様式で拡大することが有用である。上記に概説されたステップに基づいて検出されるカテーテルの例を図9Eに示す。
典型的なカテーテル除去実施形態
上述されたように、所定の血管造影画像の視野内のカテーテルの存在は、本明細書に記載の多様なステップ及び処理段階と干渉することがある。従って、カテーテルが例えば本明細書に列挙されるソフトウェアベースの方法によって検出されると、カテーテルを除去することが望ましい。図9Aに示す境界のある領域は、斜めに血管と重複するカテーテルを示している。画像の完全性を保つように努めつつ、カテーテルを除去する為の多様なオブジェクト排除アプローチが使用できる。使用されるカテーテル検出プロセスの出力から生成できる、又は使用されるカテーテル検出プロセスの出力としてのカテーテルのマスクに基づいて、ソフトウェアモジュールはカテーテルを除外することによってカテーテルマスクを除去するよう構成できる。
カテーテルを除去する為の1つの有利な手法は、互いに対して位相がずれるときに消す関数及び除去する関数の重畳の原則を使用する。一実施形態では、重畳に基づくソフトウェアモジュールはカテーテル除去を、例えばその輝度プロファイルを推定し、画像からそれを削減することによって、実行する為に使用される。カテーテル輝度プロファイルは、カテーテル検出ソフトウェアモジュールを通してカテーテルの一部として識別される画像の点をサンプリングすることに基づいて生成できる。
図10A及び10Bに示すように、典型的なシリンダ190は、図示したように厚さT0、T1及びT2の多様な縦方向のスライスと表示できる。シリンダ190は、カテーテルのモデル表現として表示できる。カテーテル及びシリンダ190が造影液で満たされる程度まで、造影液で引き起こされる輝度の変化は厚さT0に沿って中央でより大きくなり、次いで中心T0からスライスT1へ移動して離れるにつれ減少し、次いでスライスT2に達すると更に減少する。従って、カテーテルの中心に比してカテーテルの薄い方の端縁では造影液はより少なくなるため、画像からカテーテルを除去する為に、カテーテルの為の輝度のプロファイルを生成し、カテーテルが検出された画像の領域に追加できる。関係するカテーテル除去方法の典型的な表現を図11Aに示す。
カテーテルが本明細書で説明されるように検出されたことを考慮すれば、カテーテルを構成する画像中のピクセルと関連付けられるマスクは、例えば図9Eに示す領域のようなマスク領域を使用することによって生成できる。一実施形態では、画像輝度は、例えば、カテーテル線に垂直な線上で等、カテーテル領域でサンプリングされる。これらの垂直線は、カテーテルの最も厚い中央部に対応する低い極値又は相対的な極値に達するまでカテーテルの片側から徐々に減少し、図10A及び10Bに示すように、カテーテルの端縁でカテーテルの断面が薄くなると再び徐々に増加する造影液輝度変化の傾きにまたがる。カテーテル領域でサンプリングされる各線は、輝度曲線を生成する。多様な輝度曲線は単一の曲線に平均化できる。この輝度曲線は反転させ、次いで図11Aに示すようにカテーテル領域を構成する垂直線に重畳し、その領域からカテーテルを効果的に除去できる。
典型的な陰影除去実施形態
標準的なヘシアンベースのフィルタは前処理の一部であり、画像のヘシアンの固有値に基づいている。一実施形態では、ヘシアンは幾つかの離散スケールで計算され、次いでそれらの間の最大応答が採取される。陰影除去プロセスの一実施形態では、1〜5のスケールが使用される。スケール5は、使用可能なデータで典型的な最大観察血管幅を表すスケールとして選ぶことができる。元の画像、並びに陰影及び他の特徴を除去する為に次いで処理される例を図6I〜6Nに示す。
陰影除去前処理ステップは、元の画像を、改善されたコントラストレベルを有する修正された画像に変換する為に適用される。更に、修正された画像は、それが実質的に、異なるコントラストの幾つかの領域又は平面を誘発することがある心臓及び隔膜の陰影の影響を受けないようにヘシアンを適用するプロセスによって変更される。これらの陰影を除去することは、係る領域又は平面が正しくない血管中心線に繋がることがある為に望ましい。一実施形態では、陰影除去ステップは、典型的な血管の幅よりもはるかに大きい距離パラメータを有するよう構成されるフィルタカーネルでボトムアット演算子を適用することを含む。図6L及び6Jは、陰影除去プロセスを実行することによって改善された修正画像を示す。
典型的な血管中心線(トレース)生成実施形態
2つのアンカポイント、つまり遠位点及び近位点は、血管中心線のエンドポイント及び開始点を記す。別の点が血管スケルトン上で反映され、ダイクストラアルゴリズムが円滑さの観点から最短経路を見つける為に適用される。輝度の観点から最短経路を見つける為にFMMも適用される(FMMは画質向上したヘシアン画像上で実行する)。FMMの結果はダイクストラ結果と結合されて2つのアンカポイント間の最良の血管中心線(トレース)を生じさせる。他の血管造影フレームでの血管中心線は、FMMと結合された等角写像を最初に生成されたトレースに適用することによって生成される。
一実施形態では、高速マーチング技法又は高速マーチング方法が、ポテンシャルに基づいて測地的距離の効率的な計算に対処する。一実施形態では、造影剤が存在するとき、ポテンシャルは画質向上した画像であってよい。一実施形態では、例えば造影剤が存在しないとき等、(たとえ血管造影画像上で区分的に可視であるとしても)ガイドワイヤだけが存在するとき、ポテンシャルは距離変換に基づいて関数を構築することによって調整される。最前部が伝搬するポテンシャル関数の計算の為の1つの方法は、バイナリ画像にユークリッド距離変換を適用することによってガイドワイヤベースのポテンシャルによって実行できる。距離変換が生成されると、係る変換を、上記距離変換の負の分数冪に冪指数を適用することによって更にポテンシャル関数に修正できる。典型的なガイドワイヤポテンシャルを図6Gに示す。
図5Bは、血管中心線生成に関係するプロセスフロー170を示す。一実施形態では、1のスケールを有するヘシアンが血管造影データのフレームに適用される170a。ヘシアンのこの適用が、例えばガイドワイヤ等の画像の薄い隆起線の画質向上に繋がる。一実施形態では、ガイドワイヤの自動検出及びガイドワイヤ上のアンカポイントの選択が実行される170c。ガイドワイヤが検出されると、一実施形態では、最高のLoG応答の点がアンカポイントとして識別される。遠位ガイドワイヤアンカポイントを全ての引き戻し血管造影フレームまで追跡すること170eが次に実行される。近位アンカポイントは、単一フレームで検出される。遠位アンカポイントも単一フレームで検出される。一実施形態では、各アンカポイントは追跡によって他のフレームで容易に検出できる特徴である。次に、アンカポイントは、各血管造影フレームが血管中心線生成(トレース)の為に2つのエンドポイントを有するように全てのフレームまで追跡される。
一実施形態では、血管造影画像上のガイドワイヤ点等のユーザによって選択された点が選択される170j。同様に、(最大約5までの)スケールのヘシアンが、血管の画質を向上させる為に血管造影画像に適用できる170k。ヘシアン適用の結果として修正された画像は、次いで最も近い分岐アンカポイントの検出170lを実行する為に使用できる。この検出ステップは、ユーザによって選択された点、つまりヒントポイントを入力として使用できる。次に、アンカポイントの補外の検出が実行される170m。どのアンカポイントが検出されているのかを明確にすること。次に、全ての引き戻し血管造影フレームまでアンカポイントを追跡することが実行される170n。
一実施形態では、システムは次に、グラフに対するダイクストラ最短経路解等のグラフ検索ソフトウェアモジュールを使用する。ダイクストラアルゴリズム又はFMMと結合された他の最短経路アルゴリズムを適用し、最良の初期血管中心線を選択することは、次いで血管造影引き戻しフレームに関して実行できる170f。等角写像に基づいた狭帯域でFMMを使用して血管造影引き戻しフレームで血管中心線を追跡することが次いで実行される170g。この文脈では、狭帯域は、目的のトレースの回りに狭帯域領域を構築することを意味する。この狭帯域は、画像の制限された領域での測地的距離の計算の為、FMMアルゴリズムの効率を増すことを目的としている。これらの中心線は、1つ又は複数のテーブルに記憶し、適用可能な血管造影画像で表示できる。
典型的なマーカ検出及びコレジストレーション実施形態
図5Cは、マーカ検出及びコレジストレーションに関係するプロセスフロー180を示す。本明細書に使用されるように、用語トレースは中心線と置き換え可能である。当初、入力として、引き戻しフレームからの中心線(トレース)がサンプリング向きの為の入力として提供される180a。更にLoGが引き戻しフレームから画像に適用される180c。トレースに垂直なLoG画像をサンプリングすることが実行される180e。一実施形態では、全てのフレームでマーカ位置を見つける為に異なる開始点又は終了点で動的プログラミング又は反復が実行される180g。一実施形態では、動的プログラミング又は反復プロセスはビタビアルゴリズムを使用して実装できる。次に、フレーム単位でのマーカにとって最も可能性のある解の選択が実行される180h。全てのフレームにおいて、血管中心線に沿ったマーカ正規化アーク長位置と共にマーカ位置の計算が実行される180l。
次に、OCTフレーム及び血管造影フレームの全ての組み合わせを、アーク長の観点で計算されたマーカ位置に基づいて重ね合わせ登録することが実行できる。全ての血管中心線は全ての血管造影フレームの同じ解剖学的構造特徴で開始し、終了するため、各中心線は他のフレームの他の中心線に一致する。従って、中心線の長さ又はアーク長は、コレジストレーションの根拠として使用できる。アーク長の観点でのマーカ位置は全てのフレームにおいて(何らかの誤差まで)保存される。
センサ又はデータ収集プローブの不透明なマーカバンドを解像しようと努めるときに遭遇する1つの課題が、OCT引き戻しの部分としての造影液の使用である。一実施形態では、ガイドワイヤ及び撮像カテーテルを使用して血管を通る初期経路を提供できるように、造影液の導入前に血管造影データのフレームを処理することが役に立つ。この初期のデータセットは、本明細書で説明されるように他の情報及びパラメータを使用して繰り返し改善できる。
ビタビベースのアルゴリズムは、引き戻しの各画像でX線不透過性マーカを自動的に検出する。このアルゴリズムは、小塊輝度及び場所の予測(トレースに沿った一定の速度)に基づいて大局的な解を得る為に使用できる。このアルゴリズムの前提条件として、血管中心線(トレース)を検出し、追跡するプロセスが実行される。トレースはOCTと血管造影法との間に連続的なコレジストレーションを生じさせる為に使用される。これらの曲線は、高速マーチング法を使用して計算される。高速マーチング法は、各フレームで、(ユーザによって選択された点、つまりヒントポイントであってよい)近位点と遠位静止マーカとの間の経路(トレース)の効率的な計算を可能にする。静止マーカはフレーム上で(造影剤/染料を用いた及び/又は用いない)フレーム上で検出される。以後のシーケンスに亘って近位点及び遠位点を追跡する為にテンプレートマッチング技法が利用される。
ビタビアルゴリズムは、外因性要因及び内因性要因の平衡を保つように構成される。外因性要因(マーカバンド表示)は、血管造影フレーム毎にトレースに垂直な離散ストリップでマップをサンプリングし直すことによってマーカバンドLoGマップから導出される。内因性要因は経時的なアーク長進行である。この内因性要因は、引き戻しのアーク長に沿ったマーカバンドの前進をモデル化する。基本的な考えは、平均ペースが引き戻し速度によって決定される一方で、このペースから逸脱することに対するペナルティがあるということである。この要因は、前進/後退運動に異なるようにペナルティを科すことによって、自然な「のこ引き」プロファイルを考慮に入れる。
図12は、血管内画像データ及び血管造影データを処理する為に適した多様なソフトウェア構成要素及びハードウェア構成要素を含むデータ収集及びコレジストレーションシステム300を示す。一実施形態では、OCT画像データ及び血管造影画像データのうちの1つ又は複数のフレームが重ね合わせ登録された後、出力は登録テーブルである。一実施形態では、OCTデータのフレームは、明確なフレーム表示状態があるかチェックする為に監視することができ、この明確なフレーム表示は、血管造影データのフレームを取り込むことができるようにシネをトリガする為に使用できる。一実施形態では、プローブデータ及び血管造影データが収集される間に血管を通してプローブが引き戻される所定の引き戻し手順の場合、フレームのタイムスタンプ刻印、登録テーブル追加、及び画像処理特徴並びに他のプロセスが実行されてよい。
ユーザインタフェース(UI)308は、OCTアダプタ320と通信している。画像処理モジュール330はOCTアダプタ320と通信している。一実施形態では、画像処理モジュール330は、例えば陰影除去、ガイドワイヤ検出、カテーテル除去、及び本明細書に概説される他の画像処理ステップの為に、演算子若しくは変換を実行する、又は血管造影データのフレームに対して適用する。光コヒーレンストモグラフィシステム310はOCTアダプタ320と通信している。光コヒーレンストモグラフィシステム310は、フレームグラバ302を含む、又はフレームグラバ320と通信することがある。血管造影フレームは、フレームグラバを使用して獲得され、ソフトウェアモジュールによってフェッチされる。
OCTフレームテーブル315は、血管を通る撮像プローブの引き戻し中に得られる血管の情報及び画像を含む。OCTアダプタ320の役割は、血管造影システムとOCTシステムとの間にソフトウェアインタフェースを提供することである。
本明細書に記載のサーバ又はワークステーション等のソフトウェアベースのシステム、及び血管造影画像を自動的に実行し、取込み、その取得時刻別に各画像にタグを付けるよう構成されるソフトウェアモジュールは、取得時刻でタグ付けられた血管内データのコレジストレーションをサポートする。コレジストレーションソフトウェアモジュールを含んでよい画像処理モジュール330は、血管内取得に対応する各血管造影画像上のX線不透明性マーカを自動的に検出する。単一のユーザ入力が、図5Bに示すように検出を支援するように要求されてよい。コレジストレーションソフトウェアモジュールは、撮像中の血管を通るプローブの引き戻し中の血管内画像取得に対応する全ての血管造影画像上の血管内撮像カテーテルの経路を計算する。コレジストレーションソフトウェアモジュールは、取得の血管内画像、及び各血管造影画像上のX線不透過性マーカの場所、各血管造影画像上の各血管内画像/データポイントの位置、及びその結果の正確さにおける信頼のレベルの基準となる、各コレジストレーション結果と関連するFOMを含む外部画像のコレジストレーションテーブルを生じさせる。
ユーザは、血管内画像及び血管造影画像のグラフ表現を、並びにコレジストレーションが一実施形態で完了するときにユーザインタフェースの部分として血管造影画像上の特定の血管内画像等の2つの間の対応を提示される。コレジストレーション手順中、FOM又は信頼スコアが許容できない場合、OCTシステムからの追加のユーザ入力又は他のパラメータを要求してよい、又は自動的に得られしてよい。
典型的な信頼スコア/性能指数実施形態
プローブマーカの検出毎に、FOMとも呼ばれる信頼スコアが検出された各プローブマーカに割り当てられる。スコアは小塊輝度、マーカの予測領域の近傍での暗い小塊の数、トレースに沿ったマーカアーク長、小塊移動及びトレースの安定性のうちの1つ又は複数に基づく。FOM/スコアは返される結果の信頼基準を反映する。一実施形態では、スコアは範囲[0,1]にあり、0は最低信頼を反映し、1は最高信頼を反映する。
例えば本明細書に記載の1つ又は複数のモジュール等の血管造影に関係するソフトウェアモジュールは、通常、被験者の身体の外側に配置される撮像デバイスを使用して生成される画像を評価している。対照的に、OCT、IVUS、FFR、圧力、又は他のデータ収集モダリティ等のデータ収集プローブは、患者の血管の内部に配置できる。結果として、引き戻し中に係るデータ収集プローブから得られるデータ、又はデータ収集プローブに関連するものとして公知であったパラメータが、本明細書に記載の方法及び段階の動作を改善する為に血管造影ソフトウェアによって使用できる。アダプタソフトウェアモジュール又は他のソフトウェアモジュールは、血管造影画像フレーム処理ウェアモジュールにOCT情報を提供する為に使用でき、逆の場合も同じである。
例えば、血管内データ収集の部分として血管に関して得られるデータに関係する以下のパラメータは、分析の為に、又は被験者の評価に役立てる為に、若しくは異なるデータセット、mm単位の引き戻し長さ、引き戻しの開始、引き戻しの終了、例えば収集されたOCTデータからの側枝等の分岐点の表示、造影剤若しくは染料の導入前にフレームに関して収集されるデータ、OCT及び血管造影の同期フレーム時間タグ、引き戻し速度、カテーテルの遠位マーカと近位マーカとの間の距離、並びに例えば長手方向血管画像データ、圧力データ、EKGデータ、引き戻し中の心収縮期状態、引き戻し中の心臓拡張期状態、及び被験者に関係して入手可能な他の状態等の所定のデータ収集モダリティに関して得られる他の要因及びパラメータを関連付ける為に、血管造影ソフトウェアモジュール若しくは他のソフトウェアモジュールに送信できる。
血管造影テーブル
図14に示すような血管造影テーブルは、取得された各血管造影フレームだけではなく、血管造影引き戻しを説明する情報を含む。血管造影テーブルは、取得時に血管造影ソフトウェアモジュールによって作成され、タイムスタンプデータを部分的に追加される。このテーブルは取得の完了時にOCTモジュールによって抽出され、記憶される。テーブルは次いで、コレジストレーション依存フィールドが追加されるとき、コレジストレーション時に血管造影ソフトウェアモジュールに提供される。
コレジストレーションテーブル
コレジストレーションテーブルは、図15に示すように、成功したコレジストレーションの結果を含む。コレジストレーションテーブルは、コレジストレーションGUIツールセットを駆動する為に必要なOCT/血管造影相互参照情報の全てを含む。このテーブルは、そのフレームの取得タイムスタンプ及びOCTマーカ位置情報を含む血管造影フレーム毎のエントリ付きのリストを含む、OCTフレーム毎のエントリを含む。一実施形態では、コレジストレーションテーブルはOCTフレームインデックスを登録された血管造影フレームインデックスと関連付ける。更に、テーブルは、OCTフレーム及び血管造影フレームを関連付けるエントリを含んでよい。
追加マルチモーダルコレジストレーション特徴及び実施形態
一実施形態では、コレジストレーションは、2つ以上のデータ収集モダリティからのフレームを同期すること、又は2つ以上のデータ収集モダリティから情報を結合することを指す。例えば、OCT画像で検出される分岐は、血管造影画像で検出される分岐に関してアンカとして使用できる。ここで列挙されるコレジストレーション特徴はOCTに制限されない。代わりに、血管系及び個々の血管に関係する撮像データ収集モダリティ又は他のデータ収集モダリティに関係するここで説明される特徴は、他の血管内撮像モダリティに拡張できる。本発明の一実施形態では、血管の中心線は、血管を通るガイドワイヤ又はカテーテルの前進の間にMediguideのMedical Position System等の追跡システムによって追跡されるガイドワイヤ又はカテーテルの経路から決定される。
一実施形態では、OCT画像処理を使用してデータのOCTフレームで検出される側枝は、血管造影データとのコレジストレーションを改善する為の入力として使用できる。例えば、一実施形態では、各OCTフレームは、側枝が存在するかどうかを示すフラグ(はい/いいえ)を含む。更に、コレジストレーションが得られると、ステント、カルシウム沈着、脂質沈着、血栓、無症候性破裂性プラーク(TCFA又は「不安定プラーク」)、血管正規化、側枝検出、(OCT画像データに基づいて血管抵抗率(VRR)値として計算されてよい)FFR値、内腔サイズ値、ステント、及び本明細書に記載の多様な他のデータを、データセット間のコレジストレーションを考慮して血管造影画像又はOCT画像の上にオーバレイできる。
ライブステント留置誘導実施形態及び特徴
一実施形態では、OCT/血管造影コレジストレーションに続いて、ガイドワイヤが別のカテーテルを介してステント粒子の為に引き戻し後に保持される。引き戻しの対象であった血管を撮像するプロセスは、OCTに重ね合わせ登録される、継続蛍光透視鏡撮像を介して続行する。OCTフレーム又は血管造影フレームに沿って移動すると、側枝及び他の情報を見ることができる。一実施形態では、多様な処理ステップが、事前ステント、3‐D重ね合わせ登録済み仮想組織構造、内腔検出、ガイドワイヤ検出、ステント不完全密着、プラーク検出等のOCTデータに関して実行される。OCTフレーム及び血管造影フレームが登録されるため、OCTフレームで検出される情報は、オペレータがステントを留置する為に使用する血管造影画像にオーバレイできる。側枝をユーザインタフェース上の血管造影図に示すことができる場合、これはステント配備中の側枝の望ましくない閉じ込めを回避するのに役立つことがある。
更に、以前に配備された、又は配備の為の候補であるステントに関係する多様なタイプのオーバレイを、コレジストレーションに続いてOCT画像及び血管造影画像の一方又は両方に表示できる。例えば、生体吸収性スキャフォールド(BVS)、つまりX線透過性である新しいタイプのステントが、OCT画像処理を使用してOCTフレームで検出できる。このOCT画像データは、係るステントはX線によって可視にならない為、血管造影データとの関連で重要である特定のタイプのステントオーバレイを提供する為に使用できる。データオーバレイの別の特殊なケースとして、一実施形態では、所定のOCTフレームからのステント不完全密着の情報は、他の印をカラーコード化又は生成して、X線画像上のステント画像を修正して、不完全密着の領域を示す為に使用できる。
更に、ステント送達プローブ上のマーカを追跡できることを考慮すれば、刺激を受けたステントは、OCT長手方向モードつまりLモードでマーカに関して示すことができる。血管造影法/OCTコレジストレーションは組織特徴、内腔特徴、及び例えばバルーン又はステントの挿入等の移動特徴の相互参照を、オーバレイと共に、及びLモードでのステント断面等の要素の表示と共に示すことができる。ステントのスキャンがワイヤフレームモデルとして得られる、又はステント術の前にドロップダウンメニューから選択される場合、直径及び長さはLモード又は血管造影法でのステントをより高い精度で表示する為に使用できる。
一実施形態では、狭窄/MLA計算に基づいて側枝及び標的配備部位のようなステント術を回避する為の部位を示すOCT画像及び/又は血管造影画像上のバンドを使用できる。血管造影ディスプレイ及びOCTディスプレイは、ユーザが標的領域の中にステントを適切に位置決めするのに役立てる為にオーバレイを用いたより高いレベルの粒度を示す為に使用できる。更に、ステントのワイヤフレームモデル、及び血管造影システムでステントの場所と重ね合わせ登録されるOCTフレームから計算された内腔面積を考慮すれば、ステント膨張標的の為の視覚的な案内を提供し、表示できる。一実施形態では、これは、ステントの刺激を受けたワイヤフレーム及びステントの一方の端部又は両方の端部を選択的に拡大する為に使用される拡大バルーンを使用して実行できる。OCT及び血管造影法を使用するこれらのタイプの調査は、ステント挿入前、ステント挿入後、又は将来のフォローアップの一部として使用できる。
一実施形態では、引き戻しが実行されるとき、OCTデータ及び血管造影データは記憶される。この記憶されたデータは動脈の画像又はモデルを生成する為に使用できる。係るモデルを用いると、以後の引き戻し中のライブステント留置が強化される。このようにして、事前の既存のOCT/血管造影コレジストレーション情報はベースラインとして使用できる。
また、血管造影データは、OCT画像表示特徴又は検出アルゴリズムを通知又は改善又は訂正する為にも使用できる。血管造影データからのOCTの1つの補正は、コレジストレーションツールによって測定されるフレーム間の実際の物理的な分離を示す為にLモードでOCTフレームの間隔を空け直すことである。これが、血管内腔に比して一定の引き戻し速度を想定することから生じる間隔誤差を補償する。現実には、引き戻し速度は、心臓の動きの為に大幅に変わり、我々のフレームは等間隔ではない。重ね合わせ登録されたOCT及び血管造影データセットが生成されると、ソフトウェアモジュールは、フレーム対フレームの間隔を正確に測定する為に使用できる。フレーム単位の補正は所定のユーザインタフェースでLモードビューの間隔を空け直す為に適用できる。これは、3D OCTレンダリングにも適用でき、血管のより正確な視覚表現を提供するだろう。
一般に、フレームの重ね合わせ登録済みのセット、及び血管造影システムとOCTシステムとの間の双方向通信を有することによって、多様な追加利点が考えられる。血管造影情報は異なる血管の為に生成されたトレースを含む。これらの枝の接合点は特定のフレームにマッピングして、OCT側枝検出を知らせることができる。一実施形態では、血管造影法の間に得られる血管造影データ及びOCTを記憶することによって、異なる時点でのOCT画像を2つの異なるOCTデータセット間のブリッジ又はリンカとして働く血管造影データと重ね合わせ登録する為に使用できる、レコードを継時的に構築できる。
一実施形態では、圧力プローブ又は他のデータ収集モダリティが、データを収集して、別の撮像モダリティ又はパラメータを使用して血管の表現を改善する為に使用できる。一実施形態では、VRRは、各狭窄の全体的なFFR値に対するパーセンテージ貢献を計算し、血管造影データに相対的なパーセンテージを表示する為に使用できる。更に、OCT画像又は血管造影画像からの側枝位置情報は、撮像されている血管近くの領域での追加の接合点及び流れの点を識別することによってVRR計算を改善する為に使用できる。
一実施形態では、システム及び方法が、OCT Lモードで血栓切除カテーテルを監視する為に使用できる。つまり、これは、本明細書に記載の刺激を受けたステント及び位置合わせデータを使用する誘導式ステント術と共に使用できる。一般に、部分的には、本発明はX線不透過性マーカバンドを有する任意の治療デバイスの追跡、及びOCT Lモード画像及び以前に取得された、重ね合わせ登録済みのX線画像にその位置を表示することに関する。治療デバイスは、ステント又は血栓切除カテーテル、又は例えば血管造影バルーン若しくは薬剤溶出バルーン等のバルーンデバイス、又は回転性粥腫切除プローブ(ロータブレータ)等の切除デバイスであってよい。
血管造影法及び血管内データ収集方法及びシステムを実装する為の非制限的なソフトウェア特徴及び実施形態
以下の説明は、本明細書に記載の本発明の方法を実行する為に適したデバイスハードウェア及び他の動作構成要素の概要を提供することを目的としている。この説明は本発明の適用可能な実施形態又は範囲を制限することを目的としていない。同様に、ハードウェア及び他の動作構成要素は、本明細書に記載の機器の部分として適切であってよい。本発明は、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの電子デバイス又はプログラマブル電子デバイス、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ等で実践できる。
発明を実施する為の形態の幾つかの部分は、アルゴリズム、及びコンピュータメモリ内部のデータビットに対する動作の象徴的な表現の観点で提示されている。これらのアルゴリズムの説明及び表現は、コンピュータ及びソフトウェアに関係する分野の当業者によって使用できる。一実施形態では、アルゴリズムはここでは、また一般的に、所望の結果に繋がる演算の首尾一貫したシーケンスであると考えられる。方法、ステップとして実行される、又はその他の本明細書に記載の動作は、物理的な量の物理的な操作を必要とする演算である。必ずしもではないが、通常、これらの量は、記憶、転送、結合、変換、比較及びその他の操作が可能な電気信号又は磁気信号の形を取る。
以下の説明から明らかとして明確に別段の記述がない限り、説明を通して、「処理する」又は「算出する」又は「計算する」又は「比較する」又は「アーク長測定する」又は「検出する」又は「トレースする」又は「マスクする」又は「サンプリングする」又は「動作する」又は「生成する」又は「決定する」又は「表示する」等の用語を利用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的な(電子的な)量として表されるデータを操作し、コンピュータシステムメモリ若しくはレジスタ若しくは他の係る情報記憶デバイス、伝送デバイス、若しくは表示デバイス内部の物理量として同様に表される他のデータに変換する、コンピュータシステム又は類似する電子コンピューティングデバイスのアクション及びプロセスを指す。
本発明は、幾つかの実施形態では、本明細書の動作を実行する為の機器にも関する。この機器は、必要とされる目的の為に特に構築されてよい、又はそれはコンピュータに記憶されるコンピュータプログラムによって選択的に活性化又は再構成される汎用コンピュータを含んでよい。
本明細書に提示されるアルゴリズム及びディスプレイは、任意の特定のコンピュータ又は他の機器に本質的に関係していない。多様な汎用システムが本明細書の教示に従ってプログラムと共に使用されてよい、又は必要とされる方法ステップを実行する為により特殊化した機器を構築することが便利であると判明してよい。様々なこれらのシステムにとって必要とされる構造は以下の説明から現れる。
本発明の実施形態は、プロセッサ(例えば、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、又は汎用コンピュータ)、プログラム可能論理回路(例えば、フィールドプログラマブルゲートアレイ(FPGA)若しくは他のPLD)と使用する為のプログラマブル論理、離散構成要素、集積回路網(例えば、特定用途向け集積回路(ASIC))、又はその任意の組み合わせを含む任意の他の手段と共に使用する為のコンピュータプログラム論理を含むが、決してこれに限定されない多くの異なる形で実装されてよい。本発明の典型的な実施形態では、OCTプローブ、FFRプローブ、血管造影システム、及び他の撮像監視デバイス及び被験者監視デバイス、並びにプロセッサベースのシステムを使用して収集されるデータの処理のいくらか又は全ては、コンピュータ実行可能形式に変換され、例えばコンピュータ可読媒体に記憶され、オペレーティングシステムの制御下でマイクロプロセッサによって実行されるコンピュータプログラム命令のセットとして実装される。従って、例えば引き戻し又はコレジストレーション要求の完了に基づいたユーザインタフェース命令及びトリガは、OCTデータを生成し、上述された多様な特徴及び他の特徴及び実施形態を使用して画像処理を実行する為に適したプロセッサが理解可能な命令に変換される。
本明細書に上述される機能性の全て又は部分を実装するコンピュータプログラム論理は、ソースコード形式、コンピュータ実行可能形式、及び多様な中間形式(例えば、アセンブラ、コンパイラ、リンカ、又はロケータによって生成される形式)を含むが、決してこれに限定されない多様な形式で具現化されてよい。ソースコードは、多様なオペレーティングシステム又は動作環境と使用する為に、多様なプログラミング言語(例えば、オブジェクトコード、アセンブリ言語、又は例えばFortran、C、C++、JAVA(登録商標)、若しくはHTML等の高水準言語)のいずれかで実装される一連のコンピュータプログラム命令を含んでよい。ソースコードは、多様なデータ構造及び通信メッセージを定義し、使用してよい。ソースコードは、コンピュータ実行可能形式(例えば、インタプリタを介して)であってよい、又はソースコードは(例えば、トランスレータ、アセンブラ、若しくはコンパイラを介して)コンピュータ実行可能形式に変換されてよい。
コンピュータプログラムは、例えば半導体記憶デバイス(例えば、RAM、ROM、PROM、EEPROM、若しくはフラッシュプログラマブルRAM)、磁気記憶デバイス(例えば、ディスケット若しくは固定ディスク)、光記憶デバイス(例えば、CD−ROM)、PCカード(例えば、PCMCIAカード)、又は他の記憶デバイス等の有形記憶媒体に、恒久的又は一時的に任意の形式(例えば、ソフトコード形式、コンピュータ実行可能形式、若しくは中間形式)で固定されてよい。コンピュータプログラムは、アナログ技術、デジタル技術、光技術、無線技術(例えばBluetooth(登録商標))、ネットワーキング技術、及びインターネットワーキング技術を含むが、決してこれに限定されない多様な通信技術のいずれかを使用してコンピュータに送信可能である信号で任意の形式で固定されてよい。コンピュータプログラムは、コンピュータシステムで(例えば、システムROM又は固定ディスク上に)予めロードされる、又は通信システム(例えば、インターネット又はワールドワイドウェブ)上でサーバ又は電子掲示板から配布される、添付の印刷文書又は電子文書(例えば、パッケージソフトウェア)と共にリムーバブル記憶媒体として任意の形式で配布されてよい。
本明細書に上述された機能性の全て又は部分を実装する(プログラム可能論理回路と使用する為のプログラマブル論理を含む)ハードウェア論理は、従来の手動方法を使用して設計されてよい、又はコンピュータ支援設計(CAD)、ハードウェア記述言語(例えば、VHDL若しくはAHDL)、又はPLDプログラミング言語(例えば、PALASM、ABEL、若しくはCUPL)等の多様なツールを使用して電子的に設計、取り込み、シミュレーション、又は文書化されてよい。
プログラマブル論理は、例えば半導体記憶デバイス(例えば、RAM、ROM、PROM、EEPROM、若しくはフラッシュプログラマブルRAM)、磁気記憶デバイス(例えば、ディスケット若しくは固定ディスク)、光記憶デバイス(例えば、CD−ROM)、又は他の記憶デバイス等の有形の記憶媒体に、恒久的又は一時的に固定されてよい。プログラマブル論理は、アナログ技術、デジタル技術、光技術、無線技術(例えばBluetooth)、ネットワーキング技術及びインターネットワーキング技術を含むものの必ずしもこれらに限定されない多様な通信技術のいずれかを使用してコンピュータに送信可能である信号で固定されてよい。プログラマブル論理は、コンピュータシステムで(例えば、システムROM又は固定ディスク上に)予めロードされる、又は通信システム(例えば、インターネット又はワールドワイドウェブ)上でサーバ若しくは電子掲示板から配布される、添付の印刷文書又は電子文書(例えば、パッケージソフトウェア)と共にリムーバブル記憶媒体として任意の形式で配布されてよい。
適切な処理モジュールの多様な例がより詳細に以下に説明される。本明細書で説明されるように、モジュールは、特定のデータ処理タスク又はデータ伝送タスクを実行する為に適したソフトウェア、ハードウェア又はファームウェアを指す。一実施形態では、モジュールは、命令、又は例えば血管造影データ、OCTデータ、FFRデータ、IVUSデータ、コレジストレーションテーブルデータ、中心線、陰影、ピクセル、輝度パターン、及び本明細書に記載の他の目的の情報等の多様なタイプのデータを受信する、変換する、送る及び処理する為に適したソフトウエアルーチン、プログラム、又は他のメモリ常駐アプリケーションを指す。
本明細書に記載のコンピュータ及びコンピュータシステムは、データを入手、処理、記憶及び/又は通信する際に使用されるソフトウェアアプリケーションを記憶する為のメモリ等の、動作可能に結合されたコンピュータ可読媒体を含んでよい。係るメモリは、その動作可能に結合されたコンピュータ又はコンピュータシステムに対して内部にあるか、外部にあるか、離間しているか又は局所的に存在してよいことが理解できる。
また、メモリは、例えば及び制限なく、ハードディスク、光ディスク、フロッピー(登録商標)ディスク、DVD(デジタルバーサタイルディスク)、CD(コンパクトディスク)、メモリスティック、フラッシュメモリ、ROM(読み出し専用メモリ)、RAM(ランダムアクセスメモリ)、DRAM(動的ランダムアクセスメモリ)、PROM(プログラマブルROM)、EEPROM(電気的消去可能PROM)及び/又は他の類似したコンピュータ可読媒体を含む、ソフトウェア命令又は他の命令を記憶する為の任意の手段も含んでよい。
一般に、本明細書に記載の本発明の実施形態に関連して適用されるコンピュータ可読メモリ媒体は、プログラマブル機器によって実行される命令を記憶できる任意のメモリ媒体を含んでよい。必要に応じ、本明細書に記載の方法ステップは、1つ又は複数のコンピュータ可読メモリ媒体に記憶される命令として具現化又は実行されてよい。これらの命令は、例えばC++、C、Java(登録商標)等の多様なプログラミング言語、及び/又は本発明の実施形態に従って命令を作成する為に適用されてよい様々な他の種類のソフトウェアプログラミング言語で具現化されるソフトウェアであってよい。
本発明の態様、実施形態、特徴及び例は、あらゆる点で例示的なものと考えるべきであり、本発明を制限することを目的とするものではなく、本発明の範囲は特許請求の範囲によってのみ定義される。他の実施形態、変更形態、及び使用は、請求されている本発明の精神及び範囲から逸脱することなく、当業者には明らかであろう。
本願の見出し及び項の使用は、本発明を制限することを意図しておらず、各項は本発明の任意の態様、実施形態又は特徴に適用できる。
本願を通して、構成物が特定の構成要素を有する(having)、含む(including)若しくは備える(comprising)として説明される場合、又はプロセスが特定のプロセスステップを有する、含む若しくは備えるとして説明される場合、本教示の構成物も列挙される構成要素から成る又は実質的に成ること、及び本教示のプロセスが列挙されるプロセスステップから成る又は実質的に成ることが意図される。
本願では、要素又は構成要素が、列挙されている要素若しくは構成要素のリストに含まれる及び/又は該リストから選択されると言われる場合、該要素又は該構成要素が列挙される要素又は構成要素のいずれか1つであってよく、列挙されている要素又は構成要素の内の2つ以上から成るグループから選択できることが理解されるべきである。更に、本明細書に記載の構成物、デバイス又は方法の要素及び/又は特徴が、本明細書で明示的であるのか、暗示的であるのかに関わりなく、本教示の精神及び範囲から逸脱することなく様々な方法で結合できることが理解されるべきである。
用語「含む(include,includes)」、「含む(including)」、「有する(have,has」又は「有する(having)」の使用は、明確に別段の記述がない限り、概してオープンエンド且つ非制限的として解釈されるべきである。
本明細書での単数形の使用は、そうでないことが明記されていない限り、複数形を含む(逆の場合も同様である)。更に、単数形「ある(a,an)」及び「その(the)」は、文脈からそうでないことが明らかでない限り、複数形を含む。更に、用語「約」の使用が定量値の前である場合、そうでないことが明記されていない限り、本教示はその特定の定量値自体も含む。
ステップの順序又は特定のアクションを実行する為の順序は、本教示が操作可能である限り重要ではないことが理解されるべきである。更に、2つ以上のステップ又はアクションが同時に実施されてよい。
値の範囲又はリストが提供される場合、値の範囲又はリストの上限と下限との間それぞれの中間の値は個別に考慮され、各値が明確に本明細書に列挙されているかのように、本発明の中に包含される。更に、所定の範囲の上限と下限の間、並びに所定の範囲の上限及び下限を含むより小さな範囲が考慮され、本発明の中に包含される。典型的な値の列挙又は範囲は、所定の範囲の上限と下限の間、並びに所定の範囲の上限及び下限を含む他の値又は範囲の否定ではない。
請求されている発明の多様な態様は、本明細書に開示される技法のサブセット及びサブステップを対象とすることを理解されたい。更に、本明細書に利用される用語及び表現は、限定のための用語としてではなく説明のための用語として使用され、係る用語及び表現の使用には、図示及び説明される特徴又はその一部分のいずれの均等物を排除する意図はないが、請求されている本発明の範囲内において多様な変更形態が可能であることが認識される。従って、特許証によって保証されることが所望の内容は、以下の特許請求の範囲において定義及び区別される本発明であり、これは全ての均等物を含む。

Claims (14)

  1. 血管の血管造影表現及び血管内表現を表示する、プロセッサ装置の作動方法であって:
    光コヒーレンストモグラフィシステムを使用した前記血管を通るプローブの引き戻し中に得られた前記血管の距離測定に応答して、光コヒーレンストモグラフィ画像データのセットを生成することであって、前記光コヒーレンストモグラフィ画像データのセットは前記血管に沿った複数の位置における複数の断面画像を含む、生成すること;
    前記光コヒーレンストモグラフィシステムを使用した前記血管を通る前記プローブの前記引き戻し中に血管造影システムを用いて生成された血管造影画像データであって、記引き戻し中の異なる複数の時点において得られた複数の二次元画像を含む前記血管造影画像データと前記光コヒーレンストモグラフィデータとの検出、並びに前記血管造影データと前記光コヒーレンストモグラフィデータとの間の重ね合わせ登録それぞれに関する信頼スコアを生成すること;
    前記OCT画像データを用いて生成された前記血管の第1の長手方向ビューを含む第1のパネルを表示すること;並びに
    前記血管を識別する前記血管造影画像データのフレームを含む第2のパネルを、前記フレーム内の1つ又は複数の点及び前記1つ又は複数の点を通過する血管中心線を用いて、表示すること
    を含む、方法。
  2. 追跡されるマーカの連続的な位置合わせを生成するために、前記血管中心線を用いて前記OCT画像データと前記血管造影データとを重ね合わせ登録することを更に含み、
    前記追跡されるマーカは、OCTデータ収集プローブ上に配置される、請求項1に記載の方法。
  3. 前記第2のパネルにおいて前記血管造影データに示された前記血管中心線に沿ったユーザ選択ポイントを移動させることにより、前記第1の長手方向ビューにおけるフレーム識別子が移動して表示されるように、前記OCT画像データと前記血管造影データとを重ね合わせ登録することを更に含む、請求項1に記載の方法。
  4. 前記OCT画像データと前記血管造影データとを重ね合わせ登録することが、前記OCTデータ収集プローブのマーカの候補の位置を検出すること、及び、検出されたマーカの候補を引き戻し速度及び又は引き戻し長さに基づいて排除するために前記引き戻し長さ又は前記引き戻し速度を用いることを更に含む、請求項2に記載の方法。
  5. 前記血管中心線は、最短経路技術及びダイクストラアルゴリズムからの複数の処理ステップを用いて生成される、請求項1に記載の方法。
  6. 血管の血管造影表現及び血管内表現を表示する、プロセッサ装置の作動方法であって:
    光コヒーレンストモグラフィシステムを使用した前記血管を通るプローブの引き戻し中に得られた前記血管の距離測定に応答して、光コヒーレンストモグラフィ画像データのセットを生成することであって、前記光コヒーレンストモグラフィ画像データのセットは前記血管に沿った複数の位置における複数の断面画像を含む、生成すること;
    前記OCT画像データを用いて生成された前記血管の第1の長手方向ビューを含む第1のパネルを表示すること
    前記光コヒーレンストモグラフィシステムを使用した前記血管を通る前記プローブの前記引き戻し中に血管造影システムを用いて生成された血管造影画像データであって、前記引き戻し中の異なる複数の時点において得られた複数の二次元画像を含む前記血管造影画像データのフレームであり、前記血管を識別する前記血管造影画像データのフレームを含む第2のパネルを、前記フレーム内の1つ又は複数の点及び前記1つ又は複数の点を通過する血管中心線を用いて、表示すること;並びに
    輝度プロファイルの重畳を用いて、前記血管造影データの1つ又は複数のフレームから、ガイドカテーテル画像を除去すること
    を含む、方法。
  7. 血管の血管造影表現及び血管内表現を表示する、プロセッサ装置の作動方法であって:
    光コヒーレンストモグラフィシステムを使用した前記血管を通るプローブの引き戻し中に得られた前記血管の距離測定に応答して、光コヒーレンストモグラフィ画像データのセットを生成することであって、前記光コヒーレンストモグラフィ画像データのセットは前記血管に沿った複数の位置における複数の断面画像を含む、生成すること;
    前記OCT画像データを用いて生成された前記血管の第1の長手方向ビューを含む第1のパネルを表示すること;並びに
    前記光コヒーレンストモグラフィシステムを使用した前記血管を通る前記プローブの前記引き戻し中に血管造影システムを用いて生成された血管造影画像データであって、前記引き戻し中の異なる複数の時点において得られた複数の二次元画像を含む前記血管造影画像データのフレームであり、前記血管を識別する前記血管造影画像データのフレームを含む第2のパネルを、前記フレーム内の1つ又は複数の点及び前記1つ又は複数の点を通過する血管中心線を用いて、表示すること、を含み、
    前記血管中心線は、造影剤液の実質的な不在下において、1つ又は複数の血管造影フレームから生成された経路情報を用いて生成される、
    方法。
  8. 血管造影画像データと、血管を通る引き戻し中に得られる血管内画像データとを重ね合わせ登録する、プロセッサ装置の作動方法であって:
    光コヒーレンストモグラフィデータの複数のフレームをメモリに記憶すること;
    前記血管造影画像データの複数のフレームをメモリに記憶すること;
    1つ又は複数の陰影が実質的に削減されるように、前記血管造影画像データの前記複数のフレームを処理すること;
    前記血管造影画像データの前記複数のフレームにおいてカテーテルを検出すること;
    前記血管造影画像データの前記複数のフレーム内の検出された前記カテーテルを除去すること;
    前記血管造影画像データの前記複数のフレームに関して血管中心線を生成すること;
    前記血管造影画像データの前記複数のフレームにおいてプローブマーカを検出すること;
    1つ又は複数の前記血管中心線に沿って、前記プローブマーカの位置を追跡すること;及び
    前記血管造影画像データの前記複数のフレームと、前記光コヒーレンストモグラフィデータの前記複数のフレームとを、追跡された前記位置を用いて重ね合わせ登録すること
    を含む、方法。
  9. 前記血管造影画像データのあるフレームと前記光コヒーレンストモグラフィデータのあるフレームとの間の重ね合わせ登録における信頼のレベルを示すスコアを生成するステップを更に含む、請求項8に記載の方法。
  10. 前記検出されたカテーテルを除去するステップは、前記検出されたカテーテルの領域のサンプリングに基づいて生成された輝度プロファイルの重畳を用いて実行される、請求項8に記載の方法。
  11. 前記血管造影画像データの前記複数のフレームと、前記光コヒーレンストモグラフィデータの前記複数のフレームとを重ね合わせ登録するステップは、コンピューティングデバイスを用いてコレジストレーションテーブルを生成することを含み、
    前記コレジストレーションテーブルは、血管造影画像フレーム、フレーム毎の複数のOCTタイムスタンプ、フレーム毎の複数の血管造影タイムスタンプ、及び光コヒーレンストモグラフィ画像フレームを含む、請求項8に記載の方法。
  12. 前記コレジストレーションテーブル及びコンピューティングデバイスを用いて、ユーザインタフェース内のOCT画像及び血管造影画像にステント表現を表示することを更に含む、請求項11に記載の方法。
  13. 前記コレジストレーションテーブルと、側枝を表示するよう構成されたユーザインタフェースとを用いて、前記側枝を1つ又は複数の前記OCT画像及び前記血管造影画像において識別することを更に含む、請求項11に記載の方法。
  14. 前記コレジストレーションテーブルに基づいてOCTデータのフレームの間隔を設定することにより、引き戻し速度変化を調整し、前記間隔に基づいてユーザインタフェースに長手方向ビューを表示することを更に含む、請求項11に記載の方法。
JP2016500031A 2013-03-12 2013-03-12 プロセッサ装置の作動方法 Active JP6388632B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/030623 WO2014175853A1 (en) 2013-03-12 2013-03-12 Vascular data processing and image registration systems, methods, and apparatuses

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018152711A Division JP6726714B2 (ja) 2018-08-14 2018-08-14 血管内プローブマーカを検出するためのシステムの作動方法、及び血管造影データと、血管に関して取得された血管内データとを重ね合わせ登録するためのシステムの作動方法

Publications (2)

Publication Number Publication Date
JP2016516466A JP2016516466A (ja) 2016-06-09
JP6388632B2 true JP6388632B2 (ja) 2018-09-12

Family

ID=48087690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016500031A Active JP6388632B2 (ja) 2013-03-12 2013-03-12 プロセッサ装置の作動方法

Country Status (7)

Country Link
EP (2) EP2967480B1 (ja)
JP (1) JP6388632B2 (ja)
CN (2) CN111652917B (ja)
AU (1) AU2013387679B2 (ja)
CA (1) CA2905203C (ja)
ES (1) ES2913224T3 (ja)
WO (1) WO2014175853A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902836B (zh) 2012-11-05 2017-08-08 毕达哥拉斯医疗有限公司 受控组织消融
US10478249B2 (en) 2014-05-07 2019-11-19 Pythagoras Medical Ltd. Controlled tissue ablation techniques
JP6560597B2 (ja) * 2014-11-28 2019-08-14 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波画像の処理方法及び超音波画像の処理装置
CN106999076B (zh) 2014-12-08 2021-10-22 皇家飞利浦有限公司 脉管内损害的自动识别和分类
AU2015360265B2 (en) * 2014-12-12 2020-08-27 Desmond Adler Systems and methods to detect and display endovascular features
JP6869951B2 (ja) 2015-04-16 2021-05-12 ジェンテュイティ・リミテッド・ライアビリティ・カンパニーGentuity, LLC 撮像システム
US10383685B2 (en) 2015-05-07 2019-08-20 Pythagoras Medical Ltd. Techniques for use with nerve tissue
US10646198B2 (en) * 2015-05-17 2020-05-12 Lightlab Imaging, Inc. Intravascular imaging and guide catheter detection methods and systems
JP7023715B2 (ja) * 2015-05-17 2022-02-22 ライトラボ・イメージング・インコーポレーテッド 血管内のステントストラットカバレッジを決定するためのシステムの作動方法及びステント留置された領域を検出するための血管内画像化システムのプログラム可能なプロセッサベースのコンピュータ装置
US10109058B2 (en) 2015-05-17 2018-10-23 Lightlab Imaging, Inc. Intravascular imaging system interfaces and stent detection methods
US9996921B2 (en) 2015-05-17 2018-06-12 LIGHTLAB IMAGING, lNC. Detection of metal stent struts
JP6413927B2 (ja) 2015-05-25 2018-10-31 コニカミノルタ株式会社 動態解析装置及び動態解析システム
CN112315427B (zh) 2015-07-25 2024-08-09 光学实验室成像公司 血管内数据可视化方法
WO2017040484A1 (en) 2015-08-31 2017-03-09 Gentuity, Llc Imaging system includes imaging probe and delivery devices
GB2545407A (en) * 2015-12-10 2017-06-21 Michelson Diagnostics Ltd Processing optical coherency tomography scans
US20170202614A1 (en) * 2016-01-20 2017-07-20 Rainbow Medical Ltd. Catheter guidance and procedure planning
JP2017131348A (ja) * 2016-01-26 2017-08-03 テルモ株式会社 画像表示装置およびその制御方法、x線不透過マーカ検出方法
EP3443536B1 (en) * 2016-04-14 2021-12-15 Lightlab Imaging, Inc. Identification of branches of a blood vessel
CN106377229B (zh) * 2016-10-18 2019-04-09 全景恒升(北京)科学技术有限公司 一种旋转式声学和光学合并成像系统
CN106548213B (zh) * 2016-11-30 2019-04-23 上海联影医疗科技有限公司 血管识别方法和装置
JP2020509826A (ja) * 2017-03-09 2020-04-02 セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルSt. Jude Medical International Holding S.a,r.l. 医用画像内の基準の検出
US10842589B2 (en) 2017-03-21 2020-11-24 Canon U.S.A., Inc. Method for displaying an anatomical image of a coronary artery on a graphical user interface
EP3381371A1 (en) * 2017-03-29 2018-10-03 Koninklijke Philips N.V. Angiography panning during x-ray roadmap
JP7270331B2 (ja) * 2017-06-15 2023-05-10 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び画像処理装置
EP3424458B1 (en) 2017-07-07 2020-11-11 Leica Instruments (Singapore) Pte. Ltd. Apparatus and method for tracking a movable target
JP7054411B2 (ja) 2017-07-26 2022-04-13 キヤノン ユーエスエイ,インコーポレイテッド 血管造影画像を用いて心臓運動を評価するための方法
WO2019023382A1 (en) * 2017-07-26 2019-01-31 Canon U.S.A., Inc. METHOD FOR EVALUATING CARDIAC MOVEMENT USING ANGIOGRAPHIC IMAGE
CN107610095A (zh) * 2017-08-04 2018-01-19 南京邮电大学 基于图像融合的心脏ct冠脉全自动分割方法
EP3456266A1 (en) * 2017-09-14 2019-03-20 Koninklijke Philips N.V. Ultrasound image processing
EP3691520A1 (en) 2017-10-02 2020-08-12 Lightlab Imaging, Inc. Intravascular data collection probes and related assemblies
CN107993221B (zh) * 2017-11-16 2021-11-02 济南大学 心血管光学相干断层oct图像易损斑块自动识别方法
WO2019108598A1 (en) 2017-11-28 2019-06-06 Gentuity, Llc Imaging system
CN108198174B (zh) * 2017-12-28 2021-11-19 中科微光医疗研究中心(西安)有限公司 一种心血管ivoct与ivus自动配准方法与装置
CN108053429B (zh) * 2017-12-28 2021-11-02 中科微光医疗研究中心(西安)有限公司 一种心血管oct与冠脉造影自动配准方法与装置
CN108090901B (zh) * 2017-12-28 2021-11-19 中科微光医疗研究中心(西安)有限公司 一种基于心血管oct影像的生物支架对齐方法及装置
CN108053434B (zh) * 2017-12-28 2021-11-26 中科微光医疗研究中心(西安)有限公司 一种基于心血管oct的支架对齐方法及装置
CN108309234B (zh) * 2017-12-28 2023-07-07 佛山科学技术学院 一种三维长景深血流造影图获取装置及其实现方法
US10580526B2 (en) * 2018-01-12 2020-03-03 Shenzhen Keya Medical Technology Corporation System and method for calculating vessel flow parameters based on angiography
US11380001B2 (en) * 2018-03-02 2022-07-05 Koninklijke Philips N.V. Image registration qualification
CN108537169B (zh) * 2018-04-09 2022-01-25 吉林大学 一种基于中心线和路宽检测算法的高分辨率遥感影像道路提取方法
EP4311482A3 (en) * 2018-04-18 2024-03-06 Boston Scientific Scimed, Inc. System for assessing a vessel with sequential physiological measurements
US11145054B2 (en) 2018-07-09 2021-10-12 Canon U.S.A., Inc. Methods and systems for displaying intraluminal images
CN109674493B (zh) * 2018-11-28 2021-08-03 深圳蓝韵医学影像有限公司 医用超声自动追踪颈动脉血管的方法、系统及设备
CN109887578B (zh) * 2019-01-14 2022-10-04 深圳英美达医疗技术有限公司 一种双模数据的同步处理方法
US12076177B2 (en) 2019-01-30 2024-09-03 Canon U.S.A., Inc. Apparatuses, systems, methods and storage mediums for performance of co-registration
US12109056B2 (en) 2019-09-17 2024-10-08 Canon U.S.A., Inc. Constructing or reconstructing 3D structure(s)
EP4031008A1 (en) 2019-09-19 2022-07-27 Lightlab Imaging, Inc. Systems and methods of combined imaging
JP7514300B2 (ja) * 2019-09-20 2024-07-10 キヤノン ユーエスエイ,インコーポレイテッド 機械学習及びその結果の使用を含む人工知能コレジストレーション並びにマーカ検出
CN110956107B (zh) * 2019-11-21 2023-05-30 佛山科学技术学院 一种基于oct扫描系统的三维血管类型区分方法
CN111370099B (zh) * 2020-02-28 2024-03-15 深圳开立生物医疗科技股份有限公司 一种腔内影像辅助测量方法、装置、设备及可读存储介质
WO2021193018A1 (ja) * 2020-03-27 2021-09-30 テルモ株式会社 プログラム、情報処理方法、情報処理装置及びモデル生成方法
CN112164020B (zh) * 2020-03-31 2024-01-23 苏州润迈德医疗科技有限公司 精确提取血管中心线的方法、装置、分析系统和存储介质
WO2021200295A1 (ja) * 2020-03-31 2021-10-07 テルモ株式会社 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
CN111493830B (zh) * 2020-04-24 2023-03-24 天津恒宇医疗科技有限公司 一种基于冠脉分叉病变的oct三维可视化系统及工作方法
JP6873296B2 (ja) * 2020-04-28 2021-05-19 富士フイルム株式会社 画像処理装置、放射線画像撮影システム、画像処理方法、及び画像処理プログラム
CN113679402B (zh) * 2020-05-18 2024-05-24 西门子(深圳)磁共振有限公司 介入治疗中的图像呈现方法及系统、成像系统和存储介质
JP2021194268A (ja) * 2020-06-15 2021-12-27 パナソニックi−PROセンシングソリューションズ株式会社 血管観察システムおよび血管観察方法
CN111784720B (zh) * 2020-06-19 2023-02-28 天津大学 一种dsa和ivoct的血管图像融合方法
US12112488B2 (en) 2020-08-06 2024-10-08 Canon U.S.A., Inc. Methods and systems for image synchronization
EP4178446A4 (en) * 2020-08-10 2023-06-07 Shanghai United Imaging Healthcare Co., Ltd. IMAGING SYSTEMS AND METHODS
CN112509020B (zh) * 2020-12-07 2021-09-28 昆山戎影医疗科技有限公司 血管外部影像与腔内影像的配准方法、装置及计算设备
EP4074244A1 (en) * 2021-04-13 2022-10-19 Leica Instruments (Singapore) Pte. Ltd. Feature recognition and depth guidance using intraoperative oct
DE102021109825A1 (de) 2021-04-19 2022-10-20 Carl Zeiss Meditec Ag Mikroinstrumentsystem und Verfahren zum Aufnehmen eines Bildes sowie computerimplementiertes Verfahren zum Generieren eines Bildes
CN113138961B (zh) * 2021-06-23 2021-12-03 广州永士达医疗科技有限责任公司 一种应用于oct图像的文件转换方法、电子设备和存储介质
CN115423751A (zh) * 2021-07-13 2022-12-02 深圳市中科微光医疗器械技术有限公司 图像处理的方法、装置、电子设备及存储介质
CN113538364A (zh) * 2021-07-13 2021-10-22 深圳市中科微光医疗器械技术有限公司 一种识别易损斑块的方法和装置
CN114869235A (zh) * 2021-12-15 2022-08-09 艾柯医疗器械(北京)有限公司 一种用于神经介入的微型oct成像导管
CN114145719B (zh) * 2022-02-08 2022-04-26 天津恒宇医疗科技有限公司 双模冠脉血管图像三维融合的方法和融合系统
CN118351080A (zh) * 2024-04-18 2024-07-16 山东探微医疗技术有限公司 无分叉同一毛细血管识别方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036167A1 (en) * 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
US7930014B2 (en) * 2005-01-11 2011-04-19 Volcano Corporation Vascular image co-registration
US7379062B2 (en) * 2005-08-01 2008-05-27 Barco Nv Method for determining a path along a biological object with a lumen
DE102005045373A1 (de) * 2005-09-22 2007-04-05 Siemens Ag Kathetervorrichtung
US8538508B2 (en) * 2005-12-09 2013-09-17 Siemens Aktiengesellschaft Method and apparatus for ECG-synchronized optically-based image acquisition and transformation
EP2358269B1 (en) * 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
US10716528B2 (en) * 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
JP5451621B2 (ja) * 2007-10-01 2014-03-26 コーニンクレッカ フィリップス エヌ ヴェ 介入器具の検出及び追跡
JP5559145B2 (ja) * 2009-03-12 2014-07-23 テルモ株式会社 画像診断装置及びその作動方法
JP5721721B2 (ja) * 2009-09-23 2015-05-20 ライトラボ・イメージング・インコーポレーテッド 管腔形態および血管抵抗測定データ収集のシステム、装置および方法
EP2482727B1 (en) * 2009-09-29 2013-01-23 Koninklijke Philips Electronics N.V. Live registration for vessel treatment

Also Published As

Publication number Publication date
CA2905203C (en) 2019-07-30
CN111652917B (zh) 2024-07-09
JP2016516466A (ja) 2016-06-09
EP2967480B1 (en) 2022-04-27
CN111652917A (zh) 2020-09-11
CA2905203A1 (en) 2014-10-30
WO2014175853A1 (en) 2014-10-30
AU2013387679A1 (en) 2015-09-24
ES2913224T3 (es) 2022-06-01
EP4091536A1 (en) 2022-11-23
CN105188550B (zh) 2020-06-09
AU2013387679B2 (en) 2018-07-05
EP2967480A1 (en) 2016-01-20
CN105188550A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
JP6388632B2 (ja) プロセッサ装置の作動方法
US10687777B2 (en) Vascular data processing and image registration systems, methods, and apparatuses
JP7308238B2 (ja) X線画像特徴検出および位置合わせのシステムおよび方法
CN107787201B (zh) 血管内成像系统界面和阴影检测方法
JP5711729B2 (ja) 介入中での装置のサイズの設定の支援
JP7436548B2 (ja) プロセッサ装置の作動方法
JP2021166701A (ja) オブジェクト内データをオブジェクト外データと共に登録するための方法とシステム
JP2016507304A (ja) 物体を検出及び追跡するとともに重ね合わせるシステム
JP2008534109A (ja) 管状器官内の機器を位置決めする装置および方法
JP2018522703A (ja) 血管内データ視覚化方法
JP2015515913A (ja) 管腔の線形マッピングのための方法
JP2018519018A (ja) 血管内画像化システムインターフェイス及びステント検出方法
WO2021059165A1 (en) Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
JP6726714B2 (ja) 血管内プローブマーカを検出するためのシステムの作動方法、及び血管造影データと、血管に関して取得された血管内データとを重ね合わせ登録するためのシステムの作動方法
JP7584581B2 (ja) X線画像特徴検出および位置合わせのシステムおよび方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170428

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180309

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180814

R150 Certificate of patent or registration of utility model

Ref document number: 6388632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250