[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6535020B2 - 内視鏡画像内で可視の物体の３ｄ距離および寸法を測定するシステム - Google Patents

内視鏡画像内で可視の物体の３ｄ距離および寸法を測定するシステム Download PDF

Info

Publication number
JP6535020B2
JP6535020B2 JP2016555528A JP2016555528A JP6535020B2 JP 6535020 B2 JP6535020 B2 JP 6535020B2 JP 2016555528 A JP2016555528 A JP 2016555528A JP 2016555528 A JP2016555528 A JP 2016555528A JP 6535020 B2 JP6535020 B2 JP 6535020B2
Authority
JP
Japan
Prior art keywords
image
light
light plane
generation module
endoscopic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016555528A
Other languages
English (en)
Other versions
JP2017508529A5 (ja
JP2017508529A (ja
Inventor
シドレスキ，アビシャイ
Original Assignee
ブイ．ティー．エム．（バーチャル テープ メジャー）テクノロジーズ リミテッド
ブイ．ティー．エム．（バーチャル テープ メジャー）テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブイ．ティー．エム．（バーチャル テープ メジャー）テクノロジーズ リミテッド, ブイ．ティー．エム．（バーチャル テープ メジャー）テクノロジーズ リミテッド filed Critical ブイ．ティー．エム．（バーチャル テープ メジャー）テクノロジーズ リミテッド
Publication of JP2017508529A publication Critical patent/JP2017508529A/ja
Publication of JP2017508529A5 publication Critical patent/JP2017508529A5/ja
Application granted granted Critical
Publication of JP6535020B2 publication Critical patent/JP6535020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/028—Microscale sensors, e.g. electromechanical sensors [MEMS]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、医療用又は産業用の内視鏡、ボアスコープ及びこれらに類するデバイスに関する。具体的には、本発明は、カメラを装備した内視鏡、腹腔鏡、カテーテル、ボアスコープ、並びに他の軟性、半軟性、半硬性又は硬性を有する同様の器具によって観察される物体の寸法の正確な３次元測定を実行するためのシステムに関する。
カメラを装備したボアスコープを用いて、エンジン又は機械加工部品の内面の欠陥を検査する場合、正確な３次元測定を実行し及びこの結果を記録して、欠陥の寸法を取得し、損傷の程度を評価できるようにし、如何なる改善策を行うかを決定できるようにすることが有益である。
また、内視鏡処置の間、正確な３次元測定を実行し、内腔内の解剖学的構造、例えば、病変、狭窄、腫瘍等の寸法を取得することが有益である。このような寸法を時間に沿って追跡することによって、施される治療のレベルを更に改善させることができる。
例えば、耳鼻咽喉科医は、患者の声帯の寸法、間隙及び整列の記録を有効に活用することができる。呼吸器科医は、これに応じて、気道サイズを定量化し、治療プロトコルを確立することができる。これらのデータを監視することによって、治療の効果、疾患の進行等に関する有用な情報を得ることができる。他の例として、消化管又は胃の中のポリープのサイズを監視して、更なる処置決定をサポートすることができる。
現在、軟性を有するか硬性を有するかを問わず、及び単眼視であるか立体視であるかを問わず、最新の内視鏡を使用する医師は、取得した画像内に真のボルメトリック視野（volumetric perspective）を有さず、正確な測定を行うことができない。一般的には、解剖学的構造の隣に既知のサイズのオブジェクト（例えば、既知の直径を有するカテーテル）を置き、このオブジェクトをスケールとして用いて、寸法を推定する手法が用いられている。
幾つかの特許及び特許出願は、内視鏡処置の間、正確な３Ｄ測定を行う必要性を示し、この課題の解決策を提供することを目的とする発明を開示している。これらの特許及び特許出願は、医療機器分野の主な製造業者、例えば、オリンパス、東芝、コヴィディエン（Covidien）等によって登録又は出願されている。最新の技術（発行されている特許及び公開されている特許出願）の大部分は、内視鏡視野のフルデプス画像（full depth image）を取得することを試みている。更に、幾つかの製造業者は、立体視内視鏡検査法（stereoscopic endoscopy）を促進することによって、補完的なニーズに応えようとしている。
１９９２年２月２５日に東芝に付与されている米国特許ＵＳ５，０９０，４００号、発明の名称「Measuring Endoscope」では、標準的な回折格子によってファイバの端部において生成されるレーザパターンを照明光と同期させて観察を行う。
１９９８年７月２１日にオリンパスに付与されている米国特許ＵＳ５，７８４，０９８号、発明の名称「Apparatus for Measuring Three-dimensional Configurations」では、振動する構造光及びビームスプリッタを使用して、物体の３Ｄ構成を測定する。
２０１２年８月２１日にオリンパスに付与されている米国特許ＵＳ８，２４８，４６５号、発明の名称「Measuring Endoscope Apparatus and Program」では、２つの画像と、画像データに対する三角測量の組合せを用いて測定を行う。
２０１３年７月３０日にオリンパスに付与されている米国特許ＵＳ８，４９６，５７５号、発明の名称「Measuring Endoscope Apparatus, Program and Recording Medium」では、内視鏡と、三角測量法に基づいて、内視鏡から受信した２つの画像間の距離を測定する処理部を含むシステムが開示されている。
２０１３年１０月１５日にオリンパスに付与されている米国特許ＵＳ８，５５８，８７９号、発明の名称「Endoscope Apparatus and Measurement Method」は、更に、ユーザが両画像内の対応点をマーキングする必要がある、事実上、部分的に手動の装置及び方法を開示している。
２０１３年６月１８日にオリンパスに付与されている米国特許ＵＳ８，４６５，４１５号、発明の名称「Endoscope Apparatus and Measurement Method」は、インタレース画像内の揺れ（shake）を測定することによって、測定可能な第２の画像を生成する異なる手法を開示している。
この課題を解決しようとする更に他の手法は、例えば以下の通りである。
２０１０年６月２２日にＰａｕｌ Ｋ． Ｌｉｔｔｌｅに付与されている米国特許ＵＳ７，７４０，５７８号、発明の名称「Direct reading endoscopic measuring instrument and method」に開示されている発明は、内視鏡の遠位端から拡張され、測定される解剖学的構造の近傍に配置され、後に格納される物理的十字線（physical reticule）に関する。
２００５年４月６日に公開されているＣＮ２，６８９，８８８Ｙ号、発明の名称「Measuring type endoscope biopsy forceps」では、発明者は、疾患の程度を評価するために、色分けされた目盛り線を使用している。
更なる背景情報は、以下の特許出願、ＵＳ２００４／０２４２９６１（ＥＰ１４８００６７Ａ１に対応）、ＵＳ２００９／０２２５３２１、ＵＳ２０１２／０２８９７７８、ＵＳ２０１４／００２８８１９、ＷＯ２００５／０２７７３９Ａ１、ＷＯ２０１２／１４７６７９Ａ１、ＥＰ２１０６７４８Ａ１、ＥＰ２１６０９７４Ａ１、ＥＰ２６３０９１５Ａ１、並びに隣接する領域における３Ｄデータの測定の必要性を強調する「Lasers in Surgery and Medicine 45:377-382（2013-http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3791553/)」、タイトル「Proof-of-concept of a Laser Mounted Endoscope for Touch-Less Navigated Procedures」に開示されている。
更なる研究は、「'Calibration of laryngeal endoscopic high-speed image sequences by an automated detection of parallel laser line projections' by T. Wurzbacher et al., Medical Image Analysis 12 (2008) 300-317」を含み、ここでは、硬性内視鏡に取り付けられた既知の距離の２つの平面が声帯に交差する２本の曲線を生成し、これらは直線に近似され、画像ピクセルの粗いスケーリングのみに使用される。更なる研究論文、「'Depth-kymography: high-speed calibrated 3D imaging of human vocal fold vibration dynamics' by N. A. George et al., Phys.Med.Biol.53 (2008) 2667-2675」は、レーザ投影チャネルを備える硬性内視鏡を記述しており、これは、大きな三角測量角度（triangulation angle）及び特定の較正方法を使用して、声帯が低振幅で振動する際の声帯の前面の非常に正確な垂直測定を可能にする。これらのセットアップは、何れも、被写界深度が大きい内腔の測定には適合せず、したがって、汎用の３Ｄ測定の提供には、適さない。
本発明者の知る限り、現在の市販の医療内視鏡は、正確に３Ｄ測定を行い、結果を記録する能力を有していない。更に、３次元内視鏡検査の最新のソリューションの大部分は複雑である。これらのうちの幾つかのデバイスは、機械部品、電気部品及び光学部品の複雑な組立を含む。他に、例えば、オリンパスｉＰＬＥＸ立体視ボアスコープでは、測定される物体が顕著な特徴を有する必要があり、更に、ユーザによる更なる作業が要求されるため、プロセスが煩雑になる。
なお、本明細書で使用する用語「内視鏡」及び「内視鏡デバイス」は、医療用途で使用される内視鏡、カテーテル、腹腔鏡及びこれらに類する器具、並びに、非医療用途で使用されるボアスコープ及びこれに類する器具を含む広義の意味で使用される。
したがって、本発明の目的は、内視鏡視覚化システムの視野内で観察される物体の正確な３Ｄ測定を行うことができるシステム及び方法を提供することである。
本発明の他の目的は、既存のシステムに比べて構造的に複雑性が低く、内視鏡視覚化システムの視野内で観察される物体の正確な３Ｄ測定を行うことができるシステムを提供することである。
本発明の他の目的は、既存の手法に比べて作業が構造的に煩雑にならない、内視鏡視覚化システムの視野内で観察される物体の正確な３Ｄ測定を行うことができるシステムを提供することである。
本発明の更なる目的及び利点は、以下の説明によって明らかとなる。
本発明の第１の側面は、内視鏡画像内で可視の物体の３Ｄ距離及び寸法を測定するシステムである。このシステムは、
ａ．視覚化手段を含む軟性又は硬性の内視鏡デバイスと、
ｂ．内視鏡デバイスを動作させ、視覚化手段によって収集された画像を取得及び表示するように適応化された従来型の内視鏡検査システムと、
ｃ．光源及び光学素子を含み、光平面を生成するように構成された光平面生成モジュールと、
ｄ．処理手段、ユークリッド測定及び測地測定の両方を行うように適応化された専用ソフトウェアモジュール、グラフィカルユーザインタフェース（graphical user interface：ＧＵＩ）、ソフトウェア、ポインティングデバイス、並びにイメージングシステムによって取得されたシステム画像をグラフィクス及びテキストに重ねてユーザに表示するように適応化されたディスプレイと、を含む処理ステーションとを備える。
本発明のシステムの実施形態では、処理ステーションの構成要素の一部又は全部は、従来型の内視鏡検査システムに統合される。
本発明のシステムの実施形態は、視覚化手段の投影パラメータ、視覚化手段の歪み及び光平面パラメータの共同的な較正のためのドッキングステーションを備える。
本発明のシステムの実施形態では、専用ソフトウェアモジュールは、
ａ．光平面と構造との交差曲線に沿って３Ｄ座標を各画素に割り当てる動作、
ｂ．ユーザによって、ディスプレイ上に表示された画像に重ねられた少なくとも２点間のユークリッド測定及び測地測定を行う動作、
ｃ．間隙のユークリッド距離又は孔の直径の測定を提供及び表示し、ユーザが予めプログラムした要求によって、又は画面上の一点を指示することによって、曲線セグメントの測地測定を行って、画像内に存在する特徴の直径を測定する動作、及び
ｄ．較正プロセスの間に記録された画像から、投影パラメータ、視覚化手段の歪み及び光平面パラメータを判定する動作のうちの少なくとも１つを自動的に実行するプログラムを有する。
本発明のシステムの実施形態では、光平面生成モジュールは、
ａ．光源及び単レンズ、
ｂ．光源及び少なくとも１つのレンズを含む光学的構成、
ｃ．光源及び回析光学素子（ＤＯＥ）、
ｄ．光源及び少なくとも１つのＤＯＥを含む光学的構成、
ｅ．内視鏡の遠位端における回折格子に接続された光ファイバの近位端に配置された光源、及び
ｆ．内視鏡の遠位端におけるレンズに接続された光ファイバの近位端に配置された光源のうちの１つを備える。
本発明のシステムの実施形態では、光源は、
ａ．レーザダイオード、
ｂ．ＬＥＤ及び
ｃ．色光を生成する光源のうちの１つである。
本発明のシステムの実施形態では、光平面生成モジュールは、専用深度測定内視鏡デバイスのための特定の設計に統合されている。
本発明のシステムの実施形態では、光平面生成モジュールは、通常の既存の軟性又は硬性内視鏡デバイスに付属品として取り付けることができる独立した測定デバイスである。
本発明のシステムの実施形態では、光平面生成モジュールは、
ａ．内視鏡デバイスのワーキングチャネル内への挿入、
ｂ．２チャネルシースの内視鏡デバイスの挿入部分が挿入されるチャネルとは別の１つのチャネル内への挿入、及び
ｃ．内視鏡デバイスの遠位端の外側へのクリップ又はバンドによる取付のうちの１つによって内視鏡デバイスに取り付けられる。
本発明のシステムの実施形態では、光平面生成モジュールは、視覚化手段の対物レンズの下で、視覚化手段の焦点と光平面の間との距離を変化させるように構成されたピボットアームに取り付けられる。
本発明のシステムの実施形態は、
ａ．複数の光平面及び
ｂ．異なる線パターン又は色分けを有する光平面の少なくとも１つを有する。
本発明のシステムの実施形態は、
ａ．手動で回転又は掃引される単一の光平面及び
ｂ．画像取得カメラと同期して回転又は掃引される単一の光平面のうちの少なくとも１つを有する。
これらの実施形態において、回転又は掃引は、
ａ．ＭＥＭＳミラー、
ｂ．回転メカニズム及び
ｃ．ＭＥＭＳミラー及び回転メカニズムの組合せの１つによって達成される。
本発明のシステムの実施形態では、ディスプレイに表示される視覚化手段からの画像に網線が重ねられる。
本発明の第２の側面は、内視鏡画像内で可視の物体の３Ｄ距離及び寸法を測定する方法であり、この方法は、
ａ．請求項１記載のシステムを準備するステップと、
ｂ．非統合型付属光平面生成モジュールについて、内視鏡デバイスの先端に光平面生成モジュールを取り付け、内視鏡デバイスの先端を較正ドッキングステーションに挿入し、自動較正を実行するステップと、
ｃ．統合型又は非統合型付属光平面生成モジュールについて、測定される構造に光平面を合わせるように内視鏡デバイスを操作するステップと、
ｄ．画像を取得するステップと、
ｅ．更なる画像について、必要に応じてステップｃ及びｄを繰り返すステップと、
ｆ．解析される画像を選択し、ＧＵＩソフトウェアを使用して、光平面と構造との交差曲線上の少なくとも２点をマーキングするステップと、
ｇ．専用ソフトウェアモジュールを用いて、マーキングされた点間のユークリッド距離を測定及び表示し、点が同じ曲線セグメント上にある場合、セグメントに沿って測地距離を測定するステップと、
ｈ．必要に応じてステップｆ及びｇを繰り返し、更なる特徴を測定するステップと、
ｉ．必要に応じて測定データ及び関連する重ねられたグラフィクスを記録するステップと、
ｊ．更なる画像についてステップｆ、ｇ、ｈ及びｉを繰り返すステップと、を含む。
本発明の方法の実施形態では、ステップｆにおいて、１点のみを画像にマーキングし、ステップｇにおいて、間隙のユークリッド距離又は孔の直径の測定及び曲線セグメントの測地測定を提供及び表示し、画像内に存在する特徴の直径を測定する。これらの実施形態の幾つかにおいては、曲線セグメントは、独立したビューで表示され、これによって、内視鏡ビュー内の解剖学的特徴の歪みがない量的プロファイルを生成し、ステップｃにおいて、光平面が管状構造の縦の軸に揃っている場合、管状構造の縦断面プロファイルが提供される。これらの実施形態の幾つかにおいては、ステップｄ及びｅは、処置の間、映像入力のオンラインリアルタイム自動処理に置換される。
本発明の方法の実施形態においては、ステップｆにおいて、処理ステーションの専用ソフトウェアモジュールによって曲線セグメント又は間隙を自動的に識別及び解析し、ステップｇにおいて、測定結果を自動的に表示することにより、解剖学的特徴の測地線長若しくは直径、又は孔の解剖学的間隙若しくは直径を自動的に測定する。
本発明の方法の実施形態においては、ステップｆ乃至ｊは、処置が完了した後にオフラインで実行され、又は処置の間に最も直近に取得した画像に対してオンラインで実行される。
本発明の方法の実施形態においては、水の噴霧、生理食塩水の蒸気等を使用して、レーザ平面の視覚化を可能にする薄霧を生成する。
本発明の上述した全ての及びこの他の特徴及び利点は、添付の図面を参照する以下の例示的で非限定的な実施形態の説明によって更に明らかとなる
標準的な内視鏡視覚化システムを使用して画像化された人間の喉頭の画像に光平面に関連する特徴を重ねて示す図である。 独立した処理ステーションを含む本発明のシステムの特定の実施形態の略図である。 光平面生成モジュールを内視鏡デバイスに取り付けることができる手法を表す図である。 光平面生成モジュールを内視鏡デバイスに取り付けることができる他の手法を表す図である。 光平面生成モジュールを内視鏡デバイスに取り付けることができる他の手法を表す図である。 光平面生成モジュールを内視鏡デバイスに取り付けることができる他の手法を表す図である。 内視鏡デバイス及び光平面生成モジュールを調整するために使用されるドッキングステーションを図式的に表す図である。 標準的な気管支鏡を使用して画像化された人間の気管の画像に、気管の縦断面に揃えられた光平面に関係する特徴を重ねて示す図である。 図８の光平面と気管壁の交差によって画定され、縦断面プロファイルを構成する曲線セグメントを表す図である。
本発明は、光平面（light plane）を用いてユークリッド測定及び測地測定（geodesic measurement）を行うことによって内視鏡画像内における物体の３Ｄ距離及び寸法を測定する問題を解決する単純化された手法を提供する。本発明の内視鏡測定システムは、標準的な内視鏡視覚化手段、例えば、カメラを備える軟性又は硬性の内視鏡デバイスと、処理ステーションと、光平面を生成するための構成要素とを含む。内視鏡画像内の光平面と関心オブジェクトの間の交差曲線は、三角測量に基づいて、仮想巻き尺を使用しているかのように、カメラ座標系内で３Ｄで測定可能である。
本発明者の知る限り、この概念は、これまで、人体内及び他の内腔内の３Ｄの汎用量的内視鏡測定の実行に適応化されていない。
図１は、標準的な内視鏡を用いて画像化された人間の喉頭の画像を表している。背景技術の説明で述べたように、咽喉科学は、測定が要求される重要な臨床用途の１つである。この画像では、画像に重ねられた網線（reticle）２によって表されている光平面と、光平面及び喉頭４の交差曲線と、声帯６の間隙の測定とが図式的に示されている。
図２は、独立した処理ステーションを含む本発明のシステムの特定の実施形態の略図である。このシステムは、標準的な内視鏡視覚化手段（例えば、カメラ）を含む内視鏡デバイスと、内視鏡デバイス２２の遠位端に取り付けられた光平面生成モジュール１２と、内視鏡を動作させるために用いられる従来型の内視鏡検査システムから画像を取得する処理手段１４を含む処理ステーション１０と、ディスプレイ１６とを備える。処理手段１４は、例えば、ＰＣ若しくはラップトップコンピュータ、フィールドプログラマブルゲートアレイ（Field-Programmable Gate Array）又はデジタルシグナルプロセッサ（Digital Signal Processor）マイクロコントローラであってもよい。処理手段１４は、交差曲線に沿って各ピクセルに３Ｄ座標を割り当てる専用ソフトウェアモジュールと、ポインティングデバイスと、ユーザが指定した箇所でユークリッド測定及び測地測定を実行するためのＧＵＩを実現する更なるソフトウェアモジュールとを備える。ディスプレイ１６は、グラフィクス及びテキストが重ねられた画像をシステムのユーザに表示する。更なるソフトウェアモジュールは、自動的に検出された又はディスプレイ１６に表示される画像上でユーザが指定した孔若しくは間隙、又はポリープの直径を測定する自動モードを有する。図２に示すように、処理ステーション１０は、構成要素として、内視鏡デバイスに接続されている従来型の内視鏡検査システムから処理手段１４に画像を伝送するケーブル３４と、ポインティングデバイス及び処理ステーションへのユーザ入力のための入力手段を象徴的に表すマウス３６とを含む。
なお、他の実施形態においては、処理ステーション１０の構成要素の一部若しくは全部は、専用のアイテムである必要はなく、従来型の内視鏡検査システムの一部であってもよく、或いは、これらの機能は、従来型の内視鏡検査システムの構成要素によって実行してもよい。全ての構成要素が従来型の内視鏡検査システムに組み込まれた処理ステーション１０の実施形態は、完全一体型内視鏡検査システム（complete endoscopy suite）と呼ぶことができ、これは、従来型の内視鏡処置と、本発明の方法に基づく３Ｄ測定の両方を実行する能力を有する。
光平面は、当分野で周知の幾つかの異なる手法で生成することができる。例えば、レーザ線モジュール、例えば、単レンズにカップリングされたレーザダイオード、少なくとも１つのレンズを含む光学システム、回析光学素子（diffractive optical element：ＤＯＥ）又は少なくとも１つのＤＯＥを含む光学システムを内視鏡デバイスの遠位端に取り付けてもよく、又は、光源を光ファイバの近位端に配置し、この光ファイバを内視鏡デバイスの遠位端に設けられた回折格子又はレンズに接続してもよい。なお、光平面は、コヒーレント光から構成する必要はなく、したがって、レーザに代わる光源として、色光（例えば、色付きＬＥＤ）を生成する如何なる光源を使用してもよい。色光を生成する光源は、画像を生成するために使用される、通常、白色光である照明光の背景に対して、光平面と、この光平面が画像内の特徴に交差する部分とが可視化されるように使用される。なお、白色光源を使用して光平面を生成することができる特別な技術を使用してもよい。
内視鏡デバイスの特定の設計に光平面生成モジュールを組み込んで、専用の視覚化、距離及び深さ測定器を実現してもよい。これに代えて、光平面生成モジュールは、通常の既存の軟性又は硬性内視鏡デバイスに付属品として取り付けることができる独立したユニットとして設計してもよい。
図３〜図６は、光平面生成モジュールを内視鏡デバイスに取り付けることができる異なる手法を示している。
図３は、２チャネルシース（two channel sheath）１８を表している。内視鏡デバイスの挿入部分２２は、シース１８の上側チャネル２０に挿入され、光平面生成モジュール２６は、シース１８の下側チャネル２４に挿入される。内視鏡デバイスが使用可能なワーキングチャネル（working channel）を備えている場合、シースを使用することなく、ワーキングチャネルに光平面生成モジュールを挿入することによって、同様の構成を実現できる。
図４は、内視鏡デバイスの挿入部分２２の遠位端に恒久的に取り付けられている光平面生成モジュール２６を表している。図４には、更に、視覚化システム対物レンズ２８と、画像を捕捉するための照明を視覚化システムに提供する２つのＬＥＤ３０とが示されている。
図５Ａ及び図５Ｂは、ピボットアーム３２内の対物レンズの下に光平面生成モジュール２６が取り付けられている実施形態を表しており、これにより、視覚化システムの焦点と光平面との間の距離を変化させ、三角測量角度を大きくする精度を向上させることができる。
光平面生成モジュールを内視鏡デバイスの遠位端に取り付ける他の手法として、クリップ又はバンドを用いてもよい。この手法は、バッテリ駆動される使い捨て型の光平面生成モジュールを使用する場合に特に有用である。
他の実施形態においては、異なる線パターン又は色分けを有する複数の光平面を生成してもよい。他の実施形態においては、例えば、図６に図式的に示すように、単一の光平面を回転又は掃引してもよい。回転は、手動で行ってもよく、これにより、解剖学的構造を測定する際に、内視鏡を操作することなく、ユーザに更なる柔軟性を提供でき、或いは、回転を画像取得カメラと同期させて、解剖学的構造の３Ｄ再構築を可能にしてもよい。ＭＥＭＳミラー、回転メカニズム又はこれらの何らかの組合によって、高速の回転又は掃引を実現してもよい。
光平面は、視覚化システムの焦点及び主視野方向（primary view direction）に対する既知の位置及び向きで生成されるため、三角測量及び適切な較正に基づき、内視鏡画像の交差曲線に沿ったピクセルの３Ｄ座標を抽出することができる。
カメラ投影パラメータを発見し、歪みを改善するための較正は、周知の技術であり、この処理を自動化する技術も周知である。最も一般的には、既知の寸法の平面較正パターンが幾つかの距離及び方向から順次的に画像化され、これによって、内部／外部カメラパラメータの算出が可能になる（[Z. Zhang."A Flexible New Technique for Camera Calibration." IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000].）。
本発明のシステムにおいては、視覚化手段の投影パラメータ及び歪みを発見するために用いられるものと同じ較正プロセスを用いて、平面較正パターンの画像上の線として現れる光平面のパラメータを算出する。視覚化システムの歪みを考慮した後、例えば、最小二乗フィッティングによって、線に最もフィッティングする平面を算出してもよい。
本発明のシステムの１つの実施形態では、図７に図式的に示すような較正のためのドッキングステーションを使用する。ドッキングステーション４０は、以下のように使用される。最初に、ユーザは、内視鏡デバイスの挿入部分２２の遠位端に光平面生成モジュール２６を取り付ける。そして、ユーザは、ドッキングステーション４０内に内視鏡デバイスの先端を配置する。そして、メカニズム（図示せず）を駆動し、画像を捕捉しながら、矢印で示すように、較正パターン４２を上下に自動的に動かし、捕捉された画像をシステム処理手段１４に自動的に送信し、ここで、専用ソフトウェアが、デバイスがドッキングステーションから取り外された後に内視鏡視覚化手段によって撮影される以降の画像に適用される較正パラメータを自動的に決定する。
視覚化手段の座標系内の光平面パラメータは、既知であるため、コンピュータ画面上に網線を重ねることによって、深さ、直径等を含む距離を速やかに判定することができる。網線は、図１に示すように、透視される格子の形式であってもよい。視覚化手段の歪みを考慮して画像表示が調整されない場合、この歪みに応じて、網線が歪む。対物レンズに対して光平面が固定的に配置される実施形態においては、視覚化手段の光路に沿って網線を加えてもよく、これによって、寸法の評価のための独立型ハードウェアソリューションが実現する。
オプションとして、水又は生理食塩水の蒸気等を噴霧して、図１のようにレーザ平面を視覚化する薄霧を生成してもよい。平面を視覚化することによって、画面上の網線に代えて、又は網線と共に、深さの認識が補助される。
本発明のシステムのユーザは、通常、以下のステップを実行する。
１．非統合型付属光平面生成モジュールの場合、内視鏡デバイスの先端に光平面生成モジュールを取り付け、内視鏡デバイスの先端を較正ドッキングステーションに挿入し、自動較正を実行する。
２．測定される構造に光平面を合わせるように内視鏡デバイスを操作する。
３．専用ソフトウェアモジュールによって画像を取得し、更なる測定のためにステップ２及び３を繰り返す。測定と測定の間は、内視鏡処置を通常通り実行できるように、光平面生成モジュールをオフにしてもよい。
４．解析される画像を選択し、ＧＵＩソフトウェアモジュールを使用して、光平面と測定される構造との交差曲線上の２点以上をマーキングする。マーキングされた点間のユークリッド距離は、ＧＵＩソフトウェアモジュールによって、常に自動的に算出及び表示してもよい。点が同じ曲線セグメント上にある場合、このセグメントに沿った測地距離を算出及び表示してもよい。
５．これに代えて、ユーザによる予めプログラムされた要求に基づいて、又は画面上で１つの点をマーキングすることによって、幾つかの測定を自動的に提供してもよく、例えば、間隙のユークリッド距離を表示してもよく、又は孔の直径を測定してもよく、並びにポリープの円周に曲線をマーキングすることによってポリープの直径を算出してもよい。
６．ステップ４及び５を繰り返し、更なる特徴を測定する。
７．測定データ及び関連する重ねられたグラフィクスは、記録してもよく、更なる画像についてステップ４、５、６及び７を繰り返してもよい。
ステップ４、５、６及び７は、処置が完了した後にオフラインで実行してもよく、処置の間に最も直近に取得した画像に対してオンラインで実行してもよい。
光平面生成モジュールが完全に統合された専用内視鏡デバイスについては、較正は、製造業者によって行われており、方法は、ステップ２から開始して、以下は、上述と同様に続けられる。
他の実施形態においては、上述したステップ２において、光平面が独立して操作される。
各画像内の単一の光平面の交差曲線を視覚化する連続した画像を取得することによって、解剖学的構造の寸法を十分に測定することができる。
本発明のシステム及び方法の更なる使用例として、管腔、例えば、気管支の縦断面プロファイルを評価することもできる。このプロファイルは、光平面を管軸に整列させ、２つの横断面曲線を記録することによって取得できる。
図８は、標準的な気管支鏡を使用して画像化された人間の気管の画像を表している。カメラ画像には、気管の縦断面に整列して生成された光平面内にある網線２と、光平面と気管壁の交差によって画定される曲線セグメントａ、ｂ及びｃとが重ねられている。
図９は、量的縦断面プロファイルを含む図８からの曲線セグメントａ、ｂ及びｃを示している。矢印は、光平面に沿った内視鏡視野方向を示している。この曲線セグメントの独立したビューは、内視鏡ビュー内の解剖学的特徴の歪みがない量的プロファイルを生成し、光平面が管状構造の縦軸に揃っている場合、その縦断面プロファイルが提供される。
本発明の実施形態を例示的に記述したが、本発明は、特許請求の範囲を逸脱することなく、多くの変形例、修正例及び適用例によって実現することができる。

Claims (12)

  1. 内視鏡画像内で可視の物体の３Ｄ距離および寸法を測定するシステムにおいて、
    ａ．視覚化手段を含む軟性または硬性の内視鏡デバイスと、
    ｂ．前記内視鏡デバイスを動作させ、前記視覚化手段によって収集された画像を取得及び表示するように適応化された従来型の内視鏡検査システムと、
    ｃ．処理手段と、ポインティングデバイスと、前記視覚化手段によって取得された画像をグラフィクスおよびテキストに重ねて前記システムのユーザに提供するように適応化されたディスプレイと、を含む処理ステーションと、を備え、
    Ａ．前記システムは、さらに、
    専用測定内視鏡デバイスに特定の設計で統合された光平面生成モジュール、あるいは既存の内視鏡デバイスに取り付け可能な独立した測定デバイスである光平面生成モジュールであって、光源と、画像の中の対象オブジェクトと交差する光平面を生成するように構成された光学要素と、を含む、光平面生成モジュールと、を備え、
    Ｂ．前記処理ステーションは、さらに、
    （i）前記視覚化手段および前記光平面の所定の較正パラメータを用いて、前記内視鏡画像において可視の物体の前記３Ｄ距離と寸法を決定する歪のない画像座標を生成するように構成され、（ii）前記内視鏡画像内の構造との前記光平面の交差曲線に沿って歪のない各画像座標に３Ｄ座標を割り当てるように構成された、専用ソフトウェアと、
    （i）ユーザが特定する位置でユークリッド測定および測地測定の両方を行うように構成されたグラフィカルユーザインタフェース（ＧＵＩ）と（ii）自動的に検出された、あるいは前記ディスプレイ上に表示された画像上でユーザが指示した、孔、間隙またはポリープの直径を計測する自動モードとを実装するように構成された追加のソフトウェアと、を備える、
    システム。
  2. 前記処理ステーションの構成要素の一部または全部は、従来型の内視鏡検査システムに統合されている請求項１記載のシステム。
  3. 前記視覚化手段の投影パラメータ、前記視覚化手段の歪み、および光平面パラメータの少なくとも１つを較正するためのドッキングステーションを備える請求項１記載のシステム。
  4. 前記専用ソフトウェアは、
    ａ．前記光平面と前記オブジェクトとの交差曲線に沿って３Ｄ座標を歪のない各画像座標に割り当てる動作、
    ｂ．前記ユーザによって、前記ディスプレイ上に表示された画像に重ねられた少なくとも２点間のユークリッド測定および測地測定を行う動作、
    ｃ．間隙のユークリッド距離または孔の直径の測定を提供および表示し、ユーザが予めプログラムした要求によって、または画面上の一点を指示することによって、曲線セグメントの測地測定を行って、前記画像内に存在するオブジェクトの直径を測定する動作、および
    ｄ．較正プロセスの間に記録された画像から、投影パラメータ、視覚化手段の歪み、および光平面パラメータの少なくとも１つを判定する動作のうちの少なくとも１つを自動的に実行するプログラムを有する請求項１記載のシステム。
  5. 前記光平面生成モジュールは、
    ａ．光源および単レンズ、
    ｂ．光源および少なくとも１つのレンズを含む光学的構成、
    ｃ．光源および回析光学素子（ＤＯＥ）、
    ｄ．光源および少なくとも１つのＤＯＥを含む光学的構成、
    ｅ．前記内視鏡の遠位端における回折格子に接続された光ファイバの近位端に配置された光源、および
    ｆ．前記内視鏡の遠位端におけるレンズに接続された光ファイバの近位端に配置された光源のうちの１つを備える請求項１記載のシステム。
  6. 前記光源は、
    ａ．レーザダイオード、
    ｂ．ＬＥＤおよび
    ｃ．色光を生成する光源のうちの１つである請求項１記載のシステム。
  7. 前記光平面生成モジュールは、
    ａ．内視鏡デバイスのワーキングチャネル内への挿入、
    ｂ．２チャネルシースの前記内視鏡デバイスの挿入部分が挿入されるチャネルとは別の１つのチャネル内への挿入、および
    ｃ．前記内視鏡デバイスの遠位端の外側へのクリップまたはバンドによる取付のうちの１つによって前記内視鏡デバイスに取り付けられる請求項１記載のシステム。
  8. 前記光平面生成モジュールは、前記視覚化手段の対物レンズの下で、前記視覚化手段の焦点と光平面の間との距離を変化させるように構成されたピボットアームに取り付けられる請求項１記載のシステム。
  9. 前記光平面生成モジュールは、
    ａ．複数の光平面および
    ｂ．異なる線パターンまたは色分けを有する複数の光平面の少なくとも１つを生成するように構成される請求項１記載のシステム。
  10. 前記光平面生成モジュールは、
    ａ．手動で回転または掃引される単一の光平面および
    ｂ．前記画像取得カメラと同期して回転または掃引される単一の光平面のうちの少なくとも１つを生成するように構成される請求項１記載のシステム。
  11. 前記回転または掃引は、
    ａ．ＭＥＭＳミラー、
    ｂ．回転メカニズムおよび
    ｃ．ＭＥＭＳミラーおよび回転メカニズムの組合せの１つによって達成される請求項１０記載のシステム。
  12. 前記ディスプレイに表示される前記視覚化手段からの画像に網線が重ねられる請求項１記載のシステム。
JP2016555528A 2014-03-02 2015-02-25 内視鏡画像内で可視の物体の３ｄ距離および寸法を測定するシステム Active JP6535020B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461946841P 2014-03-02 2014-03-02
US61/946,841 2014-03-02
PCT/IL2015/050211 WO2015132778A1 (en) 2014-03-02 2015-02-25 Endoscopic measurement system and method

Publications (3)

Publication Number Publication Date
JP2017508529A JP2017508529A (ja) 2017-03-30
JP2017508529A5 JP2017508529A5 (ja) 2018-04-05
JP6535020B2 true JP6535020B2 (ja) 2019-06-26

Family

ID=54054649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016555528A Active JP6535020B2 (ja) 2014-03-02 2015-02-25 内視鏡画像内で可視の物体の３ｄ距離および寸法を測定するシステム

Country Status (5)

Country Link
US (1) US9545220B2 (ja)
EP (1) EP3113666A4 (ja)
JP (1) JP6535020B2 (ja)
IL (1) IL247540B (ja)
WO (1) WO2015132778A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017033728A1 (ja) * 2015-08-26 2018-06-14 オリンパス株式会社 内視鏡装置
TWI597042B (zh) * 2016-06-29 2017-09-01 Endoscopic with distance measuring function and distance measuring method
EP3513704B1 (en) * 2016-09-15 2021-04-28 FUJIFILM Corporation Endoscope system
RU2627974C1 (ru) * 2016-10-31 2017-08-14 Общество с ограниченной ответственностью "Турбодиагностика" (ООО "Турбодиагностика") Способ контроля формы внутренних деталей
WO2018125218A1 (en) * 2016-12-30 2018-07-05 Barco Nv System and method for camera calibration
US10395382B2 (en) * 2016-12-30 2019-08-27 Biosense Webster (Israel) Ltd. Visualization of distances on an electroanatomical map
JP2018156617A (ja) * 2017-03-15 2018-10-04 株式会社東芝 処理装置および処理システム
JP2020516408A (ja) * 2017-04-13 2020-06-11 ブイ．ティー．エム．（バーチャル テープ メジャー）テクノロジーズ リミテッド 内視鏡測定の方法および器具
WO2019017019A1 (ja) 2017-07-18 2019-01-24 富士フイルム株式会社 内視鏡装置及び計測支援方法
EP3656274A4 (en) 2017-07-18 2020-07-15 FUJIFILM Corporation ENDOSCOPY DEVICE AND MEASUREMENT SUPPORT METHOD
US20210404796A1 (en) * 2017-08-28 2021-12-30 The Johns Hopkins University Method of size measurement in mono-vision scope image
JP7115897B2 (ja) 2018-04-20 2022-08-09 富士フイルム株式会社 内視鏡装置
JP2020005745A (ja) * 2018-07-04 2020-01-16 富士フイルム株式会社 内視鏡装置
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
WO2020059377A1 (ja) * 2018-09-20 2020-03-26 日本電気株式会社 位置推定装置、位置推定方法、及びコンピュータ読み取り可能な記録媒体
US12066426B1 (en) 2019-01-16 2024-08-20 Masimo Corporation Pulsed micro-chip laser for malaria detection
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
US11944273B2 (en) 2019-06-20 2024-04-02 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
EP4016162A4 (en) 2019-08-13 2022-10-12 FUJIFILM Corporation ENDOSCOPIC SYSTEM AND METHODS OF OPERATION THEREOF
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
WO2021039719A1 (ja) 2019-08-27 2021-03-04 富士フイルム株式会社 内視鏡
EP4083678A4 (en) 2019-12-26 2023-01-25 FUJIFILM Corporation ENDOSCOPE AND ENDOSCOPE SYSTEM
CN116171398A (zh) 2020-09-02 2023-05-26 富士胶片株式会社 内窥镜系统及其工作方法
JP7475042B2 (ja) 2020-09-15 2024-04-26 学校法人昭和大学 空気漏れ可視化システム
JP2022181645A (ja) 2021-05-26 2022-12-08 富士フイルム株式会社 内視鏡業務支援装置及び内視鏡業務支援システム並びに内視鏡業務支援装置の作動方法
TWI760237B (zh) * 2021-05-26 2022-04-01 醫電鼎眾股份有限公司 使用於內視鏡之單攝影機三維掃描投影裝置及其操作方法

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4986262A (en) 1987-03-31 1991-01-22 Kabushiki Kaisha Toshiba Measuring endoscope
US5109276A (en) * 1988-05-27 1992-04-28 The University Of Connecticut Multi-dimensional multi-spectral imaging system
US5279309A (en) * 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US5436655A (en) * 1991-08-09 1995-07-25 Olympus Optical Co., Ltd. Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement
US5437290A (en) * 1991-09-06 1995-08-01 Board Of Trustees Of The Leland Stanford Jr. University System and method for monitoring intraluminal device position
US6059718A (en) * 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
JP3446272B2 (ja) * 1993-11-16 2003-09-16 ソニー株式会社 計測機能付き内視鏡
US5669871A (en) * 1994-02-21 1997-09-23 Olympus Optical Co., Ltd. Endoscope measurement apparatus for calculating approximate expression of line projected onto object to measure depth of recess or the like
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
JPH0961132A (ja) * 1995-08-28 1997-03-07 Olympus Optical Co Ltd ３次元形状計測装置
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6009189A (en) * 1996-08-16 1999-12-28 Schaack; David F. Apparatus and method for making accurate three-dimensional size measurements of inaccessible objects
JP3771988B2 (ja) * 1997-03-12 2006-05-10 オリンパス株式会社 計測内視鏡装置
EP0926998B8 (en) * 1997-06-23 2004-04-14 Koninklijke Philips Electronics N.V. Image guided surgery system
GB9713680D0 (en) * 1997-06-27 1997-09-03 Keymed Medicals & Ind Equip Improvements in or relating to optical scopes with measuring systems
US6546277B1 (en) * 1998-04-21 2003-04-08 Neutar L.L.C. Instrument guidance system for spinal and other surgery
US6459481B1 (en) * 1999-05-06 2002-10-01 David F. Schaack Simple system for endoscopic non-contact three-dimentional measurement
US6613002B1 (en) * 1999-06-05 2003-09-02 Wilson-Cook Medical Incorporated System of indicia for a medical device
DE10011790B4 (de) * 2000-03-13 2005-07-14 Siemens Ag Medizinisches Instrument zum Einführen in ein Untersuchungsobjekt, sowie medizinisches Untersuchungs- oder Behandlungsgerät
GB0010123D0 (en) 2000-04-27 2000-06-14 Univ Nottingham Planar light sheet anemometers
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US8614768B2 (en) * 2002-03-18 2013-12-24 Raytheon Company Miniaturized imaging device including GRIN lens optically coupled to SSID
WO2003105289A2 (en) 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
IL156074A0 (en) 2003-05-22 2003-12-23 Israel Aircraft Ind Ltd Measurement system for indirectly measuring defects
JP2005087468A (ja) 2003-09-17 2005-04-07 Shoji Kawahito 距離画像計測機能を有する撮像装置及び内視鏡装置
US7942896B2 (en) * 2003-11-25 2011-05-17 Scimed Life Systems, Inc. Forceps and collection assembly and related methods of use and manufacture
EP1691666B1 (en) * 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
CN2689888Y (zh) 2003-12-26 2005-04-06 祁志强 测量型内窥镜活检钳
WO2006042077A2 (en) * 2004-10-09 2006-04-20 Viatronix Incorporated Sampling medical images for virtual histology
CA2656163C (en) * 2005-03-11 2011-07-19 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7889227B2 (en) * 2005-09-15 2011-02-15 Siemens Aktiengesellschaft Intuitive user interface for endoscopic view visualization
US7740578B2 (en) 2006-02-21 2010-06-22 Little Paul K Direct reading endoscopic measuring instrument and method
JP5044126B2 (ja) * 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
US9247865B2 (en) * 2006-05-31 2016-02-02 National University Corporation Chiba University Three-dimensional-image forming device, three dimensional-image forming method and program
US8248414B2 (en) * 2006-09-18 2012-08-21 Stryker Corporation Multi-dimensional navigation of endoscopic video
US7945310B2 (en) * 2006-09-18 2011-05-17 Stryker Corporation Surgical instrument path computation and display for endoluminal surgery
US20080071141A1 (en) * 2006-09-18 2008-03-20 Abhisuek Gattani Method and apparatus for measuring attributes of an anatomical feature during a medical procedure
US7824328B2 (en) * 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US8248413B2 (en) * 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
IL186567A (en) * 2006-10-10 2014-02-27 Visionsense Ltd A method and system for navigating the colon
US8496575B2 (en) 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
US8913803B2 (en) * 2007-06-25 2014-12-16 Real Imaging Ltd. Method, device and system for analyzing images
FR2923054B1 (fr) * 2007-10-24 2009-12-11 Centre Nat Rech Scient Procede et dispositif de reconstruction du volume d'un objet a partir d'une sequence d'images de coupes dudit objet
DE102007054906B4 (de) * 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
US8248465B2 (en) 2007-12-27 2012-08-21 Olympus Corporation Measuring endoscope apparatus and program
US7821649B2 (en) 2008-03-05 2010-10-26 Ge Inspection Technologies, Lp Fringe projection system and method for a probe suitable for phase-shift analysis
JP2009240621A (ja) 2008-03-31 2009-10-22 Hoya Corp 内視鏡装置
CN102137616B (zh) * 2008-06-18 2014-09-10 雷神公司 确定焦距的透明内窥镜头
US8845526B2 (en) * 2008-07-24 2014-09-30 Massachusetts Institute Of Technology Integrated otoscope and three dimensional scanning system
WO2010014792A2 (en) * 2008-07-30 2010-02-04 Sterling Lc Method and device for incremental wavelength variation to analyze tissue
PL2344081T3 (pl) * 2008-08-26 2013-08-30 Boiangiu Andy Implant kości zębodołowej
JP5242304B2 (ja) 2008-09-04 2013-07-24 オリンパスメディカルシステムズ株式会社 観測システム
US9060704B2 (en) * 2008-11-04 2015-06-23 Sarcos Lc Method and device for wavelength shifted imaging
JP2011000258A (ja) * 2009-06-18 2011-01-06 Fujifilm Corp 内視鏡システム、内視鏡、並びに距離・照射角度測定方法
JP5570769B2 (ja) 2009-07-23 2014-08-13 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
JP2011027912A (ja) 2009-07-23 2011-02-10 Olympus Corp 内視鏡装置、計測方法、およびプログラム
JP5361592B2 (ja) * 2009-07-24 2013-12-04 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
WO2011041730A2 (en) * 2009-10-01 2011-04-07 Jacobsen Stephen C Light diffusion apparatus
WO2011041720A2 (en) * 2009-10-01 2011-04-07 Jacobsen Stephen C Method and apparatus for manipulating movement of a micro-catheter
US8828028B2 (en) * 2009-11-03 2014-09-09 Raytheon Company Suture device and method for closing a planar opening
WO2012147679A1 (ja) 2011-04-27 2012-11-01 オリンパス株式会社 内視鏡装置および計測方法
TW201245761A (en) 2011-05-10 2012-11-16 Medical Intubation Tech Corp Endoscope capable of displaying scale for determining size of image-captured object
EP2751592B1 (en) * 2011-11-07 2015-08-05 Koninklijke Philips N.V. Flexible x-ray, detector with optical shape sensing
DE102011119608B4 (de) * 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
US9742993B2 (en) * 2012-02-16 2017-08-22 University Of Washington Through Its Center For Commercialization Extended depth of focus for high-resolution optical image scanning
US20130226037A1 (en) 2012-02-27 2013-08-29 Covidien Lp Ultra-wide angle zoom projection system for real time in-situ surgical metrology
JP5980611B2 (ja) 2012-07-25 2016-08-31 オリンパス株式会社 計測内視鏡装置およびプログラム
CN105594205B (zh) * 2013-10-02 2017-09-26 奥林巴斯株式会社 三维图像系统

Also Published As

Publication number Publication date
EP3113666A4 (en) 2017-12-27
US20160287141A1 (en) 2016-10-06
WO2015132778A1 (en) 2015-09-11
JP2017508529A (ja) 2017-03-30
US9545220B2 (en) 2017-01-17
EP3113666A1 (en) 2017-01-11
IL247540B (en) 2021-02-28
IL247540A0 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
JP6535020B2 (ja) 内視鏡画像内で可視の物体の３ｄ距離および寸法を測定するシステム
JP6985262B2 (ja) 患者の体内における内視鏡の位置を追跡するための装置及び方法
JP7154832B2 (ja) 形状推定をともなう軌道情報による位置合わせの改良
US9554729B2 (en) Catheterscope 3D guidance and interface system
JP5188879B2 (ja) 医療機器
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5715312B2 (ja) 内視鏡システム
RU2544807C2 (ru) Способ и устройство для отслеживания при медицинской процедуре
US20100272318A1 (en) Endoscopic measurement techniques
JP6141559B1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP2017508529A5 (ja)
JP2009254837A (ja) 内視鏡構造と分岐構造内の標的にナビゲートするための技術
JPWO2014156378A1 (ja) 内視鏡システム
US10368720B2 (en) System for stereo reconstruction from monoscopic endoscope images
JP2012165838A (ja) 内視鏡挿入支援装置
JP6270026B2 (ja) 内視鏡観察支援装置
JP2020516408A (ja) 内視鏡測定の方法および器具
US12064191B2 (en) Surgical tool navigation using sensor fusion
JP5996279B2 (ja) 内視鏡を用いた物体計測装置及び物体計測方法並びに内視鏡先端フード
WO2022190366A1 (ja) 内視鏡用形状計測システムおよび内視鏡用形状計測方法
US20240112407A1 (en) System, methods, and storage mediums for reliable ureteroscopes and/or for imaging
JP2006218239A (ja) 手技支援システム
JP6335839B2 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20161227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180223

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180226

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190530

R150 Certificate of patent or registration of utility model

Ref document number: 6535020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250