[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6666519B2 - 計測支援装置、内視鏡システム、及びプロセッサ - Google Patents

計測支援装置、内視鏡システム、及びプロセッサ Download PDF

Info

Publication number
JP6666519B2
JP6666519B2 JP2019509089A JP2019509089A JP6666519B2 JP 6666519 B2 JP6666519 B2 JP 6666519B2 JP 2019509089 A JP2019509089 A JP 2019509089A JP 2019509089 A JP2019509089 A JP 2019509089A JP 6666519 B2 JP6666519 B2 JP 6666519B2
Authority
JP
Japan
Prior art keywords
measurement
spot
image
index
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019509089A
Other languages
English (en)
Other versions
JPWO2018180250A1 (ja
Inventor
岳一 龍田
岳一 龍田
慎一郎 園田
慎一郎 園田
一誠 鈴木
一誠 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018180250A1 publication Critical patent/JPWO2018180250A1/ja
Application granted granted Critical
Publication of JP6666519B2 publication Critical patent/JP6666519B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00195Optical arrangements with eyepieces
    • A61B1/00197Optical arrangements with eyepieces characterised by multiple eyepieces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/015Control of fluid supply or evacuation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6844Monitoring or controlling distance between sensor and tissue
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は計測支援装置、内視鏡システム、及びプロセッサ(内視鏡システムのプロセッサ)に係り、特に計測補助光を用いて被検体の大きさを計測する計測支援装置、内視鏡システム、及びプロセッサに関する。
内視鏡等の計測装置の分野では、被検体までの距離の計測、被検体の長さ及び/または大きさの算出が行われている。例えば特許文献1では、ステレオカメラで被写体距離を計測し、被写体距離と内視鏡の視野角とに基づいて被写体の大きさの目安となる目印の大きさを計算し、被写体の画像とともに目印を表示することが記載されており、この目印により被写体の大きさを知ることができる。
また、特許文献2には測定光を用いて観察部(観察対象)までの距離及び観察部の大きさを求める技術が記載されている。特許文献2では、照明光の照射方向に対して測定光を斜めに照射することで、内視鏡挿入部の先端から観察部までの距離及び観察部の位置の分解能の向上を計っている。また特許文献2では、取得した画像に物差しの画像を重畳表示して計測に用いることが記載されている。
特開2008−122759号公報 特開平7−136101号公報
上述の特許文献1ではステレオカメラにより距離を計測するため2台のカメラが必要であり、内視鏡先端部が大きくなるため被検体への負担が高くなる。さらに、距離計測を行いその結果に基づいて目印の大きさを算出するため、システム構成及び処理が複雑になる。
内視鏡による観察の場合は被写体に凹凸があることが多く、この場合撮像光学系が被写体に正対しない。このため、計測用の指標は計測光のスポットが当たっている位置において大きさの指標として最も確からしく、スポットの位置から離れるほど指標として不正確になるため、特許文献2のように物差し画像を任意の位置及び角度に移動、回転させると指標として不正確になり易い。また、計測光のスポットが計測対象から離れている場合、スポットを計測対象近くに位置させるために内視鏡をどのように操作すれば良いかが分かりづらく、迅速な計測が困難であった。
このように、従来の技術では、迅速かつ容易に計測を行うことが困難であった。
本発明はこのような事情に鑑みてなされたもので、迅速かつ容易に計測を行うことができる計測支援装置、内視鏡システム、及びプロセッサ(内視鏡システムのプロセッサ)を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る計測支援装置は、計測補助光を出射するヘッドと、計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、画像におけるスポットの位置を計測する計測部と、被写体における特定領域の実寸サイズを示す指標図形であって、画像におけるスポットの位置に応じて設定した大きさの指標図形と、画像の撮像距離を変化させた場合にスポットが画像を移動する軌跡を示す情報と、を被写体の画像においてスポットの位置の近傍に表示させる表示制御部と、を備え、ヘッドは、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る計測補助光を出射する。
第1の態様では撮像距離を変化させた場合のスポットの移動軌跡を示す情報を表示するので、ヘッド及び撮像部の進退操作等により撮像距離を変化させてスポットを計測対象(例えば、腫瘍等の特定領域)の近傍に移動させるのが容易であり、迅速かつ容易に計測することができる。また、スポットの位置に応じて設定した大きさの指標図形(マーカ)を表示するので、距離計測が不要であり、構成が簡易で処理負荷が低い。さらに、スポットの近傍に指標図形及び軌跡を示す情報を表示する(例えば、スポットの位置を中心として指標図形を表示し、スポット位置を通る軌跡を表示する)ので、スポット位置と指標図形の位置とのずれが少なく指標として正確であり、また指標図形を広範囲(画像全体等)に表示しないので処理負荷が少ない。なお、第1の態様及び後述する各態様において、被写体の画像、指標図形、及びスポットの移動軌跡を示す情報は、各種モニタ、ディスプレイ等の表示装置に表示することができる。
また、第1の態様によれば、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有し、撮像光学系の画角を横切るので、傾き角を適切に設定することにより観察距離が短い場合でも計測補助光を撮像光学系の視野に入れることができる。さらに、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有するので、観察距離の変化に対するスポットの位置変化の感度が高く、計測精度が高い。
なお第1の態様において、撮像距離を変化させた場合にスポットが画像を移動する軌跡は撮像光学系の光軸と計測補助光の光軸との関係に応じて一意に決まるので、この軌跡上の点に対して指標図形の座標を求めれば良い。軌跡におけるスポットの位置は撮像距離に対応しているので、スポット位置が異なる場合は実寸サイズが同一でも画像における指標図形の表示サイズが異なる。
このように、第1の態様に係る計測支援装置によれば、迅速かつ容易に計測を行うことができる。なお、第1の態様において指標図形の表示はリアルタイム(スポット画像を取得するフレームごとに、あるいは複数フレームに対して1回)で行ってもよいし、オフラインで行ってもよい。スポットが形成された画像を取得しておけば、指標図形及びスポットの移動軌跡を示す情報を事後的に表示することができる。
第2の態様に係る計測支援装置は第1の態様において、表示制御部は、軌跡のうちスポットの位置の近傍に表示した指標図形による特定領域の計測が有効である領域と有効でない領域とで、軌跡を示す情報を異なる態様で表示させる。本発明に係る計測支援装置では撮像光学系を用いて計測を行うので、撮像光学系の特性によっては画角の周辺部で歪曲収差が大きくなり正確な計測が困難になる場合があり、また撮像距離が近すぎて指標図形が大きくなり画像表示範囲からはみ出してしまう場合、あるいは撮像距離が遠すぎて指標図形が小さくなり計測が困難になる場合がある。このような事情に鑑み、第2の態様では指標図形による特定領域の計測が有効である領域と有効でない領域とで軌跡を示す情報を異なる態様で表示させており、これによりスポット位置近傍での計測の有効性を容易に判断することができる。
第3の態様に係る計測支援装置は第2の態様において、表示制御部は、スポットの位置が画像に対して設定された計測可能領域の内側である場合に、指標図形による特定領域の計測が有効であると判断する。第3の態様は計測有効性の判断基準の一態様を示すもので、「計測可能領域」は例えばスポットの移動軌跡の一部(画角の中央部分等)に設定することができる。
第4の態様に係る計測支援装置は第2または第3の態様において、表示制御部は、スポットの位置に基づいて算出した画像の撮像距離が計測可能範囲内である場合に、指標図形による特定領域の計測が有効であると判断する。第4の態様は計測有効性の判断基準の他の態様を示すもので、例えば、撮像距離を変化させながらスポットが形成された画像を取得することにより撮像距離とスポット位置との関係を事前に測定しておき、計測したスポット位置に応じてこの関係を参照することで距離を算出することができる。
第5の態様に係る計測支援装置は第2から第4の態様のいずれか1つにおいて、表示制御部は、指標図形による特定領域の計測が有効である場合と有効でない場合とで、軌跡を示す情報の表示に用いる文字、図形、記号、及び色彩のうち少なくとも1つを変化させる。第5の態様によれば、情報の表示態様の変化により、計測が有効であるか否かを容易に判断することができる。
第6の態様に係る計測支援装置は第2から第5の態様のいずれか1つにおいて、表示制御部は、計測したスポットの位置において指標図形による特定領域の計測が有効でない場合に、スポットの位置を指標図形による特定領域の計測が有効である範囲に誘導するための情報を出力する。第6の態様によれば、計測したスポットの位置において指標図形による特定領域の計測が有効でない場合に、スポットの位置を指標図形による特定領域の計測が有効である範囲に誘導するための情報を出力することにより、有効な計測を迅速かつ容易に行うことができる。なお第6の態様において、情報の出力は文字、図形、記号、色彩、及びこれらの変化により行ってもよいし、音声により行ってもよい。
第7の態様に係る計測支援装置は第2から第6の態様のいずれか1つにおいて、表示制御部は、指標図形による特定領域の大きさの計測が有効である場合と有効でない場合とで、指標図形を異なる態様で表示する。撮像光学系の特性によっては、例えば画角の周辺部で歪曲収差が大きくなり、そのような領域では正確な計測が困難になる場合がある。また、撮像距離が近すぎて指標図形が大きくなり画像表示範囲からはみ出してしまう場合、あるいは撮像距離が遠すぎて指標図形が小さくなり計測が困難になる場合がある。このような事情に鑑み、第7の態様では指標図形による特定領域の計測が有効である領域と有効でない領域とで指標図形を異なる態様で表示させており、これによりスポット位置近傍での計測の有効性を容易に判断することができる。
第8の態様に係る計測支援装置は第1から第7の態様のいずれか1つにおいて、スポットが形成された被写体の画像を記録する画像記録部を備え、表示制御部は画像記録部に記録された被写体の画像を読み出し、読み出した被写体の画像に指標図形を重畳して表示させる。第8の態様によれば、スポットが形成された被写体の画像を画像記録部に記録しておき、画像記録部から読み出した被写体の画像に指標図形を重畳して表示することで、事後的な計測、オフラインでの計測が可能になる。これにより、被検体に対する計測支援装置の使用時間を短くでき、被検体への負担を低減することができる。なお第8の態様において、被写体の画像をスポットの位置と関連づけて記憶することにより、画像記録部から読み出した画像に指標図形を重畳して表示することが可能である。また、指標図形の表示はスポット位置と指標図形を構成する点との関係を参照して行うことができる。
第9の態様に係る計測支援装置は第8の態様において、画像記録部は被写体の画像と指標図形とを関連づけて記録し、表示制御部は画像記録部に記録された被写体の画像と指標図形とを読み出し、読み出した指標図形を読み出した被写体の画像に重畳して表示させる。第9の態様では、「被写体の画像と指標図形との関連づけ」として例えば被写体の画像と指標図形を構成する点とを関連づけて記憶することができ、これにより指標図形を迅速かつ容易に表示することができる。
上述の目的を達成するため、第10の態様に係る内視鏡システムは、第1から第9の態様のいずれか1つに係る計測支援装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、を有する内視鏡と、を備え、ヘッドと、スポットの光学像を撮像素子に結像させる撮像レンズと、が端硬質部に設けられる。第10の態様に係る内視鏡システムでは、第1から第9の態様のいずれか1つに係る計測支援装置を備えるので、迅速かつ容易に計測を行うことができる。
第11の態様に係る内視鏡システムは第10の態様において、内視鏡は軌跡を示す情報を記憶する情報記憶部を備える。スポットの移動軌跡は撮像部及びヘッドの構成、特徴により定まるので、第11の態様のようにスポットの移動軌跡を示す情報を内視鏡の情報記憶部に記憶することで、内視鏡システム全体として多様な内視鏡に対応することができる。
第12の態様に係る内視鏡システムは第10または第11の態様において、軌跡及び指標図形の表示条件を設定する表示条件設定部を備える。第12の態様によれば、ユーザは所望の表示条件により計測を行うことができる。
上述の目的を達成するため、第13の態様に係るプロセッサは、第10から第12の態様のいずれか1つに係る内視鏡システムのプロセッサであって、計測部と、表示制御部と、を備える。第13の態様によれば、第1の態様と同様に迅速かつ容易に計測を行うことができる。
第14の態様に係るプロセッサは第13の態様において、内視鏡の情報を取得する情報取得部をさらに備え、表示制御部は、取得した情報に基づいて表示した指標図形による特定領域の計測が有効であるか否かを判断する。第14の態様のようにプロセッサに接続された内視鏡の情報に基づいて計測の有効性を判断することで、プロセッサが多様な内視鏡に対応することができる。
以上説明したように、本発明の計測支援装置、内視鏡システム、及びプロセッサ(内視鏡システムのプロセッサ)によれば、迅速かつ容易に計測を行うことができる。
図1は、本発明の第1の実施形態に係る内視鏡システムの全体構成を示す図である。 図2は、本発明の第1の実施形態に係る内視鏡システムの構成を示すブロック図である。 図3は、先端硬質部の先端側端面の構成を示す図である。 図4は、レーザモジュールの構成を示す図である。 図5は、レーザ光源モジュールの構成を示す断面図である。 図6は、撮像光学系の光軸と計測補助光の光軸との関係を示す図である。 図7は、内視鏡の挿入部を被検体内に挿入した様子を示す図である。 図8は、計測支援方法の処理を示すフローチャートである。 図9は、計測補助光の光軸が撮像光学系の撮像画角を横切る様子を示す図である。 図10は、撮距離によりスポット位置が変化する様子を示す図である。 図11は、波長とカラーフィルタの感度との関係を示す図である。 図12は、スポットの移動軌跡を利用した手技の手順を示す図である。 図13は、スポットの移動軌跡における複数の点に対して円形マーカを示す点の座標記憶する様子を示す図である。 図14は、スポット位置と円形マーカを示す点の座標との関係を示す図である。 図15は、スポット位置と円形マーカを示す点の座標とを関連づけて記憶する様子を示す図である。 図16は、表示条件設定画面の例を示す図である。 図17は、表示条件設定画面の例を示す他の図である。 図18は、表示条件設定画面の例を示すさらに他の図である。 図19は、マーカ及びスポットの移動軌跡が示された画面の例を示す図である。 図20は、計測有効領域とそれ以外の領域とで軌跡の表示態様を変えた様子を示す図である。 図21は、計測有効領域について説明するための図である。 図22は、スポットの移動軌跡において、計測有効領域の端点を表示した例を示す図である。 図23は、計測有効領域以外ではマーカの表示態様を変える様子を示す図である。 図24は、スポットの位置を計測有効領域に誘導するための情報を表示した様子示す図である。 図25は、スポットが形成された画像を示す図である。 図26は、スポットが形成された画像を記憶する様子を示す図である。 図27は、画像記録部から読み出したマーカを被写体の画像に重畳して表示する様子を示す図である。 図28は、被写体の画像とマーカを示す点の座標とを関連づけて記憶する様子を示す図である。
以下、添付図面を参照しつつ、本発明に係る計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサの実施形態について、詳細に説明する。
<第1の実施形態>
図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、プロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ)、光源装置300、及びモニタ400(表示装置)から構成される。
<内視鏡本体の構成>
内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察する。手元操作部102にはメモリ139(情報記憶部)が設けられており、撮像距離を変化させた場合に計測補助光のスポットが画像を移動する軌跡を示す情報が記憶されている。メモリ139としては、ROM(Read Only Memory)、EEPROM(Electronically Erasable and Programmable Read Only Memory)等の不揮発性の記録媒体(非一時的記録媒体)を用いることができる。また、手元操作部102には送気送水ボタンBT1、吸引ボタンBT2、及び各種の機能(通常モードと計測モードとの切替等)を割り付けられる機能ボタンBT3が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。手元操作部102を操作することにより、湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮像光学系130(撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1〜3参照)。なお、図2ではメモリ139が手元操作部102に設けられる場合について説明しているが、メモリ139はライトガイドコネクタ108内に設けてもよいし、プロセッサ200と内視鏡本体100とを接続する電気コネクタ109内に設けてもよい(図1参照)。
<軌跡情報の取得>
上述したスポットの移動軌跡を示す情報は、例えば、撮像距離を変えながら格子状のチャートを撮影して撮像距離に対応したスポット位置を計測することにより取得することができる。軌跡の形状は計測補助光の光軸L1と撮像光学系130の光軸L2との関係(図9,10参照)に応じて一意に定まるが、撮像光学系130に歪曲収差がある場合はこの歪曲収差に応じて歪曲する。この情報は、メモリ139(情報記憶部)に記憶しておくことができる。
観察、処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから可視光と赤外光のいずれか、または両方を照射することができる。また、送気送水ボタンBT1の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮像光学系130の撮像レンズ132(撮像レンズ)、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図1〜3に示すように、先端硬質部116の先端側端面116Aには撮像レンズ132が配設されている。撮像レンズ132の奥にはCMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子134(撮像素子、カラー撮像素子)、駆動回路136、AFE138(AFE:Analog Front End)が配設されて、これらの要素により画像信号を出力する。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、X−Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置(2次元配列)された複数の受光素子により構成される複数の画素を備える。撮像素子134の各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮像光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。
なお、第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。
被検体(腫瘍部、病変部)の画像、スポット(後述)の光学像は撮像レンズ132により撮像素子134の受光面(撮像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ200に出力されて映像信号に変換される。これにより、プロセッサ200に接続されたモニタ400に観察画像、円形マーカ、スポットの移動軌跡等が表示される。なお、後述する表示条件設定操作(図16〜19を参照)を画面を介して行うためのタッチパネルをモニタ400に設けてもよい。
また、先端硬質部116の先端側端面116Aには、撮像レンズ132に隣接して照明部123の照明用レンズ123A(可視光用)、123B(赤外光用)が設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
先端側端面116Aには、さらにレーザモジュール500のレーザヘッド506(ヘッド)が設けられて、プリズム512(図4参照)を介してスポット光(計測補助光)が照射される。レーザモジュール500の構成は後述する。なお、第1の実施形態では図3に示すようにレーザヘッド506が鉗子口126とは別に設けられているが、先端硬質部116で開口する鉗子口126に連通する管路(不図示)にレーザヘッド506を挿抜可能に挿通してもよい。また、撮像レンズ132と鉗子口126との間にレーザヘッド506を設けてもよい。
<レーザモジュールの構成>
図2及び図4に示すように、レーザモジュール500はレーザ光源モジュール502と、光ファイバー504と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール508(フェルール:ferrule)に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRINレンズ510(GRIN:Graded Index)が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図4の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
レーザヘッド506において、フェルール508は例えば直径が0.8mm〜1.25mmのものを用いることができる。小型化のためには細径のものの方が好ましい。上述の構成により、レーザヘッド506全体としての直径を1.0mm〜1.5mmにすることができる。
このように構成されたレーザモジュール500は挿入部104に装着される。具体的には、図2に示すようにレーザ光源モジュール502が手元操作部102に設けられ、レーザヘッド506が先端硬質部116に設けられて、光ファイバー504がレーザ光をレーザ光源モジュール502からレーザヘッド506まで導光する。なお、レーザ光源モジュール502を光源装置300内に設け、レーザ光を光ファイバー504により先端硬質部116まで導光してもよい。
図5に示すレーザ光源モジュール502は、図示せぬ電源から電力が供給されてレーザ光を出射するVLD(Visible Laser Diode)と、VLDから出射されたレーザ光を集光する集光レンズ503とを備えるピグテール型モジュール(TOSA;Transmitter Optical Sub Assembly)である。レーザ光はプロセッサ200(CPU210)の制御により必要に応じて出射することができ、計測を行う場合(計測モード)のみレーザ光を出射させることで、非出射時には通常の内視鏡と同様に使用することができる(通常モード)。
第1の実施形態において、VLDが出射するレーザ光は半導体レーザによる波長650nmの赤色レーザ光とすることができる。ただし本発明におけるレーザ光の波長はこの態様に限定されるものではない。集光レンズ503で集光されたレーザ光は、光ファイバー504によりGRINレンズ510まで導光される。光ファイバー504はレーザ光をシングル横モードで伝搬させる光ファイバーであり、径が小さく鮮明なスポットを形成することができるので、被写体(計測対象)の大きさを正確に計測することができる。光ファイバー504の途中に中継コネクタを設けてもよい。なお、被写体の種類、大きさ等の観察条件によってスポット径の大きさ、鮮明さが計測上問題とならない場合は、光ファイバー504として、レーザ光をマルチモードで伝搬させる光ファイバーを用いてもよい。また、光源としては半導体レーザの代わりにLED(Light-Emitting Diode)を用いてもよく、半導体レーザを発振しきい値以下のLED発光状態で使用してもよい。
GRINレンズ510は、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少する円筒型のグレーデッドインデックス型レンズ(ラジアル型)であり、光ファイバー504により導光されて入射したレーザ光を平行な光束にして出射するコリメータとして機能する。GRINレンズ510から出射される光束の広がりはGRINレンズ510の長さを調節することで調節でき、平行な光束のレーザ光を出射させるには(λ/4)ピッチ(λはレーザ光の波長)程度にすればよい。
GRINレンズ510の先端側にはプリズム512が装着されている。このプリズム512は計測補助光の出射方向を変更するための光学部材であり、出射方向を変更することにより、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸が撮像光学系の光軸に対し0度でない傾き角を有し、計測補助光が撮像光学系の画角を横切る。プリズム512はGRINレンズ510のレンズ径に近い大きさに形成されており、先端面が斜めにカットされて上述した傾き角に応じた頂角AL1を有する。頂角AL1の値はレーザ光の出射方向その他の条件に応じて設定することができる。
<撮像光学系の光軸と計測補助光の光軸の関係>
図6は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図6のように光軸L1が光軸L2上を通るように見える。
なお、本発明における計測補助光の光軸L1と撮像光学系の光軸L2との関係は、上述した「計測補助光の光軸と撮像光学系の光軸とが同一平面上に存在し、その同一平面上で交差する」態様に限定されるものではなく、計測補助光の光軸が撮像光学系の光軸と同一平面上に存在しなくてもよい。しかしながらこのような場合においても、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切るものとする。
計測補助光を用いた計測を行う場合、計測補助光の光軸が撮像光学系の光軸と平行(傾き角が0度)であると、光軸同士の間隔によっては計測補助光の光軸が撮像光学系の画角を横切る点までの距離が遠くなり、その結果至近距離ではスポットが撮影できず計測が困難になる。また、計測補助光の光軸が撮像光学系の光軸と平行であると、観察距離の変化に対するスポット位置変化の感度が低く、十分な計測精度が得られない場合がある。これに対し第1の実施形態のように「計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る」という構成を採用している。このような構成により、至近距離から遠距離まで広範囲の観察距離で計測でき、また距離変化に対するスポット位置変化の感度が高いため高精度に計測することができる。
<光源装置の構成>
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は光源制御部350により制御され、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
ライトガイドコネクタ108(図1参照)を光源装置300に連結することで、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
<プロセッサの構成>
図2に基づきプロセッサ200(計測部、表示制御部)の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、表示制御部、表示条件設定部、情報取得部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU210(CPU:Central Processing Unit;中央処理装置)の制御下で行われる。すなわち、CPU210は計測部、表示制御部、表示条件設定部、情報取得部としての機能を有する。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替、重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の撮像面におけるスポット位置の測定、測定した位置に基づくマーカの大きさ(ピクセル数)の算出等が行われる(後述)。画像記録部207(画像記録部)には、スポットが形成された被写体の画像等が記録される。音声処理部209は、CPU210及び画像処理部204の制御により、表示条件設定の際の警告メッセージ(音声)、及びスポット位置を計測有効領域に誘導するための音声情報をスピーカ209Aから出力する。
画像処理部204の具体的なハードウェア構成としては、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のプロセッサ(電気回路)が挙げられる。画像処理部204は1つのプロセッサで構成されていてもよいし、複数のプロセッサを組み合わせて構成されていてもよい。メモリ212は各種処理の際の一時記憶用の記憶素子と不揮発性の記憶素子(非一時的記録媒体)とを含み、計測処理に際して、CPU210及び/または画像処理部204の制御によりスポットの座標と、被写体における計測対象の実寸サイズを示す円形マーカを示す点の座標と、が関連づけて記憶される(後述)。また、メモリ212には後述する計測支援方法をCPU210及び/または画像処理部204に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。
また、プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、また可視光及び/または赤外光の照射を操作することができる。また、操作部208は図示せぬキーボード、マウス等のデバイスを含み、ユーザはこれらデバイスを介して各種処理条件、表示条件等を入力することができる。操作部208による表示条件設定については詳細を後述する(図16〜19を参照)。なお、操作モードの設定は、上述のように手元操作部102の機能ボタンBT3(図1参照)に操作モード設定機能(計測モードと通常モードとの切替等)を割り付けて行ってもよい。
<内視鏡による観察>
図7は内視鏡本体100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図7では、スポットSP0が腫瘍tm(黒色で隆起している部分)の付近に形成されている様子を示す。
<計測処理の流れ>
内視鏡システム10を用いた被検体の計測支援方法について説明する。図8は計測支援方法の処理を示すフローチャートである。
まず、内視鏡本体100の挿入部104を被検体に挿入し、内視鏡システム10を通常観察モードに設定する(ステップS10)。通常観察モードは、光源装置300から照射される照明光を被写体に照射して画像を取得し、被写体を観察するモードである。通常観察モードへの設定は内視鏡システム10の起動時にプロセッサ200が自動的に行ってもよいし、ユーザによる操作部208の操作に応じて行ってもよい。
内視鏡システム10が通常観察モードに設定されたら、照明光を照射して被写体を撮像し、モニタ400に表示する(ステップS12)。被写体の画像としては静止画を撮像してもよいし、動画を撮像してもよい。撮像の際は、被写体の種類、観察の目的等に応じて照明光の種類(可視光または赤外光)を切り換えることが好ましい。ユーザはモニタ400に表示される画像を見ながら挿入部104を進退及び/または屈曲操作して先端硬質部116を観察対象に向け、計測したい被写体を撮像する。
ステップS14では、通常観察モードから計測モードに移行するか否かを判断する。この判断は操作部208を介したユーザ操作の有無に基づいて行ってもよいし、プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、プロセッサ200が一定のフレーム間隔(1フレームごと、2フレームごと等)で通常観察モードと計測モードとを交互に設定してもよい。ステップS14の判断が否定されるとステップS12へ戻って通常観察モードでの撮像を継続し、ステップS14の判断が肯定されるとステップS16へ進んで計測モードに切り替える。
計測モードは、レーザヘッド506からレーザ光(計測補助光)を照射して被写体にスポットを形成し、スポットが形成された被写体の画像に基づいて被写体の大きさ(長さ)を計測するためのマーカを生成及び表示するモードである。計測モードでは、撮像距離を変化させた場合にスポットが画像を移動する軌跡を示す情報も表示される。第1の実施形態では計測補助光として赤色レーザ光を用いるが、内視鏡画像では消化管に赤みがかったものが多いので、計測条件によってはスポットを認識しにくくなる場合がある。そこで計測モードでは、スポットの画像取得及び位置計測の際に照明光を消灯するか、スポットの認識に影響が出ない程度に照度を下げ(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20)。このような制御は、プロセッサ200及び光源制御部350により行うことができる。
ステップS22では、計測補助光によりスポットが形成された被写体の画像を撮像する。観察距離が計測範囲内である場合、撮像光学系130の撮影画角内にスポットが形成される。以下に詳細を説明するように、観察距離に応じて画像内の(撮像素子上の)スポットの位置が異なり、表示すべきマーカの大きさ(ピクセル数)がスポットの位置に応じて異なる。
<観察距離に応じたスポット位置の変化>
第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系130の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図9(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1において観察可能であるとする。この場合、範囲R1の至近端E1、中央付近の距離E2、及び最遠端E3では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図9において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行っている。図9における範囲R1及び計測画角が「撮像画像において、円形マーカによる計測対象の大きさ計測が有効な範囲」(計測有効領域)に対応する。
図10は図6と同様に先端硬質部116を正面から見た状態を示す図であり、撮像光学系130の光軸L、計測補助光の光軸L、及び撮像素子134の撮像範囲R2の関係を仮想的に示した図である。図10は光軸L1,L2が同一平面上に存在し、その平面上で交差する場合を示している。図10では、観察距離に応じたスポット位置P4,P5,P6(観察距離がそれぞれ至近端付近、中央付近、最遠端付近の場合に対応)を示している。
図10に示すように、観察距離が至近端付近の場合のスポット位置P4と最遠端付近の場合のスポット位置P6とは、撮像光学系130の光軸Lに対し反対側に位置することが分かる。したがって、第1の実施形態では観察距離の変化に対するスポット位置の移動の感度が高く、被写体の大きさを高精度に計測することができる。
このように、撮像画像内(撮像素子134上)のスポット位置は撮像光学系130の光軸L2と計測補助光の光軸L1との関係、及び観察距離に応じて異なるが、観察距離が近ければ同一の実寸サイズ(例えば直径5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。したがって、詳細を後述するように、スポットの位置(座標)と、被写体における計測対象(例えば、腫瘍、病変等の特定領域)の実寸サイズを示す円形マーカを示す点の座標と、を関連づけてメモリ139に記憶しておき、記憶された情報を計測したスポット位置(座標)に応じて参照することで、円形マーカを示す点の座標を取得することができる。メモリ139に記憶された情報を計測処理の際にメモリ212に展開し、メモリ212に展開された情報を参照してもよい。第1の実施形態では、円形マーカを示す点の座標を取得する際に観察距離そのものを測定する必要がないので、構成が簡易で処理負荷が低い。
図8のフローチャートに戻り、撮像素子134の撮像面におけるスポットの位置計測(ステップS24)について説明する。ステップS24におけるスポットの位置計測は、赤(R)色のカラーフィルタが配設された画素の画素信号により生成される画像により行う。ここで、撮像素子134の各画素に配設されている各色(赤,緑,青)のカラーフィルタにおける波長と感度との関係は図11の通りであり、また上述のように、レーザヘッド506から出射されるレーザ光は波長650nmの赤色レーザ光である。即ち、スポット位置の測定は(赤,緑,青)のカラーフィルタのうちレーザ光の波長に対する感度が最も高い赤色のカラーフィルタが配設された画素(R画素)の画像信号により生成される画像に基づいて行われる。この際、画素信号のビットマップデータまたはRAW(Raw image format)データのR画素の信号強度にしきい値を設けて二値化し、白部分(信号強度がしきい値より高い画素)の重心を算出することで、スポットの位置を高速に認識することができる。なお、実画像(全ての色の画素信号により生成される画像)によりスポットを認識する場合は、緑色及び青色のカラーフィルタが配設された画素(G画素、B画素)の画素信号にしきい値を設け、ビットマップデータがあるG画素及びB画素の画素信号の値がしきい値以下の画素のみを抽出することが好ましい。
なお、計測モードでは上述のようにスポットの画像取得(ステップS22)及び位置計測(ステップS24)に際して照明光を消灯するかスポットの認識に影響が出ない程度に照度を下げて(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20)。これによりスポットが鮮明な画像を取得することができ、スポットの位置を正確に計測して適切な大きさのマーカを生成及び表示することができる。
ステップS26では、プロセッサ200(CPU210,画像処理部204)は、被写体における計測対象の実寸サイズを示す円形マーカを示す点の座標を取得する。上述のように、モニタ400上でのマーカの大きさは画像内の(即ち、撮像素子134の撮像面上の)スポットの位置に応じて異なるので、スポットの座標と、被写体における計測対象の実寸サイズを示す円形マーカを示す点の座標と、を関連づけてメモリ139に(またはメモリ139の情報を取得してメモリ212に)記憶しておく。プロセッサ200は、ステップS24で計測したスポット位置に応じてメモリ139(またはメモリ212)を参照し、円形マーカを示す点の座標を取得する。スポット位置と円形マーカを示す点の座標との関係を求める手順については、詳細を後述する。またステップS26では、スポットの移動軌跡を示す情報についても、プロセッサ200がメモリ139(またはメモリ212)から取得する。
ステップS28では、設定された表示条件に基づいて、観察画像、円形マーカ、及びスポットの移動軌跡をモニタ400に表示する(図19,20,22,23等の例を参照)。この際、円形マーカがスポットから離れた位置に表示されると指標として不正確になるので、円形マーカは観察画像におけるスポットの近傍に(例えば、スポットを中心として)表示する。実寸サイズの異なる円形マーカ(例えば、3mm,5mm等)を同心円状に表示してもよいし、円形マーカに加え他のマーカ(例えば、十字型マーカ)を表示してもよい。また、スポットの移動軌跡は、プロセッサ200(CPU210、画像処理部204)がメモリ139に記憶された情報を取得して表示する。表示の際に、メモリ139に記憶された情報をメモリ212に展開し、プロセッサ200がメモリ212を参照してもよい(円形マーカについても同様である)。このように、プロセッサ200が内視鏡本体100に記憶された情報を取得して表示することで、プロセッサ200が多様な内視鏡本体に対応することができる。
なお、表示条件(マーカの種類、数、実寸サイズ、色等)は、後述するように、操作部208(表示条件設定部)を介したユーザの操作により設定することができる(図16〜18を参照)。
<スポットの移動軌跡を利用した手技>
スポットの移動軌跡を利用した手技について説明する。まず、術者が手元操作部102を操作して先端硬質部116の向きを上下左右に変化させ、病変をスクリーニングで見つける(円形観察;手順1)。手順1の状態を図12の(a)部分に示す。手順1の状態ではスポットSP2及び円形マーカM2(スポットSP2を中心とする)が腫瘍tm2と離れた位置に存在しており円形マーカM2は計測用の指標として有効でない。そこで、術者はさらに手元操作部102を操作して先端硬質部116の向きを上下左右に変化させ、図12の(b)部分のように腫瘍tm2をスポットの移動軌跡T2に乗せる(手順2)。移動軌跡T2は撮像距離を変化させた場合のスポットの移動軌跡を示すので、手順2の状態から挿入部104を押し引きすることによりスポットSP2を腫瘍tm2上に載せることができる。第1の実施形態では図12の左下が撮像距離の至近側であり右上が最遠側なので、図12の(b)部分の状態から挿入部104を手元に引き寄せることによりスポットSP2が移動軌跡T2上を至近側に移動し、図12の(c)部分のようにスポットSP2を腫瘍tm2上に載せることができる(手順3)。手順3により円形マーカM2が腫瘍tm2に重なるので、術者は円形マーカM2の実寸サイズ(例えば5mm)と腫瘍tm2とを比較して腫瘍tm2の大きさを計測する(手順4)。また、必要に応じ手元操作部102(あるいは操作部208)をレリーズ操作(画像の記録を指示する操作)して、スポットSP2が形成された画像を画像記録部207(画像記録部)に記録する(手順5)。詳細を後述するように、画像、スポット位置等を画像記録部207に記録しておけば、円形マーカ表示等の処理を事後的に行うことができる(図25〜28を参照)。
このように、第1の実施形態では画像におけるスポットの位置に応じて設定した大きさの円形マーカ及びスポットの移動軌跡をスポットの近傍に表示するので、術者は内視鏡の操作によりスポット及び円形マーカがどのように動くのかを容易に把握でき、迅速かつ容易に計測を行うことができる。
上述した計測及び画像の記録が終了したら、ステップS30では計測モードを終了するか否かを判断する。この判断は操作部208を介したユーザ操作(例えば、図19の画面表示におけるボタンB04の操作)に基づいて行ってもよいし、プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、計測モードへの移行の際と同様に、一定フレーム数が経過したら自動的に計測モードを終了して通常観察モードに復帰してもよい。ステップS30の判断が否定されるとステップS20へ戻り、ステップS20からステップS28の処理を繰り返す。ステップS30の判断が肯定されるとステップS32に進んで計測補助光を消灯し、続いてステップS34で照明光の照度を通常照度に戻して通常観察モードに復帰する(ステップS10へ戻る)。なお、通常観察モードでの観察に支障がなければ、計測補助光を消灯しなくてもよい。
以上説明したように、第1の実施形態に係る内視鏡システム10では、画像におけるスポットの位置に応じて設定した大きさの円形マーカ及びスポットの移動軌跡をスポットの近傍に表示するので、迅速かつ容易に計測を行うことができる。
<計測支援方法の各処理の詳細>
以下、上述した計測支援方法の各処理を詳細に説明する。
<円形マーカの座標記憶及び取得>
第1の実施形態では、撮像素子134の撮像面におけるスポットの位置と円形マーカを示す点の座標とを関連づけてメモリ212(記憶部)に記憶しておき、計測したスポット位置に応じてメモリ212を参照して座標を取得する。以下、座標の記憶について説明する。
<マーカ座標の記憶>
第1の実施形態では、観察距離(撮像距離)を変化させた場合にスポットが撮像画像を移動する軌跡における複数の点に対して、円形マーカを示す点の座標を記憶する。撮像距離を変化させた場合の撮像画像におけるスポットの移動軌跡は計測補助光の光軸L1と撮像光学系130の光軸L2との関係により定まり、図10に示す関係の場合は直線となるが、撮像光学系130に歪曲収差がある場合はその歪曲収差に応じて歪曲する。
図13は座標記憶の様子を示す図であり、スポットの移動軌跡T1におけるK個の点(点P1〜PK;Kは2以上の整数)について円形マーカを示す点の座標を記憶する様子を示す。点P1〜点PKは円形マーカによる大きさ計測が有効な計測有効領域(移動軌跡T1の実線部分;図9における一点鎖線の内側に対応)であり、点P1が計測有効領域の至近端である場合のスポット位置を示し、点PKが計測有効領域の最遠端である場合のスポット位置を示す。なお、図13における移動軌跡T1は仮想的に示したものである。
スポットが移動軌跡T1の点線部分(撮像画像の周辺部分)に存在する場合は歪曲収差が大きくなる。また、スポットが移動軌跡T1の至近端側(点線で示す領域T1Nの部分)に存在する場合は円形マーカの一部が画像外となる、あるいは最遠端側(点線で示す領域T1Fの部分)に存在する場合はマーカが小さくなる等の問題があり、いずれも計測に適さない。そこで第1の実施形態では、円形マーカによる計測対象の大きさ計測が有効なスポット位置の範囲(実線で示す領域T1Eの部分)に対応して座標を記憶する。
図14はスポット位置と円形マーカを示す点の座標との関係を示す図であり、点Pi(スポットの位置)を中心としたL個の点(点Pi1,Pi2,…,Pij,…,PiL;Lは整数)により円形マーカを示している。Lの値はマーカの形状精度の要求に基づいて決めることができ、数が多いほど正確なマーカを表示することができる。L個の点の間を直線または曲線でつないでもよい。また、図15はスポット位置と円形マーカを示す点の座標とを関連づけて記憶する様子を示す。
<座標の取得>
円形マーカを表示する場合は、プロセッサ200(CPU210,画像処理部204)が、計測したスポットの座標に基づいてメモリ212(記憶部)を参照して円形マーカを示す点の座標を取得する。ここでいう「取得」は、記憶された座標を用いること、及び記憶された座標に基づいて生成した座標を用いることを含む。
図13に示す点P1〜PKのK個の点(スポット位置)のそれぞれに対して、図14に示すように円形マーカを示すL個の点の座標が記憶される。例えば、移動軌跡T1上の点Piに対して、点Pi1〜PiLの座標が記憶される。具体的には、図15に示すようにスポット位置と円形マーカを示す点の座標とが対応付けられてメモリ212に記憶される。この際、複数の実寸サイズ(例えば2mm,3mm,5mm,7mm,10mm等)のそれぞれに対応して座標を記憶しておき、表示する円形マーカの実寸サイズを計測目的に応じて切り替えてもよい。座標を記憶するスポット位置の数(図13〜15の例ではK個)及び円形マーカを示す点の数(図13〜15の例ではL個)の数を増やすほど、正確な円形マーカを表示することができる。
円形マーカを示す点の座標は、移動軌跡T1上の一部の点(例えば、図13の例では点P1〜PKのK個の点)について記憶しておけばよい。この場合、座標が記憶されていない点(スポット位置)については、計測されたスポット位置からの距離がしきい値以内である点について記憶されている座標を用いる態様(第1の態様)によりマーカの座標を取得することができる。また、計測されたスポットを挟む2つ以上の点に対応した座標を内挿して座標を取得する態様(第2の態様)、計測されたスポットを挟まない2つ以上の点に対応した座標を外挿して座標を取得する態様(第3の態様)等によってもマーカの座標を取得することができる。
一方、移動軌跡T1上の全ての点(画素)に対して座標を記憶しておき、記憶された座標をそのまま取得してもよい。このような態様の場合、点同士の距離の計算、補間計算等を省略することができる。
<座標の生成>
円形マーカを示す点(図14の例では、点Pi1〜PiL)の座標は、例えば以下の方法により生成することができる。具体的には、撮像距離を変えながら正方格子状のチャートを撮像する。この際、手元操作部を操作してスポットを格子の交点に位置させ、スポットの上下左右の4点について座標を実測する。それ以外の点の座標は、実測した点の座標を補間して生成する。撮像するチャートは、格子の間隔が実寸サイズ以下であり、かつ間隔ができるだけ細かいことが好ましい。また、上述した「スポットの上下左右の4点」を格子の交点に位置させるために、撮像するチャートは格子の間隔が所望の実寸サイズの(1/整数)の間隔であることが好ましい(円形マーカの実寸サイズが直径5mmの場合、格子の間隔が0.5mm,1mm,1.25mm,2.5mm等)。また、実測したスポット位置及び上下左右の4点に基づいて、十字型等他の形状のマーカを示す点の座標を生成してもよい。
<画面表示条件の設定>
撮像画像、円形マーカ、スポットの移動軌跡等の表示条件設定、及び設定した条件による表示の態様について以下に説明する。図16は画面表示条件を設定するための全体画面の例を示す図である。図16では、画面表示条件の各項目について条件名(領域C01〜C11)、設定条件の内容(数値等;領域V01〜V11)、及び条件設定用のボタンA01〜A11が示されている。画面下部に設けられたボタンB01は表示条件確定用、ボタンB02は条件変更のキャンセル用、ボタンB03は条件変更のクリア(初期値に戻す)用のボタンである。図16の画面はモニタ400に表示され、モニタ400のタッチパネル、及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により表示条件を設定することができる。このような表示条件設定は、図8のフローチャートの実行中、随時行ってよい。なお、以下に説明する表示条件設定画面のレイアウト及び表示項目は表示条件設定の一例を示すものであり、必要に応じて他の態様を採用することができる。
領域C01,V01はスポットの移動軌跡を表示するか否かを示しており、ボタンA01を介した選択操作により移動軌跡の表示をONまたはOFFすることができる。領域C02,V02はスポットの移動軌跡における計測有効領域の態様(表示態様)を示しており、ボタンA02を介した操作により、実線、点線等を選択することができる。領域C03,V03はスポットの移動軌跡における計測有効領域の色を示しており、ボタンA03を介した操作により白、青等の色を選択することができる。領域C04,V04はスポットの移動軌跡における計測非有効領域の態様(表示態様)を示しており、ボタンA04を介した選択操作により点線、鎖線等を選択することができる。領域C05,V05はスポットの移動軌跡における計測非有効領域の色を示しており、ボタンA05を介した選択操作により赤、黒等の色を選択することができる。領域C06,V06はスポットの位置を計測有効領域に誘導するための情報(例えば、図24に示す三角形状の図形)を出力するか否かを示しており、ボタンA06を介した操作により情報を出力するか否か(出力あり、またはなし)を選択することができる。領域C07,V07は計測有効領域の端点を表示するか否かを示しており、ボタンA07を介した操作により端点表示するか否か(表示あり、またはなし)を選択することができる。領域C08,V08はマーカを表示するか否かを示しており、ボタンA08を介した操作により表示のONまたはOFFを選択することができる。領域C09,V09は表示するマーカの形状を示しており、ボタンA09を介した操作により円、十字等の態様を選択することができる。領域C10,V10は表示するマーカの色を示しており、ボタンA10を介した操作により白、青等の色を選択することができる。領域C11,V11は表示するマーカの実寸サイズを示しており、ボタンA11を介した選択操作により2mm,3mm,5mm等のサイズを選択することができる(図18参照)。
<表示条件設定の具体例>
表示条件設定操作の具体例について説明する。図17はスポットの移動軌跡における計測有効領域の態様(表示態様)を設定する画面の例を示す図であり、図16の画面でモニタ400に備えられたタッチパネルの操作、あるいは操作部208を介した操作等(他の項目についても同様とする)によりボタンA02を指定すると領域V02がプルダウン表示されて図17の状態に遷移する。なお、図17において計測有効領域の態様以外の項目については図示を省略している。図17では、計測有効領域の態様として設定可能な条件(この場合、実線、点線、及び一点鎖線)が領域V02に表示され、ユーザはボタンA02a,A02b、及びスライドバーA02cで選択範囲を上下に移動させて態様(例えば、実線)を選択し、ボタンB01(OKボタン)を指定することで表示態様を決定することができる。
図18はマーカの実寸サイズ(大きさ)を設定する画面の例を示す図であり、図16の画面でボタンA11を指定すると領域V11がプルダウン表示されて図18の状態に遷移する(実寸サイズ以外の項目については図示を省略)。図18の例において、マーカの実寸サイズは「2mm、3mm、5mm、7mm、10mm」の中から選択でき、ユーザはボタンA11a,A11b、及びスライドバーA11cで選択範囲を上下に移動させて実寸サイズ(図18では5mm)を選択し、ボタンB01を指定すればよい。なお、「マーカの実寸サイズが5mm」とは「5mmに対応する大きさ(ピクセル数)のマーカがモニタ400の画面に表示される」ことを意味し、モニタ400の画面におけるマーカの大きさは5mmである必要はない。
上述した表示条件の設定において、個々の項目に対して設定した条件が整合しない場合は、モニタ400及び/またはスピーカ209Aを介して警告メッセージを出力してもよい。
<他の操作手段による表示条件の設定>
上述した例ではモニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスによりマーカ表示条件を設定する場合について説明したが、表示条件の設定は他の操作手段を介して行ってもよい。例えば手元操作部102の機能ボタンBT3に機能を割り付けて表示条件を設定してもよい。また、フットペダル、音声入力、視線入力、ジェスチャ入力等により表示条件を設定してもよい。内視鏡本体100の操作時はユーザが両手を自由に動かせない場合があり、そのような場合はこれらの操作手段が有効である。
<画面表示の具体例>
図16に示した条件での画面表示の例を図19に示す。モニタ400に表示される画面は、図19のように画像表示領域D01及び情報表示領域D02から構成される。画像表示領域D01には、腫瘍tm1上にスポットSP1が形成され、スポットSP1を中心とした円形マーカM1(実寸サイズは直径5mm)が白色で表示される。また、スポットの移動軌跡T1が表示され、円形マーカM1による計測が有効な領域T1Eとそれ以外の領域(至近端側の領域T1N及び最遠端側の領域T1F)とが異なる態様で表示されている。領域T1Eの端点にはマーカM1N,M1Fが表示されている。
一方、情報表示領域D02には内視鏡システム10が「計測モード」である旨が領域D02Aに表示され、現在の表示条件が領域D02Bに表示される。ボタンB04を指定すると通常観察モードに変更され、ボタンB05を指定すると図16のような表示条件設定画面が表示される。
第1の実施形態に係る内視鏡システム10では、上述した情報表示領域D02により表示条件を容易に確認、変更することができ、これにより迅速かつ容易に計測を行うことができる。なお、情報表示領域D02は別画面にしてもよいし、観察モード時は隠す、縮小するなどして画像表示領域D01を広くしてもよい。
<マーカ及びスポットの移動軌跡の表示態様>
本発明において、マーカ(指標図形)及びスポットの移動軌跡は以下の態様により表示してもよい。
<計測有効領域の識別表示>
図20は、マーカによる計測が有効な領域と有効でない領域とで、スポットの移動軌跡の表示態様を変える例を示す図である。図20では、移動軌跡T1のうちスポットSP3を中心とした円形マーカM3による腫瘍tm3の計測が有効な領域T1Eを実線で表示し、円形マーカM3による計測が有効でない至近端側の領域T1N及び最遠側の領域T1Fを点線で表示する例を示している。すなわち、図20ではスポットが領域T1Eに存在する場合は計測が有効であり、領域T1N,T1Fに存在する場合は計測が有効でない。このような識別表示において「計測が有効な領域」とは、撮像画像の中心付近で撮像光学系130の歪曲収差の影響が少なく、またマーカが画像からはみ出したり小さくなりすぎたりしない領域(図9の範囲R1に相当)であり、このような領域では正確な計測を行うことができる。なお、識別表示においては実線と点線とを変える態様に限らず他の線種を用いてもよいし、線の太さ、色彩、使用する図形及び/または記号等を変えてもよい。
図20に示すような計測有効領域の識別表示(マーカによる計測が有効な領域と有効でない領域とでスポットの移動軌跡の表示態様を変える)によりマーカによる計測が有効であるか否かを容易に判断でき、これにより迅速かつ容易に計測を行うことができる。なお、計測有効領域を識別表示するだけでなく、撮像距離に応じて異なる態様で移動軌跡を表示してもよい。例えば、撮像距離が近い領域と遠い領域で線種、線の太さ、色彩、図形、記号等の条件を変えてもよい。
上述した「マーカによる計測が有効な領域」(計測有効領域)は画像の一部に設定してもよいし、撮像距離の範囲に対して設定してもよい。例えば、撮像距離を変えながらスポットが形成された格子状のチャートを撮影し、各距離での格子の大きさ、格子の歪曲具合等を測定して、この測定結果に基づいて計測有効領域を設定することができる。図21の(a)部分は、このような手順により撮像距離に対して設定された計測可能範囲(D1〜D2)及びこれに対応するスポット位置(X座標がX1〜X2)を概念的に示している。また、図21の(b)部分は撮像距離に対して設定された計測可能範囲(D1〜D2)及びこれに対応するスポット位置(Y座標がY1〜Y2)を概念的に示している。図21の例では、スポット位置のX座標がX1〜X2かつY座標がY1〜Y2の場合(計測可能領域の内側)、及び撮像距離が計測可能範囲(撮像距離がD1〜D2)の場合に「マーカによる計測が有効」と判断する。なお、このような計測有効領域の情報はメモリ139に記憶しておき、この情報をプロセッサ200(CPU210,画像処理部204)が取得して「マーカによる計測が有効であるか否か」を判断することができる。このようにプロセッサ200に接続された内視鏡本体100の情報に基づいて計測の有効性を判断することで、プロセッサ200が多様な内視鏡に対応することができる。
<計測有効領域の端点の識別表示>
図22はマーカによる計測が有効な領域の端点を識別表示する例を示す図であり、円形マーカM4による腫瘍tm4の計測が有効な領域T1Eの端点にマーカM4N,M4Fを表示している。このような端点の識別表示により円形マーカM4による計測が有効であるか否かを容易に判断でき、これにより迅速かつ容易に計測を行うことができる。なお、図22では図20に示す識別表示(スポットの移動軌跡T1のうち、円形マーカM3による計測が有効な領域T1Eを実線で表示し、有効でない領域T1N,T1Fを点線で表示する)を合わせて行う場合を示しているが、端点の識別表示のみを行ってもよい。
<計測の有効性に応じたマーカの表示態様>
図23はマーカによる計測が有効な領域とそれ以外の領域とでマーカの表示態様を変える例を示す図である。具体的には、図23の(a)部分に示すようにスポットSP5Nが移動軌跡T1の至近端側の領域T1Nに存在する場合、及び図23の(c)部分に示すようにスポットSP5Fが移動軌跡T1の最遠側の領域T1Fに存在する場合は円形マーカM5N、M5Fによる腫瘍tm5の計測が有効でないので、円形マーカM5N,M5Fを点線で表示している。図23では至近端側及び最遠側において円形マーカを点線表示しているが、至近端側と最遠側とで線種を変えてもよいし、色彩を変えてもよい。一方、図23の(b)部分のようにスポットSP5が円形マーカM5による計測が有効な領域T1Eに存在する場合は、円形マーカM5を実線で表示する。
このようなマーカの表示態様によりマーカによる計測が有効であるか否かを容易に判断でき、これにより迅速かつ容易に計測を行うことができる。
<計測有効領域への誘導>
円形マーカが上述した計測有効領域にない場合、計測有効領域に誘導するための情報を出力してもよい。例えば、図24のようにスポットSP5Fが計測が有効でない領域T1F(最遠端側)に存在する場合、挿入部104の操作方向を示す図形G1を表示することができる。図形G1は三角形状であり、術者(ユーザ)は、図形G1により「挿入部104を三角形の頂点方向に操作する(手元側に引く)ことで、円形マーカが計測有効領域(腫瘍tm7の方向)に誘導される」ことを容易に把握することができる。計測有効領域に誘導するための情報は図形G1に限らず矢印等他の記号を用いることができ、また識別しやすい色彩、大きさを設定することができる。図形等を動的に変化させるアニメーション表示を行ってもよい。また、図形に代えて、あるいは図形に加えて文字、記号を用いてもよい。また、このような視覚的表示に代えて、あるいは視覚的表示に加えて、音声処理部209及びスピーカ209A(図2参照)により、音声(例えば、「スコープを押し込んで下さい」、「スコープを引いて下さい」等)で誘導してもよい。このような情報を出力することにより計測有効領域への誘導が容易となり、迅速かつ容易に計測することができる。
<画像等の記録によるオフライン処理>
第1の実施形態に係る内視鏡システム10において、マーカの表示等の処理及びこれに基づく計測はリアルタイム(スポットが形成された画像を取得するごとに、あるいは複数フレームごとにマーカ、軌跡を表示)でもよいし、以下に説明するようにオフライン処理(事後的処理)を行ってもよい。オフライン処理を行うには、図25のように腫瘍tm6上にスポットSP6が形成された画像を画像記録部207に記憶する。この際、図26に示すように、画像(画像ファイル)とスポット位置(座標)とを関連づけて記録する。上述のようにスポット位置と円形マーカを示す点の座標とは関連づけられてメモリ139(またはメモリ212)に記憶されているので(図15参照)、画像と関連づけて記録されたスポット位置に基づいてメモリ139(またはメモリ212)を参照することにより円形マーカを示す点の座標を取得することができる。したがって、このような座標の取得により画像記録部207から読み出した画像に円形マーカを重畳表示することができる。図27は事後的処理による表示の例であり、スポットSP6を中心とした円形マーカM6を腫瘍tm6の画像に重畳表示している。
上述した態様だけでなく、画像と円形マーカとを関連づけて記録してもよい。例えば、図28に示すように、画像(画像ファイル)、スポット位置(座標)、及び円形マーカを示す点の座標(メモリ139またはメモリ212を参照して取得できる)を関連づけて画像記録部207に記録する。これにより、記録された画像及び円形マーカを示す点の座標を読み出して円形マーカを画像に重畳表示することができる(図27参照)。
上述のように、撮像した画像、スポット位置、円形マーカを示す点の座標等を関連づけて記録することにより円形マーカ表示等の事後的処理及び計測が可能となり、被検体に内視鏡を挿入する時間を短くでき被検体への負担を軽減することができる。なお、計測に用いる画像等は、画像記録部207に記録されたものを用いるだけでなく、画像入力インターフェース205(図2参照)を介してCD(Compact Disk),DVD(Digital Versatile Disc)等の非一時的記録媒体から取得してもよい。
<その他>
本発明の計測支援装置、内視鏡システム、及びプロセッサは、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置は、内視鏡に限らず、工業用部品等の寸法、形状を計測する場合にも適用することができる。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10 内視鏡システム
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
109 電気コネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
139 メモリ
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
205 画像入力インターフェース
206 ビデオ出力部
207 画像記録部
208 操作部
209 音声処理部
209A スピーカ
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
503 集光レンズ
504 光ファイバー
506 レーザヘッド
507 補強材
508 フェルール
509 ハウジング
510 GRINレンズ
512 プリズム
A01 ボタン
A02 ボタン
A02a ボタン
A02c スライドバー
A03 ボタン
A04 ボタン
A05 ボタン
A06 ボタン
A07 ボタン
A08 ボタン
A09 ボタン
A10 ボタン
A11 ボタン
A11a ボタン
A11c スライドバー
AL1 頂角
B01 ボタン
B02 ボタン
B03 ボタン
B04 ボタン
B05 ボタン
BT1 送気送水ボタン
BT2 吸引ボタン
BT3 機能ボタン
C01 領域
C02 領域
C03 領域
C04 領域
C05 領域
C06 領域
C07 領域
C08 領域
C09 領域
C10 領域
C11 領域
D01 画像表示領域
D02 情報表示領域
D02A 領域
D02B 領域
E1 至近端
E2 距離
E3 最遠端
G1 図形
IA 撮像範囲
L1 光軸
L2 光軸
M1 円形マーカ
M1N マーカ
M2 円形マーカ
M3 円形マーカ
M4 円形マーカ
M4N マーカ
M5 円形マーカ
M5N 円形マーカ
M6 円形マーカ
P4 スポット位置
P5 スポット位置
P6 スポット位置
Q1 矢印
Q2 矢印
Q3 矢印
R1 範囲
R2 撮像範囲
S10〜S34 計測支援方法の各ステップ
SP0 スポット
SP1 スポット
SP2 スポット
SP3 スポット
SP5 スポット
SP5F スポット
SP5N スポット
SP6 スポット
T1 移動軌跡
T1E 領域
T1F 領域
T1N 領域
T2 移動軌跡
V01 領域
V02 領域
V03 領域
V04 領域
V05 領域
V06 領域
V07 領域
V08 領域
V09 領域
V10 領域
V11 領域
tm 腫瘍
tm1 腫瘍
tm2 腫瘍
tm3 腫瘍
tm4 腫瘍
tm5 腫瘍
tm6 腫瘍
tm7 腫瘍

Claims (14)

  1. 計測補助光を出射するヘッドと、
    前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、
    前記画像における前記スポットの位置を計測する計測部と、
    前記被写体における特定領域の実寸サイズを示す指標図形であって、前記画像における前記スポットの位置に応じて設定した大きさの指標図形と、前記画像の撮像距離を変化させた場合に前記スポットが前記画像を移動する軌跡を示す情報と、を前記被写体の画像において前記スポットの位置の近傍に表示させる表示制御部と、
    を備え、
    前記ヘッドは、前記計測補助光の光軸を前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し0度でない傾き角を有し前記撮像光学系の画角を横切る前記計測補助光を出射する計測支援装置。
  2. 前記表示制御部は、前記軌跡のうち前記スポットの位置の近傍に表示した前記指標図形による前記特定領域の計測が有効である領域と有効でない領域とで、前記軌跡を示す情報を異なる態様で表示させる請求項1に記載の計測支援装置。
  3. 前記表示制御部は、前記スポットの位置が前記画像に対して設定された計測可能領域の内側である場合に、前記指標図形による前記特定領域の計測が有効であると判断する請求項2に記載の計測支援装置。
  4. 前記表示制御部は、前記スポットの位置に基づいて算出した前記画像の撮像距離が計測可能範囲内である場合に、前記指標図形による前記特定領域の計測が有効であると判断する請求項2または3に記載の計測支援装置。
  5. 前記表示制御部は、前記指標図形による前記特定領域の計測が有効である場合と有効でない場合とで、前記軌跡を示す情報の表示に用いる文字、図形、記号、及び色彩のうち少なくとも1つを変化させる請求項2から4のいずれか1項に記載の計測支援装置。
  6. 前記表示制御部は、前記計測したスポットの位置において前記指標図形による前記特定領域の計測が有効でない場合に、前記スポットの位置を前記指標図形による前記特定領域の計測が有効である範囲に誘導するための情報を出力する請求項2から5のいずれか1項に記載の計測支援装置。
  7. 前記表示制御部は、前記指標図形による前記特定領域の大きさの計測が有効である場合と有効でない場合とで、前記指標図形を異なる態様で表示する請求項2から6のいずれか1項に記載の計測支援装置。
  8. 前記スポットが形成された前記被写体の画像を記録する画像記録部を備え、
    前記表示制御部は前記画像記録部に記録された前記被写体の画像を読み出し、前記読み出した前記被写体の画像に前記指標図形を重畳して表示させる請求項1から7のいずれか1項に記載の計測支援装置。
  9. 前記画像記録部は前記被写体の画像と前記指標図形とを関連づけて記録し、
    前記表示制御部は前記画像記録部に記録された前記被写体の画像と前記指標図形とを読み出し、前記読み出した前記指標図形を前記読み出した前記被写体の画像に重畳して表示させる請求項8に記載の計測支援装置。
  10. 請求項1から9のいずれか1項に記載の計測支援装置と、
    被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部と、を有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡と、
    を備え、
    前記ヘッドと、前記スポットの光学像を前記撮像素子に結像させる撮像レンズと、が前記先端硬質部に設けられる内視鏡システム。
  11. 前記内視鏡は前記軌跡を示す情報を記憶する情報記憶部を備える請求項10に記載の内視鏡システム。
  12. 前記軌跡及び前記指標図形の表示条件を設定する表示条件設定部を備える請求項10または11に記載の内視鏡システム。
  13. 請求項10から12のいずれか1項に記載の内視鏡システムのプロセッサであって、前記計測部と、前記表示制御部と、を備えるプロセッサ。
  14. 前記内視鏡の情報を取得する情報取得部をさらに備え、
    前記表示制御部は、前記取得した情報に基づいて前記表示した前記指標図形による前記特定領域の計測が有効であるか否かを判断する請求項13に記載のプロセッサ。
JP2019509089A 2017-03-28 2018-03-05 計測支援装置、内視鏡システム、及びプロセッサ Active JP6666519B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017063544 2017-03-28
JP2017063544 2017-03-28
PCT/JP2018/008356 WO2018180250A1 (ja) 2017-03-28 2018-03-05 計測支援装置、内視鏡システム、及びプロセッサ

Publications (2)

Publication Number Publication Date
JPWO2018180250A1 JPWO2018180250A1 (ja) 2020-01-16
JP6666519B2 true JP6666519B2 (ja) 2020-03-13

Family

ID=63676981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509089A Active JP6666519B2 (ja) 2017-03-28 2018-03-05 計測支援装置、内視鏡システム、及びプロセッサ

Country Status (5)

Country Link
US (1) US11490785B2 (ja)
EP (1) EP3603478A4 (ja)
JP (1) JP6666519B2 (ja)
CN (1) CN110461204B (ja)
WO (1) WO2018180250A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6716853B2 (ja) * 2017-05-25 2020-07-01 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2020174572A1 (ja) 2019-02-26 2020-09-03 オリンパス株式会社 内視鏡装置及びプログラム
JPWO2020189334A1 (ja) * 2019-03-20 2021-12-23 富士フイルム株式会社 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム
CN114207499A (zh) * 2019-08-13 2022-03-18 富士胶片株式会社 内窥镜系统及其工作方法

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5145911B1 (ja) * 1967-08-08 1976-12-06
US3817635A (en) 1967-08-08 1974-06-18 Olumpus Co Ltd Device for measuring the actual dimension of an object at the forward end portion of an endoscope
US3595220A (en) 1967-08-08 1971-07-27 Olympus Optical Co Device for measuring the distance of an object from the forward end portion of an endoscope
JPS5145911A (ja) 1974-10-17 1976-04-19 Matsushita Electric Ind Co Ltd Terebijonjuzoki
DE3629435A1 (de) * 1985-08-29 1987-03-12 Toshiba Kawasaki Kk Endoskopanordnung
JPS6273223A (ja) * 1985-09-26 1987-04-03 Toshiba Corp 内視鏡装置
JPS6249208A (ja) * 1985-08-29 1987-03-03 Toshiba Corp 距離測定機能付内視鏡
US4986262A (en) 1987-03-31 1991-01-22 Kabushiki Kaisha Toshiba Measuring endoscope
DE3723228A1 (de) 1987-07-14 1989-01-26 Wolf Gmbh Richard Endoskopische fernsehanlage
US4935810A (en) 1988-10-26 1990-06-19 Olympus Optical Co., Ltd. Three-dimensional measuring apparatus
JPH02216404A (ja) 1989-02-17 1990-08-29 Olympus Optical Co Ltd 計測用内視鏡装置
US4980763A (en) * 1989-06-12 1990-12-25 Welch Allyn, Inc. System for measuring objects viewed through a borescope
JPH03231622A (ja) * 1990-02-06 1991-10-15 Olympus Optical Co Ltd 内視鏡装置
JPH0473763A (ja) 1990-07-16 1992-03-09 Kansai Paint Co Ltd 光硬化性電着塗料組成物
JPH04323505A (ja) 1991-04-23 1992-11-12 Minolta Camera Co Ltd 測長装置を内蔵したカメラ
JP3446272B2 (ja) * 1993-11-16 2003-09-16 ソニー株式会社 計測機能付き内視鏡
US5669871A (en) * 1994-02-21 1997-09-23 Olympus Optical Co., Ltd. Endoscope measurement apparatus for calculating approximate expression of line projected onto object to measure depth of recess or the like
DE4439227C1 (de) * 1994-11-03 1996-01-11 Wolf Gmbh Richard Endoskop und Verfahren zur Ermittlung von Objektabständen
JP3720727B2 (ja) 2001-05-07 2005-11-30 オリンパス株式会社 内視鏡形状検出装置
JP2002336188A (ja) 2001-05-21 2002-11-26 Olympus Optical Co Ltd 計測用内視鏡装置
NZ530988A (en) 2001-07-06 2006-09-29 Palantyr Res Llc Imaging system and methodology employing reciprocal space optical design
US8038602B2 (en) 2001-10-19 2011-10-18 Visionscope Llc Portable imaging system employing a miniature endoscope
DE102004008164B3 (de) 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
FR2868550B1 (fr) * 2004-04-02 2006-09-29 Tokendo Soc Par Actions Simpli Dispositif de metrologie par pointage laser pour sonde videoendoscopique
JP2005319086A (ja) 2004-05-10 2005-11-17 Fujinon Corp 体腔内観察システム
WO2006120690A2 (en) 2005-05-13 2006-11-16 G.I. View Ltd. Endoscopic measurement techniques
US7312879B2 (en) 2005-08-23 2007-12-25 University Of Washington Distance determination in a scanned beam image capture device
AT502919B1 (de) 2005-12-14 2010-11-15 Univ Innsbruck Medizinisches navigationssystem
JP2009521978A (ja) * 2005-12-29 2009-06-11 ギブン イメージング リミテッド 体内管腔の物体の大きさを推定するためのシステム、装置、及び方法
JP5044126B2 (ja) 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
JP5026769B2 (ja) 2006-11-14 2012-09-19 オリンパス株式会社 計測用内視鏡装置、プログラム、および記録媒体
US20100152538A1 (en) 2008-12-17 2010-06-17 Gleason Christopher M Device for preventing endoscope damage by errant laser fire in a surgical laser
JP2011000258A (ja) 2009-06-18 2011-01-06 Fujifilm Corp 内視鏡システム、内視鏡、並びに距離・照射角度測定方法
JP5767775B2 (ja) 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
JP5441527B2 (ja) 2009-07-07 2014-03-12 エフ・エーシステムエンジニアリング株式会社 立体映像表示装置の立体スケール像形成装置
JP2011069965A (ja) 2009-09-25 2011-04-07 Japan Atomic Energy Agency 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP5576739B2 (ja) 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
JP5698476B2 (ja) 2010-08-06 2015-04-08 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及び撮像装置
CN102445148A (zh) * 2010-09-30 2012-05-09 西门子公司 一种获取位置参数的方法、装置及系统
US9691162B2 (en) 2011-02-11 2017-06-27 Olaf Christiansen Endoscopic image processing system having means which generate geometric measurement information in the detection range of an optical digital camera
JP5684033B2 (ja) 2011-04-11 2015-03-11 オリンパス株式会社 撮像装置及び内視鏡装置の作動方法
US20130027548A1 (en) * 2011-07-28 2013-01-31 Apple Inc. Depth perception device and system
US20130110005A1 (en) 2011-10-27 2013-05-02 Covidien Lp Point size light illumination in metrology systems for in-situ surgical applications
JP2013178417A (ja) * 2012-02-29 2013-09-09 Hoya Corp キャリブレーション装置
CN104271040B (zh) 2012-05-09 2018-06-19 皇家飞利浦有限公司 用于使光学形状感测稳定的系统和方法
US9498182B2 (en) * 2012-05-22 2016-11-22 Covidien Lp Systems and methods for planning and navigation
JP2014171511A (ja) 2013-03-06 2014-09-22 Olympus Corp 被検体観察システム及びその方法
JP6150583B2 (ja) 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
WO2014197502A1 (en) 2013-06-03 2014-12-11 Faculty Physicians And Surgeons Of Loma Linda University School Of Medicine Methods and apparatuses for fluoro- less or near fluoro-less percutaneous surgery access
DE102013016752A1 (de) 2013-09-03 2015-03-05 Universität Stuttgart Verfahren und Anordnung zur robusten One-shot-Interferometrie, insbesondere auch zur optischen Kohärenz-Tomografie nach dem Spatial-domain-Ansatz (SD-OCT)
JP5931031B2 (ja) 2013-09-23 2016-06-08 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2015049684A1 (en) 2013-10-02 2015-04-09 Given Imaging Ltd. System and method for size estimation of in-vivo objects
CN203693533U (zh) 2013-12-30 2014-07-09 深圳市开立科技有限公司 一种内窥镜系统、内窥镜冷光源及其聚光透镜
EP2903250A1 (de) * 2014-01-31 2015-08-05 WolfVision Innovation GmbH Bildaufnahmeverfahren mit adaptiver Markierlichtemission und ebensolches Bildaufnahmegerät
EP3127467B1 (en) 2014-03-31 2018-03-28 Fujifilm Corporation Medical image processing device, operation method thereof, and endoscope system
US9254075B2 (en) 2014-05-04 2016-02-09 Gyrus Acmi, Inc. Location of fragments during lithotripsy
CN104146711A (zh) 2014-08-01 2014-11-19 深圳市开立科技有限公司 一种基于内窥镜的病灶尺寸测量方法和系统
EP3150103A4 (en) 2014-09-25 2018-02-21 Olympus Corporation Endoscope system
US10058247B2 (en) 2015-05-20 2018-08-28 Comprehensive Telemedicine Multipurpose diagnostic examination apparatus and system
CN105105852A (zh) 2015-09-16 2015-12-02 广州乔铁医疗科技有限公司 具有测距功能的3d胆道镜系统
WO2017168986A1 (ja) 2016-03-31 2017-10-05 ソニー株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
CN106419821B (zh) 2016-08-31 2018-06-08 北京大学第三医院 一种关节镜下测量关节内结构的方法和装置
JP6180612B2 (ja) 2016-11-16 2017-08-16 富士フイルム株式会社 内視鏡装置

Also Published As

Publication number Publication date
US20190365200A1 (en) 2019-12-05
EP3603478A1 (en) 2020-02-05
JPWO2018180250A1 (ja) 2020-01-16
EP3603478A4 (en) 2020-02-05
CN110461204B (zh) 2021-05-18
US11490785B2 (en) 2022-11-08
WO2018180250A1 (ja) 2018-10-04
CN110461204A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
JP6666518B2 (ja) 計測支援装置、内視鏡システム、及びプロセッサ
WO2018051680A1 (ja) 内視鏡システム
JP6964592B2 (ja) 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
JP6666519B2 (ja) 計測支援装置、内視鏡システム、及びプロセッサ
JP6898425B2 (ja) 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
JP6644899B2 (ja) 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
JPWO2019017018A1 (ja) 内視鏡装置及び計測支援方法
WO2017212909A1 (ja) 撮像素子、撮像装置、電子機器
JP2019195643A (ja) 内視鏡システム
JP2008125996A (ja) 内視鏡被写体距離測定システム
JP2006110055A (ja) 内視鏡装置及び内視鏡システム
JPWO2019017019A1 (ja) 内視鏡装置及び計測支援方法
JP2005111110A (ja) 内視鏡システム
JP2022027501A (ja) 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム
JP2017086803A (ja) 計測装置、内視鏡システム、及び計測方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200220

R150 Certificate of patent or registration of utility model

Ref document number: 6666519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250