[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPWO2020017212A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JPWO2020017212A1
JPWO2020017212A1 JP2020531186A JP2020531186A JPWO2020017212A1 JP WO2020017212 A1 JPWO2020017212 A1 JP WO2020017212A1 JP 2020531186 A JP2020531186 A JP 2020531186A JP 2020531186 A JP2020531186 A JP 2020531186A JP WO2020017212 A1 JPWO2020017212 A1 JP WO2020017212A1
Authority
JP
Japan
Prior art keywords
unit
notification unit
display
notification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020531186A
Other languages
English (en)
Other versions
JP7125484B2 (ja
Inventor
稔宏 臼田
稔宏 臼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020017212A1 publication Critical patent/JPWO2020017212A1/ja
Application granted granted Critical
Publication of JP7125484B2 publication Critical patent/JP7125484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

注目領域の検出結果を適切に報知する内視鏡システムを提供する。患者の管腔内を検査する内視鏡システムであって、管腔内に挿入される挿入部と、管腔内を撮影して内視鏡画像を取得するカメラと、内視鏡画像から注目領域を検出する注目領域検出部と、注目領域の検出結果の報知を行う検出結果報知部と、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別する挿抜判別部と、挿抜判別部が判別した工程に応じて検出結果報知部に報知を行わせる報知制御部と、を備える内視鏡システムによって上記課題を解決する。

Description

本発明は内視鏡システムに係り、特に内視鏡画像から注目領域を検出して報知する技術に関する。
内視鏡検査は基本的に、臓器に付着した汚れを洗い流しながらスコープを奥まで挿入し、その後に、臓器の中を観察しながら抜去する。このように、挿入時と抜去時とで医師の作業が異なることに応じて、挿入時と抜去時とで動作を異ならせた内視鏡装置が知られている。
例えば、特許文献1には、挿入部の移動方向が挿入方向である場合に、抜去方向である場合よりも撮像部のフレームレートを高くする技術が開示されている。この技術によれば、挿入時に挿入部の先端の揺動や移動による画像の頻繁な変動が生じても、滑らかな動画として画像表示部に表示することができ、スムーズな挿入作業を行うことができる。
国際公開第2017/006404号
内視鏡検査中の医師を補助する技術として、内視鏡画像から病変等の注目領域を検出し、報知する技術が知られている。しかしながら、内視鏡検査中のタイミングによっては、注目領域の検出結果を報知することが、医師の操作を阻害する可能性がある。
例えば、挿入部の抜去時は、当然病変を見つける必要があるので、検出結果の報知による補助は有用である。一方、挿入は技術的に難しく、集中力が要求されるため、挿入時は検出結果の報知が医師の操作の妨げになる可能性がある。
本発明はこのような事情に鑑みてなされたもので、注目領域の検出結果を適切に報知する内視鏡システムを提供することを目的とする。
上記目的を達成するために内視鏡システムの一の態様は、患者の管腔内を検査する内視鏡システムであって、管腔内に挿入される挿入部と、管腔内を撮影して内視鏡画像を取得するカメラと、内視鏡画像から注目領域を検出する注目領域検出部と、注目領域の検出結果の報知を行う検出結果報知部と、検査の工程が挿入部を管腔内の折り返し地点まで挿入させる挿入工程及び挿入部を折り返し地点から抜去させる抜去工程のいずれの工程であるかを判別する挿抜判別部と、挿抜判別部が判別した工程に応じて検出結果報知部に報知を行わせる報知制御部と、を備える内視鏡システムである。
本態様によれば、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別し、判別した工程に応じて注目領域の検出結果の報知を行わせるようにしたので、注目領域の検出結果を適切に報知することができる。
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では第1の大きさの文字を表示させ、抜去工程では第1の大きさより大きい第2の大きさの文字を表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では第1の大きさのアイコンを表示させ、抜去工程では第1の大きさより大きい第2の大きさのアイコンを表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では第1の背景色の背景を表示させ、抜去工程では第1の背景色より明度の高い第2の背景色の背景を表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では注目領域を含む第1の大きさのフレームを内視鏡画像と共に表示させ、抜去工程では注目領域を含む第1の大きさより大きい第2の大きさのフレームを内視鏡画像と共に表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では非表示又はアイコンを表示させ、抜去工程では注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、報知制御部は、挿入工程では注目領域の検出時のみ注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させ、抜去工程では注目領域の検出時及び検出後の一定時間において注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、注目領域が検出された旨を音の出力で報知する音報知部を備え、報知制御部は、挿入工程では第1の音量で出力させ、抜去工程では第1の音量より大きい第2の音量で出力させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、注目領域が検出された旨をランプの点灯で報知する点灯報知部を備え、報知制御部は、挿入工程では第1の光量で点灯させ、抜去工程では第1の光量より大きい第2の光量で点灯させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、ディスプレイの表示で報知する表示報知部と、音の出力で報知する音報知部と、を備え、報知制御部は、挿入工程では表示報知部に注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させ、抜去工程では表示報知部に注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させ、かつ音報知部に音を出力させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、ディスプレイの表示で報知する表示報知部と、音の出力で報知する音報知部と、を備え、報知制御部は、挿入工程では音報知部に音を出力させ、抜去工程では音報知部に音を出力させ、かつ表示報知部にアイコンを表示させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、ディスプレイの表示で報知する表示報知部と、音の出力で報知する音報知部と、ランプの点灯で報知する点灯報知部と、を備え、報知制御部は、挿入工程では点灯報知部にランプを点灯させ、抜去工程では点灯報知部にランプを点灯させ、かつ表示報知部に注目領域の位置に注目領域の範囲を示す図形を内視鏡画像に重畳表示させ、かつ音報知部に音を出力させることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
検出結果報知部は、ディスプレイの表示で報知する表示報知部と、音の出力で報知する音報知部と、ランプの点灯で報知する点灯報知部と、を備え、Nを0〜2のうちのいずれかの整数とすると、報知制御部は、挿入工程では表示報知部、音報知部、及び点灯報知部のうちのいずれかN個により報知を行わせ、抜去工程では表示報知部、音報知部、及び点灯報知部のうちの少なくとも(N+1)個により報知を行わせることが好ましい。これにより、挿入工程よりも抜去工程において相対的に高い報知力で報知することができる。
本発明によれば、注目領域の検出結果を適切に報知することができる。
図1は、内視鏡システムを示す外観図である。 図2は、内視鏡システムの内部構成を示すブロック図である。 図3は、光の強度分布を示すグラフである。 図4は、画像認識部の構成を示すブロック図である。 図5は、画像認識部の構成の他の態様を示すブロック図である。 図6は、内視鏡システムによる認識結果の報知方法の処理を示すフローチャートである。 図7は、第1の実施形態に係る認識結果報知部の構成を示すブロック図である。 図8は、画像から病変が検出された旨を文字の表示で報知する例を示す図である。 図9は、画像から病変が検出された旨をアイコンの表示で報知する例を示す図である。 図10は、画像から病変が検出された旨を背景の表示で報知する例を示す図である。 図11は、画像から病変が検出された旨をフレームの表示で報知する例を示す図である。 図12は、画像から病変が検出された旨を挿抜判別部が判別した工程に応じて異なる表示で報知する例を示す図である。 図13は、画像から病変が検出された旨を異なる表示時間で報知する例を示す図である。 図14は、第2の実施形態に係る認識結果報知部の構成を示すブロック図である。 図15は、第3の実施形態に係る認識結果報知部の構成を示すブロック図である。 図16は、第4及び第5の実施形態に係る認識結果報知部の構成を示すブロック図である。 図17は、第6の実施形態に係る認識結果報知部の構成を示すブロック図である。
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
ここでは、被験者の肛門から挿入され、直腸及び大腸等の管腔内を検査(観察)するために用いられる下部内視鏡に本発明を適用する場合について説明する。なお、患者の口又は鼻から挿入され、食道及び胃等の管腔内を観察するために用いられる上部内視鏡に本発明を適用することも可能である。
<内視鏡システムの構成>
図1は、内視鏡システム10を示す外観図である。図1に示すように、内視鏡システム10は、内視鏡12、光源装置14、プロセッサ装置16、表示部18、及び入力部20を備えている。
内視鏡12は、光源装置14と光学的に接続される。また、内視鏡12は、プロセッサ装置16と電気的に接続される。
内視鏡12は、被験者の管腔内に挿入される挿入部12A、挿入部12Aの基端部分に設けられた操作部12B、挿入部12Aの先端側に設けられた湾曲部12C及び先端部12Dを有している。
操作部12Bには、アングルノブ12E及びモード切替スイッチ13が設けられている。
アングルノブ12Eを操作することにより、湾曲部12Cが湾曲動作する。この湾曲動作によって先端部12Dが所望の方向に向けられる。
モード切替スイッチ13は、観察モードの切り替え操作に用いられる。内視鏡システム10は、照射光の波長パターンがそれぞれ異なる複数の観察モードを有している。医師(術者)は、モード切替スイッチ13を操作することにより、所望の観察モードに設定することができる。内視鏡システム10は、波長パターンと画像処理との組み合わせによって、設定された観察モードに応じた画像を生成して表示部18に表示する。
また、操作部12Bには、不図示の取得指示入力部が設けられている。取得指示入力部は、医師が静止画の取得指示を入力するためのインターフェースである。取得指示入力部は、静止画の取得指示を受け付ける。取得指示入力部において受け付けた静止画の取得指示は、プロセッサ装置16に入力される。
プロセッサ装置16は、表示部18及び入力部20と電気的に接続される。表示部18は、被観察領域の画像及び被観察領域の画像に関連する情報等を出力表示する表示デバイスである。入力部20は、内視鏡システム10の機能設定及び各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。
内視鏡システム10における検査の工程は、挿入工程及び抜去工程からなる。挿入工程とは内視鏡12の挿入部12Aの先端部12Dを患者の管腔内の挿入開始地点から折り返し地点まで挿入させる工程であり、抜去工程とは先端部12Dを患者の管腔内の折り返し地点から挿入開始地点まで抜去させる工程である。
なお、挿入開始地点とは、先端部12Dの挿入を開始する管腔の端部である。挿入開始地点は、例えば、下部内視鏡であれば肛門であり、上部内視鏡であれば口又は鼻である。また、折り返し地点とは、先端部12Dが到達する管腔内の最も奥の位置である。折り返し地点において、挿入部12Aのうち管腔内に挿入された部分が最も多くなる。
図2は、内視鏡システム10の内部構成を示すブロック図である。図2に示すように、光源装置14は、第1レーザ光源22A、第2レーザ光源22B、及び光源制御部24を備えている。
第1レーザ光源22Aは、中心波長445nmの青色レーザ光源である。第2レーザ光源22Bは、中心波長405nmの紫色レーザ光源である。第1レーザ光源22A及び第2レーザ光源22Bとして、レーザダイオードを用いることができる。第1レーザ光源22A及び第2レーザ光源22Bの発光は、光源制御部24により個別に制御される。第1レーザ光源22Aと第2レーザ光源22Bとの発光強度比は変更自在になっている。
また、図2に示すように、内視鏡12は、光ファイバ28A、光ファイバ28B、蛍光体30、拡散部材32、撮像レンズ34、撮像素子36、及びアナログデジタル変換部38を備えている。
第1レーザ光源22A、第2レーザ光源22B、光ファイバ28A、光ファイバ28B、蛍光体30、及び拡散部材32によって、照射部が構成される。
第1レーザ光源22Aから出射されるレーザ光は、光ファイバ28Aによって、内視鏡12の先端部12Dに配置された蛍光体30に照射される。蛍光体30は、第1レーザ光源22Aからの青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体30から出射する光は、第1レーザ光源22Aからの青色レーザ光を励起光とする緑色〜黄色の励起光L11と、蛍光体30に吸収されずに透過した青色のレーザ光L12とが合わされて、白色(疑似白色)の光L1となる。
なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、R(Red)、G(Green )、B(Blue)等、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
一方、第2レーザ光源22Bから出射されるレーザ光は、光ファイバ28Bによって、内視鏡12の先端部12Dに配置された拡散部材32に照射される。拡散部材32は、透光性を有する樹脂材料等を用いることができる。拡散部材32から出射する光は、照射領域内において光量が均一化された狭帯域波長の光L2となる。
図3は、光L1及び光L2の強度分布を示すグラフである。光源制御部24は、第1レーザ光源22Aと第2レーザ光源22Bとの光量比を変更する。これにより、光L1と光L2との光量比が変更され、光L1と光L2との合成光である照射光L0の波長パターンが変更される。したがって、観察モードに応じて異なる波長パターンの照射光L0を照射することができる。
図2の説明に戻り、撮像レンズ34、撮像素子36、及びアナログデジタル変換部38によって、撮影部(カメラ)が構成される。撮影部は、内視鏡12の先端部12Dに配置される。
撮像レンズ34は、入射した光を撮像素子36に結像させる。撮像素子36は、受光した光に応じたアナログ信号を生成する。撮像素子36としては、CCD(Charge Coupled Device)型イメージセンサ、又はCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサが用いられる。撮像素子36から出力されるアナログ信号は、アナログデジタル変換部38によりデジタル信号に変換され、プロセッサ装置16に入力される。
また、図2に示すように、プロセッサ装置16は、撮影制御部40、画像処理部42、画像取得部44、画像認識部46、報知制御部58、認識結果報知部60、挿抜判別部68、表示制御部70、記憶制御部72、及び記憶部74を備えている。
撮影制御部40は、光源装置14の光源制御部24、内視鏡12の撮像素子36及びアナログデジタル変換部38、プロセッサ装置16の画像処理部42を制御することで、内視鏡システム10による動画及び静止画の撮影を統括制御する。
画像処理部42は、内視鏡12のアナログデジタル変換部38から入力されたデジタル信号に画像処理を施し、内視鏡画像を示す画像データ(以下、画像と表記する)を生成する。画像処理部42は、撮影時の照射光の波長パターンに応じた画像処理を施す。
画像取得部44は、画像処理部42が生成した画像を取得する。画像取得部44が取得する画像は、1枚の画像でもよいし、複数の画像でもよい。画像取得部44は、被験者の管腔内を一定のフレームレートで時系列的に撮影した動画を連続した多数の画像(静止画)として扱ってもよい。なお、画像取得部44は、入力部20から入力された画像、又は記憶部74に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。
画像認識部46は、画像取得部44が取得した画像を認識する。図4は、画像認識部46の構成を示すブロック図である。図4に示すように、画像認識部46は、部位認識部48と、検出部50と、鑑別部52とを備えている。
部位認識部48は、画像取得部44が取得した画像から内視鏡12の先端部12Dが管腔内のどの部位(位置)に存在しているかを認識する。部位認識部48は、管腔内の部位として、直腸、S状結腸、下行結腸、横行結腸、上行結腸、盲腸、回腸、及び空腸等を認識する。
部位認識部48は、畳み込みニューラルネットワークを用いた深層学習によって学習した学習済みモデルである。部位認識部48は、例えば各部位の粘膜の画像を学習することで、画像から部位を認識することができる。
なお、部位認識部48は、磁気コイル等を用いた不図示の内視鏡挿入形状観測装置を用いて内視鏡12の湾曲部12Cの形状情報を取得し、形状情報から先端部12Dの位置を推定してもよい。また、部位認識部48は、被検体外部からX線を照射して内視鏡12の湾曲部12Cの形状情報を取得し、形状情報から先端部12Dの位置を推定してもよい。
検出部50(注目領域検出部の一例)は、入力された画像から注目領域である病変を検出し、病変の画像内位置を認識する。ここでの病変とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。病変としては、例えば、ポリープ、癌、大腸憩室、炎症、EMR(Endoscopic Mucosal Resection)瘢痕又はESD(Endoscopic Submucosal Dissection)瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等が挙げられる。
検出部50は、管腔内の各部位にそれぞれ対応した第1検出部50Aと、第2検出部50Bと、第3検出部50Cと、第4検出部50Dと、第5検出部50Eと、第6検出部50Fと、第7検出部50Gと、第8検出部50Hとを備えている。ここでは、一例として、第1検出部50Aは直腸に、第2検出部50BはS状結腸に、第3検出部50Cは下行結腸に、第4検出部50Dは横行結腸に、第5検出部50Eは上行結腸に、第6検出部50Fは盲腸に、第7検出部50Gは回腸に、第8検出部50Hは空腸に、それぞれ対応している。
第1検出部50A、第2検出部50B、第3検出部50C、第4検出部50D、第5検出部50E、第6検出部50F、第7検出部50G、及び第8検出部50Hは、それぞれ学習済みモデルである。この複数の学習済みモデルは、それぞれ異なるデータセットを用いて学習したモデルである。詳しくは、複数の学習済みモデルは、それぞれ管腔内の異なる部位を撮影した画像からなるデータセットを用いて学習したモデルである。
即ち、第1検出部50Aは直腸の画像からなるデータセット、第2検出部50BはS状結腸の画像からなるデータセット、第3検出部50Cは下行結腸の画像からなるデータセット、第4検出部50Dは横行結腸の画像からなるデータセット、第5検出部50Eは上行結腸の画像からなるデータセット、第6検出部50Fは盲腸の画像からなるデータセット、第7検出部50Gは回腸の画像からなるデータセット、第8検出部50Hは空腸の画像からなるデータセットを用いて学習したモデルである。
これらの学習済みモデルは、畳み込みニューラルネットワークを用いた深層学習により学習することが望ましい。また、サポートベクタマシンを用いてもよい。
検出部50は、第1検出部50A、第2検出部50B、第3検出部50C、第4検出部50D、第5検出部50E、第6検出部50F、第7検出部50G、及び第8検出部50Hの中から、部位認識部48が認識した管腔内の部位に対応した検出部を用いて、病変の検出を行う。
即ち、管腔内の部位が直腸であれば第1検出部50A、S状結腸であれば第2検出部50B、下行結腸であれば第3検出部50C、横行結腸であれば第4検出部50D、上行結腸であれば第5検出部50E、盲腸であれば第6検出部50F、回腸であれば第7検出部50G、空腸であれば第8検出部50Hによって病変を検出する。
第1検出部50A〜第8検出部50Hは、それぞれ管腔内の部位に応じて学習されているため、部位に応じた適切な検出が可能である。
鑑別部52は、検出部50が検出した病変について、良性か悪性かを認識する。鑑別部52は、畳み込みニューラルネットワークを用いた深層学習によって学習した学習済みモデルである。検出部50と同様に、鑑別部52を部位毎の識別部として構成してもよい。
図5は、画像認識部46の構成の他の態様を示すブロック図である。図5に示すように、この態様の画像認識部46は、単一の検出部50と、パラメータ記憶部54とを備えている。また、パラメータ記憶部54は、管腔内の各部位の検出に対応したパラメータをそれぞれ記憶する第1パラメータ記憶部54Aと、第2パラメータ記憶部54Bと、第3パラメータ記憶部54Cと、第4パラメータ記憶部54Dと、第5パラメータ記憶部54Eと、第6パラメータ記憶部54Fと、第7パラメータ記憶部54Gと、第8パラメータ記憶部54Hとを備えている。ここでは、一例として、第1パラメータ記憶部54Aは直腸、第2パラメータ記憶部54BはS状結腸、第3パラメータ記憶部54Cは下行結腸、第4パラメータ記憶部54Dは横行結腸、第5パラメータ記憶部54Eは上行結腸、第6パラメータ記憶部54Fは盲腸、第7パラメータ記憶部54Gは回腸、第8パラメータ記憶部54Hは空腸、の検出にそれぞれ対応したパラメータを記憶している。
各パラメータは、学習済みモデルのパラメータである。この複数の学習済みモデルは、それぞれ異なるデータセットを用いて学習したモデルである。
検出部50は、第1パラメータ記憶部54A、第2パラメータ記憶部54B、第3パラメータ記憶部54C、第4パラメータ記憶部54D、第5パラメータ記憶部54E、第6パラメータ記憶部54F、第7パラメータ記憶部54G、及び第8パラメータ記憶部54Hに記憶されたパラメータの中から、部位認識部48が認識した管腔内の部位に対応したパラメータを用いて、病変の検出を行う。
即ち、管腔内の部位が直腸であれば第1パラメータ記憶部54A、S状結腸であれば第2パラメータ記憶部54B、下行結腸であれば第3パラメータ記憶部54C、横行結腸であれば第4パラメータ記憶部54D、上行結腸であれば第5パラメータ記憶部54E、盲腸であれば第6パラメータ記憶部54F、回腸であれば第7パラメータ記憶部54G、空腸であれば第8パラメータ記憶部54Hに記憶されたパラメータを用いて、病変を検出する。
第1パラメータ記憶部54A〜第8パラメータ記憶部54Hは、それぞれ管腔内の部位に応じて学習されたパラメータが記憶されているため、部位に応じた適切な検出が可能である。
図2の説明に戻り、報知制御部58には、認識結果報知部60が接続されている。認識結果報知部60(検出結果報知部の一例)は、画像認識部46の画像認識結果の報知を行う報知手段である。報知制御部58は、認識結果報知部60を制御し、報知を行わせる。
挿抜判別部68は、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別する。
挿抜判別部68は、画像処理部42によって生成された複数の画像から動きベクトルを検出し、検出した動きベクトルに基づいて挿入部12Aの移動方向を判別し、移動方向から検査の工程を判別する。動きベクトルの検出は、ブロックマッチング法等の公知の方法を用いることができる。
なお、挿抜判別部68は、挿入部12Aに設けられた不図示のセンサの情報から挿入部12Aの移動方向を判別し、移動方向から検査の工程を判別してもよい。また、挿抜判別部68は、磁気コイル等を用いた不図示の内視鏡挿入形状観測装置を用いて挿入部12Aの移動方向を判別し、移動方向から検査の工程を判別してもよい。
さらに、挿抜判別部68は、検査開始から折り返し地点到達までを挿入工程、折り返し地点到達以降を抜去工程と判別してもよい。挿抜判別部68は、挿入部12Aの折り返し地点への到達を、医師による入力部20からの入力に基づいて判別すればよい。
また、挿抜判別部68は、挿入部12Aの折り返し地点への到達を自動的に認識してもよい。例えば、挿抜判別部68は、画像処理部42によって生成された画像から自動的に認識してもよいし、不図示の内視鏡挿入形状観測装置によって自動的に認識してもよい。自動的に認識する場合、折り返し地点の例として、下部内視鏡であればバウヒン弁、上部内視鏡であれば十二指腸とすることができる。
さらに、挿抜判別部68は、挿入部12Aの折り返し地点への到達を、医師による内視鏡12の操作から認識してもよい。例えば、上部内視鏡であれば、反転操作を折り返し地点として判別すればよい。自動的に認識する場合は、これらの自動認識方法を複数組み合わせてもよい。
表示制御部70は、画像処理部42によって生成された画像を表示部18に表示させる。
記憶制御部72は、画像処理部42によって生成された画像を記憶部74に記憶させる。例えば、静止画の取得指示に従って撮影された画像及び画像を撮影した際の照射光L0の波長パターンの情報等を記憶部74に記憶させる。
記憶部74は、例えばハードディスク等のストレージ装置である。なお、記憶部74は、プロセッサ装置16に内蔵されたものに限定されない。例えば、プロセッサ装置16に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、不図示のネットワークを介して接続されていてもよい。
このように構成された内視鏡システム10は、動画又は静止画を撮影し、撮影した画像を表示部18に表示する。また、撮影された画像の画像認識を行い、認識結果を認識結果報知部60において報知する。
<認識結果の報知方法>
図6は、内視鏡システム10による認識結果の報知方法の処理を示すフローチャートである。認識結果の報知方法は、画像取得工程(ステップS1)と、部位認識工程(ステップS2)と、注目領域検出工程(ステップS3)と、鑑別工程(ステップS4)と、挿抜判別工程(ステップS5)と、認識結果報知工程(ステップS6)と、終了判定工程(ステップS7)とを有する。
〔画像取得工程(ステップS1)〕
ステップS1では、内視鏡システム10は、撮影制御部40の制御により一定のフレームレートで動画撮影を行う。
即ち、光源制御部24は、第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光とを、所望の観察モードに対応する光量比に設定する。これにより、被験者の管腔内の被観察領域に所望の波長パターンの照射光L0を照射する。
また、撮影制御部40は、撮像素子36、アナログデジタル変換部38、及び画像処理部42を制御し、被観察領域からの反射光を受光した被観察領域の画像を撮影する。表示制御部70は、撮影した画像を表示部18に表示させる。また、画像取得部44は、撮影した画像を取得する。
〔部位認識工程(ステップS2)〕
次に、ステップS2では、部位認識部48は、画像取得部44が取得した画像から先端部12Dが管腔内のどの部位に存在するかを認識する。ここでは、直腸、S状結腸、下行結腸、横行結腸、上行結腸、盲腸、回腸、及び空腸のいずれかの部位であると認識する。
〔注目領域検出工程(ステップS3)〕
ステップS3では、検出部50は、部位認識部48が認識した部位に基づいて、画像取得部44が取得した画像から病変を検出する。
〔鑑別工程(ステップS4)〕
ステップS4では、鑑別部52は、ステップS3において検出された病変について、良性か悪性かを認識する。
〔挿抜判別工程(ステップS5)〕
ステップS5では、挿抜判別部68は、画像処理部42によって生成された時系列的な複数の画像から動きベクトルを検出し、検出した動きベクトルに基づいて、挿入部12Aの移動方向を検出し、移動方向から検査が挿入工程及び抜去工程のいずれの工程であるかを判別する。
〔認識結果報知工程(ステップS6)〕
ステップS6では、報知制御部58は、認識結果報知部60にステップS2、ステップS3、及びステップS4の認識結果の報知を行わせる。報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように認識結果報知部60に報知を行わせる。
即ち、検査の工程が挿入工程である場合は管腔内の洗浄中であると考えられる。したがって、挿入工程である場合は医師の操作を阻害しないよう、相対的に低い報知力で報知を行った方がよい。一方、検査の工程が抜去工程である場合は管腔内の観察中であると考えられる。したがって、診断のサポートを適切に行うために、相対的に高い報知力で報知を行う。このように、ステップS6では、抜去工程において医師に対してより注意を促すことができる。
〔終了判定工程(ステップS7)〕
ステップS7では、内視鏡システム10による検査が終了したか否かを判定する。検査が終了していない場合は、ステップS1に戻り、同様の処理を繰り返す。検査が終了した場合は、本フローチャートの処理を終了する。
このように、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別し、判別した工程に応じて認識結果報知部60に報知を行わせるようにしたので、認識結果を適切に報知することができ、注目領域である病変の検出結果を適切に報知することができる。
<第1の実施形態>
図7は、第1の実施形態に係る認識結果報知部60の構成を示すブロック図である。本実施形態では、認識結果報知部60は、表示報知部62を備えている。さらに、表示報知部62は、ディスプレイ62Aを備えている。ディスプレイ62Aは、画像等の情報を出力表示する表示デバイスである。表示報知部62は、病変が検出された際に病変が検出された旨をディスプレイ62Aの表示で報知する。本実施形態では、ディスプレイ62Aは、表示部18と共通である。
第1の実施形態では、報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を表示報知部62に報知させる。
図8は、画像から病変が検出された旨を文字の表示で報知する例を示す図である。図8に示す例では、画像処理部42が生成した画像Gを表示しているディスプレイ62Aにおいて、報知制御部58が表示報知部62を制御して、画像Gから病変Lが検出された旨を文字の表示で報知している。図8に示すF81は、挿入部12Aの検査の工程が挿入工程の場合を示している。F81の場合は、第1の大きさの文字100Aがディスプレイ62Aに表示されている。また、図8に示すF82は、挿入部12Aの移動の工程が抜去工程の場合を示している。F82の場合は、第1の大きさより大きい第2の大きさの文字100Bがディスプレイ62Aに表示されている。
このように、図8に示す例では、文字の大きさを異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。なお、異ならせるのは文字の大きさに限られず、文字の色を変更してもよい。この場合は、色の明度、又は彩度が相対的に低い文字よりも相対的に高い文字の方が、報知力が相対的に高い。また、青系の色相の文字よりも赤系の色相の文字の方が、報知力が相対的に高い。
なお、欠陥が検出された旨をディスプレイ62Aの表示で報知する際に、検査の工程に応じて報知力を異ならせるには、文字の大きさ、又は色を変更する例に限定されず、様々な態様が可能である。
図9は、画像から病変が検出された旨をアイコンの表示で報知する例を示す図である。図9に示す例では、画像処理部42が生成した画像Gを表示しているディスプレイ62Aにおいて、報知制御部58が表示報知部62を制御して、画像Gから病変Lが検出された旨をアイコンの表示で報知している。図9に示すF91は、検査の工程が挿入工程の場合を示している。F91の場合は、第1の大きさのアイコン102Aがディスプレイ62Aに表示されている。また、図9に示すF92は、検査の工程が抜去工程の場合を示している。F92の場合は、第1の大きさより大きい第2の大きさのアイコン102Bがディスプレイ62Aに表示されている。
このように、アイコンの大きさを異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。
図10は、画像から病変が検出された旨を背景の表示で報知する例を示す図である。図10に示す例では、画像処理部42が生成した画像Gを表示しているディスプレイ62Aにおいて、報知制御部58が表示報知部62を制御して、画像Gから病変Lが検出された旨を背景の表示で報知している。背景とは、ディスプレイ62Aの表示範囲のうち、画像G以外の領域である。通常は、黒の背景が表示される。
図10に示すF101は、検査の工程が挿入工程の場合を示している。F101の場合は、黒とは異なる第1の背景色の背景104Aがディスプレイ62Aに表示されている。また、図10に示すF102は、検査の工程が抜去工程の場合を示している。F102の場合は、第1の背景色よりも明度の高い第2の背景色の背景104Bがディスプレイ62Aに表示されている。
このように、背景色の明度を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。なお、異ならせるのは背景色の明度に限られず、背景色の彩度又は色相を変更してもよい。この場合は、彩度が相対的に高い背景色の方が、報知力が相対的に高い。また、青系の色相の背景色よりも赤系の色相の背景色の方が、報知力が相対的に高い。
図11は、画像から病変が検出された旨をフレームの表示で報知する例を示す図である。図11に示す例では、画像処理部42が生成した画像Gを表示しているディスプレイ62Aにおいて、報知制御部58が表示報知部62を制御して、画像Gから病変Lが検出された旨を病変Lが含まれるフレームの表示で報知している。図11に示すF111は、検査の工程が挿入工程の場合を示している。F111の場合は、第1の大きさのフレーム106Aが画像Gと共にディスプレイ62Aに表示されている。フレーム106Aには、ディスプレイ62Aに表示されている画像Gが表示されている。報知制御部58は、ディスプレイ62Aに表示されている画像Gではなく、病変Lが検出された1つ前の画像をフレーム106Aに表示させてもよい。
また、図11に示すF112は、検査の工程が抜去工程の場合を示している。F112の場合は、第1の大きさより大きい第2の大きさのフレーム106Bが画像Gと共にディスプレイ62Aに表示されている。フレーム106Bに表示される画像は、F111と同様の画像とすればよい。
このように、病変Lが含まれる画像Gを表示するフレームの大きさを異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。
図12は、画像から病変が検出された旨を異なる表示の態様で報知する例を示す図である。図12に示す例では、画像処理部42が生成した画像Gを表示しているディスプレイ62Aにおいて、報知制御部58が表示報知部62を制御して、画像Gから病変Lが検出された旨を挿抜判別部68が判別した工程に応じて異なる表示の態様で報知している。図12に示すF121は、検査の工程が挿入工程の場合を示している。F121の場合は、ディスプレイ62Aに第1の大きさのアイコン102Aが表示されている。アイコン102Aは非表示であってもよい。また、図12に示すF122は、検査の工程が抜去工程の場合を示している。F122の場合は、ディスプレイ62Aの病変Lの位置に病変Lの範囲を示す図形108が画像Gに重畳表示されている。
このように、病変Lが検出された旨の表示の態様を挿抜判別部68が判別した工程に応じて異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。
図13は、画像から病変が検出された旨を異なる表示時間で報知する例を示す図である。図13に示す例では、画像処理部42が生成した画像Gを表示しているディスプレイ62Aにおいて、報知制御部58が表示報知部62を制御して、画像Gから病変Lが検出された旨を異なる表示時間で報知している。図13に示すF131及びF132は、検査の工程が挿入工程の場合を示している。F131の場合は、ディスプレイ62Aの病変Lの位置に病変Lの範囲を示す図形108が画像Gに重畳表示されている。F132は、F131から一定時間が経過し、挿入部12Aがさらに挿入方向に移動した場合を示している。F132では、画像Gから病変Lが検出されておらず、図形108は表示されない。即ち、報知制御部58は、検査の工程が挿入工程の場合は、病変Lの検出時のみ、病変の位置に病変の範囲を示す図形108を画像Gに重畳表示させる。
これに対し、図13に示すF133及びF134は、検査の工程が抜去工程の場合を示している。F133の場合は、ディスプレイ62Aの病変Lの位置に病変Lの範囲を示す図形108が画像Gに重畳表示されている。F134は、F133から一定時間が経過し、挿入部12Aがさらに抜去方向に移動した場合を示している。F134では、画像Gから病変Lが検出されていないが、F133で表示された図形108が同じ位置に表示され続けている。即ち、報知制御部58は、検査の工程が抜去工程の場合は、病変Lの検出時及び検出後の一定時間、病変の位置に病変の範囲を示す図形108を画像Gに重畳表示させる。
このように、病変Lの範囲を示す図形の表示時間を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。
本実施形態では、表示部18とディスプレイ62Aとを共通としたが、画像Gを表示部18に、欠陥検出の結果の報知をディスプレイ62Aに表示させてもよい。
<第2の実施形態>
図14は、第2の実施形態に係る認識結果報知部60の構成を示すブロック図である。本実施形態では、認識結果報知部60は、音報知部64を備えている。さらに、音報知部64は、ブザー64Aを備えている。ブザー64Aは、報知音を発生する音発生デバイスであり、例えば圧電素子を有する圧電ブザーが適用される。音報知部64は、病変が検出された際に病変が検出された旨をブザー64Aの報知音で報知する。本実施形態では、ブザー64Aはプロセッサ装置16に設けられる。
第2の実施形態では、報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を音報知部64に報知させる。即ち、報知制御部58は、挿入工程では音報知部64に第1の音量(音の大きさ)で出力させ、抜去工程では音報知部64に第1の音量より大きい第2の音量で出力させる。
このように、第2の実施形態では、音量を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。なお、異ならせるのは音量に限られず、音の長さを変更してもよい。この場合は、相対的に短い音よりも相対的に長い音の方が、報知力が相対的に高い。
<第3の実施形態>
図15は、第3の実施形態に係る認識結果報知部60の構成を示すブロック図である。本実施形態では、認識結果報知部60は、点灯報知部66を備えている。さらに、点灯報知部66は、ランプ66Aを備えている。ランプ66Aは、報知光を発生する光源であり、例えば発光ダイオードが適用される。点灯報知部66は、病変が検出された際に病変が検出された旨をランプ66Aの点灯で報知する。本実施形態では、ランプ66Aはプロセッサ装置16に設けられる。
第3の実施形態では、報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を点灯報知部66に報知させる。即ち、報知制御部58は、挿入工程では点灯報知部66に第1の光量(光の強さ)で点灯させ、抜去工程では点灯報知部66に第1の光量より大きい第2の光量で出力させる。
このように、第3の実施形態では、光量を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。なお、異ならせるのは光量に限られず、光の色を変更してもよい。例えば、青系の色相での点灯よりも赤系の色相での点灯の方が、報知力が相対的に高い。また、点灯時間を異ならせてもよい。例えば、点灯時間が相対的に短い点滅状態よりも点灯時間が相対的に長い連続点灯状態の方が、報知力が相対的に高い。
<第4の実施形態>
図16は、第4の実施形態に係る認識結果報知部60の構成を示すブロック図である。本実施形態では、認識結果報知部60は、表示報知部62と、音報知部64とを備えている。
第4の実施形態では、報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を認識結果報知部60に報知させる。即ち、挿入工程では、報知制御部58は表示報知部62に、図12のF112と同様にディスプレイ62Aの病変Lの位置に病変Lの範囲を示す図形108を画像Gに重畳表示させる。また、抜去工程では、報知制御部58は表示報知部62に、挿入工程と同様にディスプレイ62Aの病変Lの位置に病変Lの範囲を示す図形108を画像Gに重畳表示させ、かつ音報知部64に音を出力させる。
このように、第4の実施形態では、ディスプレイ62Aに同様の表示をするとともにブザー64Aの音の出力の有無を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。
<第5の実施形態>
第5の実施形態に係る認識結果報知部60の構成は、第4の実施形態に係る認識結果報知部60の構成と同様である。
第5の実施形態では、報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を認識結果報知部60に報知させる。即ち、挿入工程では、報知制御部58は音報知部64に音を出力させる。また、抜去工程では、報知制御部58は音報知部64に音を出力させ、かつ表示報知部62に、図9のF92と同様にディスプレイ62Aにアイコン102Bを表示させる。
このように、第5の実施形態では、ブザー64Aにより同様の音出力をするとともにディスプレイ62Aの表示を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。
<第6の実施形態>
図17は、第6の実施形態に係る認識結果報知部60の構成を示すブロック図である。本実施形態では、認識結果報知部60は、表示報知部62と、音報知部64と、点灯報知部66とを備えている。
第6の実施形態では、報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を認識結果報知部60に報知させる。即ち、挿入工程では、報知制御部58は点灯報知部66によってランプ66Aを点灯させる。また、抜去工程では、報知制御部58は点灯報知部66によってランプ66Aを点灯させ、かつ表示報知部62によってディスプレイ62Aの病変Lの位置に病変Lの範囲を示す図形108を画像Gに重畳表示させ、かつ音報知部64によってブザー64Aの音を出力させる。
このように、第6の実施形態では、ランプ66Aにより同様の点灯をするとともにディスプレイ62Aの表示及びブザー64Aの音の出力を異ならせることで、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くしている。
なお、Nを0〜2のうちのいずれかの整数とすると、報知制御部58は、挿入工程では表示報知部62、音報知部64、及び点灯報知部66のうちのいずれかN個により報知を行わせ、抜去工程では表示報知部62、音報知部64、及び点灯報知部66のうちの少なくとも(N+1)個により報知を行わせてもよい。表示報知部62による報知は、文字の表示による報知、アイコンの表示による報知、背景色の変更による報知、フレームの表示による報知、病変の範囲を示す図形の表示による報知、のいずれかを用いればよい。音報知部64による報知はブザー64Aの報知音による報知である。また、点灯報知部66による報知は、ランプ66Aの点灯による報知である。
このように報知を行っても、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くすることができる。報知の方法は、挿入工程の場合よりも抜去工程の場合の報知力を相対的に高くし、医師に対してより注意を促すことが期待できる方法であれば、いかなる方法でもよい。
<付記>
上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
(付記1)
医療画像解析処理部は、医療画像(内視鏡画像)の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
(付記2)
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
(付記3)
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
(付記4)
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
(付記5)
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
(付記6)
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
(付記7)
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
(付記8)
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
(付記9)
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
(付記10)
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
(付記11)
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
(付記12)
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
(付記13)
蛍光は、ピークが390nm以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
(付記14)
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
(付記15)
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
(付記16)
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
(付記17)
特定の波長帯域の信号は、通常光画像に含まれるRGB(Red Green Blue)あるいはCMY(Cyan, Magenta, Yellow)の色情報に基づく演算により得る医療画像処理装置。
(付記18)
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
(付記19)
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
(付記20)
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
(付記21)
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
ここまで説明した実施形態において、例えば、画像認識部46、報知制御部58、及び挿抜判別部68の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、或いはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
10…内視鏡システム
12…内視鏡
12A…挿入部
12B…操作部
12C…湾曲部
12D…先端部
12E…アングルノブ
13…モード切替スイッチ
14…光源装置
16…プロセッサ装置
18…表示部
20…入力部
22A…第1レーザ光源
22B…第2レーザ光源
24…光源制御部
28A…光ファイバ
28B…光ファイバ
30…蛍光体
32…拡散部材
34…撮像レンズ
36…撮像素子
38…アナログデジタル変換部
40…撮影制御部
42…画像処理部
44…画像取得部
46…画像認識部
48…部位認識部
50…検出部
50A…第1検出部
50B…第2検出部
50C…第3検出部
50D…第4検出部
50E…第5検出部
50F…第6検出部
50G…第7検出部
50H…第8検出部
52…鑑別部
54…パラメータ記憶部
54A…第1パラメータ記憶部
54B…第2パラメータ記憶部
54C…第3パラメータ記憶部
54D…第4パラメータ記憶部
54E…第5パラメータ記憶部
54F…第6パラメータ記憶部
54G…第7パラメータ記憶部
54H…第8パラメータ記憶部
58…報知制御部
60…認識結果報知部
62…表示報知部
62A…ディスプレイ
64…音報知部
64A…ブザー
66…点灯報知部
66A…ランプ
68…挿抜判別部
70…表示制御部
72…記憶制御部
74…記憶部
100A…文字
100B…文字
102A…アイコン
102B…アイコン
106A…フレーム
106B…フレーム
108…図形
G…画像
L…病変
L1…光
L11…励起光
L12…レーザ光
L2…光
S1〜S7…認識結果の報知方法の各処理
また、図2に示すように、プロセッサ装置16は、撮影制御部40、画像処理部42、画像取得部44、画像認識部46、報知制御部58、挿抜判別部68、表示制御部70、記憶制御部72、及び記憶部74を備えている。
図8は、画像から病変が検出された旨を文字の表示で報知する例を示す図である。図8に示す例では、画像処理部42が生成した画像Gを表示しているディスプレイ62Aにおいて、報知制御部58が表示報知部62を制御して、画像Gから病変Lが検出された旨を文字の表示で報知している。図8に示すF81は、挿入部12Aの検査の工程が挿入工程の場合を示している。F81の場合は、第1の大きさの文字100Aがディスプレイ62Aに表示されている。また、図8に示すF82は、挿入部12Aの検査の工程が抜去工程の場合を示している。F82の場合は、第1の大きさより大きい第2の大きさの文字100Bがディスプレイ62Aに表示されている。
なお、病変が検出された旨をディスプレイ62Aの表示で報知する際に、検査の工程に応じて報知力を異ならせるには、文字の大きさ、又は色を変更する例に限定されず、様々な態様が可能である。
本実施形態では、表示部18とディスプレイ62Aとを共通としたが、画像Gを表示部18に、病変検出の結果の報知をディスプレイ62Aに表示させてもよい。
第3の実施形態では、報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を点灯報知部66に報知させる。即ち、報知制御部58は、挿入工程では点灯報知部66に第1の光量(光の強さ)で点灯させ、抜去工程では点灯報知部66に第1の光量より大きい第2の光量でランプ66Aを点灯させる
第4の実施形態では、報知制御部58は、検査の工程が抜去工程である場合に、挿入工程である場合と比較して相対的に報知力が高くなるように病変が検出された旨を認識結果報知部60に報知させる。即ち、挿入工程では、報知制御部58は表示報知部62に、図12のF122と同様にディスプレイ62Aの病変Lの位置に病変Lの範囲を示す図形108を画像Gに重畳表示させる。また、抜去工程では、報知制御部58は表示報知部62に、挿入工程と同様にディスプレイ62Aの病変Lの位置に病変Lの範囲を示す図形108を画像Gに重畳表示させ、かつ音報知部64に音を出力させる。
(付記4)
医療画像は、白色の波長帯域の光、または白色の波長帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
(付記6)
特定の波長帯域は、可視域の青色もしくは、緑色の波長帯域である医療画像処理装置。
(付記8)
特定の波長帯域は、可視域の赤色の波長帯域である医療画像処理装置。
(付記16)
医療画像取得部は、白色の波長帯域の光、または白色の波長帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
(付記18)
白色の波長帯域の光、または白色の波長帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。

Claims (13)

  1. 患者の管腔内を検査する内視鏡システムであって、
    前記管腔内に挿入される挿入部と、
    前記管腔内を撮影して内視鏡画像を取得するカメラと、
    前記内視鏡画像から注目領域を検出する注目領域検出部と、
    前記注目領域の検出結果の報知を行う検出結果報知部と、
    前記検査の工程が前記挿入部を前記管腔内の折り返し地点まで挿入させる挿入工程及び前記挿入部を前記折り返し地点から抜去させる抜去工程のいずれの工程であるかを判別する挿抜判別部と、
    前記挿抜判別部が判別した工程に応じて前記検出結果報知部に報知を行わせる報知制御部と、
    を備える内視鏡システム。
  2. 前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
    前記報知制御部は、前記挿入工程では第1の大きさの文字を表示させ、前記抜去工程では前記第1の大きさより大きい第2の大きさの文字を表示させる請求項1に記載の内視鏡システム。
  3. 前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
    前記報知制御部は、前記挿入工程では第1の大きさのアイコンを表示させ、前記抜去工程では前記第1の大きさより大きい第2の大きさのアイコンを表示させる請求項1又は2に記載の内視鏡システム。
  4. 前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
    前記報知制御部は、前記挿入工程では第1の背景色の背景を表示させ、前記抜去工程では前記第1の背景色より明度の高い第2の背景色の背景を表示させる請求項1から3のいずれか1項に記載の内視鏡システム。
  5. 前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
    前記報知制御部は、前記挿入工程では前記注目領域を含む第1の大きさのフレームを前記内視鏡画像と共に表示させ、前記抜去工程では前記注目領域を含む前記第1の大きさより大きい第2の大きさのフレームを前記内視鏡画像と共に表示させる請求項1から4のいずれか1項に記載の内視鏡システム。
  6. 前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
    前記報知制御部は、前記挿入工程では非表示又はアイコンを表示させ、前記抜去工程では前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させる請求項1に記載の内視鏡システム。
  7. 前記検出結果報知部は、前記注目領域が検出された旨をディスプレイの表示で報知する表示報知部を備え、
    前記報知制御部は、前記挿入工程では前記注目領域の検出時のみ前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させ、前記抜去工程では前記注目領域の検出時及び検出後の一定時間において前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させる請求項1に記載の内視鏡システム。
  8. 前記検出結果報知部は、前記注目領域が検出された旨を音の出力で報知する音報知部を備え、
    前記報知制御部は、前記挿入工程では第1の音量で出力させ、前記抜去工程では前記第1の音量より大きい第2の音量で出力させる請求項1から7のいずれか1項に記載の内視鏡システム。
  9. 前記検出結果報知部は、前記注目領域が検出された旨をランプの点灯で報知する点灯報知部を備え、
    前記報知制御部は、前記挿入工程では第1の光量で点灯させ、前記抜去工程では前記第1の光量より大きい第2の光量で点灯させる請求項1から8のいずれか1項に記載の内視鏡システム。
  10. 前記検出結果報知部は、
    ディスプレイの表示で報知する表示報知部と、
    音の出力で報知する音報知部と、
    を備え、
    前記報知制御部は、前記挿入工程では前記表示報知部に前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させ、前記抜去工程では前記表示報知部に前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させ、かつ前記音報知部に音を出力させる請求項1に記載の内視鏡システム。
  11. 前記検出結果報知部は、
    ディスプレイの表示で報知する表示報知部と、
    音の出力で報知する音報知部と、
    を備え、
    前記報知制御部は、前記挿入工程では前記音報知部に音を出力させ、前記抜去工程では前記音報知部に音を出力させ、かつ前記表示報知部にアイコンを表示させる請求項1に記載の内視鏡システム。
  12. 前記検出結果報知部は、
    ディスプレイの表示で報知する表示報知部と、
    音の出力で報知する音報知部と、
    ランプの点灯で報知する点灯報知部と、
    を備え、
    前記報知制御部は、前記挿入工程では前記点灯報知部にランプを点灯させ、前記抜去工程では前記点灯報知部にランプを点灯させ、かつ前記表示報知部に前記注目領域の位置に前記注目領域の範囲を示す図形を前記内視鏡画像に重畳表示させ、かつ前記音報知部に音を出力させる請求項1に記載の内視鏡システム。
  13. 前記検出結果報知部は、
    ディスプレイの表示で報知する表示報知部と、
    音の出力で報知する音報知部と、
    ランプの点灯で報知する点灯報知部と、
    を備え、
    Nを0〜2のうちのいずれかの整数とすると、前記報知制御部は、前記挿入工程では表示報知部、音報知部、及び点灯報知部のうちのいずれかN個により報知を行わせ、前記抜去工程では表示報知部、音報知部、及び点灯報知部のうちの少なくとも(N+1)個により報知を行わせる請求項1に記載の内視鏡システム。
JP2020531186A 2018-07-20 2019-06-17 内視鏡システム Active JP7125484B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018136923 2018-07-20
JP2018136923 2018-07-20
PCT/JP2019/023883 WO2020017212A1 (ja) 2018-07-20 2019-06-17 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2020017212A1 true JPWO2020017212A1 (ja) 2021-07-15
JP7125484B2 JP7125484B2 (ja) 2022-08-24

Family

ID=69165038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020531186A Active JP7125484B2 (ja) 2018-07-20 2019-06-17 内視鏡システム

Country Status (5)

Country Link
US (1) US20210106209A1 (ja)
EP (1) EP3824796B1 (ja)
JP (1) JP7125484B2 (ja)
CN (1) CN112423645B (ja)
WO (1) WO2020017212A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220148182A1 (en) * 2019-03-12 2022-05-12 Nec Corporation Inspection device, inspection method and storage medium
CN115361898A (zh) * 2020-04-03 2022-11-18 富士胶片株式会社 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及医疗图像处理装置用程序
EP4183318A4 (en) * 2020-07-15 2023-12-06 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF OPERATION THEREFOR
WO2022107492A1 (ja) * 2020-11-17 2022-05-27 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム
WO2022163514A1 (ja) * 2021-01-27 2022-08-04 富士フイルム株式会社 医療画像処理装置、方法及びプログラム
JPWO2022234743A1 (ja) * 2021-05-06 2022-11-10
EP4442188A1 (en) * 2021-12-02 2024-10-09 NEC Corporation Endoscopic examination assistance device, endoscopic examination assistance system, endoscopic examination assistance method, and recording medium
WO2024104926A1 (en) * 2022-11-16 2024-05-23 Sony Group Corporation A medical control system, method and computer program
CN115778570B (zh) * 2023-02-09 2023-06-27 岱川医疗(深圳)有限责任公司 一种内窥镜检测方法、控制装置及检测系统
TWI851106B (zh) * 2023-03-23 2024-08-01 晶鑠科技有限公司 熱影像內視鏡系統、其內視鏡導管、其異常區域判斷方法、其異常區域顯示裝置、及其熱影像處理主機

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
WO2017110459A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 内視鏡用画像処理装置及び内視鏡システム
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
US10004387B2 (en) * 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
JP4884567B2 (ja) * 2009-11-06 2012-02-29 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2011200283A (ja) * 2010-03-24 2011-10-13 Olympus Corp 制御装置、内視鏡システム、プログラム及び制御方法
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US10499794B2 (en) * 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
CN106470590B (zh) * 2014-12-25 2018-08-14 奥林巴斯株式会社 插入装置
JPWO2017006404A1 (ja) 2015-07-03 2018-04-19 オリンパス株式会社 内視鏡システム
WO2017068650A1 (ja) * 2015-10-20 2017-04-27 オリンパス株式会社 挿入体支援システム
WO2017160792A1 (en) * 2016-03-14 2017-09-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
EP4238490A3 (en) * 2016-06-30 2023-11-01 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
CN110049709B (zh) * 2016-12-07 2022-01-11 奥林巴斯株式会社 图像处理装置
CN112105286B (zh) * 2018-05-17 2024-09-10 富士胶片株式会社 内窥镜装置、内窥镜操作方法及计算机可读取记录介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
WO2017110459A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 内視鏡用画像処理装置及び内視鏡システム
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム

Also Published As

Publication number Publication date
JP7125484B2 (ja) 2022-08-24
EP3824796B1 (en) 2024-05-15
EP3824796A1 (en) 2021-05-26
US20210106209A1 (en) 2021-04-15
EP3824796A4 (en) 2021-09-15
CN112423645B (zh) 2023-10-31
CN112423645A (zh) 2021-02-26
WO2020017212A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
JP7125484B2 (ja) 内視鏡システム
US12114832B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
CN110325100B (zh) 内窥镜系统及其操作方法
CN112566537B (zh) 内窥镜系统
JPWO2019198637A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JPWO2020036224A1 (ja) 内視鏡システム
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JPWO2019167623A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2022264751A1 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2019202982A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220812

R150 Certificate of patent or registration of utility model

Ref document number: 7125484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150