[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6751815B2 - 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法 - Google Patents

内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法 Download PDF

Info

Publication number
JP6751815B2
JP6751815B2 JP2019515030A JP2019515030A JP6751815B2 JP 6751815 B2 JP6751815 B2 JP 6751815B2 JP 2019515030 A JP2019515030 A JP 2019515030A JP 2019515030 A JP2019515030 A JP 2019515030A JP 6751815 B2 JP6751815 B2 JP 6751815B2
Authority
JP
Japan
Prior art keywords
image
endoscopic
diagnosis support
support system
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515030A
Other languages
English (en)
Other versions
JPWO2018198327A1 (ja
Inventor
北村 誠
誠 北村
勝義 谷口
勝義 谷口
大和 合渡
大和 合渡
隆志 河野
隆志 河野
都士也 上山
都士也 上山
大和 神田
大和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018198327A1 publication Critical patent/JPWO2018198327A1/ja
Application granted granted Critical
Publication of JP6751815B2 publication Critical patent/JP6751815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法に関する。
従来、医用画像の画像処理を行い、予め指定された条件に合致する部分にマークを付けて表示する技術がある。例えば、日本国特開2004−159739号公報には、診断支援を行うことができるように、X線CT装置、磁気共鳴撮影装置、超音波診断装置、X線撮影装置等によって取得した医用画像の画像処理を行い、病変の疑いのある部分にマークを付けて表示する画像処理装置が開示される。
しかし、従来の画像処理装置では、ユーザが医用画像に表れた病変を発見する前に、病変の疑いのある部分にマークが表示され、医用画像に対するユーザの注意を妨げることがある。
そこで、本発明は、内視鏡画像に対するユーザの注意を妨げないように、病変等の異常の候補となる領域である異常候補を示すことができ、内視鏡による診断を支援することができる内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法を提供することを目的とする。
実施形態の内視鏡診断支援システムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、
メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する画像生成部と、を備える。
実施形態の内視鏡診断支援プログラムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成するコードと、をコンピュータに実行させる。
内視鏡診断支援システムの作動方法は、異常検出部が、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、
画像生成部が、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割し、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する。
本発明の第1の実施形態に係わる、内視鏡診断支援システムの構成例を示すブロック図である。 本発明の第1の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第1の実施形態に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。 本発明の第1の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第1の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第1の実施形態の変形例1に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第1の実施形態の変形例1に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第1の実施形態の変形例2に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第1の実施形態の変形例3に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第1の実施形態の変形例4に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第1の実施形態の変形例5に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。 本発明の第1の実施形態の変形例5に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第2の実施形態に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。 本発明の第2の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
以下、図面を参照しながら、本発明の実施形態を説明する。
(第1の実施形態)
(構成)
図1は、本発明の第1の実施形態に係わる、内視鏡診断支援システム1の構成例を示すブロック図である。図1では、観察モードを設定するための、操作部Xと制御部32を結ぶ信号線の図示は省略する。
内視鏡診断支援システム1は、光源駆動部11と、内視鏡21と、ビデオプロセッサ31と、表示部41と、操作部Xと、を有する。光源駆動部11は、内視鏡21と、ビデオプロセッサ31と接続される。内視鏡21及び操作部Xは、ビデオプロセッサ31と接続される。ビデオプロセッサ31は、表示部41と接続される。
光源駆動部11は、内視鏡21の挿入部22の先端部に設けられた照明部23を駆動する回路である。光源駆動部11は、ビデオプロセッサ31内の制御部32と、内視鏡21内の照明部23とに接続される。光源駆動部11は、制御部32の制御の下、照明部23から被検体に照明光を照射させる。光源駆動部11は、観察モードに応じ、通常光及び狭帯域光を照明部23から照射させる。より具体的には、光源駆動部11は、観察モードが、通常光モードであるとき、照明部23から通常光を照射させ、また、狭帯域光観察モードであるとき、照明部23から狭帯域光を照射させる。
内視鏡21は、被検体内を撮像できるように構成される。内視鏡21は、挿入部22と、照明部23と、撮像部24と、を有する。
挿入部22は、被検体内に挿入できるように、細長状に形成される。挿入部22は、図示しない処置具挿通管路等の管路を有する。挿入部22は、処置具挿通管路に挿通された図示しない処置具を先端部から突出させることが可能である。
照明部23は、挿入部22の先端部に設けられ、光源駆動部11の制御下において、被検体に照明光を照射する。
撮像部24は、挿入部22の先端部に設けられ、照明光が照射された被検体を撮像し、撮像信号をビデオプロセッサ31に出力する。
ビデオプロセッサ31は、内視鏡21の制御を行い、内視鏡21から入力された撮像信号に基づいて、内視鏡画像Aを生成し、内視鏡画像Aに基づいて、表示画像Bを生成する。ビデオプロセッサ31は、制御部32と、異常検出部33と、画像生成部34と、を有する。
制御部32は、内視鏡診断支援システム1内の各部の制御を行う回路である。制御部32は、内視鏡21から入力された撮像信号に基づいて、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Aを生成し、内視鏡画像Aを異常検出部33と画像生成部34に出力する。制御部32は、光源駆動部11に制御信号を送信し、観察モードに応じて照明部23を駆動する。観察モードは、操作部Xを介したユーザの指示入力によって設定される。制御部32は、内視鏡画像Aの明るさに応じ、照明部23の発光量を調整しても構わない。内視鏡画像Aは、動画像又は静止画像のいずれであっても構わない。
異常検出部33は、内視鏡画像Aに基づいて、病変等の異常の候補となる領域である異常候補領域Lの検出を行う回路である。異常検出部33は、画像生成部34と接続される。異常候補領域Lが検出されないとき、画像生成部34は、異常候補領域Lが非検出であることを示す検出結果を画像生成部34に出力する。異常候補領域Lが検出されたとき、異常検出部33は、異常候補領域Lの検出位置及び大きさを示す検出結果を画像生成部34に出力する。すなわち、異常検出部33は、撮像部24によって被検体内を撮像して取得された内視鏡画像Aから異常候補領域Lの検出を行い、検出結果を出力する。異常候補領域Lは、病変候補領域である。
例えば、異常検出部33は、機械学習等の人工知能技術を用いた演算装置によって構成される。より具体的には、異常検出部33は、深層学習技術(ディープラーニング)により、特徴量の抽出を学習した演算装置によって構成される。異常検出部33は、撮像部24から入力された内視鏡画像Aに対して、学習によって調整された所定の演算を行い、検出結果として、異常候補領域Lが非検出であることを示す特徴量、又は、異常候補領域Lの検出位置及び大きさを示す特徴量を画像生成部34に出力する。
なお、異常検出部33は、人工知能技術を用いた演算装置によって構成されるが、人工知能技術を用いない演算装置によって構成されても構わない。例えば、異常検出部33は、互いに隣り合う画素との変化量から輪郭の抽出を行い、輪郭と、制御部32内に予め記憶された異常候補領域Lのモデル情報とのマッチングによって抽出を行うように構成しても構わない。
画像生成部34は、表示画像Bの生成を行う回路である。画像生成部34は、制御部32から入力された内視鏡画像Aと、異常検出部33から入力された検出結果と、操作部Xから入力された指示信号と、に基づいて表示画像Bの生成を行う。画像生成部34は、指示信号に応じ、メイン領域B1の検出位置画像D1を非表示状態から表示状態に切り替える。
表示部41は、画像生成部34から入力された表示画像Bを表示画面上に表示できるように構成される。表示部41は、例えば、長方形状の表示画面を有するモニタである。
操作部Xは、ユーザの操作によって指示入力できるように構成される。操作部Xは、画像生成部34と接続される。操作部Xは、フットスイッチXa、キーボードXb、タブレットXc、音声入力装置Xd及びスコープスイッチXeを有する。以下、フットスイッチXa、キーボードXb、タブレットXc、音声入力装置Xd及びスコープスイッチXeの全て、又は、一部を示すとき、操作部Xという。
フットスイッチXa、キーボードXb、タブレットXc及び音声入力装置Xdは、ビデオプロセッサ31と有線又は無線によって接続される。フットスイッチXaは、ユーザの足によるペダルの踏み込み操作が可能である。キーボードXbは、ユーザの手指による所定キーの押下操作が可能である。タブレットXcは、ユーザの手指によるタッチパネルのタッチ操作が可能である。音声入力装置Xdは、ユーザの音声による操作が可能である。音声入力装置Xdでは、ユーザの音声が入力され、入力された音声の中から表示状態及び非表示状態を指示する所定の音声を検出する。スコープスイッチXeは、内視鏡21に取り付けられ、ユーザの手指による操作が可能である。
ユーザの手指、足又は音声によって表示状態を指示する指示入力が行われると、操作部Xは、表示状態を指示する指示信号を画像生成部34に出力する。一方、ユーザの手指、足又は音声によって非表示状態を指示する指示入力が行われると、操作部Xは、非表示状態を指示する指示信号を画像生成部34に出力する。すなわち、操作部Xは、ユーザの操作に応じて指示信号を出力する。
(表示画像Bの構成)
表示画像Bの構成について説明をする。
図2は、本発明の第1の実施形態に係わる、内視鏡診断支援システム1の表示部41の表示画像Bの構成例を示す図である。図2の例では、内視鏡画像A1、A2は、全体が八角形であり、生体内管腔が曲線によって模式的に表される。
表示画像Bは、長方形の画像であり、長手方向に分割されたメイン領域B1とサブ領域B2を有する。図2の1点鎖線は、メイン領域B1とサブ領域B2の境界を示す仮想の線である。
メイン領域B1は、内視鏡画像A1を表示する領域である。メイン領域B1は、内視鏡画像A1の視認性を向上できるように、サブ領域B2よりも広くなるように設定される。内視鏡画像A1は、メイン領域B1内に、内視鏡画像A2よりも大きく表示される。
サブ領域B2は、異常候補領域Lの検出位置を表示する領域である。サブ領域B2は、メイン領域B1と隣り合うように配置される。サブ領域B2には、検出位置を示すための検出位置画像D2を重畳するための内視鏡画像A2が配置される(図4)。
(作用)
続いて、画像生成部34の表示画像生成処理について説明をする。
図3は、本発明の第1の実施形態に係わる、内視鏡診断支援システム1の表示画像生成処理の一例を示すフローチャートである。図4と図5は、本発明の第1の実施形態に係わる、内視鏡診断支援システム1の表示部41の表示画像Bの構成例を示す図である。
挿入部22を挿入して被検体を撮像すると、撮像部24は、撮像信号を制御部32に出力する。制御部32は、撮像信号に基づいて、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行い、異常検出部33と画像生成部34に内視鏡画像Aを出力する。
異常検出部33は、所定の演算を行い、検出結果を画像生成部34に出力する。
画像生成部34は、制御部32から入力された内視鏡画像Aの大きさを調整し、メイン領域B1に内視鏡画像A1を配置し、サブ領域B2に内視鏡画像A2を配置する。
異常候補領域Lが検出されたか否かを判定する(S11)。異常候補領域Lが非検出であることを示す検出結果が異常検出部33から入力されたと、画像生成部34が判定すると(S11:NO)、処理は、S11を繰り返す。一方、図4に示すように、異常候補領域Lの検出位置及び大きさを示す検出結果が入力されたと、画像生成部34が判定すると(S11:YES)、処理はS12に進む。
メイン領域B1の検出マークMaと、サブ領域B2の検出位置画像D2とを表示状態にする(S12)。画像生成部34は、メイン領域B1の右下部、かつ内視鏡画像A1の外方において、異常候補領域Lを検出したことを示す異常検出画像である検出マークMaを表示状態にする。すなわち、検出マークMaは、メイン領域B1の周縁部、かつ内視鏡画像A1の近傍に配置される。図4の例では、検出マークMaは、旗を模した画像であるが、他の画像であっても構わない。
また、画像生成部34は、検出結果に基づき、サブ領域B2の異常候補領域Lの検出位置に対応する位置を示すように、検出位置画像D2を表示状態にする。図4の例では、検出位置画像D2は、矩形枠画像であるが、他の画像であっても構わない。
指示信号の入力があるか否かを判定する(S13)。表示状態を指示する指示信号の入力がないと、画像生成部34が判定すると、処理は、S11に戻る。一方、表示状態を指示する指示信号の入力があると、画像生成部34が判定すると、処理は、S14に進む。
メイン領域B1の検出位置画像D1を表示状態にする(S14)。図5に示すように、画像生成部34は、メイン領域B1の異常候補領域Lの検出位置に対応する位置を示すように、検出位置を示すための検出位置画像D1を表示状態にする。図5の例では、検出位置画像D1は、矩形枠画像であるが、他の画像であっても構わない。すなわち、メイン領域B1に配置される検出位置画像D1は、矩形枠画像である。
操作部Xによって非表示状態を指示する指示入力があり、又は、異常候補領域Lが非検出になると、画像生成部34は、検出位置画像D1を非表示状態にする。
S11〜S14の処理が第1の実施形態に係わる表示画像生成処理を構成する。
すなわち、画像生成部34は、メイン領域B1と、メイン領域B1よりも小さなサブ領域B2とに分割され、内視鏡画像A1がメイン領域B1に配置され、前記検出結果に応じ、異常候補領域Lを検出したことを示す異常検出画像がメイン領域B1の周縁部に配置された、表示画像Bを生成する。画像生成部34は、検出結果に応じ、サブ領域B2の異常候補領域Lの検出位置に対応する位置を示すように、検出位置を示すための検出位置画像D2を配置する。画像生成部34は、異常検出画像がメイン領域B1に配置された表示画像Bを生成した後、メイン領域B1の検出位置に対応する位置を示すように、検出位置画像D1を配置する。
すなわち、内視鏡診断支援方法は、異常検出部33により、撮像部24によって被検体内を撮像して取得された内視鏡画像Aから異常候補領域Lの検出を行って検出結果を出力し、画像生成部34により、メイン領域B1と、メイン領域B1よりも小さなサブ領域B2とに分割され、内視鏡画像A1がメイン領域B1に配置され、前記検出結果に応じ、異常候補領域Lを検出したことを示す異常検出画像がメイン領域B1の周縁部に配置された、表示画像Bを生成する。
これにより、内視鏡診断支援システム1では、メイン領域B1における異常候補領域Lの検出位置画像D1は、ユーザが指示入力をするまで非表示状態にされ、内視鏡画像A1に対するユーザの注意を妨げない。
上述の第1の実施形態によれば、内視鏡診断支援システム1は、内視鏡画像A1に対するユーザの注意を妨げないように、病変等の異常の候補である異常候補領域Lを示すことができ、内視鏡21による診断を支援することができる。
(第1の実施形態の変形例1)
第1の実施形態では、検出マークMaは、メイン領域B1の右下部に表示されたが、検出マークMbは、内視鏡画像A1の四隅に表示されても構わない。
図6及び図7は、本発明の第1の実施形態の変形例1に係わる、内視鏡診断支援システム1の表示部41の表示画像Bの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
図6に示すように、異常検出部33から異常候補領域Lの検出位置及び大きさを示す検出結果が入力されると、画像生成部34は、メイン領域B1の検出マークMbを表示状態にし、サブ領域B2の検出位置画像D2を表示状態にする。
図6の例では、検出マークMbは、メイン領域B1の周縁部、かつ内視鏡画像A1の外方に、内視鏡画像A1の四隅のテーパ部に沿うように配置される。検出マークMbは、所定の太さを有する帯状画像である。なお、図6の例では、検出マークMbは、内視鏡画像A1の四隅の全てに配置されるが、四隅の全てではなく、四隅のうち少なくとも一部に配置されるように構成しても構わない。
図7に示すように、ユーザが、操作部Xによって表示状態を指示入力すると、メイン領域B1の検出位置画像D1は、表示状態にされる。
すなわち、画像生成部34は、検出マークMbを内視鏡画像A1の四隅に配置する。
これにより、内視鏡診断支援システム1は、ユーザがより気付きやすいように、検出マークMbを表示することができる。
(第1の実施形態の変形例2)
第1の実施形態の変形例1では、帯状画像の検出マークMbが表示されるが、三角形画像の検出マークMcが表示されても構わない。
図8は、本発明の第1の実施形態の変形例2に係わる、内視鏡診断支援システム1の表示部41の表示画像Bの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
図8の例では、検出マークMcは、メイン領域B1の周縁部、かつ内視鏡画像A1の外方に、内視鏡画像A1の四隅のテーパ部に沿うように配置される。検出マークMcは、所定の色で塗り潰した三角形画像である。なお、図8の例では、検出マークMcは、内視鏡画像A1の四隅の全てに配置されるが、四隅の全てではなく、四隅のうち少なくとも一部に配置されるように構成しても構わない。
これにより、内視鏡診断支援システム1は、ユーザがより気付きやすいように、検出マークMcを表示することができる。
(第1の実施形態の変形例3)
第1の実施形態と、第1の実施形態の変形例1と2では、内視鏡画像A1、A2は、全体が八角形であるが、八角形でなくても構わない。
図9は、本発明の第1の実施形態の変形例3に係わる、内視鏡診断支援システム1の表示部41の表示画像Bの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
メイン領域B1には、全体が四角形である内視鏡画像A1dが配置され、また、サブ領域B2には、内視鏡画像A1dを縮小した内視鏡画像A2dが配置される。
図9の例では、検出マークMdは、内視鏡画像A1dの四隅に配置され、四隅に沿って屈曲したL字状画像である。なお、検出マークMdは、目立つように、点滅表示にしても構わない。
これにより、内視鏡診断支援システム1は、全体が四角形である内視鏡画像A1dの四隅に、ユーザがより気付きやすいように、検出マークMdを表示することができる。
(第1の実施形態の変形例4)
第1の実施形態の変形例3では、内視鏡画像A1d、A2dは、全体が四角形であるが、互いに対向する辺が湾曲状であっても構わない。
図10は、本発明の第1の実施形態の変形例4に係わる、内視鏡診断支援システム1の表示部41の表示画像Bの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
メイン領域B1には、上下部が直線状、かつ左右両側部が湾曲状である内視鏡画像A1eが配置され、また、サブ領域B2には、内視鏡画像A1eを縮小した内視鏡画像A2eが配置される。
図10の例では、検出マークMeは、内視鏡画像A1eの四隅に配置された、1辺を湾曲させた三角形画像である。
これにより、内視鏡診断支援システム1は、互いに対向する辺が湾曲状である内視鏡画像A1eの四隅に、ユーザがより気付きやすいように、検出マークMeを表示することができる。
(第1の実施形態の変形例5)
第1の実施形態及び第1の実施形態の変形例1から4では、操作部Xの操作によって検出位置画像D1を表示状態にする指示入力が行われるが、ユーザの目の動きを検出して検出位置画像D1を表示状態にしても構わない。
図11は、本発明の第1の実施形態の変形例5に係わる、内視鏡診断支援システム1の表示画像生成処理の一例を示すフローチャートである。図12は、本発明の第1の実施形態の変形例5に係わる、内視鏡診断支援システム1の表示部41の表示画像Bの構成例を示す図である。
本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
本変形例では、内視鏡診断支援システム1は、カメラZを有する(図1の2点鎖線)。
カメラZは、例えば、内視鏡画像A1を観察するユーザの目の動きを検出できるように、表示部41の縁等に取り付けられる。カメラZは、画像生成部34と接続される。カメラZは、ユーザの目を撮像し、画像生成部34にユーザの目の画像を出力する。
続いて、本変形例の動作について説明をする。
S21、S22は、S11、S12と同じであるため、説明を省略する。
ユーザの目が所定の動きをしているか否かを判定する(S23)。ユーザの目が所定の動きをしていないと、画像生成部34が判定するとき、処理は21に戻る。一方、ユーザの目が所定の動きをしていると、画像生成部34が判定するとき、処理はS24に進む。
所定の動きは、例えば、ユーザが目視によって内視鏡画像A内の異常を発見し、ユーザの視線が、異常候補領域Lの検出位置に、所定時間向けられた動きであっても構わない。また、所定の動きは、ユーザが検出マークMaに気付き、ユーザの視線が、メイン領域B1から表示画像Bの全体に移った動きであっても構わない。また、所定の動きは、予め設定された表示画像B内の所定位置に、ユーザの視線が向けられた動きであっても構わない。
メイン領域B1の検出位置画像D1を表示状態にする(S24)。検出位置画像D1は、メイン領域B1内の異常候補領域Lの近傍に表示される矢印画像である。メイン領域B1に配置される検出位置画像D1は、矢印画像である。
画像生成部34は、操作部Xによる指示入力、カメラZによる目の所定の動きの検出、又は、異常候補領域Lの非検出により、検出位置画像D1を非表示状態にする。
画像生成部34は、観察モードが通常観察モードから狭帯域光モードに切り替えられたとき、ユーザの内視鏡画像A1に対する注意を妨げないように、メイン領域B1の検出位置画像D1を非表示にする。
異常検出部33内に、内視鏡画像Aから所定の処置具を検出する処置具検出部T1(図1の2点鎖線)を有し、内視鏡画像Aから所定の処置具が検出されたとき、ユーザの注意を妨げないように、メイン領域B1の検出位置画像D1を非表示にする。
すなわち、画像生成部34は、所定の表示切替条件を満たすと判定するとき、メイン領域B1の検出位置画像D1を表示状態又は非表示状態のいずれかに切り替える。所定の表示切替条件は、カメラZから入力されたユーザの目の画像が所定の動きをしているか否かである。また、所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである。また、所定の表示切替条件は、処置具検出部T1によって所定の処置具が検出されたか否かである。
S21からS24の処理が、第1の実施形態の変形例5に係わる、表示画像生成処理を構成する。
これにより、内視鏡診断支援システム1は、所定の表示切替条件によって検出位置画像D1を表示状態又は非表示状態のいずれかに切り替えることができ、ユーザに操作部Xを操作する手間をかけさせない。
(第2の実施形態)
第1の実施形態及び第1の実施形態の変形例1から5では、サブ領域B2は、異常候補領域Lの検出位置を表示するが、異常候補領域Lの拡大画像Eを表示しても構わない。
図13は、本発明の第2の実施形態に係わる、内視鏡診断支援システム1の表示画像生成処理の一例を示すフローチャートである。図14は、本発明の第2の実施形態に係わる、内視鏡診断支援システム1の表示部41の表示画像Bの構成例を示す図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
第2の実施形態の内視鏡診断支援システム1の動作について、説明をする。
S31からS33は、S11からS13と同じであるため、説明を省略する。
メイン領域B1の検出位置画像D1を表示状態にし、サブ領域B2に拡大画像Eを表示する(S34)。図14に示すように、画像生成部34は、メイン領域B1の検出位置画像D1を表示状態にする。また、画像生成部34は、サブ領域B2に、所定の拡大率の拡大画像Eを表示する。
すなわち、画像生成部34は、サブ領域B2に、異常候補領域Lを拡大した拡大画像Eを配置する。
S31からS34の処理が、第2の実施形態に係わる、表示画像生成処理を構成する。
これにより、内視鏡診断支援システム1では、ユーザの指示入力により、サブ領域B2に拡大画像Eを表示することができ、異常候補領域Lの視認性が向上する。
上述の第2の実施形態によれば、内視鏡診断支援システム1は、内視鏡画像A1に対するユーザの注意を妨げないように、病変等の異常の候補である異常候補領域Lを示すことができ、内視鏡21による診断を支援することができる。
なお、実施形態及び変形例では、検出マークMa、Mb、Mc、Md、Meと検出位置画像D1、D2は、ユーザが見やすいように、互いに同じ色であっても構わない。
なお、実施形態及び変形例では、画像生成部34は、内視鏡画像A1、A1d、A1e、A2、A2d、A2eの外方に検出位置画像D1、D2が配置されないように、表示画像Bを生成しても構わない。
なお、実施形態及び変形例では、画像生成部34は、メイン領域B1に検出位置画像D1を配置するとき、サブ領域B2にも検出位置画像D2を配置するが、メイン領域B1に検出位置画像D1を配置するとき、サブ領域B2に検出位置画像D2を配置しないように、表示画像Bを生成しても構わない。
なお、実施形態及び変形例では、操作部Xは、フットスイッチXa、キーボードXb、タブレットXc、音声入力装置Xd及びスコープスイッチXeの全てによって構成されるが、フットスイッチXa、キーボードXb、タブレットXc、音声入力装置Xd及びスコープスイッチXeの一部によって構成されても構わない。すなわち、操作部Xは、フットスイッチXa、キーボードXb、タブレットXc、音声入力装置Xd及びスコープスイッチXeの少なくともいずれか1つ以上を備える。
なお、第1の実施形態では、検出マークMaは、メイン領域B1の右下部に表示されたが、メイン領域B1の右上部、左上部又は左下部のいずれに表示されても構わない。
なお、第1の実施形態の変形例5では、所定の表示切替条件は、ユーザの目の画像が所定の動きをしているか否かであるが、タイマT2を有し(図1の2点鎖線)、異常検出部33は、異常候補領域Lにおける異常の種類を検出可能であり、タイマT2は、異常候補領域Lが検出された後、異常の種類に応じた所定時間を計測可能であり、所定の表示切替条件は、異常候補領域Lが検出された後、所定時間が経過したか否かであっても構わない。
なお、第2の実施形態における所定の拡大率は、予め設定されるが、異常候補領域Lの大きさに応じて変化するように構成しても構わない。
本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウェア・ルーチンに1対1には対応しない。したがって、本明細書では、実施形態の各機能を有する仮想的回路ブロック(部)を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
例えば、ビデオプロセッサ31がCPU51及びメモリ52を有し、メモリ52に記憶された内視鏡診断支援プログラム53を実行することにより、異常検出部33及び画像生成部34の機能が実現されても構わない(図1の2点鎖線)。すなわち、内視鏡診断支援プログラム53は、撮像部24によって被検体内を撮像して取得された内視鏡画像Aから異常候補領域Lの検出を行い、検出結果を出力するコードと、メイン領域B1と、メイン領域B1よりも小さなサブ領域B2とに分割され、内視鏡画像A1がメイン領域B1に配置され、前記検出結果に応じ、異常候補領域Lを検出したことを示す異常検出画像がメイン領域B1の周縁部に配置された、表示画像Bを生成するコードと、をコンピュータに実行させる。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (20)

  1. 撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、
    メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する画像生成部と、
    を備えることを特徴とする内視鏡診断支援システム。
  2. 前記内視鏡画像は、動画像であり、
    前記画像生成部は、前記検出結果に応じ、前記サブ領域の前記異常候補領域の検出位置に対応する位置に、前記検出位置を示すための検出位置画像を配置する
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  3. 前記画像生成部は、前記異常検出画像が前記メイン領域に配置された前記表示画像を生成した後、前記メイン領域の前記検出位置に対応する位置を示すように、前記検出位置画像を配置する
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  4. 前記画像生成部は、前記サブ領域に、前記異常候補領域を拡大した拡大画像を配置する
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  5. 前記異常検出画像と前記検出位置画像は、互いに同じ色である
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  6. 前記異常検出画像は、検出マークである
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  7. 前記画像生成部は、前記異常検出画像を前記内視鏡画像の四隅に配置する
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  8. 前記画像生成部は、前記内視鏡画像の外方に前記検出位置画像が配置されないように、前記表示画像を生成する
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  9. 前記メイン領域に配置される前記検出位置画像は、矩形枠画像である
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  10. 前記メイン領域に配置される前記検出位置画像は、矢印画像である
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  11. ユーザの操作に応じて指示信号を出力する操作部を有し、
    前記画像生成部は、前記指示信号に応じ、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  12. 前記操作部は、フットスイッチ、キーボード、タブレット、音声入力装置及びスコープスイッチの少なくともいずれか1つ以上を備える
    ことを特徴とする請求項11に記載の内視鏡診断支援システム。
  13. 前記画像生成部は、所定の表示切替条件を満たすと判定するとき、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  14. カメラを有し、
    前記所定の表示切替条件は、前記カメラから入力されたユーザの目の画像が所定の動きをしているか否かである
    ことを特徴とする請求項13に記載の内視鏡診断支援システム。
  15. タイマを有し、
    前記異常検出部は、前記異常候補領域における異常の種類を検出可能であり、
    前記タイマは、前記異常候補領域が検出された後、前記異常の種類に応じた所定時間を計測可能であり、
    前記所定の表示切替条件は、前記異常候補領域が検出された後、前記所定時間が経過したか否かである
    ことを特徴とする請求項13に記載の内視鏡診断支援システム。
  16. 前記所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである
    ことを特徴とする請求項13に記載の内視鏡診断支援システム。
  17. 処置具検出部を有し、
    前記処置具検出部は、前記内視鏡画像から所定の処置具の検出を行い、
    前記所定の表示切替条件は、前記処置具検出部によって前記所定の処置具が検出されたか否かである
    ことを特徴とする請求項13に記載の内視鏡診断支援システム。
  18. 前記画像生成部は、前記メイン領域に前記検出位置画像を配置するとき、前記サブ領域に前記検出位置画像を配置しないように、前記表示画像を生成する
    ことを特徴とする請求項に記載の内視鏡診断支援システム。
  19. 撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、
    メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成するコードと、
    をコンピュータに実行させるための内視鏡診断支援プログラム。
  20. 異常検出部が、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、
    画像生成部が、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割し、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成することを特徴とする内視鏡診断支援システムの作動方法。
JP2019515030A 2017-04-28 2017-04-28 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法 Active JP6751815B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016961 WO2018198327A1 (ja) 2017-04-28 2017-04-28 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法

Publications (2)

Publication Number Publication Date
JPWO2018198327A1 JPWO2018198327A1 (ja) 2020-03-12
JP6751815B2 true JP6751815B2 (ja) 2020-09-09

Family

ID=63918852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515030A Active JP6751815B2 (ja) 2017-04-28 2017-04-28 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法

Country Status (4)

Country Link
US (1) US20200126223A1 (ja)
JP (1) JP6751815B2 (ja)
CN (1) CN110868907B (ja)
WO (1) WO2018198327A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JP7123173B2 (ja) * 2018-12-28 2022-08-22 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JPWO2020170809A1 (ja) * 2019-02-19 2021-12-02 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
CN113498323B (zh) 2019-02-26 2024-08-13 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
JP7166430B2 (ja) * 2019-03-08 2022-11-07 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2021033303A1 (ja) * 2019-08-22 2021-02-25 Hoya株式会社 訓練データ生成方法、学習済みモデル及び情報処理装置
WO2021095446A1 (ja) * 2019-11-11 2021-05-20 富士フイルム株式会社 情報表示システムおよび情報表示方法
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
US12080059B2 (en) 2020-03-30 2024-09-03 Nec Corporation Information processing device, display method, and nontransitory computer-readable medium for storing program
JP7438038B2 (ja) 2020-06-25 2024-02-26 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
WO2024004524A1 (ja) * 2022-06-29 2024-01-04 富士フイルム株式会社 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482049A (en) * 1994-03-16 1996-01-09 Siemens Medical Systems, Inc. Programmable electronic blood pressure monitoring labels
US6371908B1 (en) * 1998-05-01 2002-04-16 Asahi Kogaku Kogyo Kabushiki Kaisha Video endoscopic apparatus for fluorescent diagnosis
US6973158B2 (en) * 2003-06-25 2005-12-06 Besson Guy M Multi-target X-ray tube for dynamic multi-spectral limited-angle CT imaging
US8675059B2 (en) * 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
JP4578817B2 (ja) * 2004-02-06 2010-11-10 オリンパス株式会社 外科手術用病変部同定システム
CN101073097B (zh) * 2004-04-15 2011-05-18 美国医软科技公司 多体探查系统和方法
JP4477451B2 (ja) * 2004-08-23 2010-06-09 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US8423123B2 (en) * 2005-09-30 2013-04-16 Given Imaging Ltd. System and method for in-vivo feature detection
JP5005981B2 (ja) * 2006-08-03 2012-08-22 オリンパスメディカルシステムズ株式会社 画像表示装置
KR100936456B1 (ko) * 2006-12-07 2010-01-13 주식회사 메디슨 초음파 시스템
EP2174578A4 (en) * 2007-07-12 2013-07-03 Olympus Medical Systems Corp IMAGE PROCESSING DEVICE, YOUR OPERATING PROCESS AND YOUR PROGRAM
US20100329520A2 (en) * 2007-11-08 2010-12-30 Olympus Medical Systems Corp. Method and System for Correlating Image and Tissue Characteristic Data
KR100868339B1 (ko) * 2007-11-15 2008-11-12 주식회사 인트로메딕 의료용 영상 데이터의 디스플레이 방법과 의료용 영상데이터를 이용한 캡쳐 영상 제공 시스템 및 그 방법
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
US8120301B2 (en) * 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
EP2347791A4 (en) * 2009-08-19 2012-05-30 Olympus Medical Systems Corp MEDICAL SYSTEM AND MEDICAL TAX PROCEDURE
JP5220780B2 (ja) * 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
US9984474B2 (en) * 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
JP5822554B2 (ja) * 2011-06-17 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、撮影システム及びプログラム
US20130096457A1 (en) * 2011-10-18 2013-04-18 Qscope, LLC Oral scope system with image sensor and method for visual examination of oral cavity and upper airway
TWI548394B (zh) * 2012-09-24 2016-09-11 榮晶生物科技股份有限公司 影像偵測裝置及影像偵測方法
EP2910173A4 (en) * 2012-10-18 2016-06-01 Olympus Corp IMAGE PROCESSING DEVICE AND METHOD
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
US9378638B2 (en) * 2013-06-04 2016-06-28 American Megatrends, Inc. Emergency alert system using management controller in network
US9697541B1 (en) * 2013-09-12 2017-07-04 Isaac S. Daniel System and method of controlling multimedia display for a game of chance
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
JP5810248B2 (ja) * 2013-10-02 2015-11-11 オリンパス株式会社 内視鏡システム
CN103622662A (zh) * 2013-11-05 2014-03-12 乐陵市信诺医疗器械有限公司 高清晰结直肠镜检查系统
JP6344039B2 (ja) * 2014-04-28 2018-06-20 富士通株式会社 画像表示装置、画像表示方法及びプログラム
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
KR101728045B1 (ko) * 2015-05-26 2017-04-18 삼성전자주식회사 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
EP3357407A4 (en) * 2015-10-26 2019-04-17 Olympus Corporation PROCESSING DEVICE FOR ENDOSCOPIC IMAGES
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
EP3360461A4 (en) * 2015-11-10 2019-05-08 Olympus Corporation ENDOSCOPE DEVICE
WO2018230074A1 (ja) * 2017-06-14 2018-12-20 オリンパス株式会社 内視鏡画像観察支援システム
WO2019146066A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11455090B2 (en) * 2020-05-15 2022-09-27 Digits Financial, Inc. System and method for detecting and resizing a window for improved content delivery

Also Published As

Publication number Publication date
WO2018198327A1 (ja) 2018-11-01
CN110868907B (zh) 2022-05-17
JPWO2018198327A1 (ja) 2020-03-12
US20200126223A1 (en) 2020-04-23
CN110868907A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
JP6751815B2 (ja) 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法
US11602263B2 (en) Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
CN108430303B (zh) 内窥镜用图像处理装置和内窥镜系统
WO2020110214A1 (ja) 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JP2014113209A (ja) X線診断装置及び制御プログラム
US20200305821A1 (en) Imaging support apparatus, method, and program
JP7363878B2 (ja) 放射線画像表示装置および画像表示方法
WO2016111178A1 (ja) 内視鏡システム
JP5553569B2 (ja) 画像表示装置及び画像表示方法
US10506997B2 (en) X-ray diagnostic apparatus
JP2004113592A (ja) 医用画像診断装置
JP3499946B2 (ja) 画像診断装置
JP2012090785A (ja) 電子内視鏡装置
WO2020084752A1 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP4598178B2 (ja) 電子内視鏡用プロセッサ、及び電子内視鏡システム
JP7526639B2 (ja) 操作装置及びx線診断システム
JP2015188559A (ja) 医療用イメージング装置
WO2020121536A1 (ja) ユーザインタフェース装置、医療システム、操作制御方法、及び操作制御プログラム
JPWO2019225231A1 (ja) 手術用情報処理装置、情報処理方法及びプログラム
WO2023112499A1 (ja) 内視鏡画像観察支援装置及び内視鏡システム
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
JP5932188B1 (ja) 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
JP2012000125A (ja) 放射線撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191018

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R151 Written notification of patent or utility model registration

Ref document number: 6751815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250